Algorytmofobia

Jakiś czas temu pokazaliśmy na tym blogu, że niezależnie od dziedziny, algorytmy podejmują lepsze decyzje niż ludzie. Później dowiedzieliśmy się, że symulacja procesu decyzyjnego człowieka wcale nie jest taka trudna jak mogłoby się wydawać. Na koniec ustaliliśmy za co w czasie inwestowania powinien odpowiadać człowiek, a za co komputer, aby wyniki były jak najlepsze. Do rozwikłania pozostała nam jedna zagadka:

Skoro algorytmy radzą sobie tak dobrze, to dlaczego jest ogrom dziedzin, w których nie są one powszechnie wykorzystywane? (np. do analizowania spółek na giełdzie).


Obawę przed powierzeniem decyzji giełdowych komputerowi ładnie widać na wynikach ankiety, którą jakiś czas temu przeprowadzaliśmy na tym blogu:

Obecnie wiemy już, że w obu pytaniach poprawna jest odpowiedź żółta (program komputerowy podejmujący decyzje na podstawie danych historycznych). Jednak głosy w ankiecie rozłożyły się różnie w obu pytaniach.

• Na pytanie o prognozowanie pogody, aż 67,9% osób odpowiedziało poprawnie.
   
• Na pytanie o giełdę tylko 29,5% osób odpowiedziało poprawnie.

Całość nabiera jeszcze większych rumieńców, gdy przyjrzymy się początkom algorytmicznych prognoz pogody.

Poniższy tekst jest wstępem do książki opisującej dzieje meteorologów:

"W 1865 roku załamany admirał Robert FitzRoy zamknął się w przebieralni i podciął sobie gardło. Jego wielki projekt meteorologiczny zawiódł. Ale już dekadę później, system ostrzegania przed burzami FitzRoya i jego prognozy powrócą, będzie to model prognozowania pogody który jest używany po dziś dzień.

W czasie kiedy sztorm był dowodem na gniew Boga, dziewiętnastowieczni meteorolodzy musieli walczyć z konwencjami i dogmatami. Ale podbudowana osiągnięciami innych, generacja pionierów chciała wyjaśnić sekrety atmosfery i nauczyć się przewidywać przyszłość. Pośród nich byli: Luke Howard, pierwszy który sklasyfikował chmury; Francis Beaufort, który zamienił wiatr na liczby (skala Beauforta); James Glaisher, który badał górne partie atmosfery dzięki balonom na rozgrzane powietrze; Samuel Morse, którego telegraf dał meteorologom możliwość przesyłania komunikatów na duże odległości; i oczywiście sam FitRoy, świetny żeglarz, naukowiec i inicjator prognozowania pogody.

Reputacje były budowane i roztrzaskiwane. Krnąbrne debaty przetaczały się przez dekady pomiędzy naukowcami z całego świata. Od Londynu po Galway. Od Bostonu po Paryż. Wyjaśnienie zjawisk zachodzących w atmosferze było jednym, ale przewidywanie co stanie się w niej w nadchodzącym czasie, wydawało się być zbyt dalekim krokiem. Gdy w 1854 roku londyńscy politycy zasugerowali, że ludzie niedługo będą znać pogodę z 24 godzinnym wyprzedzeniem, w odpowiedzi usłyszeli tylko śmiech."

Obecnie wiemy już, że takie numeryczne podejście do prognozowania pogody ma sens i jak pokazuje ankieta, nie mamy problemu z zaakceptowaniem, że komputer lepiej przeanalizuje dane. Jednak jak pokazuje powyższy fragment, zanim ludzkość doszła do takiego stanu, debaty i kłótnie trwały przez dziesięciolecia.

Można by się zastanowić czy ludzie cierpią na algorytmofobię?

Dokładnie takie pytanie zadał sobie zespół badaczy z University of Pennsylvania. W swojej pracy: "Algorithm Aversion" opisali wyniki kilku przeprowadzonych eksperymentów. Oto ich skrót:

Pierwsza grupa uczestników eksperymentu (eksperci) miała do dyspozycji dane kandydatów na studia MBA (wyniki na wcześniejszych studiach, formularz zgłoszeniowy, CV itp.). Na tej podstawie mieli oszacować kto jak sobie poradzi w teście na zakończenie studiów. Uczestnicy otrzymywali wynagrodzenie finansowe za udział w eksperymencie zależne od osiągniętych wyników. Do rozwiązania tego samego problemu zaprzęgnięto również komputer.

Druga grupa uczestników (obserwatorzy) została podzielona na 4 części:

1. Pierwsza mogła obserwować ekspertów przy pracy.
2. Druga mogła obserwować komputer przy pracy.
3. Trzecia mogła obserwować zarówno ekspertów jak i komputer.
4. Czwarta nie mogła nic obserwować (grupa kontrolna).

Wszyscy obserwatorzy po swoich obserwacjach mieli zdecydować, z kim chcą powiązać swoje wynagrodzenie za udział w eksperymencie. Do wyboru mieli powiązanie wynagrodzenia z grupą ekspercką lub z algorytmem komputerowym. Ich wynagrodzenie mocno zależało od skuteczności prognoz, co motywowało ich do obstawienia tej jednostki (człowieka lub komputera), która według obserwatora uzyska lepszy wynik.

Po testach okazało się, że algorytm komputerowy wypluwa z siebie dokładniejsze prognozy niż człowiek w 83% przypadków, jednak to że algorytm wygrywa wiemy już z poprzednich artykułów. To co jest szczególnie ciekawe w tym eksperymencie to to w jaki sposób grupa obserwatorów powiązała swoje wynagrodzenia. 

Z punktu widzenia obserwatorów, którzy widzieli, że algorytm radzi sobie lepiej niż ludzie, najwięcej mogli zarobić wiążąc wynagrodzenie z wynikami algorytmu komputerowego.

Wśród osób, które widziały tylko zbiorcze wyniki poszczególnych grup (grupa kontrolna) aż 65% osób zdecydowało się powiązać swoje wynagrodzenie z algorytmem, co jest zupełnie normalne: widząc, że algorytm ma lepsze wyniki, więcej osób, chce na niego postawić.

Wśród obserwatorów, którzy mogli obserwować ludzi przy pracy, 53% postawiło na wygraną algorytmu. Oznacza to, że część osób, które normalnie obstawiłyby algorytm, gdyż ten uzyskuje lepsze wyniki, po obejrzeniu ludzi przy pracy i tego jak im idzie, stwierdziła, że radzą sobie na tyle dobrze, że jest w stanie im zaufać. Oczywiście obserwując ludzi, obserwatorzy widzieli zarówno ich dobrze podjęte decyzje jak i te błędne, ale wrażenie, że Ci ludzie wyglądają jakby wiedzieli co robią wygrało nad tym, że uzyskują słabsze wyniki niż algorytm.

Ale to nie koniec. Osoby, które mogły ogląda na bieżąco decyzje podejmowane przez algorytm były na tyle przerażone jego decyzjami, że tylko 26% z nich postawiło na wygraną algorytmu. Z początkowych 65% prawie 2/3 osób zmieniło swoje zdanie na korzyść człowieka po zobaczeniu konkretnych decyzji algorytmu.

W grupie, która widziała zarówno ludzi przy pracy jak i komputer ten efekt był jeszcze nieco silniejszy, gdyż tylko 23% osób postawiło na algorytm.

Wygląda to tak jakby obserwowanie ludzi przy pracy upewniało nas w poczuciu, że oni widzą co robią, a oglądanie decyzji podjętych przez algorytm upewniało nas w poczuciu, że komputer kompletnie nie ma pojęcia co robi i podejmuje dziwne decyzje. Mimo iż w zbiorczym podsumowaniu to właśnie komputer podjął lepsze decyzje.

Autorzy pracy podają dobry przykład z życia obrazujący to zjawisko: Wyobraź sobie, że jedziesz samochodem do pracy. Po drodze napotykasz spory korek. Masz do wyboru albo w nim stać, albo wybrać objazd, który wymaga nadłożenia nieco drogi. Wybierasz objazd i docierasz do pracy 20 min później niż standardowo. Tam dowiadujesz się od kolegi, że on również stał w tym samym korku, w tym samym czasie, ale postanowił w nim dalej stać i jak się okazało, korek wcale nie był taki straszny i dzięki temu kolega dotarł do pracy na czas. Co zrobisz? Najprawdopodobniej po prostu przyjmiesz do wiadomości, że akurat dziś korek był łagodniejszy i nie zmienisz tej jednej sytuacji w jakąś ogólną zasadę, aby cierpliwie stać w korku również w przyszłym miesiącu.

Teraz wyobraź sobie podobną sytuację, tylko tym razem jesteś wyposażony w inteligentny GPS, który na podstawie informacji o korkach jest w stanie na bieżąco oszacować, która trasa będzie szybsza. GPS podpowiada ci, żeby wybrać objazd. Całość rozgrywa się podobnie jak w poprzednim scenariuszu, a więc dojeżdżasz 20 min spóźniony, a kolega, który zdecydował się stać w korku dojechał na czas. W tym wypadku szybko uczysz się, że ta cała "inteligencja" GPSa to jedno wielkie g**** i stwierdzasz, że w przyszłości będzie znacznie bardziej nieufny co do niego.

Te dwie sytuacje ładnie pokazują, że jesteśmy w stanie bardzo łatwo zapominać złe decyzje podejmowane przez ludzi (a w szczególności nas samych), ale jesteśmy bardzo pamiętliwi, jeśli zła decyzja pochodziła od maszyny.

Dzisiejszy eksperyment dobrze pokazuje, że rzeczywiście istnieje coś takiego jak awersja do algorytmów. Lepiej czujemy się z tym, że decyzje podejmuje człowiek, nawet jeśli oznacza to gorszą skuteczność.

Wyjaśnienie zjawiska algorytmofobii możemy znaleźć w tej samej pracy. Po zakończeniu eksperymentu, jego uczestnicy mieli wskazać na obszary, które ich zdaniem lepiej realizuje algorytm, a które ludzie. Oto wyniki:

Słupki powyżej zera oznaczają, że uczestnicy wskazywali, że dane zagadnienie lepiej zrealizuje człowiek. Im wyższy słupek, tym więcej uczestników i z silniejszą wiarą wybierała człowieka.

Od razu widać, że niezależnie od ocenianej cechy ludzie uważają, że ludzie radzą sobie lepiej niż komputery. (Wyjątkiem jest "powtarzalność wyników w czasie", gdzie minimalnie wygrał komputer.

Ten wykres ładnie pokazuje dwa powody istnienia awersji do algorytmów. Po pierwsze ludzie w wielu sytuacjach przeceniają swoje zdolności. Np. punkt "nauka na błędach". W poprzednich artykułach z tej serii widzieliśmy, że człowiek ucząc się dochodzi do pewnej granicy powyżej, której już się nie uczy na błędach, a ta granica i tak jest poniżej poziomu, który osiąga algorytm. Bardzo podobna uwaga tyczy się: "stawanie się lepszym wraz z nabywaniem doświadczenia". To zjawisko zwane jest złudzeniem ponadprzeciętności, którego najlepszym przykładem jest to, że w badaniach Stevensona z 1981 roku, aż 80% kierowców uznało siebie za kierowców znacznie powyżej przeciętnej.

Drugi powód widać np. w słupku: "Traktowanie każdego przypadku indywidualnie". Choć rzeczywiście w tym punkcie człowiek radzi sobie lepiej, to znów w badaniach z poprzednich artykułów pokazaliśmy, że taki indywidualne podejście nie jest potrzebne do uzyskania dobrych wyników, a wręcz przeszkadza. Choć może to mało humanitarne to z punktu widzenia skuteczności predykcji, traktowanie każdego przypadku jako bezdusznego zbioru liczb jest drogą do uzyskania najlepszych wyników.

Podsumowując, dzisiejszy eksperyment pokazał, że ludzie znacznie łatwiej wybaczają błędy popełnione przez ludzi niż przez algorytmy, nawet jeśli to te drugie osiągają lepszy ostateczny wynik, co prowadzi do zjawiska, które można nazwać awersją do algorytmów.

Warto o tym pamiętać przy naszych własnych inwestycjach. Czy przypadkiem nie wpadamy w schemat, w którym wybaczamy sobie błędne decyzje o zakupie jakiejś spółki, ale gdy testujemy algorytm inwestycyjny, to już tacy dobroduszni nie jesteśmy.

Jeśli wpis Ci się podoba zapisz się na newsleter, aby nie przegapić nowych artykułów:		Zapisz się