Jak rozpoznać wartościowy wskaźnik i małpę?

Wyobraź sobie, że pracujesz w firmie inwestycyjnej i szef dał ci zadanie zwerbowania ponadprzeciętnego analityka. Takiego, który będzie w stanie przewidzieć jak zakończy się przyszły miesiąc na giełdzie. Oczywiście nie oczekujesz, że znajdziesz kogoś kto będzie zawsze idealnie oceniał skutki obecnych zdarzeń dla przyszłości giełdy, ale gdyby kandydat trafiał z prognozą w ok. 70% przypadków to by wystarczyło.

Przystępujesz do poszukiwań. Rozsyłasz informacje we wszystkich branżowych portalach i gazetach. W odpowiedzi otrzymujesz mnóstwo CV ze świetnymi referencjami. Nie dajesz się jednak zwieść pozorom i chcesz przetestować potencjalnych pracowników na własnych warunkach, tak aby być pewnym, że wybierzesz najlepszego kandydata pod katem rzeczywistych umiejętności, a nie tego który najlepiej potrafi się zareklamować.


W związku z tym na wstępie nie odrzucasz żadnego z 1025 kandydatów, którzy chcą objąć oferowane stanowisko. Proponujesz wszystkim, aby pierwszego dnia miesiąca każdy przygotował analizę odpowiadającą na pytanie: "Co stanie się z giełdą w tym miesiącu? Będzie wyżej czy niżej niż teraz?" Prosisz o tego typu analizy przez kolejne 10 miesięcy z rzędu. Nie interesuje cię technika jaką posługują się kandydaci. Mogą nawet wróżyć z fusów. Po prostu chcesz kogoś skutecznego.

Po dziesięciu miesiącach przeglądasz uzyskane wyniki. Okazuje się że:

• 1 osoba miała trafne wszystkie 10 prognoz (100% skuteczności)
• 10 osób miała trafne 9 prognoz (90% skuteczności)
• 45 osób miało trafne 8 prognoz (80% skuteczności)
• 121 osób miało trafne 7 prognoz (70% skuteczności)
• reszta poradziła sobie słabiej

Czy powinieneś zatrudnić kandydata, który miał 100% skuteczności? Jaka jest szansa, że to czego dokonał wynikało z czystego przypadku?

Aby odpowiedzieć na te pytania wyobraź sobie, że na Twój casting na analityka przychodzą 1024 małpy i jeden człowiek, który rzeczywiście zna się na rzeczy i potrafi przewidywać zachowanie rynku ze skutecznością 70%. 

Jeśli taką grupę poddamy 10 miesięcznej próbie, okaże się, że:

• Każda z małp będzie losowo obstawiać wzrost lub spadek giełdy trafiając średnio w 50% procentach przypadków. Większość małp zakończy eksperyment z wynikiem 3-7 trafnych prognoz, ale jako że zwierzaków jest sporo to znajdą się takie, które zupełnym przypadkiem trafią 8-9 prognoz. Co więcej jest spora szansa, że znajdzie się jedna małpa, która trafi wszystkie 10 razy (tak samo jak znajdzie się taka, która trafi 0).
• Człowiek znający się na rzeczy trafi dokładnie 7 prognoz (70% skuteczności), a więc w ostatecznym rankingu będzie gorszy od ok. 56 małp biorących udział w castingu.

Jak to się stało, że głupie małpy poradziły sobie lepiej niż bardzo dobry analityk? 

Z tego samego powodu, z którego rzucając monetą zdarza nam się wyrzucić 10 razy pod rząd orła. Mimo iż jest to zdarzenie mało prawdopodobne to przy odpowiedniej licznie rzutów ciężko go uniknąć. 

W naszym castingu kluczem była duża liczba osób, które się zgłosiły. Okazuje się bowiem, że szansa na dziwaczne zdarzenie (np. takie że małpy mają więcej trafień niż analityk) zależy w dużej mierze od liczby osób/zwierząt biorących udział w zabawie.

Dokładnie ten sam błąd popełniamy bardzo często próbując ocenić przydatność systemu inwestycyjnego. No bo nawet jeśli nasz system osiąga trafialność 80% to skąd mamy wiedzieć czy wynika to prawdziwej przewagi nad rynkiem czy może po prostu jesteśmy tą małpą, która miała więcej szczęścia od swojej koleżanki.

Są 2 sposoby na oddzielenie szczęścia od umiejętności.

Pierwszy to powtórzenie eksperymentu. Jeśli zamiast 10 miesięcy, kazalibyśmy naszym kandydatom prognozować zachowanie rynku przez 20, 30 albo jeszcze więcej miesięcy to z czasem wyniki zaczęłyby coraz bardziej przypominać docelowy rozkład. A docelowy rozkład jest taki, że wszystkie 1024 małpy trafiłyby ok. 50% prognoz podczas gdy prawdziwy ekspert trafiłby swoje standardowe 70%.

Gdyby kazać małpie, która zajęła pierwsze miejsce (10 na 10 trafień) prognozować ruchy giełdy przez kolejne 10 miesięcy jej szanse na powtórzenie takiej serii byłyby niemal zerowe. Gdyby kazać ekspertowi, który trafił 7 na 10, powtórzyć eksperyment najprawdopodobniej znów trafiłby ok. 7 prognoz na 10.

Drugi sposób to próba odpowiedzi na pytanie: "Na czym polega Twoja przewaga?". Jeśli widzimy, że przychodzi do nas małpa i daje nam losowe odpowiedzi, to mimo iż wszystkie 10 jest trafione powinna zapalić nam się lampka ostrzegawcza, gdyż znacznie ważniejszy od ostatecznego wyniku jest proces dochodzenia do niego. W praktyce może być znacznie ciężej dostrzec małpę, gdyż w realnym świecie wygląda jak człowiek, potrafi uzasadniać swoje analizy, a proces podejmowania decyzji w oparciu o rzut monetą potrafi zawoalować przedstawiając go jak coś ekstremalnie trudnego. Tak czy inaczej, jeśli nie rozumiemy na czym polega czyjaś przewaga, to jest spora szansa, że jej tam nie ma.

No dobrze, ale jak ma się to do rzeczywistości i do czego ta wiedza może mi się przydać?

Załóżmy, że znajomy podsuwa nam pomysł na ciekawy wskaźnik pozwalający uzyskać przewagę nad rynkiem. Wskaźnik ten jest bardzo prosty. Budujemy go w oparciu o ostatnią cyfrę aktualnego roku, a więc lata 1991,2001,2011 itd. trafią do jednego worka z oznaczeniem "1". Analogicznie lata kończące się na "2" trafią do drugiego worka. W efekcie każdy rok zostanie przyporządkowany do jednej z dziesięciu grup. Następnie sprawdzimy jak wygląda stopa zwrotu z inwestycji w poszczególne grupy, czyli czy np. inwestowanie w latach kończących się na "1" daje lepsze wyniki niż w latach kończące się na "8". 

Nasz pomysł na taki wskaźnik opiera się na przekonaniu, że giełdy poruszają się w ramach czegoś co można nazwać cyklem dekadowym, a więc, że co 10 lat giełda mniej więcej powtarza swoje ruchy. Oto wyniki naszego systemu dla indeksu S&P500 od 1789 roku (za ostatnie 224 lata).

Wygląda na to, że najlepszym momentem do inwestycji są lata zakończone cyfrą "5" (czyli 1995,2005, itd). Aż 82% badanych lat, które kończyły się na "5" były zyskowne dla rynku akcji. Średni roczny zysk dla tych lat wyniósł prawie 15% podczas gdy średnia dla wszystkich lat to tylko 5,5%. 

Czy to możliwe, że tak dobre wyniki dla lat zakończonych na "5" to tylko i wyłącznie szczęście? Przecież skoro zbadaliśmy wyniki za ostatnie 224 lata to chyba możemy uznać, że nasza teoria ma poparcie w danych historycznych?

Dla formalności sprawdźmy nasze dwa kryteria demaskujące niepoprawne wskaźniki:

1) Powtórzenie eksperymentu - Jako, że do tego trzeba by poczekać 224 lata, aby zdobyć kolejną porcję danych do analizy, to zastosujemy małą sztuczkę statystyczną i podzielimy dane, które mamy na 2 równe grupy po 112 lat każda. Teraz możemy uznać, że pierwsze 112 lat to nasz początkowy eksperyment, a kolejne 112 lat to powtórzenie eksperymentu. 

Dygresja: Zamiast podziału okresu na pół można też wykorzystać to, że mamy dużo rynków i jeśli wskaźnik jest dobry to jest duża szansa, że będzie działał też na innych rynkach. Wtedy jako drugą próbę moglibyśmy wziąć np. dane z Niemiec.

Jak wyglądają wyniki po takim podziale?

O ile w ostatnich 112 latach rok numer 5 jest niekwestionowanym zwycięzcą ze średnim rocznym zyskiem 26% i trafialnością wynoszącą 100%, to w początkowej grupie 112 latach zajął dopiero 7 miejsce na 10 możliwych osiągając wynik poniżej średniej.

Taka rozbieżność oznacza, że jest duża szansa, że wyniki osiągane przez lata zakończone na "5" są czystym przypadkiem.

2) Szukanie przewagi - Z potwierdzeniem tej tezy przychodzi drugie kryterium, bo należałoby się zapytać: "Na czym polega przewaga lat zakończonych na 5 nad innymi? Dlaczego to akurat środek dekady miałby być najsilniejszy?". 

Jeśli nie wiemy skąd bierze się przewaga to bezpieczniej jest założyć, że jej tam nie ma. Nawet jeśli za jakiś czas okaże się, że ta przewaga istnieje (bo 112 lat temu stało się coś szczególnego w gospodarce USA, co sprawiło, że od tamtej pory co 10 lat giełdy są silne), to lepiej odpuścić sobie ten jeden wskaźnik i do inwestycji wybrać coś co przetrwa próbę naszych dwóch kryteriów.

Po co mi to wszystko wiedzieć?

Wiedza o tym, które zyski wynikają ze szczęścia, a które z przewagi nad rynkiem pozwoli Ci trafniej dobierać wskaźniki, którymi będziesz się kierować podejmując decyzje inwestycyjne.