W pogoni za jeszcze lepszą strategią

Wyobraź sobie, że masz za zadanie jak najlepiej podzielić poniższe kropki (12 niebieskich i 12 zielonych) na dwie grupy.

Jako, że pierwsze wrażenie jest takie, że większość niebieskich kropek jest na dole po prawej stronie wykresu, a większość zielonych u góry po lewej  stronie, to możemy pokusić się o takie rozwiązanie:

Od razu widać, że nie jest ono idealne (2 zielone i 1 niebieska kropka znalazły się po niewłaściwej stronie), ale całkiem nieźle rozdziela obie grupy.

Poświęcając nieco więcej czasu możemy stworzyć taki podział:

Wymaga on nieco więcej zachodu, ale niewątpliwie dzieli kropki dokładniej niż pierwsza próba. Teraz wszystkie kropki są po odpowiedniej stronie granicy.

• Pierwszy sposób jest prostszy ale mniej dokładny.
• Drugi sposób jest trudniejszy, ale za to bardziej dokładny.

Wyobraźmy sobie teraz, że te kropki to spółki. Zielone kropki to te spółki, których cena wzrośnie, a niebieskie to te, których cena spadnie. Czerwona granica to nasze kryteria według, których dobieramy spółki do portfela (nasza strategia). Obie strategie całkiem nieźle oddzielają jedne spółki od drugich.

• W pierwszym przypadku nasza strategia jest prosta, ale część spółek ocenia niepoprawnie (nie inwestujemy w niektóre rewelacyjne spółki, a czasem zdarza się nam zainwestować w kiepską).
  
• W drugim przypadku nasza strategia jest bardziej skomplikowana, ale praktycznie nie popełnia błędów.

Która z tych strategii pozwoli nam zarobić więcej w przyszłości? Choć matematyczne obliczenia wskazują na strategię drugą, to lepsza jest strategia pierwsza. Oto dlaczego:

Kropki, które znajdowały się na wykresie, to nasze dane historyczne, a więc takie, które widzimy w czasie tworzenia naszej strategii (np. potencjalne transakcje w spółki z WIG20 w latach 2006-2010) . W przyszłości rynek będzie nam podsuwał kolejne, tworzone według tego samego schematu (ale nie identycznie takie same). Oto przykładowy zestaw kolejnych kropek obrazujący np. potencjalne transakcje w spółki z WIG20 w latach 2011-2015:

Jeśli na tych (niewidzianych w momencie tworzenia strategii) danych spróbujemy zastosować nasze dwie strategie to otrzymamy:

O ile strategia pierwsza znów jest nieco niedokładna (kilka kropek znalazło się po nie właściwiej stronie), to dała wyniki bardzo zbliżone do tych pokazanych na danych historycznych. Co do drugiej strategii, to tym razem krzywizna narysowanej linii nijak nie wpasowała się w dane i wiele kropek pozostało po niewłaściwej stronie granicy.

Czego uczy nas ten przykład?

Rynek zachowuje się według określonych schematów (przykład takiego schematu to: "tanie spółki są lepszą inwestycją niż drogie"). Dobra strategia odnajduje te schematy, bez wdawania się w szczegóły. Jeśli będziemy drążyć głębiej to zawsze znajdziemy jakieś dodatkowe zależności, ale będą to tylko szumy charakterystyczne dla danego zestawu danych. Przy kolejnym zestawie danych ogólny schemat pozostanie taki sam, ale szumy przybiorą zupełnie nowy kształt.

Opisane tu zjawisko nazywa się prze-optymalizowaniem. 

Chodzi o to, że strategia, która została stworzona na podstawie ogólnych schematów zachowania rynku, będzie dawała powtarzalne wyniki, natomiast strategia dobrze dopasowana do szumów, będzie dawała rewelacyjne wyniki na danych widzianych w czasie jej tworzenia, ale słabe na innych zestawach danych (np. danych rzeczywistych).

Na przykładowych wykresach różnica pomiędzy ogólnym schematem, a szumami jest łatwo zauważalna. Niestety w rzeczywistości granica pomiędzy głównym schematem a szumami, nie jest aż tak wyraźna i często nawet nieświadomie można wpaść w pułapkę prze-optymalizowywania.

Na szczęście jest jeden dość prosty test, który pozwoli nam sprawdzić czy dana strategia skupia się tylko wyszukiwaniu ogólnego schematu czy może przesadza i odnajduje szumy.

Test jest ogólnie znany i polega na tym samym co zrobiliśmy w ramach naszych dzisiejszych wykresów. Chodzi o to, aby przetestować naszą strategię na zupełnie nowych danych, takich które nie były widoczne dla strategii w momencie jej tworzenia.

W teorii jest to zadanie proste. Niestety w praktyce zwykle mieliśmy dostęp tylko do jednej bazy danych za lata 2006 - 2015. Można by próbować podzielić ją na dwie mniejsze bazy według lat (np. 2006 - 2010 i 2011 - 2015), ale wtedy okres czasu przypadający na jedną bazę jest zbyt  krótki.

Idealnie byłoby mieć drugą bazę danych obejmującą okres od 2006 - 2015, ale niezwiązaną z naszą standardową bazą na podstawie, której tworzymy strategie. Wtedy na podstawie jednej bazy moglibyśmy tworzyć strategię, a na podstawie drugiej ją testować.

Myślałem nad tym problemem dość mocno kilka miesięcy temu i postanowiłem go rozwiązać. Przez ostatnie kilka miesięcy zbierałem dane z raportów finansowych spółek notowanych w Wielkiej Brytanii (tu ogromne podziękowania dla Piotra) i stworzyłem dla tamtejszej giełdy (London Stock Exchange - LSE) dokładnie taką samą bazę danych jaką mamy w ramach fundamentalnej dla naszej GPW. Łącznie zebrałem ponad 10 tys. raportów finansowych dla brytyjskich spółek. Są tam takie spółki jak: Vodafone, Tesco, Aviva, BP, GlaxoSmithKlein, Shell i ponad 400 innych.

Oznacza to, że teraz każdą strategię poza testami na naszym rynku będziemy mogli badać również na rynku UK. Taka baza otwiera kolejne drzwi z możliwościami. Będziemy mogli:

• potwierdzać jak testowane strategie guru zachowałyby się na rynku UK, a przez to dowiemy się na ile są uniwersalne.
   
• sprawdzić jak strategia portfela fundamentalnego poradziłaby sobie na zupełnie nieznanym dla niej rynku.
   
• uwiarygodnić nasze badania pojedynczych wskaźników. (Być może niektóre wskaźniki będą zachowywać się inaczej na rozwiniętym rynku jakim jest UK).

W związku z tym wszystkie następne testy będziemy zawsze przeprowadzać na obydwu bazach: polskiej i brytyjskiej.