Metodyka testowania strategii

Ostatni artykuł, w którym testowałem strategię F SCORE Piotroskiego był pierwszym z serii artykułów testujących strategie znanych guru. Marzy mi się przetestowanie wszystkich znanych ze słyszenia potencjalnie magicznych strategii, aby wiedzieć, które mają w sobie ukryty sens, a które nie.

Pojawił się jednak mały problem, który dostrzegłem dopiero, gdy na dobre zagłębiłem się w matematyczne detale strategii.


W dzisiejszym artykule najpierw omówię główne problemy z testowaniem strategii, a na koniec podam najlepsze rozwiązanie.

Wyobraźmy sobie, że testujemy bezpieczną strategię, która ma bardzo rygorystyczne kryteria dobierania spółek. Cieszymy się, że przedkładamy bezpieczeństwo ponad zyski. W końcu jesteśmy przykładnymi inwestorami i nie chcemy nadmiernie ryzykować. Jeśli, akurat trwa hossa i spółki pokazują dobre wyniki to bardzo prawdopodobne, że mamy sporo sygnałów zakupu (np. 15). Większość strategii zakłada równomierny podział kapitału pomiędzy spółki, a więc każdą spółkę kupimy za ok. 6,7% kapitału (100% podzielone na 15 spółek).

Ale hossa nie trwa wiecznie. Przychodzi bessa, a jako że w czasie bessy spółki lubią notować gorsze wyniki finansowe to spada liczba spółek spełniających nasze kryteria. W skrajnym przypadku wyobraźmy sobie, że pozostała nam tylko 1 spółka, która generuje sygnał zakupu. Większość strategii guru nic nie mówi o tym co zrobić jeśli sygnałów jest zbyt mało, więc zwykle milcząco zakłada się, że zawsze należy rozdysponowywać cały kapitał. Takie podejście jest szeroko stosowane w niemal wszystkich programach i serwisach do testowania historycznego przebiegu strategii guru.

Tu powstaje problem, bo skoro mamy tylko 1 spółkę i musimy rozdysponować cały kapitał, to musimy kupić tą spółkę za 100% kapitału. Przypominam, że taka sytuacja ma największe prawdopodobieństwo, aby pojawić się w czasie bessy. Wystarczy, że tej jednej konkretnej spółce zdarzy się obsuwa i nagle nasza bezpieczna dotąd strategia zamienia się w rollercoaster z powodu ogromnej pozycji w jednej spółce. Strategia która w czasie hossy miała wahania rzędu +- 10% nagle zwiększa zakres wahań do +- 50%.

Oczywiście może się okazać, że akurat ta jedna spółka poradziła sobie nadzwyczaj dobrze i tym razem skończyło się na strachu, ale bessy będą przychodzić cyklicznie i przy kolejnej możemy nie mieć tyle szczęścia.

Ale to nie wszystko. Kolejnym problemem przy testowaniu strategii jest to, że nie ma siły aby różne osoby testujące uzyskały identyczne wyniki. Nie chodzi tu o jakieś drastyczne różnice, ale zawsze będą zdarzać się jakieś drobne różnice w interpretacji wzorów. Jeden tester weźmie zysk operacyjny tam gdzie inny weźmie zysk brutto. Jeden weźmie zysk operacyjny uwzględniający amortyzację inny nie. Jeden "dane roczne" zinterpretuje jako dane z ostatnich 4 kwartałów, inny jako dane z raportu rocznego publikowanego na koniec każdego roku kalendarzowego. Często nawet w oryginalnych książkach, które publikują guru, pojawiają się pewne luki pozostawiające miejsce do interpretacji co dokładnie autor miał na myśli. Takich drobnych różnic nigdy nie uda się ostatecznie wyeliminować, ale pozytywne jest to, że wcale nie trzeba ich eliminować, aby uzyskać wiarygodny test historyczny.

Dobra strategia to taka, która jest odporna na te drobne różnice i jeśli np. gdzieś we wzorze zamienimy ROA (zwrot z aktywów) na ROE (zwrot z kapitału własnego) to wyniki będą się różnić, ale nie w takim stopniu, że jedna wersja będzie zarabiać +15% rocznie, a druga 0% rocznie.

Wracając do przykładu z jedną spółką w portfelu łatwo wyobrazić sobie sytuację, gdy druga osoba testująca zastosowała nieco inny wzór lub skorzystała z nieco innych danych i w efekcie także ma do zakupu jedną spółkę, ale nie tą co my.

Jeśli ta spółka wypełni 100% portfela może się okazać, że po roku nasz portfel zarobił + 30%, a portfel drugiego testera stracił -30%. Różnica ogromna, a przecież testujemy tą samą strategię.

Kolejnym problemem z testowaniem zagranicznych strategii jest dostępność spółek i ich kapitalizacja. W USA jest ponad 10 razy więcej dostępnych spółek, a więc upraszczając można przyjąć, że dowolna strategia w tym samym momencie w Polsce da ok. 10 razy mniej sygnałów. Dla przykładu właśnie sprawdziłem i w tym momencie w Polsce mamy 8 spółek, które w zeszłym roku wypłaciły dywidendę większą niż 10%. W USA takich spółek jest 148.

W związku z tym pojawia się dylemat czy testować strategie w ich oryginalnej postaci?

• Jeśli tak to narażamy się na małą liczbę sygnałów, co z kolei zmusi nas do posiadania zbyt dużej na jednej spółce lub trzymania nadmiernych ilości gotówki.
• Jeśli zdecydujemy się nieco poluźnić oryginalne kryteria aby mieć w portfelu więcej spółek, to czy nadal testujemy tą samą strategię?

Podobnie jest z minimalną kapitalizacją. Guru często w swoich strategiach określają minimalną kapitalizację spółki dopuszczonej do portfela. Dla niewtajemniczonych kapitalizacja w uproszczeniu to po prostu rozmiar spółki. Mała spółka ma małą kapitalizację. Duża dużą. Skoro w USA jest więcej spółek, to guru spokojnie może sobie odciąć np. spółki które są warte mniej niż 150 mln $. W Polsce takie kryterium już na samym starcie dyskwalifikuje 3/4 całego rynku.

Znów mamy to samo pytanie co przed chwilą. Czy twardo trzymać się zaleceń guru czy na własną rękę dopasowywać strategię do naszych warunków. Oba podejścia mają plusy i minusy.

Ostatnim problemem na jaki trafiłem jest podejście do momentów dokonywania transakcji. Każdy guru ma jakieś swoje zalecenia. Wielu dokonuje transakcji tylko raz w roku. Np. czekają na raport roczny za 2013 rok i podejmują jednorazową decyzję co do składu portfela na cały rok 2014. Problemem w takim podejściu jest to, że nie odzwierciedla zmian kapitału potencjalnej osoby naśladującej strategię. Np. Guru dokonuje transakcji zawsze 2 stycznia. My dowiedzieliśmy się o jego strategii w lipcu. I teraz pytanie czy należałoby poczekać pół roku i wejść dopiero po nowym roku, czy może bez przeszkód możemy zacząć już teraz i podjąć decyzje o zakupie w połowie roku.

To tyle rozgrzebywania problemów, czas na rozwiązania.

Przeanalizowałem powyższe pytania wzdłuż i wszerz. Widziałem ile zamieszania potrafią wprowadzić w wynikach testów i stwierdziłem, że potrzebujemy ustandaryzowanego podejścia do testowania strategii. Będziemy robić to tak:

• Nałożymy minimalną liczbę spółek w portfelu w każdym momencie. To znaczy, że w naszych portfelach nigdy nie będzie sytuacji, gdy jedna spółka będzie miała np. więcej niż 10% całego portfela.
  
  Dzięki temu wyniki będą znacznie bardziej wiarygodne i powtarzalne, a strategia będzie zawsze taka jaką moglibyśmy sami stosować w rzeczywistości.
   
• Nie będziemy bać się dopasowywania strategii amerykańskich guru do warunków polskich. Jeśli będzie trzeba poluźnić niektóre wskaźniki, to tak zrobimy. Będziemy testować różne wersje tej samej strategi tak aby znaleźć taką, która odpowiada specyfice naszej giełdy.
  
  Dzięki temu podobnie jak w poprzednim punkcie zyskamy na realnej użyteczności badanej strategii.
   
• Sygnały będziemy sprawdzali w okienku miesięcznym, tak aby uniezależnić wyniki od momentu wejścia na rynek.
  
  Przy sprawdzaniu rocznym osoba inwestująca zawsze w styczniu może mieć zupełnie inne wyniki jak osoba inwestująca zawsze w lipcu. W ten sposób pozbywamy się kolejnego czynnika wprowadzającego losowość do testów.

Choć takie podejście może wydawać się nieidealne to dzięki niemu będziemy mogli wiarygodnie testować dowolne strategie, a co więcej porównywać je między sobą.

W związku z tymi przemyśleniami, obawiam się, że do naszego testu F SCORE Piotroskiego z zeszłego tygodnia mogło wdać się sporo losowości, gdyż były tam momenty, w których w portfelu znajdowało się niewiele spółek, co mogło powodowało nadmierne fluktuacje niekoniecznie związane z samą strategią. Piotroski nie napisał nic o takich sytuacjach, gdyż na rynku w USA duża liczba spółek w naturalny sposób im zapobiega.

Także uzbrojeni po zęby w nową wiedzę o tym jak testować strategie wkrótce ruszamy w wir testów.

Jeśli znacie jakieś strategie czy to guru czy swoje własne, które chcielibyście, abym przetestował dajcie znać w komentarzach.