wtorek, 21 października 2014

Metodyka testowania strategii

Ostatni artykuł, w którym testowałem strategię F SCORE Piotroskiego był pierwszym z serii artykułów testujących strategie znanych guru. Marzy mi się przetestowanie wszystkich znanych ze słyszenia potencjalnie magicznych strategii, aby wiedzieć, które mają w sobie ukryty sens, a które nie.

Pojawił się jednak mały problem, który dostrzegłem dopiero, gdy na dobre zagłębiłem się w matematyczne detale strategii.


W dzisiejszym artykule najpierw omówię główne problemy z testowaniem strategii, a na koniec podam najlepsze rozwiązanie.

Wyobraźmy sobie, że testujemy bezpieczną strategię, która ma bardzo rygorystyczne kryteria dobierania spółek. Cieszymy się, że przedkładamy bezpieczeństwo ponad zyski. W końcu jesteśmy przykładnymi inwestorami i nie chcemy nadmiernie ryzykować. Jeśli, akurat trwa hossa i spółki pokazują dobre wyniki to bardzo prawdopodobne, że mamy sporo sygnałów zakupu (np. 15). Większość strategii zakłada równomierny podział kapitału pomiędzy spółki, a więc każdą spółkę kupimy za ok. 6,7% kapitału (100% podzielone na 15 spółek).

Ale hossa nie trwa wiecznie. Przychodzi bessa, a jako że w czasie bessy spółki lubią notować gorsze wyniki finansowe to spada liczba spółek spełniających nasze kryteria. W skrajnym przypadku wyobraźmy sobie, że pozostała nam tylko 1 spółka, która generuje sygnał zakupu. Większość strategii guru nic nie mówi o tym co zrobić jeśli sygnałów jest zbyt mało, więc zwykle milcząco zakłada się, że zawsze należy rozdysponowywać cały kapitał. Takie podejście jest szeroko stosowane w niemal wszystkich programach i serwisach do testowania historycznego przebiegu strategii guru.

Tu powstaje problem, bo skoro mamy tylko 1 spółkę i musimy rozdysponować cały kapitał, to musimy kupić tą spółkę za 100% kapitału. Przypominam, że taka sytuacja ma największe prawdopodobieństwo, aby pojawić się w czasie bessy. Wystarczy, że tej jednej konkretnej spółce zdarzy się obsuwa i nagle nasza bezpieczna dotąd strategia zamienia się w rollercoaster z powodu ogromnej pozycji w jednej spółce. Strategia która w czasie hossy miała wahania rzędu +- 10% nagle zwiększa zakres wahań do +- 50%.

Oczywiście może się okazać, że akurat ta jedna spółka poradziła sobie nadzwyczaj dobrze i tym razem skończyło się na strachu, ale bessy będą przychodzić cyklicznie i przy kolejnej możemy nie mieć tyle szczęścia.

Ale to nie wszystko. Kolejnym problemem przy testowaniu strategii jest to, że nie ma siły aby różne osoby testujące uzyskały identyczne wyniki. Nie chodzi tu o jakieś drastyczne różnice, ale zawsze będą zdarzać się jakieś drobne różnice w interpretacji wzorów. Jeden tester weźmie zysk operacyjny tam gdzie inny weźmie zysk brutto. Jeden weźmie zysk operacyjny uwzględniający amortyzację inny nie. Jeden "dane roczne" zinterpretuje jako dane z ostatnich 4 kwartałów, inny jako dane z raportu rocznego publikowanego na koniec każdego roku kalendarzowego. Często nawet w oryginalnych książkach, które publikują guru, pojawiają się pewne luki pozostawiające miejsce do interpretacji co dokładnie autor miał na myśli. Takich drobnych różnic nigdy nie uda się ostatecznie wyeliminować, ale pozytywne jest to, że wcale nie trzeba ich eliminować, aby uzyskać wiarygodny test historyczny.

Dobra strategia to taka, która jest odporna na te drobne różnice i jeśli np. gdzieś we wzorze zamienimy ROA (zwrot z aktywów) na ROE (zwrot z kapitału własnego) to wyniki będą się różnić, ale nie w takim stopniu, że jedna wersja będzie zarabiać +15% rocznie, a druga 0% rocznie.

Wracając do przykładu z jedną spółką w portfelu łatwo wyobrazić sobie sytuację, gdy druga osoba testująca zastosowała nieco inny wzór lub skorzystała z nieco innych danych i w efekcie także ma do zakupu jedną spółkę, ale nie tą co my.

Jeśli ta spółka wypełni 100% portfela może się okazać, że po roku nasz portfel zarobił + 30%, a portfel drugiego testera stracił -30%. Różnica ogromna, a przecież testujemy tą samą strategię.

Kolejnym problemem z testowaniem zagranicznych strategii jest dostępność spółek i ich kapitalizacja. W USA jest ponad 10 razy więcej dostępnych spółek, a więc upraszczając można przyjąć, że dowolna strategia w tym samym momencie w Polsce da ok. 10 razy mniej sygnałów. Dla przykładu właśnie sprawdziłem i w tym momencie w Polsce mamy 8 spółek, które w zeszłym roku wypłaciły dywidendę większą niż 10%. W USA takich spółek jest 148.

W związku z tym pojawia się dylemat czy testować strategie w ich oryginalnej postaci?
  • Jeśli tak to narażamy się na małą liczbę sygnałów, co z kolei zmusi nas do posiadania zbyt dużej na jednej spółce lub trzymania nadmiernych ilości gotówki.
  • Jeśli zdecydujemy się nieco poluźnić oryginalne kryteria aby mieć w portfelu więcej spółek, to czy nadal testujemy tą samą strategię?
Podobnie jest z minimalną kapitalizacją. Guru często w swoich strategiach określają minimalną kapitalizację spółki dopuszczonej do portfela. Dla niewtajemniczonych kapitalizacja w uproszczeniu to po prostu rozmiar spółki. Mała spółka ma małą kapitalizację. Duża dużą. Skoro w USA jest więcej spółek, to guru spokojnie może sobie odciąć np. spółki które są warte mniej niż 150 mln $. W Polsce takie kryterium już na samym starcie dyskwalifikuje 3/4 całego rynku.

Znów mamy to samo pytanie co przed chwilą. Czy twardo trzymać się zaleceń guru czy na własną rękę dopasowywać strategię do naszych warunków. Oba podejścia mają plusy i minusy.

Ostatnim problemem na jaki trafiłem jest podejście do momentów dokonywania transakcji. Każdy guru ma jakieś swoje zalecenia. Wielu dokonuje transakcji tylko raz w roku. Np. czekają na raport roczny za 2013 rok i podejmują jednorazową decyzję co do składu portfela na cały rok 2014. Problemem w takim podejściu jest to, że nie odzwierciedla zmian kapitału potencjalnej osoby naśladującej strategię. Np. Guru dokonuje transakcji zawsze 2 stycznia. My dowiedzieliśmy się o jego strategii w lipcu. I teraz pytanie czy należałoby poczekać pół roku i wejść dopiero po nowym roku, czy może bez przeszkód możemy zacząć już teraz i podjąć decyzje o zakupie w połowie roku.

To tyle rozgrzebywania problemów, czas na rozwiązania.

Przeanalizowałem powyższe pytania wzdłuż i wszerz. Widziałem ile zamieszania potrafią wprowadzić w wynikach testów i stwierdziłem, że potrzebujemy ustandaryzowanego podejścia do testowania strategii. Będziemy robić to tak:
  • Nałożymy minimalną liczbę spółek w portfelu w każdym momencie. To znaczy, że w naszych portfelach nigdy nie będzie sytuacji, gdy jedna spółka będzie miała np. więcej niż 10% całego portfela.

    Dzięki temu wyniki będą znacznie bardziej wiarygodne i powtarzalne, a strategia będzie zawsze taka jaką moglibyśmy sami stosować w rzeczywistości.
     
  • Nie będziemy bać się dopasowywania strategii amerykańskich guru do warunków polskich. Jeśli będzie trzeba poluźnić niektóre wskaźniki, to tak zrobimy. Będziemy testować różne wersje tej samej strategi tak aby znaleźć taką, która odpowiada specyfice naszej giełdy.

    Dzięki temu podobnie jak w poprzednim punkcie zyskamy na realnej użyteczności badanej strategii.
     
  • Sygnały będziemy sprawdzali w okienku miesięcznym, tak aby uniezależnić wyniki od momentu wejścia na rynek.

    Przy sprawdzaniu rocznym osoba inwestująca zawsze w styczniu może mieć zupełnie inne wyniki jak osoba inwestująca zawsze w lipcu. W ten sposób pozbywamy się kolejnego czynnika wprowadzającego losowość do testów.
Choć takie podejście może wydawać się nieidealne to dzięki niemu będziemy mogli wiarygodnie testować dowolne strategie, a co więcej porównywać je między sobą.

W związku z tymi przemyśleniami, obawiam się, że do naszego testu F SCORE Piotroskiego z zeszłego tygodnia mogło wdać się sporo losowości, gdyż były tam momenty, w których w portfelu znajdowało się niewiele spółek, co mogło powodowało nadmierne fluktuacje niekoniecznie związane z samą strategią. Piotroski nie napisał nic o takich sytuacjach, gdyż na rynku w USA duża liczba spółek w naturalny sposób im zapobiega.

Także uzbrojeni po zęby w nową wiedzę o tym jak testować strategie wkrótce ruszamy w wir testów.

Jeśli znacie jakieś strategie czy to guru czy swoje własne, które chcielibyście, abym przetestował dajcie znać w komentarzach.




Jeśli wpis Ci się podoba zapisz się na newsleter, aby nie przegapić nowych artykułów:

8 komentarzy:

10procentrocznie pisze...

Dziękuję za propozycje :)

10procentrocznie pisze...

Nie spodziewałem się tak ładnie opracowanej listy. Dziękuję oszczędziłeś mi sporo pracy na szukanie ciekawych strategii :)


Co do zrobienia wstępnej listy to raczej przyjmę podejście testowania najciekawszej niesprawdzonej dotąd strategii, gdyż na pewno w tracie prac będziemy trafiać na kolejne ciekawe strategie, więc początkowa lista i tak będzie z czasem modyfikowana o nowe pomysły.

Andrzej pisze...

Też "mam w tym interes" ;-) bo nie dysponuję narzędziami i taką wiedzą aby te strategie przetestować a chciałbym wiedzieć elementy których strategii się sprawdzają ;-) stąd ten mój "koncert życzeń". Mam o większości z tych strategi wyrobioną opinię (bo sporo z tych książek czytałem) lecz są to "tylko opinie" i mam powybierane z tych strategi ulubione "rodzynki" które biorę pod uwagę przy "poszukiwaniach".

Dodaję link pod którym jest sporo już przetestowanych strategii (rankingi strategii w różnych "długościowo" czasach inwestowania i opisy tych strategii):

http://www.aaii.com/stock-screens

W tym na pierwszej pozycji (zakres czasu YTD) jest strategia
Phila Towna - opisana w książce "Zasada nr 1" (Rule #1)
http://www.maklerska.pl/zasada-nr-1-p-146.html

PS. Też dziękuję. Kawał dobrej roboty robisz ;-)

Emil S. pisze...

Proponuję stosowanie prawidłowego nazewnictwa. Otóż występuje ogromna różnica pomiędzy metodologią a metodyką badania. W tym przypadku jest to metodyka, tak jak wiele innych metodyk prowadzenia badań, metodyk zarządzania projektami itp. Stosowanie przez Pana słowa metodologia aż kłuje w oczy. Na Pana poziomie umiejętności i wiedzy już nie wypada popełniać tak podstawowych błędów, gdyż wskazywać to może na brak właśnie tej wiedzy. Sam tytuł może odrzucać, bo jak badanie (test) może być rzetelne, jeżeli sam autor nie zna podstawowych definicji.
Nie chcę nikogo urazić tylko zwrócić Państwa uwagę na wagę problemu, by już nie tworzyć art. bez właściwej wiedzy.
Tu fachowości zabrakło.

10procentrocznie pisze...

Dziękuję za informację. Rzeczywiście w tym kontekście słowo "metodyka" jest poprawne. Już poprawiłem tytuł. Oby tylko takie błędy nam się zdarzały w czasie testowania strategii :)

marek pisze...

System Grahama :



Enterprise GRAHAMA /Inteligentny Inwestor str.233 /sprawdzone z AAII/
-----------------------------------------
1.Wybrać 25% akcji z najniższym P/E /oryginal ma 10% + dywidendy za ost.rok
2.Aktywa obrotowe / zadlużenie krótkoterminowe >= 1.4 w każdym ostatnim bieżącym kwartale /oryginal ma 1.5
3.Zadlużenie dlugoterminowe max.110% kapitalu obrotowego (pracującego) [Aktywa obrotowe - zadlużenie krótkoterminowe] w każdym ostatnim bieżącym kwartale
4.5 ost. lata (raporty roczne) dodatni zysk netto i dla ostatnich 12 miesięcy dodatni zysk netto.
5.zysk za ostatni rok(raporty roczne) i zysk za ostatnie 12 miesięcy > zysk sprzed 4 lat (raporty roczne)(czyli z 5 rok do 1 roku) /np.lata 1966 -1970 oraz ost. 12M do Y5(wynik roczny np.1966)
6.P/BV <= 1.2

marek pisze...

Najbardziej lubię okrojoną wersję systemu O`Neila ,ale podaję też to do rozpracowania :



Dwa systemy Kirkpatricka nie rozpracowane przeze mnie :

Charles Kirkpatrick:
---------------------------
X. Kapitalizacja rynkowa dla PL 150 mln. [dla US-UK 100 mln i min. cena akcji to 10 $].

1.Model wzrostu:
...................
Kupno:
1. Wzrost zysku operacyjnego (EBIT) w ost.kwartale w ujęciu rocznym w 10% najwyższym ze wszystkich spółek.
2. Siła Relatywna w 10%-20% najwyższa ze wszystkich spółek (odległość bieżąca od średniej kroczącej SK-130).[Może Dołka ?]
Sprzedaż:
1. Wzrost zysku operacyjnego (EBIT) w ost.kwartale w ujęciu rocznym poniżej 70% najwyższym ze wszystkich spółek.
2. Siła Relatywna poniżej 30% z najwyższych ze wszystkich spółek (odległość bieżąca od średniej kroczącej SK-130).[Może Dołka ?]
3. Cena akcji spadnie poniżej dwóch ostatnich wybitnych dołków.

2.Model wartości:
...................
Kupno:
1. Wzrost zysku operacyjnego (EBIT) w ost.kwartale w ujęciu rocznym w 10% najwyższym ze wszystkich spółek.
2. Siła Relatywna w 10%-20% najwyższa ze wszystkich spółek (odległość bieżąca od średniej kroczącej SK-130).[Może Dołka ?]
3. Wskaźnik Cena/Sprzedaż w 30% (50%) najniższy ze wszystkich spółek.
Sprzedaż:
1. Wzrost zysku operacyjnego (EBIT) w ost.kwartale w ujęciu rocznym poniżej 50% najwyższym ze wszystkich spółek.
2. Siła Relatywna poniżej 30% z najwyższych ze wszystkich spółek (odległość bieżąca od średniej kroczącej SK-130).[Może Dołka ?]


System Piotroski 9:
----------------------------




Kryteria Piotroski 9 : /sprawdzone z AAII/
------------------------
Wpierw wybiera się 20% (25%) spośród wszystkich akcji z najniższą wart.księgową albo wart. p/e ,oraz dodatnim p/e ,potem każdą akcję oznacza się 9 punktami piotroskiego :
Stosuje on też krótką sprzedaż dla akcji z punktacją 0-1,co na GPW nie można spełnić ,ale ocenić akcje z innych systemów można.
Można nawet pokusić się o sprawdzenie tej metody tylko dla długich pozycji i porównać z innymi systemami.

1.ROA (zysk netto/aktywa) dla ostatniego roku Y1 (raporty roczne) dodatnie
2.ROA (zysk netto/aktywa) dla ostatniego roku Y1 (raporty roczne) powinien być wyższy od ROA roku poprzedniego Y2 (raporty roczne),przy czym Y2 może być ujemne!
3.Przepływy pieniężne z działalności operacyjnej (tzw. cash flows from operations) w ostatnim roku fiskalnym Y1 (raporty roczne) powinny być dodatnie
4.Przepływy pieniężne z działalności operacyjnej (tzw. cash flows from operations) w ostatnim roku fiskalnym Y1 (raporty roczne) powinny być większe od zysku netto
5.Wartość wskaźnika zadłużenie długoterminowe/aktywa w ostatnim roku fiskalnym Y1 (raporty roczne) powinna być niższa niż roku poprzedniego Y2 (raporty roczne)
6.Wskaźnik bieżącej płynności finansowej (tzw. current ratio) (aktywa obrotowe/zobowiązania krótkoterminowe) w ostatnim roku fiskalnym Y1 (raporty roczne) powinien być wyższy niż poprzedniego roku Y2 (raporty roczne)
7.średnia liczba akcji spółki w ostatnim roku nie powinna być większa niż dwa lata temu (raporty roczne)
8.Marża zysku brutto ze sprzedaży (Gross margin)(przychody netto ze sprzedaży pomniejszone o koszty wytworzenia sprzedanych wyrobów/przychody netto ze sprzedaży,czyli [ (zysk brutto ze sprzedaży / przychód netto ze sprzedaży) x 100 %]) Y1 powinna być wyższa niż Y2 (raporty roczne)
9.Wskaźnik rotacji aktywów (asset turnover)( przychody netto ze sprzedaży/aktywa) Y1 powinien być wyższy niż Y2 (raporty roczne) .
---------------------------------------------------------------------------------------------------
Skład ROE: ROA x Dźwignia finansowa
ROA = Marża netto x Rotacja aktywów
Marża netto = zysk netto / przychody netto ze sprzedaży
Rotacja aktywów = przychody netto ze sprzedaży / aktywa
---------------------------------------------------------------------------------------------------

Na stronie gieldowyradar .pl interesują mnie też nowe zamieszczone strategie/systemy.

Ciekawa jest też Zasada 1 Towna.

Pozyczki20.com pisze...

A ja chętnie zobaczył bym test na ile takie testowanie jest wiarygodne:)


Powiedzmy bierzesz kilka strategii na jakieś mało znane rynki, testujesz je na danych historycznych do 2010 roku (nie patrząc na nowsze dane, najlepiej wywalając je z kompa) a potem sprawdzasz jak rezultaty tych testów miały się do wyników osiągniętych przez te strategie w kolejnych 4 latach.


Mój strzał - wyniki testów są przeciętnie lepsze niż wyniki osiągane przez strategie w przyszłości, a nim więcej strategia ma kroków i parametrów tym różnica między wynikiem testu i wynikiem w przyszłości jest większa.

Jeśli po dodaniu Twój komentarz jest niewidoczny, upewnij się czy Twoja przeglądarka ma włączoną opcję obsługi ciasteczek (cookies).

Prześlij komentarz