Zanim zajmiemy się nadmiernym dopasowaniem backtestów (ang. backtest overfitting) i wskaźnikiem Sharpe'a, warto ustalić jedną rzecz: ten wskaźnik to estymacja, a nie zaobserwowany fakt. Według streszczenia badania CFA Institute o statystyce wskaźników Sharpe'a jego składniki, czyli oczekiwane stopy zwrotu i zmienność, są nieznanymi wielkościami, które trzeba oszacować statystycznie. To samo streszczenie podaje, że miesięcznych wskaźników Sharpe'a nie można annualizować przez pomnożenie przez √12, z wyjątkiem bardzo szczególnych okoliczności. Wskazuje też, że w przykładzie poglądowym roczny wskaźnik Sharpe'a funduszu hedgingowego może zostać zawyżony nawet o 65 procent z powodu autokorelacji miesięcznych stóp zwrotu.
Źródła przeanalizowane na potrzeby tego objaśnienia nie mierzą bezpośrednio nadmiernego dopasowania backtestów. Dotyczą dwóch pokrewnych zagadnień: tego, jak szacuje się wskaźniki Sharpe'a, oraz tego, jak materiały amerykańskiej Komisji Papierów Wartościowych i Giełd (SEC) traktują wyniki w marketingu doradców inwestycyjnych. Tam, gdzie artykuł wykracza poza treść źródeł, zaznaczamy to jako naszą interpretację albo formułujemy jako pytanie do czytelnika.
Dlaczego wskaźnik Sharpe'a z backtestu jest estymacją
Streszczenie badania CFA Institute stwierdza, że dane wejściowe wskaźnika Sharpe'a, czyli oczekiwane stopy zwrotu i zmienność, są nieznanymi wielkościami, które trzeba oszacować statystycznie. Przeczytaliśmy wyłącznie streszczenie i ten artykuł nie twierdzi niczego ponad jego treść.
Nasza interpretacja, a nie wniosek z badania: skoro dane wejściowe wskaźnika Sharpe'a są estymacjami, to wskaźnik Sharpe'a wyświetlony na końcu backtestu również jest estymacją. Nie należy go traktować jako stałej cechy strategii. Przywołujemy te kwestie wyłącznie jako kontekst dla czytelnika.
Czytelnik, który widzi pojedynczy wskaźnik Sharpe'a z backtestu, może zapytać:
- Jakie dane i jaki okres posłużyły do oszacowania oczekiwanej stopy zwrotu i zmienności?
- Czy wartość podano z jakąkolwiek informacją, że jest estymacją, czy jako samotną liczbę bez kontekstu?
Te pytania nie sprawdzają, czy backtest jest nadmiernie dopasowany. Pomagają jedynie nie tracić z oczu statystycznej natury wskaźnika.
Annualizacja wskaźnika Sharpe'a: skrót przez √12
Streszczenie badania CFA Institute podaje, że autor wykazuje, iż miesięcznych wskaźników Sharpe'a nie można annualizować przez pomnożenie przez √12, z wyjątkiem bardzo szczególnych okoliczności.
Na podstawie przeczytanego streszczenia nie jesteśmy w stanie szczegółowo opisać tych okoliczności, więc tego nie robimy. Wniosek płynący z tego twierdzenia jest wąski: pomnożenie miesięcznego wskaźnika Sharpe'a przez √12 nie jest przeliczeniem, które sprawdza się w ogólnym przypadku.
Wyraźnie oznaczony przykład koncepcyjny (syntetyczny, bez rzeczywistych danych): wyobraźmy sobie raport z backtestu, który pokazuje wyłącznie roczny wskaźnik Sharpe'a i informuje, że uzyskano go, mnożąc wartość miesięczną przez √12. W świetle streszczenia uważny czytelnik potraktowałby tę roczną wartość jako zależną od założenia, które jest spełnione tylko w bardzo szczególnych okolicznościach. Przykład celowo nie zawiera liczb. Ilustruje pytanie, które warto zadać, a nie zmierzony wynik.
Autokorelacja a zawyżony wskaźnik Sharpe'a
Trzecia kwestia w streszczeniu badania CFA Institute dotyczy autokorelacji miesięcznych stóp zwrotu. W przykładzie poglądowym roczny wskaźnik Sharpe'a funduszu hedgingowego może zostać zawyżony nawet o 65 procent z powodu autokorelacji miesięcznych stóp zwrotu.
Warto zachować dokładną siłę tego stwierdzenia:
| Co mówi streszczenie | Czego nie mówi |
|---|---|
| Przykład ma charakter poglądowy | Że każdy fundusz lub backtest wykazuje ten sam efekt |
| Zawyżenie może sięgać nawet 65 procent | Że zawyżenie wynosi 65 procent w każdym przypadku |
| Wskazaną przyczyną jest autokorelacja miesięcznych stóp zwrotu | Czegokolwiek o nadmiernym dopasowaniu backtestów jako przyczynie |
Nasza interpretacja: przykład poglądowy dotyczy funduszu hedgingowego, a nie backtestu. Czytelnicy mogą mimo to uznać go za istotny w przypadku backtestów, które podają annualizowane wskaźniki Sharpe'a obliczone z miesięcznych stóp zwrotu, ale streszczenie nie tworzy takiego powiązania. Pytanie, czy miesięczne stopy zwrotu stojące za podaną wartością wykazują autokorelację, jest rozsądne. Nie dowodzi jednak, że jakakolwiek konkretna wartość jest zawyżona.
Wskaźnik Sharpe'a a przepisy SEC o marketingu doradców inwestycyjnych
Pracownicy SEC przyznają, że doradcy mogą nie mieć pewności, czy miary takie jak wskaźnik Sharpe'a stanowią wyniki w rozumieniu przepisu. Dlatego kontekst regulacyjny ma tu znaczenie. Przewodnik SEC dla małych firm dotyczący marketingu doradców inwestycyjnych przedstawia następujące tło:
- 22 grudnia 2020 r. SEC przyjęła zmiany na podstawie ustawy Investment Advisers Act of 1940.
- Zmiany odzwierciedlają rozwój sytuacji od przyjęcia przepisu o reklamie w 1961 r. i przepisu o pozyskiwaniu klientów za wynagrodzeniem pieniężnym (cash solicitation rule) w 1979 r.
- Przepis o marketingu zawiera siedem ogólnych zakazów, które mają zastosowanie do wszystkich reklam.
- Pisemna umowa nie jest wymagana, gdy promotor otrzymuje wynagrodzenie de minimis w wysokości $1,000 lub mniej albo równowartość niepieniężną w ciągu poprzednich dwunastu miesięcy.
- SEC wyznaczyła datę obowiązku stosowania na 4 listopada 2022 r., osiemnaście miesięcy po dacie wejścia w życie.
Kluczowe daty, według tego przewodnika oraz FAQ pracowników SEC dotyczącego zgodności marketingu z przepisami, to:
| Data | Wydarzenie |
|---|---|
| 22 grudnia 2020 r. | SEC przyjęła zmiany |
| 4 maja 2021 r. | Data wejścia w życie; od tego dnia doradca może w dowolnym momencie zdecydować się na stosowanie zmienionego przepisu o marketingu w całości |
| 4 listopada 2022 r. | Data obowiązku stosowania |
Co pracownicy SEC mówią o wskaźniku Sharpe'a jako wyniku
FAQ pracowników SEC dotyczące zgodności marketingu z przepisami odnosi się bezpośrednio do wskaźnika Sharpe'a. Pracownicy przyznają, że doradcy mogą nie mieć pewności, czy takie charakterystyki jak zmienność, wskaźnik Sharpe'a i wskaźnik Sortino stanowią wyniki w rozumieniu przepisu. Ten artykuł nie mówi, jak ta kwestia zostaje rozstrzygnięta, ponieważ potwierdzone twierdzenia nie obejmują odpowiedzi.
To samo FAQ podaje również, że:
- Odpowiedzi w FAQ przedstawiają poglądy pracowników Wydziału Zarządzania Inwestycjami (Division of Investment Management) i nie są przepisem, regulacją ani stanowiskiem SEC.
- Przepis wymaga, aby wynikom brutto towarzyszyły wyniki netto obliczone za ten sam okres oraz przy użyciu tego samego rodzaju stopy zwrotu i tej samej metodologii.
- Pracownicy uważają, że rozsądny czas na obliczenie wyników na podstawie ostatniego końca roku kalendarzowego co do zasady nie powinien przekraczać jednego miesiąca.
- Doradcy mają obowiązek przechowywać kopię wszystkich zasad i procedur zgodności obowiązujących w dowolnym momencie w ciągu poprzednich pięciu lat.
Nasza interpretacja: samo przyznanie przez pracowników SEC, że doradcy mogą nie mieć pewności co do miar takich jak wskaźnik Sharpe'a, przypomina, że status regulacyjny takich wartości w marketingu nie jest czymś, co czytelnik powinien przyjmować z góry. Osoby z pytaniami dotyczącymi zgodności z przepisami powinny sięgnąć do dokumentów źródłowych i skonsultować się z wykwalifikowanym specjalistą, a nie polegać na tym objaśnieniu.
Pytania, które warto zadać, czytając wskaźnik Sharpe'a z backtestu
Poniższa lista zbiera powyższe kwestie w formie pytań. Nie jest to metoda wykrywania nadmiernego dopasowania backtestów, a odpowiedzi na te pytania nie dowodzą, że strategia działa.
- Czy wskaźnik Sharpe'a przedstawiono jako estymację, skoro według streszczenia badania CFA Institute jego składniki trzeba oszacować statystycznie?
- Jeśli wartość annualizowano z miesięcznych stóp zwrotu, czy uzyskano ją przez pomnożenie przez √12, czyli przeliczenie, które według tego samego streszczenia nie sprawdza się poza bardzo szczególnymi okolicznościami?
- Czy autokorelacja miesięcznych stóp zwrotu może mieć znaczenie, biorąc pod uwagę przykład poglądowy z tego streszczenia?
- Czy w marketingu doradcy wynikom brutto towarzyszą wyniki netto za ten sam okres oraz przy użyciu tego samego rodzaju stopy zwrotu i tej samej metodologii, czego według FAQ pracowników SEC dotyczącego zgodności marketingu z przepisami wymaga przepis?
Ograniczenia tego artykułu
Ten artykuł ma wyłącznie charakter edukacyjny. Nie stanowi porady inwestycyjnej i nie rekomenduje żadnej strategii, produktu ani aktywa. Nie mierzy nadmiernego dopasowania backtestów, nie testuje żadnej metody ani nie przedstawia własnych wyników. Nie omawia pełnej treści artykułu naukowego o wskaźniku Sharpe'a, z którego przeczytano jedynie streszczenie, ani nie zawiera wskazówek prawnych czy dotyczących zgodności z przepisami.