Et godt sted at begynde, når det handler om overtilpasning i backtests og Sharpe-ratioen, er denne pointe: Ratioen er et estimat, ikke en observeret kendsgerning. Ifølge CFA Institutes forskningsresumé om Sharpe-ratioers statistik er dens byggesten (forventede afkast og volatiliteter) ukendte størrelser, der skal estimeres statistisk. Samme resumé siger, at månedlige Sharpe-ratioer ikke kan omregnes til årlige ved at gange med √12, undtagen under helt særlige omstændigheder. Det siger også, at den årlige Sharpe-ratio for en hedgefond i et illustrativt eksempel kan være overvurderet med helt op til 65 procent på grund af seriel korrelation i de månedlige afkast.
De kilder, der er gennemgået til denne forklaring, måler ikke overtilpasning i backtests direkte. De dækker to beslægtede emner: hvordan Sharpe-ratioer estimeres, og hvordan materiale fra den amerikanske Securities and Exchange Commission (SEC) behandler afkast i investeringsrådgiveres markedsføring. Hvor artiklen går ud over, hvad kilderne siger, er det markeret som vores fortolkning eller formuleret som et spørgsmål til læseren.
Hvorfor Sharpe-ratioen fra en backtest er et estimat
CFA Institutes forskningsresumé fastslår, at input til en Sharpe-ratio – forventede afkast og volatiliteter – er ukendte størrelser, der skal estimeres statistisk. Vi har kun læst resuméet, og denne artikel påstår intet ud over det.
Vores fortolkning, ikke et resultat fra artiklen: Hvis input til en Sharpe-ratio er estimater, så er den Sharpe-ratio, der står nederst i en backtest, også et estimat. Den bør ikke læses som en fast egenskab ved en strategi. Disse pointer nævnes her udelukkende som kontekst for læseren.
En læser, der ser én enkelt Sharpe-ratio fra en backtest, kunne spørge:
- Hvilke data og hvilken periode blev brugt til at estimere det forventede afkast og volatiliteten?
- Vises tallet med en eller anden angivelse af, at det er et estimat, eller står det som et enkelt tal uden kontekst?
Disse spørgsmål tester ikke, om en backtest er overtilpasset. De holder blot ratioens statistiske natur for øje.
Omregning af Sharpe-ratioen til årlige tal: genvejen med √12
CFA Institutes forskningsresumé fastslår, at forfatteren viser, at månedlige Sharpe-ratioer ikke kan omregnes til årlige ved at gange med √12, undtagen under helt særlige omstændigheder.
Det resumé, vi har læst til denne artikel, giver ikke grundlag for at beskrive disse omstændigheder i detaljer, så det forsøger vi ikke. Det, der følger af påstanden, er snævert: At gange en månedlig Sharpe-ratio med √12 er ikke en omregning, der holder generelt.
Tydeligt markeret begrebsmæssigt eksempel (syntetisk, ingen rigtige data): Forestil dig en backtestrapport, der kun viser en årlig Sharpe-ratio og oplyser, at den er fremkommet ved at gange den månedlige værdi med √12. Ud fra resuméet vil en omhyggelig læser betragte det årlige tal som afhængigt af en antagelse, der kun holder under helt særlige omstændigheder. Eksemplet indeholder bevidst ingen tal. Det illustrerer et spørgsmål, man kan stille – ikke et målt resultat.
Seriel korrelation og en overvurderet Sharpe-ratio
Den tredje pointe i CFA Institutes forskningsresumé handler om seriel korrelation i månedlige afkast. I et illustrativt eksempel kan den årlige Sharpe-ratio for en hedgefond være overvurderet med helt op til 65 procent på grund af seriel korrelation i de månedlige afkast.
Det er værd at holde fast i, præcis hvor stærk udsagnet er:
| Hvad resuméet siger | Hvad det ikke siger |
|---|---|
| Eksemplet er illustrativt | At alle fonde eller backtests viser samme effekt |
| Overvurderingen kan være helt op til 65 procent | At overvurderingen er 65 procent i alle tilfælde |
| Den nævnte årsag er seriel korrelation i månedlige afkast | Noget som helst om overtilpasning i backtests som årsag |
Vores fortolkning: Det illustrative eksempel handler om en hedgefond, ikke om en backtest. Læsere kan alligevel finde det relevant for backtests, der rapporterer årlige Sharpe-ratioer beregnet ud fra månedlige afkast, men resuméet drager ikke selv den forbindelse. Det er et rimeligt spørgsmål, om de månedlige afkast bag et rapporteret tal udviser seriel korrelation. Det er ikke et bevis for, at et bestemt tal er overvurderet.
Sharpe-ratioen og SEC's markedsføringsregel for investeringsrådgivere
SEC's medarbejdere anerkender, at rådgivere kan være usikre på, om nøgletal som Sharpe-ratioen udgør afkast (performance) efter reglen. Derfor er den regulatoriske kontekst relevant. SEC's compliance-guide for små virksomheder om investeringsrådgiveres markedsføring giver følgende baggrund:
- Den 22. december 2020 vedtog SEC ændringer under Investment Advisers Act of 1940.
- Ændringerne afspejler udviklingen siden vedtagelsen af reklamereglen i 1961 og reglen om betalt kundehvervning (cash solicitation rule) i 1979.
- Markedsføringsreglen indeholder syv generelle forbud, der gælder for alle reklamer.
- Der kræves ingen skriftlig aftale, når promotoren modtager et ubetydeligt vederlag (de minimis) på $1,000 eller mindre, eller tilsvarende ikke-kontant værdi, i løbet af de foregående tolv måneder.
- SEC fastsatte en compliance-dato den 4. november 2022, atten måneder efter ikrafttrædelsesdatoen.
De vigtigste datoer ifølge guiden og SEC-medarbejdernes FAQ om compliance i markedsføring er:
| Dato | Begivenhed |
|---|---|
| 22. december 2020 | SEC vedtog ændringerne |
| 4. maj 2021 | Ikrafttrædelsesdato; fra denne dato kan en rådgiver vælge at overholde den ændrede markedsføringsregel i sin helhed |
| 4. november 2022 | Compliance-dato |
Hvad SEC's medarbejdere siger om Sharpe-ratioen som afkast
SEC-medarbejdernes FAQ om compliance i markedsføring forholder sig direkte til Sharpe-ratioen. Medarbejderne anerkender, at rådgivere kan være usikre på, om karakteristika som volatilitet, Sharpe-ratioen og Sortino-ratioen udgør afkast (performance) efter reglen. Denne artikel siger ikke, hvordan det spørgsmål afgøres, fordi de underbyggede påstande ikke dækker svaret.
Samme FAQ fastslår også:
- Svarene i FAQ'en udtrykker synspunkterne hos medarbejderne i Division of Investment Management og er ikke en regel, en forordning eller en udtalelse fra SEC.
- Reglen kræver, at bruttoafkast ledsages af nettoafkast beregnet over samme tidsperiode og med samme type afkast og metode.
- Medarbejderne mener, at en rimelig periode til at beregne afkastresultater ud fra den seneste kalenderårsafslutning generelt ikke bør overstige én måned.
- Rådgivere skal opbevare en kopi af alle compliance-politikker og -procedurer, der har været gældende på noget tidspunkt inden for de foregående fem år.
Vores fortolkning: Medarbejdernes egen udtalelse om, at rådgivere kan være usikre på nøgletal som Sharpe-ratioen, minder om, at læseren ikke bør tage den regulatoriske status for sådanne tal i markedsføring for givet. Har man et compliance-spørgsmål, bør man gå til de primære dokumenter og en kvalificeret fagperson – ikke til denne forklaring.
Spørgsmål, du kan stille, når du læser Sharpe-ratioen fra en backtest
Listen nedenfor samler pointerne ovenfor som spørgsmål. Det er ikke en metode til at afsløre overtilpasning i backtests, og svarene på spørgsmålene viser ikke, at en strategi virker.
- Præsenteres Sharpe-ratioen som et estimat, når dens byggesten ifølge CFA Institutes forskningsresumé skal estimeres statistisk?
- Hvis tallet er omregnet til årligt ud fra månedlige afkast, er det så sket ved at gange med √12 – en omregning, som samme resumé siger ikke holder, undtagen under helt særlige omstændigheder?
- Kan seriel korrelation i månedlige afkast være relevant i lyset af det illustrative eksempel i resuméet?
- Ledsages bruttoafkast i rådgiveres markedsføring af nettoafkast over samme tidsperiode og med samme type afkast og metode, sådan som SEC-medarbejdernes FAQ om compliance i markedsføring beskriver reglens krav?
Artiklens begrænsninger
Denne artikel er udelukkende ment som oplysende og undervisende information. Den er ikke investeringsrådgivning og anbefaler ingen strategi, noget produkt eller noget aktiv. Den måler ikke overtilpasning i backtests, tester ingen metode og rapporterer ingen egne resultater. Den dækker ikke hele forskningsartiklen om Sharpe-ratioen, som kun blev læst som resumé, og giver ingen juridisk vejledning eller vejledning om compliance.