Når det gjelder overtilpasning i backtester og Sharpe-raten, er dette et godt sted å begynne: Raten er et estimat, ikke et observert faktum. Ifølge sammendraget av CFA Institutes forskningsartikkel om statistikken bak Sharpe-rater er byggesteinene i raten (forventet avkastning og volatilitet) ukjente størrelser som må estimeres statistisk. Det samme sammendraget sier at månedlige Sharpe-rater ikke kan annualiseres ved å multiplisere med √12, unntatt under helt spesielle omstendigheter. Det sier også at den årlige Sharpe-raten for et hedgefond i et illustrerende eksempel kan være overdrevet med så mye som 65 prosent på grunn av seriekorrelasjon i månedlig avkastning.
Kildene som er gjennomgått for denne forklaringen, måler ikke overtilpasning i backtester direkte. De dekker to beslektede temaer: hvordan Sharpe-rater estimeres, og hvordan materiale fra det amerikanske finanstilsynet Securities and Exchange Commission (SEC) behandler avkastningstall i markedsføring fra investeringsrådgivere. Der artikkelen går lenger enn kildene, er det merket som vår tolkning eller formulert som et spørsmål til leseren.
Hvorfor Sharpe-raten i en backtest er et estimat
Sammendraget fra CFA Institute slår fast at inndataene til en Sharpe-rate, forventet avkastning og volatilitet, er ukjente størrelser som må estimeres statistisk. Vi har bare lest sammendraget, og denne artikkelen hevder ingenting utover det.
Vår tolkning, ikke et funn i forskningsartikkelen: Hvis inndataene til en Sharpe-rate er estimater, er også Sharpe-raten som står nederst i en backtest et estimat. Den bør ikke leses som en fast egenskap ved en strategi. Disse poengene tas med her bare som bakgrunn for leseren.
En leser som ser én enkelt Sharpe-rate fra en backtest, kan spørre:
- Hvilke data og hvilken periode ble brukt til å estimere forventet avkastning og volatilitet?
- Vises tallet med noen form for opplysning om at det er et estimat, eller står det som et enkelt tall uten sammenheng?
Disse spørsmålene tester ikke om en backtest er overtilpasset. De sørger bare for at den statistiske naturen til raten ikke glemmes.
Annualisering av Sharpe-raten: snarveien med √12
Sammendraget fra CFA Institute sier at forfatteren viser at månedlige Sharpe-rater ikke kan annualiseres ved å multiplisere med √12, unntatt under helt spesielle omstendigheter.
Sammendraget vi har lest, gir ikke grunnlag for å beskrive disse omstendighetene i detalj, så det forsøker vi ikke. Det som følger av påstanden, er avgrenset: Å multiplisere en månedlig Sharpe-rate med √12 er ikke en omregning som holder generelt.
Tydelig merket konseptuelt eksempel (syntetisk, uten ekte data): Se for deg en backtestrapport som bare viser en årlig Sharpe-rate, med en merknad om at den er beregnet ved å multiplisere månedsverdien med √12. Ut fra sammendraget vil en nøye leser behandle dette årstallet som avhengig av en forutsetning som bare holder under helt spesielle omstendigheter. Eksemplet inneholder bevisst ingen tall. Det illustrerer et spørsmål du kan stille, ikke et målt resultat.
Seriekorrelasjon og en overdrevet Sharpe-rate
Det tredje poenget i sammendraget fra CFA Institute gjelder seriekorrelasjon i månedlig avkastning. I et illustrerende eksempel kan den årlige Sharpe-raten for et hedgefond være overdrevet med så mye som 65 prosent på grunn av seriekorrelasjon i månedlig avkastning.
Det er verdt å holde fast ved hvor sterk denne påstanden faktisk er:
| Hva sammendraget sier | Hva det ikke sier |
|---|---|
| Eksemplet er illustrerende | At alle fond eller backtester viser den samme effekten |
| Overdrivelsen kan være så mye som 65 prosent | At overdrivelsen er 65 prosent i hvert tilfelle |
| Årsaken som nevnes, er seriekorrelasjon i månedlig avkastning | Noe om overtilpasning i backtester som årsak |
Vår tolkning: Det illustrerende eksemplet gjelder et hedgefond, ikke en backtest. Lesere kan likevel finne det relevant for backtester som oppgir annualiserte Sharpe-rater basert på månedlig avkastning, men sammendraget trekker ikke den koblingen. Å spørre om den månedlige avkastningen bak et oppgitt tall viser seriekorrelasjon, er et rimelig spørsmål. Det beviser ikke at et bestemt tall er overdrevet.
Sharpe-raten og SECs markedsføringsregel for investeringsrådgivere
SECs ansatte erkjenner at rådgivere kan være usikre på om måltall som Sharpe-raten regnes som avkastning (performance) etter regelen. Derfor er den regulatoriske sammenhengen relevant. SECs veiledning for små virksomheter om markedsføring fra investeringsrådgivere gir følgende bakgrunn:
- Den 22. desember 2020 vedtok SEC endringer med hjemmel i Investment Advisers Act of 1940.
- Endringene gjenspeiler utviklingen siden reklameregelen ble vedtatt i 1961 og regelen om betalt kundeformidling (cash solicitation rule) ble vedtatt i 1979.
- Markedsføringsregelen inneholder sju generelle forbud som gjelder for all reklame.
- Det kreves ingen skriftlig avtale når promotøren mottar et ubetydelig vederlag (de minimis) på $1,000 eller mindre, eller tilsvarende ikke-kontant verdi, i løpet av de foregående tolv månedene.
- SEC fastsatte 4. november 2022 som frist for etterlevelse, atten måneder etter ikrafttredelsen.
De viktigste datoene, hentet fra denne veiledningen og fra SEC-ansattes spørsmål og svar om etterlevelse av markedsføringsreglene, er:
| Dato | Hendelse |
|---|---|
| 22. desember 2020 | SEC vedtok endringene |
| 4. mai 2021 | Ikrafttredelse; en rådgiver kan velge å etterleve den endrede markedsføringsregelen i sin helhet når som helst fra og med denne datoen |
| 4. november 2022 | Frist for etterlevelse |
Hva SECs ansatte sier om Sharpe-raten som avkastningstall
SEC-ansattes spørsmål og svar om etterlevelse av markedsføringsreglene tar opp Sharpe-raten direkte. De ansatte erkjenner at rådgivere kan være usikre på om egenskaper som volatilitet, Sharpe-raten og Sortino-raten regnes som avkastning etter regelen. Denne artikkelen sier ikke hvordan spørsmålet avgjøres, fordi de underbygde påstandene ikke dekker svaret.
Det samme dokumentet slår også fast:
- Svarene gjenspeiler synet til de ansatte i Division of Investment Management og er ikke en regel, forskrift eller uttalelse fra SEC.
- Regelen krever at bruttoavkastning ledsages av nettoavkastning beregnet over samme tidsperiode og med samme type avkastning og metode.
- De ansatte mener at en rimelig periode for å beregne avkastningsresultater basert på siste kalenderårsslutt normalt ikke bør overstige én måned.
- Rådgivere er pålagt å oppbevare en kopi av alle retningslinjer og prosedyrer for etterlevelse som har vært i kraft på noe tidspunkt i løpet av de foregående fem årene.
Vår tolkning: At de ansatte selv sier at rådgivere kan være usikre på måltall som Sharpe-raten, minner om at den regulatoriske statusen til slike tall i markedsføring ikke er noe leseren bør ta for gitt. Den som har spørsmål om etterlevelse, bør gå til primærdokumentene og en kvalifisert fagperson, ikke til denne forklaringen.
Spørsmål å stille når du leser Sharpe-raten i en backtest
Listen nedenfor samler poengene over som spørsmål. Den er ikke en metode for å avdekke overtilpasning i backtester, og svarene på spørsmålene viser ikke at en strategi fungerer.
- Presenteres Sharpe-raten som et estimat, ettersom byggesteinene må estimeres statistisk ifølge sammendraget fra CFA Institute?
- Hvis tallet er annualisert fra månedlig avkastning, ble det beregnet ved å multiplisere med √12, en omregning som ifølge det samme sammendraget ikke holder unntatt under helt spesielle omstendigheter?
- Kan seriekorrelasjon i månedlig avkastning ha betydning, gitt det illustrerende eksemplet i sammendraget?
- Ledsages bruttoavkastning i rådgiveres markedsføring av nettoavkastning over samme tidsperiode og med samme type avkastning og metode, slik SEC-ansattes spørsmål og svar om markedsføringsreglene beskriver at regelen krever?
Begrensninger ved denne artikkelen
Denne artikkelen er kun ment som opplærende informasjon. Den er ikke investeringsrådgivning og anbefaler ingen strategi, produkt eller eiendel. Den måler ikke overtilpasning i backtester, tester ingen metode og rapporterer ingen egne resultater. Den dekker ikke hele forskningsartikkelen om Sharpe-raten, som bare ble lest som sammendrag, og gir ingen juridisk veiledning eller veiledning om etterlevelse.