Wie nadenkt over overfitting bij backtests en de Sharpe-ratio, kan het best beginnen met één vaststelling: de ratio is een schatting, geen waargenomen feit. Volgens de samenvatting van het CFA Institute-onderzoek naar de statistiek van Sharpe-ratio's zijn de bouwstenen ervan (verwachte rendementen en volatiliteiten) onbekende grootheden die statistisch geschat moeten worden. Dezelfde samenvatting stelt dat maandelijkse Sharpe-ratio's niet geannualiseerd kunnen worden door ze met √12 te vermenigvuldigen, behalve onder zeer specifieke omstandigheden. Ook staat er dat in een illustratief voorbeeld de jaarlijkse Sharpe-ratio van een hedgefonds tot wel 65 procent te hoog kan uitvallen door seriële correlatie in de maandrendementen.
De bronnen die voor deze uitleg zijn geraadpleegd, meten overfitting bij backtests niet rechtstreeks. Ze gaan over twee verwante onderwerpen: hoe Sharpe-ratio's worden geschat, en hoe documenten van de Amerikaanse Securities and Exchange Commission (SEC) omgaan met rendementscijfers in de marketing van beleggingsadviseurs. Waar dit artikel verder gaat dan wat de bronnen zeggen, staat dat aangegeven als onze interpretatie of is het geformuleerd als een vraag voor de lezer.
Waarom een Sharpe-ratio uit een backtest een schatting is
De samenvatting van het CFA Institute-onderzoek stelt dat de invoer voor een Sharpe-ratio, namelijk verwachte rendementen en volatiliteiten, bestaat uit onbekende grootheden die statistisch geschat moeten worden. We hebben alleen de samenvatting gelezen, en dit artikel beweert niets wat daarbuiten valt.
Onze interpretatie, geen bevinding uit het artikel: als de invoer voor een Sharpe-ratio uit schattingen bestaat, dan is de Sharpe-ratio die aan het eind van een backtest verschijnt eveneens een schatting. Je moet hem niet lezen als een vaste eigenschap van een strategie. Deze punten worden hier alleen genoemd als context voor de lezer.
Wie één enkele Sharpe-ratio uit een backtest ziet, kan zich afvragen:
- Welke data en welke periode zijn gebruikt om het verwachte rendement en de volatiliteit te schatten?
- Wordt het cijfer gepresenteerd met enige aanwijzing dat het om een schatting gaat, of als los getal zonder context?
Deze vragen toetsen niet of een backtest overfit is. Ze houden alleen het statistische karakter van de ratio in beeld.
Een Sharpe-ratio annualiseren: de √12-shortcut
De samenvatting van het CFA Institute-onderzoek stelt dat de auteur aantoont dat maandelijkse Sharpe-ratio's niet geannualiseerd kunnen worden door ze met √12 te vermenigvuldigen, behalve onder zeer specifieke omstandigheden.
Op basis van de samenvatting die we voor dit artikel hebben gelezen, kunnen we die omstandigheden niet in detail beschrijven, dus dat proberen we ook niet. Wat uit de bewering volgt, is beperkt: een maandelijkse Sharpe-ratio vermenigvuldigen met √12 is geen omrekening die in het algemeen opgaat.
Duidelijk gemarkeerd conceptueel voorbeeld (fictief, geen echte data): stel je een backtestrapport voor dat alleen een jaarlijkse Sharpe-ratio toont, met de vermelding dat die is verkregen door de maandwaarde met √12 te vermenigvuldigen. Op basis van de samenvatting zou een zorgvuldige lezer dat jaarcijfer zien als afhankelijk van een aanname die alleen onder zeer specifieke omstandigheden opgaat. Het voorbeeld bevat bewust geen getallen. Het illustreert een vraag die je kunt stellen, geen gemeten resultaat.
Seriële correlatie en een te hoge Sharpe-ratio
Het derde punt in de samenvatting van het CFA Institute-onderzoek gaat over seriële correlatie in maandrendementen. In een illustratief voorbeeld kan de jaarlijkse Sharpe-ratio van een hedgefonds tot wel 65 procent te hoog uitvallen door seriële correlatie in de maandrendementen.
Het loont om de precieze reikwijdte van die uitspraak vast te houden:
| Wat de samenvatting zegt | Wat ze niet zegt |
|---|---|
| Het voorbeeld is illustratief | Dat elk fonds of elke backtest hetzelfde effect vertoont |
| De overschatting kan tot wel 65 procent bedragen | Dat de overschatting in elk geval 65 procent is |
| De genoemde oorzaak is seriële correlatie in maandrendementen | Iets over overfitting bij backtests als oorzaak |
Onze interpretatie: het illustratieve voorbeeld gaat over een hedgefonds, niet over een backtest. Lezers kunnen het toch relevant vinden voor backtests die geannualiseerde Sharpe-ratio's op basis van maandrendementen rapporteren, maar die koppeling maakt de samenvatting niet. Nagaan of de maandrendementen achter een gerapporteerd cijfer seriële correlatie vertonen, is een redelijke vraag. Het is geen bewijs dat een bepaald cijfer te hoog is.
De Sharpe-ratio en de marketingregel van de SEC voor beleggingsadviseurs
Medewerkers van de SEC erkennen dat adviseurs kunnen twijfelen of maatstaven zoals de Sharpe-ratio onder de regel als rendement (performance) gelden. Daarom is de regelgevende context relevant. De compliancegids van de SEC voor kleine ondernemingen over marketing door beleggingsadviseurs geeft de volgende achtergrond:
- Op 22 december 2020 nam de SEC wijzigingen aan onder de Investment Advisers Act of 1940.
- De wijzigingen weerspiegelen ontwikkelingen sinds de invoering van de advertentieregel in 1961 en van de regel voor betaalde werving (cash solicitation rule) in 1979.
- De marketingregel bevat zeven algemene verboden die voor alle advertenties gelden.
- Er is geen schriftelijke overeenkomst nodig wanneer de promotor in de voorafgaande twaalf maanden een de-minimisvergoeding van $1,000 of minder ontvangt, of een gelijkwaardige niet-geldelijke waarde.
- De SEC stelde de compliancedatum vast op 4 november 2022, achttien maanden na de ingangsdatum.
De belangrijkste data, uit die gids en uit de FAQ van SEC-medewerkers over marketingcompliance, zijn:
| Datum | Gebeurtenis |
|---|---|
| 22 december 2020 | De SEC nam de wijzigingen aan |
| 4 mei 2021 | Ingangsdatum; een adviseur mag er vanaf deze datum op elk moment voor kiezen om volledig aan de gewijzigde marketingregel te voldoen |
| 4 november 2022 | Compliancedatum |
Wat SEC-medewerkers zeggen over de Sharpe-ratio als rendement
De FAQ van SEC-medewerkers over marketingcompliance gaat rechtstreeks in op de Sharpe-ratio. De medewerkers erkennen dat adviseurs kunnen twijfelen of kenmerken zoals volatiliteit, de Sharpe-ratio en de Sortino-ratio onder de regel als rendement gelden. Dit artikel zegt niet hoe die vraag wordt beantwoord, omdat de onderbouwde beweringen het antwoord niet omvatten.
Dezelfde FAQ stelt ook:
- De antwoorden in de FAQ geven de standpunten weer van de medewerkers van de Division of Investment Management en zijn geen regel, voorschrift of verklaring van de SEC.
- De regel vereist dat brutorendement vergezeld gaat van nettorendement, berekend over dezelfde periode en met hetzelfde type rendement en dezelfde methodologie.
- De medewerkers vinden dat een redelijke termijn om rendementsresultaten te berekenen op basis van het meest recente einde van het kalenderjaar doorgaans niet langer zou zijn dan één maand.
- Adviseurs moeten een kopie bewaren van alle compliancebeleid en -procedures die op enig moment in de afgelopen vijf jaar van kracht waren.
Onze interpretatie: dat de medewerkers zelf aangeven dat adviseurs kunnen twijfelen over maatstaven zoals de Sharpe-ratio, herinnert eraan dat een lezer de regelgevende status van zulke cijfers in marketing niet zomaar moet aannemen. Wie een compliancevraag heeft, raadpleegt beter de primaire documenten en een gekwalificeerde professional dan deze uitleg.
Vragen bij het lezen van een Sharpe-ratio uit een backtest
De lijst hieronder zet de bovenstaande punten op een rij als vragen. Het is geen methode om overfitting bij backtests op te sporen, en het beantwoorden van deze vragen toont niet aan dat een strategie werkt.
- Wordt de Sharpe-ratio gepresenteerd als schatting, gezien het feit dat de bouwstenen ervan statistisch geschat moeten worden, volgens de samenvatting van het CFA Institute-onderzoek?
- Als het cijfer op basis van maandrendementen is geannualiseerd, is het dan verkregen door te vermenigvuldigen met √12, een omrekening die volgens dezelfde samenvatting niet opgaat behalve onder zeer specifieke omstandigheden?
- Kan seriële correlatie in maandrendementen een rol spelen, gezien het illustratieve voorbeeld in die samenvatting?
- Gaat in de marketing van adviseurs het brutorendement vergezeld van nettorendement over dezelfde periode en met hetzelfde type rendement en dezelfde methodologie, zoals de regel volgens de FAQ van SEC-medewerkers over marketingcompliance vereist?
Beperkingen van dit artikel
Dit artikel is uitsluitend bedoeld als educatieve informatie. Het is geen beleggingsadvies en beveelt geen enkele strategie, product of belegging aan. Het meet geen overfitting bij backtests, test geen enkele methode en rapporteert geen eigen resultaten. Het behandelt niet het volledige artikel over de Sharpe-ratio, waarvan alleen de samenvatting is gelezen, en geeft geen juridisch of compliance-advies.