Quando si parla di overfitting nei backtest e di indice di Sharpe, conviene partire da un punto fermo: l'indice è una stima, non un dato osservato. Secondo l'abstract della ricerca del CFA Institute sulla statistica degli indici di Sharpe, i suoi elementi costitutivi (rendimenti attesi e volatilità) sono grandezze ignote che devono essere stimate statisticamente. Lo stesso abstract afferma che gli indici di Sharpe mensili non si possono annualizzare moltiplicandoli per √12, se non in circostanze molto particolari. Aggiunge inoltre che, in un esempio illustrativo, l'indice di Sharpe annuale di un hedge fund può risultare sovrastimato fino al 65 per cento a causa della correlazione seriale dei rendimenti mensili.

Le fonti esaminate per questo approfondimento non misurano direttamente l'overfitting nei backtest. Trattano due temi collegati: come si stimano gli indici di Sharpe e come i documenti della Securities and Exchange Commission (SEC) statunitense considerano la performance nel marketing dei consulenti finanziari. Quando l'articolo va oltre quanto affermato dalle fonti, lo indichiamo come nostra interpretazione oppure lo formuliamo come domanda per chi legge.

Perché l'indice di Sharpe di un backtest è una stima

L'abstract della ricerca del CFA Institute afferma che gli input dell'indice di Sharpe, cioè rendimenti attesi e volatilità, sono grandezze ignote che devono essere stimate statisticamente. Abbiamo letto soltanto l'abstract e questo articolo non sostiene nulla che vada oltre.

Nostra interpretazione, non una conclusione dell'articolo scientifico: se gli input dell'indice di Sharpe sono stime, allora anche l'indice di Sharpe che compare al termine di un backtest è una stima. Non va letto come una proprietà fissa della strategia. Questi spunti sono proposti qui solo come contesto per chi legge.

Chi si trova davanti a un singolo indice di Sharpe ricavato da un backtest potrebbe chiedersi:

  • Quali dati e quale periodo sono stati usati per stimare il rendimento atteso e la volatilità?
  • Il valore viene presentato con qualche indicazione del fatto che si tratta di una stima, oppure come un numero isolato, privo di contesto?

Queste domande non verificano se un backtest sia affetto da overfitting. Servono soltanto a non perdere di vista la natura statistica dell'indice.

Annualizzare l'indice di Sharpe: la scorciatoia della √12

L'abstract della ricerca del CFA Institute afferma che l'autore dimostra come gli indici di Sharpe mensili non si possano annualizzare moltiplicandoli per √12, se non in circostanze molto particolari.

L'abstract consultato per questo articolo non ci consente di descrivere nel dettaglio tali circostanze, quindi non ci proviamo. Ciò che discende dall'affermazione è circoscritto: moltiplicare un indice di Sharpe mensile per √12 non è una conversione valida in generale.

Esempio concettuale, dichiaratamente fittizio (nessun dato reale): immaginiamo un report di backtest che riporti soltanto un indice di Sharpe annuale, precisando che è stato ottenuto moltiplicando il valore mensile per √12. Alla luce dell'abstract, un lettore attento considererebbe quel valore annuale come dipendente da un'ipotesi che vale solo in circostanze molto particolari. L'esempio non contiene volutamente alcun numero: illustra una domanda da porsi, non un risultato misurato.

Correlazione seriale e indice di Sharpe sovrastimato

Il terzo punto dell'abstract della ricerca del CFA Institute riguarda la correlazione seriale dei rendimenti mensili. In un esempio illustrativo, l'indice di Sharpe annuale di un hedge fund può risultare sovrastimato fino al 65 per cento a causa della correlazione seriale dei rendimenti mensili.

Vale la pena rispettare la portata esatta di questa affermazione:

Cosa dice l'abstract Cosa non dice
L'esempio è illustrativo Che ogni fondo o backtest mostri lo stesso effetto
La sovrastima può arrivare fino al 65 per cento Che la sovrastima sia del 65 per cento in ogni caso
La causa indicata è la correlazione seriale dei rendimenti mensili Alcunché sull'overfitting nei backtest come causa

Nostra interpretazione: l'esempio illustrativo riguarda un hedge fund, non un backtest. Chi legge potrebbe comunque ritenerlo pertinente per i backtest che riportano indici di Sharpe annualizzati a partire da rendimenti mensili, ma l'abstract non stabilisce questo collegamento. Chiedersi se i rendimenti mensili alla base di un valore riportato presentino correlazione seriale è una domanda ragionevole. Non è la prova che un determinato valore sia sovrastimato.

L'indice di Sharpe e la norma della SEC sul marketing dei consulenti finanziari

Lo staff della SEC riconosce che i consulenti possono non avere certezze sul fatto che metriche come l'indice di Sharpe rientrino nella nozione di performance ai sensi della norma. Ecco perché il contesto regolamentare è pertinente. La guida alla conformità della SEC per le piccole imprese dedicata al marketing dei consulenti finanziari fornisce il seguente quadro:

  • Il 22 dicembre 2020 la SEC ha adottato modifiche ai sensi dell'Investment Advisers Act of 1940.
  • Le modifiche tengono conto degli sviluppi intervenuti dall'adozione della norma sulla pubblicità nel 1961 e di quella sulla sollecitazione dietro compenso in denaro nel 1979.
  • La norma sul marketing contiene sette divieti generali che si applicano a tutte le comunicazioni pubblicitarie.
  • Non è richiesto alcun accordo scritto quando il promotore riceve un compenso de minimis pari o inferiore a $1,000 (mille dollari), o un valore non monetario equivalente, nei dodici mesi precedenti.
  • La SEC ha fissato come data di adeguamento obbligatorio il 4 novembre 2022, diciotto mesi dopo la data di entrata in vigore.

Le date principali, tratte da quella guida e dalle FAQ dello staff della SEC sulla conformità del marketing, sono:

Data Evento
22 dicembre 2020 La SEC ha adottato le modifiche
4 maggio 2021 Data di entrata in vigore; da questa data un consulente può scegliere in qualsiasi momento di conformarsi integralmente alla norma sul marketing modificata
4 novembre 2022 Data di adeguamento obbligatorio

Cosa dice lo staff della SEC sull'indice di Sharpe come performance

Le FAQ dello staff della SEC sulla conformità del marketing affrontano direttamente l'indice di Sharpe. Lo staff riconosce che i consulenti possono non avere certezze sul fatto che caratteristiche come la volatilità, l'indice di Sharpe e l'indice di Sortino costituiscano performance ai sensi della norma. Questo articolo non dice come venga risolta la questione, perché le affermazioni supportate dalle fonti non coprono la risposta.

Le stesse FAQ affermano inoltre che:

  • Le risposte delle FAQ rappresentano il punto di vista dello staff della Division of Investment Management e non costituiscono una norma, un regolamento o una dichiarazione della SEC.
  • La norma richiede che la performance lorda sia accompagnata dalla performance netta, calcolata sullo stesso periodo e con lo stesso tipo di rendimento e la stessa metodologia.
  • Secondo lo staff, un periodo ragionevole per calcolare i risultati di performance basati sulla chiusura dell'anno solare più recente non dovrebbe, in generale, superare un mese.
  • I consulenti sono tenuti a conservare una copia di tutte le policy e procedure di conformità in vigore in qualsiasi momento nei cinque anni precedenti.

Nostra interpretazione: il fatto che sia lo stesso staff a riconoscere che i consulenti possono avere dubbi su metriche come l'indice di Sharpe ricorda che lo status regolamentare di questi valori nel marketing non è qualcosa che chi legge dovrebbe dare per scontato. Chi ha una questione di conformità dovrebbe consultare i documenti originali e un professionista qualificato, non questo approfondimento.

Domande da porsi davanti all'indice di Sharpe di un backtest

L'elenco che segue riunisce in forma di domande i punti visti finora. Non è un metodo per individuare l'overfitting nei backtest, e rispondere a queste domande non dimostra che una strategia funzioni.

  1. L'indice di Sharpe è presentato come una stima, dato che i suoi elementi costitutivi devono essere stimati statisticamente, secondo l'abstract della ricerca del CFA Institute?
  2. Se il valore è annualizzato a partire da rendimenti mensili, è stato ottenuto moltiplicando per √12, una conversione che, secondo lo stesso abstract, non è valida se non in circostanze molto particolari?
  3. La correlazione seriale dei rendimenti mensili potrebbe essere rilevante, considerato l'esempio illustrativo di quell'abstract?
  4. Nel marketing dei consulenti, la performance lorda è accompagnata dalla performance netta sullo stesso periodo e con lo stesso tipo di rendimento e la stessa metodologia, come richiesto dalla norma secondo quanto descritto nelle FAQ dello staff della SEC sulla conformità del marketing?

Limiti di questo articolo

Questo articolo ha esclusivamente finalità informative ed educative. Non costituisce una consulenza in materia di investimenti e non raccomanda alcuna strategia, prodotto o attività finanziaria. Non misura l'overfitting nei backtest, non mette alla prova alcun metodo né riporta risultati propri. Non tratta l'intero articolo sull'indice di Sharpe, di cui è stato letto solo l'abstract, né fornisce indicazioni legali o di conformità normativa.