Pour aborder le surapprentissage des backtests et le ratio de Sharpe, un point de départ s'impose : ce ratio est une estimation, pas un fait observé. Selon le résumé de recherche du CFA Institute consacré aux statistiques des ratios de Sharpe, ses composantes (rendements espérés et volatilités) sont des grandeurs inconnues qui doivent être estimées statistiquement. Ce même résumé indique qu'on ne peut pas annualiser un ratio de Sharpe mensuel en le multipliant par √12, sauf dans des circonstances très particulières. Il précise aussi que, dans un exemple illustratif, le ratio de Sharpe annuel d'un hedge fund peut être surestimé de 65 pour cent au maximum en raison de l'autocorrélation des rendements mensuels.
Les sources examinées pour cet article ne mesurent pas directement le surapprentissage des backtests. Elles traitent de deux sujets voisins : la manière dont on estime les ratios de Sharpe, et la façon dont les documents de la Securities and Exchange Commission (SEC) américaine abordent la performance dans le marketing des conseillers en investissement. Lorsque cet article va au-delà de ce que disent les sources, il le signale comme notre interprétation ou le formule sous forme de question adressée au lecteur.
Pourquoi le ratio de Sharpe d'un backtest reste une estimation
Le résumé de recherche du CFA Institute affirme que les données d'entrée d'un ratio de Sharpe, à savoir les rendements espérés et les volatilités, sont des grandeurs inconnues qui doivent être estimées statistiquement. Nous n'avons lu que ce résumé, et cet article n'avance rien qui aille au-delà.
Notre interprétation, et non une conclusion de l'article : si les données d'entrée d'un ratio de Sharpe sont des estimations, alors le ratio affiché à la fin d'un backtest en est une, lui aussi. Il ne faut pas le lire comme une propriété figée d'une stratégie. Ces remarques ne sont formulées ici qu'à titre de contexte pour le lecteur.
Face à un ratio de Sharpe unique issu d'un backtest, on peut se demander :
- Quelles données et quelle période ont servi à estimer le rendement espéré et la volatilité ?
- Le chiffre est-il présenté avec une indication qu'il s'agit d'une estimation, ou comme un nombre isolé, sans contexte ?
Ces questions ne permettent pas de vérifier si un backtest est surajusté. Elles servent seulement à garder à l'esprit la nature statistique du ratio.
Annualiser un ratio de Sharpe : le raccourci de la √12
Le résumé de recherche du CFA Institute indique que l'auteur démontre qu'on ne peut pas annualiser un ratio de Sharpe mensuel en le multipliant par √12, sauf dans des circonstances très particulières.
Le résumé consulté pour cet article ne nous permet pas de décrire ces circonstances en détail ; nous ne nous y risquons donc pas. La conséquence à en tirer reste limitée : multiplier un ratio de Sharpe mensuel par √12 n'est pas une conversion valable en règle générale.
Exemple conceptuel, présenté comme tel (fictif, sans données réelles) : imaginez un rapport de backtest qui n'affiche qu'un ratio de Sharpe annuel et précise qu'il a été obtenu en multipliant la valeur mensuelle par √12. Au vu du résumé, un lecteur attentif considérerait que ce chiffre annuel repose sur une hypothèse qui ne tient que dans des circonstances très particulières. L'exemple ne contient volontairement aucun chiffre. Il illustre une question à poser, pas un résultat mesuré.
Autocorrélation et ratio de Sharpe surestimé
Le troisième point du résumé de recherche du CFA Institute porte sur l'autocorrélation des rendements mensuels. Dans un exemple illustratif, le ratio de Sharpe annuel d'un hedge fund peut être surestimé de 65 pour cent au maximum en raison de l'autocorrélation des rendements mensuels.
Mieux vaut s'en tenir à la portée exacte de cette affirmation :
| Ce que dit le résumé | Ce qu'il ne dit pas |
|---|---|
| L'exemple est illustratif | Que chaque fonds ou chaque backtest présente le même effet |
| La surestimation peut atteindre 65 pour cent au maximum | Que la surestimation est de 65 pour cent dans tous les cas |
| La cause citée est l'autocorrélation des rendements mensuels | Quoi que ce soit sur le surapprentissage des backtests comme cause |
Notre interprétation : l'exemple illustratif concerne un hedge fund, pas un backtest. Le lecteur peut néanmoins le juger pertinent pour les backtests qui publient des ratios de Sharpe annualisés à partir de rendements mensuels, mais le résumé n'établit pas ce lien. Se demander si les rendements mensuels à l'origine d'un chiffre publié présentent une autocorrélation est une question légitime. Ce n'est pas la preuve qu'un chiffre donné est surestimé.
Le ratio de Sharpe et la règle marketing de la SEC pour les conseillers en investissement
Les services de la SEC reconnaissent que les conseillers en investissement peuvent ne pas savoir avec certitude si des indicateurs comme le ratio de Sharpe relèvent de la notion de performance au sens de la règle. C'est ce qui rend le contexte réglementaire pertinent. Le guide de conformité de la SEC destiné aux petites entreprises, consacré au marketing des conseillers en investissement, fournit les repères suivants :
- Le 22 décembre 2020, la SEC a adopté des amendements en vertu de l'Investment Advisers Act of 1940.
- Ces amendements tiennent compte des évolutions intervenues depuis l'adoption de la règle sur la publicité en 1961 et de celle sur la sollicitation rémunérée en 1979.
- La règle marketing comporte sept interdictions générales qui s'appliquent à toutes les publicités.
- Aucun accord écrit n'est exigé lorsque le promoteur perçoit une rémunération de minimis de $1,000 ou moins, ou d'une valeur non monétaire équivalente, au cours des douze mois précédents.
- La SEC a fixé la date de mise en conformité au 4 novembre 2022, soit dix-huit mois après la date d'entrée en vigueur.
Les dates clés, tirées de ce guide et de la FAQ des services de la SEC sur la conformité marketing, sont les suivantes :
| Date | Événement |
|---|---|
| 22 décembre 2020 | La SEC adopte les amendements |
| 4 mai 2021 | Date d'entrée en vigueur ; un conseiller peut choisir de se conformer à l'intégralité de la règle marketing amendée à tout moment à partir de cette date |
| 4 novembre 2022 | Date de mise en conformité |
Ce que disent les services de la SEC sur le ratio de Sharpe comme performance
La FAQ des services de la SEC sur la conformité marketing aborde directement le ratio de Sharpe. Les services reconnaissent que les conseillers peuvent ne pas savoir avec certitude si des caractéristiques telles que la volatilité, le ratio de Sharpe et le ratio de Sortino constituent de la performance au sens de la règle. Cet article ne dit pas comment cette question est tranchée, car les éléments étayés dont nous disposons ne couvrent pas la réponse.
La même FAQ indique également :
- Les réponses de la FAQ reflètent le point de vue des services de la Division of Investment Management et ne constituent ni une règle, ni un règlement, ni une déclaration de la SEC.
- La règle exige que la performance brute soit accompagnée de la performance nette, calculée sur la même période et selon le même type de rendement et la même méthodologie.
- Les services estiment qu'un délai raisonnable pour calculer des résultats de performance arrêtés à la fin de l'année civile la plus récente ne devrait généralement pas dépasser un mois.
- Les conseillers sont tenus de conserver une copie de toutes les politiques et procédures de conformité en vigueur à un moment quelconque au cours des cinq années précédentes.
Notre interprétation : le fait que les services eux-mêmes reconnaissent l'incertitude des conseillers à propos d'indicateurs comme le ratio de Sharpe rappelle que le statut réglementaire de ces chiffres dans les supports marketing ne doit pas être tenu pour acquis par le lecteur. Toute personne ayant une question de conformité devrait se reporter aux documents primaires et consulter un professionnel qualifié, et non s'appuyer sur cet article.
Les questions à se poser face au ratio de Sharpe d'un backtest
La liste ci-dessous reprend les points précédents sous forme de questions. Ce n'est pas une méthode de détection du surapprentissage des backtests, et y répondre ne démontre pas qu'une stratégie fonctionne.
- Le ratio de Sharpe est-il présenté comme une estimation, sachant que ses composantes doivent être estimées statistiquement, selon le résumé de recherche du CFA Institute ?
- Si le chiffre est annualisé à partir de rendements mensuels, a-t-il été obtenu en multipliant par √12, une conversion qui, selon ce même résumé, n'est pas valable sauf dans des circonstances très particulières ?
- L'autocorrélation des rendements mensuels pourrait-elle jouer un rôle, compte tenu de l'exemple illustratif de ce résumé ?
- Dans le marketing d'un conseiller, la performance brute est-elle accompagnée de la performance nette sur la même période, selon le même type de rendement et la même méthodologie, comme l'exige la règle d'après la FAQ des services de la SEC sur la conformité marketing ?
Limites de cet article
Cet article est fourni à titre purement informatif et pédagogique. Il ne constitue pas un conseil en investissement et ne recommande aucune stratégie, aucun produit ni aucun actif. Il ne mesure pas le surapprentissage des backtests, ne teste aucune méthode et ne présente aucun résultat qui nous soit propre. Il ne couvre pas l'intégralité de l'article sur le ratio de Sharpe, dont seul le résumé a été lu, et ne fournit aucune orientation juridique ou de conformité.