Wer sich mit Backtest-Overfitting und der Sharpe Ratio beschäftigt, beginnt am besten bei einem Grundgedanken: Die Kennzahl ist eine Schätzung, keine beobachtete Tatsache. Laut der Zusammenfassung der CFA-Institute-Studie zur Statistik von Sharpe Ratios sind ihre Bausteine – erwartete Renditen und Volatilitäten – unbekannte Größen, die statistisch geschätzt werden müssen. Dieselbe Zusammenfassung hält fest, dass sich monatliche Sharpe Ratios außer unter sehr speziellen Umständen nicht durch Multiplikation mit √12 annualisieren lassen. Außerdem heißt es dort, dass in einem illustrativen Beispiel die jährliche Sharpe Ratio eines Hedgefonds wegen serieller Korrelation der Monatsrenditen um bis zu 65 Prozent überzeichnet sein kann.

Die für diesen Erklärartikel ausgewerteten Quellen messen Backtest-Overfitting nicht direkt. Sie behandeln zwei verwandte Themen: wie Sharpe Ratios geschätzt werden und wie Unterlagen der US-Börsenaufsicht Securities and Exchange Commission (SEC) die Darstellung von Performance im Marketing von Anlageberatern (Investment Advisers) behandeln. Wo dieser Artikel über die Aussagen der Quellen hinausgeht, ist das als unsere Interpretation gekennzeichnet oder als Frage an die Leserinnen und Leser formuliert.

Warum die Sharpe Ratio eines Backtests eine Schätzung ist

Die Zusammenfassung der CFA-Institute-Studie hält fest, dass die Eingangsgrößen einer Sharpe Ratio, also erwartete Renditen und Volatilitäten, unbekannte Größen sind, die statistisch geschätzt werden müssen. Gelesen haben wir nur die Zusammenfassung, und dieser Artikel behauptet nichts, was darüber hinausgeht.

Unsere Interpretation, kein Ergebnis der Studie: Wenn die Eingangsgrößen einer Sharpe Ratio Schätzungen sind, dann ist auch die Sharpe Ratio, die am Ende eines Backtests ausgegeben wird, eine Schätzung. Sie sollte nicht als feste Eigenschaft einer Strategie gelesen werden. Diese Punkte dienen hier nur als Kontext.

Wer eine einzelne Sharpe Ratio aus einem Backtest vor sich hat, kann fragen:

  • Welche Daten und welcher Zeitraum wurden verwendet, um erwartete Rendite und Volatilität zu schätzen?
  • Wird die Zahl mit einem Hinweis darauf gezeigt, dass es sich um eine Schätzung handelt – oder als einzelner Wert ohne jeden Kontext?

Diese Fragen prüfen nicht, ob ein Backtest überangepasst ist. Sie halten lediglich den statistischen Charakter der Kennzahl im Blick.

Sharpe Ratio annualisieren: die Abkürzung über √12

Die Zusammenfassung der CFA-Institute-Studie hält fest, dass der Autor zeigt: Monatliche Sharpe Ratios lassen sich außer unter sehr speziellen Umständen nicht durch Multiplikation mit √12 annualisieren.

Die für diesen Artikel gelesene Zusammenfassung erlaubt es nicht, diese Umstände im Detail zu beschreiben, deshalb versuchen wir es auch nicht. Was aus der Aussage folgt, ist eng begrenzt: Die Multiplikation einer monatlichen Sharpe Ratio mit √12 ist keine Umrechnung, die allgemein gilt.

Ausdrücklich gekennzeichnetes Gedankenbeispiel (synthetisch, ohne reale Daten): Stellen Sie sich einen Backtest-Bericht vor, der nur eine jährliche Sharpe Ratio ausweist und vermerkt, dass sie durch Multiplikation des Monatswerts mit √12 ermittelt wurde. Auf Grundlage der Zusammenfassung würde eine sorgfältige Leserin diesen Jahreswert als abhängig von einer Annahme betrachten, die nur unter sehr speziellen Umständen gilt. Das Beispiel enthält bewusst keine Zahlen. Es veranschaulicht eine Frage, die man stellen sollte, kein gemessenes Ergebnis.

Serielle Korrelation und eine überzeichnete Sharpe Ratio

Der dritte Punkt in der Zusammenfassung der CFA-Institute-Studie betrifft die serielle Korrelation von Monatsrenditen. In einem illustrativen Beispiel kann die jährliche Sharpe Ratio eines Hedgefonds wegen serieller Korrelation der Monatsrenditen um bis zu 65 Prozent überzeichnet sein.

Es lohnt sich, die genaue Tragweite dieser Aussage festzuhalten:

Was die Zusammenfassung sagt Was sie nicht sagt
Das Beispiel ist illustrativ Dass jeder Fonds oder jeder Backtest denselben Effekt zeigt
Die Überzeichnung kann bis zu 65 Prozent betragen Dass die Überzeichnung in jedem Fall 65 Prozent beträgt
Als Ursache wird die serielle Korrelation der Monatsrenditen genannt Irgendetwas über Backtest-Overfitting als Ursache

Unsere Interpretation: Das illustrative Beispiel bezieht sich auf einen Hedgefonds, nicht auf einen Backtest. Manche werden es dennoch für Backtests relevant finden, die annualisierte Sharpe Ratios aus Monatsrenditen ausweisen – diese Verbindung stellt die Zusammenfassung aber nicht her. Zu fragen, ob die Monatsrenditen hinter einer ausgewiesenen Zahl eine serielle Korrelation aufweisen, ist eine vernünftige Frage. Ein Beweis dafür, dass eine bestimmte Zahl überzeichnet ist, ist es nicht.

Die Sharpe Ratio und die Marketingregel der SEC für Anlageberater

Die Mitarbeiter der SEC räumen ein, dass Anlageberater unsicher sein können, ob Kennzahlen wie die Sharpe Ratio im Sinne der Regel als Performance gelten. Deshalb ist der regulatorische Kontext relevant. Der Compliance-Leitfaden der SEC für kleine Unternehmen zum Marketing von Anlageberatern liefert folgenden Hintergrund:

  • Am 22. Dezember 2020 verabschiedete die SEC Änderungen auf Grundlage des Investment Advisers Act of 1940.
  • Die Änderungen tragen Entwicklungen Rechnung, die seit der Einführung der Werberegel im Jahr 1961 und der Regel zur Kundenakquise gegen Barvergütung (Cash Solicitation Rule) im Jahr 1979 eingetreten sind.
  • Die Marketingregel enthält sieben allgemeine Verbote, die für sämtliche Werbung gelten.
  • Eine schriftliche Vereinbarung ist nicht erforderlich, wenn der Promoter in den vorangegangenen zwölf Monaten eine geringfügige Vergütung (de minimis) von $1,000 oder weniger bzw. einen gleichwertigen unbaren Gegenwert erhält.
  • Die SEC legte als Stichtag für die verpflichtende Einhaltung den 4. November 2022 fest, achtzehn Monate nach dem Inkrafttreten.

Die wichtigsten Daten aus diesem Leitfaden und aus den FAQ der SEC-Mitarbeiter zur Marketing-Compliance im Überblick:

Datum Ereignis
22. Dezember 2020 Die SEC verabschiedete die Änderungen
4. Mai 2021 Inkrafttreten; ab diesem Datum kann ein Anlageberater sich jederzeit dafür entscheiden, die geänderte Marketingregel vollständig einzuhalten
4. November 2022 Stichtag für die verpflichtende Einhaltung

Was die SEC-Mitarbeiter zur Sharpe Ratio als Performance sagen

Die FAQ der SEC-Mitarbeiter zur Marketing-Compliance gehen direkt auf die Sharpe Ratio ein. Die Mitarbeiter räumen ein, dass Anlageberater unsicher sein können, ob Merkmale wie Volatilität, Sharpe Ratio und Sortino Ratio im Sinne der Regel als Performance gelten. Wie diese Frage beantwortet wird, sagt dieser Artikel nicht, weil die belegten Aussagen die Antwort nicht abdecken.

Dieselben FAQ halten außerdem fest:

  • Die Antworten in den FAQ geben die Auffassung der Mitarbeiter der Division of Investment Management wieder und sind weder eine Regel noch eine Vorschrift noch eine Stellungnahme der SEC.
  • Die Regel verlangt, dass eine Brutto-Performance zusammen mit einer Netto-Performance ausgewiesen wird, die über denselben Zeitraum und mit derselben Renditeart und Methodik berechnet wurde.
  • Die Mitarbeiter halten einen angemessenen Zeitraum für die Berechnung von Performance-Ergebnissen auf Basis des letzten Kalenderjahresendes für einen, der in der Regel einen Monat nicht überschreitet.
  • Anlageberater müssen eine Kopie aller Compliance-Richtlinien und -Verfahren aufbewahren, die innerhalb der vorangegangenen fünf Jahre zu irgendeinem Zeitpunkt in Kraft waren.

Unsere Interpretation: Dass die Mitarbeiter selbst einräumen, Anlageberater könnten bei Kennzahlen wie der Sharpe Ratio unsicher sein, erinnert daran, dass man den regulatorischen Status solcher Zahlen im Marketing nicht einfach voraussetzen sollte. Wer eine Compliance-Frage hat, sollte die Primärdokumente und eine qualifizierte Fachperson konsultieren, nicht diesen Erklärartikel.

Fragen beim Lesen der Sharpe Ratio eines Backtests

Die folgende Liste fasst die obigen Punkte als Fragen zusammen. Sie ist keine Methode, um Backtest-Overfitting zu erkennen, und ihre Beantwortung zeigt nicht, dass eine Strategie funktioniert.

  1. Wird die Sharpe Ratio als Schätzung dargestellt – schließlich müssen ihre Bausteine laut der Zusammenfassung der CFA-Institute-Studie statistisch geschätzt werden?
  2. Falls die Zahl aus Monatsrenditen annualisiert wurde: Wurde sie durch Multiplikation mit √12 ermittelt, einer Umrechnung, die laut derselben Zusammenfassung außer unter sehr speziellen Umständen nicht gilt?
  3. Könnte die serielle Korrelation der Monatsrenditen eine Rolle spielen, gemessen am illustrativen Beispiel in dieser Zusammenfassung?
  4. Wird im Marketing von Anlageberatern die Brutto-Performance zusammen mit einer Netto-Performance über denselben Zeitraum und mit derselben Renditeart und Methodik ausgewiesen, wie es die Regel laut den FAQ der SEC-Mitarbeiter zur Marketing-Compliance verlangt?

Grenzen dieses Artikels

Dieser Artikel dient ausschließlich der allgemeinen Bildung und Information. Er stellt keine Anlageberatung dar und empfiehlt keine Strategie, kein Produkt und keinen Vermögenswert. Er misst keine Überanpassung von Backtests, testet keine Methode und berichtet keine eigenen Ergebnisse. Er behandelt nicht das vollständige Paper zur Sharpe Ratio, von dem nur die Zusammenfassung gelesen wurde, und bietet keine rechtliche oder Compliance-Beratung.