Um bom ponto de partida para falar de sobreajuste (overfitting) em backtests e do índice de Sharpe é este: o índice é uma estimativa, não um fato observado. Segundo o resumo da pesquisa do CFA Institute sobre a estatística dos índices de Sharpe, seus componentes (retornos esperados e volatilidades) são grandezas desconhecidas que precisam ser estimadas estatisticamente. O mesmo resumo afirma que índices de Sharpe mensais não podem ser anualizados multiplicando-se por √12, exceto em circunstâncias muito especiais. Ele também diz que, em um exemplo ilustrativo, o índice de Sharpe anual de um hedge fund pode ficar superestimado em até 65% por causa da correlação serial nos retornos mensais.
As fontes consultadas para este texto explicativo não medem diretamente o sobreajuste em backtests. Elas tratam de dois temas relacionados: como os índices de Sharpe são estimados e como os materiais da Comissão de Valores Mobiliários dos Estados Unidos (SEC) tratam o desempenho no marketing de consultores de investimento. Sempre que este artigo vai além do que as fontes dizem, isso aparece identificado como interpretação nossa ou formulado como uma pergunta ao leitor.
Por que o índice de Sharpe de um backtest é uma estimativa
O resumo da pesquisa do CFA Institute afirma que os insumos do índice de Sharpe, retornos esperados e volatilidades, são grandezas desconhecidas que precisam ser estimadas estatisticamente. Lemos apenas o resumo, e este artigo não afirma nada além dele.
Interpretação nossa, não uma conclusão do artigo: se os insumos do índice de Sharpe são estimativas, então o índice de Sharpe que aparece no fim de um backtest também é uma estimativa. Ele não deve ser lido como uma propriedade fixa de uma estratégia. Esses pontos são levantados aqui apenas como contexto para o leitor.
Quem se depara com um único índice de Sharpe de um backtest pode se perguntar:
- Quais dados e qual período foram usados para estimar o retorno esperado e a volatilidade?
- O número vem acompanhado de alguma indicação de que é uma estimativa, ou aparece isolado, sem contexto?
Essas perguntas não testam se um backtest está sobreajustado. Elas apenas mantêm à vista a natureza estatística do índice.
Anualizar o índice de Sharpe: o atalho do √12
O resumo da pesquisa do CFA Institute afirma que o autor demonstra que índices de Sharpe mensais não podem ser anualizados multiplicando-se por √12, exceto em circunstâncias muito especiais.
O resumo lido para este artigo não nos permite descrever essas circunstâncias em detalhe, por isso não tentamos fazê-lo. O que decorre da afirmação é algo restrito: multiplicar um índice de Sharpe mensal por √12 não é uma conversão válida de forma geral.
Exemplo conceitual, claramente identificado (sintético, sem dados reais): imagine um relatório de backtest que mostra apenas um índice de Sharpe anual e informa que ele foi obtido multiplicando o valor mensal por √12. Com base no resumo, um leitor atento trataria esse número anual como dependente de uma premissa que só vale em circunstâncias muito especiais. O exemplo não traz números de propósito. Ele ilustra uma pergunta a fazer, não um resultado medido.
Correlação serial e um índice de Sharpe superestimado
O terceiro ponto do resumo da pesquisa do CFA Institute trata da correlação serial nos retornos mensais. Em um exemplo ilustrativo, o índice de Sharpe anual de um hedge fund pode ficar superestimado em até 65% por causa da correlação serial nos retornos mensais.
Vale manter a força exata dessa afirmação:
| O que o resumo diz | O que ele não diz |
|---|---|
| O exemplo é ilustrativo | Que todo fundo ou backtest apresenta o mesmo efeito |
| A superestimação pode chegar a 65% | Que a superestimação é de 65% em todos os casos |
| A causa apontada é a correlação serial nos retornos mensais | Nada sobre o sobreajuste em backtests como causa |
Interpretação nossa: o exemplo ilustrativo diz respeito a um hedge fund, não a um backtest. Ainda assim, o leitor pode considerá-lo relevante para backtests que informam índices de Sharpe anualizados a partir de retornos mensais, mas o resumo não faz essa ligação. Perguntar se os retornos mensais por trás de um número divulgado apresentam correlação serial é uma pergunta razoável. Não é prova de que um número específico esteja superestimado.
Índice de Sharpe e a regra de marketing da SEC para consultores de investimento
A equipe técnica da SEC reconhece que os consultores podem ter dúvidas sobre se métricas como o índice de Sharpe constituem desempenho segundo a regra. É por isso que o contexto regulatório importa. O guia de compliance da SEC para pequenas empresas sobre marketing de consultores de investimento traz o seguinte histórico:
- Em 22 de dezembro de 2020, a SEC adotou emendas no âmbito do Investment Advisers Act of 1940.
- As emendas refletem a evolução ocorrida desde a adoção da regra de publicidade, em 1961, e da regra de captação remunerada de clientes (cash solicitation rule), em 1979.
- A regra de marketing contém sete proibições gerais que se aplicam a todos os anúncios.
- Não é exigido acordo por escrito quando o divulgador recebe remuneração mínima (de minimis) de $1,000 (mil dólares) ou menos, ou valor equivalente em benefícios não monetários, durante os doze meses anteriores.
- A SEC fixou como data de cumprimento obrigatório 4 de novembro de 2022, dezoito meses após a data de vigência.
As datas-chave, segundo esse guia e as perguntas frequentes (FAQ) da equipe técnica da SEC sobre compliance de marketing, são:
| Data | Evento |
|---|---|
| 22 de dezembro de 2020 | A SEC adotou as emendas |
| 4 de maio de 2021 | Data de vigência; a partir dela, um consultor pode optar por cumprir integralmente a regra de marketing emendada a qualquer momento |
| 4 de novembro de 2022 | Data de cumprimento obrigatório |
O que a equipe da SEC diz sobre o índice de Sharpe como desempenho
O FAQ da equipe técnica da SEC sobre compliance de marketing trata diretamente do índice de Sharpe. A equipe reconhece que os consultores podem ter dúvidas sobre se características como volatilidade, índice de Sharpe e índice de Sortino constituem desempenho segundo a regra. Este artigo não diz como essa questão se resolve, porque as afirmações verificadas não cobrem a resposta.
O mesmo FAQ também afirma:
- As respostas do FAQ representam a opinião da equipe da Division of Investment Management e não constituem regra, regulamento nem declaração da SEC.
- A regra exige que o desempenho bruto venha acompanhado do desempenho líquido, calculado no mesmo período e com o mesmo tipo de retorno e a mesma metodologia.
- A equipe entende que um prazo razoável para calcular resultados de desempenho com base no encerramento do ano-calendário mais recente geralmente não ultrapassaria um mês.
- Os consultores são obrigados a manter uma cópia de todas as políticas e procedimentos de compliance que tenham estado em vigor em qualquer momento dos cinco anos anteriores.
Interpretação nossa: a própria afirmação da equipe de que os consultores podem ter dúvidas sobre métricas como o índice de Sharpe lembra que o status regulatório desses números no marketing não é algo que o leitor deva presumir. Quem tiver uma dúvida de compliance deve consultar os documentos primários e um profissional qualificado, e não este texto explicativo.
Perguntas a fazer ao ler o índice de Sharpe de um backtest
A lista abaixo reúne os pontos anteriores em forma de perguntas. Não é um método para detectar sobreajuste em backtests, e responder a essas perguntas não demonstra que uma estratégia funciona.
- O índice de Sharpe é apresentado como uma estimativa, já que seus componentes precisam ser estimados estatisticamente, segundo o resumo da pesquisa do CFA Institute?
- Se o número foi anualizado a partir de retornos mensais, ele foi obtido multiplicando-se por √12, uma conversão que, segundo o mesmo resumo, não é válida exceto em circunstâncias muito especiais?
- A correlação serial nos retornos mensais pode ser relevante, tendo em vista o exemplo ilustrativo desse resumo?
- No marketing de consultores, o desempenho bruto vem acompanhado do desempenho líquido no mesmo período, com o mesmo tipo de retorno e a mesma metodologia, como o FAQ da equipe técnica da SEC sobre compliance de marketing descreve que a regra exige?
Limites deste artigo
Este artigo tem caráter exclusivamente educativo. Não constitui recomendação de investimento nem recomenda qualquer estratégia, produto ou ativo. Ele não mede o sobreajuste (overfitting) em backtests, não testa nenhum método nem apresenta resultados próprios. Ele não aborda o artigo completo sobre o índice de Sharpe, do qual foi lido apenas o resumo, nem oferece orientação jurídica ou de compliance.