백테스트 과적합과 샤프 지수를 이야기할 때 먼저 짚어 둘 점이 있습니다. 샤프 지수는 관측된 사실이 아니라 추정치라는 것입니다. 샤프 지수의 통계적 성질을 다룬 CFA Institute 연구 초록에 따르면, 샤프 지수의 구성 요소인 기대수익률과 변동성은 알려지지 않은 값이어서 통계적으로 추정해야 합니다. 같은 초록은 매우 특수한 상황을 제외하면 월간 샤프 지수에 √12를 곱해 연율화할 수 없다고 말합니다. 또한 한 예시에서는 월간 수익률의 계열상관(serial correlation) 때문에 어느 헤지펀드의 연간 샤프 지수가 최대 65퍼센트까지 과대평가될 수 있다고 설명합니다.
이 글을 쓰면서 검토한 자료들은 백테스트 과적합을 직접 측정하지 않습니다. 자료가 다루는 주제는 서로 연결된 두 가지입니다. 하나는 샤프 지수를 추정하는 방식이고, 다른 하나는 미국 증권거래위원회(SEC) 자료가 투자자문업자 마케팅에서 성과를 어떻게 다루는가입니다. 자료의 내용을 넘어서는 부분은 '우리의 해석'으로 표시하거나 독자에게 던지는 질문 형태로 적었습니다.
백테스트의 샤프 지수가 추정치인 이유
CFA Institute 연구 초록은 샤프 지수의 입력값인 기대수익률과 변동성이 알려지지 않은 값이어서 통계적으로 추정해야 한다고 밝힙니다. 우리는 초록만 읽었으며, 이 글은 초록에 담긴 내용 이상을 주장하지 않습니다.
논문의 결론이 아닌 우리의 해석: 샤프 지수의 입력값이 추정치라면, 백테스트 끝에 찍혀 나오는 샤프 지수 역시 추정치입니다. 이를 전략이 지닌 고정된 속성처럼 읽어서는 안 됩니다. 이 내용은 독자를 위한 배경 설명으로만 제시합니다.
백테스트에서 샤프 지수 하나만 보게 된다면 다음과 같이 물어볼 수 있습니다.
- 기대수익률과 변동성을 추정하는 데 어떤 데이터와 어떤 기간을 썼는가?
- 이 수치가 추정치라는 사실이 함께 표시되어 있는가, 아니면 아무 맥락 없이 숫자 하나로만 제시되어 있는가?
이 질문들로 백테스트의 과적합 여부를 검증할 수는 없습니다. 다만 샤프 지수가 통계적 성격을 지닌다는 점을 잊지 않게 해 줄 뿐입니다.
샤프 지수 연율화: √12 지름길
CFA Institute 연구 초록에 따르면, 저자는 매우 특수한 상황을 제외하면 월간 샤프 지수에 √12를 곱해 연율화할 수 없음을 보여 줍니다.
이 글을 위해 읽은 초록만으로는 그 '특수한 상황'을 자세히 설명할 수 없으므로 시도하지 않겠습니다. 이 주장에서 끌어낼 수 있는 결론은 좁습니다. 월간 샤프 지수에 √12를 곱하는 방식은 일반적으로 성립하는 변환이 아니라는 것입니다.
개념 설명을 위한 가상 예시(합성 예시이며 실제 데이터 없음): 어떤 백테스트 보고서가 연간 샤프 지수만 보여 주면서, 이 값은 월간 값에 √12를 곱해 얻었다고 적어 두었다고 해 봅시다. 초록의 내용에 비추어 보면, 신중한 독자는 이 연간 수치가 매우 특수한 상황에서만 성립하는 가정에 기대고 있다고 받아들일 것입니다. 이 예시에는 일부러 숫자를 넣지 않았습니다. 측정된 결과가 아니라 던져 볼 만한 질문을 보여 주려는 것입니다.
계열상관과 과대평가된 샤프 지수
CFA Institute 연구 초록의 세 번째 요점은 월간 수익률의 계열상관입니다. 한 예시에서는 월간 수익률의 계열상관 때문에 어느 헤지펀드의 연간 샤프 지수가 최대 65퍼센트까지 과대평가될 수 있습니다.
이 진술이 어느 정도의 강도로 쓰였는지 정확히 짚어 둘 필요가 있습니다.
| 초록이 말하는 것 | 초록이 말하지 않는 것 |
|---|---|
| 해당 사례는 예시다 | 모든 펀드나 백테스트에서 같은 효과가 나타난다 |
| 과대평가 폭은 최대 65퍼센트에 이를 수 있다 | 모든 경우에 과대평가 폭이 65퍼센트다 |
| 지목된 원인은 월간 수익률의 계열상관이다 | 원인으로서의 백테스트 과적합에 관한 내용 |
우리의 해석: 이 예시는 백테스트가 아니라 헤지펀드에 관한 것입니다. 그래도 월간 수익률로 연율화한 샤프 지수를 보고하는 백테스트를 볼 때 참고할 만하다고 느끼는 독자도 있겠지만, 초록이 그 연결을 직접 짓지는 않습니다. 보고된 수치의 바탕이 된 월간 수익률에 계열상관이 있는지 묻는 것은 합리적인 질문입니다. 하지만 그것이 특정 수치가 과대평가되었다는 증거는 아닙니다.
샤프 지수와 SEC 투자자문업자 마케팅 규칙
SEC 직원들은 자문업자들이 샤프 지수 같은 지표가 이 규칙상 '성과'에 해당하는지 확신하지 못할 수 있다는 점을 인정합니다. 규제 맥락이 중요한 이유가 여기에 있습니다. 투자자문업자 마케팅에 관한 SEC 소기업 컴플라이언스 가이드는 다음과 같은 배경을 설명합니다.
- 2020년 12월 22일, SEC는 1940년 투자자문업자법(Investment Advisers Act of 1940)에 따른 개정안을 채택했습니다.
- 이 개정안은 1961년 광고 규칙 채택과 1979년 현금 권유 규칙 채택 이후의 변화를 반영합니다.
- 마케팅 규칙에는 모든 광고에 적용되는 일반 금지 사항 일곱 가지가 담겨 있습니다.
- 프로모터가 직전 열두 달 동안 $1,000 이하의 소액(de minimis) 보상 또는 그에 상응하는 비현금 가치를 받은 경우에는 서면 계약이 필요하지 않습니다.
- SEC는 시행일로부터 열여덟 달 뒤인 2022년 11월 4일을 준수 기한으로 정했습니다.
이 가이드와 SEC 직원의 마케팅 컴플라이언스 FAQ에 나오는 주요 날짜는 다음과 같습니다.
| 날짜 | 내용 |
|---|---|
| 2020년 12월 22일 | SEC가 개정안 채택 |
| 2021년 5월 4일 | 시행일. 자문업자는 이날부터 언제든 개정된 마케팅 규칙 전체를 준수하는 방식을 택할 수 있음 |
| 2022년 11월 4일 | 준수 기한 |
SEC 직원이 '성과'로서의 샤프 지수에 대해 말하는 것
SEC 직원의 마케팅 컴플라이언스 FAQ는 샤프 지수를 직접 언급합니다. SEC 직원들은 자문업자들이 변동성, 샤프 지수, 소르티노 지수 같은 특성이 이 규칙상 성과에 해당하는지 확신하지 못할 수 있다는 점을 인정합니다. 이 질문에 어떤 답이 내려지는지는 검토한 근거가 다루지 않으므로 이 글에서도 언급하지 않습니다.
같은 FAQ에는 다음 내용도 있습니다.
- FAQ의 답변은 투자운용국(Division of Investment Management) 직원들의 견해이며, SEC의 규칙, 규정 또는 공식 성명이 아닙니다.
- 이 규칙은 총성과(gross performance)를 제시할 때 동일한 기간에 대해 동일한 유형의 수익률과 방법론으로 계산한 순성과(net performance)를 함께 제시하도록 요구합니다.
- SEC 직원들은 가장 최근 역년 말을 기준으로 성과를 계산하는 합리적인 기간이 일반적으로 한 달을 넘지 않을 것으로 봅니다.
- 자문업자는 최근 다섯 해 동안 시행된 적이 있는 모든 컴플라이언스 정책과 절차의 사본을 보관해야 합니다.
우리의 해석: 자문업자들이 샤프 지수 같은 지표를 두고 확신하지 못할 수 있다고 SEC 직원 스스로 밝혔다는 사실은, 마케팅에서 이런 수치가 규제상 어떤 지위를 갖는지 독자가 섣불리 단정해서는 안 된다는 점을 일깨워 줍니다. 컴플라이언스 관련 질문이 있다면 이 글이 아니라 1차 문서와 자격을 갖춘 전문가에게 확인하시기 바랍니다.
백테스트 샤프 지수를 읽을 때 던질 질문
아래 목록은 앞서 다룬 내용을 질문 형태로 정리한 것입니다. 백테스트 과적합을 찾아내는 방법이 아니며, 이 질문들에 답한다고 해서 전략이 효과가 있다는 사실이 증명되지도 않습니다.
- CFA Institute 연구 초록에 따르면 샤프 지수의 구성 요소는 통계적으로 추정해야 하는데, 이 샤프 지수는 추정치로 제시되어 있는가?
- 월간 수익률로 연율화한 수치라면, 같은 초록이 매우 특수한 상황을 제외하면 성립하지 않는다고 말한 √12 곱하기 방식으로 얻은 것인가?
- 그 초록의 예시를 고려할 때, 월간 수익률의 계열상관이 문제가 될 수 있는가?
- 자문업자 마케팅에서 총성과를 제시할 때, SEC 직원의 마케팅 컴플라이언스 FAQ가 규칙의 요구 사항으로 설명하듯 동일한 기간에 대해 동일한 유형의 수익률과 방법론으로 계산한 순성과가 함께 제시되어 있는가?
이 글의 한계
이 글은 교육 목적의 정보만을 제공합니다. 이 글은 투자 조언이 아니며 어떤 전략, 상품 또는 자산도 추천하지 않습니다. 이 글은 백테스트 과적합을 측정하거나 어떤 방법을 검증하거나 자체 결과를 보고하지 않습니다. 이 글은 초록만 읽은 샤프 지수 논문의 전체 내용을 다루지 않으며, 법률 또는 컴플라이언스 관련 지침도 제공하지 않습니다.