手法を検証し、根拠を残す。

1. 01結果を見る前に、問い、合格基準、検証を打ち切る条件を書きます。
2. 02データの出所、ライセンス、版、時刻、タイムゾーン、調整方法を記録します。対象の選定には当時利用できた情報を使います。
3. 03データを時系列順に分けます。特徴量、尺度、しきい値の調整には訓練データだけを使います。
4. 04最終テストを温存します。過去だけを見るウォークフォワード検証を使い、予測期間の重なりと依存関係を記録します。
5. 05同じ日付、予測対象、コスト条件で、単純な基準手法と比較します。
6. 06手数料、スプレッド、スリッページ、約定の制約を含めます。ストップ価格での約定は保証されません。
7. 07試したモデル、市場、しきい値、予測期間をすべて記録します。最良の設定だけを示さず、多重検定を考慮します。
8. 08標本数、不確実性、コスト控除後の結果、ドローダウンを報告します。高い的中率だけでは優位性を示せません。
9. 09異なる期間や条件で安定性を確認します。否定的な結果と、手法が機能しない状況も説明します。
10. 10データの参照先、コード、設定、乱数シード、出力を保存します。公開前に主張とリスクを確認します。

実験記録

問いと判断基準

 

データ・ライセンス・期間

 

訓練・検証・最終テスト

 

基準手法とコスト

 

試したすべての設定

 

結果・不確実性・限界

 

次の判断と確認担当者