TRIBEAI / バージョン 2026-11-02
指標検証チェックリスト
指標を慎重に検証するためのチェックリストと実験記録です。無料のHTMLを保存・印刷できます。
- ☐ 結果を見る前に、問い、合格基準、検証を打ち切る条件を書きます。
- ☐ データの出所、ライセンス、版、時刻、タイムゾーン、調整方法を記録します。対象の選定には当時利用できた情報を使います。
- ☐ データを時系列順に分けます。特徴量、尺度、しきい値の調整には訓練データだけを使います。
- ☐ 最終テストを温存します。過去だけを見るウォークフォワード検証を使い、予測期間の重なりと依存関係を記録します。
- ☐ 同じ日付、予測対象、コスト条件で、単純な基準手法と比較します。
- ☐ 手数料、スプレッド、スリッページ、約定の制約を含めます。ストップ価格での約定は保証されません。
- ☐ 試したモデル、市場、しきい値、予測期間をすべて記録します。最良の設定だけを示さず、多重検定を考慮します。
- ☐ 標本数、不確実性、コスト控除後の結果、ドローダウンを報告します。高い的中率だけでは優位性を示せません。
- ☐ 異なる期間や条件で安定性を確認します。否定的な結果と、手法が機能しない状況も説明します。
- ☐ データの参照先、コード、設定、乱数シード、出力を保存します。公開前に主張とリスクを確認します。
実験記録
- 問いと判断基準
- データ・ライセンス・期間
- 訓練・検証・最終テスト
- 基準手法とコスト
- 試したすべての設定
- 結果・不確実性・限界
- 次の判断と確認担当者