バックテスト、最適化、昇格基準
実際のコストを含めた結果の生成方法、サンプル外データでのパラメーター選択方法、戦略が昇格に値すると判断される条件。
実際の取引所手数料とコスト
バックテストでは、各取引所が公表するメイカー手数料とテイカー手数料、無期限先物の資金調達料、ショートの借入コスト、スプレッド、すべての約定に対する市場インパクトモデルを適用します。資産評価額は各バーで時価評価され、レバレッジポジションは取引所の維持証拠金水準で清算されることがあります。コスト控除前の数値が報告されることはありません。
ポジションサイズとレバレッジ
Forex戦略では、口座の純資産に対して基軸通貨の整数単位でポジションサイズを決定します。エンジンは、設定済みのFXレバレッジ上限、証拠金要件、決済通貨への換算を適用します。ブローカー固有のロットサイズには、別途検証済みのマッピングが必要です。
最適化の仕組み
最適化では、戦略で利用可能な全履歴を使用します。直近の部分はホールドアウトとして取り分けます。残りの開発期間は、連続するウォークフォワードウィンドウに分割します。各ウィンドウの学習区間でパラメータを探索し、その後に続くテスト区間で評価するため、各アウトオブサンプル結果は探索に使われていないデータから得られます。
その後、開発期間全体で最終パラメータを一度だけ選び、ホールドアウトで一度だけテストします。感度、安定性、統計的有意性に関する指標も併せて報告します。昇格ゲートが参照するのはアウトオブサンプルとホールドアウトの証拠であり、インサンプルへの適合結果は参照しません。
ホールドアウト
ホールドアウトは履歴の最後の部分です。履歴の少なくとも20%、少なくとも15日分を確保し、約20回の取引を見込める長さとします。ただし履歴の35%を上限とします。ホールドアウトが35%の上限に達した場合は、検出力不足と表示されます。パラメータの選択には一切使われません。また、エージェントが参照できる結果はホールドアウト開始時点までのため、その結果に合わせて判断を調整することはできません。オーナーであるあなたは、戦略ページで全履歴を確認できます。
ネストされたウォークフォワードウィンドウ
ウォークフォワードウィンドウの長さは、期間だけでなく取引回数に基づいて決めます。各テストウィンドウは、約20回の取引を見込める長さになるまで延長されます。ウィンドウは月ごとに、履歴が長い場合は四半期ごとに進み、学習区間とテスト区間の間には短い間隔を設けます。各学習区間内の探索はネストされ、さらに70/30に分割して、内側の検証データでパラメータを選びます。結論を出せる結果を得るには、少なくとも3つのウィンドウと十分なアウトオブサンプル範囲が必要です。それに満たない場合、取引回数不足により結果は結論が出せないものと表示されます。
パラメータ探索と最終再適合
パラメータはベイズ最適化によって探索されます。ウィンドウごと、調整可能なパラメータごとに約30回の試行を行い、その回数は30回から150回の範囲で設定されます。セレクターは単一の最良試行を選ぶのではなく、戦略のリスク制約の下で、近傍の結果も良好なパラメータを優先します。最終的な再推定では、同じセレクターを開発期間全体に適用し、ホールドアウトはまさにそれらのパラメータを検証します。各最適化には時間の上限があり、長時間の探索はリモートの計算資源で実行できます。
感度とプラトー
すべての数値パラメータを両方向に10%、25%、50%動かし、整数パラメータは単一ステップと二重ステップで動かします。プラトーとは、シャープレシオがその統計的な不確実性を超えて低下するまでに、パラメータがどこまで動けるかを示す指標です。より急激な低下は「崖」として報告されます。広いプラトーは心強い根拠であり、崖は警告です。これは判定基準ではなく、レポートです。
パラメータの安定性
安定性では、ウィンドウごとの選択パラメータのばらつきを、ランダムに選んだ場合のばらつきと比較します。パラメータの値が近い範囲に収まる場合は安定、ばらつきが大きい場合は不安定と表示されます。これは結果とともに示される警告であり、それ単独でゲートになることはありません。最終パラメータを使ったウィンドウごとのリプレイも表示されます。これらのパラメータは同じデータを使って選択されたため、一部インサンプルと表示されます。
有意性とDeflated Sharpe Ratio
アウトオブサンプルリターンは、自己相関を考慮したt検定とDeflated Sharpe Ratioで検定します。Deflated Sharpe Ratioは、何度も行ったランダムな試行のうち最良の結果を上回っているかを、実効試行回数を数えて評価します。ここには、レビュー後の追加修正ごとに実際に試されたアウトオブサンプルのバリエーションが含まれます。内部の探索試行はアウトオブサンプルデータを見ていないため、戦略の試行回数には加算されません。
組み合わせ交差検証とバックテスト過剰適合の確率は、診断指標として学習データ上で算出されます。これらはアナリストの判断材料になりますが、単独で昇格を決めるものではありません。
リターン期間と対象市場数
取引頻度が低い戦略では、取引回数に基づくウィンドウを満たすだけの取引が発生しない場合があります。その場合は、自己相関を考慮した検定を用いて、期間リターンの時間ウィンドウで評価します。5つ以上の関連市場でルールを変更せずに実行する市場数の広がりテストも行います。市場間で一貫した結果が得られれば、結論が出せない結果が合格に変わることがあります。他の市場で失敗すれば、合格が警告に変わることがあります。
信頼度の低い結果
証拠が確定的とするには不十分でも、明確な不合格項目はなく、アナリストが昇格を引き続き推奨する場合、戦略は統計的に実証されていない信頼度の低い状態でペーパートレードに進むことがあります。この表示は戦略ページとペーパートレードのページ、および通知に示されます。信頼度の低い戦略は、自身のペーパートレード実績が有意になるまで、ライブ取引に進めません。
昇格基準
昇格の下限条件は、公表済みの基準ファイルに基づいてコードで適用されます。ハードゲートは免除できません。必要な履歴があること、エクスポージャーのある暦年の大半で利益が出ていること、取引あたりの平均リターンが往復取引コストをカバーすること、過剰な証拠金使用がないこと、アウトオブサンプルとホールドアウトの結果が存在し統計的に棄却されていないこと、ドローダウンが登録済みの上限内であること、会計が完全かつ一貫していることが条件です。
ソフトゲートと免除
ソフトゲートでは、戦略独自の上限に対するドローダウン、Calmarレシオ、プロフィットファクター、ペイオフと併せた勝率、保有期間、ホールドアウト結果とウォークフォワード結果の比較、deflated Sharpe ratio、単一年への利益集中、市場インパクトコスト、高ボラティリティ期間中の損失を評価します。アナリストがソフトゲートを免除できるのは、指標を明記した理由を書面で残した場合に限られます。免除は実行記録に保存され、Risk Officerは却下でき、Portfolio Managerが再確認します。
バックテスト結果を正しく読む
エクイティカーブとドローダウンを比較し、結果が何回の取引に依存しているかを確認し、取引あたりの平均リターンを往復コストと照らし合わせて読んでください。少数の取引から得られた高いリターンや、サンプル外で消えてしまうシャープレシオは、結果ではなく警告です。