Backtesting, Optimierung und Freigabeschritte

Wie Ergebnisse mit realen Kosten entstehen, wie Parameter außerhalb der Stichprobe ausgewählt werden und wie eine Strategie die Freigabe erhält.

Echte Börsengebühren und Kosten

Backtests berücksichtigen die veröffentlichten Maker- und Taker-Gebühren jedes Handelsplatzes, Funding-Zahlungen bei Perpetual Futures, Leihkosten bei Leerverkäufen, einen Spread und ein Modell für Markteinfluss bei jedem Fill. Das Eigenkapital wird Balken für Balken zum Marktwert bewertet, und gehebelte Positionen können bei Erreichen der Maintenance Margin des Handelsplatzes liquidiert werden. Es werden keine Ergebnisse vor Abzug der Kosten ausgewiesen.

Positionsgröße und Hebel

Forex-Strategien bemessen Positionen in ganzen Einheiten der Basiswährung im Verhältnis zum Kontoeigenkapital. Die Engine wendet die konfigurierte FX-Hebelobergrenze, die Margin-Anforderungen und die Umrechnung in die Kurswährung an. Für brokerseitige Lotgrößen ist eine separat validierte Zuordnung erforderlich.

So funktioniert die Optimierung

Bei der Optimierung wird die gesamte verfügbare Historie der Strategie verwendet. Der jüngste Teil wird als Holdout zurückgehalten. Der übrige Teil, der Entwicklungszeitraum, wird in eine Abfolge von Walk-Forward-Fenstern unterteilt: Die Parameter werden für die Trainingsspanne jedes Fensters gesucht und anhand der darauffolgenden Testspanne bewertet. So stammt jedes Out-of-Sample-Ergebnis aus Daten, die bei der Suche nicht verwendet wurden.

Anschließend werden die endgültigen Parameter einmalig für den gesamten Entwicklungszeitraum bestimmt und genau einmal am Holdout getestet. Zusätzlich werden Kennzahlen zu Sensitivität, Stabilität und statistischer Signifikanz ausgewiesen. Die Gates für die Übernahme stützen sich auf die Out-of-Sample- und Holdout-Daten, niemals auf die Anpassung an die In-Sample-Daten.

Der Holdout

Der Holdout umfasst den letzten Teil der Historie: mindestens 20 % davon, mindestens 15 Tage und einen Zeitraum, in dem etwa 20 Trades zu erwarten sind, höchstens jedoch 35 % der Historie. Wird die Obergrenze von 35 % erreicht, wird der Holdout als unzureichend aussagekräftig gekennzeichnet. Er wird niemals zur Auswahl der Parameter verwendet. Die Agents sehen nur Ergebnisse bis zum Beginn des Holdouts, damit ihre Entscheidungen nicht darauf abgestimmt werden können. Als Eigentümer sehen Sie auf der Strategieseite die vollständige Historie.

Verschachtelte Walk-Forward-Fenster

Walk-Forward-Fenster werden nach der Anzahl der Trades bemessen, nicht nur nach der Zeit: Jedes Testfenster wird so lange verlängert, bis etwa 20 Trades zu erwarten sind. Die Fenster verschieben sich monatlich oder bei langen Historien vierteljährlich, mit einer kurzen Lücke zwischen Training und Test. Innerhalb jeder Trainingsspanne ist die Suche verschachtelt: Sie wird erneut im Verhältnis 70/30 aufgeteilt, damit die Parameter anhand interner Validierungsdaten ausgewählt werden. Für ein aussagekräftiges Ergebnis sind mindestens 3 Fenster und eine ausreichende Out-of-Sample-Abdeckung erforderlich. Andernfalls wird das Ergebnis wegen zu weniger Trades als nicht schlüssig gekennzeichnet.

Parametersuche und abschließende Neuanpassung

Die Parameter werden mit Bayes'scher Optimierung gesucht, mit etwa 30 Durchläufen pro optimierbarem Parameter und Fenster, mindestens 30 und höchstens 150. Statt des einzelnen besten Durchlaufs bevorzugt die Auswahl Parameter, deren benachbarte Werte ebenfalls gut abschneiden, und berücksichtigt dabei die Risikobeschränkungen der Strategie. Bei der abschließenden Neuanpassung wird dieselbe Auswahlmethode auf den gesamten Entwicklungszeitraum angewendet; anschließend werden genau diese Parameter am Holdout getestet. Für jede Optimierung gilt ein Zeitbudget, und lange Suchläufe können auf externen Rechenressourcen ausgeführt werden.

Sensitivität und Plateaus

Jeder numerische Parameter wird in beide Richtungen um 10 %, 25 % und 50 % verschoben, ganzzahlige Parameter zusätzlich um einzelne und doppelte Schritte. Das Plateau zeigt, wie weit sich ein Parameter verschieben lässt, bevor die Sharpe-Ratio stärker sinkt, als es ihrer statistischen Unsicherheit entspricht; ein stärkerer Rückgang wird als Klippe ausgewiesen. Ein breites Plateau ist ein beruhigender Hinweis, eine Klippe eine Warnung. Dies ist ein Bericht, kein Entscheidungskriterium.

Parameterstabilität

Die Stabilität vergleicht, wie stark die gewählten Parameter von Fenster zu Fenster variieren, mit der erwarteten Schwankung einer zufälligen Auswahl. Parameter, die nahe beieinanderbleiben, werden als stabil gekennzeichnet; stark schwankende Parameter als instabil. Dies ist ein Warnhinweis in den Ergebnissen und für sich allein niemals ein Gate. Zusätzlich wird eine Wiedergabe der endgültigen Parameter für jedes Fenster angezeigt und als teilweise In-Sample gekennzeichnet, da diese Parameter anhand derselben Daten ausgewählt wurden.

Signifikanz und deflated Sharpe Ratio

Out-of-Sample-Renditen werden mit einem t-Test geprüft, der Autokorrelation berücksichtigt, sowie mit einer deflated Sharpe Ratio. Die deflated Sharpe Ratio fragt, ob das Ergebnis besser ist als das, was der beste von vielen zufälligen Versuchen erzielen würde, und berücksichtigt dabei die effektive Anzahl der Versuche: die tatsächlich getesteten Out-of-Sample-Varianten, einschließlich jeder zusätzlichen Überarbeitung nach einer Prüfung. Interne Suchdurchläufe werden der Strategie nicht angerechnet, da sie keine Out-of-Sample-Daten sehen.

Kombinatorische Kreuzvalidierung und die Wahrscheinlichkeit einer Überanpassung an Backtests werden als Diagnosen anhand der Trainingsdaten berechnet. Sie helfen dem Analysten bei der Einschätzung, entscheiden aber nicht mehr eigenständig über die Übernahme.

Renditefenster und Marktbreite

Langsame Strategien handeln möglicherweise zu selten, um die erforderlichen Trade-Anzahlen für die Fenster zu erreichen. In diesem Fall werden sie anhand von Zeitfenstern mit Periodenrenditen beurteilt, wobei die Tests Autokorrelation berücksichtigen. Ein Marktbreitentest wendet die unveränderte Regel auf 5 oder mehr verwandte Märkte an: Konsistente Ergebnisse über mehrere Märkte hinweg können ein nicht schlüssiges Ergebnis in ein bestandenes verwandeln, während ein Scheitern auf einem anderen Markt ein bestandenes Ergebnis in eine Warnung umwandeln kann.

Ergebnisse mit geringer Aussagekraft

Sind die Belege nicht stark genug für ein schlüssiges Ergebnis, ist aber nichts eindeutig fehlgeschlagen und empfiehlt der Analyst weiterhin die Übernahme, kann die Strategie mit der Kennzeichnung „geringe Zuverlässigkeit, statistisch nicht bewiesen“ ins Paper Trading aufgenommen werden. Die Kennzeichnung erscheint auf der Strategie- und Paper-Seite sowie in Benachrichtigungen. Eine Strategie mit geringer Zuverlässigkeit ist erst dann für den Live-Handel bereit, wenn ihre eigenen Paper-Trading-Ergebnisse statistische Signifikanz erreichen.

Freigabeschwellen

Die Schwellenwerte für die Übernahme werden im Code anhand einer veröffentlichten Kriteriendatei durchgesetzt. Harte Kriterien können nicht außer Kraft gesetzt werden: ausreichende Historie, Profitabilität in den meisten Kalenderjahren mit Marktexposition, ein durchschnittlicher Trade, der die Kosten für Hin- und Rücktransaktion deckt, keine übermäßige Marginnutzung, vorhandene und statistisch nicht verworfene Out-of-Sample- und Holdout-Ergebnisse, ein Drawdown innerhalb des registrierten Limits sowie eine vollständige und konsistente Buchführung.

Weiche Gates und Ausnahmegenehmigungen

Weiche Kriterien umfassen den Drawdown im Verhältnis zum eigenen Limit der Strategie, die Calmar Ratio, den Profitfaktor, die Gewinnquote zusammen mit dem Verhältnis von Gewinn- zu Verlusttrade, die Haltedauer, den Holdout im Vergleich zu den Walk-Forward-Ergebnissen, die deflated Sharpe Ratio, die Konzentration des Gewinns auf ein einzelnes Jahr, die Markteinflusskosten und Verluste in Phasen hoher Volatilität. Der Analyst darf ein weiches Kriterium nur mit einer schriftlichen Begründung außer Kraft setzen, die die Kennzahl benennt. Die Ausnahmegenehmigung wird für den Lauf gespeichert, kann vom Risk Officer abgelehnt werden und wird vom Portfolio Manager erneut geprüft.

Einen Backtest richtig einschätzen

Vergleiche die Eigenkapitalkurve mit dem Drawdown, prüfe, auf wie vielen Trades das Ergebnis beruht, und vergleiche die durchschnittliche Rendite pro Trade mit den Kosten für Hin- und Rückhandel. Eine hohe Rendite aus wenigen Trades oder eine Sharpe Ratio, die außerhalb der Stichprobe verschwindet, ist ein Warnsignal und kein belastbares Ergebnis.