Backtest, optimalizace a schvalovací kritéria

Jak se výsledky vytvářejí s realisticky modelovanými náklady, jak se parametry vybírají mimo vzorek a jak strategie splní podmínky pro postup.

Modelované poplatky a náklady odpovídající skutečným burzovním sazbám

Backtesty uplatňují zveřejněné poplatky maker a taker jednotlivých platforem, platby za financování perpetual futures, náklady na půjčení při shortování, spread a model tržního dopadu při každém plnění. Hodnota účtu se přeceňuje podle trhu po každém baru a pozice s pákou mohou být zlikvidovány při dosažení udržovací marže platformy. Výsledky se nikdy neuvádějí před odečtením nákladů.

Velikost pozic a finanční páka

Forexové strategie určují velikost pozice v celých jednotkách základní měny vzhledem k vlastnímu kapitálu účtu. Engine uplatňuje nakonfigurovaný limit páky FX, požadavky na marži a převod kotovací měny. Velikosti lotů specifické pro brokera vyžadují samostatné ověřené mapování.

Jak funguje optimalizace

Optimalizace využívá celou dostupnou historii strategie. Její nejnovější část se odloží jako holdout. Zbytek, vývojové období, se rozdělí do posloupnosti časových oken walk-forward: parametry se hledají na trénovací části každého okna a vyhodnocují na navazující testovací části, takže každý výsledek mimo vzorek vychází z dat, která vyhledávání nikdy nevidělo.

Konečné parametry se poté vyberou jednou za celé vývojové období a otestují přesně jednou na holdoutu. Současně se uvádějí statistiky citlivosti, stability a statistické významnosti a podmínky pro povýšení vycházejí z důkazů mimo vzorek a z holdoutu, nikdy z přizpůsobení na trénovacích datech.

Holdout

Holdout tvoří poslední část historie: nejméně 20 % historie, alespoň 15 dní a dostatečná délka pro očekávaných přibližně 20 obchodů, maximálně však 35 % historie. Holdout, který dosáhne limitu 35 %, je označen jako nedostatečně průkazný. Nikdy se nepoužívá k výběru parametrů a agenti vidí výsledky pouze do začátku holdoutu, takže jejich rozhodnutí nelze přizpůsobit jeho datům. Vy jako vlastník vidíte celou historii na stránce strategie.

Vnořená časová okna walk-forward

Velikost časových oken walk-forward se určuje podle počtu obchodů, nejen podle času: každé testovací okno se prodlužuje, dokud se v něm nedá očekávat přibližně 20 obchodů. Okna se posouvají měsíčně, u dlouhé historie čtvrtletně, a mezi trénováním a testováním je krátká mezera. Vyhledávání je v každé trénovací části vnořené: ta se znovu rozdělí v poměru 70/30, aby se parametry vybíraly podle vnitřních validačních dat. K průkaznému výsledku jsou potřeba alespoň 3 okna a dostatečné pokrytí mimo vzorek; jinak je výsledek označen jako neprůkazný kvůli nedostatku obchodů.

Vyhledávání parametrů a konečné přizpůsobení

Parametry se vyhledávají pomocí bayesovské optimalizace, přibližně 30 pokusů na každý laditelný parametr v každém okně, celkem mezi 30 a 150. Výběr neupřednostňuje jediný nejlepší pokus, ale parametry, jejichž blízké hodnoty také dosahují dobrých výsledků, a přitom respektuje omezení rizika strategie. Při konečném přizpůsobení se stejný výběr použije na celé vývojové období; holdout pak otestuje přesně tyto parametry. Každá optimalizace má časový limit a dlouhá vyhledávání lze spustit na vzdáleném výpočetním prostředí.

Citlivost a plató

Každý číselný parametr se posune o 10 %, 25 % a 50 % oběma směry a celočíselné parametry o jeden a dva kroky. Plató udává, jak daleko se může parametr posunout, než Sharpeův poměr klesne o více než jeho statistická nejistota; prudší pokles se označuje jako prudký propad. Široké plató svědčí o stabilitě, prudký propad je varováním. Jde o zprávu, nikoli o rozhodovací podmínku.

Stabilita parametrů

Stabilita porovnává, jak moc se zvolené parametry liší mezi jednotlivými okny, s tím, jak moc by se lišily při náhodném výběru. Parametry, které zůstávají blízko sebe, jsou označeny jako stabilní; parametry, které výrazně kolísají, jako nestabilní. Jde o varování zobrazované spolu s výsledky, které samo o sobě nikdy není podmínkou. Zobrazuje se také přehrání konečných parametrů pro každé okno, označené jako částečně in-sample, protože tyto parametry byly vybrány na stejných datech.

Statistická významnost a deflovaný Sharpeho poměr

Výnosy mimo vzorek se testují t-testem, který zohledňuje autokorelaci, a deflovaným Sharpeho poměrem. Deflovaný Sharpeho poměr zjišťuje, zda výsledek překonává to, čeho by dosáhl nejlepší výsledek z mnoha náhodných pokusů, přičemž zohledňuje efektivní počet pokusů: skutečně vyzkoušené varianty mimo vzorek včetně každé další revize po kontrole. Interní pokusy vyhledávání se strategii nepřičítají, protože nikdy nepracují s daty mimo vzorek.

Kombinatorická křížová validace a pravděpodobnost přeučení při backtestu se počítají na trénovacích datech jako diagnostické ukazatele. Pomáhají analytikovi, ale samy o sobě již nerozhodují o povýšení.

Okna výnosů a šíře pokrytí

Pomalé strategie mohou obchodovat příliš zřídka na to, aby naplnily okna určená počtem obchodů. V takovém případě se hodnotí podle časových oken výnosů za období pomocí testů, které zohledňují autokorelaci. Test šíře spouští nezměněné pravidlo na 5 nebo více souvisejících trzích: konzistentní výsledky napříč trhy mohou změnit neprůkazný výsledek na úspěšný a neúspěch na jiném trhu může změnit úspěšný výsledek na varování.

Výsledky s nízkou mírou jistoty

Pokud důkazy nestačí k průkaznému výsledku, žádné kritérium však zcela neselhalo a analytik stále doporučuje povýšení, může strategie vstoupit do paper tradingu s označením nízká míra jistoty, statisticky neprokázáno. Toto označení se zobrazuje na stránce strategie, na stránkách paper tradingu i v oznámeních. Strategie s nízkou mírou jistoty není připravena na živé obchodování, dokud její vlastní záznamy z paper tradingu nedosáhnou statistické významnosti.

Podmínky postupu

Minimální podmínky pro povýšení se vynucují v kódu podle zveřejněného souboru kritérií. Tvrdé podmínky nelze obejít: dostatečná historie, ziskovost ve většině kalendářních let při určité expozici, průměrný obchod pokrývající náklady na celý obchod, žádné nadměrné využití marže, dostupné výsledky mimo vzorek i z holdoutu, které nebyly statisticky zamítnuty, pokles hodnoty v mezích stanoveného limitu a úplné, konzistentní účetnictví.

Měkké podmínky a výjimky

Měkké podmínky zahrnují pokles hodnoty ve vztahu k vlastnímu limitu strategie, Calmarův poměr, faktor zisku, úspěšnost spolu s poměrem výnosu a rizika, dobu držení, srovnání holdoutu s výsledky walk-forward, deflovaný Sharpeho poměr, koncentraci zisku do jediného roku, náklady tržního dopadu a ztráty v obdobích vysoké volatility. Analytik může měkkou podmínku prominout pouze s písemným zdůvodněním, které uvádí příslušnou metriku; výjimka se ukládá k běhu, risk manažer ji může zamítnout a portfolio manažer ji znovu ověřuje.

Jak správně číst zpětný test

Porovnejte křivku vlastního kapitálu s poklesem, ověřte, o kolik obchodů se výsledek opírá, a srovnejte průměrný výnos na obchod s náklady za otevření a uzavření pozice. Vysoký výnos z několika málo obchodů nebo Sharpeův poměr, který mimo vzorek zmizí, je varováním, nikoli výsledkem.