Backtesting, optimering og godkendelsestrin
Sådan skabes resultater med faktiske omkostninger, sådan vælges parametre out of sample, og sådan gør en strategi sig fortjent til oprykning.
Faktiske gebyrer og omkostninger på børser
Backtests anvender hvert handelssteds offentliggjorte maker- og takergebyrer, finansieringsbetalinger på perpetual futures, låneomkostninger ved shortpositioner, et spread og en model for markedspåvirkning ved hver udførelse. Egenkapitalen markedsværdiansættes for hver bar, og gearede positioner kan likvideres ved handelsstedets vedligeholdelsesmarginkrav. Intet rapporteres før omkostninger.
Positionsstørrelse og gearing
Forex-strategier beregner positionsstørrelser i hele basisvalutaenheder i forhold til kontoens egenkapital. Motoren anvender det konfigurerede FX-gearingloft, marginkrav og konvertering af noteringsvaluta. Mæglerens egne lotstørrelser kræver en særskilt, valideret tilknytning.
Sådan fungerer optimering
Optimeringen bruger hele strategiens tilgængelige historik. Den seneste del sættes til side som holdout. Resten, udviklingsperioden, opdeles i en sekvens af walk-forward-vinduer: Parametre søges på hvert vindues træningsperiode og vurderes på den efterfølgende testperiode, så hvert out-of-sample-resultat stammer fra data, søgningen aldrig har set.
Derefter vælges de endelige parametre én gang på hele udviklingsperioden og testes præcis én gang på holdout-perioden. Statistik for følsomhed, stabilitet og signifikans rapporteres sammen med resultaterne, og promoveringskontrollerne læser evidensen fra out-of-sample-perioden og holdout-perioden, aldrig tilpasningen på in-sample-data.
Holdout-perioden
Holdout-perioden er den sidste del af historikken: mindst 20% af den, mindst 15 dage og lang nok til at forvente omkring 20 handler, op til 35% af historikken. En holdout-periode, der når loftet på 35%, markeres som utilstrækkeligt dimensioneret. Den bruges aldrig til at vælge parametre, og agenterne ser kun resultater frem til holdout-periodens start, så deres beslutninger ikke kan tilpasses den. Du ser som ejer hele historikken på strategisiden.
Indlejrede walk-forward-vinduer
Walk-forward-testvinduer dimensioneres efter antal handler, ikke kun efter tid: Hvert testvindue forlænges, indtil det forventes at indeholde omkring 20 handler. Vinduerne forskydes månedligt eller kvartalsvist ved lange historikker, med et kort mellemrum mellem træning og test. Søgningen indlejres i hver træningsperiode: Den opdeles igen i 70/30, så parametrene vælges på indre valideringsdata. Der kræves mindst 3 vinduer og tilstrækkelig out-of-sample-dækning for at nå et entydigt resultat; ellers markeres resultatet som uafklaret på grund af for få handler.
Parametersøgning og den endelige tilpasning
Parametre søges med Bayesiansk optimering, omkring 30 forsøg pr. justerbar parameter pr. vindue, i et interval på 30–150 forsøg. I stedet for det ene bedste forsøg foretrækker udvælgelsen parametre, hvis nærliggende værdier også scorer godt, inden for strategiens risikobegrænsninger. Den endelige tilpasning anvender samme udvælgelse på hele udviklingsperioden; derefter tester holdout-perioden præcis disse parametre. Hver optimering har en tidsramme, og lange søgninger kan køres på fjernberegningsressourcer.
Følsomhed og plateauer
Hver numerisk parameter ændres med 10 %, 25 % og 50 % i begge retninger, og parametre med heltalsværdier ændres med ét og to trin. Plateauet viser, hvor meget en parameter kan ændres, før Sharpe-ratioen falder mere end dens statistiske usikkerhed; et kraftigere fald rapporteres som et brat fald. Et bredt plateau er betryggende, et brat fald er en advarsel. Dette er en rapport, ikke en beslutningsgrænse.
Parameterstabilitet
Stabilitet sammenligner, hvor meget de valgte parametre varierer fra vindue til vindue, med hvor meget et tilfældigt valg ville variere. Parametre, der ligger tæt på hinanden, betegnes som stabile; parametre, der springer rundt, betegnes som ustabile. Det er en advarsel, der vises sammen med resultaterne, aldrig et beslutningskriterium i sig selv. En genafspilning af de endelige parametre for hvert vindue vises også og markeres som delvist in-sample, fordi parametrene blev valgt på de samme data.
Signifikans og den deflaterede Sharpe-ratio
Out-of-sample-afkast testes med en t-test, der tager højde for autokorrelation, og med en deflateret Sharpe-ratio. Den deflaterede Sharpe-ratio undersøger, om resultatet overstiger det, som det bedste af mange tilfældige forsøg ville opnå, ved at medregne det effektive antal forsøg: de out-of-sample-varianter, der faktisk blev prøvet, herunder hver ekstra revision efter en gennemgang. Interne søgeforsøg tælles ikke med mod strategien, fordi de aldrig ser out-of-sample-data.
Kombinatorisk krydsvalidering og sandsynligheden for backtest-overtilpasning beregnes på træningsdataene som diagnostik. De giver analytikeren information, men afgør ikke længere promovering på egen hånd.
Afkastvinduer og bredde
Langsomme strategier handler muligvis for sjældent til at udfylde vinduer baseret på antal handler. De vurderes i stedet på tidsvinduer med periodeafkast ved hjælp af test, der tager højde for autokorrelation. En breddeprøve anvender den uændrede regel på 5 eller flere beslægtede markeder: Ensartede resultater på tværs af markeder kan ændre et uafklaret resultat til et bestået resultat, og en fejl på et andet marked kan ændre et bestået resultat til en advarsel.
Resultater med lav konfidens
Når evidensen ikke er stærk nok til at give et entydigt resultat, men intet er direkte slået fejl, og analytikeren stadig anbefaler promovering, kan strategien gå videre til papirhandel med mærkaten lav konfidens, ikke statistisk bevist. Mærkaten vises på strategi- og papirsiderne samt i notifikationer. En strategi med lav konfidens er ikke klar til livehandel, før dens egen resultathistorik fra papirhandel bliver signifikant.
Krav for godkendelse til næste trin
Promoveringsgrænser håndhæves i kode ud fra en offentliggjort kriteriefil. Hårde beslutningskriterier kan ikke fraviges: tilstrækkelig historik, overskud i de fleste kalenderår med eksponering, et gennemsnitligt afkast pr. handel, der dækker omkostningen for en handel tur-retur, ingen overdreven brug af margin, out-of-sample-resultater og holdout-resultater til stede og ikke statistisk afvist, drawdown inden for den registrerede grænse samt fuldstændig og konsistent regnskabsføring.
Bløde kontroller og undtagelser
Bløde beslutningskriterier omfatter drawdown i forhold til strategiens egen grænse, Calmar-ratio, profitfaktor, gevinstprocent sammen med gevinst/tab-forhold, beholdningsperiode, holdout-perioden sammenlignet med walk-forward-resultaterne, den deflaterede Sharpe-ratio, koncentration af overskuddet i et enkelt år, omkostninger ved markedspåvirkning og tab i perioder med høj volatilitet. Analytikeren kan kun fravige et blødt beslutningskriterium med en skriftlig begrundelse, der nævner målingen; undtagelsen gemmes på kørslen, risikochefen kan afvise den, og porteføljeforvalteren kontrollerer den igen.
Sådan læses en backtest ærligt
Sammenlign egenkapitalkurven med drawdown, se hvor mange handler resultatet bygger på, og sammenhold det gennemsnitlige afkast pr. handel med omkostningen for en tur-retur-handel. Et højt afkast fra en håndfuld handler eller en Sharpe-ratio, der forsvinder out-of-sample, er et advarselstegn og ikke et resultat.