Backtesting, optimering och godkännandesteg
Hur resultat tas fram med realistiskt modellerade kostnader, hur parametrar väljs utanför urvalet och hur en strategi kvalificerar sig för befordran.
Verkliga avgifter och kostnader på handelsplatser
Backtester använder varje handelsplats publicerade maker- och takeravgifter, finansieringsbetalningar på eviga terminskontrakt, lånekostnader för blankningar, spread och en modell för marknadspåverkan vid varje avslut. Eget kapital marknadsvärderas stapel för stapel, och hävstångspositioner kan tvångslikvideras när handelsplatsens underhållsmarginal nås. Inget redovisas före kostnader.
Positionsstorlek och hävstång
Forex-strategier dimensionerar positioner i hela basvalutaenheter i förhållande till kontots eget kapital. Motorn tillämpar den konfigurerade FX-hävstångsgränsen, marginalkraven och konverteringen av noteringsvaluta. Mäklarspecifika lotstorlekar kräver en separat validerad mappning.
Så fungerar optimeringen
Optimeringen använder strategins fullständiga tillgängliga historik. Den senaste delen avsätts som holdout. Resten, utvecklingsperioden, delas upp i en följd av walk-forward-fönster: parametrar söks fram i träningsintervallet för varje fönster och utvärderas på det efterföljande testintervallet, så att varje out-of-sample-resultat bygger på data som sökningen aldrig har sett.
Därefter väljs slutparametrarna en gång utifrån hela utvecklingsperioden och testas exakt en gång på holdout. Statistik för känslighet, stabilitet och signifikans redovisas också, och kriterierna för uppflyttning läser underlaget från out-of-sample och holdout, aldrig anpassningen till data inom urvalet.
Holdout
Holdout är den sista delen av historiken: minst 20 % av den, minst 15 dagar och tillräckligt lång för att förväntas ge omkring 20 affärer, upp till 35 % av historiken. En holdout som når taket på 35 % märks som otillräcklig för en tillförlitlig bedömning. Den används aldrig för att välja parametrar, och agenterna ser bara resultat fram till holdout-periodens början, så deras beslut kan inte anpassas efter den. Du som ägare ser hela historiken på strategisidan.
Inbäddade walk-forward-fönster
Walk-forward-fönstren dimensioneras efter antalet affärer, inte bara efter tid: varje testfönster förlängs tills det kan förväntas ge omkring 20 affärer. Fönstren flyttas fram månadsvis, eller kvartalsvis för långa historiker, med ett kort mellanrum mellan träning och test. Sökningen är nästlad inom varje träningsintervall: det delas återigen upp 70/30 så att parametrarna väljs utifrån inre valideringsdata. Minst 3 fönster och tillräcklig täckning av out-of-sample-data krävs för ett resultat med tillräckligt underlag; annars markeras resultatet som oklart på grund av för få affärer.
Parametersökning och slutlig omträning
Parametrar söks fram med bayesiansk optimering, cirka 30 försök per optimerbar parameter och fönster, mellan 30 och 150. I stället för det enskilt bästa försöket prioriterar urvalet parametrar vars närliggande värden också ger bra resultat, inom strategins riskbegränsningar. Den slutliga omträningen tillämpar samma urvalsmetod på hela utvecklingsperioden; därefter testar holdout exakt dessa parametrar. Varje optimering har en tidsbudget, och långa sökningar kan köras på fjärrberäkningsresurser.
Känslighet och platåer
Varje numerisk parameter ändras med 10 %, 25 % och 50 % i båda riktningarna, och heltalsparametrar med ett respektive två steg. Platån är det avstånd en parameter kan flyttas innan Sharpekvoten faller mer än sin statistiska osäkerhet; ett brantare fall rapporteras som ett stup. En bred platå är betryggande belägg, ett stup är en varning. Det här är en rapport, inte ett urvalskriterium.
Parameterstabilitet
Stabiliteten jämför hur mycket de valda parametrarna varierar mellan fönstren med hur mycket ett slumpmässigt val skulle variera. Parametrar som håller sig nära varandra betecknas som stabila; parametrar som hoppar runt betecknas som instabila. Det är en varning som visas tillsammans med resultaten och utgör aldrig ensam en granskningsgrind. En omspelning fönster för fönster med slutparametrarna visas också och märks som delvis in-sample, eftersom parametrarna valdes utifrån samma data.
Signifikans och deflaterad Sharpekvot
Avkastning out-of-sample testas med ett t-test som tar hänsyn till autokorrelation och med en deflaterad Sharpekvot. Den deflaterade Sharpekvoten prövar om resultatet överträffar vad det bästa av många slumpmässiga försök skulle uppnå, med hänsyn till det effektiva antalet försök: de out-of-sample-varianter som faktiskt testats, inklusive varje extra omarbetning efter en granskning. Interna sökförsök räknas inte mot strategin, eftersom de aldrig ser out-of-sample-data.
Kombinatorisk korsvalidering och sannolikheten för backtestöveranpassning beräknas på träningsdata som diagnostik. De vägleder analytikern men avgör inte längre på egen hand om strategin ska flyttas upp.
Avkastningsfönster och bredd
Långsamma strategier kan handla för sällan för att fylla fönster baserade på antal affärer. Då bedöms de i stället utifrån tidsfönster med periodavkastning och tester som tar hänsyn till autokorrelation. Ett breddtest kör den oförändrade regeln på 5 eller fler relaterade marknader: konsekventa resultat mellan marknader kan göra ett oklart resultat godkänt, och ett misslyckande på en annan marknad kan göra ett godkänt resultat till en varning.
Resultat med låg konfidens
När underlaget inte räcker för en säker slutsats men inget har fallerat helt, och analytikern ändå rekommenderar uppflyttning, kan strategin gå vidare till pappershandel med märkningen låg konfidens, inte statistiskt bevisad. Märkningen visas på strategi- och pappershandelssidorna samt i aviseringar. En strategi med låg konfidens är inte redo för livehandel förrän dess egen historik från pappershandeln blir statistiskt signifikant.
Kriterier för att gå vidare
Gränserna för uppflyttning verkställs i kod utifrån en publicerad kriteriefil. Hårda kriterier kan inte frångås: tillräcklig historik, lönsamhet under de flesta kalenderår med exponering, en genomsnittlig affär som täcker kostnaden för köp och försäljning, ingen överdriven marginalanvändning, resultat från out-of-sample och holdout måste finnas och får inte vara statistiskt underkända, drawdown inom den registrerade gränsen samt fullständig och konsekvent redovisning.
Mjuka granskningsgrindar och undantag
Mjuka granskningsgrindar omfattar nedgång i förhållande till strategins egen gräns, Calmar-kvot, vinstfaktor, träffprocent tillsammans med vinst/förlustförhållande, innehavstid, holdout jämförd med walk-forward-resultat, deflaterad Sharpekvot, vinstkoncentration till ett enskilt år, kostnad för marknadspåverkan och förluster under perioder med hög volatilitet. Analytikern får frångå en mjuk granskningsgrind endast med en skriftlig motivering som anger mätvärdet; undantaget sparas på körningen, riskansvarig kan avslå det och portföljförvaltaren kontrollerar det på nytt.
Så tolkar du ett backtest på ett rättvisande sätt
Jämför kapitalkurvan med nedgången, kontrollera hur många affärer resultatet bygger på och jämför den genomsnittliga avkastningen per affär med kostnaden för en tur-och-retur-affär. En hög avkastning från ett fåtal affärer eller en Sharpe-kvot som försvinner utanför urvalet är en varningssignal, inte ett resultat.