Backtesting, optimalisatie en selectiestappen

Hoe resultaten worden geproduceerd met werkelijke kosten, hoe parameters buiten de steekproef worden gekozen en hoe een strategie promotie verdient.

Echte beurskosten en vergoedingen

Backtests passen de gepubliceerde maker- en takerkosten van elk handelsplatform toe, evenals financieringsbetalingen op perpetual futures, leenkosten bij shortposities, een spread en een marktimpactmodel op elke uitvoering. Het rekeningvermogen wordt bij elke bar tegen marktwaarde gewaardeerd; posities met een hefboom kunnen worden geliquideerd zodra de onderhoudsmarge van het handelsplatform wordt bereikt. Er worden nooit resultaten vóór aftrek van kosten gerapporteerd.

Positiegrootte en hefboom

Forex-strategieën bepalen de positiegrootte in hele eenheden van de basisvaluta ten opzichte van het accountvermogen. De engine past de geconfigureerde FX-hefboomlimiet, margevereisten en conversie van de noteringsvaluta toe. Voor broker-native lotgroottes is een afzonderlijke gevalideerde koppeling vereist.

Hoe optimalisatie werkt

Bij de optimalisatie wordt de volledige beschikbare historie van de strategie gebruikt. Het meest recente deel wordt apart gehouden als holdout. De rest, de ontwikkelperiode, wordt opgesplitst in een reeks walk-forward-vensters: parameters worden gezocht op de trainingsperiode van elk venster en beoordeeld op de daaropvolgende testperiode. Zo is elk out-of-sample-resultaat gebaseerd op gegevens die de zoekprocedure nooit heeft gezien.

Vervolgens worden de uiteindelijke parameters eenmalig gekozen op basis van de volledige ontwikkelperiode en precies één keer getest op de holdout. Daarnaast worden statistieken over gevoeligheid, stabiliteit en significantie gerapporteerd. De promotiecriteria beoordelen het out-of-sample- en holdout-bewijs, nooit de fit op de trainingsdata.

De holdout

De holdout is het laatste deel van de historie: minimaal 20% ervan, minimaal 15 dagen, en lang genoeg om ongeveer 20 transacties te verwachten, met een maximum van 35% van de historie. Een holdout die de limiet van 35% bereikt, wordt aangemerkt als statistisch onvoldoende onderbouwd (underpowered). Hij wordt nooit gebruikt om parameters te kiezen, en de agents zien resultaten alleen tot het begin van de holdout, zodat hun beslissingen er niet op kunnen worden afgestemd. Als eigenaar ziet u de volledige historie op de strategiepagina.

Geneste walk-forward-vensters

De lengte van walk-forward-vensters wordt bepaald door het aantal transacties, niet alleen door de tijd: elk testvenster wordt verlengd totdat er ongeveer 20 transacties te verwachten zijn. Vensters schuiven maandelijks op, of per kwartaal bij lange histories, met een korte tussenperiode tussen training en test. Binnen elke trainingsperiode wordt de zoekprocedure genest: de periode wordt opnieuw opgesplitst in 70/30, zodat parameters worden gekozen op basis van interne validatiegegevens. Voor een overtuigend resultaat zijn minimaal 3 vensters en voldoende out-of-sample-dekking nodig; anders wordt het resultaat als niet-conclusief gemarkeerd wegens te weinig transacties.

Parameterzoektocht en de definitieve herkalibratie

Parameters worden gezocht met Bayesiaanse optimalisatie, met ongeveer 30 pogingen per instelbare parameter per venster en in totaal tussen 30 en 150. In plaats van de beste afzonderlijke poging te kiezen, geeft de selectiemethode de voorkeur aan parameters waarvan ook naburige waarden goed scoren, binnen de risicobeperkingen van de strategie. Bij de laatste herfit wordt dezelfde selectiemethode toegepast op de volledige ontwikkelperiode; vervolgens worden precies die parameters op de holdout getest. Elke optimalisatie heeft een tijdslimiet; lange zoekopdrachten kunnen op externe rekenkracht worden uitgevoerd.

Gevoeligheid en plateaus

Elke numerieke parameter wordt in beide richtingen met 10%, 25% en 50% aangepast; parameters met gehele getallen worden met één en twee stappen aangepast. Het plateau geeft aan hoever een parameter kan verschuiven voordat de Sharpe-ratio sterker daalt dan de statistische onzekerheid toelaat; een nog scherpere daling wordt gerapporteerd als een abrupte terugval. Een breed plateau is geruststellend bewijs; een abrupte terugval is een waarschuwing. Dit is een rapport, geen besliscriterium.

Parameterstabiliteit

De stabiliteit vergelijkt hoeveel de gekozen parameters per venster variëren met de variatie bij een willekeurige keuze. Parameters die dicht bij elkaar blijven, worden als stabiel aangemerkt; parameters die sterk schommelen, als instabiel. Dit is een waarschuwing bij de resultaten, nooit op zichzelf een beoordelingscriterium. Ook wordt een replay per venster van de uiteindelijke parameters getoond, met de aanduiding dat deze deels in-sample is, omdat die parameters op dezelfde gegevens zijn gekozen.

Significantie en de deflated Sharpe-ratio

Out-of-sample-rendementen worden getoetst met een t-toets die rekening houdt met autocorrelatie, en met een deflated Sharpe-ratio. De deflated Sharpe-ratio onderzoekt of het resultaat beter is dan wat de beste van vele willekeurige pogingen zou opleveren, rekening houdend met het effectieve aantal pogingen: de daadwerkelijk geteste out-of-sample-varianten, inclusief elke extra herziening na een beoordeling. Interne zoekpogingen tellen niet mee voor de strategie, omdat ze geen out-of-sample-gegevens zien.

Combinatorische kruisvalidatie en de kans op overfitting van backtests worden op de trainingsgegevens berekend als diagnostische waarden. Ze geven de analist informatie, maar bepalen op zichzelf niet langer of een strategie wordt gepromoveerd.

Rendementsvensters en breedte

Trage strategieën handelen soms te weinig om vensters op basis van het aantal transacties te vullen. In dat geval worden ze beoordeeld aan de hand van tijdvensters met rendementen per periode, met toetsen die rekening houden met autocorrelatie. Een breedtetoets past de ongewijzigde regel toe op 5 of meer verwante markten: consistente resultaten op meerdere markten kunnen een niet-conclusief resultaat omzetten in een geslaagd resultaat, terwijl een mislukking elders een geslaagd resultaat kan veranderen in een waarschuwing.

Resultaten met lage betrouwbaarheid

Als het bewijs onvoldoende sterk is voor een conclusie, maar er niets volledig is mislukt en de analist nog steeds promotie aanbeveelt, kan de strategie met het label ‘lage betrouwbaarheid, niet statistisch bewezen’ naar paper trading. Dit label wordt weergegeven op de strategie- en paperpagina's en in meldingen. Een strategie met lage betrouwbaarheid is nog niet klaar voor live trading zolang haar eigen paper trading-resultaten geen significantie aantonen.

Promotiedrempels

Promotiedrempels worden in code afgedwongen op basis van een gepubliceerd criteriabestand. Van harde criteria kan geen vrijstelling worden verleend: voldoende lange historie, winstgevend in de meeste kalenderjaren met blootstelling, een gemiddelde transactie die de totale handelskosten dekt, geen overmatig margingebruik, beschikbare en niet statistisch verworpen out-of-sample- en holdout-resultaten, drawdown binnen de vastgelegde limiet en een volledige, consistente boekhouding.

Zachte criteria en vrijstellingen

Zachte criteria hebben betrekking op de daling ten opzichte van de eigen limiet van de strategie, de Calmar-ratio, de profitfactor, de winratio in combinatie met de opbrengst-verliesverhouding, de houdperiode, de holdout in vergelijking met de walk-forward-resultaten, de deflated Sharpe-ratio, de concentratie van winst in één jaar, marktimpactkosten en verliezen tijdens perioden met hoge volatiliteit. De analist mag alleen van een zacht criterium afwijken met een schriftelijke reden waarin de metriek wordt genoemd. De vrijstelling wordt bij de run opgeslagen, kan door de Risk Officer worden afgewezen en wordt opnieuw gecontroleerd door de Portefeuillebeheerder.

Een backtest eerlijk beoordelen

Vergelijk de vermogenscurve met de drawdown, controleer op hoeveel transacties het resultaat berust en vergelijk het gemiddelde rendement per transactie met de kosten van een volledige transactie. Een hoog rendement op basis van een handvol transacties, of een Sharpe-ratio die buiten de sample verdwijnt, is een waarschuwing en geen resultaat.