Backtesting, optimizacija in merila za napredovanje

Kako nastanejo rezultati z realističnim modeliranjem stroškov na podlagi dejanskih cenikov, kako se parametri izberejo zunaj vzorca in kako si strategija prisluži napredovanje.

Dejanske provizije in stroški borz

Pri testiranju za nazaj se upoštevajo objavljene maker in taker provizije posamezne borze, plačila za financiranje pri perpetual futures pogodbah, stroški izposoje pri kratkih pozicijah, razpon med nakupno in prodajno ceno ter model vpliva na trg pri vsakem izvršenem naročilu. Kapital se vrednoti po tržnih cenah po vsaki sveči, pozicije s finančnim vzvodom pa se lahko likvidirajo, ko dosežejo vzdrževalno kritje borze. Rezultati niso prikazani kot bruto vrednosti brez upoštevanja stroškov.

Določanje velikosti pozicij in finančni vzvod

Strategije Forex določajo velikost pozicij v celih enotah osnovne valute glede na lastniški kapital računa. Mehanizem uporablja konfigurirano omejitev finančnega vzvoda FX, zahteve glede kritja in pretvorbo valute kotacije. Velikosti lotov, značilne za posrednika, zahtevajo ločeno preverjeno preslikavo.

Kako deluje optimizacija

Pri optimizaciji se uporabi vsa razpoložljiva zgodovina strategije. Njen najnovejši del se izloči kot zadržani vzorec. Preostanek, razvojno obdobje, se razdeli na zaporedje drsečih časovnih oken: parametri se iščejo na učnem delu vsakega okna, nato pa ocenijo na testnem delu, ki sledi, zato vsak rezultat izven vzorca temelji na podatkih, ki jih iskanje ni nikoli videlo.

Končni parametri so nato izbrani enkrat na celotnem razvojnem obdobju in preizkušeni natanko enkrat na zadržanem vzorcu. Poleg njih se prikažejo statistike občutljivosti, stabilnosti in statistične značilnosti rezultatov, merila za napredovanje pa upoštevajo dokaze izven vzorca in iz zadržanega vzorca, nikoli prileganja na podatkih znotraj vzorca.

Zadržani vzorec

Zadržani vzorec je zadnji del zgodovine: obsega vsaj 20 % zgodovine, najmanj 15 dni in dovolj dolgo obdobje, da je mogoče pričakovati približno 20 poslov, vendar največ 35 % zgodovine. Če zadržani vzorec doseže omejitev 35 %, je označen kot premajhen za zanesljiv statistični sklep. Nikoli se ne uporablja za izbiro parametrov, agenti pa vidijo rezultate le do začetka zadržanega vzorca, zato svojih odločitev ne morejo prilagoditi temu vzorcu. Vi kot lastnik vidite celotno zgodovino na strani strategije.

Gnezdena drseča časovna okna

Drseča časovna okna se določijo glede na število poslov, ne le glede na čas: vsako testno okno se podaljšuje, dokler ni mogoče pričakovati približno 20 poslov. Okna se premikajo mesečno, pri dolgih zgodovinah pa četrtletno, med učnim in testnim obdobjem je kratek presledek. Iskanje je gnezdeno znotraj vsakega učnega obdobja: to se znova razdeli v razmerju 70/30, tako da se parametri izberejo na notranjih validacijskih podatkih. Za dokončen rezultat so potrebna vsaj 3 okna in zadostna pokritost z rezultati izven vzorca; sicer je rezultat zaradi premalo poslov označen kot nedokončen.

Iskanje parametrov in končna ponovna prilagoditev

Parametri se iščejo z Bayesovo optimizacijo, približno 30 poskusov na prilagodljiv parameter na časovno okno, med 30 in 150. Namesto enega najboljšega poskusa izbirnik daje prednost parametrom, pri katerih dobro ocenjujejo tudi njihovi sosedi, ob upoštevanju tveganjskih omejitev strategije. Končno ponovno prilagajanje uporabi isti izbirnik na celotnem razvojnem obdobju; zadržani vzorec nato preveri prav te parametre. Vsaka optimizacija ima časovni proračun, dolge iskalne poti pa je mogoče izvajati na oddaljenih računalniških virih.

Občutljivost in platoji

Vsak numerični parameter se premakne za 10 %, 25 % in 50 % v obe smeri, celoštevilski parametri pa za en korak in za dva koraka. Plato je največji premik parametra, do katerega Sharpe ratio ne pade za več kot njegovo statistično negotovost; hitrejši padec je označen kot prepad. Širok plato je spodbudna ugotovitev, prepad pa opozorilo. Gre za poročilo, ne za merilo.

Stabilnost parametrov

Stabilnost primerja, koliko se izbrani parametri spreminjajo od okna do okna, s tem, koliko bi se spremenili pri naključni izbiri. Parametri, ki se malo spreminjajo, so označeni kot stabilni; parametri, ki močno nihajo, pa kot nestabilni. Gre za opozorilo, prikazano skupaj z rezultati, ki samo po sebi nikoli ni merilo za odločanje. Prikazana je tudi ponovitev simulacije končnih parametrov za posamezno okno, označena kot delno znotraj vzorca, ker so bili ti parametri izbrani na istih podatkih.

Statistična značilnost in deflacionirano Sharpeovo razmerje

Donosi izven vzorca se preverijo s t-testom, ki upošteva avtokorelacijo, in z deflacioniranim Sharpeovim razmerjem. Deflacionirano Sharpeovo razmerje preverja, ali rezultat presega tisto, kar bi dosegla najboljša od številnih naključnih poskusov, pri čemer upošteva efektivno število preizkusov: dejansko preizkušene različice izven vzorca, vključno z vsako dodatno revizijo po pregledu. Notranji preizkusi iskanja se ne štejejo v efektivno število preizkusov za strategijo, saj nikoli nimajo dostopa do podatkov izven vzorca.

Kombinatorična navzkrižna validacija in verjetnost prekomernega prilagajanja backtesta se kot diagnostični orodji izračunata na učnih podatkih. Analitiku sta v pomoč, vendar sami po sebi ne odločata več o napredovanju.

Donosnostna okna in širina

Počasne strategije morda trgujejo preredko, da bi zapolnile okna, določena s številom poslov. V tem primeru se namesto tega ocenijo v časovnih oknih z donosi za posamezna obdobja, s testi, ki upoštevajo avtokorelacijo. Preizkus širine za nespremenjeno pravilo uporabi 5 ali več sorodnih trgov: skladni rezultati na različnih trgih lahko nedokončen rezultat spremenijo v izpolnjeno merilo, neuspeh na drugem trgu pa lahko izpolnjeno merilo spremeni v opozorilo.

Rezultati z nizko stopnjo zaupanja

Če dokazi niso dovolj močni za dokončen rezultat, vendar ni prišlo do izrecnega neuspeha, analitik pa še vedno priporoča napredovanje, lahko strategija vstopi v simulirano trgovanje z oznako nizke stopnje zaupanja in navedbo, da ni statistično dokazana. Oznaka je prikazana na straneh strategije in simuliranega trgovanja ter v obvestilih. Strategija z nizko stopnjo zaupanja ni pripravljena za trgovanje v živo, dokler njeni lastni rezultati papirnega trgovanja niso statistično značilni.

Pogoji za napredovanje

Pragovi za napredovanje se uveljavljajo v kodi na podlagi objavljene datoteke z merili. Izjeme pri trdih merilih niso dovoljene: dovolj dolga zgodovina, dobičkonosnost v večini koledarskih let z izpostavljenostjo, povprečni donos na posel, ki pokrije stroške povratnega trgovanja, brez čezmerne uporabe kritja, prisotni rezultati izven vzorca in iz zadržanega vzorca, ki niso statistično zavrnjeni, padec od vrha znotraj registrirane omejitve ter popolno in dosledno računovodstvo.

Prilagodljiva merila in izjeme

Mehka merila zajemajo padec od vrha glede na lastno omejitev strategije, razmerje Calmar, profitni faktor, stopnjo uspešnih poslov skupaj z razmerjem med dobički in izgubami, trajanje pozicij, primerjavo zadržanega vzorca z rezultati drsečih časovnih oken, deflacionirano Sharpeovo razmerje, koncentracijo dobička v enem letu, stroške vpliva na trg ter izgube v obdobjih visoke nestanovitnosti. Analitik lahko od mehkega merila izjemoma odstopi le s pisno utemeljitvijo, v kateri navede metriko; izjema se zabeleži pri izvajanju, vodja za tveganja jo lahko zavrne, upravljavec portfelja pa jo znova preveri.

Kako pošteno oceniti povratni test

Primerjajte krivuljo lastniškega kapitala s padcem vrednosti, preverite, na koliko poslih temelji rezultat, in primerjajte povprečni donos na posel s stroškom nakupa in prodaje. Visok donos na podlagi peščice poslov ali razmerje Sharpe, ki zunaj vzorca izgine, je opozorilo, ne pa dokaz uspešnosti.