Backtest, walk-forward-optimointi ja tarkistukset

Miten tulokset tuotetaan todelliset kulut huomioiden, miten parametrit valitaan otoksen ulkopuolella ja miten strategia ansaitsee etenemisen.

Pörssien mukaiset palkkiot ja kulut

Jälkitestauksissa huomioidaan kunkin kaupankäyntipaikan julkistamat maker- ja taker-palkkiot, perpetuaalifutuurien rahoitusmaksut, short-positioiden lainakulut sekä spread- ja markkinavaikutusmalli jokaisessa toteutuksessa. Oma pääoma arvostetaan markkinahintaan jokaisella baarilla, ja vivutetut positiot voidaan likvidoida kaupankäyntipaikan ylläpitomarginaalilla. Mitään tuloksia ei esitetä ilman kulujen vähentämistä.

Positioiden koko ja vipuvaikutus

Forex-strategiat mitoittavat positiot kokonaisina perusvaluuttayksikköinä suhteessa tilin omaan pääomaan. Moottori soveltaa määritettyä Forex-vipurajaa, vakuusvaatimuksia ja noteerausvaluutan muunnosta. Välittäjän omat eräkoot edellyttävät erikseen validoitua vastaavuutta.

Miten optimointi toimii

Optimoinnissa käytetään strategian koko saatavilla olevaa historiaa. Viimeisin osa jätetään holdout-aineistoksi. Muu osa eli kehitysjakso jaetaan peräkkäisiin walk-forward-ikkunoihin: parametreja etsitään kunkin ikkunan harjoitusjaksolla ja arvioidaan sitä seuraavalla testijaksolla, joten jokainen otoksen ulkopuolinen tulos perustuu dataan, jota haku ei ole nähnyt.

Lopulliset parametrit valitaan sitten kerran koko kehitysjaksolta ja testataan täsmälleen kerran holdout-aineistolla. Rinnalla raportoidaan herkkyys-, vakaus- ja merkitsevyystilastot, ja hyväksymiskriteereissä huomioidaan otoksen ulkopuolinen aineisto ja holdout-aineisto; päätöksissä ei koskaan käytetä harjoitusaineistoon sovitettua tulosta.

Holdout-aineisto

Holdout-aineisto on historian viimeinen osa: vähintään 20% siitä, vähintään 15 päivää ja riittävän pitkä, jotta kauppoja voidaan odottaa noin 20, kuitenkin enintään 35% historiasta. Jos holdout-aineisto saavuttaa 35%:n ylärajan, se merkitään tilastollisesti riittämättömäksi. Sitä ei koskaan käytetä parametrien valintaan, ja agentit näkevät tuloksia vain holdout-aineiston alkua edeltävään kohtaan asti, joten niiden päätöksiä ei voida sovittaa siihen. Omistajana näet koko historian strategiasivulla.

Sisäkkäiset walk-forward-ikkunat

Walk-forward-ikkunoiden koko määräytyy kauppojen lukumäärän, ei pelkästään ajan perusteella: kutakin testi-ikkunaa pidennetään, kunnes kauppoja voidaan odottaa noin 20. Ikkunat etenevät kuukausittain tai pitkissä historioissa neljännesvuosittain, ja harjoitus- ja testijakson välissä on lyhyt tauko. Kunkin harjoitusjakson sisällä haku on sisäkkäinen: se jaetaan uudelleen suhteessa 70/30, jotta parametrit valitaan sisäisen validointiaineiston perusteella. Vakuuttavaan tulokseen tarvitaan vähintään 3 ikkunaa ja riittävästi otoksen ulkopuolista kattavuutta; muussa tapauksessa tulos merkitään epäselväksi kauppojen vähäisyyden vuoksi.

Parametrien haku ja lopullinen uudelleensovitus

Parametreja haetaan Bayes-optimoinnilla, noin 30 kokeilua kutakin viritettävää parametria kohden ikkunassa, yhteensä 30–150 kokeilua. Yhden parhaan kokeilun sijaan valitsin suosii parametreja, joiden läheiset arvot saavat myös hyviä pisteitä strategian riskirajoitteiden puitteissa. Lopullisessa uudelleensovituksessa samaa valitsinta käytetään koko kehitysjaksoon; holdout testaa sitten täsmälleen näitä parametreja. Jokaiselle optimoinnille on aikaraja, ja pitkät haut voidaan suorittaa etälaskennassa.

Herkkyys ja tasanteet

Jokaista numeerista parametria muutetaan 10 %, 25 % ja 50 % kumpaankin suuntaan, ja kokonaislukuarvoja yhden ja kahden askeleen verran. Tasanne kertoo, kuinka paljon parametri voi muuttua ennen kuin Sharpen luku laskee enemmän kuin sen tilastollinen epävarmuus; jyrkempi lasku ilmoitetaan romahduksena. Laaja tasanne on rauhoittavaa näyttöä, romahdus varoitus. Tämä on raportti, ei portinvartija.

Parametrien vakaus

Vakaudessa verrataan valittujen parametrien ikkunakohtaista vaihtelua siihen, kuinka paljon satunnainen valinta vaihtelisi. Lähellä toisiaan pysyvät parametrit merkitään vakaiksi, ja paljon muuttuvat epävakaiksi. Tämä on tulosten yhteydessä näytettävä varoitus, eikä se yksinään koskaan ole hyväksymiskriteeri. Lisäksi näytetään lopullisilla parametreilla tehty uudelleentoisto kussakin ikkunassa. Se merkitään osittain harjoitusaineiston sisäiseksi, sillä parametrit valittiin samasta aineistosta.

Merkitsevyys ja deflatoitu Sharpen suhdeluku

Otoksen ulkopuoliset tuotot testataan autokorrelaation huomioivalla t-testillä ja deflatoidulla Sharpen suhdeluvulla. Deflatoitu Sharpen suhdeluku arvioi, ylittääkö tulos tason, johon monista satunnaisista kokeiluista paras yltäisi. Siinä huomioidaan kokeilujen tehollinen lukumäärä: kokeillut otoksen ulkopuoliset versiot, mukaan lukien tarkastelun jälkeiset lisäversiot. Strategian sisäisiä hakukokeiluja ei lasketa sitä vastaan, sillä ne eivät koskaan näe otoksen ulkopuolista aineistoa.

Kombinatorinen ristiinvalidointi ja taustatestauksen ylisovittamisen todennäköisyys lasketaan harjoitusaineistosta diagnostiikkatarkoituksessa. Ne tukevat analyytikon arviota, mutta eivät enää yksin ratkaise strategian hyväksyntää.

Tuottojaksot ja kattavuus

Hitaasti toimivat strategiat voivat käydä kauppaa liian harvoin täyttääkseen kauppamäärään perustuvat ikkunat. Tällöin niitä arvioidaan aikajaksoihin perustuvilla tuotoilla testeillä, joissa autokorrelaatio huomioidaan. Kattavuustestissä muuttumatonta sääntöä sovelletaan vähintään 5 samankaltaiseen markkinaan: johdonmukaiset tulokset eri markkinoilla voivat muuttaa epäselvän tuloksen hyväksytyksi, ja heikko tulos muualla voi muuttaa hyväksytyn tuloksen varoitukseksi.

Tulokset, joiden varmuus on heikko

Kun näyttö ei ole riittävän vahvaa vakuuttavaan johtopäätökseen, mutta mikään ei ole suoraan epäonnistunut, strategia voi siirtyä paperikaupankäyntiin analyytikon suosituksesta. Se merkitään heikon varmuuden tulokseksi, jota ei ole tilastollisesti todistettu. Merkintä näkyy strategia- ja paperikaupankäyntisivuilla sekä ilmoituksissa. Heikon varmuuden strategia ei ole valmis live-kaupankäyntiin, ennen kuin sen oma paperikaupankäyntihistoria on tilastollisesti merkitsevä.

Etenemisen hyväksymiskriteerit

Hyväksynnän alarajoja valvotaan koodissa julkaistun kriteeritiedoston perusteella. Ehdottomista kriteereistä ei voi poiketa: historiaa on oltava riittävästi, strategian on oltava voitollinen useimpina sellaisina kalenterivuosina, jolloin sillä on ollut markkina-altistusta, keskimääräisen kaupan on katettava edestakaisen kaupankäynnin kulut, marginaalin käyttö ei saa olla liiallista, otoksen ulkopuolisten ja holdout-tulosten on oltava saatavilla eikä niitä saa olla tilastollisesti hylätty, arvonlaskun on pysyttävä rekisteröidyn rajan sisällä ja kirjanpidon on oltava täydellistä ja johdonmukaista.

Joustavat kriteerit ja poikkeusluvat

Joustaviin kriteereihin kuuluvat arvonlasku suhteessa strategian omaan rajaan, Calmar-suhde, voittokerroin, voittoprosentti yhdessä keskimääräisen voiton ja tappion suhteen kanssa, pitoaika, holdout-tulos verrattuna walk-forward-tuloksiin, deflatoitu Sharpen suhdeluku, voiton keskittyminen yhteen vuoteen, markkinavaikutuksen kustannus sekä korkean volatiliteetin jaksojen tappiot. Analyytikko voi myöntää poikkeuksen joustavaan kriteeriin vain kirjallisella perustelulla, jossa mittari nimetään. Poikkeus tallennetaan suorituksen tietoihin, riskivastaava voi hylätä sen ja salkunhoitaja tarkistaa sen uudelleen.

Backtestin tulosten rehellinen tulkinta

Vertaa arvokäyrää arvonlaskuun, tarkista, kuinka monen kaupan varassa tulos on, ja vertaa kaupan keskimääräistä tuottoa meno-paluu-kaupankäynnin kuluihin. Muutaman kaupan tuottama korkea tuotto tai otoksen ulkopuolella katoava Sharpen luku on varoitusmerkki, ei tulos.