Tagasitestimine, optimeerimine ja kinnituskriteeriumid

Kuidas tulemusi arvutatakse tegelikke kulusid arvestades, kuidas parameetreid valimiväliselt valitakse ja kuidas strateegia edutatakse.

Börside tegelikud tasud ja kulud

Tagantjärele testimisel rakendatakse iga kauplemiskoha avaldatud turutegija ja turult võtja tasusid, perp-futuuride rahastamismakseid, lühikeseks müügi laenukulusid ning hinnavahe ja turumõju mudelit iga täitmistehingu puhul. Omakapitali väärtus hinnatakse iga hinnaküünla järel turuhinna alusel ning võimendusega positsioone võidakse likvideerida kauplemiskoha hooldusmarginaali tasemel. Kulusid arvestamata tulemusi ei esitata.

Positsiooni suurus ja finantsvõimendus

Forexi strateegiad määravad positsiooni suuruse baasvaluuta täisühikutes võrreldes konto omakapitaliga. Mootor rakendab seadistatud FX-finantsvõimenduse ülempiiri, tagatisnõudeid ja noteerimisvaluuta teisendust. Maakleri algupäraste lotisuuruste jaoks on vaja eraldi valideeritud vastendust.

Kuidas optimeerimine toimib

Optimeerimisel kasutatakse kogu strateegia kohta saadaolevat ajalugu. Kõige uuem osa jäetakse kontrollvalimiks. Ülejäänud osa ehk arendusperiood jagatakse järjestikusteks walk-forward-testimise akendeks: parameetreid otsitakse iga akna treeningvahemikus ja hinnatakse sellele järgnevas testvahemikus, nii et iga valimiväline tulemus põhineb andmetel, mida otsingus ei nähtud.

Seejärel valitakse lõplikud parameetrid ühe korra kogu arendusperioodi põhjal ja testitakse täpselt üks kord kontrollvalimil. Kõrvuti esitatakse tundlikkuse, stabiilsuse ja statistilise olulisuse näitajad ning järgmisse etappi viimise kriteeriumide aluseks on valimivälised ja kontrollvalimi tõendid, mitte valimisisene sobitus.

Kontrollvalim

Kontrollvalim on ajaloo viimane osa: vähemalt 20% kogu ajaloost, vähemalt 15 päeva ja piisavalt pikk, et oodata umbes 20 tehingut, kuid mitte üle 35% kogu ajaloost. Kui kontrollvalim ulatub 35% ülempiirini, märgistatakse see ebapiisava statistilise võimsusega. Seda ei kasutata kunagi parameetrite valimiseks ning agendid näevad tulemusi ainult kontrollvalimi alguseni, mistõttu ei saa nad oma otsuseid selle järgi kohandada. Sina kui omanik näed strateegia lehel kogu ajalugu.

Pesastatud walk-forward-testimise aknad

Walk-forward-testimise akende suurus määratakse tehingute arvu, mitte ainult aja järgi: iga testakent pikendatakse, kuni sellest võib oodata umbes 20 tehingut. Aknad nihkuvad kuude kaupa või pika ajaloo korral kvartalite kaupa, treeningu ja testi vahel on lühike vahe. Iga treeningvahemiku sees on otsing pesastatud: andmed jagatakse taas suhtega 70/30, et valida parameetrid sisemiste valideerimisandmete põhjal. Kindla järelduse tegemiseks on vaja vähemalt 3 akent ja piisavat valimivälist katvust; vastasel korral märgitakse tulemus väheste tehingute tõttu ebaselgeks.

Parameetrite otsing ja lõplik ümberõpe

Parameetreid otsitakse Bayesi optimeerimisega, umbes 30 katset iga häälestatava parameetri kohta igas aknas, kokku 30 kuni 150 katset. Ühe parima katse asemel eelistab valija parameetreid, mille naaberparameetrid saavad samuti hea tulemuse, järgides strateegia riskipiiranguid. Lõplikul ümberhindamisel rakendatakse sama valijat kogu arendusperioodile; seejärel testitakse kontrollperioodil täpselt neid parameetreid. Igal optimeerimisel on ajapiirang ja pikemaid otsinguid saab käivitada kaugserveris.

Tundlikkus ja platoo

Iga numbrilist parameetrit muudetakse mõlemas suunas 10%, 25% ja 50% võrra ning täisarvulisi parameetreid ühe ja kahe sammu kaupa. Platoo näitab, kui kaugele parameeter saab liikuda enne, kui Sharpe'i suhe langeb rohkem kui selle statistilise ebakindluse võrra. Kui langus on järsem, märgitakse see aruandes järsu langusena. Lai platoo on rahustav tõend, järsk langus on hoiatus. See on aruanne, mitte otsustusvärav.

Parameetrite stabiilsus

Stabiilsus võrdleb valitud parameetrite muutumist aknast aknasse sellega, kui palju muutuks juhuslik valik. Lähestikku püsivad parameetrid märgistatakse stabiilseks, hüppeliselt muutuvad aga ebastabiilseks. See on tulemustega koos esitatav hoiatus, mitte kunagi iseseisev järgmisse etappi viimise kriteerium. Kuvatakse ka lõplike parameetritega kordusesitus akende kaupa, mis märgistatakse osaliselt valimisiseseks, sest parameetrid valiti samade andmete põhjal.

Statistiline olulisus ja deflateeritud Sharpe'i suhtarv

Valimiväliseid tootlusi kontrollitakse autokorrelatsiooniga arvestava t-testiga ja deflateeritud Sharpe'i suhtarvuga. Deflateeritud Sharpe'i suhtarv hindab, kas tulemus ületab selle, milleni jõuaks paljude juhuslike katsete seast parim, võttes arvesse efektiivset katsete arvu: proovitud valimiväliseid variante, sealhulgas iga ülevaatusele järgnenud muudatust. Sisemisi otsingukatseid strateegia arvestuses ei loeta, sest need ei näe kunagi valimiväliseid andmeid.

Kombinatoorset ristvalideerimist ja tagantjärele testimise ülemäärase sobitamise tõenäosust arvutatakse treeningandmete põhjal diagnostikana. Need aitavad analüütikut, kuid ei määra enam üksi edutamist.

Tootluse ajavahemikud ja turuulatus

Aeglased strateegiad võivad kaubelda liiga harva, et tehingute arvu aknad täita. Sel juhul hinnatakse neid selle asemel perioodiliste tootluste ajaakende põhjal, kasutades teste, mis arvestavad autokorrelatsiooniga. Laiuse test rakendab muutmata reeglit vähemalt 5 seotud turul: järjepidevad tulemused eri turgudel võivad muuta ebaselge tulemuse läbitud tulemuseks ning ebaõnnestumine mujal võib muuta läbitud tulemuse hoiatuseks.

Madala usaldusastmega tulemused

Kui tõendid pole kindla järelduse tegemiseks piisavalt tugevad, kuid selget läbikukkumist pole ning analüütik soovitab endiselt strateegia järgmisse etappi viimist, võib strateegia alustada simuleeritud kauplemist märkega „madal usaldusaste, statistiliselt tõestamata“. Märge kuvatakse strateegia ja simuleeritud kauplemise lehtedel ning teavitustes. Madala usaldusastmega strateegia pole reaalrahaga kauplemiseks valmis enne, kui selle enda simuleeritud kauplemise tulemused muutuvad statistiliselt oluliseks.

Edutamise kriteeriumid

Järgmisse etappi viimise alammäärasid jõustatakse koodis avaldatud kriteeriumifaili alusel. Rangeid kriteeriume ei saa eirata: piisav ajalugu, kasum enamikul kalendriaastatel, mil positsioonid olid avatud, keskmine tehing katab edasi-tagasi tehingu kulu, marginaali ei kasutata ülemäära, valimivälised ja kontrollvalimi tulemused on olemas ning neid pole statistiliselt tagasi lükatud, maksimaalne langus jääb registreeritud piiri sisse ning arvestus on täielik ja järjepidev.

Paindlikud kriteeriumid ja erandid

Paindlikud kriteeriumid hõlmavad maksimaalset langust strateegia enda piiriga võrreldes, Calmari suhtarvu, kasumitegurit, võidumäära koos tehingute keskmise kasumi ja kahjumi suhtega, hoidmisperioodi, kontrollvalimi võrdlust walk-forward-testimise tulemustega, deflateeritud Sharpe'i suhtarvu, kasumi koondumist ühte aastasse, turumõju kulu ning kahjumeid suure volatiilsusega perioodidel. Analüütik võib paindlikust kriteeriumist erandi teha ainult kirjaliku põhjendusega, milles nimetatakse mõõdik. Erand salvestatakse käivituse juurde, riskijuht võib selle tagasi lükata ning portfellihaldur kontrollib selle uuesti üle.

Tagantjärele testi tulemuste aus hindamine

Võrdle omakapitali kõverat hinnalangusega, kontrolli, kui paljudele tehingutele tulemus tugineb, ja võrdle keskmist tootlust tehingu kohta edasi-tagasi tehingu kuluga. Mõne üksiku tehinguga saavutatud kõrge tootlus või valimivälisel perioodil haihtuv Sharpe'i suhtarv on ohumärk, mitte tulemus.