Vēsturisko datu testēšana, optimizācija un pārbaudes

Kā rezultāti tiek iegūti, ņemot vērā faktiskās izmaksas, kā parametri tiek izvēlēti ārpus izlases un kā stratēģija nopelna tiesības virzīties tālāk.

Reālās biržu komisijas un izmaksas

Vēsturisko datu testos tiek izmantotas katras tirdzniecības vietas publicētajām likmēm atbilstošas maker un taker komisijas, finansēšanas maksājumi perpetual nākotnes līgumiem, aizņemšanās izmaksas īsajām pozīcijām, kā arī starpības un tirgus ietekmes modelis katram izpildītajam darījumam. Pašu kapitāls tiek pārvērtēts atbilstoši tirgus cenām katrā laika intervālā, un pozīcijas ar kredītplecu var tikt likvidētas, ja tiek sasniegta tirdzniecības vietas uzturēšanas marža. Rezultāti netiek uzrādīti, neatskaitot izmaksas.

Pozīcijas apjoma noteikšana un kredītplecs

Forex stratēģijas pozīcijas lielumu nosaka veselās bāzes valūtas vienībās attiecībā pret konta kapitālu. Dzinējs piemēro konfigurēto FX sviras ierobežojumu, maržas prasības un kotācijas valūtas konvertāciju. Brokera lotu lielumiem nepieciešama atsevišķi validēta kartēšana.

Kā darbojas optimizācija

Optimizācijā izmanto visu stratēģijai pieejamo vēsturi. Tās jaunākā daļa tiek nodalīta kā kontroles periods. Pārējo vēsturi, proti, izstrādes periodu, sadala secīgos slīdošās pārbaudes logos: katra loga apmācības posmā tiek meklēti parametri, bet tie tiek novērtēti sekojošajā testēšanas posmā, tādēļ visi ārpusizlases rezultāti ir iegūti no datiem, ko meklēšana nav izmantojusi.

Pēc tam galīgos parametrus izvēlas tikai vienu reizi visā izstrādes periodā un pārbauda tikai vienu reizi kontroles periodā. Līdztekus tiek uzrādīta jutība, stabilitāte un statistiskā nozīmība, bet virzīšanas prasībās tiek vērtēti ārpusizlases un kontroles perioda pierādījumi, nekad ne pielāgojums izlases datiem.

Kontroles periods

Kontroles periods ir vēstures pēdējā daļa: vismaz 20% no tās, vismaz 15 dienas un pietiekami ilgs, lai sagaidītu aptuveni 20 darījumu, bet ne vairāk kā 35% no vēstures. Ja kontroles periods sasniedz 35% ierobežojumu, tas tiek atzīmēts kā nepietiekami jaudīgs. To nekad neizmanto parametru izvēlei, un aģenti redz rezultātus tikai līdz kontroles perioda sākumam, tāpēc to lēmumi nevar tikt pielāgoti šī perioda datiem. Jūs kā īpašnieks stratēģijas lapā redzat visu vēsturi.

Iegulti slīdošās pārbaudes logi

Slīdošās pārbaudes logu ilgumu nosaka darījumu skaits, ne tikai laiks: katru testēšanas logu pagarina, līdz tajā sagaidāmi aptuveni 20 darījumu. Logi pārbīdās reizi mēnesī vai reizi ceturksnī, ja vēstures periods ir ilgs, un starp apmācības un testēšanas posmu ir īsa pauze. Katrā apmācības posmā meklēšana ir iegulta: to vēlreiz sadala attiecībā 70/30, lai parametrus izvēlētos, izmantojot iekšējos validācijas datus. Lai rezultāts būtu pārliecinošs, vajadzīgi vismaz 3 logi un pietiekams ārpusizlases pārklājums; pretējā gadījumā nepietiekama darījumu skaita dēļ rezultāts tiek atzīmēts kā nepārliecinošs.

Parametru meklēšana un galīgā pielāgošana

Parametri tiek meklēti ar Bajesa optimizāciju, katrā logā veicot aptuveni 30 izmēģinājumus uz katru regulējamo parametru, un izmēģinājumu skaits ir no 30 līdz 150. Viena labākā izmēģinājuma vietā atlases metode dod priekšroku parametriem, kuru tuvākie kaimiņi arī uzrāda labus rezultātus, ievērojot stratēģijas riska ierobežojumus. Galīgajā pielāgošanā tai pašai atlases metodei izmanto visu izstrādes periodu; pēc tam kontroles periodā pārbauda tieši šos parametrus. Katrai optimizācijai ir laika limits, un ilgstošus meklējumus var veikt attālinātā skaitļošanas vidē.

Jutība un plato

Katrs skaitliskais parametrs tiek pārvietots par 10%, 25% un 50% abos virzienos, bet veselu skaitļu parametri — par viena un divu soļu lielumu. Stabilitātes apgabals ir attālums, par kādu parametrs var mainīties, līdz Šarpa koeficients samazinās vairāk nekā par tā statistisko nenoteiktību; straujāks kritums tiek atzīmēts kā krauja. Plašs stabilitātes apgabals ir pārliecinoša pazīme, krauja ir brīdinājums. Tas ir pārskats, nevis lēmuma kritērijs.

Parametru stabilitāte

Stabilitāte salīdzina, cik lielā mērā izvēlētie parametri atšķiras starp logiem, ar to, cik lielas atšķirības būtu nejauši izvēlētiem parametriem. Parametriem, kas paliek līdzīgi, piešķir atzīmi “stabili”; parametriem, kas krasi mainās, — “nestabili”. Tas ir brīdinājums, ko rāda kopā ar rezultātiem, bet pats par sevi nekad nav obligāta prasība. Tiek parādīta arī galīgo parametru atkārtota pārbaude katrā logā; tā ir atzīmēta kā daļēji izlases datos balstīta, jo šie parametri tika izvēlēti, izmantojot tos pašus datus.

Statistiskā nozīmība un deflētais Šarpa koeficients

Ārpusizlases atdevi pārbauda ar t-testu, kurā ņemta vērā autokorelācija, un ar deflēto Šarpa koeficientu. Tas novērtē, vai rezultāts pārsniedz to, ko sasniegtu labākais no daudziem nejaušiem mēģinājumiem, ņemot vērā efektīvo izmēģinājumu skaitu: ārpusizlases variantus, kas faktiski izmēģināti, tostarp katru papildu pārstrādi pēc pārskatīšanas. Iekšējās meklēšanas izmēģinājumus stratēģijai nepieskaita, jo tajos netiek izmantoti ārpusizlases dati.

Kombinatorisku šķērsvalidāciju un varbūtību, ka vēsturisko datu tests ir pārmērīgi pielāgots, aprēķina apmācības datiem kā diagnostikas rādītājus. Tie palīdz analītiķim, taču vairs paši par sevi nenosaka, vai stratēģiju virzīt tālāk.

Atdeves periodi un tirgu pārklājums

Lēnas stratēģijas var tirgot pārāk reti, lai sasniegtu darījumu skaita logiem nepieciešamo darījumu skaitu. Tādā gadījumā tās vērtē pēc periodos mērītās atdeves laika logos, izmantojot testus, kuros ņemta vērā autokorelācija. Pārklājuma testā nemainītu noteikumu izmēģina 5 vai vairāk saistītos tirgos: vienmērīgi rezultāti dažādos tirgos var pārvērst nepārliecinošu rezultātu par sekmīgu, savukārt neveiksme citā tirgū var sekmīgu rezultātu pazemināt līdz brīdinājumam.

Rezultāti ar zemu ticamību

Ja pierādījumi nav pietiekami pārliecinoši, lai izdarītu galīgu secinājumu, taču nav arī nepārprotamu neveiksmju, un analītiķis joprojām iesaka stratēģiju virzīt tālāk, tā var sākt papīra tirdzniecību ar atzīmi “zema ticamība, statistiski nepierādīta”. Šī atzīme redzama stratēģijas un papīra tirdzniecības lapās, kā arī paziņojumos. Stratēģija ar zemu ticamību nav gatava reālai tirdzniecībai, līdz tās papīra tirdzniecības rezultāti kļūst statistiski nozīmīgi.

Virzīšanas kritēriji

Virzīšanas sliekšņi ir ieviesti kodā, balstoties uz publicētu kritēriju failu. Stingrās prasības nevar atcelt: pietiekama vēsture, peļņa lielākajā daļā kalendāro gadu, kuros bijusi tirgus ekspozīcija, vidējā darījuma atdeve sedz pilna darījuma cikla izmaksas, netiek pārmērīgi izmantota marža, ir pieejami ārpusizlases un kontroles perioda rezultāti un tie nav statistiski noraidīti, maksimālais zaudējums nepārsniedz reģistrēto limitu un uzskaite ir pilnīga un konsekventa.

Elastīgās prasības un izņēmumi

Elastīgās prasības aptver kapitāla kritumu salīdzinājumā ar pašas stratēģijas limitu, Calmar koeficientu, peļņas koeficientu, uzvarēto darījumu īpatsvaru kopā ar peļņas un zaudējumu attiecību, turēšanas periodu, kontroles perioda salīdzinājumu ar walk-forward rezultātiem, deflēto Šarpa koeficientu, peļņas koncentrāciju vienā gadā, tirgus ietekmes izmaksas un zaudējumus augsta svārstīguma periodos. Analītiķis drīkst atcelt elastīgu prasību tikai ar rakstisku pamatojumu, kurā nosaukts attiecīgais rādītājs; izņēmums tiek saglabāts izpildes ierakstā, Riska vadītājs to var noraidīt, un Portfeļa pārvaldnieks to pārbauda atkārtoti.

Kā godīgi lasīt vēsturiskā testa rezultātus

Salīdziniet kapitāla līkni ar kapitāla kritumu, pārbaudiet, uz cik darījumiem balstās rezultāts, un salīdziniet vidējo ienesīgumu katrā darījumā ar pilna darījuma izmaksām. Liels ienesīgums, ko nodrošina daži darījumi, vai Šarpa attiecība, kas pazūd ārpus izlases, ir brīdinājums, nevis rezultāts.