Backtesting, walk-forward optimization, at mga gate

Kung paano binubuo ang mga resulta gamit ang makatotohanang gastos, kung paano pinipili ang mga parameter gamit ang out-of-sample na datos, at kung paano nakakamit ng isang estratehiya ang promosyon.

Mga aktuwal na bayarin at gastos sa palitan

Gumagamit ang mga backtest ng nailathalang maker at taker fee ng bawat venue, mga bayad sa funding sa perpetual futures, gastos sa paghiram para sa mga short, spread, at modelo ng epekto sa merkado sa bawat fill. Minamarkahan sa merkado ang equity sa bawat bar, at maaaring i-liquidate ang mga leveraged na posisyon kapag umabot sa maintenance margin ng venue. Walang iniuulat na hindi pa ibinabawas ang mga gastos.

Pagtatakda ng laki ng posisyon at leverage

Nagtatakda ng laki ang mga estratehiya sa Forex batay sa buong unit ng base currency kaugnay ng equity ng account. Ipinapatupad ng engine ang naka-configure na FX leverage cap, mga kinakailangan sa margin at conversion ng quote currency. Nangangailangan ng hiwalay na beripikadong mapping ang mga lot size na native sa broker.

Paano gumagana ang optimization

Ginagamit ng optimization ang buong kasaysayang magagamit para sa strategy. Inilalaan ang pinakahuling bahagi bilang holdout. Hinahati naman ang natitira, ang panahon ng development, sa sunod-sunod na walk-forward window: hinahanap ang mga parameter sa training span ng bawat window at sinusuri sa kasunod nitong test span, kaya bawat out-of-sample na resulta ay nagmumula sa datos na hindi nakita ng paghahanap.

Pagkatapos, pinipili nang isang beses ang mga pinal na parameter gamit ang buong panahon ng development at sinusubok nang eksaktong isang beses sa holdout. Iniuulat din ang mga estadistika para sa sensitivity, stability, at significance, at batay lamang sa out-of-sample at holdout na ebidensya ang mga gate para sa pag-angat, hindi sa in-sample na fit.

Ang holdout

Ang holdout ang huling bahagi ng kasaysayan: hindi bababa sa 20% nito, hindi bababa sa 15 araw, at may sapat na haba para asahan ang humigit-kumulang 20 trade, hanggang 35% ng kasaysayan. Lalagyan ng markang kulang sa lakas ang holdout na umabot sa cap na 35%. Hindi ito kailanman ginagamit sa pagpili ng mga parameter, at hanggang sa simula lang ng holdout nakakakita ng mga resulta ang mga agent, kaya hindi maiiaangkop dito ang kanilang mga desisyon. Ikaw, bilang may-ari, ay nakakakita ng buong kasaysayan sa pahina ng strategy.

Mga nested na walk-forward window

Itinatakda ang laki ng mga walk-forward window batay sa dami ng trade, hindi lang sa tagal: pinahahaba ang bawat test window hanggang makapagbigay ito ng inaasahang humigit-kumulang 20 trade. Buwan-buwan ang pagitan ng mga window, o kada quarter para sa mahahabang kasaysayan, at may maikling pagitan sa training at test. Naka-nest ang paghahanap sa bawat training span: hinahati itong muli sa 70/30 para pumili ng mga parameter gamit ang panloob na datos ng validation. Kailangan ng hindi bababa sa 3 window at sapat na out-of-sample na saklaw para makabuo ng tiyak na resulta; kung hindi, mamarkahan itong hindi tiyak dahil kulang ang mga trade.

Paghahanap ng parameter at panghuling refit

Hinahanap ang mga parameter sa pamamagitan ng Bayesian optimization, mga 30 trial kada naiaangkop na parameter kada window, mula 30 hanggang 150. Sa halip na piliin ang nag-iisang pinakamahusay na trial, pinapaboran ng selector ang mga parameter na maganda rin ang marka ng mga kalapit na halaga, ayon sa mga limitasyon sa panganib ng strategy. Inilalapat ng panghuling refit ang parehong selector sa buong panahon ng development; saka sinusubok ng holdout ang mismong mga parameter na iyon. May takdang oras ang bawat optimization, at maaaring patakbuhin sa remote compute ang mahahabang paghahanap.

Sensitivity at mga plateau

Ang bawat numerikong parameter ay inililihis nang 10%, 25% at 50% sa magkabilang direksiyon, at ang mga parameter na buong numero ay inililihis nang isa at dalawang hakbang. Ipinapakita ng plateau kung gaano kalayo maaaring magbago ang isang parameter bago bumaba ang Sharpe ratio nang higit sa estadistikal na kawalang-katiyakan nito; ang mas matarik na pagbaba ay tinatawag na cliff. Nakapagbibigay ng kapanatagan ang malawak na plateau, samantalang babala ang cliff. Ulat ito, hindi pamantayan para makapasa.

Katatagan ng parameter

Inihahambing ng stability kung gaano nag-iiba ang napiling mga parameter sa bawat window kumpara sa inaasahang pagkakaiba-iba ng random na pagpili. Mamarkahang stable ang mga parameter na nananatiling magkakalapit; mamarkahang unstable ang mga pabago-bago. Babala itong ipinapakita kasama ng mga resulta at hindi kailanman nagsisilbing gate nang mag-isa. Ipinapakita rin ang replay ng mga pinal na parameter kada window, na may markang bahagyang in-sample dahil pinili ang mga parameter na iyon gamit ang parehong datos.

Significance at deflated Sharpe ratio

Sinusubok ang mga out-of-sample na return gamit ang t-test na isinasaalang-alang ang autocorrelation, at gamit din ang deflated Sharpe ratio. Sinusuri ng deflated Sharpe ratio kung nahigitan ng resulta ang maaabot ng pinakamahusay sa maraming random na pagsubok, batay sa epektibong bilang ng mga trial: ang mga out-of-sample na variant na aktuwal na sinubukan, kabilang ang bawat dagdag na rebisyon pagkaraang suriin. Hindi ibinibilang laban sa strategy ang mga panloob na trial sa paghahanap dahil hindi kailanman nakakakita ang mga ito ng out-of-sample na datos.

Kinakalkula sa training data bilang mga diagnostic ang combinatorial cross-validation at ang posibilidad ng backtest overfitting. Nagbibigay ang mga ito ng impormasyon sa analyst ngunit hindi na sila ang nagpapasya sa pag-angat nang mag-isa.

Mga window ng return at lawak ng pagsusuri

Maaaring napakadalang mag-trade ng mababagal na strategy para mapunan ang mga window batay sa bilang ng trade. Sa halip, sinusuri ang mga ito sa mga window ng panahon gamit ang mga return kada panahon, kasama ang mga test na isinasaalang-alang ang autocorrelation. Sinusubok ng breadth test ang hindi binagong tuntunin sa 5 o higit pang kaugnay na market: maaaring gawing pasado ng magkakatugmang resulta sa iba't ibang market ang hindi tiyak na resulta, at maaaring gawing babala ang isang resulta ng kabiguan sa ibang market.

Mga resultang mababa ang kumpiyansa

Kapag hindi sapat ang lakas ng ebidensya para makabuo ng tiyak na resulta ngunit walang tahasang bumagsak, at inirerekomenda pa rin ng analyst ang pag-angat, maaaring pumasok sa paper trading ang strategy na may markang mababa ang kumpiyansa at hindi pa napapatunayan sa estadistika. Ipinapakita ang markang ito sa mga pahina ng strategy at paper, at sa mga notification. Hindi pa handa sa live trading ang strategy na mababa ang kumpiyansa hangga't hindi nagiging makabuluhan sa estadistika ang sarili nitong rekord sa paper trading.

Mga pamantayan sa pag-promote

Ipinapatupad sa code ang mga minimum para sa pag-angat batay sa nailathalang file ng pamantayan. Hindi maaaring talikdan ang mga hard gate: sapat na kasaysayan, kumikita sa karamihan ng mga taon sa kalendaryo na may exposure, average na trade na sumasagot sa gastos sa round-trip, walang labis na paggamit ng margin, naroroon ang mga out-of-sample at holdout na resulta at hindi tinanggihan sa estadistika, nasa loob ng nakarehistrong limitasyon ang drawdown, at kumpleto at magkakatugma ang accounting.

Mga soft gate at waiver

Saklaw ng mga soft gate ang drawdown kumpara sa sariling limitasyon ng strategy, Calmar ratio, profit factor, win rate kasama ang payoff, tagal ng paghawak, paghahambing ng holdout sa mga walk-forward na resulta, deflated Sharpe ratio, konsentrasyon ng kita sa iisang taon, gastos sa epekto sa merkado, at mga pagkalugi sa panahong mataas ang volatility. Maaari lamang talikdan ng analyst ang isang soft gate sa pamamagitan ng nakasulat na katwirang tumutukoy sa sukatan; itinatala ang waiver sa run, maaaring tanggihan ito ng Risk Officer, at muling sinusuri ng Portfolio Manager.

Tapat na pagbasa sa backtest

Ihambing ang equity curve sa drawdown, tingnan kung ilang trade ang pinagbabatayan ng resulta, at ihambing ang karaniwang kita sa bawat trade sa round-trip cost. Babala, hindi resulta, ang mataas na kita mula sa iilang trade o Sharpe ratio na nawawala sa out-of-sample.