Backtesting, optymalizacja i kryteria awansu

Jak powstają wyniki przy uwzględnieniu realistycznie modelowanych kosztów, jak dobierane są parametry poza próbą oraz jak strategia kwalifikuje się do awansu.

Rzeczywiste opłaty giełdowe i koszty

W testach historycznych stosowane są opublikowane przez każdą platformę opłaty maker i taker, płatności funding dla kontraktów perpetual futures, koszty pożyczki przy pozycjach krótkich, spread oraz model wpływu na rynek przy każdym wykonaniu zlecenia. Wartość kapitału jest wyceniana do rynku po każdym słupku, a pozycje z dźwignią mogą zostać zlikwidowane po osiągnięciu poziomu depozytu zabezpieczającego wymaganego przez platformę. Wyniki nigdy nie są podawane przed odjęciem kosztów.

Wielkość pozycji i dźwignia

Strategie Forex określają wielkość pozycji w całych jednostkach waluty bazowej w relacji do kapitału własnego rachunku. Silnik stosuje skonfigurowany limit dźwigni FX, wymogi dotyczące depozytu zabezpieczającego i przewalutowanie waluty kwotowanej. Wielkości lotów właściwe dla brokera wymagają osobnego, zweryfikowanego mapowania.

Jak działa optymalizacja

Optymalizacja wykorzystuje całą dostępną historię strategii. Jej najnowsza część jest odkładana jako zbiór testowy. Pozostała część, czyli okres rozwoju, jest dzielona na sekwencję okien walk-forward: parametrów szuka się na odcinku treningowym każdego okna, a ocenia na następującym po nim odcinku testowym. Dzięki temu każdy wynik pozapróbkowy pochodzi z danych, których algorytm wyszukiwania wcześniej nie widział.

Następnie parametry końcowe są wybierane jeden raz na podstawie całego okresu rozwoju i testowane dokładnie jeden raz na zbiorze testowym. Obok podawane są statystyki wrażliwości, stabilności i istotności, a kryteria awansu uwzględniają wyniki z próby pozapróbkowej i zbioru testowego, nigdy dopasowanie do danych z próby.

Zbiór testowy

Zbiór testowy obejmuje końcową część historii: co najmniej 20% danych i co najmniej 15 dni, a także okres wystarczająco długi, by oczekiwać około 20 transakcji, do 35% całej historii. Zbiór testowy osiągający limit 35% jest oznaczany jako mający niewystarczającą moc statystyczną. Nigdy nie służy do wyboru parametrów, a agenci widzą wyniki tylko do początku tego zbioru, więc ich decyzji nie można do niego dopasować. Ty, jako właściciel, widzisz pełną historię na stronie strategii.

Zagnieżdżone okna walk-forward

Okna walk-forward są wyznaczane na podstawie liczby transakcji, a nie tylko czasu: każde okno testowe jest wydłużane, aż będzie można oczekiwać około 20 transakcji. Okna przesuwają się co miesiąc lub co kwartał w przypadku długich historii, z krótką przerwą między treningiem a testem. W każdym odcinku treningowym wyszukiwanie jest zagnieżdżone: odcinek ponownie dzieli się w proporcji 70/30, aby parametry wybierać na wewnętrznych danych walidacyjnych. Do uzyskania rozstrzygającego wyniku potrzebne są co najmniej 3 okna i wystarczające pokrycie próby pozapróbkowej; w przeciwnym razie wynik jest oznaczany jako nierozstrzygający z powodu zbyt małej liczby transakcji.

Wyszukiwanie parametrów i końcowe ponowne dopasowanie

Parametry są wyszukiwane metodą optymalizacji bayesowskiej, około 30 prób na każdy dostrajany parametr w każdym oknie, przy czym liczba prób mieści się między 30 a 150. Zamiast pojedynczej najlepszej próby selektor preferuje parametry, których sąsiednie wartości również osiągają dobre wyniki, z zachowaniem ograniczeń ryzyka strategii. Końcowe ponowne dopasowanie stosuje ten sam selektor do całego okresu rozwojowego; okres odłożony (holdout) testuje następnie dokładnie te parametry. Każda optymalizacja ma limit czasu, a długie wyszukiwania mogą być uruchamiane na zdalnych zasobach obliczeniowych.

Wrażliwość i obszary stabilnych wyników

Każdy parametr liczbowy jest przesuwany o 10%, 25% i 50% w obu kierunkach, a parametry całkowite o jeden i dwa kroki. Plateau pokazuje, jak daleko można przesunąć parametr, zanim wskaźnik Sharpe’a spadnie o więcej, niż wynosi jego niepewność statystyczna; gwałtowniejszy spadek jest zgłaszany jako załamanie. Szerokie plateau to przekonujący sygnał, a załamanie jest ostrzeżeniem. To raport, a nie kryterium decyzyjne.

Stabilność parametrów

Stabilność pokazuje, jak zmienność wybranych parametrów między oknami ma się do zmienności przy losowym wyborze. Parametry, które pozostają do siebie zbliżone, są oznaczane jako stabilne; te, które mocno się zmieniają, jako niestabilne. Jest to ostrzeżenie prezentowane wraz z wynikami, nigdy samodzielne kryterium awansu. Pokazywane jest też odtworzenie wyników końcowych parametrów dla każdego okna, oznaczone jako częściowo oparte na danych z próby, ponieważ parametry te wybrano na podstawie tych samych danych.

Istotność i deflowany współczynnik Sharpe’a

Zwroty z próby pozapróbkowej są sprawdzane za pomocą testu t uwzględniającego autokorelację oraz deflowanego współczynnika Sharpe'a. Deflowany współczynnik Sharpe'a sprawdza, czy wynik jest lepszy od tego, jaki dałaby najlepsza z wielu prób losowych, uwzględniając efektywną liczbę prób: faktycznie przetestowane warianty pozapróbkowe, w tym każdą dodatkową rewizję po przeglądzie. Wewnętrzne próby wyszukiwania nie są zaliczane strategii na niekorzyść, ponieważ nigdy nie wykorzystują danych pozapróbkowych.

Kombinatoryczna walidacja krzyżowa i prawdopodobieństwo nadmiernego dopasowania testu historycznego są obliczane na danych treningowych w celach diagnostycznych. Pomagają analitykowi, ale same nie decydują już o awansie.

Okna zwrotu i zakres

Strategie o wolnym tempie mogą zawierać transakcje zbyt rzadko, by wypełnić okna oparte na liczbie transakcji. W takim przypadku są oceniane na podstawie okien czasowych zwrotów za dany okres, przy użyciu testów uwzględniających autokorelację. Test szerokości rynkowej uruchamia niezmienioną regułę na 5 lub większej liczbie powiązanych rynków: spójne wyniki na różnych rynkach mogą zmienić wynik nierozstrzygający w pozytywny, a niepowodzenie na innym rynku może zmienić wynik pozytywny w ostrzeżenie.

Wyniki o niskim poziomie pewności

Gdy dowody nie wystarczają do uzyskania rozstrzygającego wyniku, ale nie stwierdzono jednoznacznego niepowodzenia, a analityk nadal rekomenduje awans, strategia może trafić do handlu papierowego z oznaczeniem „niski poziom pewności — brak potwierdzenia statystycznego”. Oznaczenie jest widoczne na stronie strategii i stronach handlu papierowego oraz w powiadomieniach. Strategia o niskim poziomie pewności nie jest gotowa do handlu rzeczywistego, dopóki wyniki jej własnego handlu papierowego nie staną się istotne statystycznie.

Progi dopuszczenia

Minimalne kryteria awansu są egzekwowane w kodzie na podstawie opublikowanego pliku z kryteriami. Twardych kryteriów nie można ominąć: wystarczająca historia, rentowność w większości lat kalendarzowych przy ekspozycji rynkowej, średni zysk na transakcję pokrywający koszt transakcji w obie strony, brak nadmiernego wykorzystania depozytu zabezpieczającego, dostępne wyniki z próby pozapróbkowej i zbioru testowego, które nie zostały odrzucone statystycznie, obsunięcie mieszczące się w zarejestrowanym limicie oraz kompletne i spójne rozliczenia.

Miękkie kryteria i odstępstwa

Miękkie kryteria obejmują obsunięcie względem własnego limitu strategii, współczynnik Calmera, współczynnik zysku, wskaźnik wygranych wraz z relacją zysku do straty, okres utrzymywania pozycji, wynik zbioru testowego w porównaniu z wynikami walk-forward, deflowany współczynnik Sharpe'a, koncentrację zysku w jednym roku, koszt wpływu na rynek oraz straty w okresach wysokiej zmienności. Analityk może odstąpić od miękkiego kryterium wyłącznie z pisemnym uzasadnieniem wskazującym daną miarę; odstępstwo jest zapisywane w przebiegu, Risk Officer może je odrzucić, a Portfolio Manager sprawdza je ponownie.

Rzetelna interpretacja backtestu

Porównaj krzywą kapitału z obsunięciem, sprawdź, na ilu transakcjach opiera się wynik, i zestaw średnią stopę zwrotu z transakcji z kosztem pełnego obrotu. Wysoki zwrot z kilku transakcji albo wskaźnik Sharpe’a, który znika poza próbą, to ostrzeżenie, a nie wynik.