Backtest, optimizasyon ve doğrulama kapıları
Sonuçların gerçekçi şekilde modellenmiş maliyetlerle nasıl üretildiği, parametrelerin örneklem dışı verilerle nasıl seçildiği ve bir stratejinin terfiyi nasıl kazandığı.
Gerçek borsa ücretleri ve maliyetleri
Geriye dönük testlerde her platformun yayımlanmış yapıcı ve alıcı ücretleri, sürekli vadeli işlemlerde fonlama ödemeleri, açığa satışlarda ödünç alma maliyetleri, her gerçekleşen emir için alış satış farkı ve piyasa etkisi modeli uygulanır. Öz sermaye her mumda piyasa fiyatına göre değerlenir; kaldıraçlı pozisyonlar platformun sürdürme teminatı seviyesinde tasfiye edilebilir. Hiçbir sonuç maliyetler düşülmeden raporlanmaz.
Pozisyon büyüklüğü ve kaldıraç
Forex stratejileri, hesap öz sermayesine göre baz para biriminde tam birimler üzerinden pozisyon büyüklüğünü belirler. Motor, yapılandırılmış FX kaldıraç sınırını, teminat gerekliliklerini ve kotasyon para birimi dönüşümünü uygular. Aracı kuruma özgü lot büyüklükleri için ayrıca doğrulanmış bir eşleme gerekir.
Optimizasyon nasıl çalışır
Optimizasyonda stratejinin erişilebilir tüm geçmişi kullanılır. En yakın tarihli bölüm tutma kümesi olarak ayrılır. Geliştirme dönemi olarak adlandırılan geri kalan kısım, ileriye dönük bir dizi pencereye bölünür: parametreler her pencerenin eğitim aralığında aranır ve onu izleyen test aralığında değerlendirilir; böylece her örneklem dışı sonuç, aramanın görmediği verilerden elde edilir.
Son parametreler daha sonra geliştirme döneminin tamamında bir kez seçilir ve tutma kümesinde tam olarak bir kez test edilir. Duyarlılık, kararlılık ve anlamlılık istatistikleri de raporlanır; ilerletme geçitleri örneklem içi uyuma değil, örneklem dışı ve tutma kümesi kanıtlarına bakar.
Tutma kümesi
Tutma kümesi geçmişin son bölümüdür: geçmişin en az %20’si, en az 15 gün ve yaklaşık 20 işlem beklemeye yetecek uzunlukta olmalı; geçmişin %35’ini aşmamalıdır. Tutma kümesi %35 üst sınırına ulaşırsa istatistiksel gücü yetersiz olarak etiketlenir. Parametre seçmek için hiçbir zaman kullanılmaz ve ajanlar sonuçları yalnızca tutma kümesinin başlangıcına kadar görür; bu nedenle kararlarını bu kümeye göre ayarlayamazlar. Sahip olarak geçmişin tamamını strateji sayfasında görebilirsiniz.
İç içe ileri yürüyen test pencereleri
İleri yürüyen test pencerelerinin uzunluğu yalnızca zamana göre değil, işlem sayısına göre belirlenir: her test penceresi yaklaşık 20 işlem beklenene kadar uzatılır. Pencereler aylık, uzun geçmişlerde ise üç aylık adımlarla ilerler; eğitim ve test arasında kısa bir boşluk bırakılır. Her eğitim aralığında arama iç içe yürütülür: parametrelerin iç doğrulama verilerinde seçilmesi için aralık yeniden %70/%30 olarak bölünür. Kesin sonuç için en az 3 pencere ve yeterli örneklem dışı kapsam gerekir; aksi durumda işlem sayısı yetersiz olduğundan sonuç kesin değil olarak işaretlenir.
Parametre araması ve son yeniden uyarlama
Parametreler Bayesçi optimizasyonla aranır; her pencerede toplam deneme sayısı 30 ile 150 arasında olur ve ayarlanabilir parametre başına yaklaşık 30 deneme yapılır. Seçici, tek bir en iyi deneme yerine stratejinin risk kısıtları altında komşu değerleri de iyi puan alan parametreleri tercih eder. Son yeniden uyarlamada aynı seçici geliştirme döneminin tamamına uygulanır; ardından tutma kümesi tam olarak bu parametreleri test eder. Her optimizasyonun bir zaman bütçesi vardır; uzun aramalar uzak işlem kaynaklarında yürütülebilir.
Duyarlılık ve plato bölgeleri
Her sayısal parametre her iki yönde %10, %25 ve %50; tam sayı parametreleri ise birer ve ikişer adım değiştirilir. Plato, Sharpe oranı istatistiksel belirsizliğini aşan ölçüde düşmeden önce bir parametrenin ne kadar değişebileceğini gösterir; daha keskin bir düşüş uçurum olarak raporlanır. Geniş bir plato güven verici bir kanıttır, uçurum ise uyarıdır. Bu bir rapordur, geçiş koşulu değildir.
Parametre kararlılığı
Kararlılık, seçilen parametrelerin pencereden pencereye ne kadar değiştiğini rastgele bir seçimin ne kadar değişeceğiyle karşılaştırır. Birbirine yakın kalan parametreler kararlı, büyük değişiklikler gösterenler kararsız olarak etiketlenir. Sonuçlarla birlikte gösterilen bir uyarıdır; tek başına hiçbir zaman geçit oluşturmaz. Son parametrelerin pencere başına yeniden oynatımı da gösterilir ve aynı verilerde seçildikleri için kısmen örneklem içi olarak etiketlenir.
İstatistiksel anlamlılık ve çoklu denemelere göre düzeltilmiş Sharpe oranı
Örneklem dışı getiriler, otokorelasyonu hesaba katan bir t-testiyle ve çoklu denemelere göre düzeltilmiş Sharpe oranıyla sınanır. Çoklu denemelere göre düzeltilmiş Sharpe oranı, etkin deneme sayısını (gerçekten denenmiş örneklem dışı varyantları, inceleme sonrasındaki her ek revizyon dâhil) hesaba katarak sonucun çok sayıda rastgele deneme arasındaki en iyi sonucun ulaşacağı seviyeyi aşıp aşmadığını sorgular. İç arama denemeleri strateji aleyhine sayılmaz, çünkü bu denemeler örneklem dışı verileri hiçbir zaman görmez.
Kombinatoryal çapraz doğrulama ve geriye dönük testi aşırı uyarlama olasılığı, tanı amaçlı olarak eğitim verilerinde hesaplanır. Bunlar analiste yol gösterir ancak artık tek başlarına ilerletme kararını belirlemez.
Getiri pencereleri ve kapsam
Yavaş stratejiler, işlem sayısı pencerelerini doldurmak için çok seyrek işlem yapabilir. Bu durumda bunlar, bunun yerine otokorelasyonu dikkate alan testlerle dönemsel getirilerin zaman pencereleri üzerinden değerlendirilir. Genişlik testi, değiştirilmemiş kuralı 5 veya daha fazla ilgili piyasada çalıştırır: piyasalar arasında tutarlı sonuçlar, kesin olmayan bir sonucu başarılı bir sonuca dönüştürebilir; başka piyasalardaki bir başarısızlık ise başarılı bir sonucu uyarıya dönüştürebilir.
Düşük güven düzeyli sonuçlar
Kanıt kesin sonuca varmak için yeterince güçlü değilse ancak açıkça başarısız olan bir ölçüt yoksa ve analist yine de ilerletmeyi öneriyorsa strateji, istatistiksel olarak kanıtlanmamış düşük güven düzeyi etiketiyle kâğıt üzerinde alım satıma alınabilir. Bu etiket strateji ve kâğıt üzerinde alım satım sayfalarında ve bildirimlerde gösterilir. Düşük güven düzeyindeki bir strateji, kendi kâğıt üzerinde alım satım kaydı anlamlı hâle gelene kadar canlı alım satıma hazır değildir.
Terfi eşikleri
Strateji terfisi için asgari koşullar, yayımlanmış bir kriter dosyasından kodda uygulanır. Zorunlu koşullardan hiçbiri muaf tutulamaz: yeterli geçmiş veri; piyasada pozisyon alınan takvim yıllarının çoğunda kârlılık; ortalama işlemin gidiş-dönüş maliyetini karşılaması; aşırı marj kullanımının olmaması; örneklem dışı ve holdout sonuçlarının mevcut olması ve istatistiksel olarak reddedilmemesi; düşüşün (drawdown) kayıtlı sınır içinde kalması; ve eksiksiz ve tutarlı muhasebe.
Esnek geçitler ve muafiyetler
Yumuşak koşullar; stratejinin kendi sınırına göre düşüş, Calmar oranı, kâr faktörü, kazanma oranı ile kazanç-kayıp oranının birlikte değerlendirilmesi, elde tutma süresi, holdout sonuçlarının walk-forward testi sonuçlarıyla karşılaştırılması, çoklu deneme düzeltmeli Sharpe oranı (deflated Sharpe ratio), kârın tek bir yıla yoğunlaşması, piyasa etkisi maliyeti ve yüksek volatilite dönemlerindeki kayıpları kapsar. Analist, bir yumuşak koşulu yalnızca ilgili metriği adlandıran yazılı bir gerekçeyle muaf tutabilir; bu muafiyet çalıştırma kaydında saklanır, Risk Sorumlusu bunu reddedebilir ve Portföy Yöneticisi yeniden kontrol eder.
Geriye dönük testi doğru değerlendirmek
Öz sermaye eğrisini düşüşle karşılaştırın, sonucun kaç işleme dayandığını kontrol edin ve işlem başına ortalama getiriyi gidiş-dönüş maliyetiyle karşılaştırın. Birkaç işlemden elde edilen yüksek getiri veya örneklem dışında ortadan kaybolan bir Sharpe oranı, sonuçtan çok bir uyarı işaretidir.