बैकटेस्टिंग, वॉक-फ़ॉरवर्ड ऑप्टिमाइज़ेशन और जांच

वास्तविक लागतों के साथ परिणाम कैसे तैयार होते हैं, आउट-ऑफ़-सैंपल पैरामीटर कैसे चुने जाते हैं और रणनीति आगे बढ़ने की पात्रता कैसे हासिल करती है।

वास्तविक एक्सचेंज शुल्क और लागत

बैकटेस्ट में प्रत्येक स्थल के प्रकाशित मेकर और टेकर शुल्क, परपेचुअल फ़्यूचर्स पर फ़ंडिंग भुगतान, शॉर्ट पोज़िशन पर उधार की लागत, स्प्रेड और हर फ़िल पर बाज़ार-प्रभाव मॉडल लागू होते हैं। इक्विटी को हर बार के साथ बाज़ार मूल्य पर आँका जाता है, और लीवरेज वाली पोज़िशन को स्थल के मेंटेनेंस मार्जिन पर लिक्विडेट किया जा सकता है। किसी भी परिणाम में लागत शामिल किए बिना रिपोर्ट नहीं दी जाती।

पोज़िशन का आकार और लीवरेज

Forex रणनीतियाँ खाते की इक्विटी के अनुपात में आधार मुद्रा की पूर्ण इकाइयों का आकार तय करती हैं। इंजन कॉन्फ़िगर की गई FX लीवरेज सीमा, मार्जिन आवश्यकताओं और कोट-मुद्रा रूपांतरण को लागू करता है। ब्रोकर के मूल लॉट आकारों के लिए अलग से सत्यापित मानचित्रण आवश्यक है।

अनुकूलन कैसे काम करता है

अनुकूलन में रणनीति के उपलब्ध पूरे इतिहास का उपयोग होता है। हाल के हिस्से को होल्डआउट के रूप में अलग रखा जाता है। बाकी, यानी विकास अवधि, को वॉक-फॉरवर्ड विंडो के क्रम में बाँटा जाता है: हर विंडो के प्रशिक्षण खंड पर पैरामीटर खोजे जाते हैं और उसके बाद आने वाले परीक्षण खंड पर उनका मूल्यांकन होता है। इस तरह हर आउट-ऑफ़-सैंपल परिणाम ऐसे डेटा से आता है जिसे खोज ने कभी नहीं देखा।

फिर पूरे विकास काल पर एक बार अंतिम पैरामीटर चुने जाते हैं और होल्डआउट पर ठीक एक बार उनका परीक्षण होता है। संवेदनशीलता, स्थिरता और सांख्यिकीय महत्त्व के आँकड़े साथ में दिखाए जाते हैं, और आगे बढ़ाने के मानदंड इन-सैंपल फिट पर कभी नहीं, बल्कि आउट-ऑफ़-सैंपल और होल्डआउट के प्रमाण पर आधारित होते हैं।

होल्डआउट

होल्डआउट इतिहास का अंतिम हिस्सा होता है: कम से कम 20% अवधि, कम से कम 15 दिन, और इतनी लंबी अवधि कि लगभग 20 ट्रेड होने की अपेक्षा की जा सके; यह इतिहास के 35% तक हो सकता है। 35% की अधिकतम सीमा तक पहुँचने वाले होल्डआउट को अपर्याप्त शक्ति वाला चिह्नित किया जाता है। इसका उपयोग पैरामीटर चुनने में कभी नहीं होता, और एजेंटों को होल्डआउट शुरू होने तक के ही नतीजे दिखते हैं, ताकि उनके निर्णय इसके अनुसार न ढलें। आप, स्वामी के रूप में, रणनीति पृष्ठ पर पूरा इतिहास देख सकते हैं।

नेस्टेड वॉक-फॉरवर्ड विंडो

वॉक-फॉरवर्ड विंडो का आकार केवल समय से नहीं, ट्रेडों की संख्या से तय होता है: हर परीक्षण विंडो को तब तक बढ़ाया जाता है जब तक उसमें लगभग 20 ट्रेड होने की अपेक्षा न हो। विंडो हर महीने, या लंबे इतिहास के लिए हर तिमाही में आगे बढ़ती हैं; प्रशिक्षण और परीक्षण के बीच छोटा अंतराल रखा जाता है। हर प्रशिक्षण खंड के भीतर खोज नेस्टेड होती है: पैरामीटर चुनने के लिए उसे फिर 70/30 में बाँटकर भीतरी सत्यापन डेटा इस्तेमाल किया जाता है। निर्णायक परिणाम के लिए कम से कम 3 विंडो और पर्याप्त आउट-ऑफ़-सैंपल कवरेज चाहिए; अन्यथा ट्रेडों की कमी के कारण परिणाम को अनिर्णायक चिह्नित किया जाता है।

पैरामीटर खोज और अंतिम रीफ़िट

पैरामीटर बायेज़ियन अनुकूलन से खोजे जाते हैं: हर विंडो में प्रत्येक समायोज्य पैरामीटर के लिए लगभग 30 परीक्षण, और कुल 30 से 150 के बीच। केवल सबसे अच्छे परीक्षण को चुनने के बजाय, चयनकर्ता ऐसे पैरामीटर को प्राथमिकता देता है जिनके आस-पास के मान भी रणनीति की जोखिम सीमाओं के भीतर अच्छा स्कोर करते हों। अंतिम रीफ़िट में पूरे विकास काल पर यही चयनकर्ता लागू होता है; फिर होल्डआउट ठीक उन्हीं पैरामीटर का परीक्षण करता है। हर अनुकूलन के लिए समय सीमा होती है, और लंबी खोज दूरस्थ कंप्यूट पर चलाई जा सकती है।

संवेदनशीलता और स्थिर क्षेत्र

हर संख्यात्मक पैरामीटर को दोनों दिशाओं में 10%, 25% और 50% तक बदला जाता है, और पूर्णांक वाले पैरामीटर को एक और दो चरणों तक। पठार बताता है कि किसी पैरामीटर को कितनी दूर तक बदला जा सकता है, इससे पहले कि शार्प अनुपात अपनी सांख्यिकीय अनिश्चितता से अधिक गिर जाए; इससे तेज़ गिरावट को तीव्र पतन के रूप में दर्ज किया जाता है। चौड़ा पठार आश्वस्त करने वाला साक्ष्य है, जबकि तीव्र पतन चेतावनी है। यह रिपोर्ट है, पास/फेल तय करने का मानदंड नहीं।

पैरामीटर स्थिरता

स्थिरता यह तुलना करती है कि चुने गए पैरामीटर विंडो दर विंडो कितने बदलते हैं और किसी यादृच्छिक चयन में कितना बदलाव होता। पास-पास बने रहने वाले पैरामीटर स्थिर चिह्नित होते हैं; बहुत बदलने वाले अस्थिर। यह परिणामों के साथ दिखाई जाने वाली चेतावनी है, अपने आप में कभी मानदंड नहीं। अंतिम पैरामीटर का हर विंडो पर अलग रीप्ले भी दिखाया जाता है, जिसे आंशिक रूप से इन-सैंपल चिह्नित किया जाता है, क्योंकि वे पैरामीटर उसी डेटा पर चुने गए थे।

सांख्यिकीय महत्त्व और डिफ्लेटेड शार्प अनुपात

आउट-ऑफ़-सैंपल रिटर्न का परीक्षण ऑटोकॉरिलेशन को ध्यान में रखने वाले टी-टेस्ट और डिफ्लेटेड शार्प अनुपात से किया जाता है। डिफ्लेटेड शार्प अनुपात यह पूछता है कि क्या नतीजा कई यादृच्छिक प्रयासों में से सर्वश्रेष्ठ के संभावित परिणाम से बेहतर है; इसमें प्रभावी परीक्षणों की संख्या गिनी जाती है—असल में आज़माए गए आउट-ऑफ़-सैंपल विकल्प, समीक्षा के बाद हर अतिरिक्त संशोधन समेत। अंदरूनी खोज के परीक्षण रणनीति के विरुद्ध नहीं गिने जाते, क्योंकि उन्हें आउट-ऑफ़-सैंपल डेटा कभी नहीं दिखता।

कॉम्बिनेटोरियल क्रॉस-वैलिडेशन और बैकटेस्ट ओवरफ़िटिंग की संभावना का प्रशिक्षण डेटा पर निदान के रूप में हिसाब लगाया जाता है। ये विश्लेषक की मदद करते हैं, लेकिन अब अपने आप आगे बढ़ाने का निर्णय नहीं करते।

रिटर्न विंडो और बाज़ारों का विस्तार

धीमी रणनीतियों में ट्रेड इतने कम हो सकते हैं कि ट्रेड संख्या वाली विंडो भर न पाएँ। ऐसे में उनका मूल्यांकन समयावधि के रिटर्न से किया जाता है, उन परीक्षणों के साथ जो ऑटोकॉरिलेशन का ध्यान रखते हैं। विस्तार परीक्षण उसी अपरिवर्तित नियम को 5 या अधिक संबंधित बाज़ारों पर चलाता है: बाज़ारों में लगातार अच्छे नतीजे अनिर्णायक परिणाम को पास में बदल सकते हैं, और किसी दूसरे बाज़ार में विफलता पास को चेतावनी में बदल सकती है।

कम विश्वास वाले परिणाम

जब प्रमाण निर्णायक होने के लिए पर्याप्त मज़बूत न हों, लेकिन कुछ भी स्पष्ट रूप से विफल न हुआ हो, और विश्लेषक फिर भी आगे बढ़ाने की सिफ़ारिश करे, तो रणनीति पेपर ट्रेडिंग में कम विश्वास—सांख्यिकीय रूप से सिद्ध नहीं—के लेबल के साथ जा सकती है। यह लेबल रणनीति और पेपर पृष्ठों तथा सूचनाओं में दिखाया जाता है। अपनी पेपर ट्रेडिंग का रिकॉर्ड सांख्यिकीय रूप से महत्त्वपूर्ण होने तक कम विश्वास वाली रणनीति लाइव ट्रेडिंग के लिए तैयार नहीं होती।

प्रमोशन की शर्तें

आगे बढ़ाने की न्यूनतम सीमाएँ प्रकाशित मानदंड फ़ाइल के आधार पर कोड में लागू होती हैं। कठोर मानदंडों में छूट नहीं दी जा सकती: पर्याप्त इतिहास; एक्सपोज़र वाले अधिकांश कैलेंडर वर्षों में लाभ; ऐसा औसत ट्रेड जो आने-जाने की कुल लागत पूरी करे; मार्जिन का अत्यधिक उपयोग न हो; आउट-ऑफ़-सैंपल और होल्डआउट परिणाम मौजूद हों और सांख्यिकीय रूप से खारिज न हुए हों; ड्रॉडाउन पंजीकृत सीमा के भीतर हो; और लेखांकन पूर्ण तथा सुसंगत हो।

लचीले मानदंड और छूट

लचीले मानदंडों में रणनीति की अपनी सीमा के सापेक्ष ड्रॉडाउन, कैलमर अनुपात, लाभ कारक, पेऑफ़ के साथ जीत दर, होल्डिंग अवधि, वॉक-फॉरवर्ड की तुलना में होल्डआउट, डिफ्लेटेड शार्प अनुपात, किसी एक वर्ष में लाभ का संकेंद्रण, बाज़ार-प्रभाव लागत और अधिक अस्थिरता वाले समय के नुकसान शामिल हैं। विश्लेषक किसी लचीले मानदंड में तभी छूट दे सकता है जब वह संबंधित मेट्रिक का नाम लेकर लिखित कारण दे। छूट रन पर दर्ज होती है, जोखिम अधिकारी उसे अस्वीकार कर सकता है, और पोर्टफ़ोलियो मैनेजर उसे फिर से जाँचता है।

बैकटेस्ट को ईमानदारी से समझना

इक्विटी कर्व की तुलना ड्रॉडाउन से करें, देखें कि नतीजा कितने ट्रेडों पर आधारित है और प्रति ट्रेड औसत रिटर्न को राउंड-ट्रिप लागत के सामने परखें। मुट्ठी भर ट्रेडों से मिला ऊँचा रिटर्न या आउट-ऑफ़-सैंपल गायब हो जाने वाला शार्प अनुपात चेतावनी है, नतीजा नहीं।