بک‌تست، بهینه‌سازی و مراحل ارزیابی
نحوه تولید نتایج با لحاظ‌کردن هزینه‌های واقعیِ مدل‌شده، انتخاب پارامترها خارج از نمونه و چگونگی کسب صلاحیت ارتقا توسط یک استراتژی.
کارمزدها و هزینه‌های واقعی صرافی
بک‌تست‌ها کارمزدهای اعلام‌شده سازنده و گیرنده هر محل معامله، پرداخت‌های تأمین مالی قراردادهای آتی دائمی، هزینه استقراض در فروش استقراضی، فاصله قیمت خرید و فروش، و مدل اثر بازار را در هر معامله لحاظ می‌کنند. ارزش پرتفوی در هر کندل به قیمت بازار محاسبه می‌شود و موقعیت‌های اهرمی ممکن است با رسیدن به وجه تضمین نگهداری محل معامله لیکویید شوند. هیچ نتیجه‌ای بدون کسر هزینه‌ها گزارش نمی‌شود.
اندازهٔ موقعیت و اهرم
راهبردهای فارکس اندازه موقعیت را برحسب واحدهای کامل ارز پایه و نسبت به موجودی حساب تعیین می‌کنند. موتور، سقف اهرم FX پیکربندی‌شده، الزامات وجه تضمین و تبدیل ارز مظنه را اعمال می‌کند. اندازه لات بومی کارگزار به نگاشتی جداگانه و اعتبارسنجی‌شده نیاز دارد.
نحوه کار بهینه‌سازی
بهینه‌سازی از کل سابقه موجود استراتژی استفاده می‌کند. بخش جدیدتر داده‌ها به‌عنوان داده کنارگذاشته‌شده محفوظ می‌ماند. باقی‌مانده، یعنی دوره توسعه، به دنباله‌ای از پنجره‌های آزمون پیش‌رونده تقسیم می‌شود: پارامترها در بازه آموزشی هر پنجره جست‌وجو می‌شوند و در بازه آزمونی پس از آن ارزیابی می‌شوند؛ بنابراین هر نتیجه خارج از نمونه از داده‌هایی به دست می‌آید که جست‌وجو هرگز ندیده است.
سپس پارامترهای نهایی یک‌بار بر پایه کل دوره توسعه انتخاب می‌شوند و دقیقاً یک‌بار روی داده کنارگذاشته‌شده آزموده می‌شوند. آمار حساسیت، پایداری و معناداری نیز در کنار نتایج گزارش می‌شود؛ دروازه‌های ارتقا شواهد خارج از نمونه و داده کنارگذاشته‌شده را می‌سنجند، نه برازش داخل نمونه را.
داده کنارگذاشته‌شده
داده کنارگذاشته‌شده بخش پایانی سابقه است: دست‌کم 20% آن، دست‌کم 15 روز، و به‌اندازه‌ای طولانی که انتظار حدود 20 معامله برود؛ حداکثر تا 35% سابقه. اگر داده کنارگذاشته‌شده به سقف 35% برسد، با برچسب «توان آماری ناکافی» مشخص می‌شود. این داده هرگز برای انتخاب پارامترها به کار نمی‌رود و عامل‌ها فقط نتایج تا ابتدای این بخش را می‌بینند، بنابراین تصمیم‌هایشان بر اساس آن تنظیم نمی‌شود. شما به‌عنوان مالک، کل سابقه را در صفحه استراتژی می‌بینید.
پنجره‌های تودرتوی آزمون پیش‌رونده
اندازه پنجره‌های آزمون پیش‌رونده بر اساس تعداد معاملات تعیین می‌شود، نه فقط زمان: هر پنجره آزمون آن‌قدر طولانی می‌شود که انتظار حدود 20 معامله برود. پنجره‌ها ماهانه جابه‌جا می‌شوند، یا برای سوابق طولانی فصلی، و میان آموزش و آزمون فاصله کوتاهی در نظر گرفته می‌شود. در هر بازه آموزشی، جست‌وجو به‌صورت تودرتو انجام می‌شود: بازه دوباره به نسبت 70/30 تقسیم می‌شود تا پارامترها با داده‌های اعتبارسنجی داخلی انتخاب شوند. برای رسیدن به نتیجه قطعی، دست‌کم 3 پنجره و پوشش کافی خارج از نمونه لازم است؛ در غیر این صورت، به دلیل کمبود معامله نتیجه نامشخص اعلام می‌شود.
جست‌وجوی پارامترها و برازش نهایی
پارامترها با بهینه‌سازی بیزی جست‌وجو می‌شوند: حدود 30 آزمون به‌ازای هر پارامتر قابل تنظیم در هر پنجره، و در مجموع بین 30 تا 150 آزمون. انتخاب‌گر به‌جای بهترین آزمون منفرد، پارامترهایی را ترجیح می‌دهد که مقادیر نزدیک به آن‌ها نیز امتیاز خوبی بگیرند، با رعایت محدودیت‌های ریسک استراتژی. برازش نهایی همین انتخاب‌گر را روی کل دوره توسعه اعمال می‌کند؛ سپس داده کنارگذاشته‌شده دقیقاً همان پارامترها را می‌آزماید. هر بهینه‌سازی بودجه زمانی دارد و جست‌وجوهای طولانی را می‌توان روی توان پردازشی راه دور اجرا کرد.
حساسیت و نواحی پایدار
هر پارامتر عددی را در هر دو جهت به‌اندازهٔ ۱۰٪، ۲۵٪ و ۵۰٪ جابه‌جا می‌کنیم و پارامترهای صحیح را نیز یک و دو گام تغییر می‌دهیم. ناحیهٔ پایداری نشان می‌دهد پارامتر تا چه اندازه می‌تواند تغییر کند، پیش از آنکه نسبت شارپ بیش از عدم‌قطعیت آماری‌اش افت کند؛ افت تندتر پرتگاه نامیده می‌شود. ناحیهٔ پایداری گسترده نشانه‌ای اطمینان‌بخش است و پرتگاه هشداری. این گزارش است، نه معیاری برای پذیرش.
پایداری پارامترها
پایداری، میزان تغییر پارامترهای انتخاب‌شده از پنجره‌ای به پنجره دیگر را با میزان تغییری که از انتخاب تصادفی انتظار می‌رود مقایسه می‌کند. پارامترهایی که به هم نزدیک می‌مانند «پایدار» و پارامترهایی که نوسان زیادی دارند «ناپایدار» برچسب می‌خورند. این فقط هشداری است که همراه نتایج نمایش داده می‌شود و به‌تنهایی هرگز دروازه نیست. بازاجرای پارامترهای نهایی برای هر پنجره نیز نمایش داده می‌شود و به دلیل انتخاب آن پارامترها با استفاده از همان داده‌ها، برچسب «تا حدی داخل نمونه» می‌گیرد.
معناداری و نسبت شارپ تعدیل‌شده
بازده‌های خارج از نمونه با آزمون t که خودهمبستگی را در نظر می‌گیرد و نیز با نسبت شارپ تعدیل‌شده آزموده می‌شوند. نسبت شارپ تعدیل‌شده بررسی می‌کند که آیا نتیجه از چیزی فراتر می‌رود که بهترین نتیجه از میان چندین آزمون تصادفی می‌توانست به آن برسد؛ در این محاسبه تعداد مؤثر آزمون‌ها شمرده می‌شود: گونه‌های خارج از نمونه‌ای که واقعاً آزموده شده‌اند، از جمله هر بازنگری دیگری پس از بازبینی. آزمون‌های داخلی جست‌وجو علیه استراتژی شمرده نمی‌شوند، چون هرگز داده‌های خارج از نمونه را نمی‌بینند.
اعتبارسنجی متقاطع ترکیبی و احتمال بیش‌برازش بک‌تست، به‌عنوان ابزار تشخیصی روی داده‌های آموزشی محاسبه می‌شوند. این نتایج به تحلیلگر کمک می‌کنند، اما دیگر به‌تنهایی درباره ارتقا تصمیم نمی‌گیرند.
پنجره‌های بازده و گستره بازارها
استراتژی‌های کند ممکن است به‌ندرت معامله کنند و پنجره‌های مبتنی بر تعداد معاملات را پر نکنند. در این حالت، به‌جای آن‌ها بر پایه پنجره‌های زمانیِ بازده دوره‌ای ارزیابی می‌شوند و آزمون‌ها خودهمبستگی را در نظر می‌گیرند. آزمون گستره بازار، قاعده بدون تغییر را در 5 بازار مرتبط یا بیشتر اجرا می‌کند: نتایج یکدست در بازارها می‌تواند نتیجه نامشخص را به قبولی تبدیل کند و شکست در بازار دیگری می‌تواند قبولی را به هشدار تبدیل کند.
نتایج با اطمینان پایین
وقتی شواهد برای نتیجه‌گیری قطعی کافی نیست اما هیچ‌چیز صریحاً مردود نشده است و تحلیلگر همچنان ارتقا را توصیه می‌کند، استراتژی می‌تواند با برچسب «اطمینان پایین، از نظر آماری اثبات‌نشده» وارد معاملات آزمایشی شود. این برچسب در صفحه‌های استراتژی و معاملات آزمایشی و نیز در اعلان‌ها نمایش داده می‌شود. استراتژی با اطمینان پایین تا وقتی سابقه معاملات آزمایشی خودش معنادار نشده باشد، برای معاملات زنده آماده نیست.
دروازه‌های ارتقا
حداقل‌های ارتقا بر اساس فایل معیارهای منتشرشده، در کد اعمال می‌شوند. از دروازه‌های سخت نمی‌توان معاف شد: سابقه کافی، سودآوری در بیشتر سال‌های تقویمی همراه با میزان مواجهه، میانگین معامله‌ای که هزینه رفت‌وبرگشت معامله را پوشش دهد، استفاده نکردن بیش از حد از وجه تضمین، وجود نتایج خارج از نمونه و داده کنارگذاشته‌شده و رد نشدن آماری آن‌ها، افت سرمایه در محدوده حد ثبت‌شده، و حسابداری کامل و یکدست.
دروازه‌های نرم و معافیت‌ها
دروازه‌های نرم شامل افت سرمایه در مقایسه با حد خود استراتژی، نسبت کالمار، ضریب سود، نرخ برد همراه با نسبت سود به زیان، دوره نگهداری، مقایسه داده کنارگذاشته‌شده با نتایج آزمون پیش‌رونده، نسبت شارپ تعدیل‌شده، تمرکز سود در یک سال، هزینه اثر بازار و زیان در دوره‌های نوسان بالا هستند. تحلیلگر فقط با ارائه دلیل مکتوبی که معیار را نام می‌برد می‌تواند از یک دروازه نرم معافیت بدهد؛ معافیت در اجرا ثبت می‌شود، مسئول ریسک می‌تواند آن را رد کند و مدیر پرتفوی دوباره آن را بررسی می‌کند.
خوانش صادقانهٔ آزمون تاریخی
منحنی ارزش حساب را با افت سرمایه مقایسه کنید، ببینید نتیجه بر چند معامله متکی است و میانگین بازده هر معامله را در برابر هزینهٔ رفت‌وبرگشت بخوانید. بازده بالایی که تنها از تعداد انگشت‌شماری معامله به دست آمده، یا نسبت شارپی که در خارج از نمونه ناپدید می‌شود، هشدار است نه نتیجه.