การแบ็กเทสต์ การปรับแต่ง และเกณฑ์อนุมัติ

ผลลัพธ์เกิดขึ้นจากต้นทุนจริงอย่างไร เลือกพารามิเตอร์นอกชุดตัวอย่างอย่างไร และกลยุทธ์ผ่านเกณฑ์การเลื่อนขั้นได้อย่างไร

ค่าธรรมเนียมและต้นทุนจริงของ exchange

การทดสอบย้อนหลังใช้อัตราค่าธรรมเนียมผู้สร้างตลาดและผู้รับสภาพคล่องที่แต่ละตลาดประกาศไว้ รวมถึงการจ่ายเงินทุนในสัญญาฟิวเจอร์สแบบไม่มีกำหนดอายุ ต้นทุนการยืมสำหรับสถานะขาย สเปรด และแบบจำลองผลกระทบต่อตลาดในการจับคู่คำสั่งทุกครั้ง มูลค่าพอร์ตจะประเมินตามราคาตลาดในทุกแท่งข้อมูล และสถานะที่ใช้เลเวอเรจอาจถูกบังคับขายเมื่อถึงระดับมาร์จินคงเหลือของตลาด ไม่มีการรายงานผลก่อนหักต้นทุน

การกำหนดขนาดสถานะและเลเวอเรจ

กลยุทธ์ Forex กำหนดขนาดสถานะเป็นหน่วยเต็มของสกุลเงินฐาน โดยเทียบกับมูลค่าทุนในบัญชี ระบบใช้เพดานเลเวอเรจ FX ที่กำหนดไว้ ข้อกำหนดมาร์จิน และการแปลงสกุลเงินอ้างอิง การแปลงเป็นขนาดล็อตตามมาตรฐานของโบรกเกอร์ต้องอาศัยการจับคู่ที่ผ่านการตรวจสอบแยกต่างหาก

การปรับให้เหมาะสมทำงานอย่างไร

การปรับให้เหมาะสมใช้ข้อมูลย้อนหลังทั้งหมดที่มีของกลยุทธ์ โดยกันข้อมูลช่วงล่าสุดไว้เป็นชุดข้อมูลตรวจสอบ ส่วนที่เหลือซึ่งเป็นช่วงพัฒนา จะแบ่งเป็นหน้าต่างแบบเลื่อนตามลำดับ พารามิเตอร์จะถูกค้นหาในช่วงฝึกของแต่ละหน้าต่าง แล้วประเมินบนช่วงทดสอบที่ตามมา เพื่อให้ผลนอกตัวอย่างทุกค่ามาจากข้อมูลที่ระบบค้นหาไม่เคยเห็นมาก่อน

จากนั้นจะเลือกพารามิเตอร์สุดท้ายเพียงครั้งเดียวโดยใช้ช่วงพัฒนาทั้งหมด และทดสอบกับชุดข้อมูลตรวจสอบเพียงครั้งเดียว มีการรายงานค่าสถิติด้านความไว ความเสถียร และนัยสำคัญประกอบด้วย ส่วนเกณฑ์การเลื่อนขั้นจะพิจารณาหลักฐานจากข้อมูลนอกตัวอย่างและชุดข้อมูลตรวจสอบ ไม่ใช่ความพอดีกับข้อมูลในตัวอย่าง

ชุดข้อมูลตรวจสอบ

ชุดข้อมูลตรวจสอบคือช่วงท้ายของข้อมูลย้อนหลัง โดยมีอย่างน้อย 20% ของข้อมูล อย่างน้อย 15 วัน และยาวพอที่จะคาดว่าจะมีการซื้อขายประมาณ 20 ครั้ง แต่ไม่เกิน 35% ของข้อมูล หากชุดข้อมูลตรวจสอบชนเพดาน 35% จะระบุว่ามีกำลังการทดสอบไม่เพียงพอ จะไม่มีการใช้ชุดข้อมูลนี้เพื่อเลือกพารามิเตอร์ และเอเจนต์จะเห็นผลลัพธ์ถึงเพียงก่อนเริ่มช่วงตรวจสอบ เพื่อไม่ให้ปรับการตัดสินใจให้เข้ากับข้อมูลดังกล่าว คุณในฐานะเจ้าของจะเห็นข้อมูลย้อนหลังทั้งหมดในหน้ากลยุทธ์

หน้าต่างแบบเลื่อนซ้อนกัน

กำหนดขนาดหน้าต่างแบบเลื่อนตามจำนวนการซื้อขาย ไม่ใช่ตามเวลาเพียงอย่างเดียว โดยขยายแต่ละหน้าต่างทดสอบจนคาดว่าจะมีการซื้อขายประมาณ 20 ครั้ง หน้าต่างจะเลื่อนไปทุกเดือน หรือทุกไตรมาสสำหรับข้อมูลย้อนหลังระยะยาว โดยเว้นช่วงสั้น ๆ ระหว่างการฝึกกับการทดสอบ ภายในช่วงฝึกแต่ละช่วง การค้นหาจะซ้อนเป็นชั้น โดยแบ่งข้อมูลอีกครั้งเป็น 70/30 เพื่อเลือกพารามิเตอร์จากข้อมูลตรวจสอบภายใน ต้องมีอย่างน้อย 3 หน้าต่างและความครอบคลุมของข้อมูลนอกตัวอย่างเพียงพอจึงจะสรุปผลได้ มิฉะนั้นจะระบุว่าผลยังสรุปไม่ได้เนื่องจากจำนวนการซื้อขายไม่เพียงพอ

การค้นหาพารามิเตอร์และการปรับโมเดลขั้นสุดท้าย

ค้นหาพารามิเตอร์ด้วยการปรับให้เหมาะสมแบบเบย์ โดยทดลองประมาณ 30 ครั้งต่อพารามิเตอร์ที่ปรับได้ในแต่ละหน้าต่าง รวมตั้งแต่ 30 ถึง 150 ครั้ง แทนที่จะเลือกผลทดลองที่ดีที่สุดเพียงครั้งเดียว ระบบจะให้น้ำหนักกับพารามิเตอร์ที่ค่าข้างเคียงก็ให้คะแนนดีเช่นกัน ภายใต้ข้อจำกัดความเสี่ยงของกลยุทธ์ การปรับโมเดลขั้นสุดท้ายใช้วิธีเลือกแบบเดียวกันกับช่วงพัฒนาทั้งหมด จากนั้นชุดข้อมูลตรวจสอบจะทดสอบพารามิเตอร์เหล่านั้นเพียงครั้งเดียว การปรับให้เหมาะสมแต่ละครั้งมีเวลาที่กำหนด และสามารถรันการค้นหาระยะยาวบนระบบประมวลผลระยะไกลได้

ความไวและช่วงราบ

ค่าพารามิเตอร์ตัวเลขทุกค่าจะถูกปรับขึ้นและลง 10%, 25% และ 50% และค่าพารามิเตอร์จำนวนเต็มจะปรับทีละหนึ่งและสองขั้น ช่วงราบแสดงว่าพารามิเตอร์เปลี่ยนแปลงได้มากเพียงใดก่อนที่อัตราส่วนชาร์ปจะลดลงเกินกว่าความไม่แน่นอนทางสถิติ หากลดลงอย่างรวดเร็วกว่า จะรายงานว่าเป็นหน้าผา ช่วงราบที่กว้างเป็นหลักฐานที่น่าอุ่นใจ ส่วนหน้าผาเป็นสัญญาณเตือน นี่คือรายงาน ไม่ใช่เกณฑ์ตัดสิน

เสถียรภาพของพารามิเตอร์

การประเมินความเสถียรเปรียบเทียบว่าพารามิเตอร์ที่เลือกเปลี่ยนแปลงจากหน้าต่างหนึ่งไปอีกหน้าต่างหนึ่งมากเพียงใด กับระดับการเปลี่ยนแปลงที่คาดจากการสุ่มเลือก หากพารามิเตอร์ยังอยู่ใกล้กันจะระบุว่าเสถียร หากเปลี่ยนไปมามากจะระบุว่าไม่เสถียร ข้อมูลนี้จะแสดงเป็นคำเตือนประกอบผลลัพธ์ และไม่เป็นเกณฑ์ตัดสินโดยลำพัง นอกจากนี้ยังแสดงการจำลองพารามิเตอร์สุดท้ายแยกตามหน้าต่าง โดยระบุว่าเป็นข้อมูลในตัวอย่างบางส่วน เนื่องจากเลือกพารามิเตอร์จากข้อมูลชุดเดียวกัน

นัยสำคัญและอัตราส่วน Sharpe ที่ปรับลดแล้ว

ทดสอบผลตอบแทนนอกตัวอย่างด้วย t-test ที่คำนึงถึงสหสัมพันธ์อัตโนมัติ และอัตราส่วน Sharpe ที่ปรับลดแล้ว อัตราส่วน Sharpe ที่ปรับลดแล้วใช้พิจารณาว่าผลลัพธ์ดีกว่าผลที่ดีที่สุดจากการทดลองสุ่มหลายครั้งหรือไม่ โดยนับจำนวนครั้งที่ทดลองอย่างมีประสิทธิผล ซึ่งรวมรูปแบบนอกตัวอย่างที่ได้ทดลองจริง และการแก้ไขเพิ่มเติมแต่ละครั้งหลังการทบทวน จะไม่นับการทดลองค้นหาภายในเป็นโทษต่อกลยุทธ์ เพราะการทดลองเหล่านั้นไม่เคยเห็นข้อมูลนอกตัวอย่าง

คำนวณการตรวจสอบความถูกต้องแบบไขว้เชิงผสมผสานและความน่าจะเป็นของการปรับให้เข้ากับผลทดสอบย้อนหลังมากเกินไปจากข้อมูลฝึก เพื่อใช้เป็นเครื่องมือวินิจฉัย สิ่งเหล่านี้ช่วยประกอบการพิจารณาของนักวิเคราะห์ แต่จะไม่ใช้ตัดสินการเลื่อนขั้นโดยลำพังอีกต่อไป

ช่วงผลตอบแทนและความครอบคลุม

กลยุทธ์ที่เคลื่อนไหวช้าอาจซื้อขายไม่บ่อยพอที่จะเติมหน้าต่างตามจำนวนการซื้อขายได้ ในกรณีนั้นจะประเมินด้วยหน้าต่างเวลาของผลตอบแทนแต่ละช่วงแทน พร้อมการทดสอบที่คำนึงถึงสหสัมพันธ์อัตโนมัติ การทดสอบความครอบคลุมจะนำกฎเดิมไปใช้กับตลาดที่เกี่ยวข้องตั้งแต่ 5 แห่งขึ้นไป ผลที่สม่ำเสมอข้ามตลาดอาจทำให้ผลที่สรุปไม่ได้กลายเป็นผ่าน และความล้มเหลวในตลาดอื่นอาจเปลี่ยนผลผ่านให้เป็นคำเตือน

ผลลัพธ์ที่มีความเชื่อมั่นต่ำ

เมื่อหลักฐานยังไม่หนักแน่นพอที่จะสรุปผล แต่ไม่มีสิ่งใดล้มเหลวอย่างชัดเจน และนักวิเคราะห์ยังแนะนำให้เลื่อนขั้น กลยุทธ์สามารถเข้าสู่การซื้อขายจำลองโดยติดป้ายว่ามีความเชื่อมั่นต่ำและยังไม่มีหลักฐานทางสถิติยืนยัน ป้ายนี้จะแสดงในหน้ากลยุทธ์ หน้าการซื้อขายจำลอง และการแจ้งเตือน กลยุทธ์ที่มีความเชื่อมั่นต่ำยังไม่พร้อมสำหรับการซื้อขายจริง จนกว่าประวัติการซื้อขายจำลองของกลยุทธ์นั้นเองจะมีนัยสำคัญ

เกณฑ์การเลื่อนขั้น

ระบบบังคับใช้เกณฑ์ขั้นต่ำสำหรับการเลื่อนขั้นผ่านโค้ด โดยอ้างอิงไฟล์เกณฑ์ที่เผยแพร่แล้ว เกณฑ์บังคับไม่สามารถยกเว้นได้ ได้แก่ มีข้อมูลย้อนหลังเพียงพอ ทำกำไรในปีปฏิทินส่วนใหญ่ขณะมีสถานะ ผลตอบแทนเฉลี่ยต่อการซื้อขายครอบคลุมต้นทุนไปกลับ ไม่มีการใช้มาร์จินเกินควร มีผลนอกตัวอย่างและผลจากชุดข้อมูลตรวจสอบ และไม่ถูกปฏิเสธทางสถิติ การขาดทุนสูงสุดอยู่ภายในขีดจำกัดที่ลงทะเบียนไว้ และมีการบันทึกบัญชีครบถ้วนสอดคล้องกัน

เกณฑ์แบบยืดหยุ่นและการยกเว้น

ด่านตรวจแบบอ่อน (soft gates) ครอบคลุมการลดลงจากจุดสูงสุด (drawdown) เทียบกับขีดจำกัดของกลยุทธ์เอง อัตราส่วน Calmar อัตราส่วนกำไรต่อขาดทุน (profit factor) อัตราชนะร่วมกับอัตราส่วนกำไรเฉลี่ยต่อขาดทุนเฉลี่ย (payoff) ระยะเวลาถือครอง การเปรียบเทียบชุดข้อมูลทดสอบที่แยกไว้ (holdout) กับผลลัพธ์จากวอล์กฟอร์เวิร์ด (walk-forward) อัตราส่วนชาร์ปที่ปรับค่าแล้ว (deflated Sharpe ratio) การกระจุกตัวของกำไรในปีเดียว ต้นทุนผลกระทบต่อตลาด (market-impact) และการขาดทุนในช่วงที่ความผันผวนสูง ผู้วิเคราะห์อาจยกเว้นด่านตรวจแบบอ่อนได้ก็ต่อเมื่อมีเหตุผลเป็นลายลักษณ์อักษรที่ระบุชื่อตัวชี้วัดนั้น โดยการยกเว้นจะถูกบันทึกไว้กับการรันนั้น เจ้าหน้าที่ดูแลความเสี่ยง (Risk Officer) มีสิทธิ์ปฏิเสธการยกเว้นได้ และผู้จัดการพอร์ตโฟลิโอ (Portfolio Manager) จะตรวจสอบซ้ำอีกครั้ง

อ่านผลการทดสอบย้อนหลังอย่างตรงไปตรงมา

เปรียบเทียบเส้นพอร์ตกับ drawdown ตรวจดูว่าผลลัพธ์อิงกับรายการซื้อขายกี่รายการ และเปรียบเทียบผลตอบแทนเฉลี่ยต่อรายการกับต้นทุนการเปิดแล้วปิดสถานะ ผลตอบแทนสูงจากรายการซื้อขายเพียงไม่กี่รายการ หรือ Sharpe ratio ที่หายไปเมื่อนำไปทดสอบนอกกลุ่มตัวอย่าง เป็นสัญญาณเตือน ไม่ใช่ผลลัพธ์ที่เชื่อถือได้