Backtest, tối ưu hóa và điều kiện chuyển giai đoạn

Cách tạo kết quả với chi phí giao dịch mô phỏng, cách chọn tham số trên dữ liệu ngoài mẫu và cách một chiến lược đủ điều kiện được đưa vào vận hành.

Phí và chi phí sàn thực tế

Kiểm thử lịch sử áp dụng phí tạo lập và phí khớp lệnh do từng sàn công bố, khoản thanh toán funding trên hợp đồng tương lai vĩnh cửu, chi phí vay khi bán khống, mức chênh lệch giá và mô hình tác động thị trường cho mỗi lần khớp lệnh. Giá trị vốn được đánh dấu theo giá thị trường qua từng thanh nến, và các vị thế dùng đòn bẩy có thể bị thanh lý khi chạm mức ký quỹ duy trì của sàn. Không có kết quả nào được báo cáo trước khi trừ chi phí.

Quy mô vị thế và đòn bẩy

Chiến lược Forex xác định quy mô vị thế bằng đơn vị tiền tệ cơ sở nguyên, dựa trên vốn chủ sở hữu của tài khoản. Công cụ áp dụng giới hạn đòn bẩy FX đã cấu hình, yêu cầu ký quỹ và chuyển đổi sang đồng tiền định giá. Cỡ lô gốc của nhà môi giới cần một ánh xạ riêng đã được xác thực.

Cách thức tối ưu hóa

Quá trình tối ưu hóa sử dụng toàn bộ dữ liệu lịch sử hiện có của chiến lược. Phần dữ liệu gần đây nhất được dành riêng làm tập giữ lại. Phần còn lại, tức giai đoạn phát triển, được chia thành một chuỗi cửa sổ kiểm định cuốn chiếu: tham số được tìm kiếm trên khoảng huấn luyện của mỗi cửa sổ và đánh giá trên khoảng kiểm tra tiếp theo, để mọi kết quả ngoài mẫu đều dựa trên dữ liệu mà quá trình tìm kiếm chưa từng thấy.

Sau đó, tham số cuối cùng được chọn một lần trên toàn bộ giai đoạn phát triển và kiểm tra đúng một lần trên tập giữ lại. Các thống kê về độ nhạy, độ ổn định và mức ý nghĩa được báo cáo kèm theo; các tiêu chí đề xuất triển khai dựa trên bằng chứng ngoài mẫu và tập giữ lại, không bao giờ dựa trên mức độ khớp trong mẫu.

Tập giữ lại

Tập giữ lại là phần cuối của dữ liệu lịch sử: chiếm ít nhất 20%, kéo dài ít nhất 15 ngày và đủ dài để dự kiến có khoảng 20 giao dịch, tối đa 35% dữ liệu lịch sử. Tập giữ lại chạm mức trần 35% sẽ được gắn nhãn là không đủ lực thống kê. Tập này không bao giờ được dùng để chọn tham số, và các tác nhân chỉ thấy kết quả đến trước thời điểm bắt đầu tập giữ lại, nên quyết định của họ không thể được điều chỉnh theo tập này. Với tư cách chủ sở hữu, bạn có thể xem toàn bộ dữ liệu lịch sử trên trang chiến lược.

Các cửa sổ kiểm định cuốn chiếu lồng nhau

Độ dài cửa sổ kiểm định cuốn chiếu được xác định theo số lượng giao dịch, không chỉ theo thời gian: mỗi cửa sổ kiểm tra được kéo dài đến khi dự kiến có khoảng 20 giao dịch. Các cửa sổ tiến theo từng tháng, hoặc theo quý đối với dữ liệu lịch sử dài, với khoảng nghỉ ngắn giữa huấn luyện và kiểm tra. Trong mỗi khoảng huấn luyện, quá trình tìm kiếm được lồng nhau: dữ liệu lại được chia theo tỷ lệ 70/30 để chọn tham số trên dữ liệu xác thực bên trong. Cần có ít nhất 3 cửa sổ và đủ phạm vi bao phủ ngoài mẫu để đưa ra kết luận; nếu không, kết quả được đánh dấu là chưa thể kết luận do thiếu giao dịch.

Tìm kiếm tham số và khớp lại lần cuối

Tham số được tìm kiếm bằng phương pháp tối ưu hóa Bayes, với khoảng 30 lượt thử cho mỗi tham số có thể điều chỉnh trên mỗi cửa sổ, từ 30 đến 150 lượt. Thay vì chọn lượt thử tốt nhất duy nhất, bộ chọn ưu tiên các tham số có những giá trị lân cận cũng đạt điểm cao, đồng thời tuân thủ các ràng buộc rủi ro của chiến lược. Lần khớp lại cuối cùng áp dụng cùng bộ chọn cho toàn bộ giai đoạn phát triển; sau đó, tập giữ lại kiểm tra đúng các tham số đó. Mỗi lần tối ưu hóa có giới hạn thời gian và có thể chạy các lượt tìm kiếm dài trên hệ thống tính toán từ xa.

Độ nhạy và vùng ổn định

Mỗi tham số dạng số được thay đổi lần lượt 10%, 25% và 50% theo cả hai chiều; các tham số nguyên được thay đổi từng bước một và hai bước. Vùng ổn định cho biết tham số có thể thay đổi đến mức nào trước khi tỷ lệ Sharpe giảm nhiều hơn mức bất định thống kê; nếu tỷ lệ Sharpe giảm mạnh hơn nữa, mức giảm đó được báo cáo là một điểm gãy. Vùng ổn định rộng là bằng chứng đáng khích lệ; điểm gãy là dấu hiệu cảnh báo. Đây là báo cáo, không phải điều kiện xét duyệt.

Độ ổn định tham số

Độ ổn định so sánh mức biến thiên của các tham số đã chọn giữa các cửa sổ với mức biến thiên dự kiến từ lựa chọn ngẫu nhiên. Tham số ít thay đổi được gắn nhãn ổn định; tham số biến động nhiều được gắn nhãn không ổn định. Đây là cảnh báo hiển thị cùng kết quả, không bao giờ tự nó là tiêu chí bắt buộc. Bản chạy lại theo từng cửa sổ với tham số cuối cùng cũng được hiển thị và gắn nhãn một phần trong mẫu, vì các tham số đó được chọn trên chính dữ liệu này.

Mức ý nghĩa và tỷ lệ Sharpe đã hiệu chỉnh để tính đến việc thử nhiều chiến lược

Lợi nhuận ngoài mẫu được kiểm định bằng kiểm định t có tính đến tự tương quan và bằng tỷ lệ Sharpe đã hiệu chỉnh. Tỷ lệ Sharpe đã hiệu chỉnh đánh giá liệu kết quả có vượt mức mà lựa chọn tốt nhất trong nhiều lần thử ngẫu nhiên có thể đạt được hay không, có tính đến số lượt thử hiệu dụng: các biến thể ngoài mẫu đã thực sự được thử, bao gồm mỗi lần điều chỉnh bổ sung sau một đợt đánh giá. Các lượt tìm kiếm nội bộ không bị tính là bất lợi cho chiến lược, vì chúng không bao giờ tiếp cận dữ liệu ngoài mẫu.

Kiểm định chéo tổ hợp và xác suất khớp quá mức với kiểm thử ngược được tính trên dữ liệu huấn luyện làm công cụ chẩn đoán. Các kết quả này hỗ trợ chuyên viên phân tích nhưng không còn tự quyết định việc đề xuất triển khai.

Các cửa sổ lợi nhuận và độ bao phủ

Chiến lược chậm có thể giao dịch quá ít để lấp đầy các cửa sổ được xác định theo số lượng giao dịch. Khi đó, chiến lược được đánh giá bằng cửa sổ thời gian dựa trên lợi nhuận theo kỳ, với các phép kiểm định có tính đến tự tương quan. Phép kiểm định độ bao phủ chạy quy tắc không đổi trên 5 thị trường liên quan trở lên: kết quả nhất quán giữa các thị trường có thể chuyển kết quả chưa thể kết luận thành đạt, còn kết quả không đạt ở nơi khác có thể biến kết quả đạt thành cảnh báo.

Kết quả có độ tin cậy thấp

Khi bằng chứng chưa đủ mạnh để đưa ra kết luận nhưng không có tiêu chí nào thất bại hoàn toàn, và chuyên viên phân tích vẫn đề xuất triển khai, chiến lược có thể vào giao dịch thử nghiệm với nhãn độ tin cậy thấp, chưa được chứng minh bằng thống kê. Nhãn này hiển thị trên trang chiến lược, trang giao dịch thử nghiệm và trong thông báo. Chiến lược có độ tin cậy thấp chưa sẵn sàng giao dịch thực cho đến khi hồ sơ giao dịch thử nghiệm của chính nó đạt ý nghĩa thống kê.

Các ngưỡng xét duyệt

Các mức tối thiểu để đề xuất triển khai được thực thi bằng mã theo tệp tiêu chí đã công bố. Không thể miễn trừ các tiêu chí cứng: đủ dữ liệu lịch sử, có lợi nhuận trong hầu hết các năm dương lịch có mức độ phơi nhiễm thị trường, lợi nhuận trung bình mỗi giao dịch đủ bù chi phí khứ hồi, không sử dụng ký quỹ quá mức, có kết quả ngoài mẫu và tập giữ lại, không bị bác bỏ về mặt thống kê, mức sụt giảm nằm trong giới hạn đã đăng ký, và số liệu kế toán đầy đủ, nhất quán.

Tiêu chí mềm và miễn trừ

Các tiêu chí mềm bao gồm mức sụt giảm so với giới hạn riêng của chiến lược, tỷ lệ Calmar, hệ số lợi nhuận, tỷ lệ thắng cùng mức lãi/lỗ, thời gian nắm giữ, so sánh tập giữ lại với kết quả kiểm định cuốn chiếu, tỷ lệ Sharpe đã hiệu chỉnh, mức độ tập trung lợi nhuận vào một năm duy nhất, chi phí tác động thị trường và khoản lỗ trong các giai đoạn biến động cao. Chuyên viên phân tích chỉ có thể miễn trừ một tiêu chí mềm khi ghi rõ lý do và nêu tên chỉ số; miễn trừ được lưu cùng lượt chạy, Cán bộ Quản lý Rủi ro có thể bác bỏ, và Quản lý Danh mục sẽ kiểm tra lại.

Đọc kết quả kiểm thử ngược một cách khách quan

So sánh đường cong vốn với mức sụt giảm, kiểm tra số giao dịch làm cơ sở cho kết quả và đối chiếu lợi nhuận trung bình mỗi giao dịch với chi phí giao dịch khứ hồi. Lợi nhuận cao đến từ chỉ một vài giao dịch, hoặc tỷ lệ Sharpe biến mất ngoài mẫu, là dấu hiệu cảnh báo chứ không phải kết quả đáng tin.