בקטסטינג, אופטימיזציה ותנאי קידום

איך מפיקים תוצאות עם עלויות בפועל, איך בוחרים פרמטרים מחוץ למדגם, ואיך אסטרטגיה עומדת בתנאים לקידום.

עמלות ועלויות אמיתיות בבורסות

בדיקות הביצועים מחילות את עמלות ה־maker וה־taker שפרסמה כל זירת מסחר, כוללות תשלומי מימון בחוזים עתידיים תמידיים, עלויות השאלה בפוזיציות שורט, וכן מודל מרווח קנייה-מכירה והשפעת שוק בכל ביצוע. ההון מסומן לפי שווי שוק בכל נר, ופוזיציות ממונפות עשויות להיסגר בכפייה כשהן מגיעות לרמת הביטחונות לתחזוקה של זירת המסחר. אין דיווח על תוצאות ברוטו, ללא ניכוי עלויות.

גודל פוזיציה ומינוף

אסטרטגיות Forex קובעות את גודל הפוזיציה ביחידות שלמות של מטבע הבסיס ביחס להון החשבון. המנוע מחיל את תקרת מינוף ה-FX שהוגדרה, את דרישות המרווח ואת ההמרה למטבע הציטוט. גדלי לוט המקוריים של הברוקר מחייבים מיפוי נפרד שעבר אימות.

איך פועלת האופטימיזציה

האופטימיזציה משתמשת בכל ההיסטוריה הזמינה של האסטרטגיה. החלק העדכני ביותר נשמר כנתוני בדיקה. יתרת הנתונים, תקופת הפיתוח, מחולקת לרצף של חלונות בדיקה מתגלגלת: הפרמטרים נבחרים באמצעות חיפוש על פני תקופת האימון בכל חלון, ונבחנים על תקופת הבדיקה שאחריה, כך שכל תוצאה מחוץ למדגם מבוססת על נתונים שהחיפוש לא ראה.

לאחר מכן, הפרמטרים הסופיים נבחרים פעם אחת על פני כל תקופת הפיתוח ונבדקים פעם אחת בדיוק בקבוצת ההחזקה. נתוני רגישות, יציבות ומובהקות מוצגים לצד התוצאות, ותנאי הסף לקידום מסתמכים על נתונים מחוץ למדגם ובקבוצת ההחזקה, לעולם לא על ההתאמה למדגם.

נתוני הבדיקה

נתוני הבדיקה הסופיים הם החלק האחרון של ההיסטוריה: לפחות 20% ממנה, לפחות 15 ימים, ותקופה ארוכה מספיק כדי לצפות לכ־20 עסקאות, עד 35% מההיסטוריה. נתוני בדיקה סופיים שמגיעים לתקרת 35% מסומנים כבעלי עוצמה סטטיסטית לא מספקת. לעולם לא משתמשים בהם לבחירת פרמטרים, והסוכנים רואים תוצאות רק עד לתחילתם, כך שההחלטות שלהם אינן יכולות להיות מותאמות אליהם. כבעלים, יש לך גישה להיסטוריה המלאה בדף האסטרטגיה.

חלונות בדיקה מתגלגלת מקוננים

חלונות ווק-פורוורד נקבעים לפי מספר העסקאות, ולא לפי זמן בלבד: מאריכים כל חלון בדיקה עד שאפשר לצפות לכ־20 עסקאות. החלונות מתקדמים מדי חודש, או מדי רבעון בהיסטוריות ארוכות, עם פער קצר בין האימון לבדיקה. בתוך כל מקטע אימון, החיפוש מקונן: המקטע מפוצל שוב ביחס של 70/30, כך שהפרמטרים נבחרים על סמך נתוני אימות פנימיים. נדרשים לפחות 3 חלונות וכיסוי מספק מחוץ למדגם כדי להגיע לתוצאה חד־משמעית; אחרת התוצאה מסומנת כלא חד־משמעית בשל מיעוט עסקאות.

חיפוש פרמטרים והתאמה סופית מחדש

הפרמטרים נחפשים באמצעות אופטימיזציה בייסיאנית, עם כ־30 ניסיונות לכל פרמטר שניתן לכוונון בכל חלון, ובין 30 ל־150 ניסיונות בסך הכול. במקום לבחור בניסיון היחיד הטוב ביותר, מנגנון הבחירה מעדיף פרמטרים שגם הערכים הסמוכים להם משיגים תוצאות טובות, בכפוף לאילוצי הסיכון של האסטרטגיה. בכיול הסופי מחדש, אותו מנגנון בחירה מוחל על כל תקופת הפיתוח; לאחר מכן נתוני הבדיקה הסופיים בודקים בדיוק את אותם פרמטרים. לכל אופטימיזציה מוקצב זמן, וניתן להריץ חיפושים ממושכים על משאבי מחשוב מרוחק.

רגישות ואזורים יציבים

כל פרמטר מספרי מוזז ב־10%, 25% ו־50% לשני הכיוונים, ופרמטרים של מספרים שלמים מוזזים בצעד אחד ובשני צעדים. המישור הוא הטווח שבו ניתן להזיז פרמטר לפני שיחס שארפ יורד ביותר מאי־הוודאות הסטטיסטית שלו; ירידה חדה יותר מדווחת כצוק. מישור רחב הוא ראיה מעודדת, וצוק הוא סימן אזהרה. זהו דוח, לא תנאי סף.

יציבות הפרמטרים

היציבות משווה את מידת השונות של הפרמטרים שנבחרו מחלון לחלון למידת השונות של בחירה אקראית. פרמטרים שנשארים קרובים זה לזה מסומנים כיציבים; פרמטרים שמשתנים מאוד מסומנים כלא יציבים. מדובר באזהרה שמוצגת לצד התוצאות, והיא לעולם אינה תנאי סף בפני עצמה. מוצגת גם הרצה מחדש של הפרמטרים הסופיים בכל חלון, והיא מסומנת כחלקית בתוך המדגם, משום שהפרמטרים נבחרו על סמך אותם נתונים.

מובהקות ויחס שארפ המתוקנן (Deflated Sharpe Ratio)

התשואות מחוץ למדגם נבחנות באמצעות מבחן t שמביא בחשבון מתאם סדרתי, וכן באמצעות יחס שארפ המופחת (Deflated Sharpe Ratio). יחס שארפ המופחת בוחן אם התוצאה עולה על מה שהניסיון האקראי הטוב ביותר מבין ניסיונות רבים היה מניב, תוך שקלול מספר הניסויים האפקטיבי: החלופות שנוסו בפועל מחוץ למדגם, כולל כל עדכון נוסף לאחר בדיקה. ניסיונות חיפוש פנימיים אינם נספרים לחובת האסטרטגיה, משום שהם אינם נחשפים לנתונים מחוץ למדגם.

אימות צולב קומבינטורי וההסתברות להתאמת יתר בבדיקת ביצועים מחושבים על נתוני האימון כאמצעי אבחון. הם מספקים מידע לאנליסט, אך כבר אינם קובעים לבדם אם לקדם את האסטרטגיה.

חלונות תשואה ורוחב שוק

אסטרטגיות איטיות עשויות לסחור לעיתים רחוקות מדי כדי למלא חלונות המבוססים על מספר עסקאות. במקרה כזה הן נבחנות בחלונות זמן של תשואות תקופתיות, באמצעות מבחנים שמביאים בחשבון מתאם סדרתי. מבחן רוחב שוק מריץ את הכלל ללא שינוי על 5 שווקים קשורים או יותר: תוצאות עקביות בין השווקים עשויות להפוך תוצאה לא חד-משמעית למעבר, וכישלון בשוק אחר עשוי להפוך מעבר לאזהרה.

תוצאות ברמת ודאות נמוכה

כאשר הראיות אינן חזקות מספיק כדי להגיע למסקנה חד-משמעית, אך לא נכשל שום תנאי באופן מוחלט, והאנליסט עדיין ממליץ על קידום, אפשר להעביר את האסטרטגיה למסחר בנייר ולסמן אותה כבעלת ודאות נמוכה, ללא הוכחה סטטיסטית. הסימון מוצג בדף האסטרטגיה, בדפי המסחר בנייר ובהתראות. אסטרטגיה בעלת ודאות נמוכה אינה מוכנה למסחר חי עד שהיסטוריית המסחר המדומה שלה תהיה מובהקת.

ספי קידום

תנאי הסף לקידום נאכפים בקוד על סמך קובץ קריטריונים שפורסם. אי אפשר לוותר על תנאי סף קשיחים: היסטוריה מספקת, רווחיות ברוב השנים הקלנדריות שבהן הייתה חשיפה, תשואה ממוצעת לעסקה שמכסה את עלות העסקה הלוך ושוב, היעדר שימוש חריג בביטחונות, תוצאות מחוץ למדגם ותוצאות במדגם ההחזקה שקיימות ואינן נדחות סטטיסטית, דרואודאון בגבולות המגבלה הרשומה, וחשבונאות מלאה ועקבית.

תנאי סף גמישים ופטורים

תנאי סף גמישים מתייחסים לדרואודאון ביחס למגבלה של האסטרטגיה עצמה, ליחס קלמר, לגורם רווח, לשיעור הצלחה בשילוב עם יחס הרווח הממוצע בעסקה מנצחת להפסד הממוצע בעסקה מפסידה, למשך החזקת הפוזיציה, לתוצאות במדגם ההחזקה בהשוואה לתוצאות הבדיקה המתגלגלת, ליחס שארפ המופחת (Deflated Sharpe Ratio), לריכוז הרווח בשנה יחידה, לעלות השפעת השוק ולהפסדים בתקופות של תנודתיות גבוהה. האנליסט רשאי לוותר על תנאי סף גמיש רק עם נימוק כתוב שמציין את המדד; הוויתור נשמר בהרצה, קצין הסיכונים יכול לדחות אותו, ומנהל התיק בודק אותו מחדש.

איך לקרוא בדיקת עבר ביושר

השוו בין עקומת ההון לעקומת הירידה, בדקו על כמה עסקאות נשענת התוצאה, והשוו את התשואה הממוצעת לעסקה לעלות הלוך ושוב. תשואה גבוהה שמבוססת על קומץ עסקאות, או יחס שארפ שנעלם מחוץ למדגם, הם סימן אזהרה ולא תוצאה.