Backtesting, walk-forward ανάλυση, βελτιστοποίηση και έλεγχοι

Πώς παράγονται τα αποτελέσματα με πραγματικά κόστη, πώς επιλέγονται οι παράμετροι εκτός δείγματος και πώς μια στρατηγική κερδίζει την προώθησή της.

Πραγματικές προμήθειες και κόστη χρηματιστηρίων

Τα backtest εφαρμόζουν τις δημοσιευμένες προμήθειες maker και taker κάθε πλατφόρμας, πληρωμές χρηματοδότησης στα διαρκή συμβόλαια, κόστος δανεισμού στις ανοιχτές πωλήσεις, καθώς και μοντέλο spread και επίδρασης στην αγορά για κάθε εκτέλεση. Η αποτίμηση των ιδίων κεφαλαίων γίνεται στην αγοραία αξία σε κάθε μπάρα, ενώ οι μοχλευμένες θέσεις μπορούν να ρευστοποιηθούν όταν φτάσουν στο περιθώριο συντήρησης της πλατφόρμας. Δεν αναφέρονται αποτελέσματα χωρίς να συνυπολογίζεται το κόστος.

Μέγεθος θέσεων και μόχλευση

Οι στρατηγικές Forex υπολογίζουν το μέγεθος θέσης σε ακέραιες μονάδες του βασικού νομίσματος σε σχέση με τα ίδια κεφάλαια του λογαριασμού. Η μηχανή εφαρμόζει το διαμορφωμένο όριο μόχλευσης FX, τις απαιτήσεις περιθωρίου και τη μετατροπή νομίσματος αναφοράς. Τα εγγενή μεγέθη lot του μεσίτη απαιτούν ξεχωριστή επικυρωμένη αντιστοίχιση.

Πώς λειτουργεί η βελτιστοποίηση

Η βελτιστοποίηση χρησιμοποιεί ολόκληρο το διαθέσιμο ιστορικό της στρατηγικής. Το πιο πρόσφατο τμήμα κρατείται ως σύνολο ελέγχου. Το υπόλοιπο, η περίοδος ανάπτυξης, χωρίζεται σε διαδοχικά παράθυρα κυλιόμενης αξιολόγησης: οι παράμετροι αναζητούνται στο εκπαιδευτικό διάστημα κάθε παραθύρου και αξιολογούνται στο διάστημα δοκιμής που ακολουθεί, ώστε κάθε αποτέλεσμα εκτός δείγματος να προκύπτει από δεδομένα που δεν είδε ποτέ η αναζήτηση.

Έπειτα, οι τελικές παράμετροι επιλέγονται μία φορά σε ολόκληρη την περίοδο ανάπτυξης και δοκιμάζονται ακριβώς μία φορά στο σύνολο ελέγχου. Παράλληλα αναφέρονται στατιστικά ευαισθησίας, σταθερότητας και σημαντικότητας, ενώ οι πύλες προώθησης βασίζονται στα στοιχεία εκτός δείγματος και του συνόλου ελέγχου, ποτέ στην προσαρμογή εντός δείγματος.

Το σύνολο ελέγχου

Το σύνολο ελέγχου είναι το τελευταίο τμήμα του ιστορικού: τουλάχιστον 20% του ιστορικού, με διάρκεια τουλάχιστον 15 ημερών και αρκετή ώστε να αναμένονται περίπου 20 συναλλαγές, έως και 35% του ιστορικού. Αν το σύνολο ελέγχου φτάσει το ανώτατο όριο του 35%, επισημαίνεται ως ανεπαρκούς ισχύος. Δεν χρησιμοποιείται ποτέ για την επιλογή παραμέτρων και οι πράκτορες τεχνητής νοημοσύνης βλέπουν αποτελέσματα μόνο έως την αρχή του συνόλου ελέγχου, ώστε οι αποφάσεις τους να μην προσαρμόζονται σε αυτό. Εσείς, ως ιδιοκτήτης, βλέπετε ολόκληρο το ιστορικό στη σελίδα της στρατηγικής.

Ένθετα παράθυρα κυλιόμενης αξιολόγησης

Τα παράθυρα κυλιόμενης αξιολόγησης καθορίζονται με βάση τον αριθμό συναλλαγών και όχι μόνο τον χρόνο: κάθε παράθυρο δοκιμής επιμηκύνεται μέχρι να μπορούν να αναμένονται περίπου 20 συναλλαγές. Τα παράθυρα μετατοπίζονται μηνιαία ή ανά τρίμηνο για ιστορικά μεγάλης διάρκειας, με ένα σύντομο κενό ανάμεσα στην εκπαίδευση και τη δοκιμή. Μέσα σε κάθε εκπαιδευτικό διάστημα, η αναζήτηση είναι ένθετη: χωρίζεται ξανά σε αναλογία 70/30, ώστε οι παράμετροι να επιλέγονται με βάση εσωτερικά δεδομένα επικύρωσης. Για οριστικό συμπέρασμα απαιτούνται τουλάχιστον 3 παράθυρα και επαρκής κάλυψη εκτός δείγματος· διαφορετικά, το αποτέλεσμα χαρακτηρίζεται μη οριστικό λόγω ανεπαρκών συναλλαγών.

Αναζήτηση παραμέτρων και τελική επαναπροσαρμογή

Οι παράμετροι αναζητούνται με Μπεϊζιανή βελτιστοποίηση, με περίπου 30 δοκιμές ανά ρυθμιζόμενη παράμετρο σε κάθε παράθυρο και συνολικά από 30 έως 150 δοκιμές. Αντί για τη μοναδική καλύτερη δοκιμή, ο μηχανισμός επιλογής προτιμά παραμέτρους των οποίων οι γειτονικές τιμές έχουν επίσης καλές επιδόσεις, εντός των περιορισμών κινδύνου της στρατηγικής. Η τελική επαναπροσαρμογή εφαρμόζει τον ίδιο μηχανισμό σε ολόκληρη την περίοδο ανάπτυξης· έπειτα, το σύνολο ελέγχου δοκιμάζει ακριβώς αυτές τις παραμέτρους. Κάθε βελτιστοποίηση έχει χρονικό όριο και οι χρονοβόρες αναζητήσεις μπορούν να εκτελεστούν σε απομακρυσμένους υπολογιστικούς πόρους.

Ευαισθησία και πλατώ

Κάθε αριθμητική παράμετρος μεταβάλλεται κατά 10%, 25% και 50% προς κάθε κατεύθυνση, ενώ οι παράμετροι ακέραιων τιμών κατά ένα και δύο βήματα. Το εύρος σταθερότητας δείχνει πόσο μπορεί να μεταβληθεί μια παράμετρος προτού ο λόγος Sharpe μειωθεί περισσότερο από τη στατιστική του αβεβαιότητα· μια πιο απότομη πτώση αναφέρεται ως απότομη υποχώρηση. Ένα ευρύ εύρος σταθερότητας αποτελεί καθησυχαστική ένδειξη, ενώ μια απότομη υποχώρηση είναι προειδοποίηση. Πρόκειται για αναφορά, όχι για κριτήριο αποκλεισμού.

Σταθερότητα παραμέτρων

Η σταθερότητα συγκρίνει πόσο μεταβάλλονται οι επιλεγμένες παράμετροι από παράθυρο σε παράθυρο με το πόσο θα μεταβάλλονταν αν η επιλογή ήταν τυχαία. Οι παράμετροι που παραμένουν κοντά μεταξύ τους χαρακτηρίζονται σταθερές, ενώ όσες παρουσιάζουν μεγάλες διακυμάνσεις χαρακτηρίζονται ασταθείς. Είναι προειδοποιητική ένδειξη που εμφανίζεται μαζί με τα αποτελέσματα και δεν αποτελεί ποτέ από μόνη της πύλη. Εμφανίζεται επίσης αναπαραγωγή ανά παράθυρο με τις τελικές παραμέτρους, η οποία επισημαίνεται ως εν μέρει εντός δείγματος, επειδή οι παράμετροι επιλέχθηκαν με βάση τα ίδια δεδομένα.

Στατιστική σημαντικότητα και δείκτης Sharpe με διόρθωση για μεροληψία

Οι αποδόσεις εκτός δείγματος ελέγχονται με t-test που λαμβάνει υπόψη την αυτοσυσχέτιση, καθώς και με δείκτη Sharpe με διόρθωση για μεροληψία. Ο δείκτης αυτός εξετάζει αν το αποτέλεσμα ξεπερνά εκείνο που θα πετύχαινε η καλύτερη από πολλές τυχαίες δοκιμές, λαμβάνοντας υπόψη τον αποτελεσματικό αριθμό δοκιμών: τις παραλλαγές εκτός δείγματος που δοκιμάστηκαν στην πράξη, συμπεριλαμβανομένων των πρόσθετων αναθεωρήσεων μετά από κάθε έλεγχο. Οι εσωτερικές δοκιμές αναζήτησης δεν προσμετρώνται εις βάρος της στρατηγικής, επειδή δεν χρησιμοποιούν ποτέ δεδομένα εκτός δείγματος.

Η συνδυαστική διασταυρούμενη επικύρωση και η πιθανότητα υπερπροσαρμογής του backtest υπολογίζονται στα δεδομένα εκπαίδευσης ως διαγνωστικά στοιχεία. Ενημερώνουν τον αναλυτή, αλλά πλέον δεν καθορίζουν από μόνες τους την προώθηση.

Παράθυρα απόδοσης και εύρος αγορών

Οι αργές στρατηγικές μπορεί να πραγματοποιούν συναλλαγές τόσο σπάνια ώστε να μην συμπληρώνουν τα παράθυρα που βασίζονται στον αριθμό συναλλαγών. Σε αυτή την περίπτωση, αξιολογούνται με χρονικά παράθυρα περιοδικών αποδόσεων και ελέγχους που λαμβάνουν υπόψη την αυτοσυσχέτιση. Ένας έλεγχος εύρους εφαρμόζει τον αμετάβλητο κανόνα σε 5 ή περισσότερες συναφείς αγορές: συνεπή αποτελέσματα σε όλες τις αγορές μπορούν να μετατρέψουν ένα μη οριστικό αποτέλεσμα σε επιτυχία, ενώ αποτυχία αλλού μπορεί να μετατρέψει μια επιτυχία σε προειδοποίηση.

Αποτελέσματα χαμηλής βεβαιότητας

Όταν τα στοιχεία δεν επαρκούν για οριστικό συμπέρασμα, αλλά δεν υπήρξε ξεκάθαρη αποτυχία και ο αναλυτής εξακολουθεί να συνιστά την προώθηση, η στρατηγική μπορεί να εισέλθει σε paper trading με την ένδειξη χαμηλής βεβαιότητας και χωρίς στατιστική τεκμηρίωση. Η ένδειξη εμφανίζεται στη σελίδα της στρατηγικής, στις σελίδες paper trading και στις ειδοποιήσεις. Μια στρατηγική χαμηλής βεβαιότητας δεν είναι έτοιμη για ζωντανές συναλλαγές μέχρι τα δικά της αποτελέσματα paper trading να αποκτήσουν στατιστική σημαντικότητα.

Πύλες προαγωγής

Τα κατώτατα όρια προώθησης επιβάλλονται μέσω κώδικα, βάσει δημοσιευμένου αρχείου κριτηρίων. Δεν επιτρέπεται εξαίρεση από τις υποχρεωτικές πύλες: επαρκές ιστορικό, κερδοφορία στα περισσότερα ημερολογιακά έτη με έκθεση στην αγορά, μέση απόδοση ανά συναλλαγή που καλύπτει το κόστος μετ' επιστροφής, απουσία υπερβολικής χρήσης περιθωρίου, διαθέσιμα αποτελέσματα εκτός δείγματος και συνόλου ελέγχου που δεν απορρίφθηκαν στατιστικά, πτώση από την κορυφή εντός του καταχωρισμένου ορίου και πλήρης, συνεπής λογιστική καταγραφή.

Προαιρετικές πύλες και εξαιρέσεις

Οι προαιρετικές πύλες καλύπτουν την πτώση από την κορυφή σε σχέση με το όριο της ίδιας της στρατηγικής, τον δείκτη Calmar, τον συντελεστή κερδών, το ποσοστό επιτυχημένων συναλλαγών μαζί με την αναλογία κέρδους προς ζημία, τη διάρκεια διακράτησης, τη σύγκριση του συνόλου ελέγχου με τα αποτελέσματα κυλιόμενης αξιολόγησης, τον δείκτη Sharpe με διόρθωση για μεροληψία, τη συγκέντρωση κερδών σε ένα μόνο έτος, το κόστος επίδρασης στην αγορά και τις απώλειες σε περιόδους υψηλής μεταβλητότητας. Ο αναλυτής μπορεί να παρακάμψει μια προαιρετική πύλη μόνο με γραπτή αιτιολόγηση που κατονομάζει τη μετρική· η εξαίρεση αποθηκεύεται στην εκτέλεση, ο Υπεύθυνος Κινδύνου μπορεί να την απορρίψει και ο Διαχειριστής Χαρτοφυλακίου την ελέγχει ξανά.

Ειλικρινής ανάγνωση μιας δοκιμής εκ των υστέρων

Συγκρίνετε την καμπύλη κεφαλαίου με τη μέγιστη υποχώρηση, ελέγξτε πόσες συναλλαγές στηρίζουν το αποτέλεσμα και συγκρίνετε τη μέση απόδοση ανά συναλλαγή με το κόστος της συναλλαγής μετ’ επιστροφής. Η υψηλή απόδοση από λίγες συναλλαγές ή ένας δείκτης Sharpe που εξαφανίζεται εκτός δείγματος είναι προειδοποίηση, όχι αποτέλεσμα.