Backtesting, optimisation et critères de validation

Comment les résultats sont produits avec des coûts réels, comment les paramètres sont choisis hors échantillon, et comment une stratégie accède à l'étape supérieure.

Frais et coûts réels des plateformes d’échange

Les backtests appliquent les frais maker et taker publiés par chaque plateforme, les paiements de financement sur les contrats à terme perpétuels, les coûts d’emprunt sur les positions vendeuses, ainsi qu’un modèle de spread et d’impact de marché à chaque exécution. La valeur des fonds propres est actualisée au marché barre après barre, et les positions à effet de levier peuvent être liquidées au niveau de marge de maintenance de la plateforme. Aucun résultat n’est présenté avant déduction des coûts.

Taille des positions et effet de levier

Les stratégies Forex calculent la taille des positions en unités entières de la devise de base, en fonction des fonds propres du compte. Le moteur applique le plafond de levier FX configuré, les exigences de marge et la conversion de la devise de cotation. Les tailles de lot propres au courtier nécessitent une mise en correspondance distincte et validée.

Fonctionnement de l’optimisation

L’optimisation utilise tout l’historique disponible de la stratégie. La période la plus récente est mise de côté comme période de réserve. Le reste, la période de développement, est divisé en une série de fenêtres glissantes : les paramètres sont recherchés sur la période d’entraînement de chaque fenêtre, puis évalués sur la période de test qui suit. Ainsi, chaque résultat hors échantillon repose sur des données que la recherche n’a jamais vues.

Les paramètres finaux sont ensuite sélectionnés une seule fois sur l’ensemble de la période de développement et testés une seule fois sur la période de réserve. Les statistiques de sensibilité, de stabilité et de significativité sont présentées en complément ; les seuils de promotion s’appuient sur les données hors échantillon et de réserve, jamais sur l’ajustement in-sample.

La période de réserve

La période de réserve correspond à la dernière partie de l’historique : au moins 20 % de celui-ci, au moins 15 jours et une durée suffisante pour anticiper environ 20 transactions, dans la limite de 35 % de l’historique. Une période de réserve qui atteint le plafond de 35 % est signalée comme insuffisamment puissante. Elle n’est jamais utilisée pour choisir les paramètres, et les agents ne voient les résultats que jusqu’à son début ; leurs décisions ne peuvent donc pas être ajustées en fonction de cette période. En tant que propriétaire, vous pouvez consulter l’historique complet sur la page de la stratégie.

Fenêtres imbriquées de validation glissante

La taille des fenêtres de validation glissante dépend du nombre de transactions, et pas seulement de la durée : chaque fenêtre de test est prolongée jusqu’à ce qu’elle puisse compter environ 20 transactions. Les fenêtres avancent par mois, ou par trimestre pour les historiques longs, avec un court intervalle entre l’entraînement et le test. À l’intérieur de chaque période d’entraînement, la recherche est imbriquée : la période est à nouveau divisée selon une proportion de 70/30 afin de choisir les paramètres à partir des données de validation internes. Il faut au moins 3 fenêtres et une couverture hors échantillon suffisante pour obtenir un résultat concluant ; sinon, le résultat est déclaré non concluant faute de transactions.

Recherche de paramètres et ajustement final

Les paramètres sont recherchés par optimisation bayésienne, à raison d’environ 30 essais par paramètre ajustable et par fenêtre, entre 30 et 150. Au lieu de retenir le meilleur essai isolé, le sélecteur privilégie les paramètres dont les valeurs voisines obtiennent également de bons résultats, dans le respect des contraintes de risque de la stratégie. L’ajustement final applique le même sélecteur à l’ensemble de la période de développement ; la période de réserve teste ensuite exactement ces paramètres. Chaque optimisation dispose d’un budget de temps, et les recherches longues peuvent être exécutées sur des ressources de calcul distantes.

Sensibilité et plateaux

Chaque paramètre numérique est modifié de 10 %, 25 % et 50 % dans les deux sens, et les paramètres entiers par paliers simples et doubles. Le plateau indique jusqu’où un paramètre peut varier avant que le ratio de Sharpe ne baisse davantage que son incertitude statistique ; une baisse plus marquée est signalée comme une rupture. Un plateau large est un signe rassurant, une rupture est un avertissement. Il s’agit d’un rapport, pas d’un critère de validation.

Stabilité des paramètres

La stabilité compare la variation des paramètres retenus d’une fenêtre à l’autre à celle qu’entraînerait un choix aléatoire. Les paramètres qui restent proches sont qualifiés de stables ; ceux qui varient fortement sont qualifiés d’instables. C’est un avertissement présenté avec les résultats, qui ne constitue jamais à lui seul un seuil. Une simulation par fenêtre des paramètres finaux est également présentée ; elle est signalée comme partiellement in-sample, car ces paramètres ont été choisis à partir des mêmes données.

Significativité et ratio de Sharpe déflaté

Les rendements hors échantillon sont évalués au moyen d’un test t qui tient compte de l’autocorrélation et d’un ratio de Sharpe déflaté. Ce dernier vérifie si le résultat dépasse celui qu’aurait obtenu le meilleur d’un grand nombre d’essais aléatoires, en tenant compte du nombre effectif d’essais : les variantes hors échantillon effectivement testées, y compris chaque révision supplémentaire après un examen. Les essais de recherche internes ne sont pas imputés à la stratégie, car ils ne voient jamais les données hors échantillon.

La validation croisée combinatoire et la probabilité de surajustement du backtest sont calculées sur les données d’entraînement à titre de diagnostics. Elles éclairent l’analyste, mais ne déterminent plus à elles seules la promotion.

Fenêtres de rendement et diversité

Les stratégies lentes peuvent effectuer trop peu de transactions pour remplir les fenêtres définies par le nombre de transactions. Elles sont alors évaluées sur des fenêtres temporelles de rendements périodiques, au moyen de tests qui tiennent compte de l’autocorrélation. Un test de diversité applique la règle inchangée à au moins 5 marchés apparentés : des résultats cohérents entre les marchés peuvent faire passer un résultat non concluant à la catégorie « réussi », et un échec sur un autre marché peut transformer une réussite en avertissement.

Résultats à faible niveau de confiance

Lorsque les données ne suffisent pas à conclure, mais qu’aucun échec net n’a été constaté, et que l’analyste recommande tout de même une promotion, la stratégie peut entrer en paper trading avec la mention « faible niveau de confiance, non validée statistiquement ». Cette mention apparaît sur les pages de la stratégie et du paper trading ainsi que dans les notifications. Une stratégie à faible niveau de confiance n’est pas prête pour le trading réel tant que son propre historique de paper trading n’est pas devenu significatif.

Critères de promotion

Les seuils de promotion sont appliqués par le code à partir d’un fichier de critères publié. Les critères impératifs ne peuvent faire l’objet d’aucune dérogation : historique suffisant, rentabilité sur la plupart des années civiles avec exposition, rendement moyen par transaction couvrant le coût d’un aller-retour, absence d’utilisation excessive de la marge, résultats hors échantillon et de réserve disponibles et non rejetés statistiquement, baisse maximale limitée au seuil enregistré, et comptabilité complète et cohérente.

Seuils indicatifs et dérogations

Les seuils indicatifs portent sur la baisse maximale par rapport à la limite propre à la stratégie, le ratio de Calmar, le facteur de profit, le taux de réussite associé au rapport gains/pertes, la durée de détention, la comparaison des résultats de la période de réserve avec ceux de la validation glissante, le ratio de Sharpe déflaté, la concentration des profits sur une seule année, le coût de l’impact de marché et les pertes pendant les périodes de forte volatilité. L’analyste ne peut déroger à un seuil indicatif qu’en fournissant une justification écrite qui précise l’indicateur concerné ; la dérogation est consignée pour l’exécution, le responsable des risques peut la rejeter et le responsable de portefeuille la vérifie à nouveau.

Interpréter un backtest avec discernement

Comparez la courbe des fonds propres au recul, vérifiez le nombre de transactions sur lequel repose le résultat et comparez le rendement moyen par transaction au coût aller-retour. Un rendement élevé obtenu sur une poignée de transactions, ou un ratio de Sharpe qui disparaît hors échantillon, doit être considéré comme un avertissement plutôt que comme un résultat.