Backtesting, optimización y criterios de validación
Cómo se generan los resultados con costes reales, cómo se eligen los parámetros fuera de muestra y cómo una estrategia consigue que se la promueva.
Comisiones y costes reales de los exchanges
Las pruebas retrospectivas aplican las comisiones publicadas de creador y tomador de cada mercado, los pagos de financiación de los futuros perpetuos, los costes de préstamo de las posiciones cortas, el diferencial y un modelo de impacto en el mercado en cada ejecución. El capital se valora a mercado barra por barra, y las posiciones apalancadas pueden liquidarse al margen de mantenimiento del mercado. Nunca se informan resultados brutos de costes.
Tamaño de las posiciones y apalancamiento
Las estrategias de Forex calculan el tamaño en unidades enteras de la divisa base en relación con el capital de la cuenta. El motor aplica el límite de apalancamiento de FX configurado, los requisitos de margen y la conversión a la divisa cotizada. Los tamaños de lote propios del bróker requieren una asignación validada por separado.
Cómo funciona la optimización
La optimización usa todo el historial disponible de la estrategia. La parte más reciente se reserva como conjunto de reserva. El resto, el periodo de desarrollo, se divide en una secuencia de ventanas de avance temporal: los parámetros se buscan en el tramo de entrenamiento de cada ventana y se evalúan en el tramo de prueba siguiente, de modo que cada resultado fuera de muestra procede de datos que la búsqueda nunca vio.
Después se eligen los parámetros finales una sola vez con todo el periodo de desarrollo y se prueban exactamente una vez con el conjunto de reserva. También se informan estadísticas de sensibilidad, estabilidad y significación, y los criterios de promoción consultan las pruebas fuera de muestra y de reserva, nunca el ajuste dentro de muestra.
El conjunto de reserva
El conjunto de reserva es la parte final del historial: al menos un 20% del mismo, un mínimo de 15 días y una duración suficiente para prever unas 20 operaciones, hasta un máximo del 35% del historial. Si alcanza el límite del 35%, se etiqueta como insuficiente. Nunca se usa para elegir parámetros, y los agentes solo ven los resultados hasta el inicio del conjunto de reserva, por lo que sus decisiones no pueden ajustarse a él. Tú, como propietario, ves el historial completo en la página de la estrategia.
Ventanas anidadas de avance temporal
Las ventanas de avance temporal se dimensionan según el número de operaciones, no solo según el tiempo: cada ventana de prueba se amplía hasta que permita prever unas 20 operaciones. Las ventanas avanzan mensualmente, o trimestralmente en historiales largos, con una breve separación entre el entrenamiento y la prueba. Dentro de cada tramo de entrenamiento, la búsqueda es anidada: se vuelve a dividir en un 70/30 para elegir los parámetros con datos de validación internos. Se necesitan al menos 3 ventanas y suficiente cobertura fuera de muestra para llegar a un resultado concluyente; de lo contrario, el resultado se marca como no concluyente por falta de operaciones.
Búsqueda de parámetros y ajuste final
Los parámetros se buscan mediante optimización bayesiana, con unas 30 pruebas por parámetro ajustable y por ventana, entre 30 y 150. En lugar de elegir la única prueba con mejor puntuación, el selector favorece los parámetros cuyos valores vecinos también obtienen buenos resultados, dentro de las restricciones de riesgo de la estrategia. El ajuste final aplica el mismo selector a todo el periodo de desarrollo; después, el conjunto de reserva prueba exactamente esos parámetros. Cada optimización tiene un límite de tiempo, y las búsquedas largas pueden ejecutarse en recursos de cómputo remotos.
Sensibilidad y zonas estables
Cada parámetro numérico se modifica un 10 %, un 25 % y un 50 % en ambas direcciones, y los parámetros enteros, en incrementos de uno y dos. La meseta indica cuánto puede variar un parámetro antes de que el ratio de Sharpe caiga más allá de su incertidumbre estadística; una caída más pronunciada se informa como una caída abrupta. Una meseta amplia es una señal tranquilizadora; una caída abrupta, una advertencia. Este es un informe, no un criterio de aprobación.
Estabilidad de parámetros
La estabilidad compara cuánto varían los parámetros elegidos de una ventana a otra con lo que variarían al azar. Los parámetros que se mantienen próximos se etiquetan como estables; los que cambian mucho, como inestables. Es una advertencia que se muestra junto con los resultados y nunca constituye por sí sola un criterio obligatorio. También se muestra una reproducción por ventana de los parámetros finales, etiquetada como parcialmente dentro de muestra porque esos parámetros se eligieron con los mismos datos.
Significación y ratio de Sharpe deflactado
Los rendimientos fuera de muestra se evalúan mediante una prueba t que permite la autocorrelación y mediante un ratio de Sharpe deflactado. Este ratio pregunta si el resultado supera lo que alcanzaría el mejor de muchos intentos aleatorios, teniendo en cuenta el número efectivo de pruebas: las variantes fuera de muestra que realmente se probaron, incluida cada revisión adicional tras una evaluación. Las pruebas de búsqueda internas no cuentan en contra de la estrategia porque nunca ven datos fuera de muestra.
La validación cruzada combinatoria y la probabilidad de sobreajuste de la prueba retrospectiva se calculan sobre los datos de entrenamiento como diagnósticos. Informan al analista, pero ya no determinan por sí solas la promoción.
Ventanas de rendimiento y amplitud
Las estrategias lentas pueden operar con tan poca frecuencia que no alcancen el número de operaciones requerido para las ventanas. En ese caso, se evalúan con ventanas temporales de rendimientos periódicos y pruebas que respetan la autocorrelación. Una prueba de amplitud aplica la regla sin cambios en 5 o más mercados relacionados: la consistencia entre mercados puede convertir un resultado no concluyente en aprobado, y un fallo en otro mercado puede convertir un aprobado en una advertencia.
Resultados de baja confianza
Cuando las pruebas no bastan para llegar a una conclusión, pero no hay ningún fallo directo y el analista sigue recomendando la promoción, la estrategia puede entrar en negociación en papel con la etiqueta de baja confianza, sin demostración estadística. La etiqueta aparece en las páginas de la estrategia y de negociación en papel, y en las notificaciones. Una estrategia de baja confianza no está lista para la negociación en vivo hasta que su propio historial de negociación en papel alcance significación estadística.
Criterios para ascender de etapa
Los umbrales de promoción se aplican mediante código a partir de un archivo de criterios publicado. Los criterios estrictos no se pueden eximir: historial suficiente, rentabilidad en la mayoría de los años naturales con exposición, rendimiento medio por operación que cubra el coste de ida y vuelta, ausencia de uso excesivo del margen, resultados fuera de muestra y de reserva disponibles y no rechazados estadísticamente, drawdown dentro del límite registrado y contabilidad completa y coherente.
Criterios flexibles y exenciones
Los criterios flexibles abarcan el drawdown frente al propio límite de la estrategia, el ratio de Calmar, el factor de beneficio, la tasa de aciertos junto con la relación entre ganancias y pérdidas, el periodo de mantenimiento, la comparación del conjunto de reserva con los resultados de avance temporal, el ratio de Sharpe deflactado, la concentración del beneficio en un solo año, el coste del impacto en el mercado y las pérdidas en periodos de alta volatilidad. El analista solo puede eximir un criterio flexible con una justificación escrita que identifique la métrica; la exención queda registrada en la ejecución, el responsable de riesgos puede rechazarla y el gestor de cartera vuelve a verificarla.
Cómo interpretar una prueba retrospectiva con rigor
Compara la curva de patrimonio con la caída máxima, comprueba cuántas operaciones sustentan el resultado y compara la rentabilidad media por operación con el coste de ida y vuelta. Una rentabilidad alta basada en unas pocas operaciones, o un ratio de Sharpe que desaparece fuera de muestra, es una señal de alerta, no un resultado.