Backtest, otimização e critérios de validação

Como os resultados são produzidos considerando custos reais no modelo, como os parâmetros são escolhidos fora da amostra e como uma estratégia conquista a promoção.

Taxas e custos reais das corretoras

Os backtests aplicam as taxas publicadas de maker e taker de cada plataforma, pagamentos de funding em futuros perpétuos, custos de empréstimo em posições vendidas, um spread e um modelo de impacto de mercado em cada execução. O patrimônio é marcado a mercado a cada candle, e posições alavancadas podem ser liquidadas quando atingem a margem de manutenção da plataforma. Nenhum resultado é apresentado sem descontar os custos.

Dimensionamento de posições e alavancagem

As estratégias de Forex dimensionam posições em unidades inteiras da moeda base, em relação ao patrimônio da conta. O mecanismo aplica o limite de alavancagem de FX configurado, os requisitos de margem e a conversão para a moeda de cotação. Os tamanhos de lote nativos da corretora exigem um mapeamento validado separadamente.

Como funciona a otimização

A otimização usa todo o histórico disponível da estratégia. A parte mais recente é reservada como conjunto de retenção. O restante, o período de desenvolvimento, é dividido em uma sequência de janelas walk-forward: os parâmetros são pesquisados no intervalo de treinamento de cada janela e avaliados no intervalo de teste seguinte, de modo que cada resultado fora da amostra venha de dados que a pesquisa nunca viu.

Em seguida, os parâmetros finais são escolhidos uma única vez com base em todo o período de desenvolvimento e testados uma única vez no conjunto de retenção. Estatísticas de sensibilidade, estabilidade e significância são apresentadas junto com os resultados, e os critérios de promoção consideram as evidências de fora da amostra e do conjunto de retenção, nunca o ajuste dentro da amostra.

O conjunto de retenção

O conjunto de retenção corresponde à parte final do histórico: pelo menos 20% dele, no mínimo 15 dias e tempo suficiente para esperar cerca de 20 negociações, até 35% do histórico. Um conjunto de retenção que atinge o limite de 35% é identificado como tendo poder estatístico insuficiente. Ele nunca é usado para escolher parâmetros, e os agentes só veem os resultados até o início desse conjunto, para que suas decisões não sejam ajustadas a ele. Você, como proprietário, vê o histórico completo na página da estratégia.

Janelas walk-forward aninhadas

As janelas walk-forward são dimensionadas pelo número de negociações, não apenas pelo tempo: cada janela de teste é ampliada até que possa se esperar cerca de 20 negociações. As janelas avançam mensalmente ou trimestralmente em históricos longos, com um breve intervalo entre treinamento e teste. Dentro de cada intervalo de treinamento, a pesquisa é aninhada: ele é dividido novamente em 70/30, para que os parâmetros sejam escolhidos com dados internos de validação. São necessárias pelo menos 3 janelas e cobertura suficiente fora da amostra para chegar a uma conclusão; caso contrário, o resultado é marcado como inconclusivo por falta de negociações.

Pesquisa de parâmetros e ajuste final

Os parâmetros são pesquisados com otimização bayesiana, em cerca de 30 tentativas por parâmetro ajustável por janela, entre 30 e 150. Em vez de selecionar a única melhor tentativa, o seletor favorece parâmetros cujos valores vizinhos também têm bons resultados, respeitando as restrições de risco da estratégia. O ajuste final aplica o mesmo seletor a todo o período de desenvolvimento; em seguida, o conjunto de retenção testa exatamente esses parâmetros. Cada otimização tem um limite de tempo, e pesquisas longas podem ser executadas em computação remota.

Sensibilidade e platôs

Cada parâmetro numérico é alterado em 10%, 25% e 50% nas duas direções, e os parâmetros inteiros, em incrementos de uma e duas unidades. O platô indica quanto um parâmetro pode variar antes que o índice de Sharpe caia mais do que sua incerteza estatística; uma queda mais acentuada é relatada como um precipício. Um platô amplo é um indício tranquilizador; um precipício é um alerta. Este é um relatório, não um critério de aprovação.

Estabilidade dos parâmetros

A estabilidade compara quanto os parâmetros escolhidos variam de uma janela para outra com quanto variariam se fossem escolhidos aleatoriamente. Parâmetros que permanecem próximos são classificados como estáveis; os que oscilam são classificados como instáveis. É um alerta apresentado junto aos resultados, nunca um critério por si só. Também é mostrada uma reprodução por janela dos parâmetros finais, identificada como parcialmente dentro da amostra, pois esses parâmetros foram escolhidos com base nos mesmos dados.

Significância e índice de Sharpe deflacionado

Os retornos fora da amostra são avaliados com um teste t que considera a autocorrelação e com um índice de Sharpe deflacionado. O índice de Sharpe deflacionado pergunta se o resultado supera o que seria alcançado pela melhor entre muitas tentativas aleatórias, levando em conta o número efetivo de tentativas: as variantes fora da amostra realmente testadas, incluindo cada revisão adicional após uma análise. As tentativas internas da pesquisa não são contabilizadas contra a estratégia, pois nunca usam dados de fora da amostra.

A validação cruzada combinatória e a probabilidade de sobreajuste do backtest são calculadas nos dados de treinamento como diagnósticos. Elas ajudam o analista, mas já não determinam por si só a promoção.

Janelas de retorno e abrangência

Estratégias lentas podem negociar com frequência insuficiente para preencher janelas baseadas no número de negociações. Nesse caso, são avaliadas em janelas de tempo com retornos periódicos, usando testes que consideram a autocorrelação. Um teste de abrangência executa a regra inalterada em 5 ou mais mercados relacionados: resultados consistentes entre os mercados podem transformar um resultado inconclusivo em aprovação, e uma falha em outro mercado pode transformar uma aprovação em alerta.

Resultados de baixa confiança

Quando as evidências não são fortes o bastante para chegar a uma conclusão, mas nada falhou de forma definitiva, e o analista ainda recomenda a promoção, a estratégia pode entrar em negociação em conta de simulação identificada como de baixa confiança, sem comprovação estatística. Essa identificação aparece nas páginas da estratégia e da conta de simulação, além das notificações. Uma estratégia de baixa confiança não está pronta para negociação ao vivo até que seu próprio histórico de negociação em conta de simulação tenha significância estatística.

Critérios para promoção

Os pisos de promoção são impostos pelo código a partir de um arquivo público de critérios. Critérios obrigatórios não podem ser dispensados: histórico suficiente, lucratividade na maioria dos anos civis com exposição ao mercado, retorno médio por negociação que cubra o custo de ida e volta, nenhuma utilização excessiva de margem, resultados de fora da amostra e do conjunto de retenção disponíveis e sem rejeição estatística, drawdown dentro do limite registrado e contabilidade completa e consistente.

Critérios flexíveis e dispensas

Os critérios flexíveis abrangem o drawdown em relação ao limite da própria estratégia, o índice de Calmar, o fator de lucro, a taxa de acerto junto com a relação entre ganho e perda, o período de manutenção, o conjunto de retenção comparado aos resultados walk-forward, o índice de Sharpe deflacionado, a concentração do lucro em um único ano, o custo de impacto de mercado e as perdas em períodos de alta volatilidade. O analista só pode dispensar um critério flexível com uma justificativa por escrito que identifique a métrica; a dispensa é registrada na execução, pode ser rejeitada pelo Diretor de Risco e é verificada novamente pelo Gerente de Portfólio.

Como interpretar um backtest com rigor

Compare a curva de patrimônio com o drawdown, confira em quantas operações o resultado se baseia e compare o retorno médio por operação com o custo de ida e volta. Um retorno alto vindo de poucas operações, ou um índice de Sharpe que desaparece fora da amostra, é um alerta, não um resultado.