Backtesting, otimização e critérios de validação

Como são produzidos os resultados com custos modelados, como são escolhidos os parâmetros fora da amostra e como uma estratégia se qualifica para promoção.

Taxas e custos reais das exchanges

Os backtests aplicam as comissões publicadas por cada plataforma para ordens maker e taker, os pagamentos de financiamento dos contratos perpétuos de futuros, os custos de empréstimo nas posições curtas, um spread e um modelo de impacto no mercado em cada execução. O capital próprio é avaliado ao preço de mercado em cada barra, e as posições alavancadas podem ser liquidadas ao nível da margem de manutenção da plataforma. Não são apresentados resultados brutos de custos.

Dimensionamento de posições e alavancagem

As estratégias Forex dimensionam posições em unidades inteiras da moeda base, em relação ao capital próprio da conta. O motor aplica o limite de alavancagem FX configurado, os requisitos de margem e a conversão para a moeda de cotação. Os tamanhos de lote nativos da corretora requerem um mapeamento validado separado.

Como funciona a otimização

A otimização utiliza todo o histórico disponível da estratégia. A parte mais recente é reservada para validação final. O restante período, destinado ao desenvolvimento, é dividido numa sequência de janelas walk-forward: os parâmetros são pesquisados no período de treino de cada janela e avaliados no período de teste seguinte, para que cada resultado fora da amostra provenha de dados que a pesquisa nunca utilizou.

Em seguida, os parâmetros finais são escolhidos uma única vez com base em todo o período de desenvolvimento e testados uma única vez no conjunto de validação final. São também apresentadas estatísticas de sensibilidade, estabilidade e significância, e os critérios de promoção avaliam os dados fora da amostra e do conjunto de validação final, nunca o ajuste dentro da amostra.

O conjunto de validação final

O conjunto de validação final corresponde à parte mais recente do histórico: pelo menos 20% do histórico, pelo menos 15 dias e tempo suficiente para prever cerca de 20 operações, até ao limite de 35% do histórico. Um conjunto de validação final que atinja o limite de 35% é identificado como insuficientemente dimensionado. Nunca é utilizado para escolher parâmetros, e os agentes só veem resultados até ao início desse período, pelo que as suas decisões não podem ser ajustadas com base nele. Enquanto titular, pode consultar todo o histórico na página da estratégia.

Janelas walk-forward aninhadas

As janelas walk-forward são dimensionadas em função do número de operações, e não apenas do tempo: cada janela de teste é prolongada até permitir prever cerca de 20 operações. As janelas avançam mensalmente ou, nos históricos longos, trimestralmente, com um intervalo curto entre o treino e o teste. Em cada período de treino, a pesquisa é aninhada: os dados são novamente divididos na proporção de 70/30, para que os parâmetros sejam escolhidos com base nos dados de validação interna. São necessárias pelo menos 3 janelas e cobertura fora da amostra suficiente para obter um resultado conclusivo; caso contrário, o resultado é marcado como inconclusivo por falta de operações.

Pesquisa de parâmetros e ajuste final

Os parâmetros são pesquisados com otimização bayesiana, com cerca de 30 tentativas por parâmetro ajustável e por janela, entre 30 e 150. Em vez de selecionar a melhor tentativa isolada, o método de seleção favorece parâmetros cujos valores próximos também obtenham bons resultados, dentro das restrições de risco da estratégia. O ajuste final aplica o mesmo método de seleção a todo o período de desenvolvimento; em seguida, o conjunto de validação final testa exatamente esses parâmetros. Cada otimização tem um limite de tempo, e as pesquisas longas podem ser executadas em recursos de computação remotos.

Sensibilidade e patamares

Cada parâmetro numérico é alterado em 10%, 25% e 50% em ambos os sentidos, e os parâmetros inteiros em um e dois incrementos. O patamar indica até que ponto um parâmetro pode variar antes de o rácio de Sharpe diminuir mais do que a respetiva incerteza estatística; uma queda mais acentuada é apresentada como um precipício. Um patamar amplo é um indício tranquilizador; um precipício é um sinal de alerta. Este é um relatório, não um critério de aprovação.

Estabilidade dos parâmetros

A estabilidade compara a variação dos parâmetros escolhidos entre janelas com a variação que resultaria de uma escolha aleatória. Os parâmetros que permanecem próximos são classificados como estáveis; os que variam muito são classificados como instáveis. É um aviso apresentado com os resultados e nunca constitui, por si só, um critério. Também é apresentada uma simulação dos parâmetros finais em cada janela, identificada como parcialmente dentro da amostra, porque esses parâmetros foram escolhidos com base nos mesmos dados.

Significância e rácio de Sharpe deflacionado

Os retornos fora da amostra são avaliados com um teste t que tem em conta a autocorrelação e com um rácio de Sharpe deflacionado. Este rácio verifica se o resultado supera o que seria alcançado pela melhor de muitas tentativas aleatórias, considerando o número efetivo de tentativas: as variantes fora da amostra efetivamente testadas, incluindo cada revisão adicional após uma análise. As tentativas internas da pesquisa não são contabilizadas contra a estratégia, pois nunca utilizam dados fora da amostra.

A validação cruzada combinatória e a probabilidade de sobreajuste do backtest são calculadas com os dados de treino como ferramentas de diagnóstico. Informam o analista, mas já não determinam, por si só, a promoção.

Janelas de retorno e abrangência

As estratégias lentas podem negociar com pouca frequência para preencher janelas definidas pelo número de operações. Nesse caso, são avaliadas em janelas temporais com base nos retornos por período, através de testes que têm em conta a autocorrelação. Um teste de abrangência aplica a regra sem alterações a 5 ou mais mercados relacionados: resultados consistentes entre mercados podem transformar um resultado inconclusivo numa aprovação, e uma falha noutro mercado pode transformar uma aprovação num aviso.

Resultados com baixa confiança

Quando os dados não são suficientemente robustos para permitir uma conclusão, mas nada falhou de forma definitiva, e o analista continua a recomendar a promoção, a estratégia pode entrar em negociação simulada com a indicação de baixa confiança e de que não foi comprovada estatisticamente. Essa indicação é apresentada nas páginas da estratégia e da negociação simulada, bem como nas notificações. Uma estratégia com baixa confiança não está pronta para negociação em tempo real até que o seu próprio histórico de negociação simulada apresente significância estatística.

Barreiras de promoção

Os limites para promoção são aplicados no código com base num ficheiro público de critérios. Os critérios obrigatórios não podem ser dispensados: histórico suficiente, rentabilidade na maioria dos anos civis com exposição, retorno médio por operação que cubra o custo de ida e volta, utilização de margem sem excessos, resultados fora da amostra e do conjunto de validação final disponíveis e sem rejeição estatística, drawdown dentro do limite registado e contabilidade completa e coerente.

Critérios flexíveis e dispensas

Os critérios flexíveis abrangem o drawdown face ao limite da própria estratégia, o rácio de Calmar, o fator de lucro, a taxa de operações vencedoras em conjunto com a relação entre ganhos e perdas, o período de manutenção, a comparação do conjunto de validação final com os resultados walk-forward, o rácio de Sharpe deflacionado, a concentração dos lucros num único ano, o custo do impacto no mercado e as perdas em períodos de elevada volatilidade. O analista só pode dispensar um critério flexível mediante uma justificação escrita que identifique a métrica; a dispensa é guardada na execução, pode ser rejeitada pelo Responsável de Risco e é novamente verificada pelo Gestor de Carteira.

Interpretar um backtest com honestidade

Compare a curva de capital com o drawdown, verifique em quantas operações o resultado se baseia, e analise o retorno médio por operação face ao custo de ida e volta (round-trip). Um retorno elevado obtido a partir de um punhado de operações, ou um rácio de Sharpe que desaparece fora da amostra, é um sinal de alerta e não um resultado.