Backtest, ottimizzazione e criteri di promozione

Come vengono prodotti i risultati con costi effettivi, come vengono scelti i parametri fuori campione e come una strategia ottiene la promozione.

Commissioni e costi reali degli exchange

I backtest applicano le commissioni maker e taker pubblicate da ogni piattaforma, i pagamenti di funding sui future perpetui, i costi di prestito sulle posizioni short, uno spread e un modello di impatto sul mercato per ogni eseguito. Il capitale viene valutato al mercato barra per barra e le posizioni con leva possono essere liquidate al margine di mantenimento richiesto dalla piattaforma. I risultati non vengono mai presentati al lordo dei costi.

Dimensionamento delle posizioni e leva

Le strategie Forex dimensionano le posizioni in unità intere della valuta base rispetto al capitale dell’account. Il motore applica il limite di leva FX configurato, i requisiti di margine e la conversione nella valuta di quotazione. I lotti nativi del broker richiedono una mappatura convalidata separatamente.

Come funziona l’ottimizzazione

L’ottimizzazione usa tutto lo storico disponibile della strategia. La parte più recente viene messa da parte come set di verifica. Il resto, il periodo di sviluppo, viene suddiviso in una sequenza di finestre walk-forward: i parametri vengono cercati sull’intervallo di addestramento di ciascuna finestra e valutati sull’intervallo di test successivo, così ogni risultato fuori campione deriva da dati che la ricerca non ha mai visto.

I parametri finali vengono quindi scelti una sola volta sull’intero periodo di sviluppo e testati una sola volta sul set di verifica. Insieme vengono riportate statistiche di sensibilità, stabilità e significatività, e i criteri di promozione si basano sulle evidenze fuori campione e sul set di verifica, mai sull’adattamento ai dati in campione.

Il set di verifica

Il set di verifica corrisponde alla parte finale dello storico: almeno il 20% del totale, almeno 15 giorni e una durata sufficiente per prevedere circa 20 operazioni, fino al 35% dello storico. Se raggiunge il limite del 35%, viene etichettato come insufficiente. Non viene mai usato per scegliere i parametri e gli agenti vedono solo i risultati fino all’inizio di questo intervallo, così le loro decisioni non possono essere adattate a esso. Tu, in qualità di proprietario, puoi vedere l’intero storico nella pagina della strategia.

Finestre walk-forward annidate

Le finestre walk-forward vengono dimensionate in base al numero di operazioni, non solo alla durata: ogni finestra di test viene estesa finché non consente di prevedere circa 20 operazioni. Le finestre avanzano mensilmente, o trimestralmente per gli storici lunghi, con un breve intervallo tra addestramento e test. All’interno di ogni intervallo di addestramento, la ricerca è annidata: i dati vengono nuovamente suddivisi al 70/30, così i parametri vengono selezionati sui dati di validazione interni. Per ottenere un risultato conclusivo servono almeno 3 finestre e una copertura fuori campione sufficiente; in caso contrario, il risultato è contrassegnato come inconcludente per insufficienza di operazioni.

Ricerca dei parametri e adattamento finale

I parametri vengono cercati con l’ottimizzazione bayesiana, con circa 30 prove per ogni parametro ottimizzabile e per finestra, da un minimo di 30 a un massimo di 150. Invece di scegliere la singola prova migliore, il selettore privilegia i parametri con buoni risultati anche nei valori vicini, nel rispetto dei vincoli di rischio della strategia. L’adattamento finale applica lo stesso selettore all’intero periodo di sviluppo; il set di verifica testa poi esattamente quei parametri. Ogni ottimizzazione ha un limite di tempo e le ricerche lunghe possono essere eseguite su risorse di calcolo remote.

Sensibilità e plateau

Ogni parametro numerico viene modificato del 10%, 25% e 50% in entrambe le direzioni; i parametri interi vengono inoltre modificati di uno e due incrementi. Il plateau indica di quanto può variare un parametro prima che il rapporto di Sharpe diminuisca più della sua incertezza statistica; un calo più brusco viene segnalato come precipizio. Un plateau ampio è un indizio rassicurante, un precipizio è un avvertimento. Questo è un report, non un filtro decisionale.

Stabilità dei parametri

La stabilità confronta la variazione dei parametri scelti da una finestra all’altra con quella che si avrebbe scegliendoli a caso. I parametri che restano simili vengono etichettati come stabili; quelli che cambiano sensibilmente, come instabili. È un avvertimento mostrato insieme ai risultati, mai un criterio di ammissione autonomo. Viene inoltre mostrata una riproduzione per finestra con i parametri finali, etichettata come parzialmente in campione perché quei parametri sono stati scelti sugli stessi dati.

Significatività e rapporto di Sharpe deflazionato

I rendimenti fuori campione vengono verificati con un test t che tiene conto dell’autocorrelazione e con un rapporto di Sharpe deflazionato. Quest’ultimo valuta se il risultato supera quello che si otterrebbe con il migliore fra molti tentativi casuali, tenendo conto del numero effettivo di prove: le varianti fuori campione effettivamente testate, comprese le revisioni aggiuntive dopo una verifica. Le prove di ricerca interne non vengono conteggiate a sfavore della strategia, perché non accedono mai ai dati fuori campione.

La validazione incrociata combinatoria e la probabilità di sovra-adattamento del backtest vengono calcolate sui dati di addestramento come strumenti diagnostici. Forniscono indicazioni all’analista, ma non determinano più da sole la promozione.

Finestre dei rendimenti e ampiezza

Le strategie lente possono operare troppo di rado per raggiungere il numero di operazioni richiesto dalle finestre basate sulle operazioni. In tal caso, vengono valutate usando finestre temporali di rendimenti periodici e test che tengono conto dell’autocorrelazione. Un test di ampiezza applica la regola invariata a 5 o più mercati correlati: risultati coerenti tra i mercati possono trasformare un esito inconcludente in un superamento, mentre un risultato negativo altrove può trasformare un superamento in un avvertimento.

Risultati a bassa confidenza

Quando le evidenze non bastano per una conclusione, ma non è emerso alcun esito negativo netto e l’analista continua a raccomandare la promozione, la strategia può entrare nel paper trading con l’etichetta «bassa confidenza, non dimostrata statisticamente». L’etichetta compare sulla strategia, nelle pagine del paper trading e nelle notifiche. Una strategia a bassa confidenza non è pronta per il trading live finché i risultati del proprio paper trading non diventano significativi.

Soglie per la promozione

Le soglie di promozione sono applicate nel codice sulla base di un file di criteri pubblicato. I criteri inderogabili non possono essere derogati: storico sufficiente, redditività nella maggior parte degli anni di calendario in cui la strategia è stata esposta al mercato, rendimento medio per operazione sufficiente a coprire il costo di andata e ritorno, nessun uso eccessivo del margine, risultati fuori campione e sul set di verifica presenti e non respinti statisticamente, drawdown entro il limite registrato e contabilità completa e coerente.

Criteri flessibili e deroghe

I criteri flessibili riguardano il drawdown rispetto al limite della strategia, il rapporto di Calmar, il fattore di profitto, il tasso di vincita insieme al rapporto tra vincite e perdite, il periodo di mantenimento, il confronto tra il set di verifica e i risultati walk-forward, il rapporto di Sharpe deflazionato, la concentrazione dei profitti in un singolo anno, il costo dell’impatto sul mercato e le perdite nei periodi di alta volatilità. L’analista può derogare a un criterio flessibile solo fornendo una motivazione scritta che indichi la metrica; la deroga viene registrata nell’esecuzione, il Responsabile del rischio può respingerla e il Gestore di portafoglio la ricontrolla.

Come leggere un backtest con obiettività

Confronta la curva del capitale con il drawdown, verifica su quante operazioni si basa il risultato e valuta il rendimento medio per operazione rispetto al costo di andata e ritorno. Un rendimento elevato ottenuto con poche operazioni o uno Sharpe ratio che scompare out-of-sample è un segnale d’allarme, non un risultato affidabile.