Resultados in-sample não são evidência: o que aprendemos ao aposentar nosso próprio modelo de IA

Um modelo que já viu os dados pelos quais está sendo avaliado parecerá brilhante. Isso não é uma descoberta sobre mercados: é uma descrição de memória. Os únicos números que valem algo vêm de dados que o modelo nunca viu durante o ajuste.

Se os parâmetros de uma estratégia — ou os pesos de um modelo — foram escolhidos usando um período, os resultados medidos nesse mesmo período estão contaminados por construção. Aquele ajuste foi escolhido justamente por pontuar bem ali. Apresentá-lo como desempenho é raciocínio circular vestido de gráfico.

Não é um problema exclusivo de IA. Rodar o otimizador do Testador sobre um período e publicar o melhor resultado é o mesmo erro com vocabulário menor. Quanto mais parâmetros e combinações testadas, mais certo é que o vencedor está ajustado ao ruído.

Em que período os parâmetros foram escolhidos e de que período vem o número publicado? Se forem o mesmo, o número nada diz sobre o futuro. Se o vendedor não souber responder, considere que são o mesmo.

O modelo ONNX do Gold Neuron versão 2.x foi treinado com dados de janeiro de 2020 a julho de 2026. Seu backtest dentro dessa janela era um ajuste in-sample e nunca foi obtido em operação real. Nos anos fora da amostra, de 2016 a 2019, o modelo deu prejuízo em nossos testes e a conta forward mostrou expectativa negativa. Por isso substituímos o motor na versão 3.10. Mantivemos o backtest antigo publicado, rotulado como in-sample, em vez de apagá-lo em silêncio.

Uma curva in-sample impressionante não é evidência fraca: não é evidência. O passo honesto não era defender o modelo, e sim aposentá-lo e dizer na descrição qual janela o treinou.