Overfitting

Overfitting, ou sobreajuste, é o aluno que decorou as respostas da lista de exercícios em vez de aprender a matéria. Na lista, tira dez. Na prova, com perguntas um pouco diferentes, se enrola.

No aprendizado de máquina, acontece quando um modelo se ajusta demais aos dados de treinamento. Segundo a IBM, isso pode ocorrer quando o modelo treina por tempo demais ou é complexo demais: ele começa a aprender o “ruído”, os detalhes irrelevantes e as coincidências daqueles dados, e perde a capacidade de generalizar, ou seja, de acertar com dados que nunca viu.

Como se descobre? Separando uma parte dos dados para teste. Se o modelo vai muito bem nos dados de treino e mal nos de teste, é sinal de sobreajuste. O oposto também existe, o underfitting: o modelo aprendeu de menos e erra em tudo.

No mundo dos investimentos, o overfitting é o grande vilão do backtest. Quem testa muitas variações de uma estratégia em dados do passado acaba achando alguma que parece genial, às vezes por puro acaso. É como descobrir que “o time ganha sempre que eu uso a camisa amarela”: funcionou nos jogos que você lembrou, mas não tem nada a ver com o próximo. Pesquisadores publicaram no Journal of Computational Finance um método para estimar a probabilidade de um backtest estar sobreajustado.

Nos modelos de IA, o mesmo problema aparece nos testes de desempenho: um modelo treinado com as próprias perguntas do teste pode tirar nota alta sem ser bom de verdade (veja benchmark).