Benchmark
Referência usada para comparar desempenho. Em investimentos, é o índice que serve de régua (como CDI ou Ibovespa); em IA, é o teste padronizado que dá nota aos modelos.
Benchmark é a régua. A palavra aparece em dois mundos que este site visita muito, com a mesma ideia: comparar com uma referência.
Nos investimentos, benchmark é o índice de referência usado para saber se uma aplicação foi bem ou mal. A B3 chama a Taxa DI (o CDI da conversa do dia a dia) de principal benchmark do mercado brasileiro; para ações, uma referência comum é o Ibovespa. Segundo o Portal do Investidor da CVM, um fundo pode cobrar taxa de performance quando o rendimento supera um indicador de referência como o CDI ou o Ibovespa.
A SEC, órgão regulador americano, faz dois alertas úteis em qualquer país: compare banana com banana (um fundo de ações não deve ser medido com régua de renda fixa, e vice-versa) e lembre que o índice não paga taxas, enquanto você paga. “Bater o benchmark” antes dos custos é meia vitória.
Na inteligência artificial, benchmark é um teste padronizado: um conjunto de perguntas ou tarefas (matemática, programação, conhecimentos gerais) com um sistema de pontuação, usado para comparar modelos de linguagem. Segundo a IBM, esses testes ajudam a comparar modelos, mas não garantem como eles vão se sair no mundo real. E há o risco de overfitting: um modelo treinado com as mesmas perguntas do teste tira nota alta sem merecer.
Nos dois casos, quando uma empresa anuncia “superamos o benchmark”, vale perguntar: qual régua, quem mediu e em que condições? Se a própria empresa escolheu o teste e aplicou a prova, é como o aluno corrigir a própria redação.