Como um chatbot "sabe" responder

Resumo rápido: um chatbot como o ChatGPT foi treinado para prever a próxima palavra (na verdade, o próximo pedaço de texto). Ele faz isso muito bem, uma vez depois da outra, e o resultado parece uma resposta pensada. Mas “provável” não é sinônimo de “verdadeiro”.

Passo 1: o texto vira pedacinhos (tokens)

Primeiro, o que você digita é cortado em tokens. Segundo a central de ajuda da OpenAI, um token pode ser uma letra, parte de uma palavra, uma palavra inteira ou uma pontuação. Em inglês, a conta aproximada é de 1 token para cada 4 caracteres; em outras línguas a relação muda.

Pra ver na prática, a redação rodou a biblioteca gratuita da OpenAI que faz esse corte:

# [EXECUTADO E TESTADO — Python 3.13.5 + tiktoken 0.14.0, Debian 13, 04/11/2026]
import tiktoken
enc = tiktoken.get_encoding("o200k_base")
for frase in ["Bom dia, tudo bem?", "inconstitucionalissimamente"]:
    ids = enc.encode(frase)
    print(frase, len(ids), [enc.decode([i]) for i in ids])

Saída:

[EXECUTADO E TESTADO — saída real do código acima, 04/11/2026]
Bom dia, tudo bem? 6 ['Bom', ' dia', ',', ' tudo', ' bem', '?']
inconstitucionalissimamente 5 ['in', 'constit', 'ucional', 'issim', 'amente']

Repare: palavras comuns viram um token só; a palavra gigante foi fatiada em cinco, feito salame. O modelo não “lê” letras como você: ele trabalha com esses pedaços.

Passo 2: o treino é um jogo de completar frases

A OpenAI descreve o treino assim: o modelo recebe frases como “Em vez de virar à esquerda, ela virou ___” e precisa adivinhar o que vem depois. No começo, chuta quase ao acaso. Depois de repetir isso com uma quantidade enorme de texto, fica muito bom em prever a continuação mais provável.

Detalhe: segundo a mesma explicação, o modelo não guarda cópias dos textos do treino. O que muda é um conjunto enorme de números internos, chamados parâmetros (ou pesos), que vão sendo ajustados para refletir os padrões encontrados.

Passo 3: a resposta sai um pedaço por vez

Quando você pergunta algo, o chatbot faz o mesmo jogo: prevê o próximo token, junta ao texto, prevê o seguinte, e assim por diante. Como existem várias continuações plausíveis (“virou à direita”, “virou para trás”), entra uma pitada de sorteio. Por isso a mesma pergunta pode ter respostas diferentes. Não é defeito; é a receita da casa.

Passo 4: entenda por que ele inventa

Aqui está o pulo do gato. No artigo de setembro de 2025 sobre alucinação, a OpenAI explica dois motivos:

1. Padrão x fato solto. Ortografia e parênteses seguem padrões, então o modelo acerta. Já um fato isolado e raro, como a data de aniversário de alguém pouco conhecido, não segue padrão nenhum. Aí ele completa com algo que “soa certo”.
2. Chutar compensa na prova. As avaliações mais usadas dão ponto para acerto e zero para “não sei”. Igual prova de múltipla escolha: chutar rende mais que deixar em branco. Resultado: modelos aprendem a chutar com cara de gabarito.

A própria empresa diz que o problema diminuiu nos modelos mais novos, mas continua existindo.

⚠️ Pegadinha

Texto fluente não é prova de nada. Um chatbot escreve com a mesma segurança quando acerta e quando inventa. Nome, número, data, lei, remédio, citação: confira em fonte confiável.

Para levar

• Texto vira tokens; o modelo prevê o próximo, um de cada vez.
• Ele aprendeu padrões, não decorou o treino.
• Padrão bem treinado = acerta muito. Fato raro = pode inventar com cara de certeza.

Na próxima lição: como escrever um pedido (o tal prompt) que aumenta suas chances de receber algo útil.