Token
Nos modelos de linguagem, é cada pedacinho de texto (uma palavra, parte de palavra ou sinal) que a IA lê e escreve; em segurança digital, a palavra também nomeia uma credencial de acesso.
Token é uma palavra que aparece muito em conversa sobre IA, e com mais de um sentido. Vamos por partes.
No mundo dos modelos de linguagem, token é o pedacinho de texto com que a máquina trabalha. Antes de “ler” qualquer coisa, um modelo de linguagem corta o texto em unidades menores. Dependendo do sistema, cada token pode ser uma palavra inteira, um pedaço de palavra, um caractere ou uma combinação de palavra com pontuação. Pense em quem monta frases com letrinhas de macarrão de sopa: a IA não trabalha com o texto inteiro de uma vez, mas com as pecinhas.
A resposta também sai assim, um token de cada vez: o modelo calcula qual pecinha deve vir a seguir, acrescenta, e repete o processo até terminar.
Por que você deveria se importar? Porque, segundo a documentação da Microsoft, esses modelos têm um limite de tokens por conversa (somando o que você manda e o que ele responde), e muitos serviços de IA cobram com base na quantidade de tokens usados. Texto longo no prompt significa mais tokens.
No mundo da segurança digital, token tem outro significado: é uma espécie de credencial, um “crachá” digital que um sistema entrega para provar que você (ou um aplicativo) tem permissão de acessar algo. A Microsoft compara os tokens de acesso a chaves que abrem portas específicas de um prédio e alerta que eles são credenciais confidenciais. Parente próximo da chave de API: não se compartilha, não se publica, não se manda no grupo da família.
Na dúvida sobre qual sentido está em jogo, o contexto entrega.