robots.txt
Arquivo de texto que um site coloca no ar para dizer aos robôs da internet (os rastreadores) quais páginas eles podem ou não visitar.
O robots.txt é uma plaquinha na porta do site. É um arquivo de texto simples, que fica num endereço padrão (por exemplo, foiaia.com.br/robots.txt), com recados para os robôs que percorrem a internet: “pode entrar aqui”, “nesta sala, não”.
Esses robôs se chamam rastreadores (crawlers). São programas que visitam páginas automaticamente, seguindo links de uma para outra. O mais famoso é o do Google, que rastreia a web para montar os resultados de busca. Mas há muitos outros. Segundo a Cloudflare, existem os chamados rastreadores de IA, que usam o conteúdo coletado para treinar modelos de linguagem ou para ajudar a montar as respostas desses modelos.
Para que serve, na vida real? Segundo a documentação do Google, principalmente para evitar que o site seja sobrecarregado de visitas automáticas e para orientar o que pode ser rastreado. As regras ficaram registradas como padrão da internet num documento técnico chamado RFC 9309, de 2022, que formalizou um protocolo criado lá em 1994.
Agora, o detalhe mais importante, e que muita gente não sabe: o robots.txt é um pedido, não uma tranca. O próprio Google avisa que as instruções não conseguem impor nada; cabe a cada rastreador obedecer ou não. Os robôs bem-comportados respeitam. Os mal-intencionados, nem sempre. A RFC 9309 diz com todas as letras que essas regras não são uma forma de autorização de acesso.
Ou seja: é como a placa “favor não pisar na grama”. Quem é educado respeita; para quem não é, só cerca resolve. Para proteger de verdade um conteúdo, o Google recomenda outros métodos, como senha. A Cloudflare faz o mesmo alerta sobre os rastreadores de IA: alguns continuam ignorando o arquivo. E a placa também não impede a raspagem de dados feita por quem decide ignorá-la.