Raspagem de dados

Raspagem de dados (em inglês, web scraping) é quando um programa entra em sites e copia informações de forma automática, em vez de alguém fazer isso à mão, página por página. É como trocar a pessoa que anota preços no caderninho do supermercado por um robô que passa por milhares de prateleiras sem cansar.

Como funciona? Segundo a Cloudflare, o programa pede a página ao site, procura no código dela o padrão de informação que interessa (um preço, um nome, um telefone) e guarda o que achou no formato que quiser.

Parente próximo é o rastreador (crawler). Mecanismos de busca como o Google usam rastreadores para visitar páginas e montar seus índices; o do Google se chama Googlebot. A diferença, como a Cloudflare explica, é de propósito e de modos: o rastreador de busca costuma se identificar e respeitar o robots.txt, aquele aviso que diz onde o robô pode entrar. Já um raspador costuma mirar dados específicos de um site e nem sempre obedece ao aviso.

A raspagem pode servir a usos bem diferentes: comparar preços entre lojas, copiar avaliações de um site para outro, recolher e-mails e telefones para mandar spam ou aplicar golpes. E há os rastreadores de IA, que, segundo a Cloudflare, coletam conteúdo da web para treinar modelos de linguagem ou alimentar as respostas deles, ou seja, para formar dados de treinamento.

É aí que a conversa esquenta. Copiar conteúdo em massa esbarra em perguntas sobre direitos autorais e, quando envolve informações de pessoas, sobre a LGPD. “Estava visível na internet” não quer dizer “está liberado para qualquer uso”.