Viés algorítmico

Viés algorítmico é quando a inteligência artificial passa a favorecer ou prejudicar certos grupos de pessoas de forma injusta, quase sempre sem que ninguém tenha mandado ela fazer isso.

Como acontece? Um sistema de aprendizado de máquina aprende com exemplos do passado, os dados de treinamento. Se esse passado tem desigualdade, o sistema aprende a desigualdade junto. A IBM cita áreas em que isso pode causar estrago: contratação de pessoas, policiamento e análise de crédito.

Um exemplo da própria IBM ajuda a visualizar: uma IA que, ao mostrar imagens de profissões, apresenta só homens como médicos e só mulheres como enfermeiras. Ninguém programou essa regra; ela veio embutida nos dados.

Há outras origens. Às vezes faltam dados de um grupo inteiro, e o sistema simplesmente funciona pior para quem ficou de fora. Às vezes a pergunta foi mal formulada, ou as pessoas que etiquetaram os dados levaram as próprias opiniões para o trabalho. O glossário do governo federal lembra que o viés pode vir dos dados, do desenho do modelo ou de decisões humanas durante o desenvolvimento.

Por que isso importa para quem nunca vai programar nada? Porque esses sistemas podem ajudar a decidir quem recebe um empréstimo ou quem é chamado para uma entrevista. Um erro que se repete em escala vira injustiça em escala.

Não existe solução mágica. O que ajuda: dados mais variados e representativos, testes para ver se o sistema trata grupos diferentes de forma diferente, gente diversa na equipe e, em decisões importantes, uma pessoa revisando o resultado.