Foto do(a) blog

Notícias e artigos do mundo do Direito: a rotina da Polícia, Ministério Público e Tribunais

Afinal, os algoritmos são preconceituosos ou obedientes?

PUBLICIDADE

Por Paula Oliveira
Atualização:
Paula Oliveira. Foto: Divulgação

Apesar de já serem nossos companheiros de longa data, somente agora os algoritmos têm roubado a cena e dividido opiniões nos mundos acadêmico e executivo. Há quem considere os algoritmos solução eficaz para entender esse mundo complexo. Já outra frente, acredita que eles são os grandes culpados por erros e pela perpetuação de estigmas e preconceitos dos quais queremos nos ver livres.

PUBLICIDADE

Um exemplo recente veio dos Estados Unidos, onde um grupo de pesquisadores de Berkeley estudou predições de custo no setor de saúde. Publicada na Revista Science, a pesquisa mostrou como um algoritmo utilizado por vários provedores de saúde privilegiava pacientes brancos em detrimento dos negros, ao prever quais usuários necessitavam de mais cuidados extras. O sistema cujo nome foi omitido pelos estudiosos, mas foi identificado pelo jornal Washington Post como sendo um software da Optum, que é utilizado - segundo a detentora UnitedHealthcare ¬- para gerenciar mais de 70 milhões de vidas.

Ao analisar quase 50 mil registros médicos de um grande hospital acadêmico, os cientistas observaram que o algoritmo atribuiu níveis de risco mais altos a pessoas brancas em comparação com as pessoas negras igualmente doentes. A proporção de negros que foram selecionados para obter cuidados complementares foi reduzida a mais da metade em função da distorção do software. Os dez sistemas mais usados no segmento de saúde nos EUA apresentam a mesma falha.

O viés resultou da utilização dos históricos médicos para prever o quanto os usuários provavelmente custariam ao sistema de saúde. Por razões socioeconômicas e culturais, pacientes negros costumam incorrer em menores custos com assistência médica do que os brancos com as mesmas enfermidades.

Assim, o algoritmo conferiu, aos brancos, pontuações iguais dos negros consideravelmente mais doentes. Um viés de raça orientando os cuidados de saúde.

Publicidade

Questões como essas estão presentes em diversas empresas. Há alguns meses, a Google, uma das gigantes da tecnologia, teve que se explicar quanto as buscas por determinadas palavras. Ao digitar "lésbicas" na ferramenta, eram evidenciados materiais pornográficos, já no caso da palavra "doctors", quando traduzida para o português, aparecia "médicos", no masculino. Quando a busca era por "nurses" a palavra "enfermeiras", no feminino, era evidenciada. Estigmas sociais e vieses de gênero traduzidos, literalmente, em informação.

A nova geração de algoritmos tem sido denominada de aprendizagem de máquina. Nesse processo, os algoritmos utilizam técnicas estatísticas e matemáticas para analisar grandes volumes de dados, identificar padrões de comportamento e recomendar ações. Com base nessa arquitetura, os computadores já aprenderam a jogar xadrez, na década de 1960.

Atualmente, os algoritmos estão nos sistemas de recomendação de quase todas as redes sociais, do Netflix, na prevenção de fraudes bancárias, na recomendação de tratamentos médicos, entre tantas outras aplicações.

E a tendência é de crescimento. De acordo com o IDC, organizações investiram US$ 12.5 bilhões em sistemas de AI, em 2018. E esse número será multiplicado por 10, em cinco anos.

Cada vez mais, tais algoritmos estarão presentes no nosso cotidiano. Seja no mundo físico ou virtual. Com isso, emergem questões éticas, econômicas e sociais, com as quais a humanidade nunca se deparou. A regulação supranacional parece urgente e premente, mas somente está no começo.

Publicidade

Seja como for, os algoritmos são obedientes e se nutrem dos dados que geramos. Se tais informações estão impregnadas do que somos e se estão repercutindo em comportamentos preconceituosos, os algoritmos simplesmente vão reproduzir o que estão aprendendo conosco.

 

*Paula Oliveira é CEO da GoToData e doutora em psicologia social, com foco em inteligência artificial, pela Universidade de São Paulo (USP).

Comentários

Os comentários são exclusivos para assinantes do Estadão.