LGPD: decisões automatizadas e o princípio da não discriminação

LGPD: decisões automatizadas e o princípio da não discriminação

Luiza Sato*

28 de setembro de 2020 | 12h00

Luiza Sato. FOTO: DIVULGAÇÃO

Cada vez mais presente em nossas vidas, as decisões automatizadas possuem limites? E quando forem feitas tratando nossos dados de forma discriminatória?

A decisão automatizada é aquela tomada por meios automatizados, que analisam determinados dados e chegam a conclusões sem qualquer envolvimento humano. São exemplos a decisão de conceder um empréstimo online a um indivíduo com base em seu score (próprio de quem está concedendo o empréstimo ou score de modelos estatísticos já consolidados existentes no mercado) e o resultado de um teste de aptidão de recrutamento que usa algoritmos e critérios pré-programados.

A tomada de decisão automatizada não precisa envolver o perfilamento de indivíduos, embora isso ocorra na grande maioria das vezes. As organizações obtêm dados pessoais sobre indivíduos por meio de uma variedade de fontes, como pesquisas na internet, hábitos de compra, estilo de vida e dados de comportamento coletados de telefones celulares, redes sociais, sistemas de vigilância por vídeo e da “internet das coisas”. As informações são analisadas para classificar as pessoas em diferentes grupos ou setores, usando algoritmos e inteligência artificial (aqui incluído o machine learning). Tal análise identifica ligações entre diferentes comportamentos e características para criar perfis para os indivíduos.

Isso pode ser muito útil para organizações e indivíduos em muitos setores, incluindo saúde, educação, serviços financeiros e marketing, uma vez que a tomada de decisão automatizada pode levar a decisões mais rápidas e consistentes. Entretanto, se tais decisões forem feitas forma irresponsável, existem riscos significativos para os indivíduos e existem disposições sob a Lei Geral de Proteção de Dados (LGPD) elaboradas para fazer frente a tais situações.

O fato de os sistemas de inteligência artificial aprenderem com dados não garante que seus resultados sejam livres de preconceito ou discriminação. Os dados usados para treinar e testar tais sistemas, bem como a maneira como são projetados e usados, são todos fatores que podem levar as pessoas a serem tratadas de forma menos favorável, ou colocadas em situações de desvantagem.

Nesse sentido, um dos princípios da LGPD é o da não discriminação, ou seja, a impossibilidade de realização do tratamento de dados pessoais para fins discriminatórios ilícitos ou abusivos.

Ainda, especificamente com relação à decisão automatizada, o art. 20 da LGPD estabelece o direito de titulares de dados de “solicitar a revisão de decisões tomadas unicamente com base em tratamento automatizado de dados pessoais que afetem seus interesses, incluídas as decisões destinadas a definir o seu perfil pessoal, profissional, de consumo e de crédito ou os aspectos de sua personalidade”.

A grande controvérsia com relação a esse assunto diz respeito a quem será responsável por essa revisão: uma pessoa natural ou uma máquina. O texto original da LGPD previa que a revisão deveria ser feita por uma pessoa natural, critério que foi posteriormente retirado, sob a justificativa de que a revisão das decisões automatizadas ser realizada por seres humanos traria maiores complexidades e custos elevados aos controladores de dados pessoais. O problema que se coloca é que, dificilmente, uma máquina fará uma leitura diferente da anteriormente feita por outra ou pela mesma máquina, sendo que novo resultado após a revisão da decisão automatizada raramente seria alterado.

De qualquer modo, a LGPD ainda traz que o controlador deverá fornecer, sempre que solicitadas, informações claras e adequadas a respeito dos critérios e dos procedimentos utilizados para a decisão automatizada, observados os segredos comercial e industrial, sendo que a ainda vindoura Autoridade Nacional de Proteção de Dados (ANPD) poderá realizar auditoria para verificação de aspectos discriminatórios em tratamento automatizado de dados pessoais.

Para tal atividade de tratamento de dados pessoais, devemos lembrar que todos os outros preceitos da LGPD deverão ser atendidos. De forma bastante genérica, o tratamento deverá ser sempre atrelado a uma finalidade determinada e conduzido sob uma base legal apropriada. Além disso, as organizações precisarão implementar mecanismos para assegurar a integridade e a proteção dos dados em seus sistemas e arquivos, a fim de evitar usos indevidos de dados pessoais e incidentes de segurança da informação.

É bastante recomendado que para essas atividades de tomada de decisões automatizadas usando dados pessoais seja elaborado um relatório de impacto à proteção de dados pessoais, ou seja, documento que contém a descrição dos processos de tratamento de dados pessoais que podem gerar riscos às liberdades civis e aos direitos fundamentais, bem como medidas, salvaguardas e mecanismos de mitigação de risco.

Para ilustrar o presente assunto, podemos tratar de um caso hipotético, sob o qual determinado banco teria desenvolvido sistema de machine learning para calcular o risco de crédito de potenciais clientes e aprovar ou rejeitar pedidos de empréstimo. Para treinar o sistema, o banco teria coletado um grande conjunto de dados contendo uma gama de informações sobre os tomadores anteriores, como profissão, gênero, localização, renda, idade e índice de inadimplência. Teria havido a constatação, em uma auditoria, de que mulheres estariam recebendo pontuações de crédito mais baixas, resultando em menores aprovações de empréstimos a mulheres, em comparação a homens.

Algumas razões que justificariam esse caso seriam a existência de uma base de dados não equilibrada, podendo conter muito mais dados sobre homens do que mulheres, considerando que, historicamente, homens demandaram mais empréstimos; e/ou a existência de uma base de dados contendo discriminações passadas, como a menor concessão de empréstimos a mulheres por ser erroneamente considerado que elas não teriam capacidade de quitá-los.

O banco deverá, nesse caso, rever sua base de dados, a fim de incluir uma maior quantidade de dados sobre empréstimos contraídos por mulheres, ou, se inviável, estudar a separação de modelos para mulheres e para homens. Ainda, o banco poderia modificar eventuais dados discriminatórios que compõem sua base de dados, bem como alterar o processo de aprendizagem das máquinas.

As discussões sobre o risco de discriminação alimentam um amplo debate sobre o impacto ético e social decorrente de decisões automatizadas. Entretanto, é importante enfatizar que os preceitos da LGPD sobre o tema são apenas uma parte da estrutura regulatória brasileira antidiscriminação. É o mínimo esperado das organizações do país que incluam a não discriminação dentre seus valores e consigam demonstrar conformidade com todas as normas existentes a respeito do assunto.

*Luiza Sato, advogada, sócia conselheira do ASBZ Advogados, responsável pela área de Proteção de Dados, Direito Digital e Propriedade Intelectual

Tudo o que sabemos sobre:

ArtigoLei Geral de Proteção de Dados

Comentários

Os comentários são exclusivos para assinantes do Estadão.