De quem é a responsabilidade quando máquinas são injustas na gestão?

De quem é a responsabilidade quando máquinas são injustas na gestão?

REDAÇÃO

31 de maio de 2021 | 11h46

Ianaira Neves, Mestranda em Administração de Empresas pela Fundação Getúlio Vargas (FGV) na linha de pesquisa de Estudos Organizacionais. Professora Assistente do Master in Business and Management (MBM) da FGV EAESP.

Jussara Pereira, Doutora em Administração de Empresas pela Escola de Administração de Empresas de São Paulo da Fundação Getúlio Vargas na linha de pesquisa de Estudos Organizacionais. Professora da FGV (EAESP).

Muito se fala sobre a tecnologia e seus impactos super positivos na competitividade dos negócios. Sim, as tecnologias são maravilhosas! Elas salvam vidas, diminuem burocracias, permitem manter o mínimo de contato e relacionamento humano em tempos de distanciamento social e, sem dúvidas, facilitam a dinâmica das Organizações. Contudo, meu caro, sentimos decepcioná-lo… elas não são neutras!

Com a transformação digital, as ditas “tecnologias inteligentes” – como a inteligência artificial, machine learning, programação e algoritmos – aceleradamente se tornam conhecimentos obrigatórias para um bom gestor. A interação entre ciência de dados e resolução de problemas organizacionais, alavancou a demanda por skills relacionadas à leitura dos dados (Data Literacy) e o domínio de executivos neste campo, tornou-se fundamental para o alcance do sucesso em nossa economia, cada vez mais digital.

Então, começamos explicando que nossa visão não nos impede de sermos entusiastas das inovações do século. O nosso ponto de discussão foca em um aspecto delicado deste campo, que finalmente começa a ganhar notoriedade: a responsabilidade social na utilização dessas tecnologias inteligentes, no que tange o potencial de reprodução e intensificação de desigualdades.

A gigante e veloz onda de algoritmos e inteligências artificiais invadiu os modelos de negócio, extraindo, processando, organizando dados e produzindo insights antes impensáveis [1]. Contudo, esse tsunami, ao chegar nas decisões de gestão, pode devastar mais do que poderíamos imaginar. Reafirmamos a ideia que desvelamos no início deste texto: os algoritmos são ingênuos per si, já sua neutralidade, por outro lado, lhe é arrancada pelos que os constroem, usam e deles se beneficiam.

A cientista de dados Cathy O’Neil [2], em seu livro Algoritmos de Destruição em Massa, nos conta que algoritmos são opiniões embebidas em matemática, sendo assim, as premissas, os modelos mentais e as crenças humanas terminam impregnando o treinamento de dados e reverberam em seus resultados. Então, corroborando com as ideias da Shoshana Zuboff [3], se as techs “nascem” predestinadas a atender a voz de “Quem decide” e “Quem decide quem decide”, faz-se necessário consciência e olhar crítico desses decisores, para além do conhecimento funcional de leitura dos dados.

Reprodução de desigualdades e comportamentos danosos da nossa sociedade como a xenofobia, o machismo, sexismo, racismo e homofobia podem ser levados às decisões das máquinas, sim! Inteligências artificias não avaliam contexto e, portanto, não compreendem decisões e comportamentos inadequados, injustos ou antiéticos. Recentemente, a Amazon, grande potência da gestão de dados e algoritmos, nos apresentou um interessante caso sobre as limitações do aprendizado de máquina.

Em 2018, a Amazon se deparou com um grande dilema: sua inteligência artificial de recrutamento, acelerava suas contratações, porém, penalizava as mulheres [4]. A empresa construiu uma IA focada em revisar os currículos dos candidatos a emprego com o objetivo de automatizar a busca por talentos. Entretanto, a equipe percebeu que seu sistema não estava classificando candidatos de forma neutra em termos de gênero, visto que os modelos haviam sido treinados observando padrões em currículos da empresa nos últimos 10 anos, ou seja, currículos majoritariamente de homens – um reflexo do perfil masculino da indústria tecnológica até aquele momento.

O sistema da bigtech ensinou a si mesmo que os candidatos do sexo masculino eram preferíveis e penalizou currículos que incluíam a palavra “feminino”. A empresa ainda tentou editar a IA, para torná-la neutra a essas características, mas isso não era garantia de outras formas discriminatórias de classificar candidatos surgissem. A máquina estava simplesmente reproduzindo e intensificando a estrutura social, construídas socio-historicamente. Por fim, frente à combinação catastrófica apreendida pela máquina, a empresa optou por desacelerar seu fluxo de produtividade de contratação por compreender que a decisão ética e responsável era “dar um passo atrás” e, portanto, descontinuar o projeto.

Agora, convidamos vocês a se perguntarem:

  • Qual parcela de gestores e profissionais, por exemplo, de RH estão sensibilizados a estes riscos ao contratar serviços de People Analytics?
  • Quantos se perguntam “como foi feito o treinamento das máquinas?”, “se existem e quais seriam as premissas éticas presentes no processamento de dados?”

Tendo refletido sobre tais questionamentos, é possível que cheguemos à conclusão de que ainda não vemos uma preocupação com a qualidade do treinamento de dados no processo organizacional. Poucos profissionais, consciente ou inconscientemente, analisariam se o processo foi feito com o olhar de justiça e saberiam qual o real impacto em seus processos internos. Sendo bem otimistas, uma parcela ínfima destes profissionais estaria sensibilizada a se preocupar com estes riscos. De toda forma, mesmo que uma educação algorítmica apresente-se como uma solução viável e eficaz aos problemas que acabamos de mencionar, enxergamos que também existe uma barreira humana para tal atuação.

Nossa sociedade ainda reverbera uma certa confusão em relação ao que entendemos por responsabilidade. Como resultado, há um ruído sobre o que a sociedade aprende e o que ela encara como ser responsável seja no âmbito público ou privado. Aprendemos sobre, mas entendemos pouco a respeito do que é de fato responsabilidade legal, responsabilidade social. E, principalmente, nos limitamos às consequências da responsabilização na esfera individual, e esquecemos das consequências coletivas da nossa irresponsabilidade. Discutir responsabilidade social empresarial, muitas vezes se torna cafona, pois muitas empresas detêm título e status de, mas não entendem o que de fato significa [5].

Seja no contexto de discussões executivas, educação corporativa, cursos de pós ou graduação, levantamos a necessidade de debatermos quanto o nosso olhar frequentemente atende apenas à demanda ferramental, sem se atentar ou dedicar-se à construção de pensamento crítico. Para atuar com estas novas tecnologias, precisamos que profissionais envolvidos na dinâmica tech das organizações (executivos, cientistas da informação, designers, futuros administradores etc.), pensem criticamente, pautando uma atuação responsável, ética e inclusiva. Neste caminho, ricas pesquisas em gestão [6] evidenciam a urgência de discussões politizadas e transformativas no campo das organizações.

Paulo Freire já nos alertava sobre as lacunas do que denominou por educação bancária: apropriação de conhecimento exclusivamente instrumental e acrítico, sem uma efetiva conscientização sobre o mundo [7]. Gestores necessitam conhecer e utilizar tecnologias digitais e algoritmos para otimizar suas tarefas e decisões, mas é preciso previamente compreender que nossa leitura do mundo social, imbuída de discriminações, desigualdades e hierarquias são facilmente transpostas para o mundo digital. Parafraseando nosso querido Paulo freire, diríamos que “a leitura do mundo precede a leitura da tech”.

Apesar dos inúmeros benefícios que a digitalização vem trazendo, inclusive em termos de educação e compartilhamento de informações, ainda somos falhos ao não nos responsabilizarmos por nossos preconceitos e falaciosas “neutralidades”. Imaginem se as smart cities começassem a compartilhar e desdobrar cadeia de preconceitos como etnocentrismo, xenofobia e racismo. Teríamos uma sociedade infinitamente mais desigual e totalitária, sem espaço para diversidade, múltiplas formas de conhecimento e sem respeitar as riquezas de distintas perspectivas e vivências.

Tal como as máquinas – que são ingênuas, porém, injustamente não são capazes de analisar e ponderar contextos -, não pensar ou não agir frente a essa reflexão, é um ato político e irresponsável organizacionalmente. Determinações sobre vidas sem a mediação humana podem ser extremamente danosas e argumentamos que os gestores são os reais responsáveis pelas decisões dos algoritmos. Seguimos conscientes de que o “não fazer nada” é escolher politicamente também. Contudo, continuamos esperançosas. Ainda dá tempo de virar essa chave, pensemos nisto.

Referências:

[1] SRNICEK, N. Platform capitalism. John Wiley & Sons, 2017.

[2] O’NEIL, C. Weapons of math destruction: How big data increases inequality and threatens democracy. Broadway Books, 2016.

[3] ZUBOFF, S. The Age of Surveillance Capitalism: The Fight for a Human Future at the New Frontier of Power:Barack Obama’s Books of 2019. Profile Books, 2019.

[4] REUTERS. Amazon scraps secret AI recruiting tool that showed bias against women, 2018. Disponível em https://www.reuters.com/article/us-amazon-com-jobs-automation-insight-idUSKCN1MK08G

[5] STEPHENSON, C. (2004). Rebuilding trust: The integral role of leadership in fostering values, honesty and vision. Ivey Business Journal, 68(3), n-a. https://iveybusinessjournal.com/publication/rebuilding-trust-the-integral-role-of-leadership-in-fostering-values-honesty-and-vision/>

[6] TEIXEIRA, J. C.; OLIVEIRA, J. S. de.; DINIZ, A.; MARCONDES, M. M. Inclusão e diversidade na administração: manifesta para o futuro-presente. RAE-Revista de Administração de Empresas, v. 61, n. 3, maio-junho, p.1-11, 2021. http://dx.doi.org/10.1590/S0034-759020210308

[7] FREIRE, P. (2017). A importância do ato de ler em três artigos que se completam: Volume 22 (Vol. 22). Cortez editora.

Comentários

Os comentários são exclusivos para assinantes do Estadão.