Por que já deveríamos pensar como responderemos aos futuros ataques à Inteligência Artificial?

Por que já deveríamos pensar como responderemos aos futuros ataques à Inteligência Artificial?

Sofia Marshallowitz*

16 de dezembro de 2020 | 09h30

Sofia Marshallowitz. FOTO: ARQUIVO PESSOAL

O aprendizado de máquina (ou machine learning) é um subconjunto de Inteligência Artificial amplamente implantado em muitos ambientes, de chatbots a diagnóstico de doenças, passando por recomendações de filmes, análise de score de crédito e interesse em produtos.

Porém, apesar do entusiasmo pela tecnologia e a discussão sobre melhorias de infraestrutura, a vulnerabilidade ainda permanece. Com pouco esforço, os atacantes podem comprometer a precisão e a disponibilidade dos sistemas de Inteligência Artificial por meio de ataques, abrangentes ou não. Essa modalidade de ataque se chama Adversarial Machine Learning, ou, em português, Aprendizado de Máquina Adversário. Mas, do que se trata? E como a legislação lida ou lidará com seus incidentes?

Ilusão – “Enganar máquinas”, por si só, não é algo necessariamente ruim. Uma técnica extremamente eficaz de treinamento de rede neurais baseia-se no uso de duas redes em um jogo de gato e rato, onde uma rede tenta enganar a outra em um jogo de soma-zero. Uma das redes, a geradora, cria novas instâncias de um objeto e a rede oposta, discriminativa, determina sua autenticidade. Apesar de parecer um tanto abstrato, este método de Generative Adversary Networks é utilizado para criação de pinturas, sinfonias ou, em um nível próximo do cotidiano, envelhecer rostos de uma foto.

Por outro lado, o aprendizado de máquina adversário é uma brecha confusa de segurança. Os ataques são realizados com um estudo do “comportamento” do modelo, mesmo de maneira pouco técnica ou “consciente” do atacante, que se escora em tentativas e erros às cegas.

Uma situação ingênua de Adversarial Machine Learning ocorre no compartilhamento de uma conta de streaming, por exemplo. Alguém acostumado a escutar Synthpop, recebe recomendações de música da mesma classe, mas ao compartilhar a conta com um colega que aprecia Samba, passa a receber sugestões do gênero. Ou então, o spam que engana o filtro ao adicionar ao seu conteúdo palavras consideradas confiáveis.

É possível separar os ataques em duas grandes modalidades: ataques voltados para prejuízo dos dados e ataques contra o próprio modelo. Ao passo que o último envolve uma camada de invasão para modificação do código do modelo, com alteração de pesos, variáveis e demais procedimentos para tratamento dos dados, o primeiro surge de uma forma mais simples, corrompendo dados de entrada ou perturbando-os.

Além da invasão de onde os dados são armazenados e inserção de amostras envenenadas para desregulagem dos cálculos da máquina na fase de treinamento, é possível manipular os dados que serão utilizados pelo modelo para validação da hipótese. E é aí reside uma vulnerabilidade simples de ser manuseada.

Suponha um veículo autônomo, cujo aprendizado foi por reforço, detectando uma placa de pare. Se a imagem for compatível aos feedbacks positivos que recebeu ao longo de seu treinamento, compreenderá seu significado e executará a ação dos freios. Mas, se qualquer ruído for inserido (algum adesivo sobre o escrito, alguma modificação de ângulo ou cor) e a máquina não possuir treinamento para lidar com essa situação adversária, não terá nada que engatilhe sua ação de parada.

E se carros autônomos parecem ainda distantes temporalmente da nossa realidade, como lidar se a perturbação causada for com diagnóstico médico, considerando o crescente uso na área?

Causar estes ataques pode ser mais simples do que parece. Claro que modelos refinados exigem habilidades equivalentes, mas em demais circunstâncias, indivíduos intencionados aprendem, em meio de tentativas e erros, o que a máquina processa -ou não- e como processa. E para isso, não exige-se conhecimento técnico.

Defendendo-se – Ataques envolvendo aprendizado de máquina adversário são de defesa complexa uma vez que construir um modelo teórico do processo de um ataque. Em outras palavras: é difícil arquitetar e treinar para todos os ataques possíveis.

Em geral, as estratégias de defesa não são adaptativas: é possível bloquear um tipo de ataque, mas outra vulnerabilidade pode ficar aberta a um invasor que conhece sobre a defesa que está sendo usada. Alguém que insere conteúdo sensível em um vídeo para plataformas, por exemplo, sabe que o vídeo é analisado em alguns frames e sabe o que pode ou não ser publicado ali. Conhece uma defesa: a restrição de conteúdo. Mas conhece igualmente uma lacuna, como questões de manipulação de pixel ou se alguns ou todos os frames são verificados.

As técnicas mais significativas de defesa consistem no Treinamento Adversário, onde vários casos contraditórios são gerados e enviados para o modelo, de forma a treiná-lo para que não se engane, e na Destilação Defensiva, uma estratégia que tem o intuito de deixar o modelo suavizado nas direções que um adversário normalmente tentará explorar, dificultando a descoberta de ajustes de entrada adversários que levem à categorização incorreta.

O que a lei diz? – Machine Learning, no geral, ainda é pouco coberto pela legislação. A General Data Protection Regulation – GDPR (EU) e a Lei Geral de Proteção de Dados (BR) chegam a prever, por exemplo, questões referentes ao tratamento automatizado de dados pessoais para tomada de decisões. Na prática, até editores de planilhas podem automatizar uma decisão, sem incluir neste procedimento algum tipo de aprendizado de máquina.

Em um ataque bem-sucedido, quem possui responsabilidade sobre as consequências? Somente quem ataca? O desenvolvedor? O database administrator? E qual a culpa de um médico que usou um sistema danificado e passou um diagnóstico errôneo?

São questões que, inicialmente, parecem ser supridas em algum nível por meio de analogia, tomando como exemplo as responsabilidades de um já corriqueiro vazamento de dados, onde o atacante é sancionado penalmente e a empresa incidentada pode responder civilmente. Mas, se a analogia é a operação lógica que estende o dispositivo da lei a casos a ela não previstos, qual paradigma pode basear a propriedade intelectual do resultado de máquina que deveria gerar uma gravura estilo Ukiyo-e de Hokusai e foi afetada por um atacante ao ponto de criar algo invejável para Alphonse Mucha e sua Art Nouveau?

Quando pensamos sobre o estudo da segurança da I.A, geralmente pensamos em problemas estruturais e até mesmo éticos: o carro autônomo deve atropelar uma pessoa mais nova ou mais velha? Um robô irá substituir meu trabalho? Está tudo bem em ter relações com uma máquina?

E esses questionamentos refletem nos ascendentes debates sobre Inteligência Artificial no universo jurídico, e, por consequência, na sua prática e no desenvolvimento de normas. Porém, tópicos de aprendizado adversário de máquina parecem que só serão verdadeiramente analisados quando ataques desta classe tornarem-se tão correntes quanto as invasões de e-mail.

Adversarial Machine Learning nos mostra que mesmo os algoritmos e modelos modernos, mesmo os de aprendizado supervisionado quanto para o de reforço, já podem se comportar de formas que não pretendemos ou que desejamos. Proteger-nos deveria ser o novo trend de segurança. E da legislação. E da tua conta de streaming que tu emprestou para aquele teu amigo com um gosto totalmente adversário ao teu.

*Sofia Marshallowitz, cientista de dados em PG Advogados, pesquisadora do Lawgorithm, bacharel em Direito pela Universidade Presbiteriana Mackenzie. Possivelmente um bot

Tudo o que sabemos sobre:

Artigo

Comentários

Os comentários são exclusivos para assinantes do Estadão.