Recentemente, foi noticiado que o MIT desenvolveu a primeira inteligência artificial psicopata já criada. Apelidado de Norman, em referência ao personagem Norman Bates, do filme Psicose, dirigido por Alfred Hitchcock, o robô é, na verdade, um simples sistema capaz de descrever imagens. Porém, o detalhe que o fez ser descrito como um psicopata é que ele foi alimentado com dados enviesados, o que comprovaria que a escolha dos dados influencia o comportamento de um algoritmo de aprendizagem de máquina.

Explicando: quando se elabora um algoritmo de aprendizagem de máquina, seja qual for a função que ele vai exercer, que pode ser reconhecimento de padrões de imagem, de som, tomada de decisão sobre o melhor cenário dentre algumas possíveis escolhas, entre outros, esse algoritmo passa por uma fase de treinamento e outra de teste. Normalmente, a base de dados é dividida entre essas duas finalidades. E aí os desenvolvedores introduzem os dados com os quais a máquina deve aprender para funcionar conforme o esperado. No caso do Norman, os pesquisadores do MIT dizem que o mesmo método pode ver coisas diferentes nas imagens submetidas ao algoritmo, tudo depende do banco de dados utilizado para treinamento da máquina. Exemplo: em uma das imagens submetidas ao Norman, ele deu como resultado que a imagem parecia com um “um homem morto a tiros”, enquanto a outra máquina, como a qual ele foi comparado, disse que a mesma imagem seria “um vaso de flores visto de perto”. Trata-se do mesmo sistema, porém alimentado com dados diferentes.

Antes disso, em meados de 2017, pesquisadores da Universidade de Stanford desenvolveram um algoritmo capaz de diferenciar pessoas homossexuais e heterossexuais através de reconhecimento facial, com uma precisão maior do que os humanos que participaram dos testes. Os desenvolvedores dessa IA tinham a intenção de proteger a comunidade LGBT. Porém, eles mesmos criaram a arma capaz de pô-los em perigo. É claro que grupos em defesa de Direitos Humanos e dos LGBT condenaram o trabalho.

Esses dois exemplos nos levam à discussão sobre a ética no desenvolvimento tecnológico, mais especificamente no desenvolvimento de inteligências artificiais. Sabe-se que a área de Ciência da Computação nunca se aprofundou nas questões éticas que permeiam a produção dessas novas tecnologias. Um bom indicativo disso é que as universidades de ponta nessa área, entre elas Stanford, Harvard e a Universidade do Texas, em Austin, anunciaram este ano que pretendem implementar em seus currículos acadêmicos disciplinas com esse objetivo.

Historicamente, o limite ético delineado pelo Estado para o desenvolvimento tecnológico sempre teve como alvo aquelas invenções que ameaçavam a sobrevivência humana e o meio ambiente. Assim, os governos passaram a limitar, através de acordos bi ou multilaterais, as tecnologias destrutivas, como as armas químicas e biológicas; além disso, o banimento de poluentes orgânicos e a crescente preocupação com a preservação da biodiversidade são exemplos de assuntos que fazem parte das agendas governamentais. Mais raramente, acordos que tinham por objeto a atividade tecnológica que resulta em algum dano moral irreversível também surgiram [1].

Ocorre que, agora, tem-se essa nova categoria de algoritmos de aprendizagem de máquinas que afetam — e muito — a vida humana, muitas vezes infringindo direitos e provocando as mais diversas consequências (negativas) entre as pessoas, com o potencial de causar esse dano moral irreversível. Assim, se pensarmos, por exemplo, sobre o tema da utilização de software preditivo para o estabelecimento de sentenças criminais, que calcula a pena de acordo com critérios sobre os quais o jurisdicionado não tem qualquer controle ou consciência, e, consequentemente, não pode se insurgir contra ele ou contestar sua decisão, a tecnologia passa a ter um potencial devastador. O mesmo acontece quando um carro autônomo desgovernado tem que decidir entre atropelar um grupo de crianças ou matar o passageiro. Algum nível de ética é necessário para que essa decisão seja tomada.

Nesse sentido, o que se entende por ética? E por moral? Sabe-se que a moral se refere ao conjunto de normas, valores, princípios de comportamento e costumes de uma determinada sociedade ou cultura. A ética, por sua vez, estuda os princípios que subjazem a essas normas sociais.

Assim, no debate sobre a ética no desenvolvimento de tecnologias de inteligência artificial, é preciso que haja um questionamento acerca da adequação das referidas tecnologias às regras morais já aceitas pela sociedade. Qualquer coisa que ultrapasse esses limites deve ser posta em um nível de debate profundo sobre o tema, a fim de que a sociedade se posicione sobre ele.

É preciso ter em mente que a tecnologia não é neutra e que as escolhas feitas no seu desenvolvimento têm impactos sociais. Não é porque é possível fazer algo, tecnicamente falando, que se deve fazer. Um grande exemplo é a já citada inteligência artificial que possibilita o reconhecimento facial de homossexuais: ela pode se tornar uma arma caso caia nas mãos de governos ditatoriais, ou que perseguem pessoas que exercitam práticas de relacionamento não-normativas. Especialmente para os algoritmos de inteligência artificial, qualquer que seja a técnica empregada, tidos atualmente como a solução dos problemas sociais, pois têm sido utilizados nas mais diversas atividades, não há qualquer parâmetro sobre transparência a ser seguido. Isso dá margem aos mais diversos abusos, desde a discriminação na entrega de propaganda direcionada online, o uso de dados pela Cambridge Analytica para manipular a opinião pública em época de eleições, até o robô psicopata do MIT.

Diante dessa situação, é de suma importância a iniciativa tomada pelas Universidades acima referidas, de levar a ética para as discussões acadêmicas, na formação de base dos alunos que potencialmente serão desenvolvedores nas maiores empresas de tecnologia do mundo. Como defende o professor Lawrence Lessig, a regulação das tecnologias se dá, além dos códigos estatais, pelos códigos tecnológicos. Ou seja, os próprios desenvolvedores dessas tecnologias podem ser os reguladores, se incorporarem ao processo boas práticas como transparência dos processos de funcionamento do algoritmo, das fases de coleta, uso e tratamento de dados utilizados como input do algoritmo, do treinamento da IA, entre outras, sem esperar pelos limites impostos pelo Estado ou outros entes. Caso contrário, não havendo essa preocupação com a ética, a regulação pelo próprio código vai continuar a acontecer, porém com os efeitos não desejados.

[1] JASANOFF, Sheila. The ethics of invention. W. W. Norton & Company, 1 ed.. New York, 2016.

Raquel Saraiva

Presidenta e fundadora do IP.rec, é também graduada em Direito pela Universidade Católica de Pernambuco e mestra e doutoranda em Ciência da Computação pela Universidade Federal de Pernambuco. Alumni da Escola de Governança da Internet do CGI.br (2017). No IP.rec, atua principalmente nas áreas de Algoritmos e Inteligência Artificial, Privacidade e Vigilância e Tecnologias de Realidade Virtual e Aumentada, mas também se interessa pelas discussões sobre gênero e tecnologia.