Nos dias atuais, é cada vez mais premente a dificuldade de adaptação das regras originadas em um mundo analógico para os conflitos típicos do mundo digital. Isso está descrito em um simples, porém muito verdadeiro, princípio da vida moderna, segundo o qual “a tecnologia muda a um ritmo exponencial, porém os sistemas sociais, econômicos e legais mudam a um ritmo incremental”. A consequência desse fato é o surgimento de um grande abismo entre um velho e um novo mundo e os conflitos trazidos a este pelo desenvolvimento de novas tecnologias.

Um desses conflitos é o crescente uso de algoritmos para tomada de decisão. Algoritmos estão presentes em tudo, desde o Uber™ até propagandas. Eles são usados para escolher entre currículos de aspirantes a determinada vaga de emprego, para checar crédito e decidir sobre seguros de saúde. Mas muitos deles são construídos como “caixas-pretas”, não oferecendo transparência sobre seu funcionamento.

Os tais algoritmos utilizam big data para resolver problemas, basear tomada de decisões e, dependendo dos dados ou de outros fatores, podem levar à discriminação. Eles ainda podem ter impacto direto nas escolhas e nas opções ofertadas às pessoas, no seu direito à privacidade e no controle de dados pessoais, bem como em vários outros direitos. Como algoritmos são dependentes de dados históricos, pessoas vulneráveis são mais propensas a resultados desfavoráveis, já que, geralmente, acontecimentos passados tendem a aparecer nos resultados dos algoritmos. Não obstante, grupos vulneráveis são aqueles que mais podem sofrer com esse tipo de discriminação, como acontece, por exemplo, quando eles têm crédito negado.

Em recente decisão no caso “Estado de Wisconsin contra Eric Loomis”, a Suprema Corte de Wisconsin, nos Estados Unidos, levantou suas preocupações quanto à ferramenta utilizada pela justiça para determinar a probabilidade de acusados cometerem crimes no futuro. A corte expressou que juízes podem considerar a pontuação obtida pelo acusado no processo de cálculo da pena, mas que avisos devem ser anexados à pontuação, como forma de sinalizar as “limitações e precauções” da ferramenta.

Em maio de 2016, o ProPublica, um portal jornalístico independente e sem fins lucrativos, publicou uma análise da ferramenta referida pela decisão da Suprema Corte de Wisconsin, a COMPAS. Trata-se de um software popular utilizado para analisar os acusados não só no estado de Wisconsin, mas também em outras jurisdições nos Estados Unidos. A análise do ProPublica concluiu que o programa está frequentemente errado e desenvolve viés contra negros que não viriam a cometer crimes no futuro, rotulando falsamente essas pessoas como futuros criminosos, duas vezes mais do que em relação aos acusados definidos como brancos.

No mesmo sentido, a cientista da computação Latanya Sweeney, negra, percebeu que, ao buscar por referências ao seu nome na ferramenta de buscas da Google, obtinha resultados com viés discriminatório. Com isso em mente, ela conduziu uma pesquisa no Data Privacy Lab, da Universidade de Harvard, onde trabalha, que resultou no artigo “Discrimination in Online Ad Delivery”. Ela utilizou nomes próprios associados a raças e encontrou discriminação estatisticamente relevante nas propagandas mostradas pelo Google AdSense como resultado da busca.

Essa discriminação nas decisões tomadas pelos programas que utilizam algoritmos de suporte à decisão se dá justamente porque os códigos não estão sujeitos a nenhum tipo de transparência ou escrutínio por parte da comunidade técnica.

Cathy O’Neil chama de “armas de destruição matemática” [1] os algoritmos que têm como características: ser muito difundidos, capazes de afetar a vida de muitas pessoas; misteriosos, pois não há a possibilidade de as pessoas que estão sendo alvo do seu julgamento avaliarem a sua fórmula; e destrutivos, pois eles podem arruinar a vida das pessoas injustamente, como quando determinam a demissão de uma pessoa ou de um grupo de pessoas. Ela enfatiza que, embora o algoritmo esteja programado para resolver um problema, ele pode não só não resolvê-lo como piorar a situação.

Além disso, ela explica que algoritmos são complexos processos de tomada de decisão e que o mesmo algoritmo pode ser usado para o bem ou para o mal. Exemplo disso são os dados relativos ao histórico médico de um indivíduo: eles podem servir para que um paciente tenha um melhor atendimento, ao dar entrada em algum serviço de emergência; ao mesmo tempo, podem ser utilizados como filtro para uma empresa que quer contratar empregados, mas não quer ter vultosos gastos com planos de saúde.

No mesmo sentido, Frank Pasquale, em seu livro “The Black Box Society — The Secret Algorithms That Control Money and Information” [2], afirma que os processos de responsabilização disponíveis atualmente normalmente falham porque os algoritmos utilizados nas ferramentas de tomada de decisão permanecem obscuros, ou os dados utilizados assim o são, ou mesmo uma combinação dos dois fatores.

Como exemplo, Pasquale cita que bancos estão utilizando programas de computador para decidir sobre conceder ou não crédito a determinado indivíduo, como hipotecas, empréstimos ou cartões de crédito. Com o cálculo de uma pontuação, os bancos podem aumentar ou diminuir a taxa de juros baseando-se nos relatórios gerados pelos programas, de forma que quem atinge uma pontuação mais alta tem menor taxa de juros, por exemplo. Entretanto, segundo ele pesquisas mostram que cerca de 28% desses relatórios gerados por programas de computador continham informações claramente erradas sobre as pessoas analisadas, o que leva, consequentemente, a erros de avaliação.

Ademais, ele enfatiza que essas pontuações variam de uma entidade para outra, o que faz variar também os resultados sobre quem ganha crédito ou não. Ou seja, a coleta e as práticas com dados em geral devem ser mais abertas à inspeção externa.

Pasquale afirma, ainda, que é necessária uma mudança de paradigma para fazer a web menos dependente de propagandas e da personalização dos anúncios, o que ele considera ter sido a origem dos problemas com privacidade dos usuários.

Partindo da premissa da transparência, Kroll et al perceberam que os mecanismos de responsabilização utilizados nesses processos decisórios não acompanharam o ritmo da tecnologia. As ferramentas atualmente disponíveis para legisladores, cortes e agentes políticos foram desenvolvidas para supervisionar pessoas que tomam decisões e normalmente falham quando aplicadas a computadores. Por exemplo, como provar a intenção, ou dolo, de um programa de computador? Medidas adicionais são necessárias, então, para fazer com que sistemas automatizados com suas potenciais incorreções ou resultados injustificados ou incorretos sejam responsabilizados.

Assim, atestam os autores que disponibilizar o código-fonte nem sempre é necessário (porque existem alternativas a partir da ciência da computação) ou suficiente (por causa da complexidade do código) para determinar a justiça de um processo. Da mesma forma, a transparência pode ser indesejável, como quando ela permite que sonegadores de impostos ou terroristas possam jogar com o sistema e aproveitar suas brechas.

Em resumo, o ponto central deve ser sempre a proteção dos cidadãos e da sociedade em geral, de forma que os sistemas não infrinjam direitos fundamentais. A tecnologia está criando novas oportunidades, mais sutis e flexíveis, de construir algoritmos para tomada de decisão que melhor se alinhem com os objetivos legais e sociais. Com uma maior colaboração entre a ciência da computação, o direito e as políticas públicas, é possível fazer com que tais decisões sejam menos ambíguas e mais transparentes ao público.

Referências:

[1] O’NEIL, Cathy. Weapons of math destruction: How Big Data Increases Inequality and Threatens Democracy. New York: Crown, 2016.

[2] PASQUALE, Frank. The Black Box Society — The Secret Algorithms That Control Money and Information. Harvard University Press, 2015.

Raquel Saraiva

Presidenta e fundadora do IP.rec, é também graduada em Direito pela Universidade Católica de Pernambuco e mestra e doutoranda em Ciência da Computação pela Universidade Federal de Pernambuco. Alumni da Escola de Governança da Internet do CGI.br (2017). No IP.rec, atua principalmente nas áreas de Algoritmos e Inteligência Artificial, Privacidade e Vigilância e Tecnologias de Realidade Virtual e Aumentada, mas também se interessa pelas discussões sobre gênero e tecnologia.