“Algoritmos são opinião embutida em matemática”, escreveu Cathy O’Neil, matemática americana e autora de “Weapons of math destruction”. Todo algoritmo, em alguma medida, carrega em si os valores e as opiniões de quem o construiu. É esta característica que, a um só tempo, o define como técnica e como ferramenta operadora de maravilhas, e que permite que ele possa aprender com o humano, num processo de reprodução de certos comportamentos, dentre eles, o sexismo, ou seja, a discriminação por gênero.

Tal reprodução é tão possível que, no ano passado, a Amazon foi acusada de ter criado um algoritmo de recrutamento de novos empregados que “aprendeu” que candidatos homens eram preferíveis em detrimento das mulheres. Sobre isso, a gigante norte-americana preferiu não responder às acusações. No mesmo sentido, um estudo publicado na revista Science em 2017 revela que sistemas baseados em machine learning replicam os mesmos estereótipos de gênero e raça que os humanos lutam para controlar. De onde estes estereótipos vem?

No caso do algoritmo da Amazon, o problema se materializou porque o sistema foi treinado com currículos submetidos à análise da empresa durante os dez anos anteriores, e a maioria deles veio de homens. Ou seja, o algoritmo em si não era enviesado, mas a base de dados que foi utilizada, sim.

Já em 1996, artigo publicado por Batya Friedman e Helen Nissembaum intitulado “Bias in computer systems” já chamava a atenção para o viés que o sistema computacional pode apresentar. Elas estabeleceram três categorias de vieses que o sistema pode conter: o preexistente, o técnico e o emergente. Segundo as autoras, “viés preexistente tem origem em instituições sociais, práticas e atitudes. Viés técnico surge de restrições ou considerações técnicas. Viés emergente surge no contexto do uso”.

Além disso, Friedman E Nissembaum conceituaram o sistema enviesado como sendo aquele que “sistematicamente ou injustamente discrimina contra certos indivíduos ou grupos de indivíduos em favor de outros.” E elas completam afirmando que um sistema discrimina injustamente se ele nega uma oportunidade ou um bem ou se designa um resultado indesejado a um indivíduo ou a um grupo de indivíduos em termos desarrazoados ou inapropriados.

Quando esse viés se reflete contra mulheres, como no caso da Amazon, ele serve para reforçar um comportamento já estabelecido socialmente, qual seja, a desigualdade entre homens e mulheres. O fato que mulheres são menor número nos cursos superiores e na indústria da tecnologia é um dado aferível. É também de conhecimento geral que os salários pagos a mulheres são, em regra, menores que aqueles pagos a homens para o exercício da mesma função. Então, se uma máquina, adotada em determinado setor de trabalho e uso, reproduz esses valores, cria-se o cenário favorável à perpetuação desse status, não havendo qualquer chance de se modificar o cenário social e, consequentemente, a vida de mulheres e sua participação em áreas, nas quais, comumente, estão em menor número.

Pelo raciocínio exposto acima, extrai-se outro: a inexistência de diversidade nas empresas de tecnologia impõe a inexistência dessa mesma diversidade nos produtos que elas lançam no mercado. Sara Wachter-Boettcher, autora de “Technically wrong: sexist apps, biased algorithms, and other threats of toxic tech”, parte da premissa de que a indústria da tecnologia, predominantemente composta por homens brancos, cria produtos que excluem as necessidades de mulheres e pessoas negras. Ela acredita que o foco na diversidade da/na tecnologia não deveria ser apenas pelo ponto de vista dos trabalhadores, contudo também levando em conta o ponto de vista dos consumidores. A discussão sobre bias e algoritmos favorece ao jogo de Leonardo Boff, quando afirma que todo ponto de vista é a vista de um ponto: a ausência da vista do ponto impõe a monocromia dos pontos de vista, ou seja, a derrota da diversidade, que, por sua vez, é pressuposto da inovação.

Wachter-Boettcher argumenta, ainda, que os criadores de produtos que se utilizam de inteligência artificial precisam olhar cuidadosamente para os dados que utilizam, atentando para os vieses exsurgentes desses dados: é importante verificar as taxas de falha do sistema, porque baixas taxas de erro são importantes, mas isso não pode ser aceitável quando a falha sempre acontece em relação ao mesmo grupo de pessoas, já que isso tem exatamente o efeito de reforçar os padrões excludentes e socialmente estabelecidos.

A pesquisa técnica na área da inteligência artificial está muito avançada, e seu horizonte de aplicação não é esgotável (ainda que se fale, no estado da arte, em limites alcançados quanto a poder de processamento e afins). Atualmente, ferramentas de IA são utilizadas: por médicos para fechar diagnósticos; por escritórios de advocacia, para aconselhar seus clientes sobre melhores estratégias e probabilidades de sucesso de determinadas ações; e por instituições financeiras, para fundamentar suas decisões sobre quem recebe empréstimos ou créditos e que será contratado ou não. Entretanto há algo que os pesquisadores apenas há pouco passaram a se preocupar: a análise social dessas ferramentas. É preciso observar e analisar o impacto dessas decisões tomadas por algoritmos nas instituições sociais, como isso está impactando, por exemplo, o mercado de trabalho ou a economia, com a oferta de crédito sendo decidida por máquinas.

No mesmo sentido, o direito também deve se preocupar com essa automação das decisões. Na ocasião de uma decisão errada, preconceituosa ou prejudicial ser tomada por uma máquina, quem é o responsável? Como a decisão foi tomada? Quais os fatores determinantes para se chegar àquele resultado? E quando os prejuízos se localizam em grupos específicos da sociedade? Muitas questões ainda estão em disputa entre os diversos setores sociais, e suas respostas exigem embasamento nos estudos sociais da aplicação dessas tecnologias.

Mas como resolver o problema dos vieses nos algoritmos de machine learning? Pesquisadores argumentam que um grande direcionador do viés nesses sistemas é a base de dados usada para treinamento do algoritmo. Utilizar bases de dados que são mais balanceadas em representação social ajuda a diversificar o padrão trabalhado pelo algoritmo. Nesse sentido, medidas devem ser tomadas para assegurar que as bases de dados são diversas e não sub representam grupos específicos. Alguns pesquisadores já estão trabalhando nisso.

Além disso, é importante que as bases de dados de treinamento de algoritmos contenham informações sobre como os dados foram coletados e anotados.Segundo Zou e Schiebinger,

“uma abordagem complementar é utilizar o próprio machine learning para identificar e quantificar os vieses nos algoritmos e nos dados. Nós chamamos isso de conduzir uma auditoria por inteligência artificial, na qual o auditor é um algoritmo que sistematicamente prova que o modelo de machine learning original pode identificar vieses tanto no modelo quanto nos dados de treinamento”.

Ao fim e ao cabo, é importante destacar que existem métodos que podem ser utilizados para pelo menos mitigar a ocorrência de vieses nos algoritmos de machine learning, eles só precisam ser utilizados com maior frequência. Além disso, é preciso que as equipes desenvolvedoras de produtos dessa natureza sejam mais diversas, para que essa preocupação apareça mais enfaticamente na indústria da tecnologia. Para isso, faz-se necessário incentivar a participação de mulheres, negros, indígenas, membros da comunidade LGBTQ+, ou seja, grupos minoritários em geral, na área da tecnologia, que dessa forma poderão se sentir cada vez mais representados nos produtos lançados no mercado. Em termos mais conceituais: há um imperativo de se combinar a vontade da técnica e vontade econômica, prevalecentes no desenvolvimento das tecnologias, ao debate ético e científico, condizente com interesses que são afetados pelas tecnologias, mas são ignorados no seu desenvolvimento.

No mesmo sentido, a pesquisa acadêmica deve se voltar para a análise dessas ferramentas de forma interdisciplinar. Inserir disciplinas ou atividades (construção de habilidades inerentes) diversas da computação nos times de pesquisa e desenvolvimento de ferramentas e, por consequência, inserir o pensamento advindo das ciências humanas, desde a criação dos algoritmos até sua implementação, gerará uma maior reflexão sobre os efeitos sociais, jurídicos e políticos da sua adoção.

E, finalmente, utilizando novamente o exemplo do algoritmo da Amazon citado anteriormente: refletir sobre os padrões de gênero socialmente estabelecidos, para que eles não sejam perpetuados através da tecnologia. Ouso considerar que, num mundo ideal, a tecnologia seria capaz de reverter esses papéis socialmente impostos e implementar o feminismo pela técnica, trazendo a igualdade pela qual tanto lutamos.

Raquel Saraiva

Presidenta e fundadora do IP.rec, é também graduada em Direito pela Universidade Católica de Pernambuco e mestra e doutoranda em Ciência da Computação pela Universidade Federal de Pernambuco. Alumni da Escola de Governança da Internet do CGI.br (2017). No IP.rec, atua principalmente nas áreas de Algoritmos e Inteligência Artificial, Privacidade e Vigilância e Tecnologias de Realidade Virtual e Aumentada, mas também se interessa pelas discussões sobre gênero e tecnologia.