Publicado em: 28 de março de 2025.

Desde a infância, mais precisamente a partir dos 4 anos de idade, a necessidade de compreensão, de entendimento começa a ser construída e é possível ser percebida quando as crianças entram na fase dos “porquês”. Ali, cada resposta encadeia outra pergunta, levando a dois caminhos: ou um maior aprofundamento no assunto, ou, a resposta nenhuma. Essa necessidade de compreensão se expande ao longo da vida, trazendo um universo de possibilidades de conhecimento. É graças aos questionamentos sobre a vida e o universo que houveram grandes descobertas na história da humanidade.

Com a Inteligência Artificial sendo expandida para os mais diversos setores da sociedade, a busca por “respostas” rápidas se tornou um desejo e prática comum. A automatização de tarefas e a pressa por soluções se sobressai em detrimento dos questionamentos que podem ser feitos aos resultados obtidos por essas tecnologias. Muito disso se deve à antropomorfização das máquinas, ou seja, a falsa ideia de que a IA consegue por si só, pensar, decidir, ou até mesmo se revoltar contra outras máquinas e/ou seres humanos, narrativa esta que tem sido utilizada de maneira irresponsável, para atribuir “poderes” a esta tecnologia, sem considerar as consequências que causam à sociedade.

Matéria do Canaltech sobre IA. Fonte: Canaltech

Não é um problema a IA existir. O problema mesmo está na ausência de reflexão sobre o que é uma IA, e o fato de já ao seu nome ser atribuída a palavra Inteligência sem que se reflita sobre o histórico da tecnologia e da atribuição estratégica desse nome. Isso acaba camuflando o desejo de compreender seu funcionamento, fazendo um comparativo ainda que de maneira implícita com a inteligência humana. É preciso parar e pensar um pouco. 

Primeiro de tudo, a IA não existe por si só. É necessário muito cálculo matemático sobre os dados que a compõem, incontáveis treinamentos que, mesmo assim, são apenas uma parcela da realidade. No mundo real existem infinitas possibilidades que podem não estar sobre o domínio de compreensão da máquina durante seu treinamento e teste. 

Segundo, os resultados não surgem “do nada”. Todo o processo é totalmente estocástico, o que significa dizer que as respostas são baseadas em probabilidades. No momento em que uma solicitação é feita, o processo probabilístico nos dados analisados definem o quão aproximado o resultado pode estar de um padrão correto. Só estes dois pontos já trazem razões suficientes para que não se acredite de olhos fechados nos resultados que esta tecnologia entrega. 

Joanna Bryson¹ argumenta que a “IA não é uma coisa em que se possa confiar, mas sim um conjunto de técnicas de desenvolvimento de software” e ainda reforça que “o termo confiança deve ser reservado para pessoas e suas instituições”. Máquinas são passíveis de erro e quem lida com elas deve urgentemente estar ciente disso.

A utilização massiva da IA contribuiu para evidenciar alguns problemas em seu funcionamento, como por exemplo a problemática dos vieses existentes na seus resultados, assim como, mais especificamente, os casos de racismo no uso da tecnologia de Reconhecimento Facial (RF). 

Problemas como esse tem levado ao aumento do número de pesquisas[2] que se propõem a entender como os modelos chegam a um determinado resultado, compondo assim uma área chamada Explainable Artificial Intelligence (Inteligência Artificial Explicável ou XAI).

O que esta área propõe é tornar os modelos mais transparentes e consequentemente auditáveis, para com isso conseguir obter resultados mais justos. Sobre modelos de IA, podemos generalizar em duas categorias: modelos de caixa-branca (white box) que já possui uma natureza mais transparente e é possível entender seus resultados e interpretar seu funcionamento; e modelos de caixa-preta (black box) que consegue ser interpretado até certo nível, mas ainda é um desafio entender completamente como ele toma uma decisão, como por exemplo redes neurais.

Ambos podem apresentar erros nos resultados e os motivos podem ser atribuídos a problemas nos dados de treinamento, má arquitetura do modelo, ausência de diversidade na equipe de desenvolvimento, dentre outros. Independente de qual seja o motivo que levou ao erro, compreender os resultados apresentados pelos modelos de IA deve se tornar cada vez mais necessários, pois esta tecnologia tem sido cada dia mais inserida no nosso dia a dia: seja no aplicativo de banco, seja nas câmeras ao redor da cidade e em inúmeras outras situações nas quais nem consentimos a utilização ou não podemos controlar como seremos afetados. 

Arrieta et al[3] vai definir explicabilidade como a importância da explicação dos resultados do modelo serem de clara e fácil compreensão por determinado público. O interessante dessa definição é a importância de saber quem é que está querendo uma explicação. Em um país como o Brasil, composto por diversos povos e saberes, se faz imprescindível uma explicação adequada levando este pré-requisito em consideração. E mais, o foco neste caso se volta ao humano ao invés da máquina, como sempre deve ser. 

A XAI não pode andar sozinha, embora faça parte de um contexto técnico da área de exatas. A abordagem multidisciplinar[4] contribui imensamente para construção de boas explicações, principalmente pelo fato do cérebro humano ser complexo.  A necessidade de explicações compreensíveis para humanos (incluindo leigos) exige conhecimentos de psicologia e outras ciências.

O objetivo de tornar as explicações facilmente compreensíveis e fornecer informações para a tomada de decisões está no cerne da pesquisa em XAI. Para que as explicações sejam eficazes, elas devem atender às demandas dos usuários, o que requer uma compreensão de como os humanos percebem, processam e confiam nas informações. Isto indica uma necessidade multidisciplinar na construção destes modelos também. Se a área técnica é necessária para que eles existam, outras áreas como a psicologia são importantes para que quem as utilize consiga compreender de maneira eficaz.

Sobre usuários, de maneira generalista, podemos dividi-los em: os que são impactados pela tecnologia e os que a utilizam como apoio no trabalho (como no caso de agentes de segurança pública). Dois questionamentos surgem daqui: (i) a sociedade está preparada para ser cercada por essa tecnologia em massa? (ii) será que a maneira acelerada em que tem se instaurado esta tecnologia, tem dado tempo suficiente para que os profissionais que as usam sejam capacitados? E por capacitação não é apenas como utilizar equipamento ou tecnologia, mas compreender como elas chegam a um resultado e a capacidade de questionar este resultado. Em respostas aos questionamentos podemos considerar que não.

Recentemente estamos vendo casos relacionados à adesão de tecnologias de RF massiva em estádios e eventos públicos de grande porte, como o carnaval. Junto a estas decisões, vemos também os problemas que têm sido causados por erros na identificação das pessoas. Além do erro nos resultados da IA, existe o constrangimento causado pelos agentes, resultantes das abordagens sem justificativa, mas com plena confiança na tecnologia. Quem paga as consequências desses traumas? E o que falar das diversas maneiras que tem aparecido de como burlar sistemas bancários, documentos e até mesmo entrevistas de emprego. É possível que em curto tempo este não seja apenas um problema de justiça, mas também de saúde pública. 

Partindo para outra esfera, a necessidade de explicação chegou aos “ouvidos” da regulamentação. A PL 2338/2023 tem estabelecido no artigo 6º na seção II o “direito à explicação”, assegurando aos usuários e partes interessadas a possibilidade de obter esclarecimentos acerca das decisões, recomendações ou previsões geradas por sistemas de inteligência artificial. Em complemento a esse direito, o Artigo 7º especifica que as explicações deverão ser fornecidas em linguagem simples, acessível e adequada.

Embora o princípio maior aqui esteja em “se algo de errado acontecer, vamos te explicar o motivo”  ao invés de “vamos garantir que nada de errado te aconteça”, conseguimos olhar o copo meio cheio dentro dos infinitos problemas que estamos enfrentando e pensar sobre como este direito pode proporcionar segurança a quem for afetado e atribuir responsabilização àqueles que fornecem estes sistemas.

Anterior a PL, temos também a agenda 2030 com os 19 Objetivos de Desenvolvimento Sustentável. A ODS 16 indica a necessidade de equidade na justiça, o que fortalece a necessidade de explicação quando estes resultados não se adequarem. As metas 16.6 e 16.7 destacam a necessidade de transparência e responsabilidade nos processos decisórios, valores que são essenciais para integrar a IA de maneira ética e justa na sociedade. A explicabilidade é um meio para atingir esses valores, garantindo que a IA seja utilizada de uma forma que respeite os direitos humanos e promova o desenvolvimento sustentável.  

Numa perspectiva técnica, mesmo havendo a necessidade por explicação do modelo, a questão da compensação (trade-off) ainda é levada em consideração: vale mesmo a pena abrir mão da boa performance para compreender como estas tecnologias chegam nestes resultados? O cômico desta pergunta é que compreender como as IAs chegaram ao resultado não é visto com tanta importância, mas gastar energia e água sem medida, inundar o ar com CO2 sem restrições e produzir uma quantidade massiva de lixo eletrônico, tudo bem. Não são poucos os alertas que especialistas têm feito para a quantidade de energia que os os Datacenters (lugares onde esta tecnologia é treinada e armazenada), tem consumido, chegando em alguns casos a ser comparado com o consumo de um município de 150 mil habitantes; o gasto de energia[5] no processo de treinamento e solicitações de respostas, e a quantidade de água que as LLMs utilizam. A extinção de recursos limitados, aparentemente, vale o risco. Nitidamente o dano causado em várias esferas não importa, o que importa é o avanço da tecnologia.  

E, em resposta a pergunta, neste caso será sempre sim! Dentro do que estamos falando aqui, as consequências causadas não são sobre coisas, mas sobre pessoas. Se não for impactado pelo resultado, será impactado a partir da natureza. Ninguém está excluído desta conta! Obviamente que não precisa ser maniqueísta a ponto de ser de todo ruim e de todo bom, mas é exatamente o equilíbrio que está faltando. Diferente de uma máquina ou produto onde uma perda de 10% ou 20% é aceitável em relação ao todo, um ser humano afetado de maneira negativa por qualquer que seja a tecnologia, não deve nunca ser naturalizado. Entre pessoas e tecnologia, as pessoas sempre devem ser priorizadas!

[1] Joana Bryson, “AI & Global Governance: No One Should Trust AI”. United Nations University Centre for Policy Research”. AI & Global Governance, 13 nov. 2018.

[2] S. Brdnik and B. Šumak, Current Trends, Challenges and Techniques in XAI Field; A Tertiary Study of XAI Research, 2024 47th MIPRO ICT and Electronics Convention (MIPRO), Opatija, Croatia, 2024, pp. 2032-2038.

[3] ARRIETA, Alejandro. B. et al. Explainable Artificial Intelligence (XAI): Concepts, Taxonomies, Opportunities and Challenges toward Responsible AI. 2019. 

[4] LIGO, Alexandre K. et al. Comparing the Emergence of Technical and Social Sciences Research in Artificial Intelligence. Frontiers in Computer Science, v. 3, 2021. 

[5] EBERT, Kai; ALDER, Nicolas; HERBRICH, Ralf; HACKER, Philipp. AI, Climate, and Regulation: From Data Centers to the AI Act. 2024. 

Anicely Santos

Mestranda no Programa de Pós-graduação em Engenharia de Computação pela Universidade de Pernambuco (UPE). Formada em Análise e Desenvolvimento de Sistemas com especialização em Ciência de Dados e Analytics. Presidenta da Associação Python Brasil (2024-2025).