Inteligência artificial e Poder Judiciário: riscos e benefícios de um debate inevitável

Uma década atrás, Stephen Hawking fechou seu artigo sobre a inteligência artificial (IA) com um alerta: “todos nós deveríamos nos perguntar o que podemos fazer agora para aumentar as chances de potencializar os benefícios e evitar os riscos” de sua utilização. Esse pode ser, segundo o cientista, “o maior evento na história da humanidade” ou, infelizmente, o seu último, se não aprendermos a evitar as ameaças e os perigos envolvidos nessa inovadora tecnologia [1].

De lá para cá, o mundo viu o avançar do uso da IA em diversos espaços, inclusive no âmbito do Direito, da persecução penal e na segurança pública. Enquanto o Brasil ainda está iniciando esse debate, nos países que já utilizam esse tipo de tecnologia de modo preditivo, como o Reino Unido e os Estados Unidos, para analisar e prever comportamentos de pessoas com condenações criminais, não faltam pesquisas apontando críticas e erros judiciais com grande impacto nos direitos humanos.

Não se trata, portanto, de ser “contra” a utilização de IA em qualquer hipótese — o que seria inviável no mundo de hoje — tampouco de ser “a favor” de sua indiscriminada utilização pelo Poder Judiciário. O que se busca é um delicado equilíbrio, pontuando seus benefícios e amenizando seus riscos, como nos recomendou Hawking.

Acesso à justiça ou violação aos Direitos Humanos?

A utilização da IA pode aprimorar o acesso à Justiça no Brasil, proporcionando agilidade na tramitação de processos, sobretudo os repetitivos. No âmbito da execução penal, softwares bem desenvolvidos podem contribuir para uma gestão dos presos (que hoje ultrapassam 600 mil) mais justa e eficiente, indicando ao magistrado o término de pena, o preenchimento de requisitos para a progressão de regime e o livramento condicional, dentre outros benefícios.

Mas toda essa tecnologia pode, na mesma medida, contribuir para a violação em larga escala de diversos direitos, de modo imperceptível, intransparente e desigual. Se utilizada para substituir decisões ou auxiliar magistrados em processos criminais, a IA pode acentuar erros judiciais, contribuir para prisões e condenações indevidas e perpetuar vieses discriminatórios, com uma complexidade adicional: como responsabilizar as máquinas por suas decisões? Como se insurgir contra elas? É uma luta sem paridade de armas.

No mundo real, o desrespeito a determinado direito humano é praticado por um agente identificável, que poderá ser responsabilizado por seus atos. Da mesma forma, quando uma lei, ou um direito do acusado é violado, a defesa pode se insurgir contra tal ilegalidade, exercendo o contraditório, retrucando argumentos que estarão postos na decisão, fundamentada por um magistrado.

No mundo intangível da inteligência artificial é diferente. As violações a direitos não estarão facilmente materializadas, pois produzidas por algoritmos, de modo pouco compreensível aos humanos. Como explica Catiane Steffen, “computacionalmente, as regras e as definições que estruturam a lógica dos programas e que podem determinar os resultados produzidos costumam estar encobertas pela opacidade (ausência de transparência), ou, ainda, pela imprevisibilidade e pela autonomia de alguns sistemas complexos” [2].

É justo por isso que, quando estão em jogo decisões judiciais, notadamente as de natureza criminal, é preciso: i) que haja uma preocupação especial com a possível reprodução de vieses discriminatórios em matéria penal; ii) saber como se dará a auditabilidade das ferramentas de IA e iii) que haja transparência sobre a base de dados a ser utilizada, para que o produto de seu uso não fique encoberto por um obscuro e incompreensível sistema operacional. Trataremos disso aqui.

IA já é realidade no Poder Judiciário brasileiro

Nas palavras do presidente do Supremo Tribunal Federal, ministro Luís Roberto Barroso, os tribunais brasileiros já utilizam a inteligência artificial no “agrupamento de processos por tipo ou no enquadramento de casos em teses de repercussão geral”.

Mas, mesmo sendo um entusiasta dessa implementação no país, e de reconhecer que, em breve, a IA escreverá sentenças, ele adverte que tal tecnologia pode “reproduzir os preconceitos que existem na sociedade, porque é alimentada por seres humanos”. Justo por isso, ele defende uma regulamentação da IA, “para proteger direitos fundamentais, proteger a democracia” [3].

Nessa linha, o CNJ (Conselho Nacional de Justiça) promoveu, em setembro, uma inédita audiência pública para discutir o uso de inteligência artificial por órgãos do Poder Judiciário. Na ocasião, foram debatidos pontos de uma nova resolução, desenvolvida por um grupo de trabalho instaurado para esse fim, que atualiza a Resolução 332/2020 e traça os limites éticos necessários à utilização de tais ferramentas no âmbito de processos judiciais [4].

IA e sistema de justiça criminal brasileiro: risco de decisões preditivas baseadas em vieses algorítmicos

O atual artigo 23 da Resolução 332 do CNJ dispõe que “a utilização de modelos de inteligência artificial em matéria penal não deve ser estimulada, sobretudo com relação à sugestão de modelos de decisões preditivas”.

Há na resolução atual, portanto, uma legítima preocupação de se delegar à IA análises valorativas de provas e circunstâncias fáticas de um processo, rechaçando a possibilidade de decisões que possam tentar prever eventos futuros. Tal cautela é necessária e deve ser reproduzida em sua proposta de atualização, para se evitar erros judiciais na área criminal.

Os algoritmos utilizados nas tecnologias de IA não se desenvolvem sozinhos, não são auto gestados. São alimentados por pessoas e servem como um manual, como uma espécie de instrução ou guia para o seu funcionamento.

Ocorre que, justo por essa ação humana, não se pode afirmar que eles sejam neutros, pois carregam vieses do contexto de seu desenvolvimento: uma sociedade que discrimina — como a nossa — tende a gerar tecnologias discriminatórias. Além disso, como mencionado no artigo “Riscos decorrentes do reconhecimento facial em espaços públicos”, que publicamos nesta coluna, elas não nascem prontas e blindadas contra erros (leia aqui) [5].

Os algoritmos acabam perpetuando os vieses de seus criadores, algo especialmente problemático na área criminal, pois a IA pode reforçar discriminações contra grupos marginalizados e produzir efeitos irremediáveis.

Viés algoritmo

O fenômeno de impregnação de preconceitos nos algoritmos é conhecido como viés algorítmico. O viés ocorre quando um sistema de IA processa dados e produz resultados que favorecem ou prejudicam certos grupos de maneira desproporcional [6].

Isso é especialmente preocupante no processo penal pois, ao basearem suas previsões em características físicas, emocionais e sociais, os sistemas preditivos podem reforçar estigmas já enraizados na sociedade e no próprio Poder Judiciário, perpetuando a discriminação contra grupos historicamente marginalizados.

Diversos países utilizam tecnologias preditivas para influenciar decisões sobre prisões. A título de exemplo, o Reino Unido adota, desde 2001, o Oasys (Offender Assessment System) [7] e os Estados Unidos usam o Compas (Correctional Offender Management Profiling for Alternative Sanctions).

Ambos buscam, em um exercício de futurologia, prever o risco de reincidência, com base em informações da vida do indivíduo. Já falamos sobre a inefetividade, a falta de transparência e o viés discriminatório desse tipo de sistema nesta coluna (leia aqui [8]): pesquisas mostram que o Compas atribuiu a pessoas negras uma alta probabilidade de reincidência, ao passo que classificou como baixo esse tipo de risco para pessoas brancas. Há uma razão de ser para isso: o sistema preditivo reproduz o preconceito racial do próprio sistema penal e de execução penal norte americano que, nesse sentido, não se diferencia muito do brasileiro.

Não é difícil supor que, em terras brasilis, a utilização de software semelhante — alimentado pelos dados de um sistema penitenciário que, aliás, vive um estado de coisas inconstitucional, segundo o STF — traria o mesmo tipo de conclusão racista, em desigual prejuízo à população negra e pobre do nosso país.

Segundo dados do Executivo federal de dezembro de 2023, divulgados pelo CNJ em maio deste ano, “em uma população de 644 mil pessoas presas, mais de 400 mil são pretas e pardas” [9]. Esse número não é acidental; é fruto de uma longa história de marginalização e racismo estrutural. História essa que o programa de IA não está preparado para problematizar e entender. Para ele, a população prisional será apenas um número, com um perfil identificável de pessoas, com determinada raça e padrão social.

Aí mora o perigo de discriminação, pois os sistemas de inteligência artificial não problematizam questões raciais ou de gênero, e pouco se sabe como eles chegam a determinadas ilações.

Nova minuta de ato do CNJ: importância da auditabilidade do uso de IA

Na hipótese de se admitir a utilização da IA na esfera criminal, é fundamental garantir que seu uso seja transparente e acompanhado de rigorosa supervisão, para que as ferramentas tecnológicas contribuam para a justiça e não para a reprodução de desigualdades, como as acima expostas.

Nesse ponto, a minuta do novo Ato do CNJ menciona que “as soluções de inteligência artificial devem ser auditadas sob as perspectivas da segurança da informação, e (…) prevenção de vieses” e dedica um capítulo à regulamentação da necessária auditoria [10].

A auditabilidade se refere à capacidade de examinar e verificar os processos e decisões de um sistema, assegurando que suas operações sejam transparentes, compreensíveis ao olhar humano, rastreáveis e passíveis de revisão. Ela permite que se saiba como e por que determinadas decisões automatizadas foram tomadas.

De modo geral, os defensores do uso da inteligência artificial afirmam que “os algoritmos de IA são ferramentas científicas mais objetivas porque são padronizados e isso ajuda a reduzir o viés humano em avaliações e tomadas de decisão. Isso, afirmam os proponentes, os torna úteis para a proteção pública”. Todavia, estudos mostram que “a falta de acesso aos dados, bem como a outras informações cruciais necessárias para uma avaliação independente, levanta sérias questões de responsabilização e transparência” [11].

Não há como se cogitar o uso de IA no Poder Judiciário sem que haja regras claras sobre a transparência algorítmica. Assim como as decisões dos magistrados precisam estar fundamentadas para serem legítimas, os métodos que levaram a essas decisões devem estar acessíveis à consulta humana, e devidamente especificados.

Da mesma forma que um juiz deve ser imparcial, um sistema por ele utilizado para auxiliar e revisar decisões também o deve ser. Nesse contexto, a auditabilidade se torna não apenas uma ferramenta técnica, mas um pilar ético, para que a tecnologia não perpetue desigualdades estruturais [12].

Não à toa, o Regulamento de Inteligência Artificial (UE 2024/1689), do Parlamento Europeu, em vigor desde 1º de agosto, que estabelece o primeiro quadro jurídico global voltado para a regulação da IA, traz especial destaque para a importância da auditabilidade das ferramentas.

Ele define quatro níveis de risco para os sistemas de IA: mínimo ou nulo,  limitado, elevado e inaceitável. As tecnologias de IA utilizadas na administração da justiça e em processos judiciais são classificadas como de risco elevado. Tais modelos de risco elevado devem estar sujeitos a medidas de controle mais rigorosas, como autoavaliações, comunicação de incidentes graves, realização de testes e ensaios, além de normas de cibersegurança.

O regulamento prevê, ainda, a necessidade de que os fornecedores implementem sistemas de monitoramento pós-comercialização, de modo a garantir a supervisão humana e o acompanhamento contínuo para garantir a conformidade e segurança dos modelos.

Longo caminho

Há muito a discutir para a implementação de inteligência artificial pelo Poder Judiciário. A vedação ao uso de tecnologias preditivas não está tão evidente no novo Ato do CNJ, quanto estava na Res. 332/20, e há muitos riscos para a sua implementação em decisões judiciais.

Apesar das previsões sobre auditabilidade da minuta do CNJ, não há clareza sobre como ela será realizada e, sem isso, não é possível afastar os riscos de decisões judiciais com viés discriminatório, especialmente se deduzirmos que os softwares serão alimentados por fontes referentes ao nosso próprio sistema de justiça criminal.

Os benefícios prometidos para desanuviar o inchaço processual são de fato sedutores, mas uma impensada implementação da inteligência artificial na área criminal pode ter, justamente, o efeito inverso: aumentar as prisões indevidas, os erros judiciais, as condenações e, via de consequência, a superlotação do nosso já falido sistema prisional.

_____________________________________

[1] https://www.independent.co.uk/news/science/stephen-hawking-transcendence-looks-at-the-implications-of-artificial-intelligence-but-are-we-taking-ai-seriously-enough-9313474.html

[2] https://www.emerj.tjrj.jus.br/revistaemerj_online/edicoes/revista_v25_n1/revista_v25_n1_105.pdf.

[3] https://agenciabrasil.ebc.com.br/justica/noticia/2024-05/barroso-inteligencia-artificial-podera-escrever-sentencas-em-breve#:~:text=Barroso%3A%20intelig%C3%AAncia%20artificial%20poder%C3%A1%20escrever%20senten%C3%A7as%20%22em%20breve%22,-Presidente%20do%20Supremo&text=O%20presidente%20do%20Supremo%20Tribunal,um%20dia%20pode%20escrever%20senten%C3%A7as.

[4] A audiência pública está disponível no youtube do CNJ.

[5] https://www.conjur.com.br/2023-abr-05/escritos-mulher-riscos-decorrentes-reconhecimento-facial-espacos-publicos/

[6] https://www.ibm.com/br-pt/topics/ai-bias

[7] https://theconversation.com/a-black-box-ai-system-has-been-influencing-criminal-justice-decisions-for-over-two-decades-its-time-to-open-it-up-200594

[8] https://www.conjur.com.br/2023-abr-05/escritos-mulher-riscos-decorrentes-reconhecimento-facial-espacos-publicos/

[9][9] https://www.cnj.jus.br/relacoes-raciais-nos-servicos-penais-sao-tema-de-nova-publicacao-do-cnj/#:~:text=Em%20uma%20popula%C3%A7%C3%A3o%20de%20644,Federal%20de%20dezembro%20de%202023.

[10] https://www.cnj.jus.br/wp-content/uploads/2024/09/minuta-proposta-resolucao-332-cnj-rev.pdf

[11][11] https://theconversation.com/a-black-box-ai-system-has-been-influencing-criminal-justice-decisions-for-over-two-decades-its-time-to-open-it-up-200594.

[12] Disponível em: https://jornal.usp.br/artigos/e-possivel-termos-transparencia-de-algoritmos-para-sistemas-de-inteligencia-artificial/