Talvez tenha ouvido falar sobre a vítima fatal de um caso de fúria no trânsito, cuja família criou um avatar com IA para apresentar como declaração de impacto (possivelmente a primeira vez que isto aconteceu nos EUA). Contudo, há uma controvérsia maior e muito mais significativa em curso, segundo especialistas do setor jurídico. As alucinações de IA estão a surgir com uma frequência cada vez maior em petições judiciais. E isto está a começar a irritar juízes. Basta considerar estes três casos, cada um oferecendo uma prévia do que devemos ver com mais frequência à medida que os advogados adotam o uso da IA:
Um juiz da Califórnia, Michael Wilner, ficou intrigado com um conjunto de argumentos apresentados por advogados numa petição. Decidiu investigar os artigos citados para embasar os argumentos. No entanto, os artigos não existiam. Ao solicitar mais informações ao escritório dos advogados, recebeu um novo documento com ainda mais erros do que o primeiro. Wilner ordenou que os advogados prestassem depoimentos sob juramento explicando as falhas, nos quais descobriu que um deles, de um escritório de elite chamado Ellis George, utilizou o Google Gemini e modelos de IA específicos da área jurídica para redigir o texto, o que resultou na geração de informações falsas. Conforme detalhado numa petição de 6 de maio, o juiz multou o escritório em 31.000 dólares.
Outro juiz da Califórnia detectou mais uma alucinação numa petição judicial, desta vez apresentada pela empresa de IA Anthropic, no processo movido por gravadoras por questões de direitos de autor. Um dos advogados da Anthropic pediu ao modelo Claude da empresa para que gerasse uma citação para um artigo jurídico, mas o Claude incluiu o título e o autor errados. O advogado da empresa admitiu que o erro não foi identificado por ninguém durante a revisão do documento.
Por fim, e talvez o mais preocupante, há um caso em andamento em Israel. Após a prisão de um indivíduo acusado de lavagem de dinheiro, promotores israelitas apresentaram um pedido solicitando à Justiça a retenção do telemóvel do investigado como prova. No entanto, citaram leis que não existem, levando o advogado de defesa a acusá-los de usar alucinações de IA na petição. Segundo veículos israelitas, os promotores admitiram que este foi o caso e receberam uma advertência do juiz.
Esses casos apontam para um problema sério. O sistema judicial depende de documentos precisos e com referências verificáveis, duas qualidades que os modelos de IA, apesar de amplamente adotados por advogados que buscam economizar tempo, muitas vezes deixam a desejar.
Esses erros ainda estão a ser detectados (por enquanto), mas não é difícil imaginar que, em breve, uma decisão judicial seja influenciada por algo completamente inventado por uma IA, e que ninguém perceba.
Conversei com Maura Grossman, professora da Escola de Ciência da Computação da Universidade de Waterloo e da Osgoode Hall Law School, além de uma das primeiras críticas vocais aos problemas que a IA generativa pode causar nos tribunais. Ela escreveu sobre isso ainda em 2023, quando os primeiros casos de alucinações começaram a aparecer. Grossman acreditava que as regras já existentes, que exigem que advogados verifiquem o que submetem aos tribunais, combinadas com a má publicidade dos casos anteriores, seriam suficientes para conter o problema. Mas isso não se confirmou.
As alucinações “não parecem ter diminuído”, diz ela. “Se algo mudou, é que estão a tornar-se mais frequentes.” E não se trata de casos isolados envolvendo firmas locais pouco conhecidas, afirma. São advogados de alto nível a cometer erros significativos e constrangedores com o uso de IA. Ela preocupa-se com o facto de que esses erros também estão a surgir com mais frequência em documentos que não são redigidos diretamente por advogados, como relatórios de peritos (em dezembro, um professor de Stanford e especialista em IA admitiu ter incluído erros gerados por inteligência artificial no seu testemunho).
Contei a Grossman que acho tudo isto um pouco surpreendente. Advogados, mais do que a maioria das pessoas, são obcecados por precisão linguística. Escolhem as suas palavras com cuidado. Por que é que tantos estão a cometer esse tipo de erro?
“Os advogados dividem-se em dois grupos”, diz ela. “O primeiro tem pavor e prefere não usar a tecnologia de forma alguma.” Mas há também os que adotam cedo as novidades. São advogados com pouco tempo de experiência ou que não contam com uma equipa de apoio para ajudar na elaboração de petições. Eles estão ansiosos por uma tecnologia que os ajude a redigir documentos sob pressão de prazos. E nem sempre verificam com rigor o que a IA produziu.
O facto de até advogados de alto escalão, cuja profissão gira em torno da análise minuciosa da linguagem, continuarem a ser flagrados a cometer erros introduzidos pela IA diz algo sobre como a maioria de nós encara esta tecnologia hoje. Repetem-nos constantemente que a IA comete erros, mas os modelos de linguagem ainda soam como magia. Fazemos uma pergunta complexa e recebemos uma resposta que parece ponderada e inteligente. Com o tempo, os modelos de IA começam a exibir uma aura de autoridade. E acabamos por confiar.
“Pressupomos que, pelo facto de esses grandes modelos de linguagem serem tão fluentes, isso também significa que são precisos”, diz Grossman. “Todos nós, de certa forma, caímos nesse modo de confiança porque o tom parece autoritário.” Os advogados estão habituados a revisar o trabalho de colegas mais jovens ou estagiários, mas, por algum motivo, Grossman afirma que esse ceticismo não é aplicado à IA.
Sabemos desse problema desde o lançamento do ChatGPT, há quase três anos, mas a solução recomendada pouco evoluiu desde então: não confiar em tudo o que lê e verificar o que o modelo de IA afirma. À medida que essas ferramentas são incorporadas a um número cada vez maior de plataformas, essa orientação parece-me cada vez mais insatisfatória diante de uma das falhas mais fundamentais da IA.
As alucinações fazem parte do modo como os grandes modelos de linguagem funcionam. Mesmo assim, há empresas a vender ferramentas de IA generativa voltadas para advogados que alegam oferecer resultados confiáveis. “Tenha confiança de que a sua pesquisa é precisa e completa”, diz o site da Westlaw Precision. Já o site da CoCounsel afirma que sua IA é “baseada em conteúdo com autoridade”. Isso, no entanto, não impediu que o seu cliente, o escritório Ellis George, fosse multado em 31 mil dólares.
Tenho cada vez mais empatia por quem confia mais na IA do que deveria. Afinal, vivemos uma época em que os próprios criadores dessa tecnologia afirmam que ela é tão poderosa que deveria ser tratada como armamento nuclear. Os modelos de IA aprenderam com praticamente tudo o que a humanidade já escreveu e estão cada vez mais presentes na nossa vida digital. Se as pessoas não devem confiar cegamente no que esses modelos dizem, talvez mereçam ser lembradas disso com mais frequência, especialmente por parte das empresas que os desenvolvem.
James O Donnell