Dois futuros
Hans de Zwart, um professor de educação física que se tornou defensor dos direitos digitais, diz que, quando viu o plano de Amesterdão para usar um algoritmo para avaliar todos os candidatos a subsídios sociais da cidade quanto a possíveis fraudes, quase caiu da cadeira.
Era fevereiro de 2023, e de Zwart, que tinha sido diretor executivo da Bits of Freedom, a principal ONG de direitos digitais dos Países Baixos, trabalhava como consultor informal do governo da cidade de Amesterdão há quase dois anos, revendo e dando feedback sobre os sistemas de inteligência artificial que estavam a ser desenvolvidos.
De acordo com a documentação da cidade, este modelo específico de IA, conhecido como “Smart Check”, analisaria as candidaturas de potenciais beneficiários de apoio social e determinaria quem poderia ter apresentado um pedido incorreto. Mais do que qualquer outro projeto que tivesse chegado à sua mesa, este destacou-se imediatamente, disse ele, e não de forma positiva. “Há alguns problemas muito fundamentais [e] impossíveis de corrigir,” afirma, ao falar sobre o uso deste algoritmo “em pessoas reais.”
Da sua posição atrás da vasta parede de janelas de vidro na câmara municipal de Amesterdão, Paul de Koning, um consultor da cidade cujo currículo inclui passagens por várias agências do sistema de bem-estar social holandês, observava o mesmo sistema com orgulho. De Koning, que geriu a fase piloto do Smart Check, estava entusiasmado com o que via como o potencial do projeto para melhorar a eficiência e eliminar o viés do sistema de benefícios sociais de Amesterdão.
Uma equipa de investigadores de fraudes e cientistas de dados tinha passado anos a trabalhar no Smart Check, e de Koning acreditava que os resultados iniciais promissores validavam a sua abordagem. A cidade consultou especialistas, realizou testes de viés, implementou salvaguardas técnicas e pediu feedback às pessoas que seriam afetadas pelo programa, seguindo, mais ou menos, todas as recomendações do manual de IA ética. “Tive uma boa sensação,” disse ele.
Estes pontos de vista opostos representam um debate global sobre se os algoritmos poderão algum dia ser justos ao tomarem decisões que moldam a vida das pessoas. Nos últimos anos de esforços para usar a Inteligência Artificial dessa forma, exemplos de danos colaterais acumularam-se: candidatos a emprego não brancos a serem eliminados dos processos de seleção nos EUA, famílias a serem injustamente sinalizadas para investigações de abuso infantil no Japão e moradores de baixos rendimentos a serem negados em programas de subsídios alimentares na Índia.
Os defensores destes sistemas de avaliação argumentam que eles podem criar serviços públicos mais eficientes, fazendo mais com menos e, no caso dos sistemas de bem-estar, recuperando dinheiro que estaria a ser perdido dos cofres públicos. Na prática, muitos destes sistemas foram mal concebidos desde o início. Por vezes, levam em conta características pessoais de uma forma que conduz à discriminação, e, por vezes, foram implementados sem testar o viés ou a eficácia. Em geral, oferecem poucas opções para as pessoas contestarem, ou mesmo compreenderem, as ações automatizadas que afetam diretamente a sua vida.
O resultado foi mais de uma década de escândalos. Em resposta, legisladores, burocratas e o setor privado, de Amesterdão a Nova Iorque, de Seul à Cidade do México, têm tentado redimir-se criando sistemas algorítmicos que integrem os princípios da “IA responsável”, uma abordagem que visa guiar o desenvolvimento da IA para beneficiar a sociedade enquanto minimiza as consequências negativas.
Desenvolver e implementar IA ética é uma prioridade para a União Europeia, e o mesmo era verdade para os Estados Unidos sob o ex-presidente Joe Biden, que lançou um esboço para uma Carta de Direitos da IA. Esse plano foi revogado pela administração Trump, que removeu considerações de equidade e justiça, incluindo na tecnologia, a nível nacional. No entanto, sistemas influenciados por estes princípios continuam a ser testados por líderes em países, estados, províncias e cidades, que têm imenso poder para tomar decisões como quem contratar, quando investigar casos de possível abuso infantil e quais moradores devem receber serviços prioritariamente.
Amesterdão realmente pensava que estava no caminho certo. Os funcionários municipais do departamento de bem-estar social acreditavam que poderiam desenvolver uma tecnologia que impedisse fraudes ao mesmo tempo que protegia os direitos dos cidadãos. Seguiram estas melhores práticas emergentes e investiram uma enorme quantidade de tempo e dinheiro num projeto que, eventualmente, processou candidaturas de apoio social em tempo real. Mas, no seu projeto-piloto, descobriram que o sistema que tinham criado ainda não era justo nem eficaz. Porquê?
A Lighthouse Reports, a MIT Technology Review e o jornal holandês Trouw tiveram acesso sem precedentes ao sistema para tentar descobrir. Em resposta a um pedido de acesso a documentos públicos, a cidade divulgou várias versões do algoritmo Smart Check e dados sobre como este avaliava requerentes reais de benefícios sociais, oferecendo-nos uma visão única sobre se, nas melhores condições possíveis, os sistemas algorítmicos podem cumprir as suas promessas ambiciosas.
A resposta a essa questão está longe de ser simples. Para de Koning, o Smart Check representava um avanço tecnológico rumo a um sistema de bem-estar mais justo e transparente. Para de Zwart, representava um risco substancial para os direitos dos beneficiários de apoio social, que nenhum ajuste técnico poderia corrigir. À medida que este experimento algorítmico se desenrolava ao longo de vários anos, colocou em causa a premissa central do projeto: se a IA responsável pode ser mais do que um experimento teórico ou um argumento de venda corporativo, e realmente tornar os sistemas algorítmicos justos no mundo real.
Uma oportunidade de redenção
Compreender como Amesterdão se viu a conduzir um empreendimento de alto risco com prevenção de fraudes baseada em IA exige recuar quatro décadas, até um escândalo nacional sobre investigações de apoio social que ultrapassaram os limites.
Em 1984, Albine Grumböck, uma mãe solteira divorciada com três filhos, recebia benefícios sociais há vários anos quando soube que um dos seus vizinhos, funcionário do escritório local de serviços sociais, tinha espionado secretamente a sua vida. Ele documentou visitas de um amigo do sexo masculino que, teoricamente, poderia ter contribuído com uma renda não declarada para a família. Com base nas suas observações, o gabinete de apoio social cortou os benefícios a Grumböck. Ela contestou a decisão em tribunal e ganhou.
Apesar da sua luta pessoal, a política de apoio social dos Países Baixos continuou a facultar aos investigadores de fraudes, por vezes apelidados de “contadores de escovas de dentes”, a capacidade de vasculhar a vida das pessoas. Isso ajudou a criar uma atmosfera de desconfiança que provoca problemas para ambos os lados, diz Marc van Hoof, advogado que tem ajudado beneficiários de apoio social nos Países Baixos a navegar pelo sistema durante décadas: “O governo não confia no seu povo, e o povo não confia no governo.”
Harry Bodaar, funcionário público de carreira, observou de perto a política de apoio social dos Países Baixos ao longo de grande parte desse tempo: primeiro como assistente social, depois como investigador de fraudes e agora como consultor de políticas sociais da cidade. Os últimos 30 anos mostraram-lhe que “o sistema é mantido por elásticos e molas,” diz ele. “E se estás na base desse sistema, és o primeiro a cair nas lacunas.”
Fazer o sistema funcionar melhor para os beneficiários, acrescenta, foi um grande motivo quando a cidade começou a desenhar o Smart Check em 2019. “Queríamos fazer uma verificação justa apenas às pessoas que realmente achávamos que precisavam ser verificadas,” diz Bodaar, em contraste com a política anterior do departamento, que até 2007 implicava realizar visitas domiciliárias a todos os requerentes.
Mas ele também sabia que os Países Baixos se tinham tornado uma espécie de “ponto zero” para implementações problemáticas de IA no apoio social. As tentativas do governo holandês de modernizar a deteção de fraudes através da IA falharam em várias ocasiões notórias.
Em 2019, foi revelado que o governo nacional usava um algoritmo para criar perfis de risco, com a esperança de ajudar a identificar fraudes no sistema de benefícios de creche. O escândalo resultante levou a que quase 35.000 pais, a maioria migrantes ou filhos de migrantes, fossem erroneamente acusados de fraude no sistema de apoio ao longo de seis anos. Isso colocou famílias em dívida, empurrou algumas para a pobreza e, por fim, levou toda a administração a demitir-se em 2021.
Em Roterdão, uma investigação de 2023 realizada pela Lighthouse Reports sobre um sistema de deteção de fraudes no apoio social descobriu que este era tendencioso contra mulheres, pais, pessoas que não falam holandês como língua materna e outros grupos vulneráveis, o que levou a cidade a suspender a utilização do sistema. Outras cidades, como Amesterdão e Leiden, usaram um sistema chamado Fraud Scorecard, implementado pela primeira vez há mais de 20 anos, que incluía educação, bairro, paternidade e género como fatores rudimentares de risco para avaliar os requerentes de benefícios sociais. Esse programa também foi descontinuado.
Os Países Baixos não estão sozinhos. Nos Estados Unidos, houve pelo menos 11 casos em que governos estaduais utilizaram algoritmos para ajudar a distribuir benefícios públicos, segundo o Benefits Tech Advocacy Hub, uma ONG, frequentemente com resultados problemáticos. O Michigan, por exemplo, acusou falsamente 40.000 pessoas de cometer fraudes no seguro de desemprego. E em França, ativistas estão a processar a autoridade nacional de bem-estar devido a um algoritmo que, segundo eles, discrimina requerentes de baixos rendimentos e pessoas com deficiência.
Esta sequência de escândalos, além de uma crescente consciencialização sobre como a discriminação racial pode estar incorporada nos sistemas algorítmicos, ajudou a impulsionar a crescente ênfase na IA responsável. “Tornou-se um termo guarda-chuva para dizer que precisamos de pensar não apenas em ética, mas também em justiça”, diz Jiahao Chen, consultor de IA ética que prestou serviços de auditoria tanto para entidades privadas como para governos locais. “Acho que estamos a assistir a esta perceção de que precisamos de coisas como transparência e privacidade, segurança e proteção, e assim por diante.”
Esta abordagem, baseada num conjunto de ferramentas destinadas a controlar os danos causados pela proliferação da tecnologia, deu origem a um campo em rápido crescimento construído sobre uma fórmula familiar: white papers e frameworks de think tanks e organismos internacionais, além de uma indústria de consultoria lucrativa formada por grandes players tradicionais, como as Big 5 consultoras, bem como uma série de startups e ONGs. Em 2019, por exemplo, a Organização para a Cooperação e Desenvolvimento Económico (OCDE), um organismo global de políticas económicas, publicou os seus Princípios sobre Inteligência Artificial como um guia para o desenvolvimento de “IA fiável”. Esses princípios incluem a construção de sistemas explicáveis, a consulta a partes interessadas públicas e a realização de auditorias.
Mas o legado deixado por décadas de má conduta algorítmica tem-se revelado difícil de ultrapassar, e há pouco consenso sobre onde traçar a linha entre o que é justo e o que não é. Enquanto os Países Baixos trabalham para instituir reformas moldadas pela IA responsável ao nível nacional, a Algorithm Audit, uma ONG holandesa que tem prestado serviços de auditoria de IA ética para ministérios governamentais, concluiu que a tecnologia deve ser usada para fazer perfis de beneficiários de bem-estar apenas sob condições estritamente definidas e apenas se os sistemas evitarem considerar características protegidas, como o género. Entretanto, a Amnistia Internacional, defensores dos direitos digitais como de Zwart, e alguns próprios beneficiários de bem-estar argumentam que, quando se trata de tomar decisões sobre a vida das pessoas, como no caso dos serviços sociais, o setor público não deveria usar IA de forma alguma.
Amesterdão esperava ter encontrado o equilíbrio certo. “Aprendemos com as coisas que aconteceram antes de nós,” diz Bodaar, o consultor de políticas, sobre os escândalos passados. E desta vez, a cidade queria construir um sistema que “mostrasse ao povo de Amesterdão que fazemos o bem e fazemos o justo.”
Encontrar uma forma melhor
Sempre que um residente de Amesterdão solicita benefícios, um assistente social revê a candidatura em busca de irregularidades. Se uma candidatura parecer suspeita, pode ser enviada para o departamento de investigações da cidade, o que pode levar a uma rejeição, a um pedido para corrigir erros na documentação ou a uma recomendação para que o candidato receba menos dinheiro. As investigações também podem ocorrer mais tarde, após a distribuição dos benefícios; o resultado pode obrigar os beneficiários a devolver os fundos e até mesmo empurrar alguns para a dívida.
Os funcionários têm ampla autoridade sobre os requerentes e beneficiários existentes. Podem solicitar registos bancários, convocar os beneficiários para a câmara municipal e, em alguns casos, fazer visitas não anunciadas à casa de uma pessoa. À medida que as investigações são realizadas, ou erros na documentação corrigidos, pagamentos tão necessários podem ser atrasados. E muitas vezes a cidade não encontra provas de irregularidade. Isso acontece em mais de metade das investigações de candidaturas, segundo números fornecidos por Bodaar. Nestes casos, isso pode significar que a cidade “incomodou indevidamente as pessoas,” diz Bodaar.
O sistema Smart Check foi concebido para evitar esses cenários ao substituir, eventualmente, o assistente social inicial, responsável por identificar quais casos devem ser enviados para o departamento de investigações. O algoritmo faria a triagem das candidaturas para identificar aquelas mais propensas a envolver erros graves, com base em certas características pessoais, e redirecionaria esses casos para uma análise mais aprofundada pela equipa de fiscalização.
Se tudo corresse bem, escreveu a cidade na sua documentação interna, o sistema melhoraria o desempenho dos seus assistentes sociais humanos, sinalizando menos requerentes de benefícios para investigação, ao mesmo tempo que identificaria uma maior proporção de casos com erros. Num dos documentos, a cidade projetou que o modelo impediria até 125 cidadãos de enfrentarem cobranças de dívidas e pouparia €2,4 milhões anualmente.
O Smart Check era uma perspetiva entusiasmante para os funcionários da cidade como Paul de Koning, que iria gerir o projeto quando fosse implementado. Estava otimista, já que a cidade estava a adotar uma abordagem científica, como ele diz; “veríamos se funcionava” em vez de assumir a postura de “isto tem de funcionar e, aconteça o que acontecer, vamos continuar com isto.”
Era o tipo de ideia arrojada que atraía técnicos otimistas como Loek Berkers, um cientista de dados que trabalhou no Smart Check no seu segundo emprego após a universidade. Falando num café escondido atrás da câmara municipal de Amesterdão, Berkers lembra-se de ter ficado impressionado no primeiro contacto com o sistema: “Especialmente para um projeto dentro da câmara municipal,” diz ele, “era claramente um tipo de projeto inovador que estava a tentar algo novo.”
O Smart Check utilizava um algoritmo chamado “máquina de aumento explicável”, que permite que as pessoas compreendam mais facilmente como os modelos de IA produzem as suas previsões. A maioria dos outros modelos de aprendizagem automática é frequentemente considerada uma “caixa negra”, executando processos matemáticos abstratos difíceis de entender tanto para os funcionários responsáveis pela sua utilização como para as pessoas afetadas pelos resultados.
O modelo do Smart Check considerava 15 características, incluindo se os requerentes já tinham solicitado ou recebido apoios anteriormente, o valor dos seus bens e o número de endereços registados, para atribuir um score de risco a cada pessoa. Evitava propositadamente fatores demográficos, como género, nacionalidade ou idade, que poderiam conduzir a viés. Também tentava evitar fatores “proxy”, como códigos postais, que podem não parecer sensíveis à primeira vista, mas podem tornar-se, por exemplo, se um código postal estiver estatisticamente associado a um grupo étnico específico.
Numa medida invulgar, a cidade divulgou essas informações e partilhou várias versões do modelo Smart Check connosco, convidando efetivamente o escrutínio externo sobre o design e a função do sistema. Com esses dados, fomos capazes de criar um hipotético beneficiário de apoio social para obter uma visão de como um requerente individual seria avaliado pelo Smart Check.
Esse modelo foi treinado com um conjunto de dados que abrangia 3.400 investigações anteriores de beneficiários de apoio social. A ideia era que usasse os resultados dessas investigações, realizadas por funcionários da cidade, para descobrir quais fatores nas candidaturas iniciais estavam correlacionados com potenciais fraudes.
Mas utilizar investigações passadas traz problemas potenciais desde o início, diz Sennay Ghebreab, diretor científico do Civic AI Lab (CAIL) da Universidade de Amesterdão, um dos grupos externos com os quais a cidade afirma ter consultado. O problema de usar dados históricos para construir os modelos, explica ele, é que “acabaremos [com] vieses históricos.” Por exemplo, se os assistentes sociais cometeram historicamente mais erros com um grupo étnico específico, o modelo poderia aprender incorretamente a prever que esse grupo comete fraudes com maior frequência.
A cidade decidiu auditar rigorosamente o seu sistema para tentar identificar tais vieses contra grupos vulneráveis. Mas como o viés deve ser definido e, por conseguinte, o que realmente significa para um algoritmo ser justo, é uma questão de intenso debate. Ao longo da última década, os académicos propuseram dezenas de noções matemáticas concorrentes de justiça, algumas das quais são incompatíveis. Isso significa que um sistema concebido para ser “justo” de acordo com um desses padrões inevitavelmente violará outros.
Os funcionários de Amesterdão adotaram uma definição de justiça que se concentrava em distribuir igualmente o ónus das investigações erradas entre diferentes grupos demográficos.
Feedback misto
Enquanto construía o Smart Check, Amesterdão consultou diversos organismos públicos sobre o modelo, incluindo o encarregado da proteção de dados interno da cidade e a Comissão de Dados Pessoais de Amesterdão. Também consultou organizações privadas, como a empresa de consultoria Deloitte. Cada uma deu a sua aprovação ao projeto.
Mas um grupo-chave não estava a bordo: o Conselho de Participação, um comité consultivo de 15 membros composto por beneficiários de apoio social, defensores e outros representantes de partes interessadas não governamentais que defendem os interesses das pessoas que o sistema foi projetado para ajudar e fiscalizar. O comité, tal como de Zwart, o defensor dos direitos digitais, estava profundamente preocupado com o que o sistema poderia significar para indivíduos já em posições precárias.
Anke van der Vliet, agora com mais de 70 anos, é uma membro de longa data do conselho. Depois de se sentar lentamente, com a ajuda do seu andarilho, numa cadeira de um restaurante no bairro Zuid de Amesterdão, onde vive, retira os seus óculos de leitura do estojo. “Desconfiámos desde o início,” diz ela, retirando uma pilha de papéis que guardou sobre o Smart Check. “Toda a gente era contra.”
Há décadas que tem sido uma defensora constante dos beneficiários de apoio social da cidade, um grupo que, até ao final de 2024, deverá chegar a cerca de 35.000 pessoas. No final dos anos 1970, ajudou a fundar o Women on Welfare, um grupo dedicado a expor os desafios únicos enfrentados pelas mulheres dentro do sistema de apoio social.
Os funcionários da cidade apresentaram o seu plano ao Conselho de Participação no outono de 2021. Membros como van der Vliet estavam profundamente céticos. “Queríamos saber: isto é vantajoso ou desvantajoso para mim?” diz ela.
Mais duas reuniões não conseguiram convencê-los. O feedback do conselho levou a mudanças importantes, incluindo a redução do número de variáveis que a cidade inicialmente considerou para calcular a pontuação de um requerente e a exclusão de variáveis que poderiam introduzir viés, como a idade, do sistema. Mas o Conselho de Participação deixou de se envolver nos esforços de desenvolvimento da cidade completamente após seis meses. “O Conselho tem a opinião de que tal experimento afeta os direitos fundamentais dos cidadãos e deve ser descontinuado,” escreveu o grupo em março de 2022. Como apenas cerca de 3% das candidaturas a benefícios sociais são fraudulentas, continuava a carta, o uso do algoritmo era “desproporcional.”
De Koning, o gestor do projeto, é céptico quanto à possibilidade de o sistema alguma vez ter recebido a aprovação de van der Vliet e dos seus colegas. “Acho que nunca iria funcionar que o Conselho de Participação inteiro apoiasse a ideia do Smart Check,” diz ele. “Havia muita emoção nesse grupo sobre todo o processo do sistema de benefícios sociais.” Acrescenta: “Eles estavam muito assustados com a possibilidade de outro escândalo.”
Mas para os defensores que trabalham com beneficiários de apoio social, e para alguns dos próprios beneficiários, a preocupação não era um escândalo, mas sim o risco de danos reais. A tecnologia não só poderia cometer erros prejudiciais, como também tornar ainda mais difícil corrigi-los — permitindo que os funcionários dos serviços sociais “se escondessem atrás de paredes digitais,” diz Henk Kroon, um defensor que apoia beneficiários de apoio social na Associação de Apoio Social de Amesterdão, um sindicato fundado na década de 1970. Um sistema desse tipo poderia tornar o trabalho “fácil para [os funcionários],” afirma ele. “Mas para os cidadãos comuns, é muito frequentemente o problema.”
Hora de testar
Apesar das objeções finais do Conselho de Participação, a cidade decidiu seguir em frente e testar o modelo funcional do Smart Check.
Os primeiros resultados não foram os esperados. Quando a equipa de análise avançada da cidade executou o modelo inicial em maio de 2022, descobriu que o algoritmo apresentava um forte viés contra migrantes e homens, o que conseguimos verificar de forma independente.
Como a cidade nos informou, e a nossa análise confirmou, o modelo inicial era mais propenso a sinalizar incorretamente candidatos não holandeses. E era quase duas vezes mais provável sinalizar erroneamente um requerente com nacionalidade não ocidental do que um com nacionalidade ocidental. O modelo também tinha 14% mais probabilidade de sinalizar erroneamente homens para investigação.
No processo de treino do modelo, a cidade também recolheu dados sobre quem os seus trabalhadores humanos tinham sinalizado para investigação e a quais grupos pertenciam os indivíduos sinalizados de forma incorreta com mais frequência. Em essência, realizaram um teste de viés no seu próprio sistema analógico — uma forma importante de benchmarking que raramente é feita antes de se implementar tais sistemas.
O que descobriram no processo liderado pelos trabalhadores foi um padrão diferente. Enquanto o modelo Smart Check era mais propenso a sinalizar erroneamente não holandeses e homens, os trabalhadores humanos eram mais propensos a sinalizar erroneamente holandeses e mulheres.
A equipa por detrás do Smart Check sabia que, se não conseguissem corrigir o viés, o projeto seria cancelado. Por isso, recorreram a uma técnica da investigação académica, conhecida como reponderação dos dados de treino. Na prática, isso significava que os requerentes com nacionalidade não ocidental, que foram considerados como tendo cometido erros significativos nas suas candidaturas, receberam menos peso nos dados, enquanto aqueles com nacionalidade ocidental receberam mais.
Eventualmente, isso parecia resolver o problema: como confirma a análise da Lighthouse, uma vez que o modelo foi reponderado, cidadãos holandeses e não holandeses tinham a mesma probabilidade de serem sinalizados de forma errada.
De Koning, que se juntou à equipa do Smart Check após a reponderação dos dados, disse que os resultados foram um sinal positivo: “Como foi justo… pudemos continuar o processo.”
O modelo também parecia ser melhor do que os assistentes sociais na identificação de candidaturas que mereciam uma atenção extra, com testes internos a mostrarem uma melhoria de 20% na precisão.
Impulsionada por esses resultados, na primavera de 2023, a cidade estava quase pronta para tornar o projeto público. Submeteu o Smart Check ao Registo de Algoritmos, uma iniciativa governamental de transparência destinada a manter os cidadãos informados sobre algoritmos de aprendizagem automática em desenvolvimento ou já em uso pelo governo.
Para de Koning, as extensas avaliações e consultas da cidade foram encorajadoras, especialmente porque também revelaram os preconceitos do sistema analógico. Mas para de Zwart, esses mesmos processos representaram um profundo equívoco: a ideia de que a justiça poderia ser engenheirada.
Numa carta dirigida aos responsáveis da cidade, de Zwart criticou a premissa do projeto e, mais especificamente, delineou as consequências não intencionais que poderiam resultar da reponderação dos dados. Isso poderia reduzir o preconceito contra pessoas com histórico migratório em geral, mas não garantiria justiça para identidades interseccionais; o modelo ainda poderia discriminar mulheres com histórico migratório, por exemplo. E mesmo que essa questão fosse resolvida, argumentava ele, o modelo ainda poderia tratar injustamente mulheres migrantes em determinados códigos postais — e assim sucessivamente. E esses preconceitos seriam difíceis de detetar.
“A cidade usou todas as ferramentas do kit de ferramentas de IA responsável,” disse de Zwart. “Eles têm um teste de preconceito, uma avaliação de direitos humanos; [levaram em conta] o preconceito da automatização, em resumo, tudo o que o mundo da IA responsável recomenda. No entanto, o município continuou com algo que é fundamentalmente uma má ideia.”
No final, ele disse-nos que a questão é se é legítimo usar dados sobre comportamentos passados para julgar “comportamentos futuros dos seus cidadãos que, fundamentalmente, não pode prever.”
Os responsáveis ainda insistiram e definiram março de 2023 como a data para o início do piloto. Os membros do conselho municipal de Amesterdão foram informados com pouco aviso. De facto, só foram informados no mesmo mês, para desapontamento de Elisabeth IJmker, uma membro de primeiro mandato do Partido Verde, que conciliava o seu papel no governo municipal com pesquisas sobre religião e valores na Universidade Vrije de Amesterdão.
“Ler as palavras ‘algoritmo’ e ‘prevenção de fraudes’ numa frase, acho que isso merece uma discussão,” disse-nos ela. Mas, quando tomou conhecimento do projeto, a cidade já estava a trabalhar nele há anos. Para ela, estava claro que o conselho municipal estava “a ser informado” em vez de ser convidado a votar sobre o sistema.
A cidade esperava que o piloto pudesse provar que os cépticos como ela estavam errados.
Aumentando as apostas
O lançamento formal do Smart Check começou com um conjunto limitado de candidatos reais para benefícios sociais, cujos documentos a cidade processaria pelo algoritmo e atribuiria uma pontuação de risco para determinar se a candidatura deveria ser sinalizada para investigação. Ao mesmo tempo, um humano revisaria a mesma candidatura.
O desempenho do Smart Check seria monitorizado em dois critérios-chave. Primeiro, poderia ele considerar os requerentes sem preconceito? E, em segundo lugar, o Smart Check era realmente inteligente? Em outras palavras, a matemática complexa que compunha o algoritmo conseguiria detetar fraudes no bem-estar social de forma mais eficaz e justa do que os trabalhadores humanos de casos?
Não demorou muito para ficar claro que o modelo falhou em ambos os aspetos.
Embora tenha sido concebido para reduzir o número de requerentes de bem-estar social sinalizados para investigação, estava a sinalizar mais. E não provou ser melhor do que um trabalhador humano em identificar aqueles que realmente mereciam atenção extra.
Além disso, apesar dos esforços da cidade para recalibrar o sistema, o preconceito ressurgiu no piloto em funcionamento. Mas, desta vez, em vez de sinalizar erroneamente pessoas não holandesas e homens como nos testes iniciais, o modelo estava agora mais propenso a sinalizar erroneamente requerentes com nacionalidade holandesa e mulheres.
A análise da Lighthouse também revelou outras formas de preconceito não mencionadas na documentação da cidade, incluindo uma maior probabilidade de que requerentes de benefícios sociais com filhos fossem erroneamente sinalizados para investigação.
(Um porta-voz de Amesterdão enviou um comentário após a publicação para observar que “ao realizar a análise de preconceito, [ela] não verificou se um requerente de benefícios tinha filhos ou não.” O porta-voz também acrescentou que a “política de bem-estar da cidade tem sido pioneira há anos no que diz respeito à confiança e à não penalização de pessoas que cometeram erros. Várias alterações políticas foram implementadas e arranjos feitos para isso”; mas observam que a cidade também atingiu “os limites do espaço político local que os municípios têm,” uma vez que “o sistema nacional de bem-estar gera desconfiança e obriga os municípios a punir.”)
A cidade estava bloqueada. Quase 1.600 candidaturas de apoio social tinham sido processadas pelo modelo durante o período piloto. Mas os resultados significavam que os membros da equipa estavam desconfortáveis em continuar os testes, especialmente quando poderiam haver consequências reais. Em resumo, diz de Koning, a cidade não podia “dizer definitivamente” que “isto não está a discriminar.”
Ele, e outros que trabalhavam no projeto, não acreditavam que isso fosse necessariamente motivo para descartar o Smart Check. Queriam mais tempo, digamos, “um período de 12 meses,” de acordo com de Koning, para continuar a testar e a aperfeiçoar o modelo.
Sabiam, no entanto, que isso seria difícil de vender.
No final de novembro de 2023, Rutger Groot Wassink, o responsável da cidade pelos assuntos sociais, tomou o seu lugar na câmara do conselho de Amesterdão. Olhou para o tablet à sua frente e então dirigiu-se à sala: “Decidi parar o piloto.”
O anúncio pôs fim ao abrangente experimento de vários anos. Numa outra reunião do conselho, alguns meses depois, explicou por que o projeto foi encerrado: “Teria sido muito difícil justificar, se tivéssemos feito um piloto… que mostrasse que o algoritmo continha um enorme viés,” disse ele. “Haveria partidos que me teriam criticado com razão por isso.”
Visto de certa perspetiva, a cidade testou uma abordagem inovadora para identificar fraudes de uma forma concebida para minimizar os riscos, descobriu que não cumpria as suas promessas e descartou-a antes que as consequências para pessoas reais tivessem a hipótese de se multiplicar.
Mas para IJmker e alguns dos seus colegas do conselho municipal focados no bem-estar social, havia também a questão do custo de oportunidade. Ela recorda ter conversado com um colega sobre como a cidade poderia ter gasto esse dinheiro de outra forma, como “contratar mais pessoas para estabelecer contacto pessoal com as diferentes pessoas que estamos a tentar alcançar.”
Os membros do conselho municipal nunca foram informados exatamente sobre o custo do esforço, mas, em resposta a perguntas da MIT Technology Review, Lighthouse e Trouw sobre esse tema, a cidade estimou ter gasto cerca de €500.000, além de €35.000 para o contrato com a Deloitte, mas alertou que o valor total investido no projeto era apenas uma estimativa, dado que o Smart Check foi desenvolvido internamente por várias equipas.
Por sua vez, van der Vliet, membro do Conselho de Participação, não ficou surpreendida com o resultado negativo. A possibilidade de um sistema computadorizado discriminatório foi “precisamente uma das razões” pelas quais o seu grupo não queria o piloto, diz ela. E quanto à discriminação no sistema existente? “Sim,” diz de forma direta. “Mas sempre dissemos que [era discriminatório].”
Ela e outros defensores gostariam que a cidade tivesse-se focado mais no que viam como os problemas reais enfrentados pelos beneficiários do apoio social: os aumentos no custo de vida que, tipicamente, não foram acompanhados por aumentos nos benefícios; a necessidade de documentar cada alteração que pudesse afetar a elegibilidade para os benefícios; e a desconfiança com que se sentem tratados pela câmara municipal.
Este tipo de algoritmo pode ser feito corretamente?
Quando conversámos com Bodaar em março, um ano e meio após o fim do piloto, ele foi direto nas suas reflexões. “Talvez tenha sido infeliz usar imediatamente um dos sistemas mais complicados,” disse ele, “e talvez seja simplesmente o caso de que ainda não é… o momento de usar inteligência artificial para esse objetivo.”
“Nada, zero, nada. Não vamos fazer isso mais,” disse sobre o uso de IA para avaliar candidatos ao apoio social. “Mas ainda estamos a pensar nisso: O que exatamente aprendemos?”
Esta é uma pergunta que IJmker também reflete. Nas reuniões do conselho municipal, tem citado o Smart Check como um exemplo do que não fazer. Embora estivesse satisfeita que os funcionários da cidade tivessem sido cuidadosos nos seus “muitos protocolos”, preocupava-se que o processo obscurecesse algumas das grandes questões de “valores filosóficos” e “políticos” que a cidade ainda não tinha ponderado como questão política.
Questões como “De que forma realmente olhamos para o perfilamento?” ou “O que consideramos justificável?”, ou até mesmo “O que é viés?”
Estas questões são, “onde entra a política, ou a ética,” diz ela, “e isso é algo que não se pode colocar numa caixa de seleção.”
Mas agora que o piloto foi interrompido, ela preocupa-se que os seus colegas responsáveis da cidade possam estar demasiado ansiosos por avançar. “Acho que muitas pessoas estavam simplesmente tipo, ‘Ok, bem, fizemos isto. Terminámos, tchau, fim da história,'” diz ela. Parece uma “perda,” acrescenta, “porque as pessoas trabalharam nisso durante anos.”
Ao abandonar o modelo, a cidade regressou a um processo analógico que a sua própria análise concluiu ser tendencioso contra mulheres e cidadãos holandeses, um facto não ignorado por Berkers, o cientista de dados que já não trabalha para a cidade. Ao encerrar o piloto, diz ele, a cidade evitou a verdade desconfortável de que muitas das preocupações levantadas por de Zwart sobre os vieses complexos e múltiplos dentro do modelo Smart Check também se aplicam ao processo liderado pelos trabalhadores de caso.
“Essa é a coisa que acho um pouco difícil sobre a decisão,” diz Berkers. “É um pouco como não decidir. É uma decisão de voltar ao processo analógico, que por si só tem características como o viés.”
Chen, o consultor de IA ética, concorda amplamente. “Por que mantemos os sistemas de IA a um padrão mais elevado do que os agentes humanos?” pergunta ele. Quando se trata dos trabalhadores humanos, diz, “não houve tentativa de corrigir [o viés] de forma sistemática.” Amesterdão prometeu escrever um relatório sobre os vieses humanos no processo de bem-estar, mas a data foi adiada várias vezes.
“Na realidade, o que a ética implica na prática é: nada é perfeito,” diz ele. “Há uma coisa a nível elevado: Não discriminar, com a qual acho que todos podemos concordar, mas este exemplo destaca algumas das complexidades de como se traduz esse [princípio].” Em última análise, Chen acredita que encontrar qualquer solução exigirá tentativa e erro, o que por definição geralmente envolve erros: “Tem de pagar esse custo.”
Mas talvez seja altura de reconsiderar mais fundamentalmente como a justiça deve ser definida e por quem. Para além das definições matemáticas, alguns investigadores defendem que as pessoas mais afetadas pelos programas em questão devem ter uma voz maior. “Esses sistemas só funcionam quando as pessoas acreditam neles,” explica Elissa Redmiles, professora auxiliar de ciência da computação na Universidade de Georgetown, que estudou a justiça algorítmica.
Não importa qual seja o processo, estas são questões com que todo o governo terá de lidar com urgência num futuro cada vez mais definido pela IA.
E, como argumenta de Zwart, se questões mais amplas não forem abordadas, até mesmo responsáveis bem-intencionados que implementam sistemas como o Smart Check em cidades como Amesterdão estarão condenados a aprender, ou ignorar, as mesmas lições repetidamente.
“Estamos a ser seduzidos por soluções tecnológicas para os problemas errados,” diz ele. “Devemos realmente querer isto? Porque é que a câmara municipal não constrói um algoritmo que procure pessoas que não solicitam assistência social, mas que têm direito a ela?”
Eileen Guo, Gabriel Geiger e Justin-Casimir Braun