Os chatbots de hoje são máquinas para tudo. Se algo pode ser expresso em palavras — conselhos sobre relações pessoais, documentos de trabalho, código — a IA produzi-lo-á, ainda que de forma imperfeita. Mas há algo que quase nenhum chatbot faz: parar de falar consigo.
Pode parecer razoável. Porque haveria uma empresa de tecnologia de criar uma funcionalidade que reduz o tempo que as pessoas passam a utilizar o seu produto?
A resposta é simples: a capacidade da IA de gerar fluxos intermináveis de texto com aparência humana, autoritária e útil pode alimentar espirais delirantes, agravar crises de saúde mental e prejudicar pessoas vulneráveis. Encerrar interações com utilizadores que demonstrem sinais de uso problemático de chatbots poderia funcionar como uma poderosa ferramenta de segurança (entre outras), e a recusa generalizada das empresas de tecnologia em adotá-la está a tornar-se insustentável.
Vejamos, por exemplo, o que tem sido descrito como psicose induzida por IA, quando modelos de IA amplificam pensamentos delirantes. Uma equipa liderada por psiquiatras do King’s College London analisou recentemente mais de uma dúzia desses casos relatados este ano. Em conversas com chatbots, pessoas, incluindo algumas sem histórico de problemas psiquiátricos, começaram a acreditar que personagens imaginários de IA eram reais ou que tinham sido escolhidas como uma espécie de messias. Algumas deixaram de tomar a medicação prescrita, fizeram ameaças e interromperam consultas com profissionais de saúde mental.
Em muitos desses casos, parece que os modelos de IA estavam a reforçar, e possivelmente até a criar, delírios com uma frequência e intimidade que as pessoas não experimentam na vida real, nem noutras plataformas digitais.
Os três quartos dos adolescentes norte-americanos que já recorreram à IA para companhia também enfrentam riscos. Investigações iniciais sugerem que conversas mais longas podem estar correlacionadas com sentimentos de solidão. Além disso, chats com IA “podem tender a interações excessivamente agradáveis ou até bajuladoras, o que pode entrar em conflito com as melhores práticas de saúde mental”, afirma Michael Heinz, professor assistente de psiquiatria na Geisel School of Medicine de Dartmouth.
Sejamos claros: interromper essas interações abertas não seria uma solução mágica. “Se existe uma dependência ou um vínculo extremo que foi criado”, diz Giada Pistilli, chefe de ética da plataforma de IA Hugging Face, “então também pode ser perigoso simplesmente parar a conversa.” De facto, quando a OpenAI descontinuou um modelo antigo em agosto, deixou utilizadores em luto. Algumas interrupções também podem desafiar o princípio defendido por Sam Altman de “tratar utilizadores adultos como adultos” e optar por permitir, e não encerrar, as conversas.
Atualmente, as empresas de IA preferem redirecionar conversas potencialmente prejudiciais, talvez levando os chatbots a recusarem-se a falar sobre determinados temas ou a sugerirem que as pessoas procurem ajuda. Mas esses redirecionamentos são facilmente contornáveis, quando acontecem.
Quando o jovem Adam Raine, de 16 anos, falou sobre os seus pensamentos suicidas com o ChatGPT, por exemplo, o modelo de facto o encaminhou para recursos de apoio em crise. Mas também o desencorajou de conversar com a mãe, manteve diálogos de até quatro horas por dia com ele, nos quais o suicídio era um tema recorrente, e deu feedback sobre o nó da corda que ele acabou por usar para se enforcar, segundo o processo movido pelos pais de Raine contra a OpenAI. (O ChatGPT adicionou recentemente controlos parentais em resposta.)
Houve vários momentos no caso trágico de Raine em que o chatbot poderia ter encerrado a conversa. Mas, perante o risco de agravar a situação, como poderão as empresas saber quando cortar o contacto é o mais adequado? Talvez seja quando um modelo de IA começa a incentivar o utilizador a evitar relações reais, sugere Pistilli, ou quando deteta temas delirantes. As empresas também teriam de definir durante quanto tempo deveriam bloquear os utilizadores de futuras conversas.
Escrever essas regras não será tarefa fácil, mas com as empresas sob pressão crescente, chegou a hora de tentar. Em setembro, a legislatura da Califórnia aprovou uma lei que exige maior intervenção das empresas de IA em conversas com crianças, e a Comissão Federal do Comércio (FTC) está a investigar se os bots de companhia mais populares priorizam o envolvimento dos utilizadores em detrimento da segurança.
Um porta-voz da OpenAI disse-me que a empresa ouviu de especialistas que manter o diálogo pode ser melhor do que encerrá-lo, mas que recorda aos utilizadores a importância de fazer pausas durante sessões prolongadas.
Apenas a Anthropic criou uma ferramenta que permite que os seus modelos encerrem conversas completamente. No entanto, esta aplica-se apenas a casos em que os utilizadores supostamente “prejudicam” o modelo, a Anthropic tem explorado se os modelos de IA são conscientes e, portanto, capazes de sofrer, através do envio de mensagens abusivas. A empresa não tem planos de utilizar essa funcionalidade para proteger pessoas.
Perante este cenário, é difícil não concluir que as empresas de IA estão a fazer pouco. É verdade que decidir quando uma conversa deve terminar é complexo. Mas permitir que isso, ou pior, a busca desenfreada por envolvimento a qualquer custo, faça com que as interações se prolonguem indefinidamente não é apenas negligência. É uma escolha.
James O Donnell