A Inteligência Artificial generativa fez disparar a produção de imagens de abuso sexual infantil. Agora, o principal órgão de investigação de exploração infantil nos Estados Unidos está a testar o uso de IA para distinguir imagens geradas pela própria tecnologia de material que retrata vítimas reais.
O Cyber Crimes Center (Centro de Crimes Cibernéticos) do Departamento de Segurança Interna dos Estados Unidos, que investiga casos de exploração infantil através de fronteiras internacionais, assinou um contrato de 150 mil dólares com a empresa Hive AI, sediada em São Francisco. O objetivo é utilizar um software capaz de identificar se um conteúdo foi gerado por IA.
O registo do contrato, publicado a 19 de setembro, contém vários trechos ocultados. O cofundador e CEO da empresa, Kevin Guo, disse à MIT Technology Review que não podia revelar detalhes, mas confirmou que o projeto envolve o uso de algoritmos de deteção de IA para identificar material de abuso sexual infantil.
O registo cita dados do National Center for Missing and Exploited Children (Centro Nacional para Crianças Desaparecidas e Exploradas), que reportou um aumento de 1.325% nos incidentes envolvendo IA generativa em 2024. “O enorme volume de conteúdo que circula online torna necessária a utilização de ferramentas automatizadas para processar e analisar dados de forma eficiente”, refere o documento.
A principal prioridade dos investigadores de exploração infantil é localizar e interromper qualquer abuso que esteja a ocorrer no momento. No entanto, a enxurrada de material gerado por IA tornou difícil determinar se as imagens retratam uma vítima real que esteja atualmente em risco. Uma ferramenta capaz de identificar com precisão vítimas reais seria de enorme ajuda na hora de priorizar os casos.
Identificar imagens geradas por IA “garante que os recursos investigativos sejam direcionados para casos que envolvam vítimas reais, maximizando o impacto do programa e protegendo indivíduos vulneráveis”, acrescenta o documento.
A Hive AI oferece ferramentas que criam vídeos e imagens, bem como uma variedade de soluções para moderação de conteúdo, capazes de sinalizar violência, spam e material sexual, e até de identificar figuras públicas. Em dezembro, a MIT Technology Review noticiou que a empresa estava a vender a sua tecnologia de deteção de deepfakes aos militares dos EUA.
Para identificar este tipo de material, a Hive disponibiliza uma ferramenta desenvolvida em parceria com a Thorn, uma organização sem fins lucrativos dedicada à segurança infantil, que pode ser integrada nas plataformas das empresas. Essa ferramenta utiliza um sistema de hashing, uma técnica que aplica uma função ou algoritmo para mapear os dados de um objeto a um valor inteiro representativo. Neste caso, atribui identificadores exclusivos a conteúdos que os investigadores sabem corresponder a imagens de abuso, bloqueando o seu envio. Esta ferramenta, e outras semelhantes, tornaram-se uma linha de defesa padrão nas empresas de tecnologia.
No entanto, estas soluções apenas identificam o conteúdo e não determinam se ele foi gerado por IA. A Hive desenvolveu uma ferramenta separada que consegue indicar se as imagens, em geral, foram criadas pela tecnologia. Segundo Guo, esta ferramenta não precisa de ser especificamente treinada para atuar sobre este tipo de material.
“Há uma determinada combinação subjacente de píxeis nesta imagem que podemos identificar como gerada por IA”, afirma. “Pode ser algo generalizável.”
Essa ferramenta, segundo Guo, é a que o Cyber Crimes Center utilizará para avaliar os materiais de abuso. Acrescenta ainda que a Hive realiza benchmarks (uma ferramenta de gestão utilizada para aperfeiçoar processos) das suas soluções de deteção para cada caso de uso específico que os clientes tenham em mente.
O National Center for Missing and Exploited Children, que participa nos esforços para travar a disseminação destes materiais de abuso, não respondeu aos pedidos de comentário sobre a eficácia de tais modelos de deteção a tempo da publicação.
No seu registo, o governo justifica a atribuição do contrato à Hive sem um processo de licitação competitiva. Embora partes dessa justificação estejam ocultadas, o documento faz referência principalmente a dois pontos também presentes numa apresentação de diapositivos da Hive. Um diz respeito a um estudo de 2024 da Universidade de Chicago, nos Estados Unidos, que concluiu que a ferramenta de deteção da empresa superou outros quatro detetores. O outro é o contrato celebrado com o Pentágono para identificar deepfakes (conteúdos falsos gerados por IA). O teste terá a duração de três meses.
James O Donnell