Fotos reais de crianças, retiradas das redes sociais, estão sendo utilizadas para a geração de material pornográfico com o uso de ferramentas de inteligência artificial, conforme investigação feita pelo Núcleo, em parceria com a AI Accountability Network. Esses conteúdos são compartilhados em fóruns da dark web.
De acordo com o relatório divulgado pela iniciativa na sexta-feira (9), pelo menos 18 crianças e adolescentes tiveram suas imagens, incluindo os rostos, usadas indevidamente nos conteúdos de abuso sexual infantil. Entre as vítimas, há atrizes, influenciadoras infantis e modelos.
Como é produzida a pornografia infantil com IA?
Para produzir o material pornográfico com fotos de crianças usando IA, os cibercriminosos recorrem a softwares de código aberto disponíveis online e que podem ser modificados. Eles também utilizam modelos de linguagem específicos, conhecidos como Low Ranking Adaptation (LoRas), para refinar as imagens.
- Modelos de geração de imagem a partir de descrições textuais como Stable Diffusion e Flux são acionados para iniciar a produção dos conteúdos;
- Em seguida, são utilizados os modelos LoRas, incluindo as versões com capacidade para emular famosos, políticos e outras personalidades;
- Focados em crianças e adolescentes, os conteúdos vão do sensual ao explícito, podendo incluir cenários fantasiosos como contos de fadas;
- Nos fóruns da dark web onde as montagens são divulgadas, participantes relatam que o principal desafio é treinar os modelos com fotos de boa qualidade;
- Quanto maior a qualidade da imagem e mais arquivos disponíveis, mais realista é o resultado;
- Um dos deepfakes precisou de 392 imagens e 20 repetições para ser gerado.
Segundo a reportagem, o modelo Flux foi o mais utilizado para a geração de conteúdos de abuso sexual infantil nas publicações analisadas pela investigação, mesmo não tem sido criado para tal. Desenvolvido pela Black Forest Labs, ele acumula milhões de downloads e foi adotado pelo chatbot Grok do X.
Gastando apenas US$ 1, ou menos de R$ 6 pela cotação do dia, cibercriminosos podem gerar 25 imagens de exploração infantil por meio da ferramenta. O custo é ainda mais baixo no Stable Diffusion, que permite criar 50 imagens pelo mesmo valor, facilitando a disseminação desses conteúdos.
O que dizem as empresas?
Assim como a Black Forest Labs, a Stability AI, criadora do Stable Diffusion, é parceira da Internet Watch Foundation, entidade dedicada a combater a exploração infantil. Dessa forma, ambas possuem acesso a uma lista de conteúdos restritos para impedir usos indevidos de suas ferramentas.
No entanto, esse mecanismo aparentemente não tem funcionado, com os modelos de IA sendo amplamente utilizados para gerar pornografia infantil. A Stability AI, inclusive, já esteve envolvida em uma denúncia que citava a presença de imagens de abuso infantil no treinamento de modelos abertos.
Sobre este caso revelado agora pelo Núcleo, a desenvolvedora não prestou esclarecimentos relacionados ao uso indevido do seu modelo nem a respeito das práticas de moderação. Ela se limitou a comentar que está comprometida em impedir a criação de conteúdos nocivos.
A empresa também afirmou que trabalha no aprimoramento dos padrões de segurança para impedir as ações de agentes mal-intencionados. Por sua vez, a Black Forest Labs não se pronunciou, até o momento.
Gostou do conteúdo? Continue se atualizando sobre tecnologia no TecMundo e nos siga também nas redes sociais.
Redirecionando…