Falhas nos Sistemas de Segurança de Modelos de IA para Geração de Imagens: Riscos e Desafios Detectados por Pesquisadores

Os avanços recentes na inteligência artificial (IA) têm possibilitado a criação de sistemas capazes de gerar imagens impressionantes e realistas, impulsionando diversas aplicações positivas. No entanto, enquanto esses modelos evoluem, também revelam vulnerabilidades críticas, especialmente na contenção de usos indevidos, como a produção de imagens sexualmente explícitas, nudes sem consentimento e material abusivo. Pesquisadores da organização White Circle realizaram estudos aprofundados demonstrando que as falhas na segurança desses sistemas continuam sendo uma preocupação latente, mesmo em versões mais recentes e supostamente mais seguras.

Modelos de IA e a Proteção Contra Conteúdo Inapropriado

Falando especificamente dos modelos de geração de imagens por IA, muitas empresas embarcam mecanismos de segurança e filtros automáticos para evitar a criação de conteúdo inapropriado. Entre os principais exemplos estão o DALL·E 3, Google Nano Banana 2 e GPT-Image-2. Apesar dessas estratégias, pesquisadores constataram que esses sistemas ainda deixam passar cerca de 13% das solicitações proibidas durante os testes realizados.

Para entender a extensão dessas falhas, a equipe utilizou uma técnica conhecida como Red-teaming via Iterative Strategy Evolution (RISE). Essa metodologia automatiza tentativas sucessivas de identificar brechas nos filtros, simulando ataques que um usuário mal-intencionado poderia realizar. Utilizando ferramentas gratuitas disponíveis na internet, como o modelo Qwen do Hugging Face e o Gemini 3.8 Flash, os pesquisadores conseguiram superar os mecanismos de bloqueio sem a necessidade de conhecimentos técnicos avançados.

O Aumento da Vulnerabilidade nas Versões Recentes

Os estudos mostraram que versões mais novas de ferramentas, como o ChatGPT Images 2.5 e Nano Banana 2.1, estão mais vulneráveis às tentativas de burlarem os filtros de segurança. Essa maior vulnerabilidade é preocupante, pois essas versões oferecem uma maior capacidade de gerar uma variedade diversa de imagens. Os pesquisadores da White Circle indicam que essa expansão de possibilidades pode estar relacionada ao foco das empresas em aprimorar desempenho, priorizando a qualidade e a velocidade de geração, muitas vezes às custas de mecanismos de proteção mais robustos.

A maior facilidade de contornar as restrições também reforça o risco de disseminação de conteúdo sensível, especialmente imagens falsas de pessoas reais ou de menores, potencializando ameaças à privacidade e segurança. Dados de uma pesquisa recente mostram que 20% dos usuários que admitiram criar nudes com IA disseram fazê-lo “por diversão” ou “como uma brincadeira”, o que indica que a motivação pode ser impulsionada por curiosidade, mesmo que a intenção inicial não seja maliciosa. Assim, o problema não se restringe apenas a criminosos ou indivíduos com más intenções, mas também envolve usuários ocasionais, facilitados pela fragilidade dos filtros.

O Crescimento Alarmante de Imagens de Abuso Infantil Sintéticas

Um dos aspectos mais preocupantes levantados pelos estudos é o aumento no uso de IA para produzir material de abuso sexual infantil. Dados provenientes da Internet Watch Foundation (IWF) revelaram que, nos primeiros seis meses de 2026, foram identificadas 6.310 imagens sintéticas relacionadas a esse tipo de abuso, representando uma alta de aproximadamente 40% em comparação ao total do ano anterior. Entre essas imagens, há fotos altamente realistas de crianças pequenas, incluindo menores de dois anos, o que reforça a gravidade da questão.

O CEO da White Circle, Denis Shilov, descreveu essas descobertas como “aterrorizantes” e alertou para o fato de que as mesmas vulnerabilidades que permitem a criação de conteúdo sexual explícito também podem ser exploradas para ataques mais graves, como invasão de sistemas, espionagem ou disseminação de desinformações. Essas brechas representam um risco real e urgente, que desafia o esforço conjunto de empresas de tecnologia, governos e organizações civis na busca por soluções eficazes.

Razões para o Aumento da Vulnerabilidade dos Modelos

Segundo especialistas, há duas hipóteses que explicam o crescimento da vulnerabilidade nos modelos mais recentes. A primeira é que essas versões ampliaram sua capacidade de gerar uma maior variedade de imagens, o que também aumenta as chances de contorno das restrições. A segunda hipótese sugere que as empresas têm dado preferência ao desempenho técnico, priorizando a qualidade e velocidade da geração em detrimento de melhorias nos mecanismos de segurança. Este desequilíbrio é uma preocupação, pois expõe a tecnologia a riscos maiores.

Desafios na Avaliação de Segurança de Modelos de IA

Dmitrii Kharlapenko, engenheiro de pesquisa na White Circle, afirmou que os métodos utilizados atualmente para testar a segurança dessas plataformas ainda carecem de padronização. A ausência de critérios claros dificulta a comparação de resultados entre diferentes estudos e torna mais difícil identificar todas as vulnerabilidades existentes. Em um mercado onde empresas competem para lançar versões cada vez mais avançadas, a falta de um padrão consolidado de avaliação pode atrasar ações concretas de mitigação de riscos.

Como Reforçar a Segurança dos Geradores de Imagens por IA?

Os resultados dos estudos reforçam a necessidade de esforços contínuos para aprimorar os mecanismos de segurança das plataformas de geração de imagens por IA. Algumas medidas que podem auxiliar nesse processo incluem:

• Testes automatizados e contínuos

  Ferramentas como o método RISE são essenciais para identificar tentativas de burlar filtros, possibilitando atualizações regulares das defesas contra conteúdo sexual explícito, violência, automutilação e outros temas sensíveis.

• Compartilhamento de dados de ataques

  A troca controlada de informações sobre ataques bem-sucedidos, códigos utilizados e vulnerabilidades descobertas pode promover uma comunidade de pesquisadores mais colaborativa, acelerando a identificação de falhas e o aprimoramento das proteções.

• Auditorias independentes

  Contar com avaliações externas periódicas ajuda a manter a transparência e reforça a confiança na segurança dos modelos, além de pressionar as empresas a investir mais em mecanismos de proteção robustos.

• Proteções integradas ao sistema

  Implementar verificações durante a geração das imagens, uso de marcas d’água, rastreamento de origem e verificações adicionais ajudam a reduzir a criação de conteúdo proibido, apesar de não impedirem completamente a disseminação de imagens sintéticas.

• Parcerias com entidades especializadas

  Colaborar com organizações que atuam na luta contra o abuso digital e a exploração infantil pode oferecer insights valiosos e ajudar na implementação de políticas preventivas eficazes.

Conclusão

As descobertas apontam para uma preocupação real e crescente sobre as vulnerabilidades dos sistemas de IA de geração de imagens. Mesmo as versões mais avançadas ainda apresentam falhas que podem ser exploradas por usuários mal-intencionados, aumentando o risco de disseminação de conteúdo ilegal e prejudicial, como abuso infantil. A necessidade de estabelecer padrões de avaliação, ampliar a fiscalização e fortalecer os mecanismos de segurança é essencial para garantir que essas tecnologias sejam usadas de forma ética e segura. Os esforços de melhorias contínuas são fundamentais para acompanhar a rápida evolução dos modelos e proteger a sociedade dos riscos associados à má utilização da inteligência artificial.

Se você gostou do conteúdo, confira também: Me siga no Instagram para conteúdos e dicas rápidas diárias e se inscreva em meu canal do Youtube para assistir tutoriais completos de como usar as melhores IAs.

Tags

• Inteligência Artificial Segurança
• Modelos geradores de imagens
• Filtragem de conteúdo IA
• Vulnerabilidades em IA
• Abuso infantil por IA
• Segurança em tecnologias de IA
• Filtros de segurança IA
• Mutação e manipulação de imagens
• Fraudes digitais com IA
• Desafios na avaliação de IA