Apple Remove Kromix e MaskAI da App Store Após Controvérsia Sobre Deepfakes Não Consentidos e Publicidade Enganosa

A Apple tomou uma ação decisiva ao remover os aplicativos Kromix e MaskAI da sua loja virtual, a App Store, após uma série de questionamentos e pedidos de posicionamento mediados por uma reportagem da WIRED. Os dois aplicativos, promovidos através de anúncios pagos por empresas ligadas ao Facebook (Meta), ofereciam recursos para gerar imagens sexuais não consensuais usando inteligência artificial (IA). Essa movimentação ocorre em um contexto mais amplo de crescente preocupação com o uso abusivo de tecnologias de IA para criar conteúdo prejudicial, ilegal e que viola direitos humanos.

Contexto e características dos aplicativos removidos

O Kromix apresentou-se como um “estilizador de imagens por IA” e foi promovido com uma campanha altamente direcionada, composta por 32 anúncios voltados exclusivamente ao público masculino. Esses anúncios utilizavam estratégias persuasivas, inclusive com imagens aparentemente inofensivas, como paisagens, que escondiam por trás conteúdos de nudificação e deepfakes pornográficos. Um dos vídeos mais chocantes mostra uma mulher com aspecto de política americana pisca para a câmera, para logo depois cortar para uma cena pornográfica envolvendo o mesmo rosto.

O aplicativo prometia que usuários pagos poderiam enviar fotos para criar imagens explícitas, incluindo comandos associados a violência sexual e outros conteúdos ilegais ou criminosos. Segundo investigações, a ferramenta tinha como alvo figuras políticas dos Estados Unidos, promovendo a ideia de “desnudar” ou transformar essas figuras em conteúdo sexual não consensual, o que é uma afronta às legislações de privacidade e liberdade individual.

Falhas na moderação e estratégias de ocultação

De acordo com a Meta, responsável pela plataforma onde os anúncios foram veiculados, houve uma falha nos seus sistemas automatizados de moderação. A inteligência artificial da própria empresa não conseguiu identificar os anúncios com conteúdo abusivo antes que eles fossem publicados. Geralmente, os anunciantes utilizavam estratégias de burlar os filtros, como a troca de imagens de capa aparentemente neutras por conteúdo explícito posteriormente, numa tentativa de enganar a moderação automática.

Apesar do alcance limitado desses anúncios, com duração entre 5 e 46 horas e poucos impressões (menos de 10 por anúncio), a presença deles reforça um padrão preocupante de estratégia que permite a veiculação de conteúdo pornográfico não consensual e de tentativa de exploração de imagens pessoais de forma ilícita.

Respostas e ações regulatórias

A Meta informou que, no fim do ano passado, mais de 340 mil anúncios relacionados a aplicativos de nudificação foram removidos. Além disso, a empresa também adotou medidas legais contra os desenvolvedores desses aplicativos, compartilhando dados de contas e desenvolvedores que foram banidos com outras companhias de tecnologia, criando uma barreira conjunta contra esse tipo de exploração digital.

Por outro lado, há uma crescente crítica ao modelo de fiscalização da Meta, que depende cada vez mais de sistemas automatizados para moderar conteúdo. Katie Paul, diretora do Tech Transparency Project, destacou que essa dependência excessiva em algoritmos diminui a eficácia na fiscalização e aumenta o risco de conteúdos prejudiciais permanecerem ativos por mais tempo, além de reduzir a atuação de moderadores humanos essenciais para identificar nuances e contextos mais complexos.

Outros problemas envolvendo a moderação de conteúdo por IA

O problema da moderação também não se restringe ao conteúdo de nudificação ou deepfakes sexuais. Uma investigação recente do mesmo grupo revelou a existência de mais de 50 anúncios veiculados nas plataformas da Meta contendo material de abuso sexual infantil gerado por IA. Esses conteúdos chegaram a milhares de usuários em diferentes países, demonstrando o potencial devastador do uso criminoso da inteligência artificial na disseminação de conteúdos ilegais.

Pressão jurídica e o aumento da regulação

As ações da Apple e da Meta ocorrem em meio a uma crescente pressão jurídica e governamental. No início do verão, o procurador da cidade de San Francisco enviou uma carta de “cessar e desistir” à Apple, exigindo a retirada de 13 aplicativos que promoviam e facilitavam a criação de imagens explícitas geradas por IA. O documento acusou a Apple de facilitar a venda desses conteúdos ilícitos, tornando-se coautora dessas atividades.

A Apple, por sua parte, declarou que alguns desenvolvedores inseriam recursos proibidos nos aplicativos após o processo de análise inicial da loja, o que reforça a dificuldade de fiscalização contínua por parte das grandes plataformas.

Impacto no setor e o efeito sobre as vítimas

O problema dos deepfakes sexuais não consensuais afeta, principalmente, mulheres e pessoas em cargos públicos. Elas se tornam vulneráveis ao uso de suas imagens oficiais e vídeos de entrevistas como matéria-prima para criar conteúdos pornográficos não autorizados. Benjamin Shultz, especialista do American Sunlight Project, explica que materiais tradicionais de comunicação, como vídeos de coletiva ou entrevistas, passaram a ser utilizados por criminosos como base para geração de deepfakes, ampliando o risco de danos à reputação, privacidade e segurança dessas pessoas.

Casos semelhantes têm sido reportados na Europa, na Ásia e na América do Norte, evidenciando um problema global que demanda ações coordenadas. Cindy Southworth, líder na Meta, alerta que o ambiente digital ainda é “altamente adversário”, uma batalha constante de estratégias para encobrir e disseminar conteúdo ilegal usando IA.

O papel da tecnologia e a necessidade de regulação eficaz

O avanço das inteligências artificiais trouxe à tona questões de ética, segurança e direitos humanos que ainda não possuem uma resposta definitiva. As grandes empresas de tecnologia, que controlam as plataformas de distribuição de conteúdo, estão na encruzilhada de equilibrar inovação com responsabilidade social.

Embora medidas como remoções, ações legais e fiscalização automatizada sejam passos importantes, elas não são suficientes para conter a rápida expansão de atividades ilegais, especialmente quando há estratégias de burla e engenharia social por parte de criminosos digitais. Além disso, a vulnerabilidade de sistemas automatizados à manipulação amplia o desafio de assegurar que plataformas digitais não sejam usadas para fins ilícitos, principalmente relacionados a deepfakes sexuais e abusos infantis.

Conclusão

A remoção do Kromix e MaskAI da App Store pela Apple marca um esforço importante no combate ao uso abusivo de inteligência artificial para criar conteúdos prejudiciais. No entanto, os desafios de fiscalização, especialmente com o uso crescente de sistemas automatizados que às vezes falham, ainda representam uma grande preocupação. A pressão de órgãos reguladores, a implementação de políticas mais rigorosas e o desenvolvimento de tecnologias de detecção mais robustas são essenciais para proteger cidadãos de conteúdos ilegais e prejudiciais na era digital. A luta contra a manipulação de imagens, deepfakes e conteúdos de abuso sexual na internet continua sendo uma prioridade para empresas, governos e sociedade civil.

Se você gostou do conteúdo, não deixe de seguir minha página para ficar por dentro de novidades e dicas atualizadas do universo das Inteligências Artificiais. ▶️ Me siga no Instagram para conteúdos e dicas rápidas diárias e se inscreva em meu canal do Youtube para assistir tutoriais completos de como usar as melhores IAs : https://billyia.com

Tags:

• Deepfakes não consensuais
• Aplicativos de IA removidos da App Store
• Conteúdo ilegal gerado por inteligência artificial
• Moderação de conteúdo na internet
• Privacidade e direitos humanos na era digital
• Regulação de deepfakes e IA
• Segurança digital e abuso sexual infantil
• Políticas de moderação automatizada
• Imagens pornográficas não consentidas
• Responsabilidade das plataformas de tecnologia