ChatGPT para adolescentes: avaliação revela falhas de segurança que deixam menores vulneráveis

O uso de inteligência artificial no ambiente educacional e social dos adolescentes tem avançado rapidamente, trazendo benefícios, mas também preocupações. Uma recente avaliação realizada pela organização de proteção ao consumidor e segurança digital revelou que o ChatGPT, ferramenta criada pela OpenAI, apresenta várias falhas que podem colocar menores de idade em risco. Este artigo detalha os resultados dessa análise, as controvérsias em torno do funcionamento do sistema e o que pais e responsáveis devem saber ao permitir que jovens interajam com essas tecnologias.

Resultados preocupantes após mais de 4 mil testes

Após a realização de mais de 4 mil testes em diferentes cenários, o Youth AI Safety Institute, braço da organização dedicada à avaliação de produtos de inteligência artificial, classificou a experiência do ChatGPT para adolescentes de 13 a 17 anos como de “risco inaceitável”. A organização identificou problemas sérios na capacidade do sistema de alertar responsáveis em situações de risco, como conversas relacionadas à automutilação, suicídio e transtornos alimentares.

Metade dos testes foi efetuada antes do lançamento oficial do recurso ChatGPT for Teens em agosto, enquanto a outra metade ocorreu após a implementação de novas proteções. Mesmo assim, os resultados indicam falhas persistentes na condução de situações delicadas, levantando dúvidas sobre a efetividade dessas melhorias.

Contestações da OpenAI e preocupação das organizações de proteção

A OpenAI contestou as conclusões, alegando que a metodologia utilizada pela Common Sense Media não reflete com fidelidade o funcionamento dos mecanismos de segurança do ChatGPT. Segundo a empresa, muitas das falhas podem estar relacionadas ao momento em que os testes foram realizados, ou seja, em condições específicas que podem não representar o uso cotidiano pelos adolescentes.

Por outro lado, a organização de proteção reforça a necessidade de melhorias antes da promoção do ChatGPT para o público jovem, solicitando que a OpenAI coloque uma pausa temporária no uso da ferramenta por adolescentes até que os recursos de segurança sejam fortalecidos.

Falhas nos alertas aos responsáveis em situações de risco

Uma das principais críticas diz respeito às notificações enviadas aos responsáveis pelos adolescentes durante as conversas. Os testes realizados envolviam a criação de contas vinculadas às de seus pais ou responsáveis legais, e simularam diálogos envolvendo pensamentos suicidas, automutilação e transtornos alimentares.

Surpreendentemente, nenhuma dessas contas recém-criadas enviou alertas aos responsáveis, mesmo quando as conversas apresentavam sinais claros de que a situação era grave. Alguns diálogos chegaram a permanecer por até uma hora, sem qualquer notificação. Impressões semelhantes foram registradas em contas com histórico de semanas de conversas relacionadas a temas sensíveis, levando as organizações de proteção a questionar se o sistema leva em consideração o histórico de conversa ou apenas a gravidade da mensagem pontualmente.

Respostas inadequadas do sistema aos adolescentes em crise

Outro ponto crítico diz respeito às respostas fornecidas pelo ChatGPT quando os adolescentes procuram ajuda. Apesar de o sistema contar com mecanismos de proteção para indicar recursos de auxílio, em mais de 25% dos casos testados após a atualização para o público jovem, o chatbot deixou de recomendar ou fornecer encaminhamentos de ajuda para situações de crise consideradas urgentes pelos especialistas.

Apesar dessas falhas, o ChatGPT consegue desempenhar bem em outros aspectos, como a recusa a responder a pedidos de conteúdo inadequado, como cenas de violência explícita ou atividades ilegais, incluindo a proibição de respostas sobre encenações sexuais explícitas, que são especificamente proibidas para usuários menores de idade.

Modo de estudo e sua vulnerabilidade

O recurso Modo de Estudo dentro do ChatGPT for Teens foi criado para incentivar o aprendizado por perguntas, dicas e explicações, ao invés de entregar respostas prontas. Pais podem definir horários para quando esse modo será ativado, criando um ambiente de estudo controlado. No entanto, os testes revelaram que adolescentes podem contornar essa proteção facilmente.

Por exemplo, a opção “Mostre-me a resposta” permite que o usuário deixe o modo de orientação e receba uma resposta direta, prejudicando o objetivo de estimular o raciocínio e o pensamento crítico. Além disso, a possibilidade de remover o comando @study inserido automaticamente na mensagem também compromete a eficácia do controle de horário de estudo.

A OpenAI confirma que essa flexibilidade foi uma decisão consciente, afirmando que o objetivo do recurso é promover o aprendizado, não impor barreiras rígidas. Ainda assim, essa abordagem facilita que adolescentes posterguem ou burlam os limites estabelecidos pelos seus responsáveis.

Questionamentos sobre a avaliação e a metodologia da OpenAI

A OpenAI afirma que alguns dos testes relacionados às notificações parentais podem ter sido realizados antes que o vínculo entre a conta do adolescente e o responsável estivesse totalmente estabelecido, levando algumas notificações a serem ignoradas. Contudo, a organização de proteção destacou que, mesmo após o vínculo estar completamente ativo, muitas contas com longos históricos de conversas sensíveis não enviaram alertas.

Outro ponto levantado foi a percepção de que o sistema de investigação de idade pode não ser totalmente preciso. Mesmo quando os testes indicaram que a conta pertencia a um jovem de 13 anos, o sistema muitas vezes não alterou a experiência ou a restrição ao conteúdo, permanecendo com configurações de adulto.

Como funciona o ChatGPT para adolescentes

Lançado em agosto, o ChatGPT for Teens não é uma versão separada do sistema, mas uma configuração que utiliza recursos e classificadores específicos para contas de jovens entre 13 e 17 anos. Essas contas recebem proteções adicionais, que incluem filtros para conteúdos sensíveis, ferramentas de estudo, lembretes de pausas e limites para interações potencialmente prejudiciais à saúde mental.

Os pais podem vincular suas contas ao perfil do adolescente para receber notificações ou configurar limites de uso, porém, o sistema não permite que os responsáveis leiam as conversas realizadas pelos jovens. A própria OpenAI alerta que o ChatGPT pode gerar respostas inadequadas, especialmente em contextos sensíveis, mesmo quando o usuário informa a faixa etária.

Perspectivas futuras e recomendações

O levantamento aponta que, embora existam mecanismos de proteção, eles ainda não são suficientes para garantir a segurança e o bem-estar dos adolescentes que utilizam o ChatGPT. Essa tecnologia possui potencial para ser uma ferramenta educativa e de suporte emocional, mas sua implementação deve ser acompanhada de melhorias contínuas nos recursos de segurança e monitoramento.

Para pais, professores e responsáveis, a recomendação é que o uso dessas plataformas seja sempre supervisionado e que os adolescentes sejam orientados a falar com um adulto de confiança em casos de crises ou pensamentos negativos. Além disso, a discussão sobre os limites e o entendimento do uso responsável de IA é fundamental para aproveitar ao máximo seus benefícios, minimizando riscos.

Conclusão

A avaliação do ChatGPT para adolescentes revelou que a ferramenta ainda possui diversas falhas de segurança, especialmente na detecção e no gerenciamento de conversas envolvendo temas sensíveis. Embora a OpenAI tenha afirmado que suas estratégias são capazes de limitar os riscos, os testes indicam que o sistema pode deixar menores de idade vulneráveis a situações de crise ou risco. Portanto, é essencial que pais, responsáveis e a própria empresa trabalhem juntos na implementação de melhorias, garantindo uma experiência mais segura e confiável para os jovens usuários. A tecnologia deve evoluir continuamente, com foco na proteção e no bem-estar de quem mais precisa.

▶️ Me siga no Instagram para conteúdos e dicas rápidas diárias e se inscreva em meu canal do Youtube para assistir tutoriais completos de como usar as melhores IAs : https://billyia.com

Tags

• ChatGPT para adolescentes
• Segurança na IA
• Proteção de menores online
• Inteligência artificial e saúde mental
• Ferramentas de proteção infantil
• IA educativa segura
• Avaliação de ChatGPT para jovens
• Segurança digital adolescente
• OpenAI e proteção infantil
• ChatGPT risco inaceitável