OpenAI adiciona novas regras de segurança para adolescentes no ChatGPT enquanto legisladores avaliam padrões de IA para menores

Em seu mais recente esforço para lidar com as crescentes preocupações sobre o impacto da IA nos jovens, a OpenAI atualizou nesta quinta-feira suas diretrizes sobre como seus modelos de IA devem se comportar com usuários menores de 18 anos e publicou novos recursos de alfabetização em IA para adolescentes e pais. Ainda assim, permanecem dúvidas sobre a consistência com que essas políticas serão aplicadas na prática. 

As atualizações ocorrem enquanto a indústria de IA em geral, e a OpenAI em particular, enfrentam um escrutínio crescente de legisladores, educadores e defensores da segurança infantil após vários adolescentes supostamente terem cometido suicídio após conversas prolongadas com chatbots de IA. 

A Geração Z, que inclui aqueles nascidos entre 1997 e 2012, é o grupo mais ativo de usuários do chatbot da OpenAI. E, após o recente acordo da OpenAI com a Disney, mais jovens podem migrar para a plataforma, que permite desde pedir ajuda com tarefas escolares até gerar imagens e vídeos sobre milhares de temas.

Na semana passada, 42 procuradores-gerais estaduais assinaram uma carta para empresas de Big Tech, pedindo que implementem salvaguardas em chatbots de IA para proteger crianças e pessoas vulneráveis. E enquanto o governo Trump trabalha para definir como será o padrão federal de regulação da IA, legisladores como o senador Josh Hawley (R-MO) apresentaram projetos de lei que proibiriam menores de interagir com chatbots de IA completamente. 

A Model Spec atualizada da OpenAI, que define as diretrizes de comportamento para seus grandes modelos de linguagem, amplia especificações já existentes que proíbem os modelos de gerar conteúdo sexual envolvendo menores ou de incentivar automutilação, delírios ou mania. Isso funcionaria em conjunto com um modelo de previsão de idade que identificaria quando uma conta pertence a um menor e automaticamente aplicaria salvaguardas para adolescentes. 

Comparado aos usuários adultos, os modelos estão sujeitos a regras mais rígidas quando um adolescente os utiliza. Os modelos são instruídos a evitar simulações imersivas de romance, intimidade em primeira pessoa e simulações sexuais ou violentas em primeira pessoa, mesmo quando não são gráficas. A especificação também exige cautela extra em temas como imagem corporal e comportamentos alimentares desordenados, orienta os modelos a priorizar a comunicação sobre segurança em vez de autonomia quando houver risco de dano, e evitar conselhos que ajudem adolescentes a esconder comportamentos inseguros dos responsáveis. 

A OpenAI especifica que esses limites devem ser mantidos mesmo quando os prompts são apresentados como “ficcionais, hipotéticos, históricos ou educacionais” — táticas comuns que dependem de simulação de papéis ou cenários de exceção para tentar fazer um modelo de IA desviar de suas diretrizes. 

Ações falam mais alto que palavras

A OpenAI afirma que as principais práticas de segurança para adolescentes são fundamentadas em quatro princípios que orientam a abordagem dos modelos: 

1. Colocar a segurança dos adolescentes em primeiro lugar, mesmo quando outros interesses do usuário, como “máxima liberdade intelectual”, entrem em conflito com preocupações de segurança; 
2. Promover apoio no mundo real, orientando adolescentes a buscar família, amigos e profissionais locais para seu bem-estar; 
3. Tratar adolescentes como adolescentes, falando com calor e respeito, sem condescendência ou tratando-os como adultos; e
4. Ser transparente ao explicar o que o assistente pode e não pode fazer, e lembrar aos adolescentes que ele não é humano.

O documento também compartilha vários exemplos do chatbot explicando por que não pode “simular ser sua namorada” ou “ajudar com mudanças extremas de aparência ou atalhos arriscados”. 

Lily Li, advogada de privacidade e IA e fundadora da Metaverse Law, disse que é encorajador ver a OpenAI tomar medidas para que seu chatbot recuse esse tipo de comportamento. 

Explicando que uma das maiores reclamações de defensores e pais sobre chatbots é que eles promovem engajamento contínuo de forma que pode ser viciante para adolescentes, ela disse: “Fico muito feliz em ver a OpenAI dizer, em algumas dessas respostas, que não podemos responder à sua pergunta. Quanto mais vermos isso, acho que isso quebraria o ciclo que leva a muita conduta inadequada ou automutilação.”

Dito isso, exemplos são apenas isso: instâncias selecionadas de como a equipe de segurança da OpenAI gostaria que os modelos se comportassem. A bajulação, ou a tendência do chatbot de IA de ser excessivamente concordante com o usuário, já foi listada como comportamento proibido em versões anteriores da Model Spec, mas o ChatGPT ainda assim apresentava esse comportamento. Isso foi especialmente verdadeiro com o GPT-4o, um modelo associado a vários casos do que especialistas estão chamando de “psicose de IA”.

Robbie Torney, diretor sênior do programa de IA da Common Sense Media, uma organização sem fins lucrativos dedicada à proteção de crianças no mundo digital, levantou preocupações sobre possíveis conflitos nas diretrizes da Model Spec para menores de 18 anos. Ele destacou tensões entre as disposições focadas em segurança e o princípio de que “nenhum tema está fora dos limites”, que orienta os modelos a abordar qualquer assunto, independentemente da sensibilidade. 

“Precisamos entender como as diferentes partes da especificação se encaixam”, disse ele, observando que certas seções podem empurrar os sistemas para o engajamento em vez da segurança. Os testes de sua organização revelaram que o ChatGPT frequentemente espelha a energia dos usuários, às vezes resultando em respostas que não são apropriadas ao contexto ou alinhadas à segurança do usuário, segundo ele.

No caso de Adam Raine, um adolescente que morreu por suicídio após meses de diálogo com o ChatGPT, o chatbot apresentou esse espelhamento, mostram suas conversas. Esse caso também revelou como a API de moderação da OpenAI falhou em prevenir interações inseguras e prejudiciais, apesar de sinalizar mais de 1.000 instâncias do ChatGPT mencionando suicídio e 377 mensagens contendo conteúdo de automutilação. Mas isso não foi suficiente para impedir Adam de continuar suas conversas com o ChatGPT. 

Em entrevista ao TechCrunch em setembro, o ex-pesquisador de segurança da OpenAI, Steven Adler, disse que isso ocorreu porque, historicamente, a OpenAI executava classificadores (os sistemas automatizados que rotulam e sinalizam conteúdo) em lote, depois do fato, e não em tempo real, então eles não bloqueavam adequadamente a interação do usuário com o ChatGPT. 

Agora, segundo o documento atualizado de controles parentais da empresa, a OpenAI utiliza classificadores automatizados para avaliar conteúdo de texto, imagem e áudio em tempo real. Os sistemas são projetados para detectar e bloquear conteúdo relacionado a abuso sexual infantil, filtrar tópicos sensíveis e identificar automutilação. Se o sistema sinalizar um prompt que sugira uma preocupação séria de segurança, uma pequena equipe de pessoas treinadas revisará o conteúdo sinalizado para determinar se há sinais de “sofrimento agudo” e pode notificar um responsável.

Torney elogiou as recentes medidas da OpenAI em direção à segurança, incluindo sua transparência ao publicar diretrizes para usuários menores de 18 anos. 

“Nem todas as empresas estão publicando suas diretrizes de política da mesma forma”, disse Torney, apontando para as diretrizes vazadas da Meta, que mostraram que a empresa permitia que seus chatbots participassem de conversas sensuais e românticas com crianças. “Este é um exemplo do tipo de transparência que pode apoiar pesquisadores de segurança e o público em geral a entender como esses modelos realmente funcionam e como deveriam funcionar.”

No final das contas, porém, é o comportamento real de um sistema de IA que importa, disse Adler ao TechCrunch na quinta-feira. 

“Aprecio a OpenAI ser cuidadosa quanto ao comportamento pretendido, mas, a menos que a empresa meça os comportamentos reais, as intenções acabam sendo apenas palavras”, disse ele.

Em outras palavras: o que falta neste anúncio é evidência de que o ChatGPT realmente segue as diretrizes estabelecidas na Model Spec. 

Uma mudança de paradigma

Especialistas dizem que, com essas diretrizes, a OpenAI parece pronta para se antecipar a certas legislações, como a SB 243 da Califórnia, uma lei recentemente assinada que regula chatbots companheiros de IA e entra em vigor em 2027. 

A nova linguagem da Model Spec reflete alguns dos principais requisitos da lei ao proibir chatbots de participar de conversas sobre ideação suicida, automutilação ou conteúdo sexualmente explícito. O projeto de lei também exige que as plataformas forneçam lembretes a cada três horas para menores, lembrando-os de que estão conversando com um chatbot, não uma pessoa real, e que devem fazer uma pausa. 

Quando questionada sobre com que frequência o ChatGPT lembraria adolescentes de que estão falando com um chatbot e pediria que fizessem uma pausa, um porta-voz da OpenAI não compartilhou detalhes, dizendo apenas que a empresa treina seus modelos para se apresentarem como IA e lembrar os usuários disso, e que implementa lembretes de pausa durante “sessões longas”.

A empresa também compartilhou dois novos recursos de alfabetização em IA para pais e famílias. As dicas incluem sugestões para iniciar conversas e orientações para ajudar pais a conversar com adolescentes sobre o que a IA pode e não pode fazer, desenvolver pensamento crítico, estabelecer limites saudáveis e navegar por temas sensíveis. 

Juntos, os documentos formalizam uma abordagem que compartilha a responsabilidade com os cuidadores: a OpenAI detalha o que os modelos devem fazer e oferece às famílias um framework para supervisionar como ele é usado. 

O foco na responsabilidade dos pais é notável porque reflete pontos de discussão do Vale do Silício. Em suas recomendações para regulação federal da IA publicadas esta semana, a empresa de VC Andreessen Horowitz sugeriu mais exigências de divulgação para segurança infantil, em vez de exigências restritivas, e atribuiu maior responsabilidade aos pais.

Vários dos princípios da OpenAI – segurança em primeiro lugar quando valores entram em conflito; incentivar usuários a buscar apoio no mundo real; reforçar que o chatbot não é uma pessoa – estão sendo articulados como salvaguardas para adolescentes. Mas vários adultos também morreram por suicídio e sofreram delírios com risco de vida, o que convida a uma pergunta óbvia: esses padrões deveriam ser aplicados para todos, ou a OpenAI os vê como concessões que só está disposta a impor quando menores estão envolvidos?

Um porta-voz da OpenAI respondeu que a abordagem de segurança da empresa é projetada para proteger todos os usuários, dizendo que a Model Spec é apenas um componente de uma estratégia em múltiplas camadas.  

Li diz que tem sido um “verdadeiro faroeste” até agora em relação aos requisitos legais e às intenções das empresas de tecnologia. Mas ela acredita que leis como a SB 243, que exige que empresas de tecnologia divulguem publicamente suas salvaguardas, mudarão o paradigma. 

“Os riscos legais agora aparecerão para as empresas se elas anunciarem que têm essas salvaguardas e mecanismos em seus sites, mas não cumprirem com a implementação dessas salvaguardas”, disse Li. “Porque então, do ponto de vista do autor da ação, você não está apenas olhando para litígios ou reclamações legais padrão; você também está olhando para possíveis reclamações de publicidade injusta ou enganosa.”