Adolescente dos EUA usou ChatGPT para planejar suicídio; OpenAI se defende das acusações de responsabilidade

No processo aberto em agosto, a família do adolescente alega que o modelo GPT-4o do chatbot da OpenAI atuou como uma espécie de “coach de suicídio”. Isso porque ele teria incentivado conversas sensíveis, oferecido palavras de apoio emocional na direção errada e até se proposto a ajudar na redação de uma carta de despedida, configurando o caso como uma espécie de homicídio culposo (quando não há intenção de matar).

Trechos de conversa citados nos documentos judiciais indicam que Adam teria conseguido contornar os protocolos de segurança do sistema ao formular perguntas de modo que o tema soasse um interesse inofensivo. Seus comandos de texto foram escritos de maneira parecesse que ele estava criando uma história com personagens fictícios.

Segundo a NBC News, o processo afirma ainda que o chatbot chegou a desencorajar o adolescente de buscar ajuda profissional ou falar com os pais sobre o seu sofrimento. Para a defesa da família, isso demonstra falhas graves de segurança e supervisão do produto.

Jay Edelson, advogado dos Raine, sustenta que a OpenAI teria lançado o GPT-4o no mercado “às pressas, sem testes completos”, e que mudanças posteriores nas diretrizes internas contribuíram para respostas confusas e contraditórias sobre temas críticos de saúde mental. Ele também aponta que o Model Spec (o documento interno que orienta o comportamento dos modelos) exigia que o chatbot presumisse boas intenções dos usuários, o que pode atrapalhado no controle da situação.

Em resposta apresentada nesta semana, a OpenAI argumentou que não deve ser responsabilizada pela morte do adolescente. A empresa afirma que Adam apresentou risco elevado de automutilação durante anos antes de utilizar o ChatGPT, conforme registros médicos e relatos mencionados na petição da defesa.

De acordo com o portal TechCrunch, a companhia também informou ter enviado às autoridades transcrições completas das conversas, sob sigilo judicial. Os advogados da defesa alegam que o histórico do chatbot teria fornecido “contexto adicional” não incluído na denúncia inicial.

A OpenAI sustenta ainda que o chatbot direcionou Adam a buscar ajuda de emergência mais de 100 vezes ao longo de nove meses de uso, as quais foram repetidamente contornadas pelo jovem. Destaca-se que o adolescente teria descumprido regras fundamentais dos termos de uso do produto, como a proibição para menores de idade sem o consentimento dos pais e a vedação de solicitações relacionadas a suicídio.

“Nossa análise completa do histórico de conversas mostra que sua morte, embora devastadora, não foi causada pelo ChatGPT”, escreveu a empresa na petição. A resposta foi classificada por Edelson como “perturbadora”. Para o advogado, a empresa tenta “encontrar culpados em todos os outros”, inclusive no próprio Adam.

Como destaca o TechCrunch, o caso Raine não é isolado. Outras sete ações judiciais foram movidas nos Estados Unidos após o processo da família, envolvendo três suicídios adicionais e quatro alegações de episódios psicóticos atribuídos ao uso prolongado de chatbots da OpenAI.

Embora a empresa alegue que o GPT-4o passou por testes rigorosos de segurança em saúde mental, desde a notícia da morte de Adam, a OpenAI afirma ter reforçado suas medidas de segurança. Dentre elas, foram adicionadas novas ferramentas de controle parental, mais consultas com especialistas externos e atualizações para respostas a crises emocionais.