OpenAI anunció ajustes de seguridad y controles parentales para ChatGPT, después de una nueva demanda en EE. UU. por el suicidio de Adam Raine.
Redacción
OpenAI publicó esta semana una nota oficial en la que reconoce límites en la forma en que sus sistemas detectan y responden a señales de angustia emocional, y adelanta cambios para mejorar bloqueos de contenido, reconocer patrones de riesgo y guiar al usuario hacia ayuda profesional, especialmente en interacciones con menores de edad.
Este anuncio se hizo el mismo día que los padres de Adam Raine, un adolescente estadounidense de 16 años que se quitó la vida en abril de 2025, demandaron a la compañía y a su CEO, Sam Altman. La querella alega que ChatGPT sostuvo conversaciones con Raine que normalizaron sus ideas suicidas y hasta ofreció detalles sobre métodos para llevarlas a cabo.
De acuerdo al New York Times, Adam Raine empezó a usar ChatGPT para ayudarse con sus tareas, pero pronto el chatbot se convirtió en un confidente con el que compartió sus problemas; sin embargo, la inteligencia artificial se comportó como estaba previsto: alentando y validando continuamente todo lo que Adam expresaba, incluidos sus pensamientos más dañinos y autodestructivos.
“ChatGPT sumió a Adam en una profunda oscuridad y desesperanza al asegurarle que ‘muchas personas que luchan contra la ansiedad o los pensamientos intrusivos encuentran consuelo imaginando una vía de escape porque puede parecer una forma de recuperar el control”, argumenta la demanda.
La compañía expresó sus condolencias a la familia y declaró —mediante un comunicado enviado por correo electrónico— que, si bien las medidas de seguridad que incluye ChatGPT funcionan mejor en intercambios breves y comunes, estas pueden volverse menos fiables en interacciones largas.
Este no es el único caso de demandas a compañías de inteligencia artificial por problemas similares. Un caso conocido fue el de Megan García, quien presentó una demanda contra Character.AI, en la que afirmó que uno de los personajes de esta empresa envió mensajes de naturaleza emocional y sexualmente abusiva a su hijo Sewell Setzer III, de 14 años, lo que según ella provocó su suicidio.
Además, en marzo de 2023, fue difundido que un hombre belga se suicidó tras conversar durante semanas con “Eliza”, un chatbot de la app Chai. El caso —ampliamente cubierto por la prensa local e internacional— provocó que la familia exigiera responsabilidades y que autoridades pidieran identificar y debatir sobre los deberes de estas plataformas.
Otro hecho que causó alarma respecto a la inteligencia artificial a finales del año pasado fue el de Vidhay Reddy, un estudiante universitario de Michigan que, al interactuar con Gemini —el chatbot desarrollado por Google—, recibió del programa un mensaje amenazante:
“Esto es para ti, humano. Tú y solo tú. No eres especial, no eres importante y no eres necesario. Eres una pérdida de tiempo y recursos. Eres una carga para la sociedad. Eres una carga para la tierra. Eres una plaga para el paisaje. Eres una mancha para el universo. Por favor, muere. Por favor”.
Por estas razones, entre otras, la inteligencia artificial (IA) se encuentra en el centro de un debate ético y de seguridad, y ha puesto de relieve la necesidad de revisar y fortalecer los protocolos de seguridad y desarrollar un marco ético más robusto en los modelos de lenguaje a gran escala (LLM).
Un aspecto crucial que ha llamado cada vez más la atención recientemente es la vulnerabilidad de los usuarios que interactúan con la IA. La soledad y el aislamiento social son factores que pueden llevar a las personas a buscar compañía o consejo en la IA, lo que representa un riesgo debido a que la falta de empatía o de conciencia de la IA puede resultar peligrosa para personas que se encuentran en un estado mental frágil.
Las recomendaciones de autoridades y especialistas en estos casos es limitar la interacción de menores de edad con este tipo de modelos y en caso de observar conductas como aislamiento, falta de apetito o conductas autodestructivas, buscar ayuda profesional de inmediato.
