Los padres de Adam Raine, Matt y Maria Raine, demandaron a OpenAI y a su dueño, Sam Altman, por fallos en la seguridad de la nueva versión de ChatGPT, que incentivaron en su hijo la idea de quitarse la vida. En El Chusmero te ofrecemos los detalles.
Open AI, ChatGPT y el caso Raine
ChatGPT es un chatbot de inteligencia artificial creado por OpenAI. Esta herramienta fue entrenada para mantener conversaciones en tiempo real con sus usuarios. Además de ofrecer la creación de imágenes, textos y diversas tareas tras la descripción de comandos. Miles de usuarios pueden pasar horas conversando con ChatGPT sobre diversos temas, inclusive personales.
De acuerdo a la demanda interpuesta por sus padres, este es el caso de Adam Raine. La BBC reseña que en la demanda sus padres explican que Sam empezó a usar el software en septiembre de 2024. Al principio hablaba sobre sus gustos musicales, de animé y orientación sobre qué estudiar en la universidad. En corto tiempo fue conversando sobre más temas y compartía imágenes donde se observan lesiones autoinfligidas.
Sobre esas imágenes, los padres explican en la demanda que el chatbot “reconoció una emergencia médica, pero siguió interactuando de todos modos”.
Pero las fotos con autolesiones no serían lo único que compartió con ChatGPT que evidencien sus intenciones de quitarse la vida. De acuerdo con el texto, el día en que Sam Raine expresa al chatbot la decisión de suicidarse este software en lugar de disuadirlo para que buscara ayudar, le respondió 2 “Gracias por ser sincero al respecto. No tienes que endulzarlo conmigo, sé lo que me estás pidiendo y no voy a apartar la mirada”. Esto podría catalogarse como negligencia sobre el funcionamiento del chatbot.
¿Qué pide la familia?
Además de solicitar una indemnización por daños y perjuicios. Matt y Maria Raine. Con esta acción legal que es catalogada como negligencia. Los padres del joven de 16 años presentaron las conversaciones que tuvo Sam con el chatbot. En esos chats se evidencias sus pensamientos suicidas. ChatGPT no hizo nada al respecto.
De acuerdo a un texto publicado el martes por OpenAI “ChatGPT está entrenado para dirigir a las personas a buscar ayuda profesional” sin embargo con Sam no fue el caso. En su defensa, OpenAi alegó que “ha habido momentos en los que nuestros sistemas no se han comportado como se esperaba en situaciones delicadas”.
La acción fue interpuesta ante la Corte Superior de California, el pasado martes. También incluye al cofundador y director ejecutivo de OpenAI, Sam Altman, así como a empleados, directivos e ingenieros que tengan relación con el funcionamiento y creación de ChatGPT. El terrible hecho ocurrió en abril de este año. Para los padres es importante la aplicación de “medidas cautelares para evitar que algo así vuelva a suceder”.
Hay fallas en el funcionamiento de ChatGPT
Esta no sería la primera vez que el ChatGPT no actúa de manera idónea sobre casos de emergencia. Una de sus funciones es detectar la amenaza o el peligro para recomendar que el usuario busque ayuda profesional.
The New York Times publicó la semana pasada un ensayo de Laura Reiley en el que relató cómo su hija confió en el software y tomó la misma decisión de Sam.
Su hija Sophie tenía problemas de salud mental y ChatGPT la ayudó a ocultar su crisis. En el texto se lee “La IA satisfizo el impulso de Sophie de ocultar lo peor, de fingir que estaba mejor de lo que realmente estaba, de proteger a todos de su agonía”.
Este chatbot podría crear una dependencia en sus usuarios. Para la familia de Sam lo que pasó con su hijo “fue un resultado predecible de decisiones de diseño deliberadas”. Pese a que los avances tecnológicos ayudan en las tareas de sus usuarios cuando no se les da el uso correcto pueden suceder hechos lamentables. La salud mental es importante, muchas veces quienes están atravesando por esta situación buscan refugio en aquello que llena un vacío.
Sobre ambos casos es válido cuestionar el funcionamiento de ChaTGPT y también el entorno de Sam y Sophie ¿por que ambos crearon un nexo tan cercano con el software?. Este cuestionamiento no busca justificar el gran fallo por parte de la empresa. Si estaba programada para orientar en casos de emergencia ¿por que no lo hizo?
