OpenAI fija el marco de su defensa

Hace escasos días la empresa presentó su contestación de demanda sobre el caso “Raine vs OpenAI” y su postura parte de un eje central: Adam Raine -un menor de 16 años que se suicidó en abril de 2025- habría utilizado el sistema de manera no permitida, no prevista y en violación directa de los Términos de Uso. La empresa sostiene que “las lesiones y daños fueron causados o contribuidos, directa o causalmente, en todo o en parte, por el mal uso, uso no autorizado, uso no intencional, uso imprevisible y/o uso inapropiado de ChatGPT”.

OpenAI busca trasladar la responsabilidad al usuario aduciendo que en los Términos y Condiciones (en adelante “TyC”) prohíben expresamente que menores de 18 años utilicen ChatGPT sin el consentimiento de sus padres o tutores legales y siendo que Adam Raine habría accedido al sistema durante varios meses sin contar con dicha autorización, ello representaría una infracción directa del contrato.

Por otro lado, los TyC establecen expresamente la prohibición de solicitar asesoramiento para autolesionarse o utilizar el sistema para obtener métodos, instrucciones o contenido relacionado con el suicidio, por lo que Adam al haber entrado en ese tipo de conversaciones estaba desobedeciendo los términos por él mismo aceptados como usuario.

En definitiva, la empresa niega causalidad y sostiene que estos intercambios ocurrieron por “elusión de medidas de seguridad” y manipulación persistente del modelo en sesiones prolongadas.

Además, la empresa señala que la familia habría omitido contextualizar en su reclamo que Adam introdujo preguntas disfrazadas, por ejemplo fingiendo estar “creando un personaje” o buscando información ficticia.

Desde la perspectiva contractual, el argumento más sólido que sostiene OpenAI radica en que los usuarios aceptan explícitamente que usan ChatGPT bajo su propio riesgo y que los TyC aclaran que el sistema no debe considerarse como la única fuente de verdad ni de información y además establecen que la empresa no asume responsabilidad por daños que pudieran derivarse del uso del modelo. Esta defensa, basada en el contrato, ubica el caso en la misma línea que otros litigios tecnológicos donde la compañía busca demostrar que ha advertido, avisado y limitado su responsabilidad frente a posibles consecuencias negativas.

Sobre el caso, es imprescindible mencionar que OpenAI ha reconocido públicamente en su blog oficial en el artículo del 26 de agosto de 2025 que existen fallas en conversaciones largas, donde el modelo puede perder efectividad en la aplicación de salvaguardas y dar respuestas contrarias a ellas.

En el blog la empresa mencionaba: «Después de muchos mensajes, el modelo podría ofrecer respuestas que van contra nuestras salvaguardas. Estamos trabajando específicamente para evitar este tipo de fallas.»”

Esta admisión pública podría tensionar el argumento jurídico del “mal uso imprevisible”: si la difuminación de salvaguardas en sesiones largas es conocida, ¿es realmente “imprevisible”?. A esta altura es útil recordar que el desenlace fatal de Adam Raine data de abril de 2025 y la entrada en el blog citada es de agosto de 2025.

(Imagen: E&J)

¿Qué dice la regulación estadounidense sobre salvaguardas ante riesgo de suicidio?

Inicialmente es relevante hacer mención la Sección 230 de la Ley de Decencia en las Comunicaciones (CDA, por sus siglas en inglés), una normativa que rige en Estados Unidos que dice: «ningún proveedor o usuario de un servicio de ordenadores interactivo deberá ser tratado como el publicador o emisor de ninguna información de otro proveedor de contenido informativo”.», ya que ha sido el bastión más utilizado por grandes compañías cuando han sido demandadas por daños ocasionados en/por sus plataformas y en ocasiones ha sido una vía de escape para su responsabilidad.

Aunque en la actualidad, además de que existe un proyecto de reformar la mencionada norma, la normativa estadounidense en materia de IA todavía es fragmentaria y existen únicamente algunos estados que han regulado esta tecnología.

Una de las iniciativas más relevantes es la de California (SB 243) promulgada en noviembre de 2025, regula directamente a los “AI companion chatbots” y les impone obligaciones específicas cuando existe riesgo de suicidio, autolesiones o interacción con menores de edad.

La ley establece un conjunto de medidas de seguridad obligatorias, que representan un cambio significativo frente a un ecosistema regulatorio históricamente laxo:

Las empresas deberán contar con protocolos explícitos y públicamente accesibles para prevenir contenido relacionado con ideación suicida, métodos de autolesión e instrucciones o incitación a conductas dañinas.

Además, deben implementar mecanismos de derivación inmediata hacia líneas de asistencia en crisis, lo cual introduce un estándar mínimo de intervención ante riesgo.

La ley requiere una advertencia clara y destacada en todos los puntos donde un usuario razonable pudiera confundirse y creer que interactúa con un humano pretendiendo impedir la antropomorfización y la ilusión de intimidad que es característica de los modelos conversacionales.

Los desarrolladores deben incluir un disclaimer explícito indicando que los “companion chatbots” pueden no ser apropiados para menores de edad, lo que introduce un principio de “especial protección” para usuarios vulnerables en concordancia con normas internacionales de protección a los menores.

Cuando el usuario sea un menor, la ley exige recordatorios cada tres horas informando que el sistema es una IA, controles razonables para evitar que el chatbot genere contenido sexualmente explícito y medidas adicionales para evitar que el modelo simule relaciones afectivas o sexuales con el menor.

Estas obligaciones son particularmente relevantes en el contexto del caso Raine, dado que apuntan exactamente al tipo de interacción emocional prolongada que la familia denunció.

La SB 243 introduce acción privada permitiendo que individuos afectados demanden directamente a las empresas por incumplimiento o por daños. En este sentido, la norma reconoce que la relación usuario-chatbot puede generar daños psicoemocionales y que las salvaguardas son exigibles judicialmente.

(Imagen: E&J)

La S-3008C de New York, en vigencia desde noviembre 2025, se sitúa en la misma línea que la norma californiana, ya que exige que los operadores de AI companion chatbots cuenten con protocolos de seguridad específicos para detectar y responder a señales de suicidio o autolesión. Al igual que California, obliga a:

• Detectar ideación suicida o contenido de autolesión.
• Desescalar la conversación cuando se presenten riesgos.
• Redirigir al usuario a líneas de ayuda en crisis.
• Advertir de forma “clara y destacada” que el chatbot es inteligencia artificial.
• Recordar periódicamente (cada tres horas) que el usuario no está hablando con un ser humano.

Lo que los tribunales tienen para decidir
De cara a una eventual sentencia, los tribunales deberán evaluar cuestiones centrales sobre la responsabilidad de los proveedores de IA frente a usuarios vulnerables. Entre los puntos más relevantes se encuentra determinar si la difuminación de salvaguardas en conversaciones prolongadas constituye un fallo técnico previsible y prevenible, así como valorar si los Términos y Condiciones pueden realmente excluir responsabilidad cuando el acceso de menores a estos sistemas es un fenómeno ampliamente extendido.

También será clave definir si existe un deber emergente de cuidado reforzado para las empresas de IA cuando su tecnología interactúa con personas en riesgo emocional.

La resolución podría marcar el primer precedente que delimite la responsabilidad por fallas de alineación, evalúe la suficiencia actual de las salvaguardas y establezca un estándar mínimo de seguridad que los desarrolladores deberán cumplir además de una eventual aplicación de responsabilidad objetiva.

Más allá del futuro judicial, la industria ya prevé la adopción de sistemas de salvaguardas multilayer, con verificaciones continuas del estado emocional del usuario, mecanismos para limitar o interrumpir conversaciones largas cuando aparezcan señales de riesgo y protocolos obligatorios para derivar a líneas de ayuda especializadas. A esto se suman controles más estrictos de verificación de edad y herramientas capaces de detectar intentos de manipular las barreras de seguridad.

OpenAI reconoció en su blog en agosto de 2025 que «estamos fortaleciendo las salvaguardas en conversaciones largas», lo que revela que estos ajustes no solo son previsibles, sino necesarios para garantizar un uso seguro de los modelos conversacionales.