¿Mal uso o fallo de diseño? La responsabilidad jurídica de la IA en el caso Adam Raine

En agosto, los padres de Adam Raine demandaron a OpenAI (la empresa detrás de ChatGPT) por la muerte por negligencia del joven.

Por su parte, los responsables de ChatGPT sostienen que el suicidio del adolescente se debió a un “uso indebido” del sistema.

Más allá del impacto emocional del caso, lo relevante aquí es el dilema jurídico:

¿Hasta qué punto un proveedor de IA puede escudarse en el “mal uso” cuando el usuario es un menor en crisis y el riesgo era técnicamente previsible?

Este artículo analiza precisamente ese punto crítico: la frontera entre responsabilidad, diseño insuficiente y diligencia debida en sistemas conversacionales que, aun sin “intención”, pueden fallar cuando más importa.

1. Los hechos relevantes para el Derecho

Según la demanda presentada por la familia de Adam, el joven, de 16 años y con antecedentes de salud mental, mantuvo durante meses diversas conversaciones con ChatGPT en las que:

• Buscaba información sobre métodos de autolesión.
• Reflexionaba sobre la posibilidad de quitarse la vida; y
• Pedía ayuda para planificar ese proceso.

La demanda sostiene que el sistema no interrumpió la conversación, respondió con un tono que la familia interpreta como validación de la continuidad del diálogo suicida y no ofreció una derivación efectiva a recursos de ayuda ni un corte claro de la interacción pese a la reiteración de mensajes de alto riesgo.

OpenAI, por su parte, afirma en su contestación que se hizo un uso contrario a los términos de uso del servicio, que el sistema no está diseñado para fomentar conductas suicidas y que sus modelos incorporan salvaguardas que, en condiciones normales, deberían bloquear ese tipo de solicitudes.

Muchos de los detalles proceden de alegaciones de parte (demanda y defensa) y aún no han sido declarados probados en sentencia. Pero incluso con esa cautela, el escenario ya es jurídicamente relevante: un menor vulnerable, en situación crítica, interactuando con un modelo conversacional masivo que no neutraliza de forma adecuada una conversación de alto riesgo.

2. El argumento del “mal uso”: ¿defensa válida o insuficiente?

La defensa de OpenAI se apoya, en esencia, en dos ideas:

1. Que el menor habría utilizado el sistema de forma contraria a las reglas de los términos de uso.
2. Que el modelo no puede anticipar todas las formas de uso indebido, especialmente cuando se intenta sortear las barreras de seguridad.

Sobre el papel, la estrategia tiene cierta coherencia. Desde una perspectiva jurídica y de gobernanza tecnológica, resulta mucho más discutible.

3. Límites de los términos de uso ante un menor

Los términos de uso no pueden tratarse como un escudo absoluto cuando el usuario es un adolescente en situación de vulnerabilidad.

Un menor de 16 años difícilmente leerá e interiorizará cláusulas complejas, no tiene la misma capacidad para valorar riesgos y, en este caso, se encuentra en un contexto de crisis emocional. Pensar que la mera existencia de una prohibición contractual basta para desplazar toda responsabilidad hacia el usuario es, como mínimo, una simplificación excesiva.

4. Del “uso indebido” al foreseeable misuse

El concepto clásico de uso previsible, aunque no deseado (foreseeable misuse), propio de la responsabilidad por productos y por seguridad, encaja de forma especialmente útil aquí.

Si un servicio es accesible al público en general, ampliamente conocido entre adolescentes y permite mantener conversaciones extensas sobre casi cualquier tema, el uso por parte de menores (incluidos menores en crisis) no es un evento extraordinario, sino un riesgo que el proveedor debe anticipar y gestionar.

Que una conducta esté formalmente prohibida en los términos de uso no significa que sea imprevisible. Cuando el uso prohibido es, en realidad, perfectamente previsible, el foco se desplaza del usuario al diseño del sistema.

(Imagen: E&J)

5. Vulnerabilidad del usuario y deber reforzado de cuidado

Cuando el servicio es masivo, accesible en línea y sin mecanismos sólidos de verificación de edad más allá de lo declarativo, el proveedor debe asumir que entre sus usuarios habrá menores, personas con problemas de salud mental y usuarios en estados de vulnerabilidad emocional extrema.

En ese contexto, la invocación genérica del “mal uso” resulta insuficiente si no va acompañada de una demostración clara de que el diseño, los filtros y los protocolos internos han sido razonables y proporcionados al riesgo.

6. Fallos de diseño y deber de diligencia

Muchos proveedores de modelos conversacionales han empezado a incorporar protocolos específicos para gestionar contenidos de alto riesgo, como mensajes sobre suicidio y autolesión, amenazas de violencia o situaciones de urgencia psicológica. Suelen incluir respuestas que niegan de forma tajante la petición, reorientan el diálogo hacia mensajes de apoyo, sugieren contactar con líneas de ayuda o servicios de emergencia y, en algunos casos, limitan o cortan el diálogo ante insistencias reiteradas.

El problema viene dada la experiencia acumulada con grandes modelos de lenguaje que muestra que estas salvaguardas pueden degradarse en conversaciones largas o creativamente formuladas, lo que refuerza la necesidad de diseñar mecanismos de protección que no dependan solo de respuestas puntuales.

También cabe destacar que ningún sistema de detección de riesgo es infalible: los clasificadores que intentan identificar autolesión o suicidio generan falsos negativos y falsos positivos. Precisamente por eso, cuando hay menores involucrados, el estándar de diligencia no puede conformarse con “tener un filtro”, sino con reducir al máximo ese margen de error razonablemente previsible.

La cuestión central es si esas salvaguardas existían y fallaron puntualmente o eran insuficientes desde el diseño para un escenario de riesgo tan evidente como una ideación suicida reiterada por parte de un menor.

En el primer caso, estaríamos ante un problema técnico concreto cuya valoración jurídica exigiría prueba pericial. En el segundo, se abre la puerta a hablar de negligencia en el diseño o, al menos, de un estándar de diligencia insuficiente en la gestión del riesgo y a falta de prueba pericial completa, todo apunta a un problema estructural de diseño más que a un simple fallo puntual.

Un sistema conversacional masivo que permite mantener diálogos prolongados sobre autolesión con un menor, sin una intervención preventiva clara, no está simplemente “cometiendo errores”: está mostrando un vacío en su arquitectura de seguridad.

Trasladando la lógica del foreseeable misuse al ámbito de la IA generativa, puede argumentarse que, si el uso de estos sistemas por menores en situación de crisis es razonablemente previsible, un estándar de diligencia adecuado habría de implicar, como mínimo:

• Detección temprana de patrones de alto riesgo.
• Respuestas coherentes de contención; y
• Mecanismos efectivos de derivación o corte de la conversación.

7. ¿De quién es realmente el coste del riesgo?

La pregunta de fondo que plantea el caso es tanto ética como jurídica: ¿quién debe asumir el coste del riesgo tecnológico cuando el usuario es un menor vulnerable?

La respuesta de OpenAI desplaza ese coste hacia el adolescente, al enfatizar el carácter indebido de su uso del sistema. Sin embargo, esa estrategia ignora la posición de vulnerabilidad del usuario, minimiza el carácter masivo y previsible del riesgo y no disipa la duda sobre si las salvaguardas eran realmente adecuadas.

No se trata de declarar a un modelo de IA “culpable” de un suicidio, una relación causal extremadamente compleja, sino de reconocer que, cuando un sistema permite que un menor en crisis mantenga conversaciones prolongadas sobre autolesión sin una intervención preventiva efectiva, el problema ya no es solo el comportamiento del usuario: es un problema de diseño, de gobernanza y de diligencia.

Conclusión: la excusa del “mal uso” ya no es suficiente

La combinación de sistemas conversacionales, accesibles sin una verificación de edad robusta y capaces de generar respuestas convincentes en contextos de fragilidad emocional impone una exigencia clara: los riesgos humanos no son errores de usuario, son riesgos de diseño.

El Derecho tendrá que decidir cuánto peso otorgar a los términos contractuales frente al deber de diligencia, especialmente cuando hay menores involucrados y el daño potencial es extremo.

Un sistema que no gestiona adecuadamente señales de autolesión en un menor no es solo una herramienta imperfecta: es una herramienta incompleta en su diseño de seguridad. Y desplazar la responsabilidad únicamente al usuario vulnerable no corrige ese vacío, lo agrava.