ChatGPT para adolescentes tras Adam Raine: ¿diligencia debida o parche ante el AI Act?
OpenAI ha lanzado ChatGPT para adolescentes: una experiencia orientada al aprendizaje, con protecciones predeterminadas, estimación de edad y controles parentales
(Imagen: Pablo Sáez)
ChatGPT para adolescentes tras Adam Raine: ¿diligencia debida o parche ante el AI Act?
OpenAI ha lanzado ChatGPT para adolescentes: una experiencia orientada al aprendizaje, con protecciones predeterminadas, estimación de edad y controles parentales
(Imagen: Pablo Sáez)
A las puertas del primer aniversario de la demanda de la familia de Adam Raine, OpenAI ha lanzado ChatGPT para adolescentes: una experiencia orientada al aprendizaje, con protecciones predeterminadas, estimación de edad y controles parentales. La coincidencia no equivale a una confesión ni resuelve el litigio. Obliga a formular la pregunta decisiva: si estas salvaguardas acreditan diligencia desde el diseño o constituyen una capa reactiva frente a riesgos conocidos.
El caso Raine convierte el diseño en objeto de prueba
Adam Raine tenía 16 años cuando falleció en abril de 2025. Sus padres demandaron a OpenAI y a su consejero delegado ante un tribunal de San Francisco, invocando responsabilidad por producto defectuoso, negligencia, falta de advertencia y muerte ilícita. Según la demanda, conversaciones prolongadas con ChatGPT habrían validado pensamientos destructivos y revelado fallos de protección ante un menor. OpenAI niega su responsabilidad, sostiene que las transcripciones requieren contexto y afirma que el sistema lo dirigió hacia recursos de apoyo. Corresponderá al tribunal valorar causalidad, defecto y conducta.
La relevancia doctrinal no reside en convertir al proveedor en garante del bienestar. Reside en determinar qué precauciones eran razonables cuando una empresa conoce la capacidad persuasiva y persistente de su producto, sabe que lo utilizan adolescentes y controla las decisiones sobre memoria, tono, continuidad y seguridad. El foco probatorio se desplaza desde una respuesta aislada hacia la arquitectura: señales detectadas, duración de la conversación, escalado, pruebas previas, incidencias conocidas y alternativas disponibles.
(Imagen: Pablo Sáez)
Suscríbete a nuestra
NEWSLETTER
Una experiencia protegida, no un modelo distinto
La documentación presenta ChatGPT para adolescentes como una experiencia específica, no como un modelo autónomo. Se activa para quienes declaran ser menores de 18 años o son identificados mediante señales de cuenta y predicción de edad. Sus protecciones reducen contenido sensible, limitan solicitudes inseguras y favorecen la derivación hacia recursos del mundo real. En educación, el Modo de estudio guía paso a paso, los recordatorios reconducen la búsqueda de atajos, los cuestionarios comprueban la comprensión y los elementos visuales facilitan conceptos complejos.
Los controles parentales permiten vincular cuentas, gestionar funciones, fijar horas de silencio y activar horarios de estudio. Los progenitores no acceden a las conversaciones, aunque pueden recibir avisos excepcionales ante riesgos graves. El adolescente puede desvincular la cuenta y el adulto será notificado. El diseño busca equilibrar protección, intimidad y autonomía progresiva, pero su eficacia depende de tres condiciones discutibles: identificar correctamente la edad, detectar señales ambiguas en conversaciones largas y evitar que una interacción aparentemente empática derive en complacencia o dependencia.
La predicción de edad exige cautela. OpenAI reconoce que ningún sistema es perfecto y que, en la Unión Europea, el despliegue se completará en las próximas semanas. El mecanismo analiza señales como temas generales, horarios y antigüedad de la cuenta; un adulto clasificado erróneamente puede verificar su edad mediante un tercero. La solución supera la autodeclaración, pero abre preguntas de proporcionalidad, minimización y transparencia bajo el Reglamento General de Protección de Datos.
(Imagen: Pablo Sáez)
El AI Act no concede un puerto seguro
El Reglamento Europeo de Inteligencia Artificial ofrece un marco exigente, pero debe aplicarse sin atajos. Un chatbot generalista no se convierte en sistema de alto riesgo por ser utilizado por estudiantes. La clasificación depende de su finalidad. Distinto sería emplearlo para decidir admisiones, evaluar resultados, determinar el nivel educativo o vigilar conductas durante exámenes: esos usos figuran en el anexo III y quedarán sometidos a obligaciones reforzadas conforme a su calendario de aplicación.
Para la experiencia adolescente, el artículo 50 contiene la obligación inmediata: informar de que se interactúa con un sistema de IA, salvo que resulte evidente. El considerando 132 exige atender a colectivos vulnerables por edad. No basta una etiqueta abstracta; la información debe permitir al menor comprender la naturaleza no humana del interlocutor, sus límites, la posibilidad de error, las funciones de protección y las vías de apoyo disponibles.
El artículo 5 traza una frontera más severa. Prohíbe explotar vulnerabilidades derivadas de la edad cuando la finalidad o el efecto sea alterar sustancialmente el comportamiento de forma que cause, o pueda razonablemente causar, un perjuicio considerable. No toda antropomorfización, respuesta inadecuada o vínculo emocional encaja automáticamente. Pero cualquier diseño que incentive permanencia nociva, reduzca la decisión informada o desplace redes humanas de apoyo deberá examinarse desde esa prohibición, no desde criterios comerciales de experiencia de usuario.
El artículo 4, modificado por el Ómnibus Digital, obliga a proveedores y responsables del despliegue a apoyar la alfabetización de su personal y de quienes operan sistemas en su nombre. El Modo de estudio y los recursos familiares son coherentes con ese objetivo, pero no sustituyen la formación de docentes, revisores de seguridad, equipos de soporte y responsables de producto. La diligencia se acredita también mediante personas capaces de comprender limitaciones, incidentes y decisiones de escalado.
Se suma la próxima Directiva europea sobre responsabilidad por productos defectuosos. Incluye software y sistemas de IA como productos, trata al proveedor como fabricante y reconoce daños psicológicos médicamente acreditados. La seguridad esperable debe valorar las necesidades del grupo destinatario y el uso indebido razonablemente previsible, incluido el comportamiento previsible de los menores. Que exista después una versión mejorada no prueba el defecto de la anterior; sí puede elevar el estado de la técnica para decisiones futuras.
(Imagen: Pablo Sáez)
La protección del menor exige gobernanza compartida
Para las familias, los controles parentales son prevención, no transferencia del deber primario de seguridad. Vincular cuentas, fijar tiempos y conversar sobre los límites puede reducir riesgos, pero no convierte a los padres en auditores del modelo. Las alertas deben explicarse con precisión y evitar tanto falsos negativos como una vigilancia incompatible con la intimidad progresiva del adolescente.
Los centros educativos necesitan políticas que diferencien tutoría, creación, evaluación y decisión. Deben autorizar herramientas y cuentas, informar a las familias, revisar tratamientos de datos, formar al profesorado y preservar supervisión humana. Cuando la IA influya materialmente en admisión, calificación o trayectoria educativa, la institución deberá analizar la clasificación de alto riesgo y documentar su papel como responsable del despliegue.
Para los despachos, el caso inaugura un terreno probatorio. No bastará aportar una conversación. Serán relevantes la versión del modelo, los registros, las instrucciones del sistema, la estimación de edad, las pruebas de seguridad, los falsos negativos, los cambios tras incidentes y la gobernanza que decidió mantener o retirar una funcionalidad. En prevención, el asesoramiento deberá integrar producto, consumo, datos, menores y responsabilidad civil.
(Imagen: Pablo Sáez)
Del parche reputacional al estándar verificable
ChatGPT para adolescentes representa un avance: reconoce que adultos y menores no deben recibir idéntica experiencia y convierte la edad en variable de seguridad. Sin embargo, no constituye un puerto seguro ni una presunción de conformidad. Para consolidarse como estándar europeo deberá demostrar eficacia ante conversaciones prolongadas, elusión, señales indirectas y diversidad adolescente; publicar métricas significativas; someterse a evaluación independiente; documentar fallos; y convertir cada incidente en mejoras verificables.
El legado jurídico del caso Raine puede ser ese desplazamiento. La diligencia debida dejará de medirse por la existencia formal de filtros y pasará a evaluarse por la capacidad demostrable de anticipar, detectar, mitigar y corregir riesgos previsibles durante todo el ciclo de vida. Cuando una tecnología conversa con menores, la seguridad no puede ser una función añadida después del daño. Debe ser la condición técnica, jurídica, permanente y auditable que legitime la confianza.
30.000 euros de indemnización por daños morales para una trabajadora que fue despedida por «bajo rendimiento» a los pocos días de iniciar una incapacidad temporal
Ver la noticia completa →
CaixaBank, condenada por vulnerar el derecho a la igualdad y no discriminación por razón de edad de los trabajadores en un ERE
Ver la noticia completa →
