‘Magnifica Humanitas’, el AI Act y la nueva cuestión social de la inteligencia artificial

He tardado 24 horas en escribir este artículo porque gran parte de lo que sigue está escrito de mi puño y letra, con la intención de ordenar algunas ideas que me han acompañado mientras leía Magnifica Humanitas, la encíclica de León XIV sobre la custodia de la persona humana en el tiempo de la inteligencia artificial.

León XIV es Robert Francis Prevost, el 267.º Papa de la Iglesia Católica, nacido en Chicago, religioso agustino, con una larga trayectoria pastoral vinculada a Perú y con experiencia previa en la Curia romana, entre otras responsabilidades como prefecto del Dicasterio para los Obispos. No es un dato menor que haya elegido precisamente la inteligencia artificial como uno de los grandes temas de su primera etapa doctrinal, porque esa elección sitúa a la IA donde creo que debe estar, no en el margen de las discusiones técnicas, sino en el centro de las grandes preguntas jurídicas, sociales y humanas de nuestro tiempo.

En mi opinión, León XIV no ha escrito un texto contra la tecnología, ni un documento ingenuamente fascinado por la innovación, sino una reflexión mucho más profunda sobre el poder, la dignidad, la libertad y el modo en que una sociedad decide organizar sus herramientas cuando esas herramientas empiezan a condicionar la manera en que trabajamos, pensamos, nos informamos, educamos, consumimos, decidimos y convivimos.

Para mí, hay cuatro ideas especialmente importantes. (i) La primera es que la tecnología nunca es neutral, porque siempre incorpora una determinada visión de la persona, de la sociedad y del poder. (ii) La segunda es que la inteligencia artificial no puede medirse únicamente por su eficiencia, porque también debe evaluarse por su impacto sobre los derechos fundamentales, el trabajo, la verdad pública, la libertad interior y la igualdad real. (iii) La tercera es que el Reglamento Europeo de Inteligencia Artificial, el AI Act, es imprescindible, pero no basta si no va acompañado de una cultura de responsabilidad. Y (iv) la cuarta, quizá la más importante, es que el gran riesgo de la IA no es solo que las máquinas se parezcan cada vez más a nosotros, sino que nosotros empecemos a mirar a los demás como si fueran máquinas, perfiles, métricas, datos o rendimientos.

La nueva cuestión social ya no está solo en la fábrica

La encíclica se sitúa expresamente en continuidad con Rerum Novarum, el texto con el que León XIII abordó en 1.891 la cuestión obrera y los desequilibrios provocados por la industrialización. Esta comparación es muy potente, porque nos permite entender que la IA no es simplemente una novedad tecnológica, sino una nueva cuestión social.

En el siglo XIX, el problema era cómo evitar que la industrialización redujera al trabajador a un coste productivo dentro de una maquinaria económica cada vez más poderosa. Hoy, el problema es cómo evitar que la inteligencia artificial reduzca a la persona a una agregación de datos, probabilidades, puntuaciones, patrones de conducta y decisiones automatizadas.

El paralelismo no es perfecto, pero sí muy sugerente. Entonces, la fábrica reorganizaba el tiempo, el cuerpo, el salario y la dependencia del trabajador. Hoy, los sistemas algorítmicos reorganizan la información, la atención, la reputación, el acceso a oportunidades, la visibilidad pública y, en muchos casos, la propia capacidad de decidir libremente.

Por eso me parece tan importante una de las frases centrales de la encíclica, cuando afirma que: “Nunca la humanidad tuvo tanto poder sobre sí misma”. La frase es breve, pero jurídicamente enorme, porque resume el salto cualitativo que estamos viviendo. Ya no hablamos solo de herramientas que amplían la fuerza física o la productividad material, sino de sistemas capaces de clasificar, predecir, recomendar, vigilar, persuadir y condicionar decisiones humanas a gran escala.

Esta es la razón por la que el debate sobre IA no puede quedar encerrado en departamentos de innovación, comités técnicos o presentaciones comerciales de proveedores. La IA afecta al núcleo mismo del Derecho, porque allí donde hay poder sobre personas, debe haber límites, responsabilidad, transparencia, posibilidad de impugnación y protección efectiva de la dignidad humana.

(Imagen: Vatican News)

El mito más peligroso es la neutralidad

Uno de los aciertos más claros de Magnifica Humanitas es desmontar la idea de que la tecnología sea un instrumento vacío, aséptico, puramente funcional, como si los sistemas de IA se limitaran a ejecutar operaciones matemáticas sin cargar en su interior una determinada forma de mirar el mundo.

La encíclica lo formula de manera directa al recordar que la tecnología “no es neutral”. Y esto, llevado al terreno jurídico, significa que todo sistema de IA incorpora decisiones previas, incluso cuando esas decisiones no aparecen en la interfaz ni en el contrato del proveedor. Se decide qué datos se usan, qué variables importan, qué objetivo se optimiza, qué sesgos se toleran, qué errores se consideran aceptables, qué colectivos soportan los falsos positivos o falsos negativos y qué margen real tiene una persona para discutir el resultado.

Por eso, cuando una empresa dice que “solo utiliza una herramienta”, normalmente está simplificando el problema. No solo utiliza una herramienta. Está incorporando una arquitectura de decisión. Está importando criterios. Está aceptando una forma de organizar información y poder.

Este punto conecta directamente con el AI Act. El Reglamento Europeo de Inteligencia Artificial no parte de una visión inocente de la tecnología, sino de la necesidad de promover una IA centrada en el ser humano y fiable, garantizando al mismo tiempo un elevado nivel de protección de la salud, la seguridad y los derechos fundamentales.

En otras palabras, Europa ha entendido que una IA no debe evaluarse solo por su capacidad de funcionar, sino por su capacidad de funcionar sin romper las garantías básicas de una sociedad democrática.

Esto es fundamental, porque el daño algorítmico no siempre se presenta como una gran injusticia visible. Muchas veces aparece como una decisión pequeña, automática, fría y aparentemente objetiva. Una candidatura que no pasa un filtro. Un crédito que se deniega. Una persona que queda peor posicionada. Un contenido que se invisibiliza. Un trabajador que recibe una puntuación baja. Un cliente que se perfila como riesgo. Una persona que nunca sabe exactamente por qué ha sido descartada.

El peligro no es solo que el sistema se equivoque. El peligro es que la injusticia se vuelva silenciosa, masiva y difícil de discutir.

Babel, Nehemías y la arquitectura moral de la IA

Una de las imágenes más poderosas de la encíclica es la contraposición entre Babel y Nehemías. Babel representa la construcción grandiosa, uniforme, autosuficiente, orientada al dominio y sostenida por la ilusión de que una sola lengua y una sola técnica pueden ordenarlo todo. Nehemías, en cambio, representa la reconstrucción paciente, compartida y responsable de una ciudad dañada, donde cada uno asume su tramo de muralla y donde la comunidad se levanta piedra a piedra.

La imagen es muy útil para pensar la IA. Babel es la tentación de traducir toda la realidad humana a datos, eficiencia y rendimiento. El trabajador como métrica. El consumidor como patrón. El paciente como probabilidad. El alumno como puntuación. El ciudadano como perfil. El usuario como atención monetizable.

Nehemías, en cambio, sería una gobernanza de IA construida con prudencia, escucha, participación, responsabilidad y límites. No una adopción apresurada de herramientas porque “todo el mundo lo está haciendo”, sino una arquitectura seria, levantada con escuadra moral, y una paciencia casi artesana, para que el edificio tecnológico no termine aplastando a quienes debía proteger.

Ese es el pequeño matiz que creo que muchas organizaciones todavía no han entendido. La IA no se gobierna únicamente comprando herramientas mejores, sino definiendo mejores preguntas antes de comprarlas. Qué proceso queremos mejorar. Qué derechos pueden verse afectados. Qué datos vamos a usar. Qué supervisión humana será real. Qué proveedor puede responder. Qué ocurre si el sistema falla. Qué personas pueden verse perjudicadas. Qué decisiones no queremos automatizar nunca.

El verdadero problema no es usar IA (como no lo es usar un cuchillo para cortar el pan). El verdadero problema es usarla sin haber decidido antes qué tipo de organización queremos ser cuando tengamos la capacidad técnica de automatizar mucho más de lo que quizá deberíamos automatizar.

(Imagen: Vatican News)

El AI Act como suelo mínimo

El AI Act es, sin duda, una de las respuestas jurídicas más ambiciosas del mundo frente a la inteligencia artificial. Clasifica sistemas por niveles de riesgo, prohíbe determinadas prácticas incompatibles con los derechos fundamentales, establece obligaciones reforzadas para sistemas de alto riesgo y exige medidas de gobernanza, documentación, transparencia, supervisión humana, calidad de datos y control durante el ciclo de vida del sistema.

Pero conviene no equivocarse. El AI Act no es la respuesta completa al problema de la IA. Es lo mínimo indispensable.

Y esto es muy importante para las empresas, porque cumplir formalmente con el Reglamento no garantiza por sí solo que una organización esté haciendo un uso razonable, prudente y humanamente responsable de la IA. Puede haber cumplimiento documental y, al mismo tiempo, una cultura corporativa profundamente acrítica. Puede haber políticas internas, registros, cláusulas y evaluaciones, pero si la lógica de fondo sigue siendo automatizar todo lo posible para reducir costes, acelerar procesos y desplazar responsabilidad, entonces el problema seguirá vivo.

El artículo 27 del AI Act, relativo a la evaluación de impacto en derechos fundamentales para determinados sistemas de alto riesgo, apunta precisamente en la buena dirección, porque obliga a preguntarse antes del despliegue cómo puede afectar un sistema a personas o colectivos concretos, qué riesgos genera, qué medidas de supervisión humana existen y qué mecanismos se activarán si esos riesgos se materializan.

Pero una evaluación de impacto no debería ser una plantilla defensiva para cubrir expediente. Una buena evaluación debería obligar a una empresa a hacerse preguntas incómodas. ¿Puede este sistema excluir injustamente a alguien? ¿Puede reforzar un sesgo histórico? ¿Puede afectar a personas vulnerables? ¿Puede una persona entender la decisión? ¿Puede discutirla? ¿Tiene sentido humano utilizar IA en este proceso? ¿Existe una alternativa menos invasiva?

El Derecho no debería limitarse a perseguir daños cuando ya se han producido, si no que debe ayudar a construir instituciones capaces de pensar antes de dañar.

La supervisión humana no puede ser decorativa

Una de las categorías jurídicas que más recorrido va a tener en los próximos años es la intervención y supervisión humana. Todos hablamos de “human in the loop” y “human on the loop”, pero muchas veces lo hacemos con una ligereza peligrosa.

Que haya una persona en el proceso no significa que haya verdadera intervención y/o supervisión humana. Puede haber una persona que valide automáticamente lo que dice la máquina. Puede haber una persona que no entienda el sistema. Puede haber una persona sin autoridad real para corregirlo. Puede haber una persona que, por presión interna, nunca se atreva a apartarse de la recomendación algorítmica.

Eso no es supervisión. Eso es una coartada.

La supervisión humana real exige comprensión, autoridad y libertad práctica. Comprensión, porque nadie puede supervisar lo que no entiende mínimamente. Autoridad, porque nadie supervisa de verdad si no puede detener, corregir o revertir una decisión. Y libertad práctica, porque nadie puede ejercer juicio humano si toda la organización penaliza la fricción y premia aceptar la salida de la máquina.

Aquí la encíclica resulta especialmente valiosa cuando recuerda que la cuestión “no se limita a la regulación”. Esta frase debería tomarse muy en serio. Podemos tener normas excelentes, pero si las empresas no construyen cultura interna, criterio directivo y responsabilidad operativa, el cumplimiento quedará reducido a una capa formal colocada sobre decisiones que ya vienen tomadas por la presión del mercado.

La IA obliga a recuperar una virtud jurídica clásica, la prudencia. No prudencia como miedo, sino como capacidad de deliberar bien antes de actuar. La prudencia es lenta en una época obsesionada con la velocidad. Vayamos un poco más lento, resulta imprescindible.

(Imagen: Vatican News)

Verdad, trabajo y libertad

La encíclica acierta también al centrar su análisis en tres ámbitos concretos, (i) la verdad, (ii) el trabajo y (iii) la libertad. No son temas accesorios. Son los espacios donde la IA puede generar algunos de sus impactos más profundos.

En materia de verdad, la IA generativa multiplica la capacidad de producir contenidos, imágenes, vídeos, voces y narrativas persuasivas con un coste bajísimo. Esto afecta a la democracia, porque la deliberación pública necesita una base mínima de realidad compartida. Si todo puede parecer verdadero y todo puede ser impugnado como falso, la conversación democrática se degrada y la ciudadanía queda atrapada entre el cinismo y la manipulación.

En materia de trabajo, el riesgo no es solo que desaparezcan puestos, sino que el trabajo humano se reorganice alrededor de sistemas de medición, vigilancia y optimización que reduzcan la autonomía, intensifiquen ritmos, automaticen evaluaciones y conviertan al trabajador en una sucesión de indicadores. La promesa de productividad puede ser real, pero también puede esconder una pérdida silenciosa de dignidad laboral.

En materia de libertad, el problema es todavía más sutil. La economía digital no solo vende productos. Captura atención, predice deseos, explota vulnerabilidades y moldea comportamientos. Cuando la IA se combina con modelos de negocio basados en la monetización de la atención, la libertad deja de ser una pura cuestión individual y pasa a ser también una cuestión estructural. No basta con decir que cada usuario decide libremente, si todo el entorno está diseñado para conocerlo mejor de lo que él se conoce y empujarlo hacia decisiones que benefician a otros.

En estos tres ámbitos, el Derecho debe actuar como una forma de resistencia civilizatoria para impedir que la innovación se convierta en una nueva forma de dominio.

La empresa ante su propia responsabilidad

Las empresas no pueden seguir tratando la IA como un proyecto exclusivamente tecnológico.

En mi opinión, las compañías que entiendan antes esta diferencia tendrán una ventaja enorme, no solo jurídica, sino estratégica. Porque el mercado va a empezar a distinguir entre organizaciones que usan IA de forma improvisada y organizaciones que pueden demostrar trazabilidad, responsabilidad, control y criterio.

La gobernanza de IA consiste en poder mirar a un cliente, a un trabajador, a un regulador o a un juez y explicar razonablemente qué se ha hecho, por qué se ha hecho, qué riesgos se han identificado y qué medidas reales se han adoptado para proteger a las personas afectadas.

Esa será una de las grandes pruebas de madurez corporativa de los próximos años.

Un profundo sentimiento humanista

Quizá la frase más sencilla y más profunda de la encíclica sea la llamada a “permanecer profundamente humanos”.

Permanecer humanos significa para mí no delegar sin criterio. Significa no automatizar sin responsabilidad. Significa no confundir eficiencia con justicia. Significa no aceptar que la opacidad técnica se convierta en impunidad. Significa no tratar la dignidad como una variable secundaria frente al rendimiento. Significa recordar que una persona no es su perfil, su sistema de scoring, su historial de datos ni la predicción que un sistema hace sobre ella.

Después de leer Magnifica Humanitas pienso que la inteligencia artificial no debe ser solo regulada. Debe ser civilizada. Y civilizar la IA significa someterla al Derecho, pero también a la libertad, a la igualdad y a la fraternidad.