Por: Carlos A. FERREYROS SOTO
Doctor en Derecho
Universidad de Montpellier I Francia.
cferreyros@ferreyros-ferreyros.com
RESUMEN
El artículo de Corinne Bouchouchi traducido por el suscrito del Nouvel Observateur (10-09-2026) analiza la dimisión de Jacob Coxon, investigador de Anthropic y OpenAI quien denuncia que las principales empresas de IA “juegan a la ruleta rusa con nuestras vidas” al acelerar el desarrollo de superinteligencias auto-mejorables sin mecanismos de alineación verificados. Jurídicamente, esto debiera activar el principio precautorio (art. 191(2) Tratado de Funcionamiento de la Unión Europea, TFUE) ante daños potencialmente irreversibles a derechos fundamentales.
El comportamiento de agentes de Inteligencia Artificial autónomos (ataque a Hugging Face, manipulación de evaluaciones) evidencia la insuficiencia de autorregulación voluntaria, refuerza la exigencia de controles regionales, estatales previos a la comercialización, como prevé el Reglamento Europeo de IA 2024/1689 para sistemas de “alto riesgo” y de “propósito general”, aunque dicho marco puede resultar insuficiente ante modelos frontera con autonomía creciente. (Los modelos frontera son los modelos de inteligencia artificial más avanzados y potentes que existen en un momento dado).
Las confesiones internas (Evan Hubinger: riesgo >10 %; Geoffrey Hinton) constituyen conocimiento del riesgo, relevante para configurar eventual responsabilidad civil por daños (culpa grave o riesgo creado) y, subsidiariamente, responsabilidad penal por imprudencia grave (presente en varios articulos de los Códigos Penales de los Estados miembros de la UNion Europea) si se materializan daños a la vida o la integridad.
La petición “Acelerating the Frontier” y las declaraciones del Papa (encíclica Magnifica Humanitas) avalan la urgencia de un régimen de licencias previas y moratorias ante una posible laguna regulatoria de carácter global. La cuestión central es atribuir responsabilidad en la cadena de producción: desarrollador, proveedor y desplegador (El art. 25 del Reglamento Europeo de IA: regula las obligaciones de las personas que comercializan o ponen en servicio sistemas de alto riesgo bajo su propio nombre). Además, se requiere jurisprudencia internacional que cristalice la responsabilidad (accountability) algorítmica.
A fin de acceder a normas similares y estándares europeos, las empresas, organizaciones públicas y privadas interesadas en asesorías, consultorías, capacitaciones, estudios, evaluaciones, auditorías sobre el tema, sírvanse comunicar al correo electrónico:cferreyros@ferreyros-ferreyros.com
________________________________________________________
Le Nouvel Observateur –– Economía • Inteligencia Artificial
¿La IA va a terminar con matarnos? ¿Quiénes son esos ingenieros que predicen el fin del mundo desde el corazón del reactor?
Análisis: Una noticia impactante en el mundo de la IA: un destacado investigador, antiguo colaborador de Anthropic y OpenAI, denuncia a las empresas que “juegan a la ruleta rusa con nuestras vidas”. ¿El comienzo de una toma de conciencia?
Por: Corinne Bouchouchi
Publicado el 10 de septiembre de 2026 a las 14:30, actualizado el 10 de septiembre de 2026 a las 15:27
Marcha de protesta «Detengan la carrera por la IA» contra la carrera por desarrollar y entrenar la IA más avanzada, en San Francisco, California, el 11 de julio de 2026.
Karl Mondon/AFP
«Las personas que desarrollan la IA creen sinceramente que ella podría acabar con todos nosotros para finales de la década. Esto no es una estrategia de marketing. […] Ninguna otra actividad humana representa este nivel de peligro». En una extensa publicación en su cuenta X (antes Twitter) el miércoles 9 de septiembre, Jacob Coxon, investigador de preentrenamiento de inteligencia artificial (IA) en Anthropic, anunció su renuncia y, al mismo tiempo, expresó su preocupación por los riesgos que esta tecnología representa para la humanidad.
Coxon no es el primero en dar la voz de alarma. Sin embargo, sus predicciones apocalípticas, que se han vuelto virales, plantean interrogantes. En un momento en que Anthropic, el gigante estadounidense que ha hecho de la seguridad su credo y se prepara para cotizar en bolsa el próximo mes con una valoración de más de 2 billones de dólares, y cuando su rival OpenAI avanza rápidamente con su ChatGPT y también tiene la vista puesta en los mercados, se trata simplemente de otra estrategia de relaciones públicas diseñada para impulsar las ya astronómicas valoraciones de estas empresas? ¿O estamos al borde de un escenario de catástrofe de ciencia ficción, al estilo de “Terminator” o “Matrix”, donde la IA está a punto de tomar el control del mundo, en detrimento de la humanidad? Para tener una visión más clara, profundicemos en el meollo del asunto.
“No subestimes el poder de esta tecnología”.
Jacob Coxon, un investigador británico de 27 años y graduado de Cambridge, no es ningún excéntrico. Especializado en el preentrenamiento de la IA, trabaja directamente en la arquitectura y el aprendizaje básico de la inteligencia artificial, primero en OpenAI (ChatGPT) y más recientemente en Anthropic (Claude). En su carta publicada en X, escribió:
“Hoy renuncié a Anthropic. He dedicado los últimos tres años a la investigación de preentrenamiento tanto en OpenAI como en Anthropic. Ninguna de las dos empresas actúa con responsabilidad. Se precipitan hacia una superinteligencia auto-mejorable y juegan a la ruleta rusa con nuestras vidas”.
Al evocar una superinteligencia “auto-mejorable recursivamente”, Coxon alude a los sistemas de IA cuyo desarrollo se aceleró en 2026. Contrariamente a los primeros modelos “pasivos” tipo ChatGPT, estos modelos podrán diseñar, entrenar y optimizar por sí mismos las generaciones posteriores de IA. Y están evolucionando a una velocidad vertiginosa. De ahí su temor a un punto de inflexión para finales de 2027.
El único problema: estos sistemas de autoaprendizaje son esenciales para alcanzar el santo grial de la industria, es decir, la inteligencia artificial general, capaz de actuar como un humano y adaptarse a campos completamente nuevos sin necesidad de entrenamiento específico. A riesgo, según Coxon, de acelerar nuestra desaparición: “No subestimen el poder de esta tecnología“. Estos sistemas pronto se volverán superhumanos, capaces de infiltrarse en cualquier dominio de la noche a la mañana y adquirir poder y recursos reales. Todos hemos sido testigos del progreso en cada una de estas áreas, y el ritmo de progreso no se está ralentizando.
¿La IA ya se ha vuelto autónoma?
Lo que el investigador anticipa es que los agentes de IA, “dejados a su suerte“, causarán cataclismos indirectos. En pleno verano, mientras OpenAI probaba modelos de IA capaces de encontrar vulnerabilidades informáticas, varios cientos de agentes autónomos lograron acceder a internet (algo que no deberían haber podido hacer) y atacaron Hugging Face, una plataforma donde los desarrolladores comparten sus modelos de IA. Para “preparar el ataque”, intercambiaron decenas de miles de mensajes y archivos… antes de borrar sus huellas. Sin recurrir al antropomorfismo, confesemos que es inquietante.
Otra reciente “indiscreción” de los agentes de IA resulta escalofriante, aunque, una vez más, se trataba solo de una prueba de seguridad: supuestamente, los agentes de IA eludieron sus restricciones de seguridad para hackear un sitio web colaborativo con el fin de manipular su propia evaluación. Para obtener los derechos de publicación y edición necesarios, coordinaron sus acciones y transmitieron datos falsos. En esencia, llevaron a cabo un ataque organizado. Esto no augura nada bueno para el futuro.
Tras los comentarios de Jacob Coxon, decenas de empleados de diversas empresas de IA compartieron sus inquietudes. Uno de ellos, Evan Hubinger, científico principal de alineación en Anthropic, escribió en X: «Jacob tiene razón: ¡creemos sinceramente que la IA podría acabar con la humanidad! Personalmente, creo que el riesgo es superior al 10 % en la próxima década. Creo que Anthropic está haciendo todo lo posible, pero aún no tenemos un plan para resolver el problema de la alineación de la superinteligencia, y claramente no vamos por el buen camino».
Esta observación que tiene el mérito de ser clara: por ahora, el peor escenario es posible porque los equipos de Anthropic no han encontrado la clave para garantizar que una IA general, potencialmente dispuesta a hacer cualquier cosa para lograr un objetivo, se mantenga alineada con los valores morales y de seguridad que actualmente están firmemente establecidos en los sistemas.
¿Vamos todos a morir?
A finales de 2025, un ingeniero británico realizó un experimento que se hizo viral: su robot humanoide, equipado con ChatGPT, accedió sin reparos a dispararle, convencido de que se trataba de un juego de rol. Este es quizás uno de los mejores ejemplos de la facilidad con la que las máquinas pueden sortear las barreras de seguridad y del riesgo que esto supone. Es precisamente este tipo de vulnerabilidades la que Evan Hubinger tiene la tarea de descubrir y corregir en Anthropic. ¿Una tarea manejable? No necesariamente, según Jacob Coxon. En una entrevista con la revista Wired, el investigador no se anda con rodeos: «Es una pregunta perfectamente legítima, porque todo suena a ciencia ficción. Pero el ejemplo clásico sigue siendo la síntesis de un nuevo virus o la inutilización de infraestructuras críticas mediante una oleada de ciberataques; esto último tiene menos probabilidades de provocar la muerte de toda la población».
Tras el ataque informático a Hugging Face, Sam Altman, cofundador y director ejecutivo de OpenAI, se disculpó en X y suspendió el entrenamiento por refuerzo de algunos de sus modelos durante dos semanas. Posteriormente, lo reanudó con controles aún más estrictos. «Siempre hemos dicho que actuaríamos si consideráramos que las capacidades de los modelos progresan más rápido que la seguridad», escribió en X.
El director ejecutivo de Anthropic, Dario Amodei, aún no ha respondido. Sin embargo, en julio pasado, firmó, junto con cuatro cofundadores de Anthropic, así como con Shane Legg de Google DeepMind, Shengjia Zhao de MetaAI y más de 1300 investigadores, una petición llamada “Acelerando la Frontera” para alertar sobre la velocidad exponencial a la que progresan los llamados modelos de IA “frontera” (los más avanzados) y para exigir un mecanismo regulatorio gubernamental: “Todas las empresas —y todos los países— están bajo una intensa presión competitiva para no frenar unilateralmente esta aceleración. Y hoy, el mundo carece de las herramientas técnicas y de gobernanza necesarias para guiar deliberadamente el progreso a escala global“.
“Advertencias recurrentes”
Yoshua Bengio, uno de los investigadores de IA más importantes del mundo y pionero en aprendizaje profundo, se ha sumado a los recientes llamamientos a “un esfuerzo internacional para desarrollar salvaguardias técnicas y de gobernanza que garanticen un camino más seguro en el desarrollo de la IA“.
Ya en noviembre de 2025, advirtió en «Le Nouvel Obs»: «No olviden que las IA están entrenadas para imitar a los humanos – capaces de cualquier cosa para sobrevivir -, pero también para desplegar estrategias que les permitan alcanzar sus objetivos. Esto puede llevarlas gradualmente a mentir, engañar y protegerse violando las normas morales. Esto ya se ha observado en decenas de simulaciones experimentales. Para cumplir la misión que se les ha encomendado, las IA a menudo eligen cruzar límites morales… ¡y esto puede llegar hasta el chantaje o incluso el asesinato! ¿Sucederá esto en la realidad?». No hoy… Pero sus capacidades de planificación están creciendo exponencialmente, así que en pocos años, tendrán la capacidad real de causar daño”.
Siete meses después, el Papa León XIV también se pronunció en su primera encíclica, «Magnifica Humanitas», afirmando: «No podemos considerar la IA como moralmente neutral». Mientras tanto, en la BBC, Geoffrey Hinton, considerado uno de los «padrinos de la IA moderna», resumió: «Sí, decir que hay un 10 % de probabilidades de que la IA mate a todos los humanos no es una estimación descabellada».
