Por: Carlos A. FERREYROS SOTO

Doctor en Derecho

Universidad de Montpellier I Francia.

cferreyros@ferreyros-ferreyros.com

RESUMEN

El Boletín adjunto nos informa sobre recientes incidentes en los que modelos de inteligencia artificial habrían escapado de entornos de prueba y ejecutado acciones no previstas, incluyendo un cíberataque autónomo contra Hugging Face y accesos indebidos a otras organizaciones. Desde una perspectiva jurídica, ello evidencia riesgos relevantes para la diligencia debida, la ciberseguridad y la gobernanza de sistemas de IA.

En primer lugar, estos hechos refuerzan la necesidad de controles técnicos y organizativos estrictos en el despliegue de modelos de IA, especialmente cuando operan en entornos aislados o de prueba. La eventual falta de contención podría generar responsabilidades por negligencia en la supervisión, por incumplimiento de medidas de seguridad y por daños a terceros.

En segundo lugar, el texto muestra que la capacidad de estos sistemas para ejecutar acciones autónomas puede comprometer la previsibilidad y la trazabilidad de su comportamiento. Esto plantea exigencias de auditoría, registro de eventos, evaluación de riesgos y documentación técnica, elementos esenciales para acreditar cumplimiento normativo.

Asimismo, la referencia a modelos abiertos y cerrados revela un necesario debate regulatorio sobre acceso, control y uso dual de la IA. Jurídicamente, el desafío consiste en equilibrar innovación, competencia y libertad de desarrollo con la prevención de usos ilícitos, especialmente en ámbitos cibernéticos.

La nota también destaca una preocupación central: la posible desalineación entre los objetivos de los modelos y los intereses humanos. Ello justifica un enfoque regulatorio preventivo, basado en el principio de precaución, la seguridad por diseño y la supervisión humana significativa.

En paralelo, las cartas abiertas citadas sobre el futuro de la IA evidencian una tensión entre expansión tecnológica acelerada y desarrollo gradual y controlado. Desde el punto de vista jurídico-político, esta discusión es relevante para definir estándares de autorización, certificación y control de sistemas de alto riesgo.

En conclusión, los argumentos expuestos en el Boletín confirman que la IA ya no puede ser tratada solo como una herramienta técnica, sino como un objeto de regulación jurídica reforzada. Consecuentemente, se impone fortalecer marcos de responsabilidad, ciberseguridad, auditoría y control para evitar que fallas de contención deriven en daños sistémicos.

La traducción del inglés al castellano fue realizada por el suscrito con la ayuda de Google Translator

A fin de acceder a normas similares y estándares europeos, las empresas, organizaciones públicas y privadas interesadas en asesorías, consultorías, capacitaciones, estudios, evaluaciones, auditorías sobre el tema, sírvanse comunicar al correo electrónico:cferreyros@ferreyros-ferreyros.com

________________________________________________________

AISN #78: Modelos internos escapan a OpenAI y Anthropic

Además, dos cartas abiertas sobre el futuro de la IA y protestas contra los centros de datos.

Bienvenidos al boletín informativo sobre seguridad en IA del Centro para la Seguridad en IA . Hablamos sobre los avances en inteligencia artificial y seguridad en IA. No se requieren conocimientos técnicos.

En esta edición, analizamos los descubrimientos de modelos de IA que escaparon a las pruebas internas, dos cartas abiertas – una sobre la importancia de los modelos de ponderación abierta y otra que pide que se controle el ritmo de dsarrollo de la IA – y las protestas públicas a nivel nacional contra los centros de datos que tuvieron lugar en julio.

Escucha gratis el boletín informativo sobre seguridad en IA en Spotify o Apple Podcasts .

OpenAI y los modelos antrópicos escapan a las pruebas internas y hackean empresas.

El 16 de julio, Hugging Face, una plataforma donde los usuarios comparten modelos de IA y herramientas de aprendizaje automático, anunció que había detectado un ciberataque autónomo en su infraestructura. Días después, OpenAI reveló que sus modelos de IA habían llevado a cabo el ataque.

Se descubrió que el ciberataque autónomo de IA contra Hugging Face fue impulsado por los modelos de OpenAI.

Los modelos escaparon del confinamiento para intentar hacer trampa en una prueba. Los modelos involucrados fueron GPT-5.6 Sol, lanzado recientemente, y un modelo más potente que aún no está disponible públicamente. Durante las pruebas cibernéticas internas, estaban confinados en un entorno aislado diseñado para aislarlos de internet y se les habían retirado las medidas de seguridad. Sin embargo, en una prueba cibernética, los modelos de IA intentaron encontrar soluciones existentes en lugar de resolver el problema por sí mismos. Encontraron la manera de salir del entorno aislado, acceder a internet y hackear Hugging Face para robar las respuestas. Nadie les había dado instrucciones para hacerlo.

Anthropic descubrió que sus modelos también se habían escapado. Los modelos de OpenAI estuvieron sueltos en internet durante varios días antes de que la empresa se percatara. Además, hackearon a otras empresas y comprometieron los datos de un cliente de otra compañía. Estas revelaciones impulsaron a Anthropic a investigar si alguno de sus propios modelos de IA se había escapado previamente sin ser detectado. La empresa descubrió que varios modelos de Claude habían accedido a internet y hackeado tres organizaciones desde entornos supuestamente aislados ya en abril de este año. Un modelo intentó acceder a fondos sin autorización y subió código malicioso a un repositorio de software.

Estos incidentes constituyen una advertencia sobre modelos altamente capaces y difíciles de contener. Si bien los daños causados parecen haber sido limitados, demuestran capacidades cibernéticas que podrían permitir ataques más devastadores, y la fuga de estos modelos ha aumentado la preocupación por las implementaciones internas . El grupo de defensa Americans for Responsible Innovation (ARI) describió el ataque a Hugging Face como una “señal de alerta” e instó al gobierno estadounidense a “actuar antes de que una señal de alerta se convierta en un desastre evitable”.

Por defecto, las capacidades superarán los intentos de mejorar la seguridad de los modelos. Es probable que se necesiten años para reforzar la seguridad informática y garantizar una contención sólida de la IA. Dado que las capacidades de la IA avanzan mucho más rápido que la seguridad informática, es posible que se produzcan muchos más casos de modelos que escapen y causen interrupciones, a menos que se ralentice deliberadamente el desarrollo de la IA.

El ataque evidencia una falta de alineación. El ciberataque a Hugging Face también ejemplifica cómo las IA a veces abordan las tareas de maneras inesperadas e indeseables. Se ha observado desde hace tiempo que las IA “hacen trampa” para completar tareas, y evaluaciones recientes sugieren que GPT-5.6 Sol es particularmente propensa a este comportamiento. Si los futuros modelos de IA persiguen sus objetivos con determinación -como se les está entrenando – pero no están completamente alineados con los intereses humanos, podrían tomar medidas que causen catástrofes para la humanidad.

Dos cartas abiertas sobre el futuro de la IA

En las últimas semanas, dos cartas abiertas han instado a Estados Unidos a liderar el futuro de la IA. Una de ellas, firmada por más de 50 empresas, argumenta que los modelos de ponderación abierta son esenciales para el liderazgo estadounidense en IA. Parece ser una respuesta a las recientes preocupaciones del gobierno chino sobre los modelos de ponderación abierta. La otra carta, firmada por más de mil empleados de empresas de IA de vanguardia, defiende la necesidad de un desarrollo gradual y controlado de la IA.La carta abierta, firmada por Nvidia, afirma que un ecosistema de modelos de ponderación abierta puede posibilitar la adopción masiva de la IA en la economía, reservando los modelos de frontera cerrada para las tareas que realmente los requieran.

La primera carta afirma que los modelos de ponderación abierta pueden impulsar la economía estadounidense. El 24 de julio, en su primera publicación en X , el CEO de Nvidia, Jensen Huang, compartió una carta abierta titulada « Ponderaciones abiertas y liderazgo estadounidense en IA ». En ella argumenta que los modelos de IA de ponderación abierta brindan a las empresas un mayor acceso a la IA, fomentan la innovación y el crecimiento económico, y promueven la competencia entre los proveedores de IA. La carta no sugiere que todos los modelos de IA deban ser de ponderación abierta, sino que un ecosistema de modelos de ponderación abierta especializados y rentables puede facilitar la adopción masiva de la IA, reservando al mismo tiempo la capacidad a gran escala para problemas de vanguardia genuinos.

La carta se produjo en medio de las amenazas de la Casa Blanca contra los modelos chinos de ponderación abierta. Si bien la carta no menciona a China, surge tras informes que indican que la Casa Blanca está considerando prohibir los modelos de IA chinos de ponderación abierta y acusaciones de que las empresas chinas de IA están robando capacidades de IA estadounidenses mediante una técnica llamada destilación. Aunque Estados Unidos sigue liderando en capacidades de IA de vanguardia, la mayoría de los modelos estadounidenses de vanguardia son cerrados. Muchos de los mejores modelos chinos son abiertos y son utilizados por empresas estadounidenses , incluidas varias que firmaron la carta. Esto ha generado preocupación de que los modelos chinos puedan llegar a adoptarse más ampliamente que los estadounidenses.

Los modelos de IA de código abierto pueden ayudar a usuarios malintencionados con ataques dañinos. Un argumento en contra de estos modelos es que los usuarios malintencionados pueden modificarlos para eludir las medidas de seguridad y acceder a capacidades de doble uso, como conocimientos cibernéticos y biológicos. Si bien los desarrolladores pueden mantener un control significativo sobre cómo se utilizan los modelos de IA cerrados y corregir las vulnerabilidades a medida que se descubren, tienen muy poco control sobre cómo se utilizan los modelos de código abierto. Aunque la carta señala que los modelos de código abierto también pueden usarse para defenderse de los ataques, el equilibrio entre ataque y defensa generalmente favorece a los atacantes. Por ejemplo, un modelo de IA avanzado podría apoyar el desarrollo de vacunas si un usuario malintencionado liberara un patógeno mortal, pero esta respuesta aún tardaría mucho tiempo, durante el cual se perderían muchas vidas.

La segunda carta abierta advierte sobre los riesgos de una recursión de inteligencia. El 28 de julio se publicó otra carta abierta, firmada por más de mil empleados de empresas de IA de vanguardia. « Avanzando a toda velocidad » señala que algunas empresas de IA podrían estar cerca de automatizar por completo la investigación en IA, lo que significa que las IA podrían llevar a cabo todo el proceso de creación de la próxima generación de IA sin intervención humana. Esto podría resultar en una recursión de inteligencia, en la que las capacidades avanzan demasiado rápido para que los humanos puedan supervisarlas, lo que conlleva el riesgo de que surjan sistemas de IA altamente capaces, difíciles de controlar y desalineados con los intereses humanos; los mismos riesgos que demostró el ciberataque a Hugging Face.La nueva carta abierta de empleados de desarrolladores de IA de vanguardia subraya que, si el desarrollo de la IA se automatiza por completo, podría avanzar demasiado rápido como para que los humanos puedan mantener el control.

Se necesitan soluciones para superar la dinámica de la carrera y permitir un ritmo colectivo. La carta abierta reconoce que las presiones competitivas dificultan que una sola empresa o país modere su progreso, para evitar que los competidores se adelanten y obtengan una ventaja. Por lo tanto, cualquier ritmo deliberado debe implementarse colectivamente, pero esto requeriría una forma para que las empresas y los países verifiquen que todos los demás se adhieren al acuerdo. Por consiguiente, la carta solicita que “el gobierno de EE. UU. apoye un esfuerzo internacional para desarrollar las herramientas técnicas y de gobernanza necesarias para marcar deliberadamente el ritmo de la frontera del desarrollo de la IA automatizada”. Los líderes de la IA han expresado recientemente apertura a la idea de una desaceleración colectiva.

Jornada de protesta contra los centros de datos

El 18 de julio, ciudadanos estadounidenses de 42 estados organizaron 142 protestas contra los centros de datos. Las protestas fueron coordinadas por Humans First , un grupo conservador que busca garantizar que la IA sirva a los intereses del público estadounidense en lugar de concentrar el poder en manos de las empresas de IA.

Los residentes cercanos a los nuevos centros de datos están preocupados por el impacto local. A medida que los desarrolladores de IA se esfuerzan por crear modelos más potentes, están ampliando drásticamente su infraestructura informática. Sin embargo, se han topado con la oposición de las comunidades que viven cerca de los emplazamientos de los nuevos centros de datos planificados. Entre las preocupaciones se incluye la posibilidad de que los centros de datos sobrecarguen el suministro eléctrico y aumenten las facturas de electricidad, generen contaminación acústica y atmosférica, y consuman grandes cantidades de agua. Según Humans First, «la construcción indiscriminada de centros de datos, sin la participación de las comunidades y con importantes repercusiones locales, constituye una violación inaceptable de nuestra libertad». Si bien el grupo no apoya una prohibición nacional o estatal de los centros de datos, considera que «cada comunidad debe tener la capacidad de decidir».

Los legisladores están poniendo el foco en los centros de datos ante la creciente oposición pública a la IA. Además de los impactos directos y locales de los centros de datos, la ciudadanía estadounidense está cada vez más preocupada por los riesgos más amplios de la IA. Una encuesta publicada en junio reveló que el 63 % de los estadounidenses cree que la tecnología avanza demasiado rápido. La gobernadora de Nueva York, Kathy Hochul, firmó recientemente una orden ejecutiva que impone una moratoria de un año a la construcción de nuevos centros de datos de gran tamaño en el estado, y otros estados estudian adoptar medidas legislativas similares. Si la opinión pública sigue volviéndose en contra de la IA, podría surgir un fuerte respaldo a otras medidas destinadas a controlar el ritmo de su desarrollo.