Por: Carlos A. FERREYROS SOTO
Doctor en Derecho
Universidad de Montpellier I Francia.
RESUMEN
El presente Informe proporciona un análisis de la hoja de ruta de estandarización en apoyo de la Ley de IA (AIA). El análisis cubre los estándares considerados por el Comité Técnico Conjunto (JTC) 21 de CEN-CENELEC sobre Inteligencia Artificial (IA) Ronan Hamon en enero de 2023, evaluando su cobertura de los requisitos establecidos en el texto legal.
Los estándares internacionales actualmente considerados cubren ya parcialmente los requisitos de la AIA para una IA confiable definidos en el reglamento. Además, ya está previsto abordar muchas de las lagunas restantes identificadas mediante una normalización europea específica. Para contribuir al debate sobre los estándares de IA y apoyar el trabajo de los normalizadores, este documento presenta un análisis y una recomendación basados en expertos independientes, destacando áreas que merecen mayor atención por parte de los normalizadores y señalando, cuando sea posible, estándares o estándares adicionales relevantes, proporcionando directamente posibles ampliaciones al alcance de futuras normas europeas en apoyo de la Ley de IA.
Se incluye el Resumen Ejecutivo del Informe traducido por el suscrito con la ayuda de Machine Translated by Google yla Fuente de donde proviene el Informe en inglés: Comisión Europea, Centro Común de Investigación, Soler Garrido, J., Fano Yela, D., Panigutti, C., et al., Analysis of the preliminary AI standardisation work plan in support of the AI Act, Oficina de Publicaciones de la Unión Europea, 2023, https://data.europa.eu/dooi/10.2760/5847
A fin de acceder a normas similares y estándares europeos, las empresas, organizaciones públicas y privados interesados en asesorías, consultorías, capacitaciones, estudios, evaluaciones, auditorías sobre el tema, sírvanse comunicar al correo electrónico:cferreyros@hotmail.com
___________________________________________________
Resumen ejecutivo
Traducción del inglés al castellano realizada por: Machine Translated by Google
Presentamos un análisis experto de los estándares considerados por CEN-CENELEC JTC 21 para su adopción en apoyo de la Ley de Inteligencia Artificial. Dentro del alcance se encuentran las normas de la lista presentada en la reunión plenaria del JTC21 en enero de 2023, que incluye normas internacionales ISO/IEC, así como nuevos elementos de trabajo CEN-CENELEC que se desarrollarán a nivel europeo. Esta lista preliminar de normas ha sido analizada desde la perspectiva de los resultados solicitados en el proyecto de solicitud de normalización de la Comisión Europea.
Gestión de riesgos
En el plan de trabajo actual, la cobertura de la gestión de riesgos se proporciona principalmente a través de la norma ISO/IEC 23894 sobre gestión de riesgos de IA. Sin embargo, la alineación de esta norma con las necesidades de la Ley de IA es bastante limitada dado su enfoque amplio e inespecífico en los riesgos organizacionales y la presencia limitada de riesgos para los derechos fundamentales, la salud y la seguridad considerados en la propuesta de la Ley de IA. Además, se trata de una norma de alto nivel y no prescriptiva, que proporciona orientación en lugar de requisitos concretos. En vista de esto, una nueva normalización europea sobre riesgos, como la propuesta actualmente por CEN-CENELEC JTC 21, es de particular importancia y es un candidato prometedor para abordar algunas de las deficiencias mencionadas. Se espera que este próximo trabajo, la Lista de verificación para la gestión de riesgos de la IA (CLAIRM), proporcione un conjunto más granular de requisitos técnicos relacionados con la gestión de los riesgos de la IA, con fuentes de riesgo, daños y contramedidas específicas. Esto debería tomar la forma de una norma europea prescriptiva con carácter práctico, que establezca requisitos concretos de gestión de riesgos y permita a los proveedores de IA seleccionar e implementar medidas de tratamiento de riesgos. También se espera que contribuya a evitar una fragmentación excesiva en términos de estándares de gestión de riesgos necesarios para la Ley de IA. En este contexto, en reuniones de normalización se han debatido activamente varias normas con contenido relacionado con riesgos, incluidas ISO/IEC 23894, 42001 y 31000, pero ninguna de ellas aborda plenamente los riesgos considerados en la Ley de IA. Por lo tanto, el nuevo trabajo de estandarización emprendido a nivel del JTC21 representa una oportunidad para abordar las necesidades europeas en materia de gestión de riesgos de IA en una única referencia, evitando una situación en la que los proveedores de IA necesiten adoptar un número excesivo de estándares para lograr un sistema de gestión de riesgos compatible. Esta referencia centroeuropea puede complementarse en aspectos específicos con trabajos internacionales preexistentes, que cubren, por ejemplo, consideraciones de gestión de riesgos detallada de aspectos técnicos cruciales, como en el área de Identificación y tratamiento de sesgos no deseados.
Gobernanza de datos y calidad de datos
Estos aspectos se cubren principalmente a través de la serie ISO/IEC 5259 sobre calidad de datos para análisis y aprendizaje automático. En particular, la parte 3 proporciona una cobertura integral de los requisitos de la AIA en términos de gobernanza de datos. En cuanto a la calidad de los datos, un catálogo completo de atributos de calidad enumerados en la parte 2 de esta serie incluye aquellos que son más relevantes en el contexto de la Ley de IA. Sin embargo, se necesitan requisitos de implementación adicionales para garantizar la selección y priorización adecuadas de los atributos de calidad de acuerdo con los riesgos de la Ley de IA. En su forma actual, esta serie de estándares tiene un amplio alcance, y la calidad de los datos se define en términos generales como datos que cumplen con los requisitos de la organización. En este sentido, los atributos de calidad de los datos más relacionados con los requisitos de la Ley de IA sólo se cubren superficialmente. Afinar el enfoque de este estándar para alinearlo mejor con los requisitos legales de la Ley de IA también traería el beneficio adicional de reducir los gastos generales de implementación para los proveedores de IA, ya que el cumplimiento total parece requerir una lista completa de productos de trabajo que se deben producir. orientadas a procesos, o una cobertura Especificaciones como ISO/IEC TS 12791 e IEEE 7003, que cubren aspectos de sesgo no deseado, y en particular sus cláusulas sobre sesgo de datos, son particularmente complementarias en este caso, dada su orientación técnica y su potencial para centrarse más claramente en los riesgos considerados en el Ley de IA.
Mantenimiento de registros
El registro y el mantenimiento de registros están cubiertos sólo hasta cierto punto en la norma ISO/IEC 42001, como uno de los controles opcionales a considerar para la implementación de opciones de tratamiento de riesgos. Por lo tanto, se espera que se proporcionen más requisitos sobre este tema en un nuevo elemento de trabajo, como la “Caracterización de confiabilidad de la IA” de CEN-CENELEC JTC21, que en su esquema ya incluye el mantenimiento de registros y la trazabilidad como características de confiabilidad. El nuevo trabajo específico propuesto por el Grupo de Trabajo 3 del JTC21 es particularmente relevante y alentador. Estas planificadas y cualquier otro elemento de trabajo nuevo propuesto en respuesta a la solicitud de estandarización de la Ley de IA deben tener como objetivo proporcionar una cobertura detallada de los mecanismos de registro y trazabilidad para situaciones que podrían generar riesgos, apoyando la supervisión de los sistemas de IA, pero también prestando especial atención a la conformidad, aspectos de evaluación y seguimiento post-comercialización. Entre los estándares revisados al momento de publicar este informe, una de las pocas fuentes maduras con contenido relevante en este aspecto es el IEEE 7001 sobre transparencia, y en especial los requisitos previstos para cubrir las necesidades de los perfiles de investigadores de incidentes, que parecen estar alineados con las prioridades de la AIA. Esto exige la necesidad de explorar modalidades para la posible integración de elementos apropiados de las normas IEEE en futuros resultados de normalización europea
Transparencia.
La transparencia en la Ley de IA, con un enfoque en el suministro de información a los usuarios, está cubierta hasta cierto punto en la norma ISO/IEC 42001, que proporciona especificaciones para un sistema de gestión de IA. Los controles relevantes enumerados incluyen «Documentación del sistema e información para los usuarios» y «Comprensibilidad y accesibilidad de la información proporcionada». También se espera una cobertura adicional y más detallada en nuevos elementos de trabajo europeos, en particular el elemento de trabajo “Caracterización de la confiabilidad de la IA”. Su esquema ya incluye la transparencia como una preocupación. Es importante garantizar que este estándar proporcione detalles técnicos y potencialmente plantillas para la documentación de sistemas y conjuntos de datos de IA para usuarios interesados con diversos perfiles y niveles de experiencia. Otras fuentes relevantes a considerar son las prácticas comunitarias emergentes para la documentación de sistemas, modelos y conjuntos de datos de IA provenientes de la industria y el mundo académico, que proporcionan una buena base para plantillas futuras que contienen muchos elementos de información técnica relevantes para los usuarios de sistemas de IA de alto riesgo.
Supervisión humana
Este es un aspecto que se espera que se cubra principalmente en nuevos elementos de trabajo, como el trabajo del JTC 21 “Caracterización de la confiabilidad de la IA”, que en su esquema menciona tres aspectos diferentes de la supervisión, incluida la transparencia, la monitorización, la explicabilidad/interpretabilidad y la intervenibilidad/controlabilidad. La variedad de consideraciones es alentadora, ya que es crucial que este documento considere una amplia gama de enfoques y medidas para la supervisión humana, por ejemplo, medidas organizativas y técnicas (redundancia, controlabilidad), medidas de capacitación y un diseño adecuado de interfaces hombre-máquina, entre otros. También es importante que el riesgo de sesgo de automatización se aborde adecuadamente en normas armonizadas. Limitar el enfoque de la estandarización a enfoques técnicos como las técnicas de IA explicables no es una opción adecuada, especialmente dado que muchos de estos enfoques aún se encuentran en etapa de investigación y aún no son técnicamente sólidos. De hecho, se espera que las normas se basen en métodos consolidados y establezcan objetivos de supervisión humana realistas y alcanzables basados en técnicas generalmente aceptadas.
Precisión y robustez
En términos de estándares internacionales ya considerados, la serie ISO/IEC 24029 proporciona una cobertura parcial de la robustez. La Parte 1 es un informe técnico, que podría ser una referencia útil con orientación sobre métricas de solidez para modelos de clasificación/regresión supervisados que utilizan enfoques estadísticos y empíricos. La parte 2 de esta serie es una especificación técnica que describe métodos formales para aplicaciones donde estos enfoques son prácticamente factibles. Sin embargo, como ocurre con otros requisitos, se debe proporcionar una cobertura adicional sustancial de precisión y solidez en el elemento de trabajo del JTC21 sobre “caracterización de la confiabilidad de la IA”. Su esquema ya describe un marco general para la cobertura de la mayoría de los requisitos de confiabilidad y sus interdependencias, incluidos criterios y observables para medir la solidez. Se recomienda que los normalizadores establezcan requisitos claros para los proveedores de IA, a fin de garantizar la selección y justificación adecuadas de los criterios, métricas y umbrales de precisión y solidez.
La seguridad cibernética
El plan de trabajo actual considera la adopción de ISO/IEC 27001, una norma de alto nivel ampliamente adoptada que especifica cómo configurar un sistema de gestión de seguridad de la información. Este es un documento genérico que se centra en aspectos organizativos y, en general, se aplica a proveedores de productos de IA. En este sentido, proporciona una buena cobertura de las preocupaciones clásicas de cíberseguridad, especialmente cuando se utiliza junto con ISO/IEC 27002, que proporciona una lista de controles de seguridad. Sin embargo, la serie ISO/IEC 27000 no proporciona ninguna cobertura significativa de las amenazas de cíberseguridad específicas de la IA, los ataques específicos de la IA o los controles de seguridad específicos de la IA. Estos no se consideran actualmente en el esquema de los nuevos elementos de trabajo del CEN-CENELEC JTC21. Los riesgos de cíberseguridad de la IA deberían cubrirse en el nuevo trabajo europeo sobre gestión de riesgos, como parte de una lista de verificación planificada de riesgos y mitigaciones de riesgos. Además, se requieren especificaciones que cubran amenazas, medidas de detección y mitigación y controles de seguridad para riesgos de cíberseguridad específicos de la IA. En este sentido, la próxima ISO/IEC 27090 es una especificación prometedora.
Gestión de la calidad
El sistema de gestión de IA descrito por ISO/IEC 42001 coincide en términos generales con el requisito de la Ley de IA para un sistema de gestión de calidad. Sin embargo, este es un estándar de alto nivel que está diseñado para brindar la mayor flexibilidad y libertad posible a las organizaciones que lo aplican, lo que en su forma actual limita su utilidad como medio para garantizar el cumplimiento normativo. Cabe destacar que los riesgos considerados, así como los controles implementados para el tratamiento de riesgos, son todos opcionales y se evita intencionalmente cualquier vínculo con el cumplimiento normativo. Gestión de la calidad Como tal, se alienta a los normalizadores europeos a proponer mecanismos para hacer que esta norma sea más concreta, prescriptiva y adaptada a la regulación europea, ya sea al adoptarla inicialmente como EN o como una norma armonizada para la Ley de IA en una etapa posterior. Sería particularmente relevante hacer obligatorios los controles necesarios que aborden directamente los requisitos de la Ley de IA y exigir justificaciones más sólidas para los controles excluidos y adoptados para el tratamiento del riesgo de IA, incluida la provisión de evidencia de su efectividad. Además, se necesita más profundidad técnica y requisitos de implementación concretos para algunos de los procesos y controles, especialmente para aquellos que no están cubiertos de manera destacada en estándares específicos. En particular, se debe ampliar la cobertura de los aspectos del seguimiento posterior a la comercialización para incluir mecanismos específicos de seguimiento de los riesgos y los impactos negativos para las personas. Los requisitos en términos de evaluación del impacto del sistema de IA por parte de proveedores de sistemas de IA de alto riesgo, es decir, detalles sobre cómo evaluar el impacto negativo potencial en las personas, también merecen más importancia en esta norma, convirtiéndolos en un requisito estricto y estableciendo vínculos con el próximo trabajo de normalización europeo, sobre la gestión de riesgos. De manera similar, se necesitaría mayor orientación sobre la gestión de modificaciones al sistema de IA de alto riesgo, con especial consideración a aquellas que podrían afectar el perfil de riesgo del sistema de IA.
Evaluación de la conformidad
El plan de trabajo actual contiene una propuesta para la adopción de ISO/IEC 42006, una norma que define los requisitos para los organismos de evaluación de la conformidad que auditan un sistema de gestión de IA basado en ISO/IEC 42001. Aunque aún se encuentra en una etapa temprana, se espera que sea una norma relevante. , dada la importancia del sistema de gestión de la calidad a la hora de evaluar la conformidad con la normativa. Además de auditar el sistema de gestión de la IA, los normalizadores deberían considerar la necesidad de especificaciones que cubran las pruebas de conformidad de los propios sistemas de IA. Estos deberían cubrir competencias para la evaluación de sistemas de IA de alto riesgo, es decir, pasos metodológicos y de procedimiento para auditarlos. Los organismos de evaluación de la conformidad también se beneficiarían de los resultados de estandarización que brinden orientación sobre procesos y técnicas para determinar el cumplimiento de requisitos concretos de confiabilidad, y sobre la identificación de indicaciones y desencadenantes clave que justifiquen una exploración y prueba más profunda de los sistemas de IA durante los procedimientos de evaluación de la conformidad.
Panorama
El análisis presentado en este informe muestra que los normalizadores europeos han logrado avances considerables en un corto período para preparar un plan de trabajo en respuesta a la próxima solicitud de estandarización de la Ley de IA. La adopción del trabajo internacional, en particular de ISO/IEC, proporcionará un valioso punto de partida para cubrir los diversos requisitos para los sistemas de IA de alto riesgo establecidos en la Ley de IA. Sin embargo, aún quedan por abordar varias lagunas en materia de normalización. Además, algunas de las áreas en las que se requiere una normalización adicional presentan fuertes especificidades europeas. Por ejemplo, se requieren especificaciones técnicas que apunten específicamente a los riesgos de la IA que considera la regulación europea, es decir, aquellos para los derechos fundamentales, la salud y la seguridad de las personas. Además, los requisitos específicos contemplados en el reglamento no pueden considerarse de forma aislada. Evaluación de la conformidad Dadas las interdependencias y compensaciones involucradas, muchos requisitos técnicos importantes y orientación para los proveedores de sistemas de IA de alto riesgo probablemente se capturen mejor como parte de una norma europea que cubra de manera integral los diversos requisitos de confiabilidad establecidos en la Ley de IA. Fundamentalmente, ambos aspectos, las características de riesgo y confiabilidad, se capturan en el plan de trabajo preliminar del JTC21 en forma de nuevos resultados de estandarización europea.