Agencia Estatal Boletín Oficial del Estado
I
La inteligencia artificial es una tecnología disruptiva con una alta capacidad de impacto en la economía y la sociedad. En el plano económico, y junto a otras tecnologías digitales, presenta un alto potencial para el aumento de la productividad, la apertura de nuevas líneas de negocio, el desarrollo de nuevos productos o servicios –basados, por ejemplo, en la personalización, la optimización de los procesos industriales o las cadenas de valor–, la mejora en la facilidad de realización de tareas cotidianas, la automatización de ciertas tareas rutinarias y el desarrollo de la innovación. Este potencial incide positivamente en el crecimiento económico, la creación de empleo y el progreso social.
No obstante, los sistemas de inteligencia artificial también pueden suponer riesgos sobre el respeto de los derechos fundamentales de la ciudadanía, como por ejemplo los relativos a la discriminación y a la protección de datos personales, o incluso causar problemas graves sobre la salud o la seguridad de la ciudadanía.
Por ello, la Comisión Europea ha presentado una propuesta de Reglamento del Parlamento Europeo y del Consejo por el que se establecen normas armonizadas en materia de inteligencia artificial con el objetivo de asegurar el respeto de los derechos fundamentales de la ciudadanía y generar confianza en el desarrollo y la utilización de la inteligencia artificial de manera holística en la economía y la sociedad. El citado Reglamento busca proveer a la Unión Europea de un marco normativo con el fin de promover una inteligencia artificial fiable, ética y robusta.
La propuesta no regula la tecnología en sí, sino las aplicaciones de alto riesgo de inteligencia artificial. Esta propuesta de Reglamento está negociándose en estos momentos tanto en el Consejo de la Unión Europea como en el Parlamento Europeo, que ya han publicado sus posiciones con las enmiendas propuestas por ambas instituciones.
En este contexto, el Gobierno de España, con la colaboración de la Comisión Europea, pone en marcha el primer entorno controlado de pruebas para comprobar la forma de implementar los requisitos aplicables a los sistemas de inteligencia artificial de alto riesgo de la propuesta de reglamento europeo de inteligencia artificial con el ánimo de obtener, como resultado de esta experiencia, unas guías basadas en la evidencia y la experimentación que faciliten a las entidades, especialmente las pequeñas y medianas empresas, y a la sociedad en general, el alineamiento con la propuesta del Reglamento Europeo de Inteligencia Artificial. Durante el desarrollo de este entorno controlado de pruebas, se utilizará como referencia la posición del Consejo de la Unión Europea del 25 de noviembre de 2022, como se explica en el anexo I.
Este entorno controlado de pruebas también posibilita la cooperación entre los usuarios y los proveedores de inteligencia artificial, validando desde ambos aspectos la implementación de los requisitos tanto de sistemas de inteligencia artificial de alto riesgo, así como de los sistemas de propósito general y modelos fundacionales con respecto al cumplimiento de los requisitos de la futura normativa europea.
Por tanto, el objeto de este entorno será estudiar la operatividad de los requisitos establecidos en la propuesta de Reglamento europeo, la realización de una autoevaluación de cumplimiento de los mismos y la evaluación del plan posterior a la comercialización de los sistemas de inteligencia artificial de las entidades participantes. Esta iniciativa se espera que dé lugar al desarrollo de un informe conteniendo buenas prácticas y conclusiones obtenidas, así como a unas guías técnicas de ejecución y supervisión basadas en la evidencia y la experimentación. Esta documentación podrá ponerse a disposición de la Comisión Europea para el desarrollo de guías europeas, y a disposición de los organismos de normalización como aportación para el proceso de estandarización, así como a disposición de la sociedad en su conjunto.
II
Esta iniciativa forma parte de la estrategia española de transformación digital, Agenda de España Digital 2026, que enmarca la hoja de ruta del Gobierno de España para impulsar el proceso de transformación digital del país. Esta agenda aúna los pilares estratégicos en los que asentarse la recuperación económica de España para lograr un crecimiento más intenso y sostenido, rico en empleo de calidad, con mayor productividad y que contribuya a la cohesión social y territorial, aportando prosperidad y bienestar de toda la ciudadanía.
La Agenda España Digital 2026 se estructura en tres dimensiones que son: infraestructuras y tecnología; empresas; y personas, en las que se organizan doce ejes de acción. En concreto, cabe destacar el eje de los derechos digitales, de gran importancia para asegurar que el proceso de cambio que supone una transformación digital pone al individuo en el centro. España ha hecho de la digitalización humanista el núcleo de su transformación digital, asegurando que los principios, valores y derechos, que son la base de nuestra sociedad democrática, sean también la base de las interacciones digitales y para garantizar la incorporación de la perspectiva de género en la IA.
Esta iniciativa también encuentra encuadre en el Plan de Recuperación, Transformación, y Resiliencia, donde se asientan diez políticas palanca divididas en una serie de inversiones y reformas estructurales. Éstas se interrelacionan y retroalimentan y se sustentan en cuatro pilares que vertebrarán la transformación del conjunto de la economía española: transición energética, transformación digital, cohesión social y territorial e igualdad de género, este último con carácter transversal.
En particular, se inserta en el eje 6 dentro de la Estrategia Nacional de Inteligencia Artificial (ENIA), que en el marco del Plan de Recuperación, Transformación y Resiliencia corresponde al Componente 16. Este componente tiene como objetivo apoyar el despliegue y uso masivo de la inteligencia artificial por parte de las grandes empresas, las Administraciones Públicas, las pequeñas y medianas empresas y empresas emergentes, y la sociedad civil.
La norma se dicta de conformidad con la habilitación prevista en el artículo 16 de la Ley 28/2022, de 21 de diciembre, de Fomento del Ecosistema de las Empresas Emergentes, donde se contempla la creación de entornos controlados, por períodos limitados de tiempo, para evaluar la utilidad, la viabilidad y el impacto de innovaciones tecnológicas aplicadas a actividades reguladas, a la oferta o provisión de nuevos bienes o servicios, a nuevas formas de provisión o prestación de los mismos o a fórmulas alternativas para su supervisión y control por parte de las autoridades competentes. Esta misma norma señala que la creación de los entornos controlados de pruebas para la evaluación de su impacto está justificada por razones imperiosas de interés general.
Cabe destacar que, inspirada por la Carta de Derechos Digitales, esta iniciativa pretende dar una forma concreta y práctica al compromiso español de «establecer un marco ético y normativo que refuerce la protección de los derechos individuales y colectivos» al avanzar la hoja de ruta establecida por dicha Carta para guiar la transformación digital humanista de España.
Las entidades participantes tendrán que cumplir con la normativa europea y nacional que les resulte aplicable y, en particular, con lo dispuesto en el Reglamento (UE) 241/2021 del Parlamento Europeo y del Consejo, de 12 de febrero de 2021, por el que se establece el Mecanismo de Recuperación y Resiliencia.
En lo que a la participación se refiere, cualquier entidad seleccionada para participar en este entorno ha de estar sujeta a la jurisdicción española, por lo que será obligatorio que se trate de entidades residentes en España o que tengan un establecimiento permanente en España.
A este respecto hay que indicar que el Tratado de Funcionamiento de la Unión Europea (TFUE) prohíbe en su artículo 63 las restricciones a los movimientos de capitales entre Estados miembro de la Unión Europea y entre Estados miembro y terceros países. Sin embargo, el artículo 65.1.b) de dicho Tratado permite a los Estados miembro de la Unión Europea tomar medidas justificadas por razones de seguridad, orden público y salud pública.
En el presente caso, teniendo en cuenta que los requisitos a comprobar son los aplicables a sistemas calificados de alto riesgo o sistemas de propósito general y modelos fundacionales, cabe la posibilidad de que interfieran en el orden público o en la salud pública en España. En ausencia de un marco legal armonizado para los sistemas de inteligencia artificial antes de la adopción del mencionado Reglamento, el Estado español podrá requerir que, en el ámbito de esta experiencia, las entidades que participen, si no son residentes en España, estén obligadas a tener un establecimiento permanente en España, o bien sean parte de una agrupación de entidades donde el representante de la agrupación o apoderado único siendo este integrante de la misma, sea la entidad participante y cuyo domicilio o establecimiento principal se encuentre necesariamente en territorio español a los efectos del artículo 9 del Real Decreto Legislativo 1/2010, de 2 de julio, por el que se aprueba el texto refundido de la Ley de Sociedades de Capital.
Si bien es cierto que en el ámbito del entorno controlado de pruebas no se prevé que se generen ingresos para las entidades solicitantes, su participación en esta experiencia implica la dedicación voluntaria de tiempo y recursos, lo que justifica la exigencia del establecimiento permanente desde un punto de vista de relaciones con la Administración pública.
III
Con la propuesta del Reglamento por el que se establecen normas armonizadas en materia de inteligencia artificial, establece una regulación armonizada europea basada en los riesgos derivados de los sistemas de inteligencia artificial. En este se establecen normas armonizadas para el desarrollo, la introducción en el mercado y la utilización de sistemas de inteligencia artificial en la Unión Europea, con un importante foco en sistemas de inteligencia artificial de «alto riesgo» para la salud y la seguridad o los derechos fundamentales de las personas.
En este sentido, el Ministerio de Asuntos Económicos y Transformación Digital impulsa la regulación del procedimiento de selección de los sistemas de inteligencia artificial que vayan a participar en el entorno controlado de pruebas, ya sean sistemas de alto riesgo, sistemas de propósito general, o modelos fundacionales, además de cuál será el papel de los usuarios que los utilizan, de los proveedores de los sistemas de inteligencia artificial que los desarrollan, de los elementos que éstos últimos deben implementar, de la comprobación de su correcta implementación, del modelo de seguimiento, y de las vías de apoyo para estas actividades.
En el caso de los sistemas de propósito general se incluyen en el ámbito de este entorno controlado de pruebas debido a que estos pueden utilizarse en una pluralidad de contextos e integrarse en múltiples sistemas de inteligencia artificial y tienen, en consecuencia, un importante potencial de ser transformados en sistemas de inteligencia artificial de alto riesgo.
Así mismo, en el caso de los modelos fundacionales estos se basan en ideas estándar en transferencia de aprendizaje y avances recientes en aprendizaje profundo y sistemas informáticos aplicados a gran escala, demuestran capacidades emergentes y pueden mejorar el rendimiento en una amplia gama de tareas posteriores.
Por otro lado, podrán participar en la experiencia de comprobar los requisitos cualquier entidad de derecho privado, Administración pública, o entidad del sector público que desarrolle un sistema de inteligencia artificial con su propio nombre o marca comercial, ejerciendo el rol de proveedor de sistemas de inteligencia artificial.
Adicionalmente, las entidades privadas o cualquiera de las administraciones públicas y entidades del sector público institucional en España podrán acceder al entorno controlado de pruebas ejerciendo un rol de usuario de aquellos sistemas de inteligencia artificial provistos por los proveedores y estando supeditada su participación a la aprobación y participación del proveedor de sistemas de inteligencia artificial.
Se seleccionarán para este entorno tanto sistemas de inteligencia artificial que estén comercializados y cuyo desarrollo esté atravesando una fase de cambios sustanciales que facilite la introducción de las medidas necesarias para cumplir con la propuesta del Reglamento europeo de Inteligencia Artificial o que, sin estar comercializados, hayan alcanzado un nivel de desarrollo suficientemente avanzado como para poder comercializarse o ponerse en servicio dentro del marco temporal del entorno.
Para la selección de las entidades participantes en dicho entorno, se publicará una convocatoria especificando los detalles de interés y requisitos para participar en el mismo. Una vez evaluadas las solicitudes, se autorizará la participación a las entidades seleccionadas, las cuales recibirán unas guías preliminares y especificaciones técnicas que faciliten la implementación de los requisitos que impone a los sistemas de alto riesgo la propuesta del Reglamento europeo de Inteligencia Artificial.
Una vez las entidades participantes realicen esta actividad en el ámbito del entorno, estas deberán realizar una autoevaluación del cumplimiento de los requisitos de los sistemas de inteligencia artificial. Esta autoevaluación de cumplimiento no tiene efectos fuera del estricto ámbito de este entorno.
Por otro lado, en aquellos casos en que los sistemas de inteligencia artificial puedan encontrarse en el ámbito de aplicación de legislación sectorial concreta, y obligados a hacer una evaluación de conformidad, ésta deberá realizarse de forma independiente a la autoevaluación de cumplimiento que se realizará en el entorno controlado de pruebas. La autoridad notificada relevante que vaya a realizar la evaluación de conformidad sectorial como tercero podrá asociarse como observador de la autoevaluación de cumplimiento en dicho entorno.
Durante el desarrollo de la experiencia, se llevará a cabo un intercambio de información entre las entidades participantes y la Secretaría de Estado de Digitalización e Inteligencia Artificial acerca de las posibles mejoras a incluir en las guías preliminares y las especificaciones técnicas. Esto permitirá la actualización de las guías preliminares y las especificaciones técnicas que posteriormente se publicarán como guías de implementación finales y se pondrán a disposición de la sociedad en su conjunto.
Los resultados obtenidos del entorno controlado de pruebas podrán ser el punto de partida para una futura plataforma de software que facilite una primera autoevaluación no vinculante sobre el cumplimiento de los principios de la propuesta del Reglamento de Inteligencia Artificial.
IV
El real decreto se estructura en un título preliminar y dos títulos y siete anexos. El título preliminar contiene las disposiciones generales, estableciendo su objeto y ámbito de aplicación, así como las definiciones de los conceptos principales a efectos de lo previsto en la norma.
El título I se estructura en seis capítulos a través de los cuales se concreta los requisitos para la elegibilidad y la participación en el entorno controlado de pruebas, para lo que se regula el régimen jurídico aplicable; la figura del proveedor de sistema de inteligencia artificial; los criterios de elegibilidad; el modo de participación y procedimiento de admisión; la forma en que se evaluarán las solicitudes; las particularidades y condiciones concretas para el desarrollo de esta experiencia, y las garantías de las entidades participantes; los canales de comunicación y la finalización de la experiencia en el entorno.
Con objeto de habilitar la participación en el entorno controlado de pruebas, se celebrarán convocatorias concretas en las que los proveedores de sistemas de inteligencia artificial que cumplan las condiciones específicas de participación y de elegibilidad puedan presentar una solicitud. Posteriormente se evaluarán las solicitudes para asegurar la participación tanto de una amplia variedad de sistemas de inteligencia artificial de alto riesgo, de propósito general y modelos fundacionales como en cuanto a una gran diversidad de tipologías de entidades. Tras la resolución de admisión de los mismos, podrá iniciarse la experiencia.
El título II contiene una serie de disposiciones relativas a la colaboración y coordinación entre autoridades, personas asesoras expertas y otros organismos españoles y europeos.
En sus disposiciones adicional primera y segunda se indican, respectivamente, los medios así como los resultados esperados del entorno controlado de pruebas y en sus disposiciones finales primera y segunda se indican, respectivamente, el título competencial así como su vigencia y entrada en vigor.
El presente real decreto entrará en vigor al día siguiente de su publicación en el «Boletín Oficial del Estado», justificándose en la premura para iniciar el funcionamiento del entorno controlado de pruebas. Además, el real decreto no mantendrá su vigencia en el momento que sea eficaz en el Reino de España el Reglamento del Parlamento Europeo y del Consejo por el que se establecen normas armonizadas en materia de inteligencia artificial, que será adoptado por los colegisladores de la Unión Europea. El entorno controlado de pruebas queda sujeto a las reglas establecidas por el presente real decreto.
V
El entorno controlado de pruebas constituye una iniciativa con un alto componente de innovación en el marco actual. El proyecto que se enmarca en el ámbito competencial que corresponde a la Secretaría de Estado de Digitalización e Inteligencia Artificial supone una oportunidad para el aprovechamiento de las sinergias en la materia de inteligencia artificial en concordancia con el resto de los actores de la Unión Europea y sus Estados miembro.
La inteligencia artificial esta llamada a ser un elemento transversal en el desarrollo económico y social de cualquier contexto avanzado. Sobre la base de esto, corresponde a los poderes públicos la promoción y el apoyo correspondiente de acuerdo con el ámbito competencial y normativo que le corresponde.
La creación del entorno controlado de pruebas, objeto del presente real decreto, no constituye el establecimiento de ninguna ventaja competitiva en el ámbito empresarial ni una disrupción del mercado relacionado con esta materia. Ello se justifica sobre la base de que tanto la convocatoria de participación en el entorno, el desarrollo del mismo y la posterior elaboración de conclusiones se traducirá en la publicación de guías de prácticas a disposición pública. Así mismo, también se podrá poner a disposición de la Comisión Europea y otros actores públicos y privados competentes e interesados en la materia.
La participación en la experiencia por las entidades seleccionadas tras el correspondiente procedimiento supone la inclusión en un sistema colaborativo de aprendizaje y de codecisión; los resultados de este tienen como finalidad principal generar un beneficio aplicable al conjunto de la sociedad civil y en el ámbito económico. Por otro lado, la creación del entorno supone un gran avance desde la perspectiva del sector público, ya que permitirá un aprendizaje consciente en el ámbito de la inteligencia artificial dada su dinámica naturaleza.
Este real decreto responde a los principios de necesidad, eficacia, proporcionalidad, seguridad jurídica, transparencia, y eficiencia, tal y como exige el artículo 129 de la Ley 39/2015, de 1 de octubre, del Procedimiento Administrativo Común de las Administraciones Públicas.
A estos efectos, se pone de manifiesto el cumplimiento de los principios de necesidad y eficacia dado el interés general en experimentar con sistemas de inteligencia artificial la ejecución de la propuesta del Reglamento por el que se establecen normas armonizadas en materia de inteligencia artificial en pro del respeto de los derechos de la ciudadanía en su interacción con la inteligencia artificial, así como la necesidad de facilitar dicho cumplimiento a través de guías de ejecución para todos aquellos que desarrollen sistemas de inteligencia artificial de alto riesgo, sistemas de propósito general y modelos fundacionales y, en particular, para las pequeñas y medianas empresas. Se considera que el real decreto es el instrumento más adecuado para garantizar la consecución de los objetivos descritos.
La norma es acorde con el principio de proporcionalidad, pues no va más allá de lo necesario en cuanto a requisitos para las entidades participantes del entorno y establece el marco necesario para la consecución de los objetivos previamente mencionados.
Igualmente, se ajusta al principio de seguridad jurídica, siendo coherente con el resto del ordenamiento jurídico e integrándose en el mismo.
En cuanto al principio de transparencia, se cumple dado que el real decreto se ha sometido durante su elaboración a los procesos de consulta exigidos por el artículo 26.6 de la Ley 50/1997, de 27 de noviembre, del Gobierno mediante su publicación en el portal web del Ministerio de Asuntos Económicos y Transformación Digital. Por último, en relación con el principio de eficiencia, en este real decreto se ha procurado que la norma genere las menores cargas administrativas posibles para la ciudadanía.
Esta norma se dicta en virtud en ejercicio de la habilitación legal y constitucional prevista en el artículo 97 de la Constitución Española, conforme al cual corresponde al Gobierno ejercer la potestad reglamentaria de acuerdo con la Constitución y las leyes.
Este real decreto se dicta al amparo de lo dispuesto en el artículo 149.1. 13 ª y 15.ª de la Constitución Española, que atribuye al Estado la competencia exclusiva sobre las bases y coordinación de la planificación general de la actividad económica y la competencia exclusiva en materia de fomento y coordinación general de la investigación científica y técnica.
El establecimiento de un entorno controlado de pruebas corresponde al ámbito competencial de la Secretaría de Estado de digitalización e Inteligencia Artificial tal y como viene recogido en el Real Decreto 2024/2023, de 28 de marzo, por el que se establece la estructura organizativa básica del Ministerio de Asuntos Económicos y Transformación Digital. Este real decreto cuenta con un carácter eminentemente técnico y supone la inclusión de una materia innovadora en el marco de actuación de la administración. Estas premisas justifican la utilización de la figura del real decreto en cumplimiento con el sistema de fuentes establecido.
En la tramitación del real decreto se han cumplido los trámites establecidos en el artículo 26 de la Ley 50/1997, de 27 de noviembre, del Gobierno. En el marco de la elaboración se han recabado los siguientes informes: Informe de la Secretaría General Técnica del Ministerio de Asuntos Económicos y Transformación Digital, Informe del Ministerio de Industria, Comercio y Turismo, Informe del Ministerio de Interior, Informe del Ministerio de Justicia, Informe de la Agencia Española de Protección de Datos e informe de la Comisión Nacional de los Mercados y la Competencia.
Este real decreto se dicta de conformidad con lo previsto en el artículo 16 y la disposición final undécima de la Ley 28/2022, de 21 de diciembre, de Fomento del Ecosistema de las Empresas Emergentes.
Esta norma reglamentaria es aprobada de acuerdo con lo establecido en el artículo 21 de la Ley 50/1997, de 27 de noviembre, del Gobierno, según el cual el gobierno en funciones limitará su gestión al despacho ordinario de los asuntos públicos, absteniéndose de adoptar, salvo casos de urgencia debidamente acreditados o por razones de interés general cuya acreditación expresa así lo justifique.
En su virtud, a propuesta de la Ministra de Asuntos Económicos y Transformación Digital, con la aprobación previa de la Ministra de Hacienda y Función Pública, de acuerdo con el Consejo de Estado, y previa deliberación del Consejo de Ministros en su reunión del día 7 de noviembre de 2023,
DISPONGO:
1. El presente real decreto tiene por objeto establecer un entorno controlado de pruebas para ensayar el cumplimiento de ciertos requisitos por parte de algunos sistemas de inteligencia artificial que puedan suponer riesgos para la seguridad, la salud y los derechos fundamentales de las personas. Asimismo, se regula el procedimiento de selección de los sistemas y entidades que participarán en el entorno controlado de pruebas».
El presente real decreto es de aplicación tanto a las administraciones públicas y entidades del sector público institucional, tal y como se define en el artículo 3.14, como a entidades privadas seleccionadas en el entorno controlado de pruebas de inteligencia artificial.
A efectos de lo previsto en este real decreto, serán de aplicación las siguientes definiciones:
1. «Órgano competente»: Secretaría de Estado de Digitalización e Inteligencia Artificial.
2. «Entorno controlado de pruebas o experiencia»: entorno o experiencia, con una duración determinada, que proporciona un contexto estructurado para el desarrollo de las actuaciones necesarias que posibiliten a proveedores y usuarios de los sistemas de inteligencia artificial de alto riesgo, sistemas de propósito general y modelos fundacionales que realicen las pruebas necesarias para la implementación de los requisitos establecidos en este real decreto, bajo la supervisión del órgano competente.
3. «Sistema de inteligencia artificial»: sistema diseñado para funcionar con un cierto nivel de autonomía y que, basándose en datos de entradas proporcionadas por máquinas o por personas, infiere cómo lograr un conjunto de objetivos establecidos utilizando estrategias de aprendizaje automático o basadas en la lógica y el conocimiento, y genera información de salida, como contenidos (sistemas de inteligencia artificial generativos), predicciones, recomendaciones o decisiones, que influyan en los entornos con los que interactúa.
4. «Sistema de inteligencia artificial de alto riesgo»: sistema de inteligencia artificial que cumpla alguno de los siguientes supuestos:
a) Un sistema de inteligencia artificial que constituya un producto regulado por la legislación de armonización de la Unión especificada en el anexo VII del presente real decreto se considerará de alto riesgo si debe someterse a una evaluación de la conformidad por un tercero con vistas a la introducción en el mercado o puesta en servicio de dicho producto con arreglo a la legislación mencionada.
b) Un sistema de inteligencia artificial que vaya a ser utilizado como un componente que cumple una función de seguridad y cuyo fallo o defecto de funcionamiento pone en peligro la salud y la seguridad de las personas o los bienes en un producto regulado por una norma armonizada de la Unión Europea, si debe someterse a una evaluación de conformidad por parte de un tercero con vistas a la introducción en el mercado o puesta en servicio de dicho producto con arreglo a la legislación de armonización aplicable. Este supuesto será aplicable, aunque el sistema de inteligencia artificial se comercialice o se ponga en servicio independientemente del producto.
c) Sistemas de inteligencia artificial mencionados en el anexo II, siempre que la respuesta del sistema sea relevante respecto a la acción o decisión a tomar, y pueda, por tanto, provocar un riesgo significativo para la salud, los derechos de las personas trabajadoras en el ámbito laboral o la seguridad o los derechos fundamentales.
5. «Sistema de inteligencia artificial de propósito general»: sistema de inteligencia artificial que, independientemente de la modalidad en la que se comercialice o se ponga en servicio, incluso como software de código abierto, está destinado por el proveedor del sistema a realizar funciones de aplicación general, como el reconocimiento de texto, imágenes y del habla; la generación de textos, audios, imágenes y/o vídeos; detección de patrones; respuesta a preguntas; traducción y otras.
6. «Modelo fundacional»: es un modelo de inteligencia artificial entrenado en una gran cantidad de datos no etiquetados a escala (generalmente mediante aprendizaje autosupervisado y/o con recopilación automática de contenido y datos a través de internet mediante programas informáticos) que da como resultado un modelo que se puede adaptar a una amplia gama de tareas posteriores.
7. «Proveedor de sistemas de Inteligencia Artificial», en adelante «Proveedor IA»: Toda persona jurídica privada, entidad del sector público en España, u organismo de otra índole, que ha desarrollado o para quien se ha desarrollado un sistema de inteligencia artificial, y que lo introduce en el mercado o lo pone en servicio bajo su propio nombre o marca comercial, ya sea de forma onerosa o gratuita. El proveedor AI será designado de las formas indicadas a continuación según la fase del proceso en la que se encuentre.
a) «Proveedor IA solicitante»: proveedor IA que ha solicitado la admisión en el entorno controlado de pruebas.
b) «Proveedor IA participante»: proveedor IA que ha sido admitido en el entorno controlado de pruebas.
8. «Usuario»: las personas jurídicas privadas o las administraciones públicas y entidades del sector público institucional en España bajo cuya autoridad se utilice un sistema de inteligencia artificial. El usuario será designado de las formas indicadas a continuación según la fase del proceso en la que se encuentre.
a) «Usuario solicitante»: usuario del sistema de inteligencia artificial que ha solicitado su admisión en el entorno controlado de pruebas.
b) «Usuario participante»: usuario del sistema de inteligencia artificial que ha sido admitido en el entorno controlado de pruebas y que participa juntamente con el proveedor IA en dicho entorno.
9. «Autoevaluación de cumplimiento»: procedimiento de verificación del cumplimiento de los requisitos, del sistema de gestión de la calidad, de la documentación técnica y del plan de seguimiento posterior a la comercialización, todos ellos detallados en este real decreto, realizados por el proveedor IA y en su caso, por el usuario, y que puede servir como referencia para la evaluación de conformidad que define la propuesta del Reglamento europeo por el que se establecen normas armonizadas en materia de inteligencia artificial. La autoevaluación de cumplimiento se circunscribe al ámbito de este entorno, sin que suponga la equiparación a la superación de evaluaciones de conformidad exigidas en otras legislaciones específicas, en particular en la propuesta del Reglamento europeo de Inteligencia Artificial.
10. «Comercialización»: todo suministro de un sistema de inteligencia artificial para su distribución o utilización en el mercado de la Unión Europea en el transcurso de una actividad comercial, ya se produzca el suministro de manera onerosa o gratuita.
11. «Introducción en el mercado»: la primera comercialización en el mercado de la Unión Europea de un sistema de inteligencia artificial.
12. «Puesta en servicio»: el suministro de un sistema de inteligencia artificial para su primer uso ya sea directamente por el usuario o para uso propio, en la Unión Europea de acuerdo con su finalidad prevista.
13. «Pequeña y mediana empresa (pyme)»: se aplica la definición de pyme contenida en el artículo 2 del Anexo I del Reglamento (UE) 651/2014 de la Comisión, de 17 de junio de 2014 por el que se declaran determinadas categorías de ayudas compatibles con el mercado interior en aplicación de los artículos 107 y 108 del Tratado.
14. «Administraciones públicas y entidades del sector público institucional»: comprende a las distintas administraciones públicas y entidades del sector público institucional según la definición contenida en el artículo 2 de la Ley 40/215, de 1 octubre, de Régimen Jurídico del Sector Público.
15. «Empresa emergente»: se aplica la definición contenida en el artículo 3 de la Ley 28/2022, de 21 de diciembre de 2022, de fomento del ecosistema de las empresas emergentes.
16. «Incidente»: no cumplimiento de determinados procedimientos sin consecuencias lesivas.
1. La evaluación y adecuación de los sistemas de inteligencia artificial en el marco del entorno controlado de pruebas para ensayar la implantación de los requisitos se regirá de conformidad con lo dispuesto en este real decreto y en las convocatorias aprobadas al amparo de éste, así como en toda la normativa que por su naturaleza sea de aplicación.
2. En caso de que un sistema de inteligencia artificial esté regulado por una legislación sectorial específica y no haya sido introducido en el mercado o puesto en servicio con carácter previo a la solicitud de su participación en el entorno controlado de pruebas, su participación en él no exime del cumplimiento de que el sistema de inteligencia artificial deba superar la evaluación de conformidad de acuerdo con la legislación específica previo a que el sistema de inteligencia artificial sea puesto en el mercado. A este respecto, en el caso del tratamiento de datos personales deberá seguir lo establecido en el artículo 16 del presente real decreto.
3. Los proveedores IA participantes y los usuarios participantes en el entorno controlado de pruebas no recibirán ningún tipo de contraprestación económica o en especie.
4. El real decreto no supone la alteración de las competencias de las autoridades públicas.
1. La participación en el entorno controlado de pruebas está abierta a aquellos proveedores IA y usuarios residentes en España o que tengan un establecimiento permanente en España, o bien, sean parte de una agrupación de entidades, donde el representante de la agrupación o apoderado único siendo integrante de ésta, sea la entidad solicitante y cuyo domicilio o establecimiento principal se encuentre necesariamente en territorio español a los efectos del artículo 9 del Texto Refundido de la Ley de Sociedades de Capital, aprobado por el Real Decreto Legislativo 1/2010, de 2 de julio.
2. Podrán acceder este entorno, en calidad de usuario participante, las personas jurídicas privadas y administraciones públicas y entidades del sector público institucional del apartado 1 que hagan uso de un sistema de inteligencia artificial de alto riesgo, sistemas de propósito general, o modelos fundacionales, conforme se definen en el artículo 3, siempre que el correspondiente proveedor IA acceda conjuntamente al entorno con el usuario participante.
3. El proveedor IA solicitante presentará su solicitud de participación con uno o varios sistemas de inteligencia artificial, conforme a las condiciones previstas en la correspondiente convocatoria y de acuerdo con el artículo 7 siempre y cuando éstos pertenezcan a categorías distintas (sistemas de alto riesgo, sistemas de propósito general y modelos fundacionales). La solicitud se realizará de forma electrónica, según dispone el artículo 14.2 de la Ley 39/2015, de 1 de octubre, del Procedimiento Administrativo Común de las Administraciones Públicas. El órgano competente seleccionará un único sistema de inteligencia artificial con el que será admitido a participar en el entorno controlado de pruebas.
4. El proveedor IA solicitante podrá presentar una o varias propuestas de sistema de inteligencia artificial de alto riesgo, de propósito general, o modelo fundacional. Estos sistemas podrán ser nuevos desarrollos o sistemas ya establecidos. A la vez, dichos sistemas de inteligencia artificial deben haber alcanzado un nivel de desarrollo suficientemente avanzado como para poder comercializarse o ponerse en servicio dentro del marco temporal del entorno controlado de pruebas o a su finalización. La solicitud se rechazará si el sistema de inteligencia artificial propuesto no está suficientemente maduro.
5. En su caso, para aquellos sistemas de inteligencia artificial que hagan uso o tratamiento de datos personales deberán cumplir la normativa de protección de datos recogida en el artículo 16 del presente real decreto.
6. Los sistemas de inteligencia artificial propuestos por los proveedores IA solicitantes no podrán estar incluidos en los siguientes supuestos:
a) Sistemas de inteligencia artificial comercializados o puestos en servicio para actividades militares, de defensa o seguridad nacional, cualquiera que sea la entidad que desarrolle esas actividades.
b) Sistemas de inteligencia artificial que se sirvan de técnicas subliminales que trasciendan la consciencia de una persona con el objetivo o el efecto de alterar efectivamente su comportamiento de un modo que provoque o pueda provocar, con probabilidad razonable, perjuicios físicos o psicológicos a esa persona o a otra.
c) Sistemas de inteligencia artificial que aprovechen alguna de las vulnerabilidades de un grupo específico de personas debido a su edad o discapacidad o una situación social o económica específica con el objetivo o el efecto de alterar efectivamente el comportamiento de una persona de ese grupo de un modo que provoque o pueda provocar, con probabilidad razonable, perjuicios físicos o psicológicos a esa persona o a otra.
d) Sistemas de inteligencia artificial que tengan el fin de evaluar o clasificar personas físicas durante un período determinado de tiempo atendiendo a su conducta social o a características personales o de su personalidad conocidas o predichas, de forma que la clasificación social resultante provoque una o varias de las situaciones siguientes:
1.º Un trato perjudicial o desfavorable hacia determinadas personas físicas o colectivos en contextos sociales que no guarden relación con los contextos donde se generaron o recabaron los datos originalmente.
2.º Un trato perjudicial o desfavorable hacia determinadas personas físicas o colectivos que sea injustificado o desproporcionado con respecto a su comportamiento social o la gravedad de este.
e) Sistemas de identificación biométrica remota «en tiempo real» para su uso en espacios de acceso público con fines de aplicación de la ley, salvo y en la medida en que dicho uso sea estrictamente necesario para alcanzar uno o varios de los objetivos siguientes:
1.º La búsqueda selectiva de posibles víctimas concretas de un delito, incluido personas menores desaparecidos.
2.º La prevención de una amenaza específica, importante e inminente para la vida o la seguridad física de las personas físicas, para infraestructuras críticas, o un atentado terrorista.
3.º La detención, la localización, la identificación o el enjuiciamiento de la persona que ha cometido o se sospecha que ha cometido alguno de los delitos mencionados en el artículo 2, apartado 2, de la Decisión marco 584/2002/JAI del Consejo, para el que la normativa en vigor en el Estado miembro implicado imponga una pena o una medida de seguridad privativas de libertad cuya duración máxima sea al menos tres años, según determine el Derecho de dicho Estado miembro.
1. Las convocatorias para la participación en dicho entorno se aprobarán mediante resolución de la persona titular de la Secretaría de Estado de Digitalización e Inteligencia Artificial. Las convocatorias se publicarán en el portal web del órgano competente. El plazo máximo para la presentación de las solicitudes será de veinte días hábiles desde el día siguiente a la publicación de la convocatoria.
2. La convocatoria de participación en el entorno controlado de pruebas especificará el número de sistemas de inteligencia artificial seleccionados, la duración del entorno controlado de pruebas, las condiciones para la participación conforme a los requisitos del real decreto, los criterios que se tendrán en cuenta para la evaluación de solicitudes así como el peso de los mismos, el plazo para la presentación de las solicitudes, los canales de comunicación, así como el modelo unificado de solicitud y la documentación necesaria para presentar la solicitud.
1. La participación en el entorno controlado de pruebas requerirá la previa presentación de solicitud de acuerdo a lo establecido en este real decreto y a la correspondiente convocatoria.
2. Solo serán tenidas en cuenta las solicitudes presentas de acuerdo con el modelo que acompañara a la convocatoria de participación en el entorno.
3. Las solicitudes se presentarán a través del registro electrónico accesible en la sede electrónica asociada del Ministerio de Asuntos Económicos y Transformación Digital y deberán ir acompañadas de: una memoria técnica que deberá contemplar el contenido previsto en el anexo III y una declaración responsable que acredite el cumplimiento de la normativa relativa a la Protección de Datos Personales según el anexo IV.
4. Las personas jurídicas privadas o administraciones públicas y entidades del sector público institucional en España que sean usuarias de un sistema de inteligencia artificial de alto riesgo o sistemas de propósito general o modelos fundacionales, podrán acordar con el proveedor IA de dicho sistema la participación conjunta en este entorno. Sin embargo, para participar, deberán realizar su correspondiente solicitud de participación, indicando en ella al proveedor de IA con el que participará en el entorno.
5. Transcurrido el plazo para la presentación de solicitudes, si se observa que alguna de las solicitudes no cumple con los requisitos estipulados en este real decreto y en la correspondiente convocatoria, se requerirá al interesado o interesada para que en un plazo de diez días subsane la falta o acompañe los documentos preceptivos. Si así no lo hiciera, se le tendrá por desistido de su petición previa resolución dictada en los términos previstos en el artículo 21 de la Ley 39/2015, de 1 de octubre, del Procedimiento Administrativo Común de las Administraciones Públicas.
1. El órgano competente para la instrucción del procedimiento es la Subdirección General de Inteligencia Artificial y Tecnologías Habilitadoras Digitales con el apoyo de la Oficina del Dato dependiente de la Secretaría de Estado de Digitalización e Inteligencia Artificial. Les corresponderá la evaluación de las solicitudes presentadas para la participación en el entorno.
2. Se procederá a la evaluación de las solicitudes para la participación en el entorno, evaluándose para cada uno de los sistemas de inteligencia artificial recibidos, lo siguiente:
a) Grado de innovación o complejidad tecnológica del producto o servicio.
b) Grado de impacto social, empresarial o de interés público que presenta el sistema de inteligencia artificial propuesto.
c) Grado de explicabilidad y transparencia del algoritmo incluido en el sistema de inteligencia artificial presentado.
d) Alineamiento de la entidad y el sistema de inteligencia artificial con la Carta de Derechos Digitales del Gobierno de España.
e) Tipología de alto riesgo del sistema de inteligencia artificial, buscando una representación variada de tipologías en la selección.
f) Cuando se trate de sistemas de inteligencia artificial de propósito general, se evaluará también su potencial de ser transformados en un sistema de inteligencia artificial de alto riesgo.
g) Cuando se trate de modelos fundacionales de inteligencia artificial se evaluará la capacidad de despliegue y utilización, así como el impacto relativo o absoluto en la economía y sociedad.
h) El grado de madurez del sistema de inteligencia artificial, considerando que ha de estar lo suficientemente avanzado como para ser puesto en servicio o en el mercado en el marco temporal del entorno controlado de pruebas o a su finalización. Se buscará una representación variada de madurez de los sistemas de inteligencia artificial.
i) La calidad de la memoria técnica.
j) El tamaño o tipología del proveedor IA solicitante, según número de trabajadores o volumen de negocios anual, valorándose positivamente la condición de empresa emergente, pequeña o mediana empresa para garantizar una mayor diversidad de tipologías de empresas participantes. Se buscará una representación variada de tamaño y tipología de proveedor IA en la selección.
k) Y en su caso, la evaluación de la declaración responsable que acredite el cumplimiento de la norma relativa a la Protección de Datos Personales. De igual forma se podrá solicitar documentación acreditativa adicional según recoge el anexo V del presente real decreto.
1. El órgano instructor, previa valoración de las solicitudes y conforme a lo estipulado en el artículo anterior, efectuará la propuesta de resolución motivada.
2. La propuesta de resolución será notificada a los interesados de acuerdo con lo establecido en el artículo 43 de la Ley 39/2015, de 1 de octubre, del Procedimiento Administrativo Común de las Administraciones Públicas.
Las notificaciones se pondrán a disposición del interesado o interesada a través de la Dirección Electrónica Habilitada única (DEHú). Asimismo, se podrán notificar en su sede electrónica o sede electrónica asociada de forma complementaria a la puesta a disposición en la Dirección Electrónica Habilitada Única.
3. Los proveedores IA solicitantes y, en su caso, usuarios solicitantes podrán presentar en el plazo de diez días hábiles a contar desde la notificación de la propuesta las alegaciones oportunas.
1. Recibidas las alegaciones o transcurrido el plazo para ello sin que se hayan formulado, el órgano competente dictará resolución motivada conforme a lo previsto en el artículo 21.2 Ley 39/2015, de 1 de octubre, del Procedimiento Administrativo Común de las Administraciones Públicas.
2. El órgano competente para resolver y notificar será la persona titular de la Secretaría de Estado de Digitalización e Inteligencia Artificial, en el plazo máximo de sesenta días hábiles contando desde la fecha de publicación de la convocatoria.
Las notificaciones se practicarán por medios electrónicos de acuerdo con lo previsto en el artículo 43 de la Ley 39/2015, de 1 de octubre, del Procedimiento Administrativo Común de las Administraciones Públicas. Las notificaciones se pondrán a disposición del interesado o interesada a través de la Dirección Electrónica Habilitada única (DEHú). Asimismo, se podrán notificar en su sede electrónica o sede electrónica asociada de forma complementaria a la puesta a disposición en la Dirección Electrónica Habilitada Única.
3. El vencimiento del plazo de resolución sin que se haya dictado o notificado resolución expresa habilita que los interesados entiendan desestimadas sus pretensiones por silencio administrativo de acuerdo con el artículo 25.1 de la Ley 39/2015, de 1 de octubre, del Procedimiento Administrativo Común de las Administraciones Públicas. La resolución pone fin a la vía administrativa de acuerdo con el artículo 114.2 de la Ley 39/2015, de 1 de octubre, del Procedimiento Administrativo Común de las Administraciones Públicas. Contra la resolución expresa podrá interponerse recurso potestativo de reposición ante el mismo órgano que la haya dictado o bien impugnarse directamente ante la Jurisdicción Contencioso-administrativa de acuerdo con lo previsto en la Ley 39/2015, de 1 de octubre, del Procedimiento Administrativo Común de las Administraciones Públicas y en la Ley 29/1998, de 13 de julio, reguladora de la Jurisdicción Contencioso administrativa.
1. La participación en el entorno controlado de pruebas tendrá como objetivo cumplir, durante el transcurso de este, con la implementación de los siguientes requisitos en los sistemas de inteligencia artificial por parte de los proveedores IA participantes, en base a las especificaciones facilitadas por el órgano competente. Estos requisitos son:
a) El establecimiento, implementación, documentación y mantenimiento de un sistema de gestión de riesgo relativo al sistema de inteligencia artificial en cuestión.
b) En caso de sistemas de inteligencia artificial que impliquen entrenamientos con datos, se garantizará que el desarrollo se ha realizado o se realizará sobre conjuntos de datos de entrenamiento, validación y pruebas que cumplan los criterios de calidad especificados sobre la base de las indicaciones proporcionadas por el órgano competente.
c) La documentación técnica del sistema de inteligencia artificial, indicada en el anexo VI del presente real decreto, se elaborará conforme a las especificaciones que facilitará el órgano competente. Esta documentación deberá actualizarse a lo largo de la duración del entorno controlado de pruebas.
d) Los sistemas de inteligencia artificial deberán técnicamente permitir el registro automático de eventos (logs) a lo largo del ciclo de vida del sistema. Estos registros serán guardados por el participante.
e) El sistema de inteligencia artificial habrá sido o será diseñado y desarrollado de manera que se asegure que su operación es suficientemente transparente para los usuarios del sistema a efectos de interpretar los resultados de este y evitando generar sesgos discriminatorios para un uso adecuado del mismo.
f) El sistema de inteligencia artificial irá acompañado de instrucciones de uso en formato electrónico, que incluyan información sobre las características y prestaciones del sistema que sea concisa, completa, correcta, actualizada, clara, relevante, accesible y comprensible para los usuarios del sistema.
g) Los sistemas de inteligencia artificial habrán sido o serán diseñados y desarrollados de manera que puedan ser supervisados por personas físicas durante los periodos en que esté en uso. Contendrá interfaces humano-máquina apropiadas a tal efecto. En caso de que por las características del sistema de inteligencia artificial dicha supervisión no pueda ocurrir en tiempo real, deberá quedar recogido en las comunicaciones relacionadas con la transparencia del sistema.
h) Los sistemas de inteligencia artificial habrán sido o serán diseñados y desarrollados de manera que consigan, teniendo en cuenta su finalidad prevista, un nivel adecuado de precisión, solidez y ciberseguridad. Estas dimensiones deberán funcionar de manera consistente a lo largo de su ciclo de vida.
2. Los requisitos que deberá abordar cada participante se acordarán, juntamente con el órgano competente, al inicio del entorno controlado de pruebas mediante un plan de implementación.
1. Una vez admitido, el proveedor IA participante llevará a cabo las actuaciones que le permitan el cumplimiento de los requisitos descritos en el artículo 11 del presente real decreto y según lo acordado en el plan de implementación. El órgano competente podrá poner a su disposición guías técnicas de ayuda y asesoría personalizada que faciliten al proveedor IA las tareas que debe realizar en el contexto del entorno controlado de pruebas. La forma de cooperación entre los proveedores IA participantes y usuarios participantes con el órgano competente se detallará en un plan de desarrollo de dicho entorno según se especifique en la convocatoria.
2. La adaptación de estos sistemas de inteligencia artificial al cumplimiento de los requisitos no debería implicar riesgos potenciales en materia de protección de consumidores, de usuarios y de terceros que pudieran verse afectados.
3. Los proveedores IA participantes y usuarios IA participantes podrán apoyarse en estándares existentes, así como en evaluaciones previas realizadas en el marco de estos, para acreditar ante el órgano competente la implementación y el cumplimiento de estos requisitos.
4. Durante el desarrollo del entorno controlado de pruebas, se establecerán mecanismos de diálogo e intercambio de información entre los proveedores IA participantes y usuarios participantes con el órgano competente, sobre la base del marco de seguimiento que se facilitará al participante al inicio de este. Los canales que se deberán utilizar para dicho diálogo se concretarán en la convocatoria. Este marco detallará la información que habrán de transmitir tanto los proveedores IA participantes como los usuarios participantes sobre su experiencia con la ejecución de las guías y sobre las mejoras que consideren que se puedan realizar.
5. Así mismo, se realizarán reuniones para fomentar un aprendizaje colaborativo con todos los participantes, proveedores IA y usuarios, así como otros organismos con competencias en las materias relacionadas, como los ministerios competentes por razón de la materia o la Comisión Europea, y sobre el progreso de este entorno controlado de pruebas. Estas reuniones se celebrarán a iniciativa del órgano competente con una frecuencia mensual, sin perjuicio de que estas puedan ser convocadas con otra periodicidad de mayor conveniencia para la garantía de éxito del entorno.
6. Las guías técnicas que, en su caso, proporcione el órgano competente podrán ser actualizadas por éste y distribuidas tanto a los proveedores IA participantes como a los usuarios participantes, así como a otras autoridades relevantes a efectos de consulta, a lo largo del desarrollo del entorno controlado de pruebas.
7. Una vez finalizada la implantación de los requisitos en cada uno de los sistemas de inteligencia artificial, el proveedor IA, y en su caso junto con el usuario del sistema, deberá de realizar un informe de impacto de género. Dicho informe servirá para evaluar en cada uno de los sistemas participantes como ha afectado la implantación de los requisitos en la reducción de la brecha de género.
1. A la finalización de esta primera etapa, una vez que los proveedores IA participantes y usuarios participantes han realizado las debidas actuaciones para la implementación de los requisitos recogidos en el artículo 11 del presente real decreto, el proveedor IA participante deberá realizar la declaración de cumplimiento.
2. Esta declaración de cumplimiento se inicia con un proceso de autoevaluación en el que participan tanto el proveedor IA participante como, en su caso, el usuario participante, dónde valorarán el cumplimiento de los requisitos para lo que seguirán las recomendaciones que el órgano competente facilite.
3. Tanto el proveedor IA participante como, en su caso, el usuario participante deberá realizar las siguientes acciones para completar la autoevaluación:
a) Comprobará la correcta implementación de los requisitos establecidos en el artículo 11 del presente real decreto en sus sistemas de inteligencia artificial y de acuerdo con el plan de implementación previamente acordado.
b) Comprobará que el sistema de gestión de la calidad es acorde con las especificaciones que ofrezca el órgano competente.
c) Verificará que el diseño y desarrollo del proceso del sistema de inteligencia artificial y su seguimiento posterior a la comercialización son coherentes con lo establecido en la documentación técnica y con las especificaciones ofrecidas por el órgano competente.
d) Verificará que la documentación técnica de su sistema de inteligencia artificial incluye el contenido según especificaciones del anexo VI del presente real decreto, y además de la documentación de comprobación del cumplimiento de los puntos anteriores.
4. Una vez que el proveedor IA participante haya finalizado la autoevaluación y verificado el cumplimiento del punto anterior presentará en la sede electrónica de la Secretaría de Estado de Digitalización e Inteligencia Artificial la documentación indicada.
5. El órgano competente examinará los documentos asociados a la declaración de cumplimiento presentada por el proveedor IA, principalmente los que describen el sistema de gestión de la calidad, la documentación técnica o el plan de seguimiento posterior a la comercialización.
6. Si analizada la documentación presentada al órgano competente, éste considera que la evaluación de la documentación presentada es favorable, el órgano competente emplazará al participante a realizar la exposición de la autoevaluación de cumplimiento de los requisitos. En su presentación ante el órgano competente, el proveedor IA participante demostrará la pertinencia de la autoevaluación de cumplimiento de requisitos, justificando los puntos antes descritos.
7. Por el contrario, si analizada la documentación presentada al órgano competente, éste considerara que el participante no cumple con los requisitos para superar la declaración de cumplimiento, le otorgará un plazo de tres meses con el objeto de permitir al participante cumplir debidamente con los requisitos.
A este respecto, el órgano competente podrá solicitar pruebas específicas para verificar la validez de las conclusiones de conformidad a lo dispuesto en el artículo 21 del presente real decreto.
Transcurrido el plazo anterior, el incumplimiento de los requisitos para superar la declaración de cumplimiento implicará la finalización anticipada de las pruebas para esa entidad de acuerdo con el artículo 25 del presente real decreto.
8. El órgano competente podrá colaborar a otros organismos internacionales, para actuar como asesores en el proceso de autoevaluación de requisitos.
9. A la vista de la presentación y comprobada la correcta y completa autoevaluación de cumplimiento de requisitos, se dará por finalizado con éxito la declaración de cumplimiento del entorno controlado de pruebas.
10. Esta autoevaluación de cumplimiento no tiene efectos fuera del estricto ámbito de este entorno.
1. Posteriormente, tanto el proveedor IA participantes como, en su caso, el usuario participante juntamente con el primero, deberá implementar un sistema de seguimiento posterior a la comercialización.
2. Para ello, los proveedores IA participantes documentarán un sistema de seguimiento tras la puesta en marcha del sistema de inteligencia artificial, que sea proporcional a los riesgos y al uso previsto del sistema de inteligencia artificial. Los datos necesarios para desarrollar el sistema de seguimiento tras la puesta en marcha se podrán recolectar de los usuarios del sistema o de otras fuentes relacionadas con dicho sistema durante el entorno controlado de pruebas, lo que permitirá al proveedor IA participante evaluar de forma continua el cumplimiento de los requisitos indicados en el artículo 11 del presente real decreto.
3. En caso de que el sistema ya hubiese sido introducido en el mercado o puesto en servicio previo a su inclusión en el entorno controlado de pruebas, la implementación de dicho sistema de seguimiento posterior podrá quedar acotado a uno o varios de los usuarios de este.
4. El sistema de seguimiento tras la puesta en marcha se basará en un plan de monitorización posterior a la comercialización que se incluirá en la documentación técnica a aportar que se contempla en el anexo VI del presente real decreto. Para su redacción se seguirán las especificaciones que el órgano competente proporcione a tal efecto.
5. Las personas jurídicas privadas o administraciones públicas y entidades del sector público institucional, cuando actúen como usuarios participantes, deberán colaborar implantando las medidas especificadas en las guías que el órgano competente proporcione para el seguimiento tras la puesta en marcha del sistema de inteligencia artificial. En caso de incumplimiento de lo anterior el órgano competente podrá expulsar al usuario participante, previo requerimiento.
Tanto los proveedores IA participantes como, en su caso, los usuarios participantes comunicarán al órgano competente, a la mayor brevedad desde que sean conocedores del mismo, cualquier incidente grave en los sistemas que pudiera constituir un incumplimiento de la legislación en vigor.
El órgano competente habilitará un canal de comunicación para que comuniquen la incidencia acreditando las medidas de mitigación del riesgo detectado.
En el caso de los sistemas de inteligencia artificial que por su naturaleza estén sujetos a otra legislación específica, el órgano competente trasladará la comunicación a las Autoridades sectoriales competentes, siendo decisión de las autoridades sectoriales ejercer aquellas medidas que considere oportunas.
1. Los proveedores IA y los usuarios participantes en el entorno controlado de pruebas deberán cumplir con lo previsto en el Reglamento (UE) 679/2016, del Parlamento Europeo y el Consejo, de 27 de abril de 2016, relativo a la protección de las personas físicas en lo que respecta al tratamiento de datos personales y a la libre circulación de estos datos (RGPD), como en la Ley Orgánica 3/2018, de 5 de diciembre, de Protección de Datos Personales y Garantía de los Derechos Digitales (LOPDGDD), y, en lo que resulte de aplicación, en la Ley Orgánica 7/2021, de 26 mayo, de protección de datos personales tratados para fines de prevención, detección, investigación y enjuiciamiento de infracciones penales y de ejecución de sanciones penales, así como en el resto de la normativa sectorial aplicable, debiendo quedar todos los datos personales que se traten en los sistemas privados de los proveedores IA participantes o, en su caso, de los usuarios participantes según corresponda para comprobar los requisitos incluidos bajo dicha protección. Ello sin perjuicio de que alguno de los sistemas de alto riesgo indicados en el anexo II del presente real decreto que puedan participar en el entorno controlado de pruebas deban tener un análisis previo de la licitud del tratamiento.
2. Los tratamientos de datos que se realizan en el marco del entorno controlado de pruebas deberán cumplir con la normativa señalada en el apartado anterior.
3. La aceptación de participación en el entorno controlado de pruebas implicará reconocimiento del cumplimiento de la legislación en materia de protección de datos.
4. Los proveedores de IA y los usuarios participantes en el entorno controlado de pruebas deberán cumplir con lo previsto en la normativa de propiedad intelectual. La aceptación de la participación en el entorno controlado de pruebas implicará el compromiso y reconocimiento del cumplimiento de la normativa en materia de propiedad intelectual.
1. Tanto el proveedor IA participante como, en su caso, el usuario participante será responsable de los daños sufridos por cualquier persona como consecuencia de la aplicación del sistema de inteligencia artificial en el contexto del entorno controlado de pruebas, siempre que dichos daños deriven de un incumplimiento o cuando medie culpa, negligencia o dolo por su parte.
2. Los usuarios participantes en el entorno controlado de pruebas se comprometen a cumplir con la normativa laboral vigente respecto de su personal laboral.
La garantía de confidencialidad se aplicará sobre la información que aporten tanto los proveedores IA participantes como, en su caso, los usuarios participantes sobre procedimientos propios de las empresas u otras entidades, planes comerciales, derechos de propiedad industrial e intelectual o secretos empresariales, así como sobre los datos e información facilitados durante el proceso de autoevaluación.
La información recabada por el órgano competente podrá ser utilizada, cuando se garantice que se ha anonimizado completamente y que respeta los intereses comerciales tanto de los proveedores IA participantes como usuarios participantes, para la elaboración, por sí mismo o por terceros, de guías de buenas prácticas, guías de implementación de requisitos y elaboración de documentación de conclusiones. Sin menoscabar las condiciones de confidencialidad, el órgano competente podrá utilizar la información recabada durante el desarrollo del entorno controlado de pruebas para refinar las guías elaboradas. Los informes relativos a los resultados de la participación en dicho entorno podrán también compartirse con autoridades relevantes y organismos públicos con competencias en la materia. En aquellos casos que el órgano competente desee utilizar, a modo de ejemplo, determinadas prácticas o procedimientos de algún proveedor IA participante o de algún usuario participante concreto, se recabará la conformidad de este.
Los órganos competentes para la valoración de las solicitudes y para la resolución de la convocatoria de participación en el entorno controlado de pruebas serán responsables de garantizar la confidencialidad de la información aportada de acuerdo con lo señalado en este precepto.
1. Si durante la ejecución del entorno controlado de pruebas se producen cambios sustanciales en el sistema de inteligencia artificial del proveedor IA participante en aspectos evaluados en la participación en el entorno, o respecto a la titularidad de la sociedad deberán comunicarse previamente a la Secretaría de Estado de Digitalización e Inteligencia Artificial quien decidirá si el proveedor IA participante continúa o no en el entorno y en qué condiciones.
2. Los participantes, si así lo consideran, podrán retirarse voluntariamente de la experiencia sobre la base del artículo 24 del presente real decreto si no estuvieran de acuerdo con las nuevas condiciones establecidas por el órgano competente.
1. Se habilitará un buzón de consultas específico en la sede electrónica del órgano competente, para que puedan presentarse todas aquellas dudas o cuestiones suscitadas durante la realización del entorno controlado de pruebas que serán contestadas en el periodo más breve posible.
2. Igualmente, se habilitará un canal para la comunicación urgente de incidencias y fallos durante el desarrollo del entorno controlado de pruebas. Este canal estará habilitado exclusivamente como mecanismo de recepción de incidentes o comunicaciones urgentes.
3. Así mismo, se habilitará un canal para los participantes para establecer la comunicación con el órgano competente durante el desarrollo del entorno controlado de pruebas.
4. Los canales de comunicación mencionados se especificarán en la convocatoria.
5. Todas las comunicaciones que se realicen tanto entre los proveedores IA participantes como entre los usuarios participantes con el órgano competente, así como la documentación escrita y cualquiera otra audiovisual deberán hacerse en castellano.
1. Durante el transcurso del entorno controlado de pruebas, Subdirección General de Inteligencia Artificial y Tecnologías Habilitadoras Digitales recabará información tanto de los proveedores IA participantes como de los usuarios participantes sobre la manera en que se han implementado las actuaciones pertinentes en cada sistema de inteligencia artificial; la forma en que se ha efectuado la autoevaluación de cumplimiento; la documentación técnica asociada a cada sistema de inteligencia artificial; y sobre los sistemas de gestión de la calidad o del riesgo descritos en los anexos o guías.
2. Adicionalmente, la Subdirección General de Inteligencia Artificial y Tecnologías Habilitadoras Digitales podrá requerir otra información durante el transcurso del entorno, tanto a los proveedores IA participantes como a los usuarios participantes, con el fin de reunir datos de interés para la elaboración de documentación o conclusiones del entorno. El órgano competente podrá requerir la realización de pruebas específicas a fin de verificar la validez de las conclusiones.
3. No aportar la la información requerida por el órgano competente podrá suponer la finalización anticipada de la experiencia tanto del proveedor de IA como del usuario, en el caso de que este último participara, de acuerdo con el artículo 25 del presente real decreto, atendiendo a las consideraciones de confidencialidad expuestas en el artículo 15.
La Secretaría de Estado de Digitalización e Inteligencia Artificial podrá ofrecer guías técnicas u otros documentos sobre aspectos que faciliten el desarrollo de sistemas de inteligencia artificial de una forma confiable, robusta y ética, basadas en las experiencias del entorno controlado de pruebas, que incorporarán de forma efectiva y transversal la perspectiva de género y que serán de libre acceso al público, en el momento que lo decida el órgano competente, y que podrán ser actualizadas a lo largo del desarrollo de dicho entorno.
Las guías técnicas y la documentación que elabore el órgano competente serán confidenciales basándose en el artículo 18 hasta el momento en el que este considere conveniente publicarlos.
1. Previa a la finalización, tanto de los proveedores IA participantes como de los usuarios participantes, entregarán un informe a la Subdirección General de Inteligencia Artificial y Tecnologías Habilitadoras Digitales.
2. El contenido del informe anterior se indicará en las guías que ofrezca el órgano competente. Las entidades que hayan completado las fases del entorno controlado de pruebas recibirán un documento acreditativo de su participación en el mismo junto con un informe de valoración de los resultados obtenidos.
3. El órgano competente podrá abrir nuevas convocatorias en el futuro.
4. Cuando el órgano competente considere que el entorno controlado de pruebas ha cumplido con el objeto indicado en el presente real decreto podrá determinar la finalización de este y emitirá un comunicado público a tal efecto en el portal web del órgano competente.
1. El proveedor IA y, en su caso, el usuario, podrán solicitar, mediante comunicación al órgano competente a través del canal especificado en el artículo 20.3 del presente real decreto, la retirada voluntaria del entorno controlado de pruebas por motivos justificados.
2. Una vez instruido el procedimiento, el órgano competente resolverá la solicitud de salida voluntaria de forma motivada en el plazo máximo de quince días hábiles. Esta resolución pone fin a la vía administrativa y el sentido del silencio administrativo será positivo.
3. En el caso de que el proveedor IA participante o, en su caso, el usuario participante se retire del entorno controlado de pruebas, deberá mantener el deber de confidencialidad en los términos previstos en la resolución de admisión.
4. Asimismo, la salida tanto de un proveedor IA participante como de un usuario participante no generará en ningún caso derecho de indemnización ni compensación alguna por parte del órgano competente.
5. El órgano competente, si así lo considera conveniente para el resultado del entorno, podrá cubrir la posición liberada por la retirada voluntaria con la siguiente entidad que hubiera solicitado la participación de acuerdo con lo dispuesto en la convocatoria.
1. Podrá declararse la finalización anticipada de las pruebas en el entorno de manera individualizada, dando por finalizada la experiencia sin éxito para ese proveedor IA participante o, en su caso, usuario participante, mediante resolución motivada del órgano competente en base a la concurrencia de alguna de las siguientes circunstancias:
a) Se ha producido un incumplimiento del régimen jurídico previsto en artículo 4 del presente real decreto, en la convocatoria o en la resolución de admisión.
b) Se ha cesado en el cumplimiento de alguno de los requisitos iniciales para la elegibilidad para la participación en el entorno controlado de pruebas contemplados en el artículo 5 del presente real decreto.
c) Se ha producido un incumplimiento del deber de facilitar información requerida en el marco de seguimiento establecido por el órgano competente previsto en el artículo 21 del presente real decreto.
d) Se han producido incidentes graves o errores de funcionamiento en los sistemas de inteligencia artificial.
e) Se ha identificado un riesgo no previsto en la memoria técnica.
f) La entidad no aporta los recursos necesarios para implantación de los requerimientos acordados en el plan de implantación.
g) La entidad no cumple con las acciones necesarias para superar la declaración de cumplimiento de acuerdo con lo previsto en el artículo 13 del presente real decreto.
h) Cualquier otra circunstancia que se previera en la convocatoria.
2. Una vez se ha identificado alguna de las circunstancias anteriores, el órgano competente, previa audiencia con los participantes de acuerdo con el artículo 82 de la Ley 39/2015, de 1 de octubre, del Procedimiento Administrativo Común de las Administraciones Pública, resolverá de forma motivada en el plazo máximo de quince días hábiles. Esta resolución pone fin a la vía administrativa.
3. Adicionalmente a los casos indicados, también se declarará la finalización anticipada de la experiencia en el caso de que el proveedor IA no realizase las actuaciones que le permitan dar cumplimiento a los requisitos, descritos en el artículo 11 del presente real decreto, en el plazo establecido en la convocatoria, dejando de formar parte del entorno controlado de pruebas previo el oportuno procedimiento.
4. En el supuesto de que el proveedor IA participante fuera obligado a abandonar la experiencia también lo tendría que hacer, en el caso de que participase, el usuario del sistema de inteligencia artificial.
5. La finalización anticipada del entorno controlado de pruebas no dará lugar a indemnización alguna por parte del órgano competente.
6. El órgano competente, si así lo considera conveniente para el resultado del entorno, podrá cubrir mediante resolución la posición liberada por la finalización anticipada de las pruebas con la siguiente entidad que hubiera solicitado la participación de acuerdo con lo dispuesto en la convocatoria.
Podrán colaborar con el órgano competente otras administraciones públicas y entidades del sector público institucional y organismos internacionales y otras autoridades de otros Estados miembro de la Unión Europea con competencias en las materias relacionadas con los diferentes casos que se desarrollen en el marco de este entorno controlado de pruebas, a fin de lograr un adecuado funcionamiento del mismo, y facilitarán, dentro de su ámbito competencial y con las garantías adecuadas, el avance del mismo, cualquiera que sea el ámbito territorial al que afecte.
1. El grupo de personas asesoras expertas estará integrado por profesionales independientes de reconocido prestigio y experiencia técnica en campos afines del conocimiento, con responsabilidades presentes o pasadas en el ámbito académico y universitario, en instituciones colegiales, asociaciones de otro tipo, o en el sector empresarial. Los miembros del Grupo serán nombrados por resolución de la Secretaría de Estado de Digitalización e Inteligencia Artificial. Los miembros del Grupo de personas asesoras expertas no podrán actuar ni como proveedores IA participantes ni como usuarios participantes en el entorno controlado de pruebas.
2. Entre los miembros del grupo de personas asesoras expertas se incluirán uno o varios perfiles multidisciplinares con conocimientos de IA y otra materia como podría ser género, protección de datos, seguridad, ética, derecho u otras.
3. El grupo de personas asesoras expertas velará por el cumplimiento del principio de igualdad de género en el desarrollo de las tareas encomendadas, y en su designación se atenderá al principio de presencia equilibrada entre mujeres y hombres.
4. Este grupo de personas expertas colaborará en el entendimiento y comprensión de la forma de implementar los requisitos aplicables a los sistemas de inteligencia artificial de alto riesgo, así como en la aportación de información relevante para la mejora de las guías técnicas.
5. Estas personas expertas estarán sujetos a las previsiones de confidencialidad descritas en el artículo 18, y se comprometerán a ayudar tanto a los proveedores IA participantes como a los usuarios participantes en el cumplimiento de los requisitos, así como en su autoevaluación de cumplimiento del entorno controlado de pruebas.
6. La colaboración de las personas asesoras expertas no conllevará ningún tipo de contraprestación económica o compensación de ningún otro tipo.
1. Cuando una persona jurídica privada o entidad del sector público sea usuaria de un sistema de alto riesgo de inteligencia artificial o sistemas de propósito general o modelos fundacionales, podrá acordar con el proveedor IA de dicho sistema la participación conjunta en el entorno controlado de pruebas. La convocatoria explicitará el mecanismo de participación a dicho entorno cuando una entidad del sector público participe como usuario.
2. La persona jurídica privada o entidad del sector público, cuando actúen como usuarios participantes deberán colaborar implantando las medidas especificadas en las guías que el órgano competente proporcione para el seguimiento tras la puesta en marcha del sistema de inteligencia artificial y en su caso, con respecto al tratamiento de datos personales según lo previsto en el artículo 16 del presente real decreto.
3. Se invitará a participar a dicha persona jurídica privada o entidad del sector público en la declaración de cumplimiento, sobre la base del artículo 19, en actividades de seguimiento tras la puesta en marcha en coordinación con el proveedor IA participante, sobre la base del artículo 21, y en la aportación de conocimiento para la elaboración de guías u otros documentos de conclusiones sobre el entorno controlado de pruebas.
1. El órgano competente podrá invitar como observadora a cualquier autoridad competente que, por su actividad de supervisión, control, garantía de cumplimiento normativo específico, u otras competencias específicas, pueda ser relevante en la implantación y revisión de los requisitos que se deberán implantar en los sistemas de inteligencia artificial en el contexto del entorno controlado de pruebas.
2. El objeto de esta colaboración es emitir opiniones o alertas cuando las acciones realizadas por el proveedor IA participante o, en su caso, por el usuario participante puedan, eventualmente, suponer un incumplimiento normativo, incumplimiento de criterios de calidad y seguridad de productos, o vulneración de principios rectores de la actuación de los agentes económicos y las entidades del sector público.
El órgano competente establecerá cauces de colaboración con organismos de normalización españoles, europeos e internacionales con el fin de contribuir a la redacción de normas técnicas basadas en las experiencias del entorno controlado de pruebas, de tomar en consideración las recomendaciones y deliberaciones de dichos organismos para proporcionar mayor seguridad tanto a los proveedores IA participantes como a los usuarios participantes en el mismo, así como de experimentar elementos de normalización en el campo de la inteligencia artificial que ya hayan sido publicados o estén en proceso de desarrollo.
El cumplimiento de este real decreto se asumirá exclusivamente con los medios con los que cuenta la Secretaría de Estado de Digitalización e Inteligencia Artificial.
El órgano competente, basándose en los resultados obtenidos en el entorno, publicará en su portal web el informe con las conclusiones sobre el desarrollo, buenas prácticas, y recomendaciones al mismo, así como otros aspectos de interés de la aplicación experimental de la propuesta del Reglamento de la Unión Europea sobre la inteligencia artificial en el entorno. Estos podrán contribuir, según proceda, a los trabajos en curso sobre normalización y otras acciones preparatorias a escala de la Unión Europea en apoyo a la aplicación la propuesta del Reglamento por el que se establecen normas armonizadas sobre inteligencia artificial.
Los ministerios con competencias en las áreas de sistemas de inteligencia artificial de alto riesgo específico podrán participar, a petición del órgano competente, en la redacción del informe sobre las conclusiones al que se refiere el párrafo anterior.
No obstante, podrán participar de las reuniones sobre el progreso del entorno controlado de pruebas a las que se refiere el apartado 5 del artículo 12. El órgano competente, partiendo de los resultados obtenidos en el entorno controlado de pruebas, podrá desarrollar una plataforma de software que facilite una primera autoevaluación no vinculante sobre el cumplimiento de los principios de la propuesta del Reglamento por el que se establecen normas armonizadas en materia de inteligencia artificial.
Esta Ley se aprueba al amparo de lo dispuesto en el artículo 149.1.13.ª de la Constitución Española, que atribuye al Estado la competencia exclusiva sobre las bases y coordinación de la planificación general de la actividad económica, así como en lo establecido en el artículo 149.1.15.ª, que atribuye al Estado la competencia exclusiva sobre fomento y coordinación general de la investigación científica y técnica.
Este real decreto entrará en vigor al día siguiente de su publicación en el «Boletín Oficial del Estado».
Este real decreto tendrá una vigencia de máximo treinta y seis meses desde su entrada en vigor o, en su caso, hasta que sea aplicable en el Reino de España el Reglamento del Parlamento Europeo y del Consejo por el que se establecen normas armonizadas en materia de inteligencia artificial.
Dado en Madrid, el 8 de noviembre de 2023.
FELIPE R.
La Vicepresidenta Primera del Gobierno
y Ministra de Asuntos Económicos y Transformación Digital,
NADIA CALVIÑO SANTAMARÍA
La Comisión adoptó la propuesta de Reglamento por el que se establecen normas armonizadas en materia de inteligencia artificial (Reglamento de Inteligencia Artificial) el 21 de abril de 2021.
La propuesta de la Comisión tiene por objeto garantizar que los sistemas de inteligencia artificial comercializados en el mercado de la Unión y utilizados en ella sean seguros y respeten la legislación vigente relativa a los derechos fundamentales y los valores de la Unión, garantizar la seguridad jurídica para facilitar la inversión y la innovación en inteligencia artificial y mejorar la gobernanza y la aplicación efectiva de la legislación vigente en materia de derechos fundamentales y seguridad, así como facilitar el desarrollo de un mercado único de aplicaciones de inteligencia artificial que sean legales, seguras y fiables y evitar la fragmentación del mercado.
La Comisión Europea en su propuesta de Reglamento establece un listado de sistemas de inteligencia artificial de alto riesgo en su anexo III, con determinadas referencias en los considerandos. El Consejo de la Unión Europea, en su formación de Telecomunicaciones, ha realizado cambios a este anexo de sistemas de IA de alto riesgo, publicando en diciembre de 2022 su posición(1). El anexo de la posición del Consejo sobre la propuesta de Reglamento de la Comisión se recoge en el anexo II del presente real decreto para garantizar la transparencia y seguridad jurídica en la selección de los sistemas de inteligencia artificial de alto riesgo que participarán en el entorno.
(1) Posición del Consejo de la Unión Europea relativa a la propuesta de Reglamento de la Comisión Europea: https://data.consilium.europa.eu/doc/document/ST-14954-2022-INIT/es/pdf
Los sistemas de alto riesgo de inteligencia artificial se alinearán con los requisitos que se definen en el capítulo 2 de posición del Consejo de la UE sobre la propuesta de Reglamento del Parlamento Europeo y del Consejo por el que se establecen normas armonizadas en materia de inteligencia artificial: Sistema de gestión de riesgos (artículo 9), datos y gobernanza de datos (artículo 10), documentación técnica (artículo 11), registros (artículo 12), Transparencia y comunicación de información a usuarios (artículo 13), vigilancia humana (artículo 14) y precisión, solidez y ciberseguridad (artículo 15).
La propuesta de Reglamento de la Comisión Europea ha sido revisada separadamente por el Consejo de la Unión Europea y por el Parlamento Europeo, habiendo presentado cada uno su posición con sus enmiendas sobre la propuesta de la Comisión Europea. Durante las negociaciones europeas, se actualizará la información necesaria en toda la documentación técnica otorgada a los seleccionados para su participación en el entorno controlado de pruebas, cuando tengan lugar modificaciones de importancia en la propuesta de Reglamento que resulten relevantes para el entorno controlado de pruebas.
En cada una de las siguientes áreas, los sistemas de inteligencia artificial se consideran de alto riesgo en virtud de las definiciones dispuestas en el presente real decreto.
| 1. Identificación biométrica y categorización de personas físicas. | a) Sistemas de identificación biométrica remota. |
| 2. Infraestructuras críticas. | a) Sistemas de IA destinados a utilizarse como componentes de seguridad en la gestión y funcionamiento de infraestructuras digitales críticas, del tráfico rodado y del suministro de agua, gas, calefacción y electricidad. |
| 3. Educación y formación profesional. |
a) Sistemas de IA destinados a utilizarse para determinar el acceso o la admisión de personas físicas a programas o centros educativos y de formación profesional a todos los niveles o para asignar a personas físicas a dichos programas o centros; b) Sistemas de IA destinados a utilizarse para evaluar los resultados del aprendizaje, también cuando dichos resultados se utilicen para orientar el proceso de aprendizaje de las personas físicas en programas o centros educativos y de formación profesional a todos los niveles. |
| 4. Empleo, gestión de trabajadores y acceso al autoempleo. |
a) Sistemas de IA destinados a utilizarse para la contratación o la selección de personas físicas, en particular para publicar anuncios de empleo específicos, analizar y filtrar las solicitudes de empleo y evaluar a los candidatos. b) IA destinada a utilizarse para tomar decisiones relativas a la promoción y a la rescisión de relaciones contractuales de índole laboral, para la asignación de tareas a partir de comportamientos individuales o rasgos o características personales y para realizar un seguimiento y una evaluación del rendimiento y el comportamiento de las personas en el marco de dichas relaciones. |
| 5. Acceso y disfrute de servicios públicos y privados esenciales y sus beneficios. |
a) Sistemas de IA destinados a ser utilizados por las autoridades públicas o en su nombre para evaluar la admisibilidad de las personas físicas para acceder a servicios y ayudas esenciales de asistencia pública, así como para conceder, reducir, retirar o recuperar dichos servicios y ayudas; b) Sistemas de IA destinados a utilizarse para evaluar la solvencia de personas físicas o establecer su calificación crediticia, salvo los sistemas de IA puestos en servicio por proveedores que son microempresas y pequeñas empresas, tal como se definen en el anexo de la Recomendación 2003/361/CE de la Comisión, para su uso propio; c) Sistemas de IA destinados a utilizarse para el envío o el establecimiento de prioridades en el envío de servicios de primera intervención en situaciones de emergencia, por ejemplo, bomberos y servicios de asistencia médica; d) Sistemas de IA destinados a utilizarse para la evaluación de riesgos y la fijación de precios en relación con las personas físicas en el caso de los seguros de vida y de salud, con excepción de los sistemas de IA puestos en servicio por proveedores que sean microempresas y pequeñas empresas, tal como se definen en el anexo de la Recomendación 2003/361/CE de la Comisión, para su propio uso. |
| 6. Asuntos relacionados con la aplicación de la ley. |
a) Sistemas de IA destinados a ser utilizados por las autoridades encargadas de la aplicación de la ley o en su nombre para evaluar el riesgo de que una persona física cometa una infracción o reincida o el riesgo de que una persona física se convierta en posible víctima de infracciones penales; b) Sistemas de IA destinados a ser utilizados por las autoridades encargadas de la aplicación de la ley o en su nombre como polígrafos y herramientas similares, o para detectar el estado emocional de una persona física; c) Sistemas de IA destinados a ser utilizados por las autoridades encargadas de la aplicación de la ley o en su nombre para evaluar la fiabilidad de las pruebas durante la investigación o el enjuiciamiento de infracciones penales; d) Sistemas de IA destinados a ser utilizados por las autoridades encargadas de la aplicación de la ley o en su nombre para predecir la comisión o reiteración de una infracción penal real o potencial a partir de la elaboración de perfiles de personas físicas mencionada en el artículo 3, punto 4, de la Directiva (UE) 2016/680, o para evaluar rasgos y características de la personalidad o comportamientos delictivos pasados de personas físicas o grupos; e) Sistemas de IA destinados a ser utilizados por las autoridades encargadas de la aplicación de la ley o en su nombre para elaborar perfiles de personas físicas, como se menciona en el artículo 3, punto 4, de la Directiva (UE) 2016/680, durante la detección, la investigación o el enjuiciamiento de infracciones penales. |
| 7. Gestión de la migración, el asilo y el control fronterizo. |
a) Sistemas de IA destinados a ser utilizados por las autoridades públicas competentes o en su nombre como polígrafos y herramientas similares, o para detectar el estado emocional de una persona física; b) Sistemas de IA destinados a ser utilizados por las autoridades públicas competentes o en su nombre para evaluar un riesgo, como un riesgo para la seguridad, la salud o relativo a la migración irregular, que plantee una persona física que tenga la intención de entrar o haya entrado en el territorio de un Estado miembro; c) Sistemas de IA destinados a ser utilizados por las autoridades públicas competentes o en su nombre para a verificación de la autenticidad de documentos de viaje y los documentos justificativos de las personas físicas y la detección de documentos falsos mediante la comprobación de sus elementos de seguridad. d) Sistemas de IA destinados a ser utilizados por las autoridades públicas competentes o en su nombre para examinar las solicitudes de asilo, visado y permiso de residencia, y las reclamaciones asociadas con respecto a la admisibilidad de las personas físicas solicitantes. |
| 8. Actividad jurisdiccional y procesos democráticos. | a) Sistemas de IA destinados a ser utilizados por una autoridad judicial o en su nombre para interpretar hechos o la ley, así como para aplicar la ley a un conjunto concreto de hechos. |
La memoria técnica que se adjunte con la solicitud de participación al entorno controlado de pruebas deberá contener la siguiente información:
1. Nombre, dirección, NIF, detalles de contacto del proveedor IA solicitante del sistema de inteligencia artificial, número de empleados y sector productivo o de servicios al que pertenece.
Se especificará si es parte de una agrupación de entidades, detallando la información del presente punto para cada una de ellas.
2. Cuando se haya solicitado la participación a través de un tercero en nombre del solicitante, su nombre, dirección y detalles de contacto.
3. Nombre del sistema de inteligencia artificial presentado.
4. Tipo de sistema de inteligencia artificial: alto riesgo, propósito general, o modelo fundacional.
5. Descripción del propósito previsto para el sistema de inteligencia artificial.
6. Descripción del funcionamiento y técnicas de diseño del sistema de inteligencia artificial.
7. Descripción explicativa del papel que desempeña el proveedor IA solicitante en referencia al sistema de inteligencia artificial atendiendo a la definición del artículo 3 del real decreto.
8. Descripción explicativa de la adecuación a sistema de inteligencia artificial de alto riesgo, de propósito general, o modelo fundacional según definición del artículo 3 del presente real decreto.
9. Breves instrucciones de uso y aplicación del sistema de inteligencia artificial.
10. Status del sistema de inteligencia artificial: completamente desarrollado, puesto en servicio, introducido en el mercado, a falta de poner en funcionamiento, evaluación de conformidad exigida por legislación específica pasada/no pasada, calendario previsto para su plena operatividad, pasos restantes para que pueda ser utilizado.
11. En el caso en que el sistema de inteligencia artificial sea puesto en servicio en otros Estados miembro de la Unión Europea, el proveedor IA solicitante deberá informar de los países concretos en los que tiene previsto implantar el sistema.
12. Si el sistema de inteligencia artificial ha sido introducido en el mercado o ha sido puesto en servicio y, debe superar una evaluación de conformidad exigida por legislación específica, deberá detallar: el tipo, número y fecha de caducidad del certificado expedido por un organismo notificado y nombre o número de identificación de dicho organismo notificado, cuando proceda. Así como una copia del certificado.
13. Si el sistema de inteligencia artificial le es de aplicación legislación específica, y no ha sido introducido en el mercado o puesto en servicio, deberá detallar el plan de cumplimiento de legislación sectorial específica que se haya diseñado para el sistema de inteligencia artificial en cuestión.
14. Alcance estimado del sistema en número de personas afectadas por el mismo.
15. Cualquier otra información prevista en la convocatoria.
Toda la información proporcionada será tratada con la debida confidencialidad en concordancia con el artículo 18 del presente real decreto.
Don/Doña …………………………………………..…….……..…………….....…………
con NIF ……………….....………, por sí mismo/a o en representación de la entidad
con NIF ……………….....………, en calidad de ………….….….……...………………
EXPONE
Que ha presentado su solicitud a la convocatoria de participación en el entorno controlado de pruebas previsto en este real decreto, por el que se establece un entorno para comprobar el cumplimiento de la propuesta de Reglamento del Parlamento Europeo y del Consejo por el que se establecen normas armonizadas en materia de inteligencia artificial,
DECLARA
Que los tratamientos de datos personales que se realicen en los sistemas de inteligencia artificial en el marco del entorno controlado de pruebas, tanto por parte del proveedor IA, como del usuario o por cualquier tercero que tenga acceso a ellos, se realizarán con estricta sujeción a lo dispuesto en el Reglamento (UE) 2016/679 del Parlamento Europeo y del Consejo, de 27 de abril de 2016, relativo a la protección de las personas físicas en lo que respecta al tratamiento de datos personales y a la libre circulación de estos datos (RGPD) y por el que se deroga la Directiva 95/46/CE, en la Ley Orgánica 3/2018, de 5 de diciembre, de Protección de Datos Personales y garantía de los derechos digitales (LOPDPGDD), y demás normativa aplicable en materia de protección de datos personales.
A estos efectos se han adoptado todas las medidas que se recogen en el anexo V para el cumplimiento del principio de responsabilidad proactiva en los tratamientos de datos personales necesarios para el desarrollo de las pruebas. Documentación que se podrá requerir a los participantes del entorno a efectos de cumplir con las garantías de la normativa de protección de datos. Asimismo, se ha justificado y documentado la omisión de las medidas que no son obligatorias (2).
(2) Únicamente si alguna de las medidas no se hubiese adoptado por no ser obligatoria en el correspondiente tratamiento de datos.
En su caso, durante la realización de las pruebas se constatará y documentará la pertinencia de las medidas adoptadas o la necesidad de actualizarlas o modificarlas adoptando las medidas necesarias para garantizar el cumplimiento del principio de responsabilidad proactiva.
El incumplimiento de esta normativa dará lugar al cese definitivo de las pruebas, en virtud del artículo 13 del Real Decreto 817/2023, de 8 de noviembre, que establece un entorno controlado de pruebas para el ensayo del cumplimiento de la propuesta de Reglamento del Parlamento Europeo y del Consejo por el que se establecen normas armonizadas en materia de inteligencia artificial.
Fecha:
Firmado:
1. Responsables o corresponsables del tratamiento de datos (artículo 26 RGPD).
2. Registro de Actividades de Tratamiento.
3. Indicación de los encargados del tratamiento intervinientes, en su caso (artículo 28 RGPD).
3. Listado de cumplimiento normativo (https://www.aepd.es/sites/default/files/2019-11/guia-listado-de-cumplimiento-del-rgpd.pdf).
4. Medidas y garantías de protección de datos por defecto.
5. Análisis de riesgos para los derechos y libertades de personas físicas.
6. Evaluación de impacto relativa a la protección de datos o justificación de la improcedencia de realizar la misma (orientaciones-evaluacion-impacto-desarrollo-normativo.pdf (aepd.es).
7. Medidas y garantías de protección de datos desde el diseño.
8. Medidas de seguridad.
9. Procedimientos para la gestión de brechas de seguridad.
10. Informe del Delegado de protección de datos en relación con el cumplimiento de la normativa de la protección de datos en el sistema de inteligencia artificial o justificación de la improcedencia de dicho informe.
La documentación técnica que se desarrollará durante el entorno controlado de pruebas como parte de los requisitos de los sistemas de inteligencia artificial contendrá, como mínimo, la siguiente información, según sea aplicable al sistema de inteligencia artificial correspondiente:
1. Una descripción general del sistema de inteligencia artificial que incluya:
a) Su finalidad prevista, la persona o personas responsables de su desarrollo, la fecha y la versión del sistema.
b) Cómo el sistema de inteligencia artificial interactúa o puede utilizarse para interactuar con los soportes físicos o el software que no formen parte del propio sistema de inteligencia artificial, cuando proceda.
c) Las versiones de software o del firmware pertinentes y cualquier requisito relacionado con la actualización de las versiones.
d) La descripción de todas las formas en que el sistema de inteligencia artificial se ha introducido o puesto en servicio (por ejemplo, paquetes de software integrados en el hardware, descargable, interfaz de programación de aplicaciones –API–, etc.).
e) La descripción del hardware en el que está previsto que funcione el sistema de inteligencia artificial.
f) Cuando el sistema de inteligencia artificial sea un componente de productos, fotografías o ilustraciones que muestren las características externas, el marcado y la disposición interna de dichos productos.
g) Instrucciones de uso para el usuario y, en su caso, instrucciones de instalación.
2. Una descripción detallada de los elementos del sistema de inteligencia artificial y del proceso para su adaptación a los requisitos especificados en el artículo 11 del real decreto, incluyendo:
a) Los métodos y pasos realizados para la incorporación de los requisitos en el sistema de inteligencia artificial, incluyendo, en su caso, el recurso a sistemas pre-entrenados o a herramientas proporcionadas por terceros y cómo han sido utilizados, integrados o modificados por el proveedor IA solicitante.
b) Las especificaciones de diseño del sistema, a saber, la lógica general del sistema de inteligencia artificial y de los algoritmos; las opciones clave de diseño, incluidos los fundamentos y las suposiciones realizadas, también con respecto a las personas o grupos de personas con las que se pretende utilizar el sistema; las principales opciones de clasificación; el objetivo de optimización del sistema y la importancia de los distintos parámetros; las decisiones sobre las posibles contrapartidas realizadas en relación con las soluciones técnicas adoptadas para cumplir los requisitos establecidos en el artículo 11 y las guías ofrecidas por el órgano competente a tal efecto.
c) La descripción de la arquitectura del sistema que explique cómo los componentes de software se basan o se alimentan mutuamente y se integran en el procesamiento global; los recursos informáticos utilizados para desarrollar, entrenar, probar y validar el sistema de inteligencia artificial.
d) Cuando proceda, los requisitos de datos en términos de fichas técnicas que describan las metodologías y técnicas de entrenamiento y los conjuntos de datos de entrenamiento utilizados, incluyendo una descripción general de estos conjuntos de datos, su procedencia, alcance y características principales; cómo se han obtenido y seleccionado los datos; procedimientos de etiquetado (por ejemplo, para el aprendizaje supervisado), metodologías de limpieza de datos (por ejemplo detección de valores atípicos).
e) En el caso de sistemas de alto riesgo, la evaluación de las medidas de supervisión humana necesarias, incluida una evaluación de las medidas técnicas necesarias para facilitar la interpretación de los resultados de los sistemas de inteligencia artificial por parte de los usuarios del sistema.
f) Cuando proceda, una descripción detallada de los cambios predeterminados en el sistema de inteligencia artificial y su rendimiento, junto con toda la información pertinente relacionada a las soluciones técnicas adoptadas para garantizar la conformidad continua del sistema de inteligencia artificial con los requisitos pertinentes establecidos en el artículo 11 y las guías ofrecidas por el órgano competente a tal efecto.
g) Los procedimientos de validación y prueba utilizados, incluida la información sobre los datos de validación y prueba empleados y sus principales características; las métricas utilizadas para medir la precisión, la solidez, la ciberseguridad y el cumplimiento de otros requisitos pertinentes establecidos en el artículo 11 y las guías ofrecidas por el órgano competente a tal efecto, así como los impactos potencialmente impactos discriminatorios; registros de pruebas (logs) y todos los informes de pruebas fechados y firmados por las personas responsables, incluso en lo que respecta a los cambios predeterminados mencionados en la letra f).
3. Información sobre la supervisión, el funcionamiento y el control del sistema de inteligencia artificial, en particular con respecto a: sus capacidades y limitaciones de rendimiento, incluyendo los grados de precisión para las personas o grupos de personas específicos sobre los que se pretende utilizar el sistema y el nivel general de precisión previsto en relación con su finalidad su finalidad prevista; las fuentes de riesgo para la salud y la seguridad, los derechos fundamentales y la discriminación en vista de la de la finalidad prevista del sistema de inteligencia artificial; las medidas de supervisión humana necesarias de conformidad con el artículo 11 y las guías ofrecidas por el órgano competente a tal efecto, incluidas las medidas técnicas establecidas para facilitar la interpretación de la información de salida de los sistemas de inteligencia artificial por parte de los usuarios del sistema; las especificaciones sobre los datos de entrada según proceda; y en su caso, con relación a los tratamientos de datos personales en función del impacto que puedan tener el tratamiento de los datos, o de las finalidades previstas y contextos específicos de operación, para los que se valida el sistema.
4. Una descripción detallada del sistema de gestión de riesgos, de conformidad con el artículo 11 y las especificaciones ofrecidas por el órgano competente a tal efecto.
5. Una descripción de cambios relevantes realizados por el proveedor IA solicitante en el sistema a lo largo de su ciclo de vida.
6. Una descripción detallada del sistema establecido para evaluar el rendimiento del sistema de inteligencia artificial en la fase posterior a la comercialización, incluido de plan de monitorización posterior a la comercialización.
Toda la información proporcionada será tratada con la debida confidencialidad en concordancia con el artículo 18 del presente real decreto.
1. Directiva 2006/42/CE del Parlamento Europeo y del Consejo, de 17 de mayo de 2006, relativa a las máquinas y por la que se modifica la Directiva 95/16/CE (DO L 157 de 9 de junio de 2006, p. 24) (derogada por el Reglamento relativo a las máquinas);
2. Directiva 2009/48/CE del Parlamento Europeo y del Consejo, de 18 de junio de 2009, sobre la seguridad de los juguetes (DO L 170 de 30 de junio de 2009, p. 1);
3. Directiva 2013/53/UE del Parlamento Europeo y del Consejo, de 20 de noviembre de 2013, relativa a las embarcaciones de recreo y a las motos acuáticas, y por la que se deroga la Directiva 94/25/CE (DO L 354 de 28 de diciembre de 2013, p. 90);
4. Directiva 2014/33/UE del Parlamento Europeo y del Consejo, de 26 de febrero de 2014, sobre la armonización de las legislaciones de los Estados miembro de la Unión Europea en materia de ascensores y componentes de seguridad para ascensores (DO L 96 de 29 de marzo de 2014, p. 251);
5. Directiva 2014/34/UE del Parlamento Europeo y del Consejo, de 26 de febrero de 2014, sobre la armonización de las legislaciones de los Estados miembro en materia de aparatos y sistemas de protección para uso en atmósferas potencialmente explosivas (DO L 96 de 29 de marzo de 2014, p. 309);
6. Directiva 2014/53/UE del Parlamento Europeo y del Consejo, de 16 de abril de 2014, relativa a la armonización de las legislaciones de los Estados miembro de la Unión Europea sobre la comercialización de equipos radioeléctricos, y por la que se deroga la Directiva 1999/5/CE (DO L 153 de 22 de mayo de 2014, p. 62);
7. Directiva 2014/68/UE del Parlamento Europeo y del Consejo, de 15 de mayo de 2014, relativa a la armonización de las legislaciones de los Estados miembro de la Unión Europea sobre la comercialización de equipos a presión (DO L 189 de 27 de junio de 2014, p. 164);
8. Reglamento (UE) 2016/424 del Parlamento Europeo y del Consejo, de 9 de marzo de 2016, relativo a las instalaciones de transporte por cable y por el que se deroga la Directiva 2000/9/CE (DO L 81 de 31 de marzo de 2016, p. 1);
9. Reglamento (UE) 2016/425 del Parlamento Europeo y del Consejo, de 9 de marzo de 2016, relativo a los equipos de protección individual y por el que se deroga la Directiva 89/686/CEE del Consejo (DO L 81 de 31 de marzo de 2016, p. 51);
10. Reglamento (UE) 2016/426 del Parlamento Europeo y del Consejo, de 9 de marzo de 2016, sobre los aparatos que queman combustibles gaseosos y por el que se deroga la Directiva 2009/142/CE (DO L 81 de 31 de marzo de 2016, p. 99);
11. Reglamento (UE) 2017/745 del Parlamento Europeo y del Consejo, de 5 de abril de 2017, sobre los productos sanitarios, por el que se modifican la Directiva 2001/83/CE, el Reglamento (CE) número 178/2002 y el Reglamento (CE) número 1223/2009 y por el que se derogan las Directivas 90/385/CEE y 93/42/CEE del Consejo (DO L 117 de 5 de mayo de 2017, p. 1);
12. Reglamento (UE) 2017/746 del Parlamento Europeo y del Consejo, de 5 de abril de 2017, sobre los productos sanitarios para diagnóstico in vitro y por el que se derogan la Directiva 98/79/CE y la Decisión 2010/227/UE de la Comisión (DO L 117 de 5 de mayo de 2017, p. 176).
Agencia Estatal Boletín Oficial del Estado
Avda. de Manoteras, 54 - 28050 Madrid
