El tratamiento de datos personales mediante sistemas que automatizan la toma de decisiones (ADM) con una intervención humana limitada o nula puede afectar significativamente a los derechos y libertades fundamentales de las personas, especialmente cuando estas decisiones producen efectos jurídicos o les afectan de forma significativa. Por ello, estos sistemas deben implantarse con medidas de gobernanza adecuadas y mecanismos de control sólidos para garantizar su uso lícito, justo y responsable, cuya eficacia dependerá en gran medida de cómo se diseñen y apliquen en la práctica.
Así, el Supervisor Europeo de Protección de Datos (SEPD) ha publicado la Lista de verificación sobre la intervención humana en la toma de decisiones automatizada (ADM), un documento que ofrece una orientación estructurada sobre los factores que deben tenerse en cuenta al aplicar medidas de supervisión humana.
La lista de verificación tiene como objetivo ofrecer a las instituciones de la Unión Europea una herramienta de autoevaluación para medir el grado de madurez de las medidas de supervisión humana aplicadas a sus sistemas de toma de decisiones automatizada.
Asimismo, proporciona una orientación estructurada sobre los factores críticos que deben tenerse en cuenta al aplicar dichas medidas y pretende facilitar la reflexión, la identificación de deficiencias y la mejora de los procesos de supervisión.
La lista no está diseñada para utilizarse como una herramienta formal de evaluación del cumplimiento. Por su parte, el SEPD recuerda que los requisitos del Reglamento General de Protección de Datos (RGPD) resultan aplicables a cualquier sistema que trate datos personales, con independencia de que constituya o no un proceso de toma de decisiones automatizada.
¿Cuáles son sus principales implicaciones?
La lista identifica los principales elementos que deberían contemplarse al diseñar e implantar mecanismos de supervisión humana en sistemas de toma de decisiones automatizada.
En particular, estos mecanismos deben adaptarse al contexto específico en el que se utiliza el sistema y ser proporcionados al nivel de riesgo que este supone para las personas, debiendo estar claramente definidos, debidamente documentados y respaldados por prácticas organizativas, formación y garantías técnicas adecuadas.
Para ello, la lista aborda aspectos relacionados con la gobernanza y la rendición de cuentas, la formación de los usuarios, la trazabilidad de las decisiones, los mecanismos de revisión y retroalimentación, el diseño de las interfaces, las auditorías y los mecanismos de seguimiento y revisión de los sistemas, entre otros.
Finalmente, la lista recuerda que la supervisión humana no sustituye a un diseño sólido del sistema y que los mecanismos de supervisión desempeñan un papel fundamental en la mitigación de riesgos, pero no deben servir como sustituto para abordar sistemas automatizados que presenten defectos fundamentales, sean inseguros o poco fiables.