Comité para la Eliminación de la Discriminación Racial

Recomendación general núm. 36 (2020), relativa a la prevención y la lucha contra la elaboración de perfiles raciales por los agentes del orden*

I.Introducción

1.En su 92º período de sesiones, el Comité para la Eliminación de la Discriminación Racial decidió celebrar un debate sobre el tema “La discriminación racial en el mundo de hoy: elaboración de perfiles raciales, depuración étnica y cuestiones y desafíos mundiales actuales”. El debate temático tuvo lugar en Ginebra el 29 de noviembre de 2017 y se centró en el análisis de las experiencias, los desafíos y las enseñanzas extraídas de la labor realizada hasta ese momento para luchar contra la elaboración de perfiles raciales y la depuración étnica y en la manera en que el Comité podría reforzar su labor contra la elaboración de perfiles raciales y la depuración étnica, para lograr una mayor repercusión sobre el terreno.

2.Tras el debate, el Comité expresó su intención de preparar una recomendación general para ofrecer orientaciones sobre la prevención y la lucha contra la elaboración de perfiles raciales a fin de ayudar a los Estados partes a cumplir sus obligaciones, incluida la de presentar informes. La presente recomendación general es pertinente para todas las partes interesadas en la lucha contra la discriminación racial y mediante su publicación el Comité trata de contribuir al fortalecimiento de la democracia, el respeto de la ley y la paz y la seguridad entre las comunidades, los pueblos y los Estados.

3.En su 98º período de sesiones, el Comité inició deliberaciones con miras a preparar una recomendación general sobre la prevención y la lucha contra la elaboración de perfiles raciales, en consulta con todas las partes interesadas. El Comité también celebró debates con profesores universitarios de diversas disciplinas, haciendo hincapié en las repercusiones de la inteligencia artificial en la elaboración de perfiles raciales.

II.Principios y práctica establecidos

4.Al preparar la presente recomendación general, el Comité ha tenido en cuenta su amplia práctica sobre la elaboración de perfiles raciales por los agentes del orden, principalmente en el contexto del examen de los informes de los Estados partes y en las principales recomendaciones generales. El Comité abordó expresamente la cuestión de la elaboración de perfiles raciales en su recomendación general núm. 30 (2004), sobre la discriminación contra los no ciudadanos, en la que recomendó que los Estados velaran por que las medidas que se tomaran en la lucha contra el terrorismo no discriminaran, por sus fines o efectos, por motivos de raza, color, ascendencia u origen nacional o étnico, y que los no ciudadanos no se vieran sometidos a las caracterizaciones o estereotipos raciales o étnicos (párr. 10); en su recomendación general núm. 31 (2005), sobre la prevención de la discriminación racial en la administración y el funcionamiento de la justicia penal, en la que recomendó a los Estados partes que adoptaran las medidas necesarias para impedir los interrogatorios, las detenciones y los cacheos basados de facto exclusivamente en el aspecto físico del individuo, su color, sus rasgos faciales, su pertenencia a un grupo racial o étnico, o cualquier otra categorización que pudiera hacerle particularmente sospechoso (párr. 20); y en la recomendación general núm. 34 (2011), relativa a la discriminación racial contra afrodescendientes, en la que recomendó a los Estados que tomaran medidas resueltas para contrarrestar cualquier tendencia a atacar, estigmatizar, estereotipar o caracterizar a afrodescendientes en razón de su raza, por parte de funcionarios del orden público, políticos o educadores (párr. 31). Otras recomendaciones también son pertinentes para la elaboración de perfiles raciales, como la recomendación general núm. 13 (1993), relativa a la formación de los funcionarios encargados de la aplicación de la ley en cuanto a la protección de los derechos humanos, en la que el Comité subrayó que los funcionarios encargados de la aplicación de la ley debían recibir formación para garantizar que defendieran los derechos humanos de todas las personas sin distinción de raza, color u origen nacional o étnico (párr. 2); la recomendación general núm. 23 (1997), relativa a los derechos de los pueblos indígenas, en la que el Comité subrayó que los pueblos indígenas deberían estar libres de toda discriminación, en particular la que se basara en el origen o la identidad indígena (párr. 4 b)); la recomendación general núm. 27 (2000), relativa a la discriminación de los romaníes, en la que el Comité recomendó que los Estados, teniendo en cuenta su situación específica, adoptaran medidas para evitar la utilización ilícita de la fuerza por parte de la policía contra los romaníes, en particular en casos de arresto y detención (párr. 13), y para fomentar la confianza entre las comunidades romaníes y la policía; la recomendación general núm. 32 (2009), relativa al significado y el alcance de las medidas especiales en la Convención, en la que el Comité mencionó el concepto de “interrelación”, que le permitía abordar situaciones de doble o múltiple discriminación —como la discriminación por motivos de género o de religión— cuando la discriminación por este motivo parecía estar interrelacionada con uno o varios de los motivos enumerados en el artículo 1 de la Convención (párr. 7); y la recomendación general núm. 35 (2013), relativa a la lucha contra el discurso de odio racista.

5.El Comité, en sus observaciones finales, ha expresado reiteradamente su preocupación por la utilización de perfiles raciales por los agentes del orden y ha recomendado que los Estados partes adopten medidas para poner fin a esa práctica.

6.Además, varios otros mecanismos internacionales de derechos humanos han destacado expresamente que la elaboración de perfiles raciales constituye una violación del derecho internacional de los derechos humanos. En 2009, mediante su decisión en el caso Williams Lecraft c. España, el Comité de Derechos Humanos se convirtió en el primer órgano de tratados que reconoció directamente que la elaboración de perfiles raciales era una discriminación ilegal. En observaciones finales más recientes, el Comité de Derechos Humanos ha expresado periódicamente su preocupación por la continua práctica de la elaboración de perfiles raciales por los agentes del orden, dirigidos en particular a grupos específicos como los migrantes, los solicitantes de asilo, las personas afrodescendientes, los pueblos indígenas y los miembros de minorías religiosas y étnicas, incluidos los romaníes. El Comité contra la Tortura se ha hecho eco de esa preocupación.

7.En el Programa de Acción de Durban, aprobado por los Estados Miembros en la Conferencia Mundial contra el Racismo, la Discriminación Racial, la Xenofobia y las Formas Conexas de Intolerancia, celebrada en Durban (Sudáfrica) en 2001, se instó a los Estados a que elaboraran, aplicaran e hicieran cumplir medidas eficaces para eliminar el establecimiento de perfiles raciales, que comprendía la práctica de los agentes de policía y otros funcionarios encargados de hacer cumplir la ley de basarse, en uno u otro grado, en la raza, el color, la ascendencia o el origen nacional o étnico como motivo para someter a las personas a actividades de investigación o para determinar si una persona realizaba actividades delictivas (párr. 72).

8.En un informe presentado al Consejo de Derechos Humanos en 2007, el Relator Especial sobre la promoción y la protección de los derechos humanos y las libertades fundamentales en la lucha contra el terrorismo observó que, desde el 11 de septiembre de 2001, los agentes del orden de diferentes Estados habían adoptado medidas basadas en perfiles terroristas elaborados a partir de presuntas características como la raza, el origen étnico o nacional o la religión. El Relator Especial subrayó que las prácticas consistentes en utilizar en la lucha contra el terrorismo perfiles basados en la “raza” eran incompatibles con los principios de los derechos humanos, eran un medio inadecuado e ineficaz para identificar a posibles terroristas y entrañaban considerables consecuencias negativas que podían hacer que esas medidas fueran contraproducentes en la lucha contra el terrorismo.

9.La presente recomendación general también se prepara en el marco de la implementación de la Agenda 2030 para el Desarrollo Sostenible y como contribución a ella, con sus compromisos generales de no dejar a nadie atrás y llegar primero a los más rezagados, que constituyen puntos de entrada fundamentales y oportunidades para la labor del Comité, en particular en lo que respecta a los Objetivos de Desarrollo Sostenible 10, relativo a la reducción de la desigualdad en los países y entre ellos, y 16, relativo a la promoción de sociedades pacíficas e inclusivas para el desarrollo sostenible, la facilitación del acceso a la justicia para todos y la construcción a todos los niveles de instituciones eficaces e inclusivas que rindan cuentas.

III.Alcance

10.El Comité ha expresado a menudo su preocupación por la utilización de perfiles raciales por los agentes del orden contra diversos grupos minoritarios sobre la base de características específicas, como la presunta raza, color de piel, ascendencia u origen nacional o étnico de una persona. El Comité ha expresado su preocupación por las denuncias de que agentes del orden, como los agentes de policía y los funcionarios de control de fronteras, en el ejercicio de sus funciones, realizan controles policiales arbitrarios, comprobaciones arbitrarias de la identidad, inspecciones aleatorias de las pertenencias de cualquier persona en estaciones de ferrocarril, trenes y aeropuertos, y detenciones arbitrarias. El Comité ha observado con preocupación que la elaboración de perfiles raciales ha aumentado debido a las preocupaciones actuales por el terrorismo y la migración que exacerban los prejuicios y la intolerancia hacia los miembros de determinados grupos étnicos.

11.El Comité ha reconocido que grupos específicos, como los migrantes, los refugiados y los solicitantes de asilo, las personas afrodescendientes, los pueblos indígenas y las minorías nacionales y étnicas, incluidos los romaníes, son los más vulnerables a la elaboración de perfiles raciales.

12.Además, el Comité observa que la utilización cada vez mayor de nuevas herramientas tecnológicas, incluida la inteligencia artificial, en ámbitos como la seguridad, el control de fronteras y el acceso a los servicios sociales, puede profundizar el racismo, la discriminación racial, la xenofobia y otras formas de exclusión. Sin embargo, en la presente recomendación general, el Comité se centra en la adopción de decisiones mediante algoritmos y la inteligencia artificial en relación con la elaboración de perfiles raciales por los agentes del orden. Por lo tanto, muchos otros temas relacionados con la inteligencia artificial potencialmente perjudicial quedan fuera de su ámbito. Aunque es consciente de que, en algunos ámbitos, la inteligencia artificial puede contribuir a una mayor eficacia en una serie de procesos de adopción de decisiones, el Comité también comprende que existe un riesgo real de sesgo algorítmico cuando se utiliza la inteligencia artificial en la adopción de decisiones en el contexto de la aplicación de la ley. La elaboración de perfiles algorítmicos plantea serias preocupaciones y las consecuencias con respecto a los derechos de las víctimas podrían ser muy graves.

IV.Definición y comprensión de la elaboración de perfiles raciales

13.No hay una definición universal de elaboración de perfiles raciales en el derecho internacional de los derechos humanos. Sin embargo, como fenómeno persistente en todas las regiones del mundo, diversos órganos e instituciones internacionales y regionales de derechos humanos han adoptado definiciones de elaboración de perfiles raciales que tienen una serie de elementos comunes. La elaboración de perfiles raciales: a) es obra de los agentes del orden; b) no está motivada por criterios objetivos o una justificación razonable; c) se basa en motivos de raza, color, ascendencia, origen nacional o étnico o su interrelación con otros motivos pertinentes, como la religión, el sexo o el género, la orientación sexual y la identidad de género, la discapacidad y la edad, la situación migratoria o la situación laboral o de otro tipo; d) se utiliza en contextos específicos, como el control de la inmigración y la lucha contra el delito, el terrorismo u otras actividades que constituyen o pueden constituir presuntas violaciones de la ley.

14.La elaboración de perfiles raciales se comete mediante comportamientos o actos como los controles arbitrarios, los registros, las comprobaciones de la identidad, las investigaciones y las detenciones.

15.La Comisión Interamericana de Derechos Humanos ha definido el establecimiento de perfiles raciales como una acción represora que se adopta por supuestas razones de seguridad o protección pública y está motivada en estereotipos de raza, color, etnicidad, idioma, descendencia, religión, nacionalidad o lugar de nacimiento, o una combinación de estos factores, y no en sospechas objetivas, que tiendan a singularizar de manera discriminatoria a individuos o grupos con base en la errónea suposición de la propensión de las personas con tales características a la práctica de determinado tipo de delitos. Según el Comité Árabe de Derechos Humanos, la elaboración de perfiles raciales se puede definir como la utilización por los agentes del orden de generalizaciones o estereotipos relacionados con la presunta raza, color, ascendencia, nacionalidad, lugar de nacimiento u origen nacional o étnico -en lugar de pruebas objetivas o el comportamiento individual- como base para identificar a una persona como si estuviera o hubiera estado involucrada en una actividad delictiva, lo cual da lugar a la adopción de decisiones discriminatorias. En su recomendación de política general núm. 11, relativa a la lucha contra el racismo y la discriminación racial en el ámbito policial, aprobada en 2007, la Comisión Europea contra el Racismo y la Intolerancia definió la elaboración de perfiles raciales como la utilización por la policía, sin justificación objetiva y razonable, de motivos como la raza, el color, el idioma, la religión, la nacionalidad o el origen nacional o étnico en las actividades de control, vigilancia o investigación.

16.En un informe presentado al Consejo de Derechos Humanos en 2015, el Relator Especial sobre las formas contemporáneas de racismo, discriminación racial, xenofobia y formas conexas de intolerancia indicó que comúnmente se entendía por utilización de perfiles raciales y étnicos por los agentes del orden el recurso de los agentes de las fuerzas del orden, de seguridad y de control fronterizo a criterios basados en la raza, el color de la piel, la ascendencia o el origen nacional o étnico como motivo para someter a personas a registros detallados, controles de identidad e investigaciones, o para determinar si realizaban actividades delictivas.

17.La Alta Comisionada de las Naciones Unidas para los Derechos Humanos ha declarado que la elaboración de perfiles raciales se refiere al proceso por el cual las fuerzas del orden se basan en generalizaciones basadas en la raza, el color, la ascendencia o el origen nacional o étnico, en lugar de pruebas objetivas o el comportamiento individual, para someter a las personas a controles, registros exhaustivos, comprobaciones de la identidad e investigaciones, o para determinar que una persona estuvo implicada en una actividad delictiva. La elaboración de perfiles raciales, por lo tanto, da lugar a la adopción de decisiones discriminatorias. La Alta Comisionada ha señalado además que, ya sea por las actitudes y prácticas de agentes individuales o la cultura o las políticas discriminatorias de los organismos encargados de hacer cumplir la ley, la elaboración de perfiles raciales es una práctica arraigada en muchos organismos.

18.A los efectos de la presente recomendación general, se entiende por elaboración de perfiles raciales lo que se describe en el párrafo 72 del Programa de Acción de Durban, es decir, la práctica de los agentes de policía y otros funcionarios encargados de hacer cumplir la ley de basarse, en uno u otro grado, en la raza, el color, la ascendencia o el origen nacional o étnico como motivo para someter a las personas a actividades de investigación o para determinar si una persona realiza actividades delictivas. En este contexto, la discriminación racial suele estar interrelacionada con otros motivos, como la religión, el sexo y el género, la orientación sexual y la identidad de género, la discapacidad, la edad, la situación migratoria y la situación laboral o de otro tipo.

19.La elaboración de perfiles raciales por los agentes del orden también puede incluir redadas, controles fronterizos y aduaneros, registros domiciliarios, selección de objetivos de vigilancia, operaciones para mantener o restablecer el orden público o decisiones sobre inmigración. Estas actividades pueden tener lugar de diversas maneras en el contexto de la policía de calle y las operaciones antiterroristas.

20.La elaboración de perfiles raciales está relacionada con los estereotipos y los prejuicios, que pueden ser conscientes o inconscientes, e individuales o institucionales y estructurales. Los estereotipos se convierten en una violación del derecho internacional de los derechos humanos cuando las suposiciones estereotipadas se ponen en práctica para socavar el disfrute de los derechos humanos.

V.Principios y obligaciones generales en virtud de la Convención

21.La detección y la prevención de la práctica de la elaboración de perfiles raciales por los agentes del orden y la lucha contra ella es fundamental para la consecución de los objetivos de la Convención Internacional sobre la Eliminación de Todas las Formas de Discriminación Racial. La práctica de la elaboración de perfiles raciales por los agentes del orden viola los principios fundamentales de los derechos humanos, que se basan en: a) la no discriminación por razón de raza, color, ascendencia u origen nacional o étnico, u otros motivos interseccionales; y b) la igualdad ante la ley. También puede violar los derechos al debido proceso y un juicio imparcial. Estos principios y derechos son los pilares de la Declaración Universal de Derechos Humanos (arts. 2 y 7) y la Convención (arts. 2 y 5 a)).

22.En el preámbulo de la Convención se destaca que todos los hombres son iguales ante la ley y tienen derecho a igual protección de la ley contra toda discriminación y contra toda incitación a la discriminación. Aunque el término elaboración de perfiles raciales no se menciona expresamente en la Convención, ello no ha impedido que el Comité identifique esas prácticas y estudie la relación entre la elaboración de perfiles raciales y las normas establecidas en la Convención.

23.En virtud del artículo 2 de la Convención, cada Estado se compromete a no incurrir en ningún acto o práctica de discriminación racial contra personas, grupos de personas o instituciones y a velar por que todas las autoridades públicas e instituciones públicas, nacionales y locales, actúen en conformidad con esta obligación. Como la elaboración de perfiles raciales es una práctica que puede promover y perpetuar los incidentes racistas y la formación de prejuicios y estereotipos raciales, es contraria a la idea misma de la Convención. Por consiguiente, los Estados partes tienen la obligación de revisar sus políticas, leyes y reglamentos con el fin de que no se produzca ni se facilite la elaboración de perfiles raciales. Los Estados partes tienen la obligación de adoptar activamente medidas para eliminar la discriminación mediante leyes, políticas e instituciones. La prohibición de participar en actos de elaboración de perfiles raciales y la obligación de asegurarse de que las autoridades y las instituciones públicas no apliquen prácticas de elaboración de perfiles raciales se derivan además del artículo 5 de la Convención. La práctica de la elaboración de perfiles raciales es incompatible con el derecho de toda persona a la igualdad ante la ley y la igualdad de tratamiento, sin distinción de raza, color y origen nacional o étnico. Es incompatible además con la garantía de no discriminación en relación con otros derechos civiles, como el derecho a la libertad de circulación.

24.En virtud del artículo 6 de la Convención, los Estados partes tienen la obligación de asegurar a todas las personas que se hallen bajo su jurisdicción una protección efectiva contra todo acto de discriminación racial. Por consiguiente, los Estados partes deben adoptar medidas preventivas para que las autoridades y las instituciones públicas no incurran en prácticas de elaboración de perfiles raciales. El artículo 6 también requiere que los Estados partes aseguren a todas las personas que se hallen bajo su jurisdicción unos recursos efectivos contra todo acto de discriminación racial. Los Estados partes tienen la obligación de asegurarse de que su ordenamiento jurídico interno contenga unos mecanismos adecuados y efectivos para afirmar que se han elaborado perfiles raciales y poner fin a esa práctica. Además, los Estados partes deben garantizar el derecho a solicitar una reparación o satisfacción justa y adecuada por los daños sufridos como consecuencia de la discriminación racial en forma de elaboración de perfiles raciales. Deben asegurarse de que este derecho se pueda ejercer de manera efectiva. A la luz del hecho de que la práctica de la elaboración de perfiles raciales suele afectar a los miembros de un grupo o grupos particulares, se alienta a los Estados partes a que estudien la posibilidad de establecer mecanismos para la protección colectiva de los derechos en el contexto de la elaboración de perfiles raciales.

25.En el artículo 7 de la Convención se destaca el papel de la enseñanza, la educación, la cultura y la información en la lucha contra la discriminación racial. En cuanto a la elaboración de perfiles raciales, el cumplimiento de la obligación de los Estados partes de no cometer actos de discriminación racial depende de la conducta de las autoridades y las instituciones públicas. Por lo tanto, es de suma importancia que los funcionarios nacionales encargados de la aplicación de la ley en particular estén debidamente informados de sus obligaciones. Como la elaboración de perfiles raciales suele ser el resultado de prácticas bien establecidas e incontestadas de las autoridades y las instituciones públicas, los Estados partes deben velar por que los funcionarios nacionales encargados de la aplicación de la ley sean suficientemente conscientes de la manera de evitar incurrir en prácticas de elaboración de perfiles raciales. La concienciación al respecto puede ayudar a prevenir la aplicación de prácticas de elaboración de perfiles raciales y a superarlas cuando estén arraigadas. Por consiguiente, los Estados partes deberían velar por que el personal de las autoridades y las instituciones públicas que participe en la aplicación de la ley reciba una capacitación adecuada para no incurrir en prácticas de elaboración de perfiles raciales.

VI.Consecuencias de la elaboración de perfiles raciales

26.La elaboración de perfiles raciales tiene efectos negativos y acumulativos en las actitudes y el bienestar de las personas y las comunidades, puesto que una persona puede ser sometida regularmente a la elaboración de perfiles raciales en su vida cotidiana. Las víctimas de la elaboración de perfiles raciales a menudo subestiman e interiorizan sus repercusiones ante la falta de recursos efectivos e instrumentos de restauración. Además de ser ilegal, la elaboración de perfiles raciales también puede ser ineficaz y contraproducente como herramienta general de aplicación de la ley. Las personas que perciben que han sido objeto de actividades policiales discriminatorias tienden a tener menos confianza en las fuerzas del orden y, en consecuencia, tienden a estar menos dispuestas a cooperar, lo cual puede limitar la eficacia de las fuerzas del orden. Las prácticas de elaboración de perfiles raciales influyen en las rutinas diarias de las fuerzas del orden y socavan, ya sea mediante acciones conscientes o inconscientes, la capacidad de apoyar a las víctimas de delitos pertenecientes a las comunidades afectadas. El sentimiento de injusticia y humillación, la pérdida de confianza en las fuerzas del orden, la victimización secundaria, el miedo a las represalias y el acceso limitado a la información sobre los derechos o la asistencia jurídica pueden dar lugar a una reducción de las denuncias de delitos y de la información con fines de inteligencia.

27.La elaboración de perfiles raciales y el discurso de odio están estrechamente relacionados y el Comité ha abordado a menudo esas dos formas de discriminación simultáneamente. La difusión de ideas basadas en el odio racial o étnico, la utilización persistente del discurso de odio en los medios de comunicación y la utilización de discursos políticos racistas por los funcionarios públicos exacerban la discriminación y el establecimiento de estereotipos por los agentes del orden. Los grupos étnicos que son objeto del discurso de odio también se convertirán en objetivos de la elaboración de perfiles raciales. Además, la elaboración de perfiles raciales por las fuerzas del orden presenta a los grupos que sufren discriminación racial como más propensos a cometer delitos, lo cual influirá en el discurso público y aumentará la difusión del odio racista.

28.La elaboración de perfiles raciales también puede tener un efecto negativo en el disfrute de los derechos civiles y políticos de las personas, incluidos los derechos a la vida (artículo 6 del Pacto Internacional de Derechos Civiles y Políticos), a la libertad y a la seguridad personales (art. 9), a la vida privada (art. 17) y a circular libremente (art. 12), a asociarse libremente (art. 22) y a un recurso efectivo (art. 2, párr. 3).

29.El pleno disfrute de los derechos económicos, sociales y culturales de las personas, como el derecho a una vivienda adecuada (artículo 11 del Pacto Internacional de Derechos Económicos, Sociales y Culturales), a la salud (art. 12), a la educación (arts. 13 y 14) y a trabajar (art. 6), también podría resultar afectado por la elaboración de perfiles raciales.

30.La elaboración de perfiles raciales por los agentes del orden tiene consecuencias de gran alcance en todos los niveles de la administración de justicia, especialmente en el sistema de justicia penal. La elaboración de perfiles raciales puede dar lugar, entre otras cosas: a) a la criminalización excesiva de determinadas categorías de personas protegidas por la Convención; b) al refuerzo de asociaciones estereotipadas engañosas entre la delincuencia y el origen étnico y el establecimiento de prácticas operacionales abusivas; c) a tasas de encarcelamiento desproporcionadas para los grupos protegidos por la Convención; d) a una mayor vulnerabilidad de las personas pertenecientes a grupos protegidos por la Convención al abuso de la fuerza o de la autoridad por los agentes del orden; e) a la no presentación de denuncias de actos de discriminación racial y delitos de odio; y f) a la imposición por parte de los tribunales de sentencias más duras contra los miembros de las comunidades seleccionadas como objetivo.

VII.Elaboración algorítmica de perfiles y prejuicios y discriminación raciales

31.Debido a los rápidos avances en el desarrollo tecnológico, las actividades de los agentes del orden están cada vez más determinadas o informadas por la elaboración algorítmica de perfiles, que puede incluir macrodatos, la adopción automatizada de decisiones e instrumentos y métodos de inteligencia artificial. Aunque esos avances pueden aumentar la precisión, la eficacia y la eficiencia de las decisiones y las acciones de los agentes del orden, hay un gran riesgo de que también reproduzcan y refuercen los prejuicios y agraven las prácticas discriminatorias o den lugar a otras nuevas. Dada la opacidad de los análisis y la adopción de decisiones algorítmicos, en particular cuando se emplean métodos de inteligencia artificial, los resultados discriminatorios de la elaboración algorítmica de perfiles pueden ser a menudo menos obvios y más difíciles de detectar que los derivados de las decisiones humanas y, por lo tanto, más difíciles de contrarrestar. Además, los defensores de los derechos humanos no suelen estar bien equipados tecnológicamente para detectar esos métodos discriminatorios.

32.Hay diversos puntos de entrada a través de los cuales el sesgo se podría incorporar en los sistemas de elaboración algorítmica de perfiles, entre ellos la forma en que se diseñan los sistemas, las decisiones sobre el origen y el alcance de los conjuntos de datos con que se entrenan, los sesgos sociales y culturales que los creadores de aplicaciones pueden incorporar en esos conjuntos de datos, los modelos mismos de inteligencia artificial y la forma en que los productos del modelo de inteligencia artificial se ejecutan en la práctica. En particular, los siguientes factores relacionados con los datos pueden contribuir a obtener resultados negativos: a) los datos utilizados incluyen información relativa a características protegidas; b) se incluye en los datos la denominada información indirecta, por ejemplo, los códigos postales vinculados a zonas segregadas de las ciudades suelen indicar indirectamente la raza o el origen étnico; c) los datos utilizados están sesgados en contra de un grupo; y d) los datos utilizados son de mala calidad, en particular porque están mal seleccionados, están incompletos, son incorrectos o están desactualizados.

33.Surgen riesgos particulares cuando se utiliza la elaboración algorítmica de perfiles para determinar la probabilidad de que se produzcan actividades delictivas en determinadas localidades o por determinados grupos o incluso personas. La actividad policial predictiva basada en datos históricos para predecir posibles hechos futuros puede producir fácilmente resultados discriminatorios, en particular cuando los conjuntos de datos utilizados adolecen de uno o más de los defectos descritos anteriormente. Por ejemplo, los datos históricos de detenciones en un barrio pueden reflejar prácticas policiales con sesgo racial. Si se introducen en un modelo de actividad policial predictiva, el uso de esos datos plantea el riesgo de orientar las predicciones futuras en la misma dirección sesgada, lo cual da lugar a un exceso de vigilancia en el mismo barrio, que a su vez puede dar lugar a más detenciones en ese barrio, creando un peligroso bucle de retroalimentación.

34.Se ha informado de la existencia de mecanismos similares en algunos sistemas judiciales. Al aplicar una sanción o decidir si alguien debería ir a la cárcel, quedar en libertad bajo fianza o recibir otro castigo, los Estados recurren cada vez más a la elaboración algorítmica de perfiles, con el fin de prever las posibilidades de que un individuo pueda cometer uno o varios delitos en el futuro. Las autoridades recopilan información sobre el historial delictivo del individuo, su familia y sus amigos y sus condiciones sociales, incluido su historial laboral y académico, para evaluar el grado de “peligrosidad” de la persona a partir de una puntuación proporcionada por el algoritmo, que se suele mantener confidencial. Este uso de la elaboración algorítmica de perfiles plantea problemas similares a los descritos en el párrafo 33.

35.El uso cada vez mayor de tecnologías de reconocimiento facial y vigilancia para rastrear y controlar a determinados grupos demográficos suscita preocupación en relación con muchos derechos humanos, como el derecho a la intimidad, la libertad de reunión pacífica y de asociación, la libertad de expresión y la libertad de circulación. Están diseñadas para identificar automáticamente a las personas en función de su geometría facial, lo que permitiría elaborar perfiles de personas sobre la base de motivos de discriminación como la raza, el color, el origen nacional o étnico o el género. Se utilizan ampliamente cámaras equipadas con tecnología de reconocimiento facial en tiempo real con el fin de marcar y seguir a personas, lo cual puede permitir a los gobiernos, entre otros, mantener registros de los movimientos de un gran número de personas, posiblemente sobre la base de características protegidas. Además, se ha demostrado que la precisión de la tecnología de reconocimiento facial puede variar en función del color, el origen étnico o el género de las personas objeto de seguimiento, lo cual puede dar lugar a discriminación.

36.En algunos casos, se están utilizando algoritmos en las pruebas de ADN para determinar el origen étnico o la nacionalidad de las personas. Los resultados de esas pruebas de ADN pueden dar lugar a la elaboración de perfiles. El Comité observa, en la línea del consenso entre la comunidad científica, que no hay vínculos directos entre la composición del ADN de una persona y su origen étnico o nacionalidad. Por lo tanto, el Comité condena el uso de perfiles de ADN por los Estados y las fuerzas del orden, especialmente las encargadas de la seguridad fronteriza. Además, las fuerzas del orden han utilizado los resultados de los perfiles de ADN para hacer afirmaciones falsas de que determinadas minorías étnicas son más propensas a la violencia y, a su vez, esos grupos han sido objeto de prácticas policiales discriminatorias.

VIII.Recomendaciones

37.Los gobiernos, los organismos encargados de hacer cumplir la ley y las organizaciones de la sociedad civil han adoptado diversas estrategias para contrarrestar el problema de la elaboración de perfiles raciales. El Comité considera que esas estrategias constituyen la base de sus recomendaciones a los Estados y otros actores.

A.Medidas legislativas y relacionadas con las políticas

38.Como requisito previo y sin perjuicio de otras medidas, es indispensable una legislación amplia contra la discriminación racial, tanto en derecho civil y administrativo como en derecho penal, para luchar con eficacia contra la elaboración de perfiles raciales. Los Estados deberían elaborar y aplicar eficazmente leyes y políticas que definan y prohíban la elaboración de perfiles raciales por los agentes del orden. Esas medidas deberían ir acompañadas de orientaciones claras para los organismos encargados de hacer cumplir la ley, asegurándose de que las políticas internas, incluidos los procedimientos operativos estándar y los códigos de conducta, estén en consonancia con las normas y los principios de derechos humanos. Los Estados también deberían ser conscientes de las leyes y los reglamentos que puedan permitir o facilitar la elaboración de perfiles raciales. Deberían realizar estudios para identificar esas leyes y modificarlas o derogarlas en consecuencia.

39.Los Estados deberían velar por que las fuerzas del orden elaboren, en consulta con los grupos pertinentes, unas directrices detalladas para las prácticas de detención y registro con normas precisas, a fin de prevenir la elaboración de perfiles raciales. Deberían establecer mecanismos de control eficaces e independientes, tanto internos como externos, y prever medidas disciplinarias para su aplicación en casos de conducta indebida. También deberían llevar a cabo auditorías periódicas, con la ayuda de expertos independientes, para identificar las lagunas en las políticas y las prácticas internas. Se recomienda encarecidamente la transparencia en torno a los resultados de esos procedimientos, puesto que puede fortalecer la rendición de cuentas de las fuerzas del orden y la confianza entre las personas y las comunidades seleccionadas como objetivos.

40.De conformidad con el artículo 6 de la Convención, los Estados deben asegurar a todas las personas que se hallen bajo su jurisdicción una protección y recursos efectivos contra todo acto de discriminación racial que, contraviniendo la Convención, viole sus derechos humanos y libertades fundamentales, así como el derecho a pedir una reparación o satisfacción justa y adecuada por todo daño de que puedan ser víctimas como consecuencia de tal discriminación.

41.Se alienta a los Estados a que adopten enfoques centrados en las víctimas y a que coordinen eficazmente sus servicios de apoyo promoviendo modelos de cooperación entre las autoridades, las comunidades, las organizaciones de la sociedad civil, incluidas las que representen a grupos que experimenten formas interseccionales de discriminación, y las instituciones nacionales de derechos humanos. El Comité destaca la interrelación entre los artículos 5 a) y 6 de la Convención y señala que se debería consultar de manera efectiva a las autoridades judiciales y otros órganos que administren justicia y recabar su participación en esos procesos para evitar que se perpetúe el efecto de la elaboración de perfiles raciales en las actuaciones penales.

B.Educación y formación en derechos humanos

42.Los Estados deberían preparar programas de formación especializados y obligatorios para las fuerzas del orden que conciencien a los agentes sobre el efecto de los prejuicios en su labor y que muestren cómo comportarse de manera no discriminatoria. Los grupos estigmatizados, incluidos aquellos cuyos miembros experimenten formas interseccionales de discriminación, deberían participar en la preparación y la impartición de esa formación, en la medida de lo posible. Las fuerzas del orden deberían velar por que la capacitación en el empleo para contrarrestar la discriminación y la actuación policial basada en los prejuicios se complemente con intervenciones institucionales destinadas a limitar la discrecionalidad y aumentar la supervisión en las esferas vulnerables a los estereotipos y los prejuicios. Además, habida cuenta de la preocupación por las limitaciones de la formación para cambiar las actitudes y el comportamiento, la capacitación en materia de no discriminación y prejuicios se debería evaluar y actualizar periódicamente para asegurarse de que tenga el efecto deseado.

43.Tanto los expertos en inteligencia artificial como los funcionarios que interpreten los datos deben tener un conocimiento claro de los derechos fundamentales para evitar la introducción de datos que puedan contener prejuicios raciales o dar lugar a ellos. Los Estados deberían proporcionar formación sobre el racismo y la discriminación racial a los expertos y los funcionarios que interpreten los datos, los funcionarios judiciales y los agentes del orden, entre otros. Los Estados deberían preparar políticas de adquisiciones basadas en condiciones obligatorias que prohíban la discriminación racial.

44.Los Estados, en colaboración con las instituciones y las entidades especializadas nacionales de derechos humanos, deberían promover la formación de las organizaciones de la sociedad civil sobre el sesgo algorítmico y las tecnologías emergentes.

45.La educación y la formación en derechos humanos son fundamentales para asegurarse de que los agentes de policía no discriminen. Las instituciones nacionales de derechos humanos, en cooperación con las organizaciones de la sociedad civil, pueden desempeñar un papel fundamental en la formación de los agentes del orden, en el examen de las nuevas herramientas tecnológicas que podrían dar lugar a discriminación y en la identificación de otros riesgos en la práctica.

C.Medidas de contratación

46.Los Estados deberían velar por que las fuerzas del orden desarrollen estrategias de contratación, retención y promoción que promuevan una plantilla diversa que refleje la composición de la población a la que sirven. Esas estrategias podrían incluir el establecimiento de cuotas internas y el desarrollo de un programa de contratación para las minorías étnicas. Ello puede influir en la cultura de los organismos y las actitudes del personal con vistas a una adopción de decisiones menos sesgadas.

47.Los Estados deberían velar por que las fuerzas del orden evalúen periódicamente las políticas de contratación y promoción y, en caso necesario, adopten medidas especiales de carácter temporal para abordar eficazmente la infrarrepresentación de diversos grupos nacionales o étnicos minoritarios y de grupos que sufran formas interseccionales de discriminación por razón, entre otras cosas, de religión, sexo y género, orientación sexual, discapacidad y edad.

D.Policía de proximidad

48.Los Estados deberían velar por que las fuerzas del orden preparen estrategias para una relación efectiva con las personas y los grupos que sufren discriminación racial teniendo en cuenta el contexto, la dinámica y las necesidades únicas de las distintas comunidades. Ello debería ayudar a mejorar la comunicación y reducir los niveles de desconfianza y de elaboración de perfiles raciales. El diálogo entre la policía y la comunidad se debería ampliar más allá de los líderes comunitarios, puesto que muchos grupos, como las mujeres, están infrarrepresentados en el plano del liderazgo comunitario y tal vez requieran esfuerzos de comunicación específicos y cuidadosos. Los jóvenes que suelen ser objetivo de la policía serían un ejemplo clave.

49.Los Estados deberían adoptar medidas para que la información pública de la policía y otras fuerzas del orden se base en estadísticas fiables y objetivas y no perpetúe los estereotipos y los prejuicios contra los grupos étnicos que son objeto de discriminación. Además, los Estados deberían abstenerse de divulgar datos personales sobre los presuntos infractores vinculados a la supuesta raza, color, ascendencia u origen nacional o étnico, a menos que dicha divulgación sea estrictamente necesaria y responda a un fin legítimo, como en el caso de una notificación de búsqueda.

E.Datos desglosados

50.Los Estados deberían recopilar y supervisar periódicamente datos cuantitativos y cualitativos desglosados sobre las prácticas pertinentes de aplicación de la ley, como las comprobaciones de la identidad, los controles de tráfico y los registros fronterizos, que incluyan información sobre los motivos prohibidos de discriminación racial, incluidas sus formas interseccionales, así como el motivo de la acción de aplicación de la ley y el resultado del encuentro. Las estadísticas anonimizadas generadas por esas prácticas se deberían poner a disposición del público y tratar con las comunidades locales. Los datos se deberían recopilar respetando las normas y los principios de derechos humanos, la normativa de protección de datos y las garantías de la intimidad. Esa información no se debe utilizar indebidamente.

51.Los Estados también deberían protegerse contra toda forma de tratamiento automatizado de datos personales consistente en utilizar datos personales para evaluar determinados aspectos personales de una persona física, en particular para analizar o predecir aspectos relativos al rendimiento profesional, situación económica, salud, preferencias personales, intereses, fiabilidad, comportamiento, ubicación o movimientos de dicha persona física.

F.Rendición de cuentas

52.Los Estados deberían crear un mecanismo de denuncia, independiente de los organismos de aplicación de la ley y otros organismos conexos, para recibir denuncias de los ciudadanos de discriminación racial, racismo y elaboración de perfiles raciales y étnicos. Ese mecanismo debe tener la potestad de investigar rápida y eficazmente las denuncias y trabajar de forma concertada con la sociedad civil y los órganos de vigilancia de los derechos humanos. También debe informar públicamente de sus conclusiones de acuerdo con la normativa de protección de datos y las normas de derechos humanos. Esos mecanismos deberían tener en cuenta las necesidades especiales de las personas con discapacidad en los casos de discriminación interseccional.

53.Los Estados deberían establecer mecanismos de supervisión, tanto dentro como fuera de las fuerzas del orden, para prevenir los comportamientos discriminatorios. Esos mecanismos deberían elaborar directrices, políticas y reglamentos internos para combatir y prevenir la elaboración de perfiles raciales y asegurar la rendición de cuentas interna adoptando medidas disciplinarias contra los funcionarios que los infrinjan.

54.Los incidentes de elaboración de perfiles raciales por las fuerzas del orden se deberían investigar de manera efectiva, de conformidad con las normas internacionales de derechos humanos. Los responsables deberían ser procesados y, en caso de ser condenados, deberían ser sancionados con penas adecuadas y se debería conceder una indemnización a las víctimas.

55.Los Estados deberían velar por que los altos funcionarios de las fuerzas del orden promuevan políticas y prácticas no discriminatorias en sus organismos, supervisen rigurosamente la conducta del personal y le exijan responsabilidades en caso de conducta indebida a través del mecanismo de supervisión interna e independiente. Esas actividades se pueden apoyar mediante la disponibilidad de datos sobre la adopción de decisiones y las prácticas del personal y su análisis. Los altos funcionarios también deberían revisar las repercusiones de la aplicación de la legislación y las operaciones, incluidas las de lucha contra el terrorismo, que puedan tener un efecto desproporcionado en los grupos y las comunidades marginados.

56.Se alienta a las instituciones nacionales de derechos humanos y las organizaciones de la sociedad civil a que vigilen los incidentes de elaboración de perfiles raciales y presten asistencia a sus víctimas. Deberían aumentar la conciencia pública, dar a conocer sus conclusiones, presionar en favor de reformas y colaborar de forma constructiva con las fuerzas del orden y otras instituciones nacionales y locales.

57.Los mecanismos internacionales y regionales de derechos humanos, las instituciones nacionales de derechos humanos y los organismos de igualdad, los grupos de la sociedad civil y los ciudadanos deberían tener la posibilidad de presentar quejas sobre las prácticas discriminatorias de las fuerzas del orden. Los ciudadanos deberían poder presentar quejas a través de mecanismos independientes.

G.Inteligencia artificial

58.Los Estados deberían velar por que los sistemas de elaboración algorítmica de perfiles utilizados con fines de aplicación de la ley estén plenamente en conformidad con el derecho internacional de los derechos humanos. A tal efecto, antes de adquirir o implantar esos sistemas, los Estados deberían adoptar las medidas legislativas, administrativas y de otro tipo adecuadas para determinar la finalidad de su uso y regular con la mayor precisión posible los parámetros y las garantías que impidan la vulneración de los derechos humanos. Esas medidas deberían estar dirigidas, en particular, a asegurar que la implantación de sistemas de elaboración algorítmica de perfiles no socave el derecho a no ser discriminado, el derecho a la igualdad ante la ley, el derecho a la libertad y a la seguridad, el derecho a la presunción de inocencia, el derecho a la vida, el derecho a la intimidad, la libertad de circulación, la libertad de reunión pacífica y de asociación, la protección contra la detención arbitraria y otras intervenciones, y el derecho a un recurso efectivo.

59.Los Estados deberían evaluar cuidadosamente el posible efecto en los derechos humanos antes de utilizar la tecnología de reconocimiento facial, que puede dar lugar a una identificación errónea debido a la falta de representación en la recogida de datos. Antes de la implantación nacional, los Estados deberían estudiar la posibilidad de un período piloto bajo la supervisión de un órgano independiente que incluya a personas que reflejen la composición diversa de la población, para mitigar cualquier posible caso de identificación errónea y elaboración de perfiles basados en el color de la piel.

60.Los Estados deberían velar por que los sistemas de elaboración algorítmica de perfiles implantados con fines de aplicación de la ley estén diseñados para ser transparentes y deberían permitir que los investigadores y la sociedad civil accedan al código y lo sometan a examen. Debería haber una evaluación y un seguimiento continuos del efecto de esos sistemas en los derechos humanos a lo largo de su ciclo vital y los Estados deberían adoptar las medidas de mitigación adecuadas si se detectan riesgos o perjuicios para los derechos humanos. Esos procesos deberían examinar los efectos discriminatorios potenciales y reales de la elaboración algorítmica de perfiles basados en la raza, el color, la ascendencia o el origen nacional o étnico y su interrelación con otros motivos, como la religión, el sexo y el género, la orientación sexual y la identidad de género, la discapacidad, la edad, la situación migratoria y la situación laboral o de otro tipo. Se deberían llevar a cabo antes del desarrollo o la adquisición de esos sistemas, en la medida de lo posible, y como mínimo antes de su utilización y durante todo el período de utilización. Esos procesos deberían incluir evaluaciones del impacto en la comunidad. Se debería incluir a los grupos potencial o realmente afectados y los expertos pertinentes en los procesos de evaluación y mitigación.

61.Los Estados deberían adoptar todas las medidas adecuadas para asegurar la transparencia en el uso de los sistemas de elaboración algorítmica de perfiles. Ello incluye la divulgación pública del uso de esos sistemas y explicaciones significativas sobre su funcionamiento, los conjuntos de datos que se utilizan y las medidas adoptadas para prevenir o mitigar los perjuicios para los derechos humanos.

62.Los Estados deberían adoptar medidas para que los órganos de supervisión independientes tengan el mandato de supervisar el uso de las herramientas de inteligencia artificial por el sector público y de evaluarlas en función de criterios preparados de conformidad con la Convención para asegurarse de que no consoliden las desigualdades ni produzcan resultados discriminatorios. Los Estados también deberían velar por que el funcionamiento de esos sistemas se supervise y evalúe periódicamente para determinar las deficiencias y adoptar las medidas correctivas necesarias. Cuando los resultados de la evaluación de una tecnología indiquen un alto riesgo de discriminación u otras violaciones de los derechos humanos, los Estados deberían adoptar medidas para evitar el uso de esa tecnología.

63.Los Estados deberían adoptar medidas para que el diseño, la implantación y la aplicación de sistemas de inteligencia artificial del sector privado en el ámbito de la aplicación de la ley cumplan las normas de derechos humanos. Los Estados también deberían velar por la adopción y la revisión periódica de las directrices y los códigos de conducta que las empresas deben observar en la programación, el uso y la comercialización de algoritmos que puedan dar lugar a discriminación racial o, en general, a cualquier otra forma de discriminación que es probable que constituya una violación de la Convención.

64.Los Estados deberían aprobar normas que aseguren que los organismos del sector público, las empresas privadas y otras organizaciones pertinentes, en el proceso de desarrollo, aprendizaje, comercialización y utilización de algoritmos: a) cumplan el principio de igualdad y no discriminación, y respeten los derechos humanos en general, en consonancia con los Principios Rectores sobre las Empresas y los Derechos Humanos (en particular los principios rectores 1 a 3, 11 y 24); b) respeten el principio de precaución y cualquier medida administrativa o legislativa promulgada en aras de la transparencia; c) divulguen públicamente si las fuerzas del orden tienen acceso a los datos privados de las personas; y d) eviten causar un efecto dispar o desproporcionado en los grupos sociales protegidos por la Convención.

65.Los Estados deberían asegurarse de que todos los casos de sesgo algorítmico se investiguen debidamente y de que se impongan sanciones.

66.Los Estados deberían velar por que las empresas que desarrollan, venden o administran sistemas de elaboración algorítmica de perfiles para la aplicación de la ley tengan la responsabilidad de recabar la participación de personas de múltiples disciplinas, como la sociología, la ciencia política, la informática y el derecho, para determinar los riesgos para los derechos humanos y asegurarse de que se respeten. Con ese fin, los Estados deberían alentar a las empresas a que procedan con la debida diligencia en materia de derechos humanos, lo que implica: a) realizar evaluaciones para identificar y evaluar las consecuencias negativas reales o potenciales que puedan tener sobre los derechos humanos; b) integrar esas evaluaciones y tomar las medidas oportunas para prevenir y mitigar las consecuencias negativas sobre los derechos humanos que se hayan identificado; c) hacer un seguimiento de la eficacia de sus esfuerzos; y d) informar oficialmente de cómo han abordado las consecuencias de sus actividades sobre los derechos humanos.

67.En el proceso de identificación, evaluación, prevención y mitigación de las consecuencias negativas para los derechos humanos, las empresas deberían prestar especial atención a los factores relacionados con los datos indicados en el párrafo 27. Los datos de formación se deberían seleccionar y los modelos se deberían preparar de manera que se prevengan los resultados discriminatorios y otros efectos adversos en los derechos humanos. Además, las empresas deberían tratar de lograr la diversidad, la equidad y otros medios de integración en los equipos que desarrollan sistemas de elaboración algorítmica de perfiles. Las empresas también deberían estar abiertas a auditorías independientes de terceros de sus sistemas de elaboración algorítmica de perfiles. Cuando el riesgo de discriminación u otras violaciones de los derechos humanos se haya evaluado como demasiado alto o imposible de mitigar, en particular debido a la naturaleza de un uso planificado o previsible por un Estado, los agentes del sector privado no deberían vender o implantar un sistema de elaboración algorítmica de perfiles.

68.Los Estados deberían documentar los casos de discriminación racial relacionados con la inteligencia artificial, así como las medidas de prevención, las sanciones y la reparación, e incluir esa información en sus informes al Comité.

69.Los órganos de derechos humanos, los Estados, las instituciones nacionales de derechos humanos y las organizaciones de la sociedad civil deberían realizar estudios y difundir sus resultados, determinar las buenas prácticas sobre las medidas efectivas para abordar los sesgos raciales derivados de la inteligencia artificial, incluidas las relacionadas con el respeto de los derechos humanos y los aspectos éticos del aprendizaje automático, e identificar los criterios pertinentes en términos de interpretación o transparencia en los procesos de programación y entrenamiento de los algoritmos, y deberían hacerlo desde el punto de vista de la Convención Internacional sobre la Eliminación de Todas las Formas de Discriminación Racial.