La inteligencia artificial ya influye en decisiones clave. Diseñarla y gobernarla de forma responsable es fundamental para aprovechar su potencial sin profundizar desigualdades.
La inteligencia artificial (IA) ya no es una promesa futura: forma parte de decisiones cotidianas que influyen directamente en el acceso a servicios sociales, empleo, crédito, salud, educación y seguridad. En América Latina y el Caribe, los sectores público y privado avanzan rápidamente en agendas de transformación digital e IA, a menudo impulsados por la urgencia de modernizar y mejorar la eficiencia. Sin embargo, esto plantea una pregunta clave: ¿qué impacto humano tienen estas decisiones automatizadas y sobre qué personas y grupos recaen sus riesgos y consecuencias?
Un estudio del Banco Interamericano de Desarrollo (BID), la OCDE y UNESCO ha documentado que los sistemas de IA utilizados para preseleccionar personas candidatas a un empleo pueden replicar sesgos contra las mujeres cuando se entrenan o se diseñan sin criterios explícitos de equidad. En la práctica, estos sistemas aprenden de decisiones históricas, por ejemplo, quiénes fueron contratados con mayor frecuencia, y tienden a reproducir los patrones dominantes de cada sector.
Así, en ocupaciones masculinizadas pueden privilegiar a hombres y excluir o relegar a mujeres. A su vez, en sectores feminizados, como el trabajo doméstico o de cuidados, pueden reforzar la concentración de mujeres, limitando oportunidades y reproduciendo segmentaciones laborales preexistentes, aun cuando las calificaciones sean similares.
En Chile, por ejemplo, el Proyecto MIRAI aplica IA al sistema público de salud para anticipar el riesgo de cáncer de mama, validando modelos predictivos con datos de decenas de miles de pacientes de servicios de salud públicos del país, lo que representa un uso pionero de IA para mejorar la detección temprana y el seguimiento clínico en un servicio social esencial.
Desigualdades e IA: una oportunidad para diseñar mejor
Cuando la IA se diseña y despliega sin criterios explícitos de equidad, puede reproducir e incluso profundizar desigualdades preexistentes. Un estudio emblemático en el campo de la IA y los sesgos muestra, por ejemplo, que ciertos sistemas de reconocimiento facial presentan tasas de error significativamente más altas en mujeres de piel más oscura, en comparación con hombres de piel más clara, debido a datos de entrenamiento poco representativos.
Más que “fallas técnicas” aisladas, estos resultados reflejan decisiones humanas a lo largo del proceso de desarrollo: qué datos se seleccionan, a quién se considera “usuario promedio”, qué variables se incluyen o se excluyen, y quiénes participan en el diseño, validación y despliegue de los sistemas.
Marcos normativos y gobernanza aún rezagados en la region
En América Latina y el Caribe, la incorporación de estas perspectivas en las agendas o estrategias digitales y de IA aún está en proceso de consolidación. Un estudio del BID que analizó 27 países de la región mostró que, aunque el 59,2 % de los países contaba con una agenda digital:
- El 18,5 % no consideraba las dimensiones diferenciadas por poblaciones, ni la brecha digital asociada en sus planes y/o políticas
- El 48,1% hacía una mención genérica sin definir acciones concretas
- Solo el 33,3 % incluía acciones específicas o programas con enfoque diferenciado
Asimismo, un análisis comparado de seis estrategias nacionales de IA revela que solo cuatro mencionaron explícitamente la perspectiva diferenciada y ninguna incorporó indicadores ni presupuestos para monitorear avances.
En términos prácticos, incorporar esta perspectiva en la IA implica considerar o anticipar los efectos de estas tecnologías sobre distintas personas y grupos, considerando variables como sexo, etnia, raza, discapacidad y otras dimensiones relevantes. Supone también preguntarse no solo a quiénes benefician estos sistemas, sino también cómo participan y toman decisiones en su gestión, quiénes podrían quedar excluidos, invisibilizados o enfrentar mayores riesgos, en función de estas dimensiones.
Este enfoque se traduce en decisiones deliberadas a lo largo de todo el ciclo de vida de la IA, no solo evitar los efectos negativos en estas poblaciones, sino también contribuir activamente a reducir las desigualdades preexistentes.
Desde una perspectiva de gobernanza, integrar enfoques diferenciados en la IA no se limita a reconocer estas brechas, sino que implica incorporarlo en las reglas, procesos y arreglos institucionales que orientan cómo se prioriza, diseña, despliega y supervisa el uso de estas tecnologías.
Esto incluye, por ejemplo, definir responsabilidades institucionales claras, establecer estándares mínimos para la evaluación de impactos sociales, asegurar coordinación entre las agendas digitales y las políticas de igualdad y derechos, y fortalecer capacidades estatales para supervisar y corregir efectos no deseados de los sistemas de IA.
De los principios a la práctica: criterios básicos para una IA responsable
Frente a este panorama, avanzar hacia una IA responsable requiere pasar del discurso ético a herramientas operativas. Un enfoque clave es incorporar criterios precisos a lo largo de todo el ciclo de vida de los proyectos de IA, desde el diseño hasta el monitoreo y evaluación posdespliegue.
Entre los criterios fundamentales destacan:
- Equipos y capacidades. Significa, en primer lugar, reconocer que las decisiones sobre la IA no las toman los algoritmos, sino las personas que los diseñan y entrenan. Cuando los equipos que desarrollan o implementan sistemas de IA son homogéneos, es más probable que pasen por alto impactos diferenciados sobre mujeres y otros grupos. Contar con equipos diversos permite identificar riesgos tempranos, cuestionar supuestos implícitos y evitar que ciertos grupos queden invisibilizados en el diseño de los sistemas.
- Datos de calidad y uso ético. La realidad es que la inteligencia artificial tiene el potencial de tomar mejores decisiones en la medida en que se alimente de datos de calidad. Cuando los datos reflejan la diversidad de la población, incluyendo diferencias entre mujeres y hombres, así como la realidad de personas con discapacidad, pueblos indígenas o afrodescendientes, los sistemas de IA pueden producir resultados más precisos y equitativos. Por eso, contar con datos desagregados y completos es clave. Al mismo tiempo, usar datos de manera responsable implica reconocer y corregir posibles sesgos estructurales presentes en los registros administrativos o bases históricas, así como respetar principios básicos de consentimiento informado, privacidad y protección de datos personales. Más allá del cumplimiento normativo, esto también es un tema de confianza pública: las personas deben saber cómo y para qué se usan sus datos, y contar con garantías de que serán utilizados de forma adecuada y conforme a los fines para los que fueron recogidos.
- Procesos transparentes y con equidad. La transparencia es clave para detectar errores, corregir sesgos y fortalecer la confianza en el uso de la IA. Las decisiones tomadas con apoyo de IA no deben ser una “caja negra”, ni para las instituciones ni para la ciudadanía. Es fundamental documentar y explicar la lógica de los modelos en términos comprensibles, especialmente cuando afectan derechos o el acceso a servicios. Además, definir de antemano qué se considera un resultado aceptable en términos de equidad permite orientar el diseño y uso de estos sistemas. Esto implica establecer límites claros sobre cuánta diferencia es tolerable entre los resultados que reciben distintos grupos. Por ejemplo, puede definirse que la tasa de aprobación de un beneficio no debería diferir en más de un 5% entre grupos (El 80% frente al 75%); si se supera ese umbral, se abre un espacio para revisar y ajustar el modelo. Asimismo, si un sistema de reconocimiento facial alcanza una precisión del 95% en hombres urbanos, pero solo 70% en mujeres rurales, puede establecer que el modelo no debe utilizarse si no alcanza un nivel mínimo aceptable (por ejemplo, al menos un 85%) en este último grupo y en otros grupos históricamente subrepresentados.
- Diseño accesible. Un diseño accesible es aquel que funciona adecuadamente para la mayor cantidad posible de poblaciones, sin excluir a quienes enfrentan barreras físicas, sensoriales, cognitivas o tecnológicas. Esto implica aplicar principios de accesibilidad y diseño universal desde el inicio, incorporando ajustes razonables cuando sea necesario, y considerando realidades diversas como brechas de conectividad, distintos niveles de alfabetización digital y diferencias entre contextos urbanos y rurales.
- Gobernanza y rendición de cuentas. Implica que existan reglas claras sobre quién es responsable de las decisiones automatizadas y qué ocurre cuando un sistema produce resultados no deseados o inequitativos. Esto incluye habilitar canales accesibles de retroalimentación y reclamo para las personas y comunidades puedan cuestionar decisiones, solicitar explicaciones o pedir correcciones. Asimismo, supone establecer mecanismos de supervisión, como auditorías independientes para identificar áreas de mejora y posibles sesgos. Contar con procedimientos claros para ajustar o suspender el uso de sistemas de IA cuando se detectan impactos negativos contribuye a fortalecer la confianza pública y la protección de derechos.
- Seguridad digital. La IA debe contribuir a entornos digitales más seguros si se diseña y utiliza con un enfoque preventivo e inclusivo. Esto implica anticipar riesgos que pueden afectar de manera diferenciada a mujeres y otras poblaciones. Es importante prevenir usos nocivos como deepfakes (contenido digital creado con inteligencia artificial que imita de forma muy realista a una persona para hacerle decir o hacer algo que nunca ocurrió), suplantación o acoso algorítmico, este último entendido como una forma de violencia digital en la que los algoritmos, en lugar de proteger, terminan facilitando o amplificando prácticas de hostigamiento o discriminación, ya sea por diseño o como efecto no intencional.
Una decisión estratégica, no solo técnica
Incorporar estos criterios no es un ejercicio burocrático ni un simple “checklist de cumplimiento”. Es una decisión estratégica. En contextos de alta desigualdad, la IA puede ser una herramienta poderosa para ampliar derechos y mejorar la eficiencia del Estado, siempre que se diseñe y despliegue con una comprensión profunda de las realidades sociales que atraviesan a mujeres y otras poblaciones.
La pregunta, entonces, no es si la región debe adoptar la IA, sino cómo hacerlo de manera que fortalezca la equidad, derechos y confianza pública. Apostar por una IA responsable e inclusiva no implica frenar la innovación: por el contrario, es una condición para asegurar su impacto humano positivo, su legitimidad social y su sostenibilidad en el tiempo.
Nidia Lorena Hidalgo Celarie
Especialista Líder Sectorial BID
Views: 0
