La formación sobre la conciencia de justicia ayuda a los investigadores a reducir los sesgos de la IA
Las herramientas de aprendizaje automático pueden estar sesgadas. Esto ocurre debido al sesgo de los datos de origen, a la parcialidad de los algoritmos utilizados para procesar los datos o a la forma en que se utilizan las aplicaciones de inteligencia artificial (IA), como el filtro de solicitantes de empleo o de admisión a la universidad. En el marco de la Red de formación innovadora 2020 Marie Skłodowska-Curie (ITN, por sus siglas en inglés), el equipo del proyecto NoBIAS formó a quince estudiantes de doctorado de seis países en «conciencia de justicia». Su objetivo era reducir los sesgos del aprendizaje automático en las tres etapas: comprender los sesgos en los datos, mitigar los sesgos en los algoritmos y tener en cuenta los sesgos en los resultados. «La comunidad informática, pero también otras, ya estaban trabajando en el tema de los sesgos. Pero el nuestro era un proyecto de gran envergadura en el que intentábamos superar el estado actual con nuevos métodos y análisis», explica el coordinador del proyecto, Wolfgang Nejdl, director del Centro de Investigación L3S en la Universidad Leibniz de Hannover, (Alemania).
Formación de estudiantes de doctorado en métodos interdisciplinarios
Un grupo interdisciplinar de estudiantes de doctorado abordó el sesgo en el aprendizaje automático desde las perspectivas de la informática, el derecho y las ciencias sociales. Desarrolló algoritmos «conscientes de la justicia» y rastreó la procedencia y transparencia de los datos para comprender en qué fase se producen los sesgos. «Trabajando con otros, un estudiante de informática puede basarse en el contexto jurídico o en la perspectiva de las ciencias sociales y luego inventar una nueva herramienta o método. Saber qué aspectos de otras disciplinas son relevantes marca la diferencia», señala Nejdl. Se reunió a estudiantes de distintas disciplinas en escuelas de verano que introdujeron temas sobre el sesgo, y más tarde en talleres y conferencias. Cada estudiante de doctorado estaba vinculado a una organización asociada que aplica la IA en campos específicos, como la medicina, la banca y la contratación.
Justicia y perspectivas jurídicas
Las aplicaciones de IA pueden vulnerar los derechos de no discriminación, así como las consideraciones jurídicas y éticas, como la privacidad. «Por eso también es importante analizar los algoritmos existentes y ver dónde podemos encontrar un sesgo con los datos de entrada del que los investigadores originales no eran conscientes», según Nejdl. «A veces se toman los datos obtenidos de la forma más fácil, no de la que mejor representa la situación que se quiere modelizar», observa Nejdl. En el pasado reciente, los informáticos han intentado mitigar el sesgo introduciendo cambios técnicos en el modelo. «Ahora se plantea la cuestión de si esos cambios técnicos se ajustan realmente a la normativa o no», dice, señalando las políticas y leyes sobre igualdad de oportunidades en el empleo o la igualdad de acceso a la universidad. Al analizar los datos en busca de justicia, el equipo del proyecto fue más allá de los proyectos anteriores de recopilación de datos financiados con fondos europeos, como LONGPOP y las herramientas de puesta en común de datos, como en el proyecto de privacidad y usabilidad de datos PrivacyUs.
El sesgo de los datos limitados necesita fuentes más diversas
El sesgo es más pronunciado cuando los datos son limitados o no representan adecuadamente a toda la población, como ocurre con los datos médicos restringidos a una región geográfica o demográfica. «Es más difícil eliminar el sesgo en las áreas en las que no se dispone de tantos datos o de diferentes fuentes [de datos]», añade Nejdl, señalando que es necesario un esfuerzo adicional para diversificar las fuentes de datos. El director del proyecto NoBIAS, Gourab Kumar Patro, cita un ejemplo de utilización de los conocimientos adquiridos en el proyecto para sortear las restricciones legales sobre el uso de la información racial. «Un investigador en fase inicial de su carrera de NoBIAS que trabajaba en consideraciones legales sobre la mitigación del sesgo descubrió que era posible recopilar la información racial si se especifica que es solo para mitigar el sesgo en el algoritmo, pero no para utilizarla en ningún tipo de proceso de selección. La interacción interdisciplinar permitió mejorar los algoritmos». Patro afirma que las conclusiones y buenas prácticas del proyecto pueden utilizarse para influir en la política y la normativa futuras, así como para mejorar las prácticas del sector en torno al desarrollo responsable de la IA.
Palabras clave
NoBIAS, inteligencia artificial, algoritmos, sesgo, ética, discriminación, privacidad de datos, aprendizaje automático