Especialistas en aprendizaje automático de Amazon han estado dando forma a una herramienta para revisar los currículums de solicitantes de empleo desde 2014. Una manera de agilizar la búsqueda de talento.
Sin embargo, descubrieron un gran problema: su motor de reclutamiento era sexista. No le gustaban las mujeres.
Esto es lo que asegura Reuters, tras recabar los testimonios de cinco personas familiarizadas con el asunto. La idea era que esta herramienta basada en inteligencia artificial fuese capaz de procesar un alto número de currículums y, tras examinarlos, arrojase cinco candidatos perfectos listos para contratar. Aunque no era nada neutral.
Discriminaba a las desarrolladoras de software prefiriendo a los hombres
En 2015, según la información publicada por la agencia de noticias, desde Amazon se dieron cuenta que su sistema de reclutamiento no juzgaba de manera neutral en cuanto al género. Tenía un sesgo en favor de los hombres a la hora de examinar candidatos para puestos de desarrollador de software y otras ocupaciones de carácter técnico.
¿Por qué? Por la base de datos. Parece ser que los especialistas en aprendizaje automático entrenador la herramienta de inteligencia artificial a partir de patrones que podían observarse en los currículos presentados a la empresa durante una década. Y la mayoría de ellos pertenecían a hombres; ahí estaba el problema.
El problema era la base de datos con la que se alimentó a la IA: en ella había una fuerte presencia masculina
Con este fondo, el sistema se enseñó a sí mismo que eran preferibles los candidatos de género masculino, así que penalizaba todos aquellos currículums que incluían referencias femeninas. Asimismo, también rebajó la calificación que otorgaba a las candidatas —puntuaciones que iban de una a cinco estrellas— que incluían estudios en centros educativos femeninos.
De acuerdo con los detalles que revela Reuters, los profesionales de la compañía modificaron los programas de reclutamiento laboral para hacerlos neutros a estos términos particulares que jugaban en contra de las posibilidades de las candidatas, pero al parecer no aseguraba la ausencia de sesgos. Esas modificaciones no garantizaban que el sistema no idease otras forma de discriminación, les aseguraron sus fuentes.
Ante la duda, la inteligencia artificial de reclutamiento fue despedida
La alimentación en forma de datos de la inteligencia artificial, su sustento para funcionar, debe estar correctamente procesada. Y en ese procesamiento entran en juego correcciones hipotéticas que pueda necesitar conocer el sistema para actuar con buen juicio y equidad.
Por ejemplo, en este caso en el que se desarrollaron medio millar de modelos informáticos, basados en una década de contrataciones, la inteligencia artificial debería haber sabido que una de la intención era ofrecer igualdad de oportunidades independientemente del sexo. Algo que, sin embargo, no es nada sencillo.
Una modificación de los criterios de selección de la IA no garantizaban que ideara otras formas de discriminación
Amazon se ha negado a comentar el asunto, pero según la información que se maneja desde la agencia de noticias, la compañía disolvió a principios del año pasado el equipo que creó esta inteligencia artificial. Las altas esferas de la empresa perdieron la esperanza en el proyecto y su verdadera utilidad. Se dejó de usar, aunque algunos datos sí habrían sido empleados por reclutadores humanos.
Este caso curioso y llamativo, sumado a otros de similares tintes, pone de manifiesto las limitaciones del aprendizaje automático y el amplio trabajo que queda por delante. No resulta sencillo ejercitar un sistema de inteligencia artificial ni obtener los resultados esperados sin errores, por grandes o pequeños que estos sean. Aunque se cuente con presupuestos tan amplios y con el talento necesario como en el caso de Amazon o Google.
