Viernes 29 de marzo 2024 Contacto

Por qué la inteligencia artificial puede ser racista y machista y cómo puede evitarse




08/11/2018 - 17:27:35
BBC.- El investigador peruano Omar Fl�rez se prepara para un futuro "muy, muy cercano" en el que las calles estar�n llenas de c�maras de vigilancia capaces de reconocer nuestros rostros y recabar informaci�n sobre nosotros a medida que caminemos por la ciudad.

Explica que lo har�n sin nuestro permiso, ya que son espacios p�blicos y la mayor�a no solemos taparnos la cara al salir de casa.

Nuestro rostro se convertir� en nuestra contrase�a y, cuando entremos a una tienda, esta nos reconocer� e investigar� datos como si somos clientes nuevos o asiduos, o en qu� lugares hemos estado antes de cruzar la puerta. De toda la informaci�n que recabe, depender� el trato que nos d� esa empresa.

Fl�rez quiere evitar que aspectos como nuestro g�nero o color de piel formen parte de los criterios que esas compa��as eval�en a la hora de decidir si merecemos un descuento u otra atenci�n especial. Algo que puede suceder sin que las mismas firmas se den cuenta.

La inteligencia artificial no es perfecta: incluso si no es programado para hacerlo, el software puede aprender por su cuenta a discriminar.


Este ingeniero nacido en Arequipa hace 34 a�os, se doctor� en Ciencias de la Computaci�n por la Universidad Estatal de Utah (Estados Unidos) y actualmente trabaja como investigador en el banco Capital One.

Es uno de los pocos latinoamericanos que estudia los aspectos �ticos del machine learning o aprendizaje autom�tico, un proceso que define como "la capacidad de predecir el futuro con datos del pasado utilizando computadoras".

Una tecnolog�a basada en algoritmos que se usa para desarrollar el auto sin conductor o para detectar enfermedades como el c�ncer de piel, entre otros.

Los errores m�s vergonzosos de las aplicaciones de traducci�n (y c�mo pretenden solucionarlos)

Fl�rez est� trabajando en un algoritmo que permita a las computadoras reconocer rostros pero sin poder descifrar el sexo o el origen �tnico de la persona. Su sue�o es que, cuando ese futuro llegue, las empresas incluyan su algoritmo en sus sistemas inform�ticos para evitar tomar decisiones racistas o machistas sin ni siquiera saberlo.

Siempre decimos que no podemos ser objetivos justamente porque somos humanos. Se ha intentado confiar en las m�quinas para que ellas lo sean, pero parece que tampoco pueden�

Porque son programadas por un ser humano. De hecho, nos hemos dado cuenta hace poco que el algoritmo mismo es una opini�n. Yo puedo resolver un problema con algoritmos de distintas maneras y cada una de ellas, de alguna forma, incorpora mi propia visi�n del mundo. De hecho, elegir cu�l es la forma correcta de juzgar un algoritmo ya es una observaci�n, una opini�n sobre el algoritmo mismo.

Digamos que yo quiero predecir la probabilidad de que alguien vaya a cometer un crimen. Para eso recolecto fotos de las personas que han cometido cr�menes, d�nde viven, de qu� raza son, su edad, etc. Despu�s, utilizo esa informaci�n para maximizar la exactitud del algoritmo y que pueda predecir qui�n puede delinquir despu�s o incluso d�nde puede suceder el siguiente crimen. Esta predicci�n puede resultar en que la polic�a se enfoque m�s en zonas donde de repente hay m�s afrodescendientes porque hay una mayor cantidad de delitos en esa �rea o que empiece a detener latinos porque es muy probable que no tengan documentos en regla.

Entonces, para alguien que s� tenga residencia legal o sea afrodescendiente y viva en esa zona pero no cometa cr�menes, ser� el doble de dif�cil desprenderse de ese estigma del algoritmo. Porque para el algoritmo t� eres parte de una familia o una distribuci�n, as� que es mucho m�s dif�cil para ti, estad�sticamente, salir de esa familia o distribuci�n. De alguna forma, est�s influenciado negativamente por la realidad que te rodea. B�sicamente, hasta ahora, hemos estado codificando los estereotipos que nosotros tenemos como seres humanos.

Ese elemento subjetivo est� en los criterios que elegiste a la hora de programar el algoritmo.

Exactamente. Existe una cadena de procesos para hacer un algoritmo de aprendizaje autom�tico: recolectar datos, elegir qu� caracter�sticas son importantes, escoger el algoritmo mismo�Luego hacer una prueba para ver c�mo funciona y reducir los errores y finalmente, lo sacamos al p�blico para que lo use. Nos hemos dado cuenta de que los prejuicios est�n en cada uno de esos procesos.

Una investigaci�n de ProP�blica destap� en 2016 que el sistema judicial de varios estados de Estados Unidos utilizaba software para determinar qu� procesados ten�an m�s probabilidades de volver a delinquir. ProP�blica descubri� que los algoritmos favorec�an a las personas blancas y penalizaban a las negras, pese a que el formulario con el que se recababa los datos no inclu�a preguntas sobre el tono de piel� De cierta forma, la m�quina lo adivin� y lo utiliz� como un criterio para valorar pese a que no haya sido dise�ada para hacerlo, �no?

Lo que sucede es que hay datos que ya codifican la raza y t� ni te das cuenta. Por ejemplo, en Estados Unidos tenemos el c�digo postal. Existen zonas donde solamente o mayormente vive gente afroamericana. Por ejemplo, en el sur de California, mayormente vive gente latina. Entonces, si t� usas el c�digo postal como caracter�stica para alimentar un algoritmo de aprendizaje autom�tico, tambi�n est�s codificando el grupo �tnico sin darte cuenta.

�C�mo las matem�ticas te pueden meter en prisi�n?

�Hay alguna forma de evitar esto?

Al parecer, al final del d�a la responsabilidad recae en el ser humano que programa el algoritmo y en cu�n �tico pueda ser. O sea, si yo s� que mi algoritmo va a funcionar con un 10% m�s de error y dejo de utilizar algo que pueda ser sensible para caracterizar al individuo, entonces simplemente lo saco y me hago responsable de las consecuencias, tal vez, econ�micas que pueda tener mi empresa. As� que, ciertamente hay una barrera �tica entre decidir qu� va y qu� no va en el algoritmo y muchas veces recae en el programador.


Se supone que justamente los algoritmos son para procesar grandes vol�menes de informaci�n y ahorrar tiempo. �No hay una forma de que sean infalibles?

Infalibles no. Porque siempre son una aproximaci�n de la realidad o sea, est� bien tener cierto grado de error. Sin embargo, existen actualmente trabajos de investigaci�n muy interesantes en los que t� expl�citamente penalizas la presencia de datos sensibles. As�, el ser humano b�sicamente elige qu� dato puede ser sensible o no y el algoritmo deja de utilizarlo o lo hace de una manera que no muestre correlaci�n. Sin embargo, honestamente, para la computadora todo son n�meros: o es un 0 o un 1 o un valor en el medio, no tiene sentido com�n. A pesar de que hay muchos trabajos interesantes que permiten tratar de evitar los prejuicios, hay una parte �tica que siempre recae en el ser humano.

�Existe alg�n �rea en la que t� como experto creas que no deba dejarse en manos de la inteligencia artificial?

Creo que en este momento deber�amos estar preparados para usar la computadora para asistir en vez de automatizar. La computadora deber�a decirte: estos son a quienes deber�as procesar primero en un sistema judicial. Sin embargo, tambi�n deber�a ser capaz de decirte por qu�. A esto se le llama interpretaci�n o transparencia y las m�quinas deber�an ser capaces de informar cu�l es el razonamiento que las llev� a tomar tal decisi�n.

Las computadoras tienen que decidir de acuerdo a patrones, �pero no son los estereotipos patrones? �No resultan �tiles para que el sistema pueda detectar patrones?

Si t�, por ejemplo, quieres minimizar el error, es una buena idea num�ricamente utilizar prejuicios porque te da un algoritmo m�s exacto. Sin embargo, el desarrollador tiene que darse cuenta de que hay un componente �tico al hacer esto. Existen en este momento regulaciones que te proh�ben usar ciertas caracter�sticas para cosas como el an�lisis de cr�dito o incluso en el uso de videos de seguridad, pero son muy incipientes. De repente, lo que necesitamos es eso. Saber que la realidad es injusta y que est� llena de prejuicios.

Lo interesante es que, a pesar de eso, algunos algoritmos permiten tratar de minimizar este nivel de prejuicio. O sea, yo puedo utilizar el tono de piel, pero sin que sea m�s importante o que tenga la misma relevancia para todos los grupos �tnicos. As� que respondiendo a tu pregunta, s�, uno puede pensar que, en realidad, usando esto va a tener resultados m�s exactos y muchas veces ese es el caso. Ah� est�, de nuevo, ese componente �tico: yo quiero sacrificar cierto nivel de exactitud a favor de no dar una experiencia mala al usuario ni usar ning�n tipo de prejuicios.


Especialistas de Amazon se dieron cuenta de que una herramienta inform�tica que hab�an dise�ado para selecci�n de personal discriminaba los curr�culos que inclu�an la palabra "mujer" y favorec�an t�rminos que eran m�s empleados por los hombres. Es una cosa bastante sorprendente, porque para evitar el sesgo uno tendr�a que estar adivinando qu� t�rminos suelen usar m�s los hombres que las mujeres en los curr�culos.

Incluso para el ser humano es dif�cil darse cuenta.

El algoritmo de Amazon al que no le gustan las mujeres

Pero a la vez, ahora intentamos no hacer diferencias entre g�neros y decir que las palabras o la ropa no son masculinas ni femeninas, sino que todos las podemos usar. El aprendizaje autom�tico parece ir en el sentido contrario, ya que tienes que admitir las diferencias entre hombres y mujeres y estudiarlas.

Los algoritmos solo recogen lo que pasa en la realidad y la realidad es que s�, los hombres utilizan unas palabras que las mujeres, tal vez, no. Y la realidad es que la gente a veces conecta mejor con esas palabras porque tambi�n son hombres los que eval�an. Entonces, decir lo contrario tal vez es ir en contra de los datos. Ese problema se evita recolectando la misma cantidad de curr�culos de hombres y de mujeres. Ah� el algoritmo le asignar� el mismo peso a ambos o a las palabras que utilicen ambos g�neros. Si solo eliges los 100 curr�culos que tienes sobre la mesa, tal vez solo dos de ellos sean de mujeres y 98, de hombres. Entonces creas un prejuicio porque est�s modelando solamente lo que pasa en el universo de los hombres para este trabajo.

Entonces, no es una ciencia para quienes se preocupan por ser pol�ticamente correctos porque m�s bien tienes que ahondar en las diferencias�

Has tocado un gran punto, que es la empat�a. El estereotipo que uno tiene del ingeniero es el de alguien muy anal�tico y puede que hasta poco social. Sucede que estamos empezando a necesitar cosas en los ingenieros que pens�bamos que no eran tan relevantes o que nos parec�a bien que fuera as�: la empat�a, la �tica� Necesitamos desarrollar esos temas porque tomamos tantas decisiones durante el proceso de implementar un algoritmo y muchas veces hay un componente �tico. Si ni siquiera eres consciente de eso, no te vas a dar cuenta.


�Se notan las diferencias entre un algoritmo dise�ado por una persona y uno dise�ado por 20?

En teor�a, deber�an reducirse los prejuicios en un algoritmo hecho por m�s gente. El problema es que muchas veces, ese grupo est� compuesto por gente muy parecida entre s�. Quiz� todos son hombres o todos sean asi�ticos. Tal vez, sea bueno tener a mujeres para que se den cuenta de cosas de las que no se da cuenta el grupo en general. Es por eso que la diversidad es tan importante hoy en d�a.

�Se puede decir que un algoritmo refleja los prejuicios de su autor?

S�.

�Y que hay algoritmos con prejuicios justamente por la poca diversidad que hay entre los que hacen algoritmos?

No solamente por eso, pero es una parte importante. Yo dir�a que tambi�n se debe en parte a los datos mismos, que reflejan la realidad. En los �ltimos 50 a�os nos hemos esforzado por crear algoritmos que reflejen la realidad. Ahora nos hemos dado cuenta de que muchas veces reflejar la realidad tambi�n refuerza los estereotipos en la gente.

�Crees que en el sector hay suficiente consciencia de que los algoritmos pueden tener prejuicios o que es una cosa a la que no se le da mucha importancia?

A nivel pr�ctico, no se le da la importancia que deber�a. A nivel de investigaci�n, muchas empresas est�n empezando a investigar este tema seriamente creando grupos llamados FAT: Fairness, Accountability and Transparency (Justicia, Responsabilidad y Transparencia).

Este art�culo es parte de la versi�n digital del Hay Festival Arequipa 2018, un encuentro de escritores y pensadores que se realiza en esa ciudad peruana entre el 8 y el 11 de noviembre.

Estimados lectores: recuerden que estas noticias las pueden encontrar en nuestro Canal de Whastapp al momento de su publicación.

Sigue el canal de Hoybolivia.com en WhatsApp:
whatsapp.com/channel/0029Va8B7PQ3GJOyC41B2Q1a

Noticias Recientes de Virales

Copyright © Hoybolivia.com Reservados. 2000- 2024