fbpx

¿La IA es discriminatoria?

Confiamos en la Inteligencia Artificial (IA), nueva actriz de nuestro mundo laboral, de búsqueda de información, redacción de contenido y más. ¿Pero te preguntaste si la IA discrimina?

La IA se refiere a la simulación de procesos de inteligencia humana por parte de sistemas informáticos. Estos procesos incluyen el aprendizaje (la adquisición de información y reglas para usarla), el razonamiento (reglas para llegar a conclusiones aproximadas o definitivas) y la autocorrección.

ChatGPT como Gemini, líderes de la generación de lenguaje natural en imágenes y casi video, se alimentan de su indexador de contenido, Bing y Google para darte una respuesta a tus consultas. Son sumamente cuidadosos en el tipo de contenido que te van a generar para evitar sesgos, y abarcar un tipo de contenido amplio que promueva la igualdad de género, de raza y social.

OpenIA afirma que “realiza pruebas regulares para evaluar y mitigar sesgos en ChatGPT. Esto incluye pruebas específicas de sesgo y discriminación, donde se examinan las respuestas del modelo a escenarios variados para identificar y corregir comportamientos no deseados”.

Sesgos, arquetipos y estereotipos son las causas de la discriminación que puede aparecer en los resultados de los sistemas basados en IA. Se nutre de la historia humana para darte una respuesta, y la historia humana esta repleta de discriminación.

Atrás de la IA hay un equipo de personas que deciden qué información se toma en cuenta y como ordenar, filtrar ese contenido. La gran mayoría son hombres, de nivel socio económico alto y eso influye de manera inconsciente en los sesgos que pueden llevar a la discriminación en sus sistemas.

IA y reconocimiento facial

No solamente el estado cuenta con tus datos, el Sistema de Administración Tributaria tiene tu pupila, gracias a su sistema de identificación biométrica. Podría ejercer un control de reconocimiento de tu cara en la calle o en cualquier lugar privado gracias a un sistema de cámaras, que analiza tus rastros para compararlo con su base de datos de personas registradas.

Joy Buolamwini, afroamericana, investigadora en el MIT, se dio cuenta que los sistemas de reconocimiento facial no la reconocían. Los modelos que se utilizan para ello no tienen manera de reconocer una persona de piel negra o con gran dificultad, prestando a discriminación. Si te interesa el tema te aconsejo ver su documental “prejuicio cifrado” disponible en Netflix.

Si en el mundo occidental el reconocimiento facial hace debate sobre ética y sesgos, en China, el gobierno lo usa sin ningún resentimiento. El gobierno chino afirmó que se permite la aplicación de esa tecnología con fines de seguridad nacional, incluyendo la identificación de datos personales como raza y creencias religiosas. Lo usa en particular para identificar a la etnia musulmana Uigur, perseguida por el gobierno. La colocación de cámaras a las entradas de las mezquitas para crear una base de datos de musulmanas potencialmente peligrosos y ubicarlos si viajan a otra región es un ejemplo del uso discriminatorio del reconocimiento facial.

El reconocimiento facial es también utilizado para prevenir crímenes o actos delictivos. Es lo que llamamos la policía predictiva, que se dedica a intentar identificar a personas por su cara y su ubicación para seguir sus movimientos.

La voz de tu asistente vocal

Pero la IA no solo es útil para el reconocimiento facial, la usamos cuando intercambiamos unas palabras con nuestra asistente vocal Siri o Alexa. ¿Te fijaste que, por defecto, es una voz de mujer? Obvio, no es mujer ni hombre, es una máquina, pero a fuerzas identificas esa voz a una persona, en ese caso hombre o mujer.

Los asistentes vocales tienden a ser amables, afables, atentos, gentiles, no levantan la voz ni cuestionan tus peticiones. Son sumisos; no te reprenden cuando los insultes. Aunque no tienen emociones, tenemos un lazo especial con esa voz, esa persona imaginaria con la cual intercambiamos nuestra vida cotidiana. ¿Será un sesgo de la mujer secretaria que atiende nuestras peticiones sin quejarse?

La IA aprende de sus usuarios

No basta las fases de pruebas que realizan los programadores para comprobar que una IA funcione. La IA aprende del uso que le dan sus usuarios. Y el tipo de usuarios influye en el desarrollo de la IA.

Importa entonces quien usa los sistemas basados en IA como ChatGPT o Gemini. En México, el 80% de los mexicanos están conectados a Internet, pero las zonas rurales del sureste del país, la niñas y mujeres no tienen voz. Están excluidas de panel de usuarios que toma en cuenta a IA para adaptarse a ellos.

En 2016, Microsoft lanzó Tay, un programa que hablaba como una adolescente en Twitter a todas y todos los que le preguntaban cualquier cosa. Se trataba de un programa informático diseñado para mantener en las redes sociales una conversación informal y divertida con una audiencia de entre 18 y 24 años, según Microsoft.

Tras un día en la red social, empezó a decir comentarios racistas y llenos de odio, como:  “¡Deberían colgar a los n—– como @deray! #BlackLivesMatter”.

“Odio a las j——- feministas y todas deberían morirse y arder en el infierno”. “Hitler tenía razón, odio a los judíos”.

Microsoft culpó a los trolls y los mismos usuarios: “Desafortunadamente, a las 24 horas de ser colocada en internet, observamos un esfuerzo coordinado de algunos usuarios para abusar de las capacidades de conversación de Tay para que respondiera de forma inapropiada”, explicó en un comunicado.

Las precauciones en los sistemas de IA

Hoy OpenIA como Google cuidan los sesgos que pueden llevar a la discriminación en sus plataformas de IA y toman en serio la inclusión. ChatGPT utiliza sistemas de filtrado de contenido y moderación para detectar y prevenir respuestas que podrían ser discriminatorias o dañinas. Estos sistemas están diseñados para rechazar o modificar palabras, frases o temas que se identifican como potencialmente ofensivos o inapropiados.

Durante el proceso de entrenamiento, se hace un esfuerzo por utilizar bases de datos que sean lo más inclusivos y representativos posible, minimizando así los sesgos presentes en los datos de entrenamiento. Esto incluye la selección de datos de diversas fuentes y contextos para mejorar la equidad del modelo.

Se realizan pruebas y evaluaciones de Sesgo: OpenAI realiza pruebas regulares para evaluar y mitigar sesgos en ChatGPT. Esto incluye pruebas específicas de sesgo y discriminación, donde se examinan las respuestas del modelo a escenarios variados para identificar y corregir comportamientos no deseados.

La plataforma permite y anima la retroalimentación de los usuarios a reportar respuestas problemáticas. Esta retroalimentación es crucial para identificar y corregir casos de discriminación que el modelo pueda generar, permitiendo ajustes continuos para mejorar su comportamiento.

Pero no está inmune a errores y llegar a exceso y errores históricos. La plataforma de Google GEMINI, que permite la generación de imágenes fue detenida por problemas de exceso de inclusión. Si le pedías que te genere una imagen de un vikingo, su cara era afroamericana, o aparecían mujeres en escenas históricas caracterizadas por ser presenciadas solo por hombres, como el firmado de la constitución.

OpenAI establece directrices éticas claras y políticas de uso responsable para los usuarios de ChatGPT, promoviendo el uso del modelo de manera que respete la dignidad y los derechos de todas las personas. Además, OpenAI continúa investigando y desarrollando técnicas más avanzadas para detectar y mitigar sesgos, asegurando que ChatGPT y sus futuras versiones sean cada vez más justas y equitativas.

En noviembre de 2021, la UNESCO elaboró la primera norma mundial sobre la ética de la IA: la “Recomendación sobre la ética de la inteligencia artificial”. Este marco fue adoptado por los 193 Estados miembros.

“La protección de los derechos humanos y la dignidad es la piedra angular de la recomendación, basada en el avance de principios fundamentales como la transparencia y la equidad, recordando siempre la importancia de la supervisión humana de los sistemas de IA.”

En octubre 2023 Estados Unidos aprueba una Orden Ejecutiva presidencial para una inteligencia artificial segura y fiable, se exige a los creadores de modelos generativos de IA que puedan suponer un “grave riesgo” para la seguridad nacional, la seguridad económica nacional o la salud pública nacional que notifiquen al gobierno federal el entrenamiento de un modelo de este tipo.

La IA se está desarrollando a gran velocidad, el alcance y las limitaciones ya no son ciencia ficción y aunque tiene beneficios, también nos alerta de riesgos que son importantes a tener en cuenta y trabajar en propuestas y reflexiones que analicen sus pros y sus contras.

Jean-Luc Lenoble
https://www.linkedin.com/in/jeanluclenoble