De datos y decisiones: la encrucijada ética en la era de la Inteligencia Artificial
21 Jul 2023
La sociedad moderna se encuentra inmersa en un mar de datos sin precedentes, y que se sigue expandiendo. Cada vez más las acciones de las personas, sus decisiones y hasta sus preferencias dejan una huella digital representada en un número o un código, absorbida por un sistema cuyo manejo puede ser tan imprescindible como preocupante.
¿Qué pasa con la ética detrás de estos registros en medio de este vertiginoso panorama?
Este fue otro de los temas tratados durante el encuentro anual de docentes del CESA, presidido por Wayne Holmes, profesor de University College de Londres e investigador del impacto de la Inteligencia Artificial en la cotidianidad de las personas, muy particularmente de la que ocurre en el ámbito educativo.
En desarrollo de varias discusiones sobre la IA y sus posibles usos en la educación, uno de los interrogantes planteados por este investigador canadiense es qué tan bien esta tecnología trata los datos, y cómo hay factores que pueden atentar contra la ética.
Al decir de Wayne Holmes, una corriente de estudios sobre IA se ha enfocado en el hecho de que el 80% de los ingenieros en inteligencia artificial son hombres blancos. Esto, sin duda, es caldo de cultivo para un sesgo algorítmico que deje por fuera otras perspectivas de género o étnicas.
Así las cosas -enfatiza Holmes-, no basta con que las personas que están detrás de su uso tengan motivos altruistas para emplearla, sino que el andamiaje sobre el cual se usa la IA habilite condiciones éticas.
La ética tras los datos
¿Qué datos son recopilados?, ¿son privados?. Sobre estos, ¿se ha dado el consentimiento de sus titulares?. ¿Qué sustituciones se hacen de los datos o cómo estos son analizados? ¿Cómo prevenir el llamado sesgo del algoritmo?, son varias de las preguntas a tener en cuenta detrás de la ética de los datos.
Para ilustrar el tema, Wayne trajo a colación un caso específico.
Un ejercicio realizado para seleccionar profesionales para cargos en ingeniería usó algoritmos que dejaron por fuera del reclutamiento a varias mujeres. Siguió unos patrones estadísticos que terminaron encasillándolas en áreas distintas a la ingeniería, por lo que el proceso resultó en una discriminación muy fuerte contra ellas. Básicamente, la IA hizo inferencias en las que las mujeres perdieron opción dentro de las posibilidades para ser elegidas.
Juan Manuel Lillo, técnico de fútbol y mano derecha de Pep Guardiola, técnico del más reciente campeón de la Champions, el Manchester City, alguna vez dijo que con la estadística -que se basa en data- pasa lo que ocurre con cierta ropa interior: “muestra todo, menos lo más importante”.
Con la IA en el manejo de datos podría estar pasando algo similar. Según Wayne, los de IA “son sistemas muy buenos para conectar piezas de datos, pero estos son parciales y es posible que los datos no cuenten la historia completa y no lean en contexto”, explicó en el encuentro.
En efecto, en un reciente artículo de The Economist, en el que dos académicos argumentan la necesidad de la existencia de un organismo internacional, uno de gobernanza global para el control de la IA (similar a la Agencia Internacional de Energía Atómica que se creó finalizada la Segunda Guerra Mundial), hacen referencia a un caso en el que “Chat GPT acusó falsamente a un profesor de derecho de estar involucrado en acoso sexual, aparentemente confundido por conexiones estadísticas pero irrelevantes entre fragmentos de texto que en realidad no iban juntos”.
¿Cómo sabemos que la IA está haciendo bien los diagnósticos? ¿Cómo sabemos que los resultados de aprendizaje de los sistema son los correctos?, cuestiona Wayne Holmes.
Decisiones trascendentales con la IA
Con una influencia de la IA cada vez mayor, la toma de decisiones puede ser un asunto sensible, pues no se sabe hasta qué punto -dice Wayne- pueda crearse una sobredependencia de ella. En este sentido, añadió, “nos podemos convertir en menos buenos de lo que sabemos y podemos hacer”.
Al escepticismo en un primer momento, el gremio médico -explicó Holmes- empezó a encontrar útiles los diagnósticos de la IA en una segunda fase, pero luego advirtió que quizás había excesiva confianza con ella.
De allí la importancia de tener un entendimiento amplio, integral y estructurado de las cosas, porque se crean modelos mentales que pueden dar indicios de que algo no es normal, aún si la automatización y los sistemas indican otra cosa.
En su libro Más agudo, más rápido y mejor, Charles Duhigg rememora el caso del vuelo 447 de Air France, que cayó al Atlántico hace 14 años cuando cubría la ruta entre Río de Janeiro y París, siniestro atribuido a una incompatibilidad entre la lectura de los sistemas que hizo el piloto, y lo que pasaba en realidad frente a la tormenta que acontecía.
Si bien la automatización ha sido creada justamente como apoyo para los seres humanos, resulta esencial tener una lectura integral de los fenómenos y no fiarse por completo de los sistemas -susceptibles de fallar-, lo que brinda la posibilidad de ser críticos y actuar ante dichas inconsistencias.
Eso lo brindan -dice Duhigg en su libro- los modelos mentales, de los que careció quien tenía a su cargo la aeronave esa noche del 1 de junio de 2009. Este obró en concordancia total con lo que le decían los sistemas, muy a pesar de que su sentir le decía otra cosa. Cuando supo que tenía razón y reaccionó, fue tarde: él y otras 227 personas murieron.
Algo similar -subraya Holmes- puede pasar con la IA cuando no se ponen dosis de crítica por delante. De hecho, Duhigg hace una comparación con un incidente similar al 447 de Air France, que superó la emergencia porque su piloto sí advirtió la inexactitud de sus sistemas frente a lo que ocurría, y confió en su modelo mental: el resultado de largos años de pilotar aviones que le permitieron darse el lujo de dudar de los aparatos. Tomó la decisión correcta.
Vivió para contárselo al hoy periodista del The New Yorker.