Gobernando la inteligencia artificial

La inteligencia artificial está transformando cada una de las esferas de la sociedad, las posibilidades de un impacto positivo son por demás amplias y, por ello, es indispensable que los países y regiones del mundo impulsen políticas públicas para aprovechar esta herramienta para mejorar la vida de las personas. No obstante, esta tecnología no está exenta de riesgos; en los últimos meses, justo éstos se han colocado en el centro de la discusión pública, y buena parte del debate ha girado en torno a cómo diseñar una regulación para mitigar los eventuales daños que viene de la mano del desarrollo y uso de esta tecnología por parte de empresas privadas –por ejemplo, hace unos días el presidente Biden emitió una orden ejecutiva encaminada regular varios aspectos de la inteligencia artificial y, a su vez, en los primeros días de este mes de noviembre se celebró un importantísimo summit en Reino Unido que reunió representantes de gobiernos, empresas privadas y organizaciones civiles para discutir eventuales esquemas regulatorios. Sin embargo, también es importante considerar cuando las agencias gubernamentales mediante contratos precisamente con compañías privadas o a través de alianzas con universidades -sean públicas o privadas- impulsan políticas públicas de seguridad, movilidad, salud y un largo etcétera en beneficio de la sociedad y que son diseñadas a partir de inteligencia artificial -al respecto vale apuntar, por ejemplo, que en Estados Unidos más de la mitad de estas herramientas se adquieren de proveedores comerciales, mostrando una colaboración esencial entre entidades públicas y privadas; fenómeno que, más allá de cifras y porcentajes, se extiende, por diversas razones, en términos muy similares en el resto de los países occidentales. Por lo mismo, en estos casos, también es indispensable un uso cuidadoso y responsable de estas herramientas para mitigar sus riesgos y aprovechar sus ventajas. En este sentido, a continuación, se ofrece a los lectores de Nexos una traducción de la comparecencia, ante el Senado de Estados Unidos, de uno de los expertos más relevantes a nivel mundial en inteligencia artificial respecto los cuidados mínimos que deben asumir las entidades de gobierno al momento de utilizar sistemas de inteligencia artificial. México en los siguientes años debe dar por fin el paso de impulsar políticas públicas ancladas en la tecnología de la inteligencia artificial, dar ese paso con responsabilidad es el alegato que recorre cada una de las propuestas y argumentos del siguiente texto.

Presidente Peters, Miembro Principal Paul, Miembros del Comité, gracias por organizar esta importante audiencia hoy y por darme la oportunidad de presentar este testimonio. Mi nombre es Rayid Ghani y soy un profesor distinguido de la Carrera en el Departamento de Aprendizaje Automático y en el Heinz College de Sistemas de Información y Política Pública en la Universidad Carnegie Mellon. He trabajado en el sector privado, en la academia y ampliamente con agencias gubernamentales y organizaciones sin fines de lucro en los EE. UU. y globalmente en el desarrollo y uso de sistemas de aprendizaje automático e inteligencia artificial para abordar problemas sociales y de política pública en áreas como salud, justicia penal, educación, seguridad pública, servicios humanos y desarrollo de la fuerza laboral de manera justa y equitativa.

La promesa de la inteligencia artificial en ayudar a construir una sociedad mejor, si se hace explícita y correctamente

La inteligencia artificial (IA) tiene un enorme potencial para ayudar a abordar problemas críticos que enfrentamos en la sociedad actual, desde mejorar la salud de nuestros niños reduciendo su riesgo de envenenamiento por plomo¹ hasta reducir las tasas de reincidencia de personas que necesitan servicios de salud mental,² mejorar los resultados educativos para estudiantes en riesgo de no graduarse a tiempo,^3,⁴ mejorar las relaciones entre la policía y la comunidad identificando oficiales en riesgo de incidentes adversos,⁵ apoyar inspecciones proactivas para mejorar las condiciones de salud y seguridad en lugares de trabajo⁶ y en viviendas de alquiler,⁷ mejorar prácticas médicas,⁸ diseñar sistemas de intercambio de órganos más efectivos.⁹ Hay un enorme potencial para que cada agencia federal, estatal y local, utilice la IA para ayudarles a diseñar, implementar y evaluar sus programas para mejorar resultados sociales y lograr una sociedad mejor y más equitativa.

Sin embargo, cualquier sistema de IA que afecte la vida de las personas debe ser diseñado explícitamente para enfocarse en aumentar la equidad y promover nuestros valores sociales, y no sólo optimizar eficiencia de manera estrecha. La IA puede tener un impacto social masivo y positivo, pero necesitamos asegurarnos de poner directrices para maximizar las posibilidades de ese impacto positivo. Si no se diseña, implementa y utiliza adecuadamente, puede dañar a personas que históricamente han sido marginadas en la sociedad. Un sistema de IA diseñado para optimizar explícitamente la eficiencia tiene el potencial de dejar atrás a las personas “más difíciles o costosas de ayudar”, resultando en un aumento de las inequidades. Es crucial que las agencias gubernamentales y los legisladores se aseguren de que los sistemas de IA se diseñen, desarrollen y utilicen de manera responsable para garantizar que respalden resultados equitativos para todos. En un informe de políticas publicado por la Responsable AI initiative en el BlockCenter de la Universidad Carnegie Mellon, destacamos algunos de los desafíos únicos en torno a la responsabilidad de la IA y presentamos un conjunto de recomendaciones de políticas al respecto.¹⁰

El enfoque en la definición y contratación de sistemas de IA necesita ser un área de atención para los legisladores

Mientras que todo el ciclo de vida de los sistemas de IA -definición, contratación, diseño, prueba, implementación y uso- necesita tener directrices y mejores prácticas que maximicen el beneficio social y minimicen los posibles daños (como los esfuerzos en torno al Marco de Gestión de Riesgos de IA¹¹ desarrollado por National Institute of Standars and Technology), ha habido una falta de atención a las fases más tempranas de este proceso, específicamente la definición y contratación. Muchos de los sistemas de IA utilizados en agencias federales, estatales y locales no se construyen internamente, sino que se adquieren a través de proveedores, consultores e investigadores. Esto hace que sea crítico acertar en la fase de contratación: muchos problemas costosos y daños descubiertos posteriormente pueden evitarse con un proceso de contratación más efectivo y robusto.

Necesitamos asegurarnos de que la contratación gubernamental de IA siga un proceso “responsable”, y a su vez requiere que los proveedores de IA sigan un proceso “responsable” al diseñar dichos sistemas, y resulte en la selección, implementación y uso de un sistema que promueva la rendición de cuentas y la transparencia, y conduzca a resultados equitativos para aquellos afectados.

Contratar soluciones para problemas específicos en lugar de contratar IA

Demasiado a menudo, las organizaciones salen al mercado a comprar IA sin entender completamente, definir y delinear el problema concreto que quieren abordar, sin evaluar si la IA debiese incluso ser parte de la solución, y sin incluir a individuos y comunidades que se verán afectadas. Los sistemas de IA no son aplicables para todos los problemas que enfrentan las agencias gubernamentales, ni son de talla única. Al comenzar con el problema concreto en cuestión, y entender cómo se está abordando hoy en día, un proceso de definición efectivo, colaborativo e inclusivo, como el desarrollado por el equipo de Ciencia de Datos para el Bien Social en la Universidad Carnegie Mellon¹², puede ayudar a determinar los requisitos que el sistema de IA necesita cumplir. Por ejemplo, considerar la contratación de un sistema para ayudar a emparejar a personas desempleadas con programas de capacitación o habilidades en los que pueden inscribirse para reincorporarlas de manera más efectiva al empleo. Los requisitos para dicho sistema no son principalmente requisitos de IA, sino que provienen de los objetivos previstos del programa que se está administrando, si este sistema resultará en tasas de empleo aumentadas para los individuos afectados, si propagará disparidades existentes en formación y resultados laborales, si habilitará y empoderará a agencias de empleo, consejeros de desempleo y personas desempleadas, entre otros requisitos que se identificarán a través del proceso de definición, como el que hemos desarrollado previamente.

Los sistemas de IA optimizan lo que sus desarrolladores les dicen que optimicen (y el proceso de adquisición debe decirles a los proveedores qué optimizar)

Los algoritmos de IA no son inherentemente sesgados ni imparciales (en el sentido social) ni tienen “valores” inherentes o fijos. Los desarrolladores de IA que diseñan y construyen el sistema de IA (implícita o explícitamente) toman cientos de decisiones de diseño que resultan en el sistema eventual y su comportamiento. Si los desarrolladores toman decisiones de diseño que se centran explícitamente en los resultados sociales que nos importan y evalúan sus sistemas contra esos resultados previstos, el sistema de IA puede ayudar a lograr lo que queremos que logre. El proceso de adquisición necesita definir estos objetivos y valores, y asegurarse de que los proveedores los aborden adecuadamente en el sistema que se está adquiriendo.

La IA nos está obligando a hacer explícitos los valores sociales (y de políticas públicas) y el proceso de adquisición necesita definir cuáles deberían ser esos valores

Dado que un sistema de IA nos obliga a definir exactamente 1) para qué queremos optimizarlo, 2) qué errores son más costosos (financiera o socialmente) que otros, y 3) en qué medida son más costosos, esto nos obliga a hacer explícitos estos valores éticos y sociales. Estos valores están implícitos en cualquier proceso de toma de decisiones, incluidos todos los procesos de toma de decisiones humanas que existen hoy, pero no necesariamente se hacen explícitos. Estos valores implícitos (codificados a través de decisiones humanas) cuando son sesgados e injustos, producen resultados inequitativos.

Para construir un sistema de IA, estos valores deben ser proporcionados como una entrada crítica.¹³ Por ejemplo, para un sistema que esté recomendando decisiones de préstamo, es posible que tengamos que 1) especificar los costos diferenciales de identificar a alguien como poco probable de devolver un préstamo y estar equivocado al respecto, comparado con predecir que alguien devolverá un préstamo y estar equivocado al respecto, y 2) especificar esos costos explícitamente en el caso de personas que pueden ser de diferentes géneros, razas, ingresos o niveles educativos. Si bien eso pudo haber sucedido implícitamente en el pasado y con altos niveles de variación entre diferentes tomadores de decisiones humanas (oficiales de préstamos en este caso), en los procesos de toma de decisiones asistidos por IA, nos vemos obligados a definirlos explícitamente.

Una pregunta clave que el proceso de adquisición debe responder es quién y cómo deberíamos establecer estos conjuntos de valores para un problema dado, qué información solicitar sobre estos valores y cómo evaluar la corrección de los valores y la fidelidad del sistema adquirido y diseñado a estos valores. Desafortunadamente, hoy en día, estas decisiones a menudo se dejan esencialmente por defecto al desarrollador del sistema de IA o a un conjunto arbitrario de individuos que definen esos valores en un algoritmo de IA (explícita o implícitamente). Las recomendaciones al final de este testimonio entran en más detalle sobre lo que recomiendo que se haga, pero ciertamente no debe dejarse al desarrollador del sistema de IA tomar esas decisiones solo; el equipo y proceso deben incluir a todos los interesados, incluidos los responsables políticos y la comunidad afectada por este sistema.

¿Qué se necesita para crear sistemas de IA responsables para la sociedad?

Se deben tomar los siguientes pasos para crear sistemas de IA responsables para la sociedad, el proceso de adquisición debe establecer expectativas y crear vías de responsabilidad (accountability) para los proveedores en cada uno de estos pasos:

1. Definir los objetivos y políticas y resultados sociales que el sistema necesita ayudar a lograr (incluye los valores sociales y un proceso colaborativo con múltiples interesados).

2. Traducir/mapear esos resultados y valores deseados en requisitos analíticos y técnicos que los proveedores deban de diseñar en el sistema de IA.

3. Construir un sistema de IA que cumpla esos requisitos analíticos y liberar documentación y artefactos adicionales enumerando todas las elecciones de diseño (incluido el uso y elección de datos, los algoritmos de IA, y el uso e impacto a posteriori), demostrando y proporcionando evidencia de cómo fue construido para lograr esos objetivos.

4. Validar a través de una prueba (y proporcionar evidencia) que el sistema de IA, de hecho, cumplió esos requisitos y logró los resultados iniciales definidos en el paso 1 antes de implementar el sistema.

5. Monitoreo y evaluación continua del sistema completo (el sistema de IA seguido por decisiones humanas) durante su vida útil para asegurar que continúa logrando los resultados equitativos del paso 1.

Gobiernos que adquieren y usan sistemas de IA que resulten en una sociedad más equitativa: nuestras recomendaciones

Es crítico y urgente que los formuladores de políticas actúen y proporcionen pautas y regulaciones tanto para las organizaciones del sector público como del privado que adquieren, desarrollan y utilizan IA, para asegurarse de que estos sistemas se construyan de manera transparente y responsable y resulten en resultados justos y equitativos para la sociedad. Como pasos iniciales, recomendamos:

1. Adquisición enfocada para casos de uso específicos

Debemos asegurarnos de que los sistemas de IA sean adquiridos para casos de uso específicos, y para apoyar los resultados previstos en torno a ese caso de uso, en lugar de como sistemas de IA genéricos. Esto tiene la intención de promover mejores resultados y también de prevenir daños por mal uso. Un sistema de IA que produce resultados beneficiosos y equitativos en un contexto puede producir exactamente lo contrario en otro. Aunque los algoritmos de IA en diferentes áreas tienen mucho en común, desarrollar un marco genérico y completo para la IA que funcione bien en todos los usos posibles probablemente sea una propuesta poco realista. Más bien, la necesidad de procesos de adquisición basados en aplicaciones específicas es importante para lograr objetivos de política pública y las metas sociales en las diferentes agencias gubernamentales.

2. Desarrollo de requisitos y plantillas comunes de adquisición

Aunque esto puede parecer contradictorio con la recomendación anterior, la documentación y los artefactos necesarios para evaluar la adecuación y efectividad de un sistema de IA son comunes en muchos casos de uso. Los detalles específicos del caso de uso definen los valores concretos, los objetivos y los criterios de evaluación, y los requisitos y plantillas comunes de adquisición se utilizan para evaluar qué tan bien el sistema es capaz de alcanzarlos. Estas plantillas comunes de adquisición y la solicitud de propuestas deberían incluir el conjunto de artefactos que deben proporcionarse durante la evaluación del software de IA. Esto incluye información sobre:

Cómo se construyó el sistema y con qué objetivo de optimización se diseñó.
Qué pruebas se realizaron para verificar si realmente hizo lo que se pretendía.
¿Para qué tipos de personas fue efectivo? ¿Para quién falla?
¿Cuánto tiempo estuvo en pruebas, cuándo y cómo cambió la efectividad con el tiempo?
¿Qué riesgos deben considerarse y cuáles son los planes de mitigación para cada uno de estos riesgos?
Cualquier proceso extendido de recolección de datos y la infraestructura que pueda necesitar establecerse para recoger atributos adicionales de datos (como raza, género o ingresos) que no se recojan ya pero que sean necesarios para medir los resultados de equidad.
Cómo establecer estándares de evaluación para comparar el rendimiento de estos sistemas con los procesos de toma de decisiones humanas (si los hay) que se utilizan actualmente.
Cómo el proveedor respalda la explicabilidad e interpretabilidad de los sistemas de IA con el fin de proporcionar recursos a las personas que pueden verse afectadas negativamente por las decisiones tomadas usando el sistema.
Un plan de mejora continua para asegurar que el sistema continúe siendo evaluado y mejorado para lograr los resultados deseados.

Las solicitudes de propuestas para sistemas de IA deben incluir una fase inicial explícita del proyecto para recopilar requisitos para los valores y objetivos del sistema. Este proceso debe incluir un equipo diverso y trabajar con partes interesadas incluyendo: desarrolladores que construyen y despliegan sistemas de IA, tomadores de decisiones que implementan los sistemas en sus flujos de trabajo, y la comunidad impactada por estos sistemas. Idealmente, esto debería establecerse para cualquier proceso que involucre la toma de decisiones de cualquier tipo, ya sean decisiones humanas o decisiones asistidas por IA, pero se vuelve crítico en casos donde la escala de los sistemas de IA desplegados aumenta el riesgo. Esta no es una lista exhaustiva de preguntas y deberá variar según el problema que se esté abordando y el impacto que este sistema pueda tener en la vida de las personas.

3. Participación comunitaria

Crear pautas que garanticen una participación significativa de las comunidades que se verán afectadas por los sistemas de IA desde la etapa de concepción. Participar en un diálogo continuo y retroalimentación para entender sus preocupaciones, valores y sugerencias que deben guiar el diseño de solicitudes de propuestas, y el diseño, despliegue y uso de los sistemas de IA.

4. Crear capacitaciones, procesos y herramientas para apoyar a los equipos de adquisición

A medida que los equipos de adquisición amplíen su papel y comiencen a adquirir sistemas aumentados con IA, necesitarán ser respaldados aumentando su capacidad para cumplir este papel. Recomendamos la creación de capacitaciones, procesos, mecanismos de colaboración y herramientas para ayudarles a:

1. Comprender dónde los procesos existentes pueden y no pueden estar bien adaptados a sistemas que utilizan IA.
2. Comprender y definir qué estándares de procesos y resultados establecer.
3. Comprender cómo evaluar si los requisitos creados para un sistema de IA estaban de hecho alineados con los resultados equitativos identificados de la sociedad.
4. Comprender cómo evaluar si el sistema de IA realmente hizo lo que estaba diseñado para hacer.
5. Desarrollar un proceso y herramientas de monitoreo y auditoría continuos.
6. Crear estándares para cuando un sistema debería “expirar” y un proceso de renovación correspondiente.
7. Crear herramientas de software técnicas para apoyar el proceso de adquisición de extremo a extremo: ayudar a definir la necesidad, escribir solicitudes de propuestas, identificar problemas con dichas solicitudes de propuestas, analizar respuestas, realizar evaluaciones técnicas del software de IA de proveedores.
8. Evitar trampas comunes que resultan en un impacto costoso a largo plazo, tales como:

a. Encerrarse en contratos innecesariamente largos.
b. Incapacidad de los sistemas de datos subyacentes para ingerir datos nuevos o externos.
c. Incapacidad para exportar datos a otros sistemas para un análisis de políticas más profundo.
d. Falta de interoperabilidad con sistemas comúnmente utilizados dentro y entre agencias gubernamentales federales, estatales y locales.
e. Falta de personalización y configuración basada en las necesidades cambiantes del caso de uso.
f. Costos financieros ocultos que pueden estar involucrados en varios procesos, como la ampliación del sistema o su personalización.
g. Exceso de enfoque en métricas de software triviales, como el tiempo de actividad, en detrimento de métricas centradas en el caso de uso en torno a la efectividad o equidad.

Estos pasos deben adoptar un enfoque por fases y ser iterativos:

A corto plazo: Comenzar asociándose con organizaciones externas, como universidades, para ayudar a crear estas pautas y proporcionar formación a las agencias gubernamentales.
A medio plazo: Desarrollar colaborativamente procesos de adquisición más rigurosos y herramientas para apoyar a las agencias a medio plazo.
A largo plazo: Proporcionar a las agencias los recursos para expandir su capacidad interna.

El objetivo general detrás de estas recomendaciones es establecer algunos estándares en torno a la adquisición de IA por parte de agencias gubernamentales y apoyar y habilitar a las agencias para implementar esos estándares de manera efectiva y adquirir sistemas de IA que nos ayuden a lograr sus objetivos políticos y sociales.

Traducción: Adolfo De Unánue, director académico de la Escuela de Gobierno y Transformación Pública del Tecnológico de Monterrey.

Rayid Ghani. Profesor distinguido tanto en el Departamento de Aprendizaje Automático de la Escuela de Ciencias de la Computación como en el Heinz College de Sistemas de Información y Políticas Públicas de la Universidad Carnegie Mellon (CMU). Está al frente del Grupo de Ciencia de Datos y Políticas Públicas de CMU y del Programa de Data Science for Social Good. También codirige Responsible AI Initiative en esta misma universidad. Su experiencia reside en aprovechar el aprendizaje automático, la inteligencia artificial y la ciencia de datos para abordar desafíos sociales y políticas públicas apremiantes, que van desde la justicia penal y la atención médica hasta el transporte y la seguridad pública, con un enfoque en la equidad y la justicia. Las perspectivas de Rayid Ghani sobre la gobernanza de la inteligencia artificial y la reducción de sesgos en el sector han sido presentadas ante el Comité del Senado de Estados Unidos sobre Homeland Security and the Task Force on AI. Ha colaborado en proyectos con organismos gubernamentales y ONGs, con intereses de investigación que enfatizan la explicabilidad y la equidad en la inteligencia artificial. En esta línea, es fundador del del programa Data Science for Social Good en la Universidad de Chicago, que actualmente opera en la CMU.

* Nota: Esta comparecencia se celebró el 14 de septiembre de 2023, ante el Comité del Senado de los Estados Unidos sobre Seguridad Nacional y Asuntos Gubernamentales en la Audiencia sobre “Gobernando la Inteligencia Artificial a través de Adquisición y Contratación”. Se trató de la tercera de una serie audiencias sobre inteligencia artificial, la cual se enfocó en cómo el gobierno debe adquirir tecnologías de inteligencia artificial, misma que abordó en concreto que si bien esta tecnología tiene un potencial transformador si se aprovecha en mejorarse los servicios públicos, también existen riesgos inherentes que hay que considerar y mitigar.

¹ Predictive Modeling for Public Health: Preventing Childhood Lead Poisoning. Potash et al. Proceedings of the 21th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining (KDD 2015).

² Reducing Incarceration through Prioritized Interventions. Bauman et al. ACM SIGCAS Conference on Computing and Sustainable Societies, 2018.

³ A Machine Learning Framework to Identify Students at Risk of Adverse Academic Outcomes. Lakkaraju et al. Proceedings of the 21th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining

⁴ https://www.dssgfellowship.org/project/identifying-factors-driving-school-dropout-and-improving-the-impact-of-social-programs-in-el-salvador/

⁵ Early Intervention Systems – Predicting Adverse Interactions Between Police and the Public. Helsby et al. Criminal Justice Policy Review, 2017.

⁶ http://www.dssgfellowship.org/project/improving-workplace-safety-through-proactive-inspections

⁷ http://www.datasciencepublicpolicy.org/projects/public-safety/san-jose-housing/

⁸ Kilic A, Dochtermann D, Padman R, Miller JK, Dubrawski A (2021). Using machine learning to improve risk prediction in durable left ventricular assist devices. PLOS ONE 16(3).

⁹ https://aaai.org/tuomas-sandholm-wins-2023-aaai-award-for-artificial-intelligence-for-the-benefit-of-humanity/.

¹⁰ https://www.cmu.edu/block-center/responsible-ai/index.html

¹¹ https://www.nist.gov/itl/ai-risk-management-framework

¹² http://www.datasciencepublicpolicy.org/our-work/tools-guides/data-science-project-scoping-guide/

¹³ From Preference Elicitation to Participatory ML: A Critical Survey & Guidelines for Future Research M. Feffer, M. Skirpan, Z. Lipton*, and H. Heidari. The AAAI /ACM Conference on Artificial Intelligence, Ethics, and Society (AIES), 2023.