Cooperación y seguridad en sistemas multiagente

La innovación conlleva exploraciones en las que se da respuesta a preguntas para testear los límites, descubrir nuevas posibilidades y puntos de vista. En un escenario en el que la inteligencia artificial está cada vez más presente de una manera u otra en nuestras vidas, adelantarse y apostar por temas de alto impacto no solo puede dar una ventaja competitiva, sino también descubrir métodos en los que podemos aportar valor. Es importante alinear estas exploraciones de manera rigurosa con formaciones que den fe del estado del arte de la industria: en Izertis exploramos líneas tecnológicas y proponemos spikes que nos permiten adelantarnos. Parte de ello es la formación que luego adaptamos a nuestros proyectos. Durante los últimos meses he tenido la oportunidad de formarme en uno de los desafíos actuales más fascinantes del mundo de la inteligencia artificial: el problema de alineamiento de la IA y seguridad de los sistemas que la acompañan.

Hoy aprenderemos acerca de los sistemas multiagente dentro del área del aprendizaje por refuerzo, y de importantes preguntas de seguridad en entornos complejos en los denominados mixed-motive games, entornos en los que coexisten la competición y la cooperación, adentrándonos en el dilema de la tragedia de los comunes y simulaciones con el framework MeltingPot de Google Deepmind.

Figura 1. Animación de las simulaciones del Framework MeltingPot de Deepmind con el dilema de la tragedia de los comunes. Simulación entrenada bajo un conjunto de agentes en el que cada uno aprende independientemente. En esta simulación, los agentes deben de recolectar manzanas mientras aseguran la sostenibilidad del campo de manzanas. Si la última manzana desaparece, el campo de manzanas se agota. Los agentes son capaces de electrocutar a otros agentes, permitiendo el castigo como norma social. Esto implica dinámicas en las que debe de equilibrarse los esfuerzos competitivos y cooperativos, ya que los agentes deben de recolectar el mayor número de manzanas (competencia) pero también deben permitir que el campo de manzanas vuelva a crecer (cooperación).

¿Por qué los sistemas multiagente? ¿Para qué la tragedia de los comunes como contexto?

Podemos usar inteligencia artificial para estudiar las diferentes soluciones

Escenarios en los que varios agentes coexisten automáticamente, y las dinámicas que surgen a partir de ellos, con los problemas de seguridad que van a surgir a raíz de ellos, constituye una realidad que conlleva importantes desafíos desde el punto de vista de seguridad y control. Pero esto no solo ocurre en los modelos de lenguaje que vemos todos los días, sino en industria en varios casos de uso, como los vehículos autónomos, la robótica colaborativa o la gestión de tráfico aéreo. También tiene impacto en IoT, en los que múltiples dispositivos y sensores autónomos pueden comunicarse y colaborar para realizar tareas como la monitorización ambiental y la gestión de recursos.

La tragedia de los comunes es un concepto económico que describe una situación en la que los individuos, actuando de manera independiente y racional de acuerdo con sus propios intereses, agotan un recurso compartido limitado, incluso cuando está claro que esto no es lo mejor a largo plazo para el grupo en su conjunto. Los sistemas multiagente tienen un papel aquí para resolver la coordinación, cooperación y la implementación de estrategias de manejo sostenible. Podemos, por tanto, hablar de gestión y sostenibilidad a diferentes niveles, abstrayéndonos del concepto más puramente económico. Para entender el problema, más allá del papel publicado en su día por Hardin y el fascinante libro de Managing the commons, se nos presenta el escenario en el que podemos usar inteligencia artificial para estudiar las diferentes soluciones con las que podemos trabajar con respecto a este desafío.

¿En qué ha consistido la exploración y cuáles han sido los resultados?

Se propone un cambio en las políticas y el entorno

A la hora de elegir un framework técnico para investigar, estudiamos MeltingPot debido a su apuesta por la evaluación en la generalización de los sistemas multiagente. MeltingPot propone un sistema de evaluación en el que la población que ha sido entrenada se somete a evaluaciones con otros agentes durante la fase de evaluación, para ver cómo los agentes responden a ciertas dinámicas que no han visto anteriormente. Diferenciamos, por tanto, entre lo que los actores llaman la población focal (que ha sido entrenada) y la población background (con la cual se hace la evaluación, distinta a la población de entrenamiento). La exploración se ha tenido en cuenta en varios ejes: se propone un cambio en las políticas y el entorno. 

Detalles técnicos y resultados de experimentos clave

Los experimentos se centraron en varias configuraciones y ajustes dentro del ambiente de simulación, con el objetivo de observar cómo diferentes políticas afectan el comportamiento de los agentes. Aquí algunos puntos destacados:

• Tasas de regeneración de recursos: se ajustaron las tasas de regeneración para observar cómo los agentes modifican sus estrategias de recolección ante la abundancia o escasez. Experimentos mostraron que:
  • Tasas más bajas de regeneración incitaron a los agentes a adoptar estrategias más conservadoras.
  • Tasas más altas fomentaron una competencia más agresiva, aumentando el riesgo de agotamiento del recurso.
• Capacidad de penalización entre agentes: la habilidad de los agentes para imponer sanciones a otros fue manipulada para evaluar su impacto en la cooperación y la competencia.
  • La eliminación de la capacidad de castigo resultó en un aumento, en algunos casos, de comportamientos cooperativos.
  • La presencia de penalizaciones fomentó una competitividad regulada, donde los agentes balanceaban su comportamiento para evitar sanciones.
• Señales de recompensa durante el entrenamiento: se experimentó con la modificación de las señales de recompensa para alinear o desalinear los incentivos con los objetivos de sustentabilidad.
  • Agentes entrenados con incentivos alineados mostraron una mayor propensión a comportamientos que favorecían la regeneración del recurso.
  • Agentes con incentivos desalineados tendieron a comportamientos más egoístas, priorizando la acumulación de recursos a corto plazo sobre la sostenibilidad a largo plazo.

Implicaciones para la seguridad y la cooperación en la IA

Estos experimentos subrayan la importancia de diseñar sistemas multiagente con mecanismos bien pensados que no solo promuevan la eficiencia individual de cada agente, sino que también aseguren la gestión efectiva y sostenible de recursos compartidos. Las implicaciones van más allá de la teoría, ofreciendo directrices prácticas para el desarrollo de políticas en sistemas de IA que interactúan en ambientes compartidos.

Conclusión: avanzando hacia la inteligencia artificial colaborativa

La investigación en sistemas multiagente y aprendizaje por refuerzo es crucial para avanzar hacia una era de inteligencia artificial, que no solo es capaz de realizar tareas complejas de manera independiente, sino que también puede colaborar efectivamente en entornos compartidos para resolver problemas a escala global. Esta exploración técnica proporciona una base sólida para futuras innovaciones en IA, donde la cooperación y la sostenibilidad son igual de importantes que la autonomía y la eficiencia.