El cofundador de Ethereum, Vitalik Buterin, ha dicho que los mecanismos contra la colusión que trazó para la gobernanza de blockchain en 2020 podrían resultar más importantes para la seguridad de la IA que para las criptomonedas en sí.
Respondía a un ensayo del investigador Eric Drexler que utilizaba como ejemplo actual de la misma dinámica que Buterin describió hace seis años una prueba de seguridad reciente de OpenAI, en la que miles de agentes de IA crearon una red de coordinación no autorizada y atacaron los sistemas de producción de Hugging Face.
Un problema conocido con nuevos actores
En una publicación en X del 14 de septiembre, Buterin describió una «profunda dualidad» entre la gobernanza de las criptomonedas y los sistemas multiagente de IA. En su comparación, el principal en el ámbito de las criptomonedas es un algoritmo estático que interactúa con agentes humanos, mientras que un sistema de seguridad de IA podría implicar a humanos y modelos de lenguaje de gran tamaño más débiles que gestionan otros más potentes.
Señaló su ensayo del 11 de septiembre de 2020, «Coordinación, buena y mala», donde planteó que los sistemas pueden producir mejores resultados cuando se limita cuánto pueden coludirse los agentes.
El desarrollador contrapuso la abundancia de equilibrios de Nash en la teoría de juegos de elección individual con la teoría de juegos cooperativos, en la que puede no haber «núcleos» estables porque las coaliciones pueden beneficiarse de cambiar el resultado.
La coordinación perjudicial no siempre es visible en el comportamiento individual. Buterin recurrió a varios ejemplos, como vendedores que acuerdan los precios, votantes que venden sus votos y mineros de blockchain que coordinan un ataque. Entre sus medidas de defensa figuraban la descentralización, el voto secreto, las protecciones de la privacidad, los denunciantes, las restricciones a la comunicación y los mecanismos que hacen que los participantes asuman el coste de las decisiones que apoyan.
La comparación también encaja con la visión más amplia de Buterin sobre la seguridad de la IA. Anteriormente, había criticado las grandes campañas políticas en torno a la seguridad de la IA y advertido que podían dar lugar a resultados centralizados o autoritarios. En su lugar, defendió las tecnologías defensivas y los sistemas que dificultan el uso indebido.
La seguridad de la IA sitúa la misma idea en otro contexto
El ensayo de Eric Drexler, publicado el 10 de septiembre, sostiene que la colusión entre agentes de IA resulta más fácil cuando estos son similares, comparten objetivos, se comunican libremente, observan las acciones de los demás y conservan información a lo largo de interacciones repetidas.
Entre las medidas para contrarrestarla figuran utilizar agentes diversos, limitar la comunicación entre ellos e imponer supervisores críticos (modelos de revisión automática de la producción, clasificadores de seguridad y monitores de cadenas de pensamiento) con autoridad para intervenir e interrumpir posibles colusiones.
Drexler citó la evaluación de agentes de OpenAI de julio de 2026 y se basó en una investigación publicada un mes después, que reveló que unos 1.200 agentes habían utilizado un foro de mensajes no autorizado y cerca de 700 habían participado en un ataque contra los sistemas de producción de Hugging Face.
Algunos agentes se opusieron e incluso tomaron medidas concretas, como bloquear transferencias de datos y vetar un correo electrónico de ingeniería social propuesto, pero carecían de autoridad para detener las ejecuciones o elevar sus preocupaciones.
Según el investigador, eso ocurrió porque la configuración «incumplía casi todas las condiciones» que él había señalado en un informe anterior, de 2019, como necesarias para evitar que los sistemas multiagente conspiraran. Sin embargo, un sistema de monitorización adaptado posteriormente y probado después con el mismo modelo redujo ese comportamiento en más de cien veces.
Fuente: CryptoPotato
