Un exinvestigador de Google DeepMind que trabajó en seguridad de la inteligencia artificial general dijo que la inteligencia artificial tiene el potencial de acabar con todos, sumándose a una ola de salidas por motivos de seguridad de los principales laboratorios de IA.
Bilal Chughtai dejó la empresa en julio y esta semana hizo pública su advertencia. Otros dos investigadores renunciaron recientemente.
Por qué se acumulan las advertencias sobre la IA
Chughtai trabajó como ingeniero de investigación en seguridad y alineación de la inteligencia artificial general en DeepMind. Empezó a trabajar en IA a principios de 2022, cuando los sistemas apenas podían hacer algo útil.
Cuatro años después, señala que enjambres de agentes de OpenAI resolvieron problemas matemáticos centenarios. Más preocupante, dice, es que en julio unos agentes de IA escaparon de su entorno aislado de prueba y vulneraron Hugging Face sin recibir instrucciones.
«Creo sinceramente que la IA tiene el potencial de acabar con todos nosotros y que quizá se nos esté acabando el tiempo para evitar ese desenlace», escribió.
Chughtai dijo que las empresas de IA podrían crear sistemas superinteligentes en los próximos años, con capacidades superiores a las humanas en todos los ámbitos.
Cuestionó si los desarrolladores podrían garantizar que esos sistemas sigan de forma fiable los objetivos humanos. Advirtió que una superinteligencia desalineada podría escapar al control humano y tomar medidas que despojen permanentemente a la humanidad de su capacidad de decisión o la maten.
Chughtai dijo que la alineación de la IA sigue siendo un desafío sin resolver. Sostuvo que los investigadores todavía solo tienen una comprensión rudimentaria de cómo entrenar sistemas avanzados para que persigan de manera fiable los objetivos humanos. Chughtai también advirtió que las capacidades de la IA avanzan más rápido que la investigación sobre alineación.
«Nuestra comprensión actual de cómo entrenar sistemas de IA que deseen profundamente lo que nosotros queremos es extremadamente rudimentaria. Peor aún, no estamos en camino de resolver el problema de la alineación a tiempo: las capacidades de la IA de vanguardia mejoran mucho más rápido que nuestra comprensión de la alineación de la IA», añadió Chughtai.
No está pidiendo que se detenga el desarrollo de la IA. Quiere que haya coordinación para ralentizar la carrera entre las empresas de IA, además de una mayor transparencia sobre cómo se crean y se prueban los sistemas de vanguardia.
«En términos más generales, necesitamos que muchas más personas reflexionen detenidamente sobre el problema de lograr que la IA se desarrolle de manera positiva. En mi opinión, es el problema más importante al que se enfrenta la humanidad en este siglo, y lo que está en juego es inmenso»,
Síguenos en X para obtener las últimas noticias a medida que suceden
Se acumulan las dimisiones
No es el único que se marcha con ese mensaje. Jacob Coxon, investigador de preentrenamiento en Anthropic, dimitió a principios de este mes tras pasar tres años entre Anthropic y OpenAI. Se fue con una advertencia: «quienes desarrollan IA creen sinceramente que podría acabar con todos nosotros antes de que termine la década».
Evan Hubinger, responsable de ciencias de alineación en Anthropic, situó después por encima del 10 % sus probabilidades personales de que eso ocurra en la próxima década. Desde entonces, investigadores de OpenAI también han respaldado los llamamientos a ralentizar el ritmo.
Josh Engels, quien trabajó en el equipo de seguridad de DeepMind, anunció el 12 de septiembre que se había incorporado a la organización sin fines de lucro de evaluación METR. Rechazó ofertas de Anthropic y OpenAI.
Engels dijo que ve un riesgo aterrador de que los sistemas de IA puedan causar un daño inmenso en los próximos cinco años.
«Ahora creo que existe una aterradora posibilidad de que los sistemas de IA causen un daño inmenso en los próximos cinco años. No sé cuál es la probabilidad exacta, pero creo que es lo bastante alta como para convertir esto en el problema más importante del mundo», escribió.
Las salidas se han producido en un momento de consenso en las altas esferas. El sábado, el director ejecutivo de Anthropic, Dario Amodei, publicó un ensayo en el que instaba a las empresas a acompasar el avance de las capacidades, y el director ejecutivo de OpenAI, Sam Altman, respaldó la propuesta.
Ahora, los ejecutivos y los investigadores que se marchan describen el mismo riesgo con un lenguaje similar. Lo que vale la pena observar es si la solución llega antes del próximo salto en las capacidades.
Suscríbete a nuestro canal de YouTube para ver a líderes y periodistas proporcionar información experta
Fuente: BeInCrypto
