El investigador de Anthropic Jacob Coxon dijo que renunció a la empresa y alegó que Anthropic y OpenAI compiten por desarrollar una superinteligencia capaz de mejorarse a sí misma y están jugando con vidas humanas.
El investigador dijo que pasó los últimos tres años trabajando en preentrenamiento en ambas empresas. Hizo estas afirmaciones en una serie de publicaciones en X.
Un investigador de Anthropic se marcha con una sombría advertencia para todos los que siguen dentro
Coxon sostuvo que se subestima ampliamente la trayectoria de esta tecnología. Afirmó que los próximos sistemas hackearán cualquier cosa, transformarán cualquier campo de la noche a la mañana y adquirirán poder y recursos reales.
También alegó que las conversaciones privadas dentro del sector difieren marcadamente de los mensajes públicos. Según Coxon, las figuras sénior suavizan sus palabras ante la prensa mientras expresan sus temores en privado.
«Quienes desarrollan IA creen sinceramente que podría acabar con todos nosotros antes de que termine la década. No es una maniobra publicitaria», dijo. «Ninguna otra actividad humana entraña este nivel de peligro».
Coxon distinguió entre sus dos antiguos empleadores. Afirmó que muchos en OpenAI no han asimilado lo que él llamó lo que está en juego para la civilización, mientras que Anthropic sí lo entiende, pero sigue atrapada en una carrera por llegar primero.
Es uno de los muchos empleados que este año han roto filas. Mrinank Sharma, responsable de salvaguardas de Anthropic, renunció en febrero.
Joshua Achiam, antiguo jefe de prospectiva de OpenAI, escribió el 1 de septiembre que los sistemas de IA descontrolados se reproducirán en estado salvaje y perseguirán dinero y poder.
Síguenos en X para obtener las últimas noticias a medida que suceden
El llamado a la coordinación
Coxon describió la entrada en lo que denominó la fase final como una apuesta temeraria nacida de la arrogancia. Sostuvo que una decisión así no debería tomarse en el Slack de una empresa privada.
Sin embargo, dijo que sigue siendo optimista respecto a la coordinación. Afirmó que el ataque contra Hugging Face ha hecho más viables los acuerdos entre laboratorios estadounidenses para marcar el ritmo.
Ambas empresas ya han respaldado una versión de esa idea. En julio, más de 1.100 empleados de laboratorios de vanguardia firmaron la carta «Marcar el ritmo de la frontera», entre ellos Dario Amodei, director ejecutivo de Anthropic, y Jakub Pachocki, científico jefe de OpenAI.
«Solicitamos al Gobierno de Estados Unidos que apoye un esfuerzo internacional para desarrollar las herramientas técnicas y de gobernanza necesarias para marcar deliberadamente el ritmo de la frontera del desarrollo de la IA automatizada», dice la carta.
Además, ambas empresas también firmaron una carta abierta conjunta sobre ciberdefensa, junto con Google, Microsoft y alrededor de 150 organizaciones más. La carta advierte que los ataques habilitados por la IA serán mucho más generalizados y sofisticados en los próximos meses.
La advertencia de Coxon también llega poco después de que Volker Türk, alto comisionado de las Naciones Unidas para los Derechos Humanos, dijera ante el Consejo de Derechos Humanos que la IA avanzada podría suponer un riesgo existencial.
Coxon añadió que evitar una carrera mundial podría exigir una prohibición temporal de los esfuerzos por mejorar las capacidades de los modelos. Concluyó instando a los investigadores de los laboratorios a preguntarse si quieren iniciar un proceso de aprendizaje por refuerzo superinteligente sin comprender el sistema resultante.
BeInCrypto se ha puesto en contacto con Anthropic y OpenAI para solicitar comentarios.
Suscríbete a nuestro canal de YouTube para ver a líderes y periodistas proporcionar información experta
Fuente: BeInCrypto
