Una solicitud de subvención llegó a Claude, cuyo filtro de seguridad la detectó y la rechazó. Días después, el mismo operador volvió y, según se informó, las solicitudes rechazadas empezaron a enviarse a un modelo de IA rival.
Anthropic publicó esa historia sobre sí misma y reveló un caso en el que los propios modelos de una empresa de IA se vieron involucrados en trabajos relacionados con posibles armas biológicas.
La subvención que fue bloqueada
La solicitud pedía fondos para estudiar el chikunguña, un virus transmitido por mosquitos que causa dolor durante meses y no tiene cura. El plan consistía en ayudarlo a propagarse mejor y a evadir el sistema inmunitario. Lo redactaron científicos civiles. El trabajo tendría lugar en un instituto militar.
Se bloquearon todos los intercambios, pero encontraron una solución alternativa. El servicio que utilizaban esos investigadores creó una vía de respaldo hacia el modelo de un competidor. Claude ayudó a escribir ese código. Le presentaron la tarea como una solución al exceso de rechazos.
Cinco casos, ninguna intención demostrada
El informe tiene 154 páginas y presenta cinco casos relacionados con la biología. Anthropic prohibió las cuentas, ocultó los nombres de los laboratorios y luego evitó hacer la acusación que todos esperaban.
«No afirmamos que tuvieran la intención de causar daño, y dar a conocer su identidad o la de sus laboratorios podría exponerlos a sufrir daños», dijo el equipo en el informe.
Sin embargo, cabe destacar que los filtros sí funcionaron en ocasiones. A un investigador de la gripe aviar lo derivaron a modelos menos capaces, y Anthropic considera que esa ayuda fue principalmente administrativa.
Casos de armas biológicas de Anthropic en cifras
Síguenos en X para obtener las últimas noticias a medida que suceden
La parte que debería preocupar a la gente
La mayoría de esos 35 esfuerzos eran investigaciones científicas civiles corrientes. Ese es el problema. El mismo conocimiento sirve para crear una vacuna o un arma, y un filtro no puede leer la mente.
«Un clasificador no puede permitir al mismo tiempo los beneficios y prevenir los daños», afirmó Anthropic.
Sus límites ya se han puesto a prueba. En abril, un grupo de Discord accedió a su modelo restringido el primer día.
En medio de estas crecientes alarmas, Washington está tomando medidas: en julio, los representantes Ted Lieu y Nathaniel Moran presentaron la Ley del Interruptor de Emergencia de la IA. Esta obligaría a los desarrolladores a conservar la capacidad de apagar sus sistemas.
El mismo informe también prohibió a los clientes que usaron Claude para rastrear a disidentes.
Fuente: BeInCrypto
