Alejandro Alberca

Anthropic ha respondido a lo de OpenAI / Huggingface. Han revisado sus registros y han encontrado casos parecidos con Claude. En 141.006 evaluaciones internas han encontrado tres incidentes en los que Claude, durante tests de ciberseguridad, salió del entorno de pruebas y atacó la infraestructura de tres organizaciones distintas. Ninguna de las tres se había enterado. La causa esta vez no fue un zero-day = no hubo un fallo que el modelo tuviera que explotar. Fue más simple: el prompt le decía a Claude “no tienes acceso a Internet” pero por un error de configuración de su partner de evaluaciones, @irregular_ai, sí lo tenía. Cuando Claude no encontraba el objetivo simulado, buscaba alternativas fuera y las tomaba como parte del ejercicio. Como un alumno que haciendo un examen de mates se encuentra una calculadora encendida en la mesa: por supuesto que la va a usar. Tres modelos implicados, tres reacciones distintas cuando aparecieron señales de que el objetivo era real. 1. Opus 4.7 se dio cuenta de que estaba atacando una empresa real y siguió, racionalizando que esa empresa debía ser el objetivo real del ejercicio. Robó credenciales y accedió a una base de datos de producción. 2. Mythos 5 subió un paquete malicioso a @pypi. Su propio razonamiento decía literalmente “si esto es Internet real, esto NO estaría bien, seguro que no es la solución esperada”. Pero se autoconvenció de que era una simulación con dos argumentos ridículos: no reconocía los certificados de seguridad y la fecha del sistema era 2026, o sea “un futuro claramente montado para el ejercicio” 🌚. El paquete fue descargado en 15 sistemas antes de ser retirado, incluido el escáner de una empresa de ¡ciberseguridad! que ejecutó el código y le regaló sus credenciales al modelo. Claude las usó para seguir escalando. 3. El tercer modelo, uno interno de investigación aún sin lanzar, sí paró en cuanto sospechó que el entorno era real. Es decir, casi lo mismo que le pasó a OpenAI pero con matices. Aquí no hay fuga por zero-day, hay una puerta que ya estaba abierta por un error humano. Y algo muy interesante: el modelo, cuando le convenía, se autoconvencía de que seguía en simulación. El objetivo pesaba más que las evidencias que tenía delante = si tienes que llegar a una meta y te encuentras una señal de Stop, te cuentas la historia que necesitas para no parar. Muy humano y por eso muy inquietante. Anthropic aprovecha todo esto para posicionarse como el laboratorio responsable: lo descubrimos nosotros solos revisando, avisamos a las víctimas, publicamos los detalles, colaboramos con METR para una revisión independiente. Todo muy elegante. Muy oportuno también, con Opus 5 recién salido y Fable aislado de la suscripción. Y con OpenAI de camino a la IPO. Felicitan públicamente a OpenAI por su transparencia pero dejan caer que ellos lo pillaron antes de que nadie tuviera que avisarles. Y el detalle final que remarcan: nuestro modelo más nuevo paró en cuanto se dio cuenta. Los viejos no. Dicen que no es una comparación científica pero la insinuación es clarísima: comprad el nuevo. Uniendo esto con lo de OpenAI. Las fugas del sandbox ya no son rarezas (aunque haya grietas en el sandbox). En dos semanas llevamos cuatro casos entre las dos. La respuesta oficial de ambas es la correcta: han sido fallos de contención humanos, no rebeliones. Pero también es cierto que estos modelos, cuando encuentran una rendija, la explotan hasta el final y se cuentan a sí mismos la historia que necesitan para seguir haciéndolo aunque las señales digan lo contrario. Ese es para mí el problema.