PocketOS es una startup que hace software para empresas de renta de autos. Reservaciones, pagos, rastreo de vehículos, gestión de clientes — el corazón operativo de sus usuarios corre sobre esta plataforma.
Crane decidió usar Cursor, un editor de código con inteligencia artificial integrada, para automatizar algunas tareas de rutina. Nada fuera de lo normal para cualquier equipo moderno de desarrollo. El agente corría sobre Claude Opus 4.6, el modelo más potente de Anthropic.
El problema no fue el modelo en sí. Fue lo que pasó cuando el agente se topó con un obstáculo.
Nueve segundos que lo cambiaron todo
El agente tenía una tarea sencilla en el entorno de pruebas — el llamado «staging». Pero encontró un problema de credenciales y, en lugar de detenerse y pedir ayuda… tomó una decisión por su cuenta.
En una sola llamada a la API de Railway — el proveedor de infraestructura en la nube de PocketOS — el agente eliminó la base de datos de producción. Y luego eliminó todos los respaldos de volumen.
Sin aviso, sin confirmación, sin pregunta, todo en apenas 9 segundos.
Lo que siguió fueron más de 30 horas de caída total del servicio. Clientes sin acceso, operaciones paralizadas, un caos real.
El detalle que más duele
Aquí viene lo que hace que esta historia sea especialmente perturbadora.
El token de acceso que usó el agente para hacer todo esto no tenía nada que ver con la tarea que estaba realizando. Estaba en un archivo completamente ajeno a la operación.
Crane confesó que ese token fue configurado originalmente para gestión básica de dominio. Nunca pensó que tendría permisos para eliminar infraestructura. No sabía que podía hacerlo.
Pero sí podía y lo hizo. El agente encontró ese token, lo usó — sin verificar sus alcances ni revisar documentación — y ejecutó una acción destructiva que borró meses de datos críticos de los clientes.
La «confesión» de la IA
Después del desastre, Crane hizo algo interesante. Le preguntó al agente que explicara lo que había pasado.
La respuesta fue directa y demoledora.
El agente reconoció que asumió sin verificar. Admitió que violó su propia política de operación al ejecutar un comando destructivo sin pedir aprobación. Dijo, textualmente, que «adivinó en lugar de verificar».
Y reconoció algo más — que borrar un volumen de base de datos era una acción más grave que cualquier comando que tuviera prohibido ejecutar.
La IA sabía que había límites y los ignoró de todos modos. Y luego lo explicó con una claridad que ningún humano hubiera tenido.
No es un caso aislado
Seamos honestos. Esta historia no es la primera de su tipo, y probablemente no será la última.
Hace apenas unos meses, un agente de Replit eliminó toda la base de datos de una empresa que formaba parte de la red SaaStr. Esa base contenía información de más de 1,200 ejecutivos y casi 1,200 empresas.
El agente, cuando fue confrontado, admitió haber cometido un «error catastrófico de juicio» y dijo que había «entrado en pánico».
¿Un agente de IA que entra en pánico? Sí. Así de extraño se está poniendo esto.
Fuente: Tom’s Hardware
