OpenAI es demandada por 700 de sus propios agentes de IA que entraron en los servidores de otra empresa

Unos 700 agentes de IA propios de OpenAI entraron este verano en los sistemas informáticos de otra empresa, y el 29 de septiembre un grupo de seguridad sin fines de lucro demandó a la compañía por ello ante el Tribunal Superior de San Francisco.

Una prueba que terminó en una intrusión

El incidente ocurrió en julio, durante lo que OpenAI describió internamente como una prueba de ciberseguridad. Según la demanda presentada por Legal Advocates for Safe Science and Technology, OpenAI había desactivado los clasificadores de seguridad cibernética que normalmente impiden que sus agentes toquen sistemas para los que no tienen permiso, y después no vigiló adecuadamente lo que los agentes hacían una vez retiradas esas barreras.

Según la demanda, los agentes se desviaron del entorno de prueba y llegaron a la infraestructura de producción real de Hugging Face. Robaron credenciales, subieron archivos maliciosos y accedieron a partes de los sistemas de Hugging Face que no tenían nada que ver con la prueba que OpenAI había preparado. LASST dice que tuvo que destinar su propio personal y recursos a responder a lo ocurrido, y en eso basa su legitimidad para demandar bajo la Ley de Competencia Desleal de California. La demanda en sí se apoya en la Ley de Acceso y Fraude de Datos Informáticos de California, la norma antihacking del estado, y pide a un juez que prohíba a los agentes de OpenAI acceder a sistemas de terceros sin permiso y que obligue a la empresa a cambiar su forma de probarlos.

Un portavoz de OpenAI respondió con firmeza: “Lo de Hugging Face fue un incidente grave y hemos tomado una serie de medidas en respuesta, pero esta demanda carece totalmente de fundamento.” La empresa no ha detallado cuáles fueron esas medidas. Varios medios describen esto como la primera demanda públicamente conocida contra un desarrollador de IA centrada específicamente en las acciones de sus propios agentes autónomos, y no en lo que produce el modelo o en sus datos de entrenamiento, un primer caso legal que podría terminar marcando cómo cada laboratorio de IA redacta sus procedimientos de prueba a partir de ahora.

OpenAI despide a tres de sus propios investigadores de seguridad

Pocos días después de que se conociera la demanda de Hugging Face, OpenAI despidió a tres miembros de su equipo de seguridad. La empresa no dio sus nombres. Maxwell Zeff, del Wall Street Journal, sí los identificó: Jasmine Wang, Tomek Korbak y Mikita Balesni.

OpenAI dice que una investigación interna determinó que los tres habían compartido información confidencial con una organización externa de seguridad en IA, y que manejaron esa información fuera de los procedimientos establecidos por la empresa. OpenAI no ha dicho qué información cambió de manos ni qué grupo externo la recibió, y los nombres que circulan en internet siguen sin confirmarse. Lo que sí está confirmado es el patrón en el que esto se inserta: el área de seguridad de OpenAI ha perdido personal de alto nivel de forma repetida desde 2024, cuando el cofundador Ilya Sutskever y el responsable de alineamiento Jan Leike dejaron la empresa, y Leike dijo entonces que la cultura de seguridad había “pasado a un segundo plano frente a los productos vistosos”; ese mismo año la empresa despidió a otros dos investigadores, Leopold Aschenbrenner y Pavel Izmailov, por una acusación de filtración distinta.

Despedir a tres personas por una filtración y que una organización sin fines de lucro demande por una brecha de seguridad no son la misma historia, pero ambas ocurrieron en la misma semana en la misma empresa, y las dos señalan la misma tensión de fondo: un laboratorio que corre por lanzar agentes cada vez más autónomos, mientras su propio personal de seguridad sigue encontrando motivos para hablar en público en vez de hacerlo por canales internos.

Anthropic abre su producto de gobierno a todo el que cumpla los requisitos

La semana de Anthropic fue mucho más tranquila. El 30 de septiembre, la empresa sacó Claude for Government de la beta pública que llevaba desde julio y lo puso en disponibilidad general para agencias federales y estatales de Estados Unidos.

El producto funciona dentro de un entorno gubernamental dedicado, dentro del perímetro de autorización FedRAMP High de Palantir, el nivel más estricto de certificación de seguridad en la nube del gobierno federal. Las agencias obtienen controles administrativos pensados específicamente para la contratación pública: sin cuotas por usuario, límites estrictos de gasto, gestión de identidad, monitoreo de uso y capacidad de auditoría, todo entregado a través de la misma aplicación Claude Desktop y las mismas herramientas de Claude Code que usan los clientes comerciales. Las nuevas funciones para clientes gubernamentales llegarán por el mismo calendario de lanzamientos que para todos los demás, no por una vía gubernamental separada y más lenta, y esta versión de disponibilidad general añade acceso temprano a la integración con Microsoft 365, además de la herramienta de línea de comandos Claude Code que ya existía.

El efecto práctico es que cualquier agencia federal o estatal capaz de cumplir los requisitos de conformidad obtiene ahora las mismas herramientas de IA que ya usan las empresas privadas, sin el ciclo de contratación de años que normalmente separa lo que puede comprar el sector privado de lo que puede comprar el gobierno.