Los encargados de mantener la IA segura acaban de renunciar para vigilarla desde afuera

Hace una semana, tres jefes de empresas rivales de IA coincidieron en público en que la industria necesitaba frenar. Esta semana mostró cómo se ve eso realmente por dentro. Tres investigadores cuyo trabajo entero consistía en detectar el peligro en los modelos de IA más avanzados renunciaron a sus puestos en lugar de esperar a que sus empleadores actuaran, el director ejecutivo de Microsoft respondió publicando un código de conducta público para los modelos de su propia empresa, y dos docenas de los mejores matemáticos del mundo dijeron que la industria avanza ahora más rápido de lo que su campo puede verificar. Lejos de todo eso, un arquero en México escribió un tipo de historia muy distinto para la India.

Los que vigilan el peligro de la IA se están yendo de la empresa

El 8 de septiembre, Jacob Coxon, que había pasado casi tres años haciendo investigación de preentrenamiento primero en OpenAI y luego en Anthropic, anunció su renuncia. En un mensaje de siete partes en X que acumuló casi 76 millones de visualizaciones de un día para otro, escribió que ambas empresas “corren directo hacia una superinteligencia capaz de mejorarse a sí misma, apostando con nuestras vidas”, y que la gente que construye la tecnología “cree sinceramente que podría matarnos a todos antes de que termine la década”.

Tres días después, Joe Benton, quien había liderado un equipo de investigación de seguridad en Anthropic, reveló que él también había renunciado, y dio su primera entrevista al respecto a NBC News. Dijo que actualmente las empresas solo revelan los riesgos de la IA cuando les conviene. “Por ahora, básicamente toda la transparencia sobre estos riesgos que viene de las empresas es completamente voluntaria”, dijo Benton, y añadió que creía poder hacer más bien “fomentando la transparencia pública desde fuera de estas empresas” que quedándose dentro de una. Uno o dos días más tarde, Josh Engels, que había trabajado en el equipo de seguridad de AGI de Google DeepMind, dijo que en realidad se había ido tres semanas antes, rechazando ofertas de trabajo tanto de Anthropic como de OpenAI en el camino. Engels dijo a los periodistas que ve una “probabilidad aterradora” de que los sistemas de IA causen daños graves en los próximos cinco años.

Los tres se dirigen al mismo lugar: METR, una organización sin fines de lucro con sede en Berkeley, cuyo nombre completo es Model Evaluation and Threat Research, que pone a prueba las capacidades peligrosas o autónomas de los sistemas de IA más avanzados en nombre de los gobiernos y del público, no de las empresas que los construyen. Su sello es la independencia, y después de esta semana cuenta con tres personas más que antes cobraban de los mismos laboratorios que ahora van a vigilar.

La respuesta de Microsoft: publicar las reglas en vez de renunciar

El 13 de septiembre, el director ejecutivo de Microsoft, Satya Nadella, respondió al mismo debate de una manera muy distinta. En una publicación en X, escribió que “cualquier búsqueda de la superinteligencia tiene que basarse en el principio central de que si la IA que construimos no ayuda a la humanidad y no está bajo control humano, no vale la pena perseguirla”. En lugar de renunciar o presionar a la industria desde afuera, Nadella dijo que Microsoft publicaría un código de conducta sobre cómo entrena, prueba y despliega sus propios modelos MAI, abriendo el documento a consulta pública a partir del 14 de septiembre.

Argumentó que la industria necesita convertir las promesas de seguridad en lo que llamó “mecanismos operativos concretos”, y planteó ideas como dar a evaluadores externos el tipo de acceso continuo que se necesitaría para verificar de verdad las afirmaciones de seguridad de una empresa, en lugar de simplemente creerle. Es una respuesta más suave que la renuncia de tres investigadores, pero sigue siendo el jefe de una gran empresa de IA admitiendo públicamente que vigilarse a sí mismo no basta.

Veinticinco medallistas Fields dicen que la IA está rompiendo las reglas de las matemáticas

La presión sobre los laboratorios de IA no viene solo de sus exempleados. El 15 de agosto, el matemático de NYU Tristan Buckmaster y el investigador de Anthropic Levent Alpoge demostraron que una versión de las ecuaciones de Euler puede desarrollar singularidades, basándose en un método desarrollado antes por Diego Cordoba y Luis Martinez Zoroa. La noticia de ese trabajo no publicado llegó a OpenAI esa misma semana, y para el fin de semana siguiente un equipo liderado por Sebastien Bubeck, quien dirige la investigación matemática de OpenAI, había llevado el mismo argumento hasta una demostración que abarca las ecuaciones completas de Navier-Stokes, uno de los siete problemas del Milenio de las matemáticas, con un premio de un millón de dólares para quien lo resuelva.

OpenAI anunció el resultado el 8 de septiembre, diciendo que un modelo aún no publicado lo había producido usando cerca de 10.000 agentes de IA trabajando en paralelo durante 88 horas. Buckmaster acusó públicamente a OpenAI de intentar dejar fuera del crédito a su colaborador y de presionarlo para que guardara silencio. OpenAI dice que sus investigadores y agentes nunca vieron directamente el trabajo no publicado de Buckmaster y Alpoge, aunque la empresa reconoció que datos de uso de su propia plataforma, sin identificar a los usuarios, podrían haber orientado a sus sistemas hacia ese mismo problema abierto.

Tres días después del anuncio de OpenAI, 25 medallistas Fields, el máximo honor del mundo matemático, publicaron una declaración conjunta diciendo que los objetivos de las empresas de IA y de la comunidad matemática están “gravemente desalineados”. Su queja no es que la IA no tenga lugar en las matemáticas. Es que las empresas anuncian avances a un ritmo que nadie puede verificar, saltándose los escritos, la atribución de crédito y la revisión por pares que le permiten al campo confiar en un resultado. El medallista Fields Terence Tao, que firmó la declaración, lo resumió con claridad: “Ahora hemos visto que hasta el rumor de que alguien está trabajando en un problema puede desatar una cantidad masiva de esfuerzo impulsado por IA para aplastarlo antes de que el proyecto de investigación original tenga tiempo de alcanzar todo su potencial”.

El arquero de la India por fin consigue su oro

Lejos de esta discusión que la industria de la IA tiene consigo misma, Dhiraj Bommadevara, de 25 años, le dio a la India algo que celebrar sin ninguna condición. En la final de la Copa del Mundo de tiro con arco en Saltillo, México, se enfrentó al japonés Nakanishi Junya en la final masculina de arco recurvo, un duelo tan reñido que llegó hasta un desempate. Bommadevara mantuvo la calma y clavó un 10 en la flecha decisiva, frente al 9 de Nakanishi, para quedarse con el oro.

Con eso se convirtió en el primer hombre indio en ganar un título individual en la final de la Copa del Mundo de tiro con arco, y en el segundo indio de cualquier género en lograrlo, después de que Dola Banerjee ganara el título femenino de arco recurvo en Dubái en 2007. Pasaron diecinueve años para que un segundo nombre se sumara a esa lista, y Bommadevara no pudo haberlo ganado de una forma más difícil que en la final en la que lo hizo.