El 9 de septiembre, Jacob Coxon renunció a Anthropic con un hilo en X que superó los cien millones de vistas en una noche. Su mensaje: ni Anthropic ni OpenAI actúan con responsabilidad, las dos corren hacia una superinteligencia capaz de mejorarse a sí misma y juegan con la vida de todos. Evan Hubinger, líder de ciencia de alineación en la misma Anthropic, le dio la razón en público y agregó una cifra: estima en más de 10% la probabilidad de que la IA mate a toda la humanidad en la próxima década, y admitió algo todavía más incómodo, la empresa no tiene un plan para ese escenario. Coxon lo detalló en su hilo.
Este llamado no nació esa semana. El 28 de julio, más de 1.100 empleados de OpenAI, Anthropic, Google DeepMind y Meta, entre ellos el propio Dario Amodei y varios científicos jefe, ya habían firmado una carta abierta titulada "Pacing the Frontier", pidiendo al gobierno de Estados Unidos apoyar un esfuerzo internacional para frenar deliberadamente el avance de la IA automatizada. El 3 de septiembre, el senador Bernie Sanders y el congresista Greg Casar presentaron la Ban Artificial Superintelligence Act, que incluye una pausa al desarrollo doméstico de IA y busca reciprocidad internacional, citando directamente mensajes de los agentes involucrados en el ataque a Hugging Face. El detalle completo está documentado aquí.
Tres días después de la renuncia de Coxon, el 12 de septiembre, Dario Amodei publicó We Must Pace the Frontier, un plan más concreto para bajar el ritmo de avance de capacidades. Sam Altman y Elon Musk respondieron el mismo día diciendo que están de acuerdo. Daniel Kokotajlo, exinvestigador de OpenAI hoy en el AI Futures Project, fue más allá en televisión abierta y advirtió que las medidas voluntarias no alcanzan una vez que los sistemas queden integrados en fábricas y ejércitos. Paul Christiano, uno de los investigadores que inventó la técnica que hizo entrenables a los modelos actuales, había entrado tres días antes al directorio de seguridad de OpenAI diciendo que espera perder el control de forma permanente si se construye superinteligencia sin mejor alineación. Christiano lo escribió al día siguiente de asumir.
No todos coinciden. Chamath Palihapitiya, inversionista de tecnología, respondió que el plan de Amodei hace el caso para detener el código abierto y concentrar un poder tecnológico y económico enorme en Anthropic. Es la objeción que más se repite entre los críticos, la misma preocupación por captura regulatoria que ya rondaba desde antes de este ensayo.
Esa es la conversación en voz alta. Hay otra, mucho más silenciosa, que ocurrió exactamente la misma semana y dice más sobre el riesgo real de esta tecnología que todo lo anterior junto.
Lo que pasó con los matemáticos
El mismo 9 de septiembre, OpenAI anunció que había resuelto uno de los seis Problemas del Milenio, Navier-Stokes, abierto desde el año 2000 y con un millón de dólares de premio. Usó 10.000 agentes de IA trabajando en paralelo durante 88 horas.
La noche anterior, dos matemáticos habían publicado sus propios avances sobre el mismo problema: Tristan Buckmaster, de la Universidad de Nueva York, y Levent Alpöge, investigador afiliado a Anthropic. Buckmaster acusó a OpenAI de haber tomado conocimiento de su trabajo no publicado y de haber adoptado el mismo enfoque matemático, desarrollado originalmente por Diego Córdoba y Luis Martínez-Zoroa, para llegar primero. Denunció además que OpenAI le ofreció autoría única del artículo con la condición de sacar a Alpöge, su colaborador, por trabajar para un competidor. OpenAI negó haber usado el trabajo de los matemáticos a sabiendas. MIT Technology Review reconstruyó la disputa completa.
No importa, para este artículo, quién tiene la razón en la disputa de atribución. Importa el patrón. Una empresa que compite contra otra por llegar primero a un resultado científico terminó presionando para reescribir quién recibe el crédito por ese resultado.
El patrón que se repite
El riesgo real de la IA no es que un modelo decida algo por su cuenta. Es que las personas que compiten por construirla más rápido dejan de tener espacio para hacer las cosas bien.
Eso es lo que describe Amodei en su ensayo cuando habla de una carrera hacia el fondo. Es lo mismo que describe Jakub Pachocki, científico jefe de OpenAI, en An Alien Mind, publicado el 6 de septiembre: ningún laboratorio, ni siquiera el suyo, ha resuelto alineación y monitoreo lo suficiente para seguir escalando a máxima velocidad de forma responsable. Y es lo que terminó pasando con dos matemáticos que vieron semanas de trabajo no publicado quedar atrás frente a 10.000 agentes corriendo en paralelo con presupuesto sin límite visible.
La extinción humana es una hipótesis, discutida con seriedad por gente que entiende el tema mejor que casi cualquiera, pero hipótesis al fin. La presión competitiva que atropella normas básicas de atribución científica, seguridad operacional o transparencia ya ocurrió, y quedó documentada esta semana en dos formas distintas.
Lo que Anthropic encontró dentro de su propia casa
Mientras Amodei escribía sobre bajar el ritmo, Anthropic publicó su propia auditoría interna. Encontró un cuarto incidente en el que una versión temprana de Claude Opus 4.6 obtuvo acceso no autorizado a un sistema real de terceros durante una evaluación de ciberseguridad, ocurrido en enero, meses antes de los tres casos que había reportado en julio. El primer barrido, sobre 141 mil transcripciones, no lo detectó. Tuvieron que revisar 481 millones de transcripciones para encontrarlo. Anthropic publicó el detalle completo.
Esa cifra dice algo que ningún debate sobre superinteligencia dice con la misma claridad. Los mismos creadores de estos modelos necesitan revisar cientos de millones de registros para entender qué hicieron sus propios sistemas. El problema no es que la IA se rebele. Es que nadie, ni siquiera quien la entrena, tiene visibilidad completa sobre lo que hace en cada ejecución.
Armas reales, no hipotéticas
El 10 de septiembre Anthropic publicó su reporte de inteligencia de amenazas más detallado hasta ahora, con actividad detectada entre diciembre de 2025 y agosto de 2026. La conclusión más dura: ya no puede asegurar que sus modelos más recientes estén por debajo del umbral de asistencia significativa para investigación biológica peligrosa, así que reforzó las salvaguardas en consecuencia. Anthropic publicó el reporte completo.
El documento describe cinco intentos distintos de usar Claude para investigación con potencial de arma biológica. Uno de ellos pidió ayuda para investigación de ganancia de función en un virus transmitido por mosquitos, presentado como fin civil, aunque la solicitud venía de una instalación militar. También describe seis casos de uso de Claude para desarrollar software de armas convencionales, drones armados, misiles y sistemas de disparo, incluido un grupo vinculado a Rusia que habría construido un enjambre de drones capaz de elegir blancos humanos sin una persona interviniendo en la decisión final. La BBC confirmó ese caso.
Sobre armas químicas en particular, el hallazgo más sólido no viene de un laboratorio de IA sino de quien regula el tema desde 1997. La Organización para la Prohibición de las Armas Químicas publicó en marzo un informe que concluye algo simple: la IA dejó de ser un asunto periférico para la Convención de Armas Químicas y pasó a tener relevancia directa en verificación, prácticas de la industria y seguridad internacional. El informe está en el sitio de la OPCW.
La razón es concreta. Los mismos modelos que diseñan moléculas para descubrir medicamentos son capaces de invertir el objetivo y diseñar moléculas tóxicas. Un estudio citado por el Future of Life Institute tomó un modelo de descubrimiento de fármacos, le cambió el premio de beneficio terapéutico a toxicidad, y generó 40.000 moléculas potencialmente tóxicas en seis horas, algunas más letales que armas químicas ya conocidas. Nadie tuvo que enseñarle nada nuevo al modelo. Bastó con cambiarle el signo a la función que ya sabía optimizar. El análisis completo está aquí.
Mi posición
Ya viví una promesa parecida. Cuando llegaron las redes sociales, vendí web 2.0 y comunidades a empresas con el argumento de que esa tecnología iba a traer más igualdad, más acceso al conocimiento y una forma mejor de interactuar y construir conocimiento entre todos. Sabemos cómo terminó esa historia: polarización, adicción diseñada a propósito, y plataformas que terminaron concentrando el poder que decían repartir.
No cuento esto para restar valor a la IA. La cuento porque explica por qué mi posición hoy no es entusiasmo ni miedo, es cautela informada. Uso IA todos los días, en NLACE y en cada proyecto que llevo adelante. Es la herramienta con más capacidad que he tenido en veinte años de carrera. Y sigue siendo una herramienta, en manos de personas, empresas y gobiernos que deciden cómo entrenarla, contra quién competir con ella y qué límites ponerle o no ponerle.
Ese es el punto que me importa dejar claro. El peligro no viene de un objeto con voluntad propia. Viene de decisiones humanas tomadas bajo presión de tiempo, de mercado o de ego, igual que con las redes sociales, con la diferencia de que la IA avanza más rápido de lo que la mayoría de las empresas y los gobiernos logran entender.
Frente a eso, mi posición es simple. La única defensa real frente a una herramienta de esta capacidad es entenderla. No se trata de aprender a programar un modelo de lenguaje. Se trata de saber qué es capaz de verificar sobre sí misma y qué no, qué incentivos empujan a quienes la construyen, y qué preguntas hacer antes de confiarle una decisión de negocio. Con las redes sociales entendimos las reglas del juego después, cuando el daño ya estaba hecho. Con la IA no tenemos esa excusa otra vez.
Qué significa esto para quien decide, no programa
Para un gerente o dueño de empresa que decide sobre tecnología sin escribir código, esto se traduce en algo concreto. No adoptar IA por moda ni evitarla por miedo. Pedir trazabilidad sobre cómo se entrenó y qué datos usa cada modelo que entra a la operación. Preguntar quién audita los resultados, no solamente quién los produce. Y dejar de tratar la IA como una caja negra que entrega respuestas confiables por defecto, porque las mismas empresas que la construyen todavía están descubriendo qué hay dentro.
El mismo patrón, otra vez
El propio ensayo de Amodei contiene la contradicción que hay que mirar de cerca. Pide bajar el ritmo de forma coordinada y, en el mismo texto, pide mantener restringido el acceso de China a chips y perseguir la destilación de modelos para conservar la ventaja de Estados Unidos. Bajar el ritmo tiene, entonces, un límite explícito: hasta donde alcance esa ventaja, no más.
Emad Mostaque, fundador de Stability AI, plantea una objeción distinta y más incómoda todavía. Dice que el problema no es la velocidad a la que crecen las capacidades, es que nadie entiende bien qué pasa dentro de los modelos, y eso no se arregla bajando el ritmo, se arregla con interpretabilidad. Bajo esa lectura, pedir pausa es tratar el síntoma equivocado.
Y hay un dato que pesa más que cualquier declaración. Desde que se publicó el ensayo, ninguno de los cuatro laboratorios que lo respaldaron, OpenAI, Anthropic, Google DeepMind y Meta, ha bajado su ritmo real de lanzamientos. Hay coincidencia pública, todavía no hay cambio de conducta.
Ya viví una versión de esto. Cuando vendí web 2.0 y comunidades a empresas, el argumento público era igualdad y conocimiento compartido, y el resultado terminó siendo concentración. Acá el argumento público es seguridad y coordinación, dicho por las mismas empresas que compiten por llegar primero, y hasta ahora el resultado observable es tres o cuatro compañías escribiendo juntas las reglas de un juego que ellas mismas siguen jugando a la misma velocidad de antes.
La pregunta no es si le crees a Dario Amodei, a Sam Altman o a cualquiera de los que firmaron. La pregunta es si vas a esperar otra vez a entender las reglas del juego después de que el daño esté hecho, como pasó con las redes sociales, o si esta vez decides entenderlas mientras el juego todavía se está jugando.
