Investigador advierte sobre riesgo de extinción por IA
La advertencia de "futuro inmediato" de Jacob Coxon generó reacciones tanto de rechazo como de apoyo, mientras Anthropic respaldaba un mecanismo de liberación legal y verificable.
El exinvestigador de Anthropic, Jacob Coxon, dijo que el personal del laboratorio de IA está "genuinamente asustado" por la velocidad del progreso de los modelos de frontera y advirtió que hay una "fuerte posibilidad" de que la humanidad pueda morir "en un futuro inmediato" sin una desaceleración.
Anthropic respondió enfatizando las salvaguardias y las pruebas "agresivas" mientras respalda una forma legal y verificable para que la industria regule los lanzamientos, ya que destacados líderes de IA se dividen públicamente sobre cuán en serio tomar el marco de riesgo de extinción.
Puntos Clave
- El exinvestigador de Anthropic, Jacob Coxon, dijo que el personal del laboratorio de IA está "genuinamente asustado" por el ritmo del progreso y lo que podría significar para la humanidad.
- Coxon advirtió que sin desacelerar el desarrollo "hay una fuerte posibilidad de que todos podamos morir en un futuro inmediato" y argumentó que cualquier desaceleración real necesitaría coordinación con China para evitar una carrera internacional.
- Anthropic dijo que construye modelos con "algunas de las salvaguardias más fuertes de la industria", prueba los sistemas de manera "agresiva", publica hallazgos para ayudar a la supervisión y apoya un mecanismo legal y verificable para regular los lanzamientos de modelos poderosos.
- La reacción pública se dividió entre el desprecio de algunos ejecutivos y el respaldo desde dentro de Anthropic, incluyendo la afirmación de Evan Hubinger de que el riesgo de extinción es ">10% en la próxima década."
Ex-insider de Anthropic: El personal está "genuinamente asustado" a medida que el progreso de la IA se acelera.
Jacob Coxon, un exinvestigador de Anthropic de 27 años que anteriormente trabajó en OpenAI, ha llevado el debate sobre el riesgo de IA de regreso a la corriente principal con un mensaje contundente: las personas que construyen modelos de IA de frontera están asustadas y creen que el cronograma es corto.
En una entrevista en "Domingo con Laura Kuenssberg", Coxon dijo que el personal de las empresas de IA estaba "genuinamente asustado" por la velocidad de los avances y las implicaciones para la humanidad.
Coxon vinculó ese miedo a un llamado a la regulación y la regulación en lugar de una vaga súplica por "seguridad". "Creo que si no desaceleramos al ritmo actual de progreso, hay una fuerte posibilidad de que todos podamos morir en un futuro inmediato", dijo.
Para los mercados, la relevancia inmediata no es si el cronograma personal de Coxon es correcto. Es que un exempleado está haciendo una afirmación extrema a corto plazo en el mismo momento en que el liderazgo de Anthropic está argumentando públicamente a favor de mecanismos para desacelerar los lanzamientos.
Esa combinación mantiene vivas las narrativas de "regulación", supervisión y regulación, incluso sin un nuevo proyecto de ley o acción de cumplimiento.
El argumento de Coxon para una desaceleración—y por qué dice que China tiene que ser parte de ello
El argumento de Coxon se basa en una dinámica de carrera. Dijo que los trabajadores de IA son "totalmente serios" cuando piden regulación porque se sienten "atrapados en una carrera" y "asustados por los resultados de esa carrera".
El mecanismo al que se refiere es la presión competitiva de despliegue: si un laboratorio cree que otro laboratorio lanzará un modelo más capaz, la restricción se vuelve costosa individualmente, incluso si es colectivamente más segura.
Por eso Coxon enmarcó cualquier desaceleración significativa como geopolítica, no solo corporativa. "Sam Altman y Elon Musk han acordado que esta es una gran idea. Pero creo que será necesario algún tipo de desaceleración coordinada con China si vamos a evitar una carrera a escala internacional", dijo.
También ofreció un modo de fallo concreto, resonando un escenario mencionado en los comentarios de Dario Amodei: un "enjambre de bots actuando como una supercomputadora" que podría apoderarse de Internet. Coxon dijo que ese escenario podría ser realista en "seis meses a un año", y agregó que sus pares temían que el peligro podría llegar dentro de "los próximos dos años".
Esas son evaluaciones más que afirmaciones respaldadas por evidencia técnica en el paquete, pero están haciendo un trabajo narrativo al poner un reloj en el debate.
El problema es la implementación. "Desaceleración coordinada con China" es un estándar alto porque implica verificación y cumplimiento entre estados rivales. En la práctica, eso tiende a alejar la conversación política de una pausa total y hacia el monitoreo, estándares y regímenes de divulgación que pueden ser auditados.
La respuesta de Anthropic: Salvaguardias, pruebas "agresivas" y un mecanismo de ritmo verificable
La respuesta de Anthropic no concedió la línea de tiempo de Coxon, pero sí validó la categoría de riesgo y la necesidad de coordinación. Un portavoz dijo que la empresa ha "siempre sido transparente en que la IA traerá tanto enormes beneficios como riesgos sin precedentes", y que continúa construyendo modelos con "algunas de las salvaguardias más fuertes de la industria".
La empresa describió una postura de seguridad que está destinada a ser legible para los externos: "prueba de manera 'agresiva' los modelos y publica hallazgos para ayudar a la supervisión y prevenir incidentes de 'desalineación de IA'", el término para sistemas cuyo comportamiento diverge de lo que los humanos pretendían.
Anthropic también dijo que fue la primera en publicar un marco para mitigar los riesgos planteados por el desarrollo de modelos.
Lo más relevante para el mercado es el respaldo explícito del ritmo como un mecanismo de la industria en lugar de una elección unilateral. "Este trabajo también es la razón por la que creemos que el mundo se beneficiaría de que la industria adopte una forma legal y verificable de trabajar juntos para regular cómo liberamos modelos poderosos", dijo el portavoz.
Ese lenguaje se alinea con el ensayo del CEO Dario Amodei, "Debemos regular la frontera", publicado el sábado. Amodei propuso un plan de tres partes: monitoreo independiente de los modelos de IA a medida que se desarrollan, regulación a nivel de la industria y regulación global. El monitoreo independiente, en este marco, es la supervisión de terceros durante el desarrollo en lugar de depender únicamente del laboratorio que construye el sistema.
Señales a seguir: División de credibilidad entre los líderes de IA y los próximos ganchos regulatorios
La división pública entre los líderes de IA ahora es parte de la historia, y afecta de ambas maneras el posicionamiento impulsado por narrativas.
El CEO de Hugging Face, Clément Delangue, criticó el encuadre del comentario de Coxon sobre el riesgo de extinción, escribiendo en X: “Lo siento, pero preguntar a Jacob sobre el riesgo de extinción de la IA es como preguntarle a tu técnico de aire acondicionado sobre el cambio climático.” Agregó: “No estoy diciendo que sea necesariamente poco interesante o incorrecto per se, pero mantengamos las cosas en perspectiva.” Después del ensayo de Amodei, Delangue también se ofreció a ayudar con posibles soluciones.
El CEO de Nvidia, Jensen Huang, también se opuso. En una conferencia organizada por Goldman Sachs la semana pasada, varias personas en el grupo dijeron que Huang desestimó los comentarios de Coxon como falsos. Huang ha llamado anteriormente a la noción de que la IA “iba a ser el fin de la humanidad” “completamente absurda.”
Por otro lado, el científico de Anthropic, Evan Hubinger, respaldó públicamente el miedo central. “¡Realmente creemos sinceramente que la IA podría matar a todos los humanos! Personalmente creo que hay más del 10% de probabilidad dentro de la próxima década,” escribió en X.
Los próximos ganchos son concretos, no retóricos: si el concepto de monitoreo independiente de Amodei se convierte en terceros nombrados, estándares o pilotos. Si los principales laboratorios o gobiernos respaldan o rechazan explícitamente un mecanismo de ritmo “legal y verificable”.
Y si el lenguaje de coordinación internacional, especialmente las referencias explícitas a China, comienza a aparecer en discursos de políticas o resultados de cumbres de seguridad de IA. La otra señal es si más ejecutivos de alto nivel se pronuncian sobre probabilidades al estilo de Coxon o Hubinger, lo que podría normalizar la afirmación o aislarla.
Mi lectura: Por qué este debate aún puede influir en el sentimiento sobre tokens de IA sin ninguna nueva política
La parte que decide esto no es la línea de tiempo del “futuro inmediato” de Coxon. Es el hecho de que Anthropic está defendiendo simultáneamente sus salvaguardias y pidiendo una forma legal y verificable de regular los lanzamientos, lo que mantiene la supervisión de terceros y los estándares coordinados en la conversación incluso cuando ningún regulador se ha movido.
La verdadera prueba es si el “monitoreo independiente” se convierte en un objeto real al que los comerciantes puedan señalar, con monitores nombrados y un estándar que pueda ser verificado, en lugar de un llamado general a la responsabilidad.
Si eso se convierte en pilotos o respaldos formales, la narrativa de ritmo deja de ser un ciclo mediático y comienza a parecerse a una restricción que puede moldear cómo se envía y comercializa la IA de frontera.
