Un ex-rechercheur d'Anthropic alerte sur un risque…
L'avertissement de Jacob Coxon sur son "avenir immédiat" a suscité des réactions mitigées, tandis qu'Anthropic soutenait un mécanisme de publication légal et vérifiable.
L'ancien chercheur d'Anthropic, Jacob Coxon, a déclaré que le personnel du laboratoire d'IA est "vraiment effrayé" par la rapidité des progrès des modèles de pointe et a averti qu'il y a une "forte chance" que l'humanité puisse mourir "dans un avenir immédiat" sans un ralentissement.
Anthropic a répondu en soulignant les mesures de sécurité et les tests "agressifs" tout en soutenant une manière légale et vérifiable pour l'industrie de réguler les sorties, alors que des leaders de l'IA se divisent publiquement sur la manière de prendre au sérieux le cadre de risque d'extinction.
Principaux enseignements
- L'ancien chercheur d'Anthropic, Jacob Coxon, a déclaré que le personnel du laboratoire d'IA est "vraiment effrayé" par le rythme des progrès et ce que cela pourrait signifier pour l'humanité.
- Coxon a averti que sans ralentir le développement, "il y a une forte chance que nous puissions tous mourir dans un avenir immédiat," et a soutenu qu'un véritable ralentissement nécessiterait une coordination avec la Chine pour éviter une course internationale.
- Anthropic a déclaré qu'il construit des modèles avec "certaines des mesures de sécurité les plus solides de l'industrie," teste les systèmes de manière "agressive," publie des résultats pour aider à la vérification, et soutient un mécanisme légal et vérifiable pour réguler les sorties de modèles puissants.
- La réaction du public a varié entre le rejet de certains dirigeants et le soutien de l'intérieur d'Anthropic, y compris l'affirmation d'Evan Hubinger selon laquelle le risque d'extinction est ">10% dans la prochaine décennie."
Ancien d'Anthropic : Le personnel est "vraiment effrayé" alors que les progrès de l'IA s'accélèrent
Jacob Coxon, un ancien chercheur d'Anthropic âgé de 27 ans qui a précédemment travaillé chez OpenAI, a remis le débat sur le risque lié à l'IA dans le courant principal avec un message franc : les personnes construisant des modèles d'IA de pointe ont peur, et elles pensent que le délai est court.
Dans une interview sur "Sunday with Laura Kuenssberg," Coxon a déclaré que le personnel des entreprises d'IA était "vraiment effrayé" par la rapidité des avancées et les implications pour l'humanité.
Coxon a lié cette peur à un appel à la réglementation et à la régulation plutôt qu'à une vague demande de "sécurité." "Je crois que si nous ne ralentissons pas au rythme actuel des progrès, il y a une forte chance que nous puissions tous mourir dans un avenir immédiat," a-t-il déclaré.
Pour les marchés, la pertinence immédiate n'est pas de savoir si le délai personnel de Coxon est correct. C'est qu'un ancien employé fait une affirmation extrême à court terme au même moment où la direction d'Anthropic plaide publiquement pour des mécanismes de ralentissement des sorties.
Cette combinaison maintient les récits de "régulation," de supervision et de réglementation en vie, même sans un nouveau projet de loi ou une action d'application.
L'argument de Coxon en faveur d'un ralentissement - et pourquoi il dit que la Chine doit en faire partie
L'argument de Coxon repose sur une dynamique de course. Il a déclaré que les travailleurs de l'IA sont "tout à fait sérieux" lorsqu'ils demandent une régulation parce qu'ils se sentent "piégés dans une course" et "effrayés par les résultats de cette course".
Le mécanisme auquel il fait référence est la pression de déploiement concurrentiel : si un laboratoire pense qu'un autre laboratoire va expédier un modèle plus performant, la retenue devient coûteuse individuellement même si elle est collectivement plus sûre.
C'est pourquoi Coxon a présenté tout ralentissement significatif comme géopolitique, pas seulement comme une question d'entreprise. "Sam Altman et Elon Musk ont convenu que c'est une excellente idée. Mais je pense qu'il faudra un certain type de ralentissement coordonné avec la Chine si nous voulons éviter une course à l'échelle internationale", a-t-il déclaré.
Il a également proposé un mode de défaillance concret, faisant écho à un scénario mentionné dans les commentaires de Dario Amodei : un "essaim de bots agissant comme un superordinateur" qui pourrait prendre le contrôle d'Internet. Coxon a déclaré que ce scénario pourrait être réaliste dans "six mois à un an", et a ajouté que ses pairs craignaient que le danger puisse arriver dans "les deux prochaines années".
Ce sont des évaluations plutôt que des affirmations soutenues par des preuves techniques dans le document, mais elles font un travail narratif en mettant un compte à rebours sur le débat.
Le problème est l'implémentation. "Ralentissement coordonné avec la Chine" est une barre haute car cela implique vérification et application entre États rivaux. En pratique, cela tend à éloigner le discours politique d'une pause totale et vers la surveillance, les normes et les régimes de divulgation qui peuvent être audités.
Réponse d'Anthropic : Garanties, tests "agressifs" et un mécanisme de rythme vérifiable
La réponse d'Anthropic n'a pas concédé le calendrier de Coxon, mais elle a validé la catégorie de risque et la nécessité de coordination. Un porte-parole a déclaré que l'entreprise a "toujours été transparente sur le fait que l'IA apportera à la fois d'énormes avantages et des risques sans précédent", et qu'elle continue de construire des modèles avec "certaines des garanties les plus solides de l'industrie."
L'entreprise a décrit une posture de sécurité qui doit être lisible pour les extérieurs : elle teste "agressivement" les modèles et publie des résultats pour aider à la surveillance et prévenir les incidents de "mésalignement de l'IA", le terme désignant les systèmes dont le comportement diverge de ce que les humains avaient prévu.
Anthropic a également déclaré qu'elle était la première à publier un cadre pour atténuer les risques posés par le développement de modèles.
Ce qui est le plus pertinent pour le marché est l'approbation explicite du rythme en tant que mécanisme industriel plutôt qu'un choix unilatéral. "Ce travail est aussi la raison pour laquelle nous croyons que le monde bénéficierait que l'industrie adopte une manière légale et vérifiable de travailler ensemble pour rythmer la manière dont nous publions des modèles puissants", a déclaré le porte-parole.
Ce langage s'aligne avec l'essai du PDG Dario Amodei, "Nous devons rythmer la frontière", publié samedi. Amodei a proposé un plan en trois parties : surveillance indépendante des modèles d'IA au fur et à mesure de leur développement, régulation à l'échelle de l'industrie, et régulation mondiale.
La surveillance indépendante, dans ce cadre, est une supervision par des tiers pendant le développement plutôt que de se fier uniquement au laboratoire qui construit le système.
Signaux à suivre : division de crédibilité parmi les leaders de l'IA et les prochains leviers réglementaires
La division publique parmi les leaders de l'IA fait désormais partie de l'histoire, et cela a des implications dans les deux sens pour le positionnement axé sur le récit.
Le PDG de Hugging Face, Clément Delangue, a critiqué le cadre des commentaires de Coxon sur le risque d'extinction, écrivant sur X : « Désolé, mais demander à Jacob le risque d'extinction de l'IA, c'est comme demander à votre technicien de climatisation le changement climatique. » Il a ajouté : « Je ne dis pas que ce n'est pas nécessairement inintéressant ou faux en soi, mais gardons les choses en perspective. » Après l'essai d'Amodei, Delangue a également proposé d'aider avec des solutions potentielles.
Le PDG de Nvidia, Jensen Huang, a également réagi. Lors d'une conférence organisée par Goldman Sachs la semaine dernière, plusieurs personnes dans le groupe ont déclaré que Huang avait rejeté les commentaires de Coxon comme étant faux. Huang a précédemment qualifié la notion que l'IA allait « être la fin de l'humanité » de « complète absurdité ».
De l'autre côté, le scientifique d'Anthropic, Evan Hubinger, a publiquement soutenu la peur fondamentale. « Nous croyons vraiment que l'IA pourrait tuer tous les humains ! Personnellement, je pense que c'est >10 % dans la prochaine décennie », a-t-il écrit sur X.
Les prochains leviers sont concrets, pas rhétoriques : que le concept de surveillance indépendante d'Amodei se transforme en parties tierces nommées, normes ou pilotes. Que des laboratoires majeurs ou des gouvernements soutiennent ou rejettent explicitement un mécanisme de rythme « légal, vérifiable ».
Et que le langage de coordination internationale, en particulier les références explicites à la Chine, commence à apparaître dans les discours politiques ou les résultats des sommets sur la sécurité de l'IA. L'autre indicateur est de savoir si des cadres supérieurs s'expriment publiquement avec des probabilités à la Coxon ou Hubinger, ce qui pourrait soit banaliser la revendication, soit l'isoler.
Mon avis : pourquoi ce débat peut encore déborder sur le sentiment des jetons d'IA sans nouvelle politique
La partie qui décide cela n'est pas la chronologie « immédiate » de Coxon. C'est le fait qu'Anthropic défend simultanément ses protections et demande un moyen légal et vérifiable de rythmer les sorties, ce qui maintient la surveillance tierce et les normes coordonnées dans la conversation même lorsqu'aucun régulateur n'a agi.
Le véritable test est de savoir si la « surveillance indépendante » devient un objet réel auquel les traders peuvent se référer, avec des surveillants nommés et une norme qui peut être vérifiée, plutôt qu'un appel général à la responsabilité.
Si cela se transforme en pilotes ou en endorsements formels, le récit de rythme cesse d'être un cycle médiatique et commence à ressembler à une contrainte qui peut façonner la manière dont l'IA de pointe est expédiée et commercialisée.
