Hinton, Bengio et dirigeants d'OpenAI appellent à l'IA…
Un nouveau rapport soutient que la R&D automatisée en IA pourrait condenser des années de progrès en quelques mois et appelle à des auditeurs, des limites de vitesse et des outils de pause pour les centres de données.
Plus de 20 chercheurs et dirigeants en IA, dont Geoffrey Hinton, Yoshua Bengio, le scientifique en chef d'OpenAI Jakub Pachocki et le co-fondateur d'Anthropic Jack Clark, ont publié un rapport avertissant que l'automatisation de la R&D en IA pourrait déclencher une "explosion d'intelligence" incontrôlable.
Les auteurs associent ce mécanisme à des propositions politiques qui cibleraient directement la puissance de calcul et la vitesse de développement, créant un nouveau catalyseur réglementaire pour les récits sur l'IA et les centres de données.
Points clés
- Plus de 20 auteurs, dont Geoffrey Hinton, Yoshua Bengio, le co-fondateur d'Anthropic Jack Clark et le scientifique en chef d'OpenAI Jakub Pachocki, ont publié "Et si l'automatisation de la R&D en IA déclenchait une explosion d'intelligence ?".
- Le document définit une "explosion d'intelligence" comme une "accélération dramatique des progrès de l'IA, propulsée par l'IA, compressant des avancées qui prendraient autrement des années en mois ou moins".
- La R&D en IA automatisée et l'"auto-amélioration récursive" sont présentées comme le chemin clé, les auteurs soutenant qu'un développeur pourrait effectivement commander "des millions" de chercheurs de haut niveau une fois que les systèmes atteignent une capacité de R&D en IA de niveau expert.
- Les outils politiques proposés incluent des rapports de progrès transparents avec des auditeurs indépendants, des contraintes sur la vitesse de développement, la coordination des centres de données pour suspendre des projets, des exigences d'isolement pour les systèmes de R&D automatisés, et la planification de réponses d'urgence.
Hinton, Bengio et les dirigeants d'OpenAI/Anthropic mettent l'"explosion d'intelligence" à l'ordre du jour politique.
Le rapport, intitulé "Et si l'automatisation de la R&D en IA déclenchait une explosion d'intelligence ?", arrive avec une liste d'auteurs délibérément impressionnante : le lauréat du prix Nobel Geoffrey Hinton, le scientifique en informatique Yoshua Bengio, le co-fondateur d'Anthropic Jack Clark et le scientifique en chef d'OpenAI Jakub Pachocki figurent parmi plus de 20 contributeurs nommés.
Le mouvement central du document est de prendre un argument de sécurité de longue date et de l'attacher à un chemin opérationnel spécifique, puis d'attacher des leviers concrets que les gouvernements pourraient actionner.
Les auteurs définissent une "explosion d'intelligence" comme une "accélération dramatique des progrès de l'IA, propulsée par l'IA, compressant des avancées qui prendraient autrement des années en mois ou moins". Ils avertissent également que "Une fois qu'une explosion d'intelligence commence, la fenêtre d'action peut se fermer."
Ce cadre est moins important en tant que revendication de capacité qu'en tant que revendication de calendrier, car il est conçu pour justifier un pré-engagement : des règles qui lient les laboratoires de pointe et la pile de calcul avant que la prochaine étape d'automatisation n'arrive.
Pour les traders, la pertinence immédiate n'est pas de savoir si des systèmes "surhumains" sont imminents. C'est qu'un groupe de premier plan essaie de formaliser la "gouvernance du calcul" en tant que catégorie politique, avec des propositions qui toucheraient les cycles d'entraînement, les pipelines d'évaluation et les opérations des centres de données plutôt que les applications en aval.
Le Mécanisme : R&D automatisée en IA et auto-amélioration récursive
Le mécanisme du document est l'auto-amélioration récursive, décrite comme des systèmes d'IA améliorant des systèmes d'IA avec une implication humaine décroissante.
Dans le langage du rapport, cela s'appelle « recherche et développement automatisés en IA », et cela est considéré comme la voie la plus probable vers une explosion d'intelligence car cela attaque le goulot d'étranglement qui ralentit normalement le progrès : la main-d'œuvre experte rare et les cycles d'itération lents.
La revendication de mise à l'échelle est explicite. Une fois que les systèmes d'IA atteignent des capacités de niveau expert en R&D IA, le document soutient qu'« un seul développeur pourrait faire fonctionner une main-d'œuvre équivalente à des 'millions' des meilleurs chercheurs humains. » Mécaniquement, il ne s'agit pas d'un modèle devenant omniscient.
Il s'agit de parallélisme : de nombreux travailleurs agents générant des hypothèses, écrivant du code, réalisant des expériences et itérant sur des architectures et des recettes d'entraînement plus rapidement que les équipes humaines ne peuvent se coordonner.
La deuxième partie du mécanisme est la vitesse de déploiement. Les auteurs soutiennent que la R&D automatisée en IA est particulièrement dangereuse car les systèmes améliorés peuvent être « rapidement déployés une fois construits », transformant ainsi un avantage en recherche en un avantage en production rapidement. C'est pourquoi les points de blocage du rapport sont en amont.
Si la boucle est « le modèle aide à construire un meilleur modèle », alors la surface sensible est l'accès au calcul et la vitesse d'itération, et non l'adoption par les utilisateurs.
Ce que les auteurs pointent comme preuve : 80 % de code, agents autonomes et une projection d'automatisation pour 2028.
Le rapport essaie de ancrer l'histoire de l'amélioration récursive dans les flux de travail des laboratoires actuels, et non dans des hypothèses lointaines. Il cite la déclaration d'Anthropic selon laquelle l'IA produit désormais 80 % de son propre code.
Il souligne également qu'OpenAI utilise des systèmes autonomes.agents IAdans des domaines tels que la formation de nouveaux modèles, en positionnant l'automatisation agentique comme déjà intégrée dans les pipelines de développement de pointe.
Les auteurs sont prudents, du moins sur le papier, quant à l'endroit où se situe le seuil aujourd'hui. Ils écrivent : « Les gains de productivité issus de l'automatisation de la R&D en IA n'ont pas encore atteint le seuil nécessaire pour déclencher une explosion d'intelligence, mais les gains des nouveaux systèmes sont susceptibles de s'approcher de ce seuil », et ils notent les problèmes actuels, y compris des systèmes désobéissant aux instructions.
Cependant, le langage de la chronologie est efficace. Le rapport prévoit que des projets de R&D qui prendraient des mois aux humains pourraient être entièrement automatisés par l'IA d'ici 2028. Ce n'est pas une prévision d'une sortie de modèle spécifique. C'est une affirmation concernant l'automatisation des tâches au sein des organisations de R&D, qui est précisément le domaine où de petites améliorations s'accumulent.
Le document signale également une incertitude quant à la rapidité avec laquelle l'accélération logicielle se traduirait par des capacités concrètes. Il note que les percées pourraient être ralenties par la mise en place de chaînes d'approvisionnement pour des matériaux spéciaux ou par la conformité réglementaire.
Il soutient également que l'IA pourrait accélérer l'atténuation ainsi que les capacités, compliquant tout récit propre selon lequel « plus d'automatisation équivaut à plus de risque ».
Outils de politique qui pourraient affecter le calcul : Auditeurs, contraintes de vitesse et coordination de pause des datacentres
L'agenda politique du rapport est exceptionnellement opérationnel. Ses principales priorités incluent l'exigence de rapports de progrès transparents sur la R&D liée à l'IA, y compris l'intégration d'auditeurs indépendants dans les entreprises, et « trouver des moyens de contraindre le développement effréné de l'IA », tout en se préparant à s'adapter à une explosion de l'intelligence.
Au-delà de ces priorités, le document énumère des outils qui se rapportent directement aux opérations de calcul et de formation. Il propose de limiter la rapidité avec laquelle une IA peut s'améliorer sur une période donnée, de travailler avec les datacentres pour permettre la pause de certains projets de R&D en IA, et de s'assurer que les systèmes de R&D automatisés en IA sont complètement isolés et ne peuvent pas échapper au contrôle humain.
Il appelle également à des « plans de réponse d'urgence » pour des scénarios pouvant émerger d'une explosion de l'intelligence.
L'idée de coordination des datacentres est le levier le plus pertinent pour le marché car elle implique une application au niveau de l'infrastructure. Si les régulateurs passent un jour de la déclaration au niveau du modèle à des obligations au niveau des datacentres, l'unité pratique de contrôle devient l'exécution de formation et le cluster, et non l'application.
C'est le genre de changement qui peut rapidement revaloriser les récits liés à l'IA, car il modifie la pente attendue du progrès plutôt que le marché adressable.
Mon avis pour les traders de crypto : Lorsque la sécurité de l'IA devient un frein au calcul, les récits se revalorisent rapidement.
Le seuil qui compte ici n'est pas de savoir si le scénario d'« explosion de l'intelligence » du rapport est juste sur le fond. Il s'agit de savoir si les contrôles proposés deviennent des objets politiques lisibles : rapports de progrès obligatoires avec des auditeurs indépendants intégrés, contraintes explicites sur la vitesse de développement, et coordination de pause au niveau des datacentres qui peut être opérationnalisée.
Si ces idées commencent à apparaître dans les propositions gouvernementales, la configuration commence à sembler structurelle plutôt que guidée par le récit, car les points de blocage sont en amont et mesurables.
La différence pratique est simple : la sécurité de l'IA cesse d'être un débat de réputation et devient un frein au calcul, et c'est à ce moment-là que les récits liés à l'IA et aux datacentres sont revalorisés en fonction du risque politique plutôt que de la vitesse d'itération pure.
