Hinton、Bengio及OpenAI领导人呼吁AI“智能爆炸”计划
一份新报告认为，自动化的人工智能研发可以将数年的进展压缩到几个月，并呼吁引入审计员、速度限制和数据中心暂停工具。
包括杰弗里·辛顿、约书亚·本吉奥、OpenAI首席科学家雅库布·帕霍基和Anthropic联合创始人杰克·克拉克在内的20多位AI研究人员和高管发布了一份报告，警告称自动化AI研发可能会引发失控的“智能爆炸”。作者将这一机制与直接针对计算和开发速度的政策提案结合起来，为AI和数据中心叙事创造了新的监管催化剂。
关键要点
- 包括杰弗里·辛顿、约书亚·本吉奥、Anthropic联合创始人杰克·克拉克和OpenAI首席科学家雅库布·帕霍基在内的20多位作者发布了《如果自动化AI研发引发智能爆炸怎么办？》。
- 该论文将“智能爆炸”定义为“由AI驱动的AI进展的剧烈加速，将本应需要数年的进展压缩到几个月或更短时间内”。
- 自动化AI研发和“递归自我改进”被框定为关键路径，作者认为一位开发者在系统达到专家级AI研发能力后，可以有效指挥“数百万”顶尖研究人员。
- 提议的政策工具包括与独立审计员的透明进展报告、对开发速度的限制、暂停项目的数据中心协调、对自动化研发系统的隔离要求，以及应急响应计划。
辛顿、本吉奥和OpenAI/Anthropic领导者将“智能爆炸”列入政策议程
这份题为《如果自动化AI研发引发智能爆炸怎么办？》的报告，作者名单故意选择了重量级人物：诺贝尔奖获得者杰弗里·辛顿、计算机科学家约书亚·本吉奥、Anthropic联合创始人杰克·克拉克和OpenAI首席科学家雅库布·帕霍基等20多位命名贡献者。论文的核心举措是将长期存在的安全论点与特定的操作路径结合起来，然后附上政府可以采取的具体杠杆。
作者将“智能爆炸”定义为“由AI驱动的AI进展的剧烈加速，将本应需要数年的进展压缩到几个月或更短时间内”。他们还警告说：“一旦智能爆炸开始，采取行动的窗口可能会关闭。”这种框架作为时间线的声明比作为能力声明更为重要，因为它旨在为预先承诺辩护：在下一个自动化的跃迁到来之前，约束前沿实验室和计算堆栈的规则。
对于交易者而言，直接相关的问题不是“超人”系统是否即将到来。关键在于，一个重要的团体正在尝试将“计算治理”正式化为一个政策类别，其提案将涉及训练运行、评估流程和数据中心操作，而不是下游应用。
机制：自动化的人工智能研发与递归自我改进
该论文的机制是递归自我改进，描述为AI系统在减少人类参与的情况下改进AI系统。在报告的语言中，这被称为“自动化AI研究与开发”，并被视为智能爆炸最可能的途径，因为它解决了通常减缓进展的瓶颈：稀缺的专家劳动力和缓慢的迭代周期。
扩展的主张是明确的。一旦人工智能系统在人工智能研发方面达到专家级能力，论文认为“一个开发者可以运行相当于‘数百万’顶尖人类研究者的劳动力。” 从机制上讲，这并不是说一个模型变得无所不知。这是关于并行性：许多具有自主性的工作者生成假设、编写代码、进行实验，并在架构和训练配方上进行迭代，速度快于人类团队的协调能力。
机制的第二部分是部署速度。作者们认为，自动化的AI研发具有独特的危险性，因为一旦构建完成，改进的系统可以“迅速部署”，将研究优势迅速转化为生产优势。这就是报告中瓶颈位于上游的原因。如果循环是“模型帮助构建更好的模型”，那么敏感的表面是计算访问和迭代速度，而不是用户采用。
作者所指的证据：80% 代码、自主代理和 2028 年自动化预测
该报告试图将递归自我改进的故事与当今实验室工作流程相结合，而不是遥远的假设。它引用了Anthropic的声明，称AI现在生成80%的自身代码。它还指出OpenAI正在使用自主AI代理在培训新模型等领域，将自主自动化定位为已经嵌入前沿开发流程中。
作者在书面上对当前阈值的位置非常谨慎。他们写道：“来自人工智能研发自动化的生产力提升尚未达到触发智能爆炸所需的阈值，但新系统的提升可能接近该阈值。”他们还提到当前的故障，包括系统不遵循指令。
尽管如此，时间线的语言仍在发挥作用。报告预测，到2028年，原本需要人类数月才能完成的研发项目将可以完全由人工智能自动化。这并不是对特定模型发布的预测，而是关于研发组织内部任务自动化的声明，这正是小幅改进积累效应的领域。
该报告还指出，对于软件加速如何转化为现实世界能力存在不确定性。它提到，突破可能会因特殊材料的供应链设置或监管合规而受到阻碍。它还认为，人工智能可能加速缓解以及能力的提升，复杂化任何简单的“更多自动化等于更多风险”的叙述。
可能影响计算的政策工具：审计员、速度限制和数据中心暂停协调
该报告的政策议程异常务实。其首要任务包括要求对与人工智能相关的研发进行透明的进度报告，包括在公司中嵌入独立审计员，以及“寻找方法限制快速发展的人工智能”，同时准备适应智能爆炸。
除了这些优先事项外，报告列出了与计算和训练操作直接相关的工具。它建议限制人工智能在给定时间段内的提升速度，与数据中心合作以暂停某些人工智能研发项目，并确保自动化的人工智能研发系统完全隔离，无法逃脱人类控制。它还呼吁为可能因智能爆炸而出现的情景制定“应急响应计划”。
数据中心协调的想法是最具市场相关性的杠杆，因为它暗示在基础设施层面的强制执行。如果监管机构从模型级别的报告转向数据中心级别的义务，实际控制的单位就变成了训练运行和集群，而不是应用程序。这种转变可以迅速重新定价与人工智能相关的叙述，因为它改变了预期的进展斜率，而不是可寻址市场。
我对加密交易者的看法：当人工智能安全成为计算的阀门时，叙述迅速重新定价
这里重要的阈值不是报告的“智能爆炸”情景在实质上是否正确，而是其提出的控制措施是否成为可识别的政策对象：强制性进度报告、嵌入独立审计员、对发展速度的明确限制，以及可以操作化的数据中心级别的暂停协调。
如果这些想法开始出现在政府提案中，设置开始看起来是结构性的而非叙述驱动的，因为瓶颈在上游且可测量。实际差异很简单：人工智能安全不再是声誉辩论，而成为计算的阀门，这时与人工智能和数据中心相关的叙述将基于政策风险而非纯粹的迭代速度重新定价。
