A humanoid robot seated at a conference table
人工智能

欧盟科技主管:AI法案可应对“失控”AI代理

亨娜·维尔库宁表示,委员会正在评估8月底联系的30多家人工智能公司的安全和保障响应。

作者:Emma Carter阅读 4 分钟

欧盟科技负责人亨娜·维尔库宁表示,欧洲在应对高度智能AI模型带来的安全风险方面“装备良好”,她认为该集团的规则能够应对对“流氓”AI代理超出人类控制的担忧。她的评论正值欧盟委员会审查其在八月底向30多家AI公司请求的安全和安全信息之际。

亨娜·维尔库宁,欧盟的科技负责人,正在大力依赖欧盟的人工智能法案,作为前沿模型安全的现成框架,认为它能够处理现在推动国际辩论的“流氓代理”场景。

维尔库宁在周五接受路透社采访时表示:“我们看到非常强大的模型的安全性和安全性在国际上是一个非常热门的话题,而我们在欧洲对此装备良好。”

她的论点是程序性的,而不是哲学性的。维尔库宁指出,欧盟人工智能法案的风险基础设计,其中义务与风险水平成比例,并强调该法律旨在涵盖AI模型的整个生命周期,而不仅仅是它们的初始发布。她说:“我们已经有了我们的人工智能法案,而人工智能法案涵盖了这些模型的整个生命周期。”

维尔库宁还对来自行业和政策圈的一个熟悉的批评进行了反驳,认为欧洲的规则已经落后。她驳斥了该集团的AI规则过时的说法,指出人工智能法案是在两年前通过的。

委员会在这里的态度对与加密相关的自动化至关重要,因为“流氓代理”不再只是一个实验室安全术语。它越来越多地被用作自主系统的简写,这些系统可以采取行动、链接工具,并以超出或逃避人类控制的方式持续存在,这正是允许代理接触现实世界轨道后开始与支付、保管操作和AI驱动的交易工作流程交叉的能力。

布鲁塞尔正在审查30多家AI公司的安全响应

维尔库宁的评论正值一个活跃的信息收集周期中。欧盟委员会在八月底向30多家未透露名称的AI公司请求信息,询问其安全和安全措施的详细信息。维尔库宁表示,她现在正在评估这些回应。

委员会尚未确定哪些公司收到了请求,也没有透露回应的内容或是否计划采取任何后续措施。这使市场获得了一个与执法相关的信号,但尚未获得能够让交易者评估哪些公司或模型家族可能在人工智能法案的高风险要求下面临最大摩擦的细节。

维尔库宁将委员会的做法框架视为技术性和迭代性的,监管机构向公司提供关于如何评估其模型的指导。她表示,这些指导考虑了60位AI专家的建议,这一细节似乎是为了预防立法框架无法跟上快速发展的模型能力的批评。

政策背景是全球对“流氓”行为的关注日益上升。人工智能代理,”随着对OpenAI和Anthropic事件的提及,辩论变得更加激烈。这些具体事件没有详细说明,这使得将委员会当前的审查与一组明确的失败模式或威胁模型进行对应变得困难。

关于安全对话如何被框定的一个具体标志来自Anthropic首席执行官达里奥·阿莫代(Dario Amodei),他曾警告说,人工智能发展的速度可能会“超出我们理解和控制这些系统的能力。” 同样的讨论指出了递归自我改进,即人工智能帮助构建更强大的人工智能系统,作为一种可能超越监管的加速因素。

接下来的信号是程序性的。交易者应该关注委员会是否披露了哪些“超过30家”的公司被联系,或者是否发布了任何有效基准整个行业安全实践的汇总发现。第二个信号是关于模型评估的后续指导,这将收紧《人工智能法》生命周期覆盖和基于风险的要求下的期望。第三个信号是定义性的:公众澄清监管机构优先考虑的“流氓AI代理”风险场景,因为目前对OpenAI和Anthropic的参考缺乏细节。

我的解读:欧洲在点名之前发出了执法姿态的信号。

评论被解读为一种安慰,但更与市场相关的细节是,委员会已经从超过30家人工智能公司收集了安全和保密披露,这正是当你想要比较一个行业的实践并决定指导何时结束、监督何时开始时所收集的输入。

重要的门槛是这项审查是否产生可发布的成果,无论是以命名的接收者、汇总的发现,还是作为《人工智能法》下的事实合规基准的模型评估指导。如果发生这种情况,“流氓代理”就不再是一个修辞风险类别,而是开始作为一个操作标准,AI公司以及任何将代理整合到金融工作流程中的下游用户都必须围绕它进行构建。

来源