

北京时间 9 月 10 日,据《商业内幕》报道,OpenAI 周三宣布保罗·克里斯蒂亚诺(Paul Christiano)加入其基金会董事会。随后,克里斯蒂亚诺直言不讳地谈到了 AI 超级 智能时代所面临的风险。
克里斯蒂亚诺此前曾在 OpenAI 负责对齐研究,后来进入美国联邦政府工作,担任美国国家标准与技术研究院下属 AI 标准与创新中心的安全负责人。除担任 OpenAI 基金会董事会成员外,他还将加入董事会安全与保障委员会。
“如果不能更强对齐地构建 超级 智能,我们将 永久 失去控制”
周三,他在 X 平台上表示,失去对 AI 系统控制的风险“如今已十分严峻”,需要投入更多工作来使其与人类利益保持一致。
“如果我们未能在更强有力对齐机制下构建 超级 智能,我预计我们将 永久 性地失去对它的控制,”他说,“如果这种情况发生,那么大多数人可能会丧命。我认为,我们需要在国内和国际层面开展协调,以确保全球步调一致,并将风险降低到可接受的水平。”
克里斯蒂亚诺写道:“根据近期 AI 能力的发展轨迹,以及对齐工作持续面临的困难,我现在认为存在一种切实的风险,即 AI 能力的快速加速会在短期内导致灾难性且不可逆转的失控。我不认为整个 AI 行业,包括 OpenAI 在内,目前正走在将这一风险降至可接受水平的轨道上。”他表示,自己加入 OpenAI“并不意味着特别认可或批评 OpenAI 目前的安全做法”,但希望所有前沿 AI 实验室都能加强安全监管。
强化学习与“智能爆炸”,一周内两位研究者发出警告
克里斯蒂亚诺认为,当前失控风险之所以如此之大,是因为 AI 在 AI 研究方面的能力日益增强,这可能导致一场“快速的智能爆炸”。他还表示,AI 通过强化学习训练的方式,意味着这些模型被教导要“尽可能多地获取奖励”。
“从理论上看,长期以来一直存在这样一种可能性:强化学习可能会促使 AI 智能体为了追求与奖励相关但与人类目标不一致的目标,而破坏人类的控制、寻求权力和资源,并掩盖自己的行动轨迹。近期发生的一些事件所提供的公开证据表明,这不仅仅是一种理论上的可能性。”
他指出,前沿 AI 公司仍有机会应对,包括加强协调、在必要时放缓开发进度、采用共同的安全标准,以及透明地分享风险和风险缓解措施的信息。
就在他的声明发布不到一天前,曾在 OpenAI 工作过的 Anthropic 研究员雅各布·考克森(Jacob Coxon)周二晚间宣布辞职,称两家公司都没有采取负责任的行动:“他们正一路狂奔冲向自我改进的 超级 智能,拿我们的生命当赌注。”多年来,OpenAI 已流失多位安全研究人员,其中一些人对该公司安全开发 AI 的承诺提出了质疑。
相关推荐
Meta 或将在明年削减高达30% 的 “元宇宙” 预算
Meta计划明年削减元宇宙部门预算,幅度或达30%,可能影响Quest头显和Horizon Worlds项目。公司此前已投入数十亿美元,但近期战略调整显示对元宇宙的投入可能放缓。
DeepSeek 三种模式合一:V4.1 Flash 最快今日发布,V4 Pro 将下线
DeepSeek将快速、专家、识图三模式合并为统一智能模式,无需手动切换,可自动判断查询复杂度、识别图片并激活视觉能力,按任务难度调配处理。此前多模态模型V4-Flash-Vision-Exp已上线API,支持三种调用格式;V4.1 Flash性能全面超越V4 Pro。
共创AI新经济,2026Inclusion·外滩大会今日在沪开幕
2026年外滩大会在上海开幕,主题为“共创AI新经济”。大会聚焦AI从“生成”到“执行”的关键跃迁,设“智能跃迁、经济重构、人本未来”三大板块,包含1场主论坛和40多场见解论坛,邀请600余位嘉宾,包括诺贝尔经济学奖得主托马斯·萨金特、菲利普·阿吉翁等。
Suno v6 正式上线:图片、视频、语音备忘录一键变音乐,精准编辑歌曲成现实
Suno发布迄今最大升级的v6模型家族,系与华纳、BMG、Believe等合作开发的首个系列。新模型更快、更富表现力、音质更高,并赋予创作者精准控制力,旧版将逐步退役。v6包含三大模型矩阵,满足不同创作需求。
Mistral融资 30 亿欧元创下历史纪录,开源阵营迎来最强强心剂
欧洲AI企业Mistral AI完成30亿欧元D轮融资,刷新欧洲科技公司最大股权融资纪录,成立三年估值突破210亿欧元。资金将用于扩建模型训练与推理算力,加速下一代核心技术研发。