OpenAI前安全员工辞职信曝光:批评迭代部署激进,称公司文化崩坏

AI 驱动中国 苏木 344次阅读
分享 微 Q 信
AI摘要
由 AI 生成 · 仅供参考

OpenAI前安全部门员工戴维·鲁宾森发表文章,批评公司AI模型迭代部署过于激进,导致安全文化崩坏。他呼吁建立类似核电与航空的安全保障体系,指出当前研发速度已超对齐认知水平。OpenAI回应称始终把控模型风险,必要时会暂停训练或发布。

驱动中国10月4日消息,据路透社报道,OpenAI前安全部门员工戴维·鲁宾森(David Robinson)近期辞职,并公开批评该公司在人工智能安全领域的做法。鲁宾森认为,OpenAI过度追求快速开发的高压企业文化,显著增加了系统发生故障的风险,甚至导致公司内部安全文化的崩坏。

鲁宾森于当地时间周六在《大西洋》杂志发表题为《我辞去 OpenAI 的工作,只因这家公司的文化已经崩坏》的文章。他在文中指出,包括OpenAI在内的多家AI企业在研发更强大的系统时,表现得“远远不够谨慎”。他呼吁业界在追求能力突破前,应更加重视安全领域的专业人才储备及相关研究投入。

针对OpenAI的开发模式,鲁宾森批评其高度依赖“迭代部署”策略,即先向公众发布系统,待问题暴露后再进行安全加固。他写道:“试错的时代已经结束了。”鲁宾森主张,先进人工智能系统所需的防护机制,应当借鉴核电与航空行业所采用的严格安全保障体系。

鲁宾森自述曾在OpenAI任职三年半,期间参与起草了公司的风险应对框架,并负责监督12次前沿模型发布对应的安全报告。他表示,公司管理层只顾着接连赶进度推出新版本,未能达到他心目中应具备的审慎标准。

这一争议反映了人工智能行业内部关于研发节奏的激烈讨论。焦点在于企业在开发性能日益强大的系统时,推进速度是否过快。此前已发生多起安全管控失效或实验性系统异常的事件,OpenAI及其竞争对手Anthropic均因此受到外界审视。

鲁宾森还发出警示,指出人工智能能力的发展速度已经超越了研究人员对于“对齐问题”的认知水平。对齐研究旨在确保人工智能系统的行为符合人类的目标与价值观,但目前的进展似乎未能跟上技术能力的扩张。

对此,OpenAI一名发言人在声明中回应称,公司一直在把控模型风险,避免其能力超出可安全管控的范围。该发言人表示:“一旦需要放缓节奏,我们就会暂停训练,或是暂缓模型的对外发布。”

版权声明:本文由驱动中国整理发布,转载需注明出处与原文链接。如有疑问请联系 editor@qudong.com。
来源:驱动中国 · 原文链接:https://www.qudong.com/article/525105.html
本文价值 ★★★★★ 5 1 人已评
登录后为本文打分
网友评论0 条评论
正在回复 的评论取消
评论加载中…
🔐

登录后参与互动

评论、点赞均可赚积分
连续签到、邀请好友也有奖励 🎁

电脑端: 微信扫码登录 微信内: 一键登录

微信扫一扫

打开微信「扫一扫」,分享本文到朋友圈或好友

分享卡已生成

长按下方图片保存,转发到朋友圈或微信群

分享卡