Anthropic工程师称AI依赖或致认知投降

AI 驱动中国 宋谣 276次阅读
分享 微 Q 信
AI摘要
由 AI 生成 · 仅供参考

Anthropic Claude Code团队工程师Addy Osmani发文指出,AI智能体越强,用户越可能从认知卸载、推迟判断走向认知投降,将AI输出直接当作自身判断;他建议先形成初步假设并寻找反证,同时称软件开发瓶颈正从编写代码转向验证代码。

驱动中国11月4日消息,Anthropic Claude Code团队工程师、前谷歌技术高管Addy Osmani在X发表长文《当AI智能体完成工作时,如何保持批判性思维》,提出随着AI智能体能力提升,人类可能在逐步依赖AI的过程中,逐渐丧失独立思考、验证结果和理解复杂系统的能力,并最终把AI的判断直接当作自己的判断。他将这一现象称为“认知投降”。

Osmani曾在谷歌工作超过14年,负责过Chrome开发者体验及谷歌云AI相关业务,目前从事Claude Code相关工作。他表示自己是AI智能体工作流的坚定支持者,日常工作中经常同时运行多个Agent,但观察到一种值得警惕的变化:随着AI模型不断进步,输出结果中的明显错误越来越少,人类反而更难保持警惕。

在他看来,过去人们通常需要经历信息收集、分析、判断等过程才能得到答案,如今这一过程可能被压缩到几秒钟。AI生成的内容往往结构完整、表达流畅,且大部分情况下是正确的,这使得用户越来越容易跳过独立思考和验证环节。

Osmani将人类使用AI的状态划分为三个层次。首先是“认知卸载”,即把任务交给AI完成,但仍对结果认真负责地检查;其次是“推迟判断”,即默认不再将AI输出视为需要验证的结果,而是直接作为下一步工作的依据;最后是“认知投降”,即把AI的输出当成自己的判断,用户不再认为有必要检查。

“认知投降”一词最初由宾夕法尼亚大学沃顿商学院研究人员Steven Shaw和Gideon Nave提出。两人在题为《思考——快速、缓慢与人工智能:AI如何重塑人类推理及认知投降的兴起》的研究论文中讨论了这一现象。论文将其描述为,人们在缺少充分检验的情况下接受AI输出,并让AI的判断取代自身的直觉和思考。

Osmani认为,这种转变往往不是突然发生的,而是在不断使用AI的过程中逐渐形成。用户可能认真阅读第一份AI报告,对第二份只进行快速浏览,到了第三份甚至只检查大纲。最终当有人询问某个具体结论时,用户可能发现自己根本无法解释其中的逻辑。

他将这一现象与“认知债务”联系起来。在软件开发领域,AI可以生成大量代码,测试也可能全部通过,但团队成员对系统架构和实现逻辑的理解却在不断减少。直到某天需要修改系统时,开发者才发现已经没有人能真正理解某些代码的工作原理。

不过,Osmani并不认为开发者需要记住庞大代码库的全部细节。他指出,Claude Code团队也会在需要时借助AI重新建立对特定代码模块的理解。在他看来,真正重要的不是始终掌握所有知识,而是知道自己不了解什么,并且具备重新理解它的能力。

对于如何避免“认知投降”,Osmani建议,在向AI提出复杂问题前,人类应该先形成自己的初步假设,而不是完全依赖AI提供答案。即使最初的猜测并不准确,也可以帮助用户在接收AI结果时保留独立判断的基础。他还建议用户主动寻找能够推翻AI结论的证据,而不是只询问模型对自己答案有多大信心。

在软件开发领域,Osmani认为AI时代的瓶颈正在从编写代码转向验证代码是否正确。AI智能体已经可以自主编写代码、运行测试、读取错误信息并反复修改,直到测试通过。但他同时指出,测试本身也可能由AI编写。

版权声明:本文由驱动中国整理发布,转载需注明出处与原文链接。如有疑问请联系 editor@qudong.com。
来源:驱动中国 · 原文链接:https://www.qudong.com/article/528507.html
本文价值 ★★★★★ — 成为第一个评分的人
登录后为本文打分
网友评论0 条评论
正在回复 的评论取消
评论加载中…
🔐

登录后参与互动

评论、点赞均可赚积分
连续签到、邀请好友也有奖励 🎁

电脑端: 微信扫码登录 微信内: 一键登录

微信扫一扫

打开微信「扫一扫」,分享本文到朋友圈或好友

分享卡已生成

长按下方图片保存,转发到朋友圈或微信群

分享卡