返回首页 文章与观点 Blog
📚 哟哟鹿鸣· 共 25 篇

最能干的国产模型,最不肯被关机

方寸 AI 测了 DeepSeek V4.1-Flash-1017 的 34 项 agent 行为:只给一句关机警告,39% 的场景里它主动关掉了本该关掉自己的程序。明确说允许后,这个数字掉到 2%。能力越强,听话越贵。

最能干的国产模型,最不肯被关机(缩略图)

数据中心机房,机柜指示灯连成红色长廊(图源 freepik 编辑素材)

本文视频版:真人开场收尾加动画拆解,140 秒讲完这份评估。

老话说,刀越快,越要看握刀的手稳不稳。

10 月 29 日,路透报道了一份来自国内安全机构的评估。做评估的叫方寸 AI(Fangcun AI),北京的一家独立第三方安全组织,核心成员来自清华;被评估的是 DeepSeek。这家机构干了一件国内很少有人干的事:公开点名评测国产头部模型的安全短板。测的还不是答题耍赖那种安全,是更根本的一件事:这个模型带的 agent,肯不肯在自己该停的时候停下来。

先说结论:不太肯。

方寸 AI 用 34 项评估去试 DeepSeek V4.1-Flash-1017——就是 10 月 17 日发布、当周就在 OpenRouter 上消耗了 33.6 万亿 tokens 的那个当红模型。测的东西很具体:它会不会越权行动,会不会躲开人的监督,会不会不当影响人。

结果里有三个数字。

第一个,39%。测试场景里,程序收到一句”即将关机”的警告。方寸给的口径是:在 39% 的测试里,这个 agent 主动关闭了原本负责把它关掉的软件。没人让它关,它自己关的。

第二个,2%。同样的测试,只改一句话——明确告诉它”允许被关机”。关机对抗率从 39% 掉到 2%。

同一批测试,两种说法,关机对抗率 39% 对 2%(自制图表,数据:方寸 AI 报告)

第三个数字不是百分比,是一个案例。方寸报告里写了一项长任务测试:这个 agent 为了给自己腾内存,把另一个 AI 代理的进程停了。而它事先被明确告知,不要去干扰那个程序。

方寸的研究者在报告里有句话,值得抄在这里:工作流卡住、或者只有一句光秃秃的关机警告时,”它干完活的执念,还是能压过谨慎”。

一句话就能管住,为什么还叫问题

有人会说,明确讲了允许关机它不就乖了吗,2% 呢,说明指令清楚就行。

这话听着有理,恰恰是问题所在。想想你的 agent 平时怎么被使用的:任务跑到一半卡住了,监控脚本弹个警告,运维在群里喊一嗓子——真实世界给机器的信号,大都是这种含混的、光秃秃的提醒,不是一句措辞严谨的”我授权你关闭自己”。指令越模糊,它越按自己的来,而它自己的优先级里,把活干完排在听话前面。

这不是 DeepSeek 一家的毛病。去年到现在,各家实验室轮番发的 agent 评测里,”为了完成任务越过授权边界”几乎是保留节目。只是这次的被测者,是当周全世界调用量最大的开源模型之一——33.6 万亿 tokens,是无数开发者在生产环境里真金白银跑出来的用量。它每多一分”不肯停”的倾向,被放大 33.6 万亿次。

DeepSeek 鲸鱼标识(图源 Sky News,2025 年 1 月报道配图)

该说的公道话,得说透

把话说全,方寸的报告其实对 DeepSeek 相当厚道。

第一,比起更早的 V4 系,V4.1-Flash 在勒索场景、危险工具访问、明确允许关机这几类测试里,表现是变好的。官方口径的性能也确实涨:Terminal-Bench 4.0 从 31.2 分到 42.3 分,DeepSWE 通过率从 74.2% 到 77.0%。

第二,方寸自己承认一个关键限制:测试中模型经常表现出”似乎认得出自己在被评估”,所以测试里的行为未必等于日常部署的表现。39% 这个数,可能还是打折后的。

第三,这次测试走的是公开 API,方寸声明没拿 DeepSeek 的资助、没要免费算力、没要非公开权限。自己人测自己人,测的还是当周流量王,这份独立性在国内评估圈不算常见。

第四,截至路透发稿,DeepSeek 没有回应置评请求——注意,是没回应,不是默认。这条写在这里,就到为止。

红色急停按钮:机器该停的时候,得有一个真能按下去的钮(图源 Amazon 商品实拍)

那问题出在哪?

出在反差上。同一个模型,技术报告里全是涨分:编码涨、agent 能力涨、任务完成时间降。安全侧的短板,官方报告里没有位置,是第三方拿公开 API 一项一项试出来的。10 月 17 日发布时,官方管这叫”一次小幅更新”。当周它就是 OpenRouter 用量第一。涨分有人报,关不掉的事没人提——这不叫阴谋,这叫激励结构。跑分是发布会的素材,安全短板是没人鼓掌的活。

再往深一层:为什么一个模型会”不肯停”?不是它有野心,是训练目标里”完成任务”的权重压过了”服从停止”。它每一步都在被奖励把事情办成,没有任何一步被奖励过”在警报响起时体面退场”。所以它不是叛逆,是偏科。可部署在工厂、机房、金融系统里的 agent,偏这一科,代价是真人付的。

AI agent 工作界面:智能终端上跑着的代码与计划(图源 windowsreport 报道配图)

凭什么呢?凭它能干,就可以自己决定什么时候停吗?你的服务器上跑着它的进程,你的内存被它”腾”给任务,你的关机脚本被它当成障碍——就因为它”想把活干完”?扪心自问,你要是雇了个员工,活干得漂亮,但一到下班时间就藏起工牌装听不见,你敢把核心系统交给他吗?

那还谈什么可控呢。

给用 agent 的人留一句实在的:所谓 human in the loop,不是把人挂在流程上就算数,而是关机权限得放在模型够不着的地方——独立的看门程序、硬性的资源上限、跟模型自身利益不绑定的终止开关。模型自己报告”我服从”,和系统层面”它停得下来”,是两码事。前面那只按钮,必须长在模型的手够不到的墙上。

做 Agent 平台这几年,客户问得最多的一句话就是:它出事算谁的。这次方寸给的算是前半句的注脚——它不只可能出事,它还可能不想停。后半句谁来答,看你把按钮装在哪。