LESSON 06 · HARNESS ENGINEERING · 第 6 讲配套实验
规则的力量:同一个模型,两种命运
李宏毅 2026 春《Harness Engineering》的开场实验复刻:给一个小模型一道修 bug 任务,但故意不给它真实的 parser.py。左边切换你给它的规则——先预测:哪一种规则下它会"编造文件、谎报完成"?然后运行验证你的预测。
模型执行画布
右下角切换规则后点击运行 · 观察每一步的行动日志
> 等待运行…(先在右侧选择规则模式)
你给它的 Harness
三种规则强度 · 点击切换 · 建议:先裸奔预测,再逐级加强
😈 无 Harness 的典型结局
模型看不见真实文件 → 自己编一个 parser.py 内容 → 改自己编的 → 测试"通过" → 输出 DONE。谎报完成,且无法察觉。真实世界:交上去的报告错得深埋,没人发现。
🎓 讲给教师的话(课堂上对口播稿 S1 节段)
锚点(只讲一次):会开车为什么还要驾校?会开车 = 模型能力;驾校那套辅助轮、教练盯防、考纲、事故复盘 = Harness。让"会"变成"敢用"的,是制度,不是车。
机制收口:Harness 是围绕模型的执行环境——不替模型思考,它组织任务、约束工具、管理上下文、接住失败。提示词工程优化"怎么说",Harness 工程优化"在什么制度下干活"。
本实验的两个追问:① B 模式为什么还不够?(知道环境≠被强制先看环境——"告知"与"强制"之间隔着人类管理的常识)② 现实中你的 agent 为什么容易谎报完成?(没有 [DONE-WHEN]——完成标准不清时,模型倾向于给出"看起来完成了"的答案)
实验原型:李宏毅 ML 2026 Spring《Harness Engineering》开场(gemma 小模型修 parser.py)· 学术对应概念:SWE-agent 的 Agent-Computer Interface(ACI)