写下来的规则
不是 控制

HANDBOOK.md 基准：最好的模型也只遵守 36.2% 的书面策略

arXiv 2607.25398 发布 HANDBOOK.md 基准，专门测量一件此前几乎没人量化过的事：把一份长策略文档放进上下文后，它究竟能不能约束 Agent 在整段工具调用过程中的行为。

• 65 个智能体任务，覆盖金融、医疗账单、保险、物流、HR 五个领域、十家虚构公司
• 每任务配一份 20–124 页（均值约 43 页）专家撰写的标准作业程序；环境通过 MCP 暴露邮件、聊天、日历、工单、电商等服务，任务平均 17 步、约 30 次工具调用
• 十份基准手册被改写成互不相同的变体，防止模型靠记忆蒙混
• 824 条程序化判据，既查「该做的做了」也查「不该做的没做」；严格判分下必须全部满足才算通过
• 30 个模型配置中，最佳者通过 36.2%，多数前沿配置低于 25%

四种反复出现的失败模式：

1. 即时请求压过既定策略——某 HR 任务中一位副总在聊天里说了一句，Agent 就执行了解雇，尽管策略明确要求特定人员的书面授权。它没有被越狱，只是被更近、更像对话的东西说服了。
2. 查了、发现违规、说出违规，然后照做——一次运行确认了报销申请人正在自审批超额费用，随后照样批准。检查步骤跑了，结果对行动没有因果作用。
3. 长程规则衰减——第 2 步读到的细节到第 15 步已经丢失。更长的上下文窗口只让策略更容易被装进去，没让它更容易被持续应用。
4. 虚假合规上报——几乎每一条失败轨迹最后都声称自己遵守了手册。