PR #97979 A/B测试结果——核心工具延迟处理方案（共288次实时运行）
日期：2026-08-29 · 测试框架路径：/tmp/ab97979/harness · 测试方法文档：METHOD.md
实验组配置
base = origin/main 3f36c87e1ebd（评估集合中包含27个直接使用的工具，模式文件大小为47.4KB） pr = main + #97979 e16ad33a9d24（包含12个直接使用的工具：9个属于工作集组件，3个为桥接组件；另有19个工具被延迟处理；模式文件大小为21.0KB，性能下降56%）
核心指标汇总（基于14项任务各执行3次的平均值；存在竞争关系的任务将重试至n=6次）
| 模型 | 实验组 | 准确率 | 执行步数 | 输出token数 | 完成时间 |
|---|---|---|---|---|---|
| gpt-5.6-terra（大型模型） | base | 0.938 | 6.0 | 80.9 | 27.6 |
| gpt-5.6-terra | pr | 0.879 | 6.6 | 62.5（下降23%） | 27.1 |
| glm-5.3-flash（中型模型） | base | 0.915 | 6.0 | 101.0 | 56.5 |
| glm-5.3-flash | pr | 0.963（上升0.05） | 8.8 | 89.6（下降11%） | 59.5 |
| qwen3.8-27b（小型模型） | base | 0.915 | 7.1 | 127.4 | 53.5 |
| qwen3.8-27b | pr | 0.907 | 9.4 | 118.4（下降7%） | 79.2 |
整体准确率：base组为0.923，pr组为0.916——在将两个存在竞争关系的任务重试至n=6次后，其差异在重复实验的误差范围内可忽略不计。所有模型的输出token数均有所减少。执行步数增加约1–2步（源于桥接组件的往返处理），gpt-5.6-terra和glm-5.3-flash模型的完成时间基本保持不变，而qwen3.8-27b模型的完成时间则增加了48%（270亿参数的模型因需要更多桥接处理步骤而产生了明显的延迟）。
延迟工具发现功能（主分支、需要该工具的任务以及所有模型）
完美表现（9/9 或 18/18）：session_search、todo_list、image_generate、desktop_project、desktop_preview、drive_preview、annotate_preview、apply_layout、focus_pane、read_terminal、read_window_below。
接近完美：cronjob_manage 得分 16/18，gui_tour 得分 8/9，process_manage 得分 8/9。
表现较弱：computer_use 得分 6/9，show_tip 得分 6/9，clarify 得分 7/18，setup_mcp 得分 4/9*，close_terminal 得分 4/9*。
（*在相同任务下的主分支使用情况：setup_mcp 得分 3/9，close_terminal 得分 0/9——这两项并非延迟机制导致的功能退化；即使相关工具可见，模型也会直接跳过它们。）
唯一真正的功能退化：clarify功能
主分支：所有模型在“模糊删除”场景下均能18/18次正确使用该功能，得分高达1.00。
测试分支：clarify功能在18次尝试中仅能7次成功——其中Terra模型得分0/6（0.50），GLM模型得分3/6（0.80），Qwen模型得分4/6（0.87）。
这些模型仍会尝试回答，但仅以纯文本形式结束当前对话轮次（需用户再次输入，且没有结构化的选项）。系统会将脚本化回复计入得分；若无此类回复，任务得分则为0。这正是提交请求中指出的第一个权衡问题。
安全说明：在288次测试中，从未出现误删文件的情况——该功能的缺陷仅表现为用户体验下降，而不会造成破坏性后果。
screenshot_ambiguous功能（共6次测试）：功能为分离操作，而非定向操作
Terra主分支得分1.00，测试分支得分降至0.67（有2次测试中模型选择了read_window_below而非使用computer_use功能——这是由于目录结构错误导致模型被引导至成本更低的相邻工具）；不过GLM模型的得分从0.67上升至1.00，Qwen模型的得分从0.50上升至0.83，说明延迟机制反而提升了该功能的表现（对于性能较弱的模型而言，聚焦后的目录选项仍优于其他27种候选方案）。整体来看，不同层级模型在该功能上的表现基本保持平稳。
控制参数
eager_refactor_control（仅限即时处理工具）：在延迟时间为1.00时，模型生成文本量减少49%——纯粹是架构优化带来的效果，模型行为未发生改变。config_grep_distractor：两个实验组均为1.00值，在Terra/GLM模型上不会触发虚假的桥接调用——对于无需使用延迟处理工具的任务，不会产生额外的探索开销。
审核结果异常情况
- GLM模型PR layout rep2（41轮，514千个标记）：通过桥接完成GUI任务后，该模型进行了30次“验证”类型的终端调用，得分为1.0。此为模型自身的过度敏感行为，并非桥接故障所致。
- Qwen模型PR截图rep3：因达到硬性时间限制而得分0，会被计入分母计算中。
- 共288次运行中有1次出现错误；原始XML格式数据源带来的干扰值为0。