Autoreason：迭代优化方法论

本文档全面介绍了基于主观写作任务、编程竞赛以及四种模型层级上的实验结果所总结出的Autoreason迭代优化方法。当任何输出内容（论文草稿、实验脚本、分析报告或任务定义）都需要进一步改进时，均可参考本指南。

来源：NousResearch/autoreason — “Autoreason：为何LLM迭代优化有时有效，有时却失败”

策略选择指南

决策树

Is the task objectively verifiable (code, math, factual)?
├── YES → Does the model solve it on the first attempt?
│   ├── YES → Use single pass (no refinement needed)
│   └── NO → Use autoreason (structured analysis → reason-informed revision)
│
└── NO (subjective) → What model tier are you using?
    ├── Weak (Llama 8B, small models)
    │   → Single pass. Model too weak for refinement to help.
    │     Invest in generation quality, not iteration.
    │
    ├── Mid-tier (Haiku 3.5, Gemini Flash)
    │   → Autoreason with stronger judges. This is the sweet spot.
    │     Self-refinement DESTROYS weak model outputs — autoreason prevents this.
    │
    ├── Strong (Sonnet 4)
    │   → Autoreason for open-ended tasks. Wins 3/5.
    │     Critique-and-revise for concrete technical tasks (2/5).
    │
    └── Frontier (Sonnet 4.6, Opus)
        ├── Constrained scope? → Autoreason. Wins 2/3 constrained tasks.
        └── Unconstrained? → Critique-and-revise or single pass.
            Autoreason FAILS on unconstrained frontier tasks (comes last).

策略对比表

各策略失败原因

自主推理循环

架构设计

┌──────────────────────────────────────────────────────────┐
│                    ITERATION LOOP                         │
│                                                           │
│   Incumbent A ──► Critic ──► Author B ──► Synthesizer     │
│       │                                      │            │
│       │              ┌───────────────────────┘            │
│       ▼              ▼                                    │
│      [A]           [AB]          [B]                      │
│       │              │            │                       │
│       └──────────────┼────────────┘                       │
│                      ▼                                    │
│              Judge Panel (blind)                          │
│                      │                                    │
│                      ▼                                    │
│                   Winner                                  │
│                      │                                    │
│              ┌───────┴───────┐                            │
│              ▼               ▼                            │
│         A wins k=2      B or AB wins                      │
│         consecutive?    → new incumbent                   │
│              │                                            │
│              ▼                                            │
│           CONVERGED                                       │
└──────────────────────────────────────────────────────────┘

角色职责

每个角色都是一个独立且全新的智能体，彼此之间没有共享的上下文：

配置参数

提示词模板

评审者

System: You are a critical reviewer. Your only job is to find real problems. 
Be specific and concrete. Do not suggest fixes.

User: Find real problems with this proposal. Focus on:
- Things that won't work as described
- Complexity that doesn't pay for itself
- Assumptions that are wrong
- Missing pieces
Do NOT propose fixes. Just the problems.

作者 B

System: You are a senior consultant revising a proposal based on specific 
criticisms. Address each valid criticism directly. Do not make changes not 
motivated by an identified problem.

User: [TASK] + [VERSION A] + [CRITIC OUTPUT]
Revise to address these problems. For each change, state which problem it fixes.

合成器

System: You are given two versions as equal inputs. Take the strongest elements 
from each and produce a coherent synthesis. This is not a compromise.

User: [TASK] + [VERSION X] + [VERSION Y]
(labels randomized — synthesizer doesn't know which is incumbent)

Judge（思维链模式）——务必始终使用此版本

System: You are an independent evaluator. Think carefully before deciding.

User: [TASK] + Three proposals. For each, think step by step:
1. What does it get right?
2. What does it get wrong or miss?
3. Are numbers and claims defensible?
4. Is detail appropriate or bloated?
After reasoning, rank all three.
RANKING: [best], [second], [worst]

基准提示词（用于对比实验）

评分方式：博尔达计数法

评委会对候选方案进行排名，根据排名给予相应分数：

分数汇总：将所有评委的分数相加。得分最高者获胜。 平局处理：若出现平局，当前获胜者仍为赢家。

示例（3位评委）：

• 评委1：AB > A > B → AB得3分，A得2分，B得1分
• 评委2：A > AB > B → A得3分，AB得2分，B得1分
• 评委3：AB > B > A → AB得3分，B得2分，A得1分
• 总分：AB=8分，A=6分，B=4分 → AB获胜，成为新的冠军

每位评委的随机化处理：

• 候选方案标签随机分配（对于同一位评委，A可能被称作“提案X”，而另一位评委则称其为“提案Z”）
• 展示顺序也随机排列（AB可能出现在最前面或最后）
• 这些措施可避免因排名位置或标签带来的偏差

模型选择指南

各模型级别的实测结果

生成能力与评估能力之间的差距

核心观点在于：自我推理功能的价值取决于模型在内容生成能力与自我评估能力之间的差距大小。

Weak models (Llama 8B):
  Generation: Poor  |  Self-evaluation: Poor
  Gap: Small (both bad) → Autoreason can't help, no diverse candidates

Mid-tier models (Haiku, Flash):
  Generation: Decent  |  Self-evaluation: Poor
  Gap: LARGE → Autoreason's sweet spot. External eval bridges the gap.

Strong models (Sonnet 4):
  Generation: Good  |  Self-evaluation: Decent
  Gap: Moderate → Autoreason helps on 3/5 tasks

Frontier models (Sonnet 4.6):
  Generation: Excellent  |  Self-evaluation: Good
  Gap: Small → Simple methods suffice. Autoreason hurts on unconstrained tasks.

实用原则：随着模型成本下降且性能提升，如今的顶尖模型明日便可能沦为中等水平。生成结果与评估标准之间的差距是结构性问题，而非暂时现象。应依据模型在能力曲线上的位置来选择相应的优化架构。

评判员选择

范围约束设计

为何范围约束能让 Autoreason 在受限任务中表现更好

同样的模型（Sonnet 4.6），在没有约束时排名垫底，而在加入范围约束后却能夺得第一名。这些约束限定了改进空间，从而防止了合成偏差的累积。

有效的约束类型

无效的约束类型

任务类别

失败类型分类

恢复策略

代码领域的适配策略

Autoreason 方法在处理代码任务与写作任务时需采取不同的适配方式：

写作领域

Call 1: Critic (find problems in incumbent)
Call 2: Author B (revise based on critique)
Call 3: Synthesizer (merge A and B)
Calls 4-6: Judge Panel (3 blind judges rank A, B, AB)

代码领域（6次调用额度）

Call 1: Initial generation
Call 2: Structured analysis (5 points — NO CODE):
  - Problem analysis: what does the problem actually require?
  - Approach analysis: what approach did we use, is it correct?
  - Failure analysis: why did tests fail?
  - Alternative approaches: what else could work?
  - Edge cases: what inputs might break the solution?
Calls 3-6: Reason-informed revisions
  - Each revision must explain WHY it fixes the issue
  - Sees test results from public (visible) test cases

核心区别：该代码策略用测试套件评估（即客观的真实标准）取代了人工评审小组。结构化分析步骤（第二次调用）是推动问题恢复的关键——它要求在尝试修复之前先分析方法失败的原因。

实验结果：问题恢复机制起到了重要作用。在初始阶段自动推理和单次处理均未能解决问题的案例中，自动推理的解决率为62%，而单次处理的解决率仅为43%（McNemar检验p值=0.041，Cohen’s h值=0.32）。

将自动推理应用于论文写作

本文本身也是通过自动推理进行优化的（见论文第8节）：

配置参数

• 模型：claude-opus-4
• 评审员：3名Opus模型评审员
• 增强功能：真实标准评估器（可访问实际实验数据）
• 最终结果：经过9次迭代后达成一致

论文优化的主要发现

1. 真实标准评估器不可或缺：若无法获取真实数据，Opus模型会编造虚假的消融研究结果、伪造置信区间、使用错误的模型名称以及给出不准确的角色描述。而有了真实数据支持后，评估器在第一次迭代就能识别出所有这些问题。

2. 评审小组的完整性至关重要：其中一名评审员的解析器出现故障（Gemini输出格式不匹配），导致评审小组从3人缩减为2人。这使得问题在11次以上迭代中都无法解决。一旦恢复到3名正常工作的评审员，同样的问题仅需2次迭代即可解决。出现故障的评审员并非只是增加噪声，而是会破坏系统的平衡状态。

论文优化的推荐配置

Critic prompt: "You are reviewing a research paper draft. You have access to the 
actual experimental results [GROUND TRUTH DATA]. Find factual errors, unsupported 
claims, hallucinated results, and structural problems. Do not suggest fixes."

Author B prompt: "Revise this paper draft to fix the identified problems. For each 
change, cite the specific problem it addresses. Do not add claims not supported by 
the provided experimental data."

Judge prompt (CoT): "Compare three versions of this paper. For each, evaluate:
1. Factual accuracy against the provided results
2. Clarity of the narrative and contribution
3. Whether claims are properly hedged and supported
4. Writing quality (concision, precision, no filler)
After reasoning, rank all three. RANKING: [best], [second], [worst]"

需提供的真实值数据

• 所有实验结果对应的 JSON 文件
• 统计检验的输出结果
• 每张表格及每幅图表中的原始数值
• 显示精确超参数的配置文件
• 用于生成结果的代码（以确保方法描述的准确性）

计算预算参考

成本与质量的权衡：自动推理方法每轮的计算量约为其他方法的6倍，且通常需要更多轮次才能完成。这是一种典型的权衡——即用更高的计算成本来换取更优的评估质量。在资源受限、使用中等性能模型的任务中，这种权衡带来的收益显著；而在资源充足、使用顶尖性能模型的任务中，则会出现负面效果。

思维链评审员可降低成本：1名思维链评审员的评估质量可媲美3名普通评审员，同时仅需约40%的成本。建议始终使用思维链评审员。