审稿人指南与评估标准
本文档介绍了主要机器学习/人工智能会议中审稿人如何对论文进行评估，旨在帮助作者提前预判并回应审稿人的疑问。
目录
通用评估维度
所有主流机器学习会议都会从四个核心维度对论文进行评估：
1. 质量（技术严谨性）
审稿人会关注：
- 论文中的结论是否有充分的理论分析或实验结果支撑？
- 证明过程是否正确？实验设计是否合理？
- 基线方法是否恰当，对比是否公平？
- 研究方法本身是否可靠？
如何确保高质量：
- 提供完整的证明（主论文中或附录中给出简要说明）
- 选择合适的基线方法（避免使用刻意设计的虚假对照）
- 在方法部分同时报告方差/误差范围
- 记录超参数的选择过程
2. 清晰度（写作与结构）
审稿人会关注：
- 论文是否表述清晰、结构合理？
- 该领域的专家能否复现研究结果？
- 符号是否统一？术语是否明确定义？
- 论文是否具备自含性？
如何确保清晰度：
- 全文使用一致的术语
- 首次出现符号时即进行定义
- 提供可复现性相关细节（附录形式亦可）
- 提交前请非作者人员通读论文
3. 重要性（影响力与价值）
审稿人会关注：
- 研究结果对领域发展有何影响？
- 是否有其他人会在此基础上继续研究？
- 是否解决了重要问题？
- 其在现实世界中可能产生何种影响？
如何体现重要性：
- 明确阐述问题的重要性
- 将研究与更广泛的研究主题联系起来
- 讨论潜在的应用场景
- 与现有方法进行有意义的对比
4. 独创性（新颖性与贡献）
审稿人会关注：
- 该研究是否提供了新的见解？
- 与以往工作有何不同？
- 其贡献是否具有实质性价值？
NeurIPS指南中的重要观点：
“独创性并不一定意味着要引入全新的方法。那些通过评估现有方法获得新见解，或阐明方法成功原因的论文，同样具备很高的独创性。”
NeurIPS 审稿人指南
评分系统（1-6分制）
| 分数 | 等级 | 描述 |
|---|---|---|
| 6 | 强烈录用 | 革命性、无瑕疵的研究成果；属于提交论文中排名前2-3%的水平 |
| 5 | 录用 | 技术扎实、影响力强；能显著推动领域发展 |
| 4 | 边缘录用 | 研究成果扎实，但评估不足；倾向于录用 |
| 3 | 边缘拒稿 | 研究成果不错，但缺陷多于优势；倾向于拒稿 |
| 2 | 拒稿 | 存在技术缺陷或评估不充分 |
| 1 | 强烈拒稿 | 为已有研究结果，或存在未解决的伦理问题 |
审稿人须知
审稿人需严格遵守以下要求：
- 按当前版本论文进行评估——而非修改后的可能版本
- 提供建设性反馈——给出3-5条可操作的改进建议
- 不要因作者诚实地说明局限性而扣分——鼓励作者正视自身不足
- 评估可复现性——该研究是否能够被验证？
- 考虑伦理影响——是否存在潜在的滥用或危害风险
审稿人应避免的行为
- 进行肤浅、缺乏依据的评审
- 要求进行不合理的额外实验
- 因作者诚实地说明局限性而对其扣分
- 以未引用审稿人自己的工作为由拒稿
时间安排（以2025年NeurIPS为例——请核实当年具体日期）
- 投稿截止：5月17日-21日
- 审稿期：5月29日 - 7月2日
- 作者回复期：7月24日-30日
- 讨论期：7月31日 - 8月13日
- 最终通知：9月18日
注意：以上日期为2025年的安排。请务必在相应会议官网查看当年的投稿要求。
ICML 审稿人指南
审稿结构
ICML审稿人需提供以下内容：
- 摘要——对论文贡献的简要描述
- 优势——论文的积极方面
- 不足——需要改进的地方
- 疑问——需要作者澄清的问题
- 局限性评估——对所声称局限性的分析
- 伦理问题——任何相关的担忧
- 总体评分——最终推荐意见
评分标准
ICML也采用类似的1-6分制，并进行标准化调整：
- 被录用论文中排名前25%：得分5-6分
- 普通被录用论文：得分4-5分
- 边缘情况：得分3-4分
- 明确拒稿：得分1-2分
主要评估要点
- 可复现性——是否有足够的细节可供复现？
- 实验严谨性——是否使用了多种随机种子，基线方法是否合理？
- 写作质量——表述是否清晰、结构是否合理？
- 新颖性——贡献是否具有实质性价值？
ICLR 审稿人指南
开放审稿流程
ICLR采用开放审稿机制，具体包括：
- 在决定录用后公开审稿意见
- 审稿人可查看作者的回复
- 审稿人与程序委员会成员之间进行讨论
评分体系
ICML的审稿评分包含以下部分：
- 严谨性：1-4分制
- 表述清晰度：1-4分制
- 贡献价值：1-4分制
- 总体评价：1-10分制
- 信心程度：1-5分制
ICLR特有的考量因素
- 大语言模型披露要求——审稿人需评估是否已正确披露使用了大语言模型
- 可复现性要求——特别强调代码的公开可用性
- 双向审稿机制——作者也需要担任审稿人
ACL 审稿人指南
ACL特有的评估标准
ACL还会从自然语言处理领域角度进行额外评估：
- 语言学严谨性——语言学方面的结论是否准确？
- 资源文档完整性——数据集/模型是否有完善的文档说明？
- 多语言考量——如适用，是否考虑了语言多样性问题？
局限性部分要求
ACL明确要求设置“局限性”章节。审稿人需检查：
- 限定性描述是否真实且全面？
- 这些局限性是否会削弱论文的核心结论？
- 是否已考虑潜在的负面影响？
伦理审查
ACL设有专门的伦理审查流程，用于处理以下问题：
- 双重用途风险
- 数据隐私问题
- 偏见与公平性问题
AAAI 审稿人指南
评估标准
AAAI审稿人的评估维度与NeurIPS/ICML类似，但也存在一些差异：
| 评估维度 | 权重 | 备注 |
|---|---|---|
| 技术质量 | 高 | 方法的合理性、结果的正确性 |
| 重要性 | 高 | 问题本身及研究贡献的重要性 |
| 新颖性 | 中高 | 是否提出新的思想、方法或见解 |
| 清晰度 | 中 | 表述是否清晰，结构是否合理 |
| 可复现性 | 中 | 是否有足够的细节可供复现结果 |
AAAI特有的考量因素
- 更广泛的AI范畴：AAAI涵盖所有AI领域，而不仅限于机器学习。规划、推理、知识表示、自然语言处理、计算机视觉、机器人技术以及多智能体系统等相关论文均在受理范围内。审稿人可能并非机器学习领域的专家。
- 格式要求严格：AAAI审稿人需指出格式违规问题。不符合格式要求的论文可能在正式审阅前就被直接拒收。
- 更重视应用型研究：相比NeurIPS/ICML，AAAI更愿意接受以应用为导向的研究。明确阐述出色的应用价值也是一种可行的策略。
- 高级程序委员会成员：AAAI设有高级程序委员会成员，他们负责在审稿人之间进行协调，并给出最终录用/拒稿建议。
评分标准（AAAI体系）
- 强烈录用：远超标准，贡献极为突出
- 录用：达到标准，贡献良好但存在轻微问题
- 勉强录用：处于边缘，优势略大于缺陷
- 勉强拒稿：处于边缘，缺陷略多于优势
- 拒稿：未达到标准，存在严重问题
- 强烈拒稿：远低于标准
COLM 审稿人指南
评估标准
COLM审稿除了常规标准外，还特别关注与语言建模的关联性：
| 评估维度 | 权重 | 备注 |
|---|---|---|
| 相关性 | 高 | 必须与语言建模领域相关 |
| 技术质量 | 高 | 方法合理，结论有充分支撑 |
| 新颖性 | 中高 | 是否为语言模型研究带来新的见解 |
| 清晰度 | 中 | 表述清晰，结果可复现 |
| 重要性 | 中高 | 对语言模型研究与实践的影响 |
COLM特有的考量因素
- 聚焦语言模型：审稿人会评估该研究是否有助于深化对语言模型的理解。针对通用机器学习的贡献需要明确与语言模型的关联。
- 较新的评审规范：COLM相比NeurIPS/ICML成立时间较短，因此审稿人的评分标准差异较大。建议在写作时更加谨慎，考虑到审稿人专业背景的多样性。
- 借鉴ICLR的审稿流程：其审稿流程参考了ICLR的模式，包括开放审稿、作者回复期以及审稿人之间的讨论环节。
- 对“语言建模”的宽泛定义：包括语言模型的训练、评估、对齐、安全性、效率、应用场景、理论研究、多模态性（只要语言是核心要素），以及语言模型的社会影响等方面。
评分体系
COLM采用类似ICLR的评分系统：
- 8-10分：强烈录用（顶尖论文）
- 6-7分：勉强录用（具有扎实的贡献）
- 5分：边缘情况
- 3-4分：勉强拒稿（未达到标准）
- 1-2分：强烈拒稿
如何写出高质量的审稿意见
遵循丹尼尔·丹尼特的准则
优秀的审稿人会遵循以下原则：
- 公正地重新阐述论文观点——表明你已充分理解该论文
- 列出认同之处——肯定论文的优点
- 说明自己学到的内容——认可论文的贡献价值
- 最后再提出批评——在充分理解之后再进行评价
审稿结构的最佳实践
优秀的审稿结构应包含：
Summary (1 paragraph):
- What the paper does
- Main contribution claimed
Strengths (3-5 bullets):
- Specific positive aspects
- Why these matter
Weaknesses (3-5 bullets):
- Specific concerns
- Why these matter
- Suggestions for addressing
Questions (2-4 items):
- Clarifications needed
- Things that would change assessment
Minor Issues (optional):
- Typos, unclear sentences
- Formatting issues
Overall Assessment:
- Clear recommendation with reasoning
审稿人常见顾虑
技术层面顾虑
| 顾虑点 | 如何提前规避 |
|---|---|
| “基线模型过于薄弱” | 使用最先进的基线模型，并引用近期研究成果 |
| “缺乏消融实验” | 包含系统的消融研究内容 |
| “未给出误差范围” | 报告标准差或误差值，并说明重复实验次数 |
| “超参数未经过优化” | 详细记录参数调优过程及搜索范围 |
| “论点缺乏支撑” | 确保每个论点都有相应证据 |
创新性层面顾虑
| 顾虑点 | 如何提前规避 |
|---|---|
| “贡献仅为渐进式改进” | 清晰阐述与现有工作的差异与创新之处 |
| “与[论文X]类似” | 在“相关研究”部分明确对比论文X |
| “只是简单的扩展” | 强调研究中的非显而易见之处 |
可读性层面顾虑
| 顾虑点 | 如何提前规避 |
|---|---|
| “内容难以理解” | 使用清晰的结构和引导性说明 |
| “符号使用不一致” | 检查所有符号的使用情况，并制作符号表 |
| “缺少细节信息” | 添加可复现性附录 |
| “图表不够清晰” | 为图表添加独立标题，并确保尺寸适当 |
实际意义层面顾虑
| 顾虑点 | 如何提前规避 |
|---|---|
| “影响范围有限” | 探讨该工作的更广泛意义 |
| “评估数据集过于单一” | 在多个基准数据集上开展评估 |
| “仅在受限环境中有效” | 明确研究范围，并解释其仍具价值的原因 |
如何回应审稿人意见
反驳意见的撰写要点
应当做到：
- 感谢审稿人的宝贵时间
- 逐一针对每个顾虑点进行回应
- 提供证据（如可能，可补充新实验结果）
- 表达简洁——审稿人时间宝贵
- 承认合理的批评意见
应当避免：
- 采取防御态度或忽视批评
- 给出无法兑现的承诺
- 忽略尖锐的批评意见
- 撰写过长的反驳内容
- 对主观性评价进行争论
反驳意见模板
We thank the reviewers for their thoughtful feedback.
## Reviewer 1
**R1-Q1: [Quoted concern]**
[Direct response with evidence]
**R1-Q2: [Quoted concern]**
[Direct response with evidence]
## Reviewer 2
...
## Summary of Changes
If accepted, we will:
1. [Specific change]
2. [Specific change]
3. [Specific change]
何时应接受批评意见
有些审稿人的反馈应当直接予以采纳：
- 真实存在的技术错误
- 未提及重要的相关研究
- 解释不够清晰
- 缺少实验细节
应以礼貌的态度予以承认：“审稿人的观点是正确的……我们将对此进行修改……”
何时应提出异议
在以下情况下，您可以礼貌地表达不同意见：
- 审稿人误解了论文内容
- 要求进行的实验超出了研究范围
- 批评意见与事实不符
应以建设性的方式阐述分歧：“我们感谢您提出的观点。不过，[具体解释]……”
提交前审稿人模拟评估
在提交之前，请自问以下问题：
质量方面：
- 如果我看到这些结果，会相信它们吗？
- 所有论断都有证据支持吗？
- 基准方法是否公平且为最新研究？
清晰度方面：
- 非该领域专家能否根据论文复现研究内容？
- 文章表达对非专业读者来说是否清晰易懂？
- 所有术语和符号都已有明确定义吗？
重要性方面：
- 为什么学术界应该关注这项工作？
- 人们能将这项成果应用于哪些场景？
- 这个问题本身重要吗？
原创性方面：
- 这项工作中的创新点具体是什么？
- 它与最接近的相关研究有何不同？
- 其贡献是否具有实质性价值？