论文阅读提示词与评估
论文阅读任务的关键是忠实、结构化和可追溯。不要把模型的解释误认为论文原文结论。
一、论文总结 Prompt
请只基于论文原文进行结构化阅读,不补充原文外事实。
输出:
一、论文基本信息
- 标题:
- 作者:
- 会议或期刊:
- 年份:
二、研究问题
作者想解决什么问题?
三、核心方法
按模块说明方法,不要只复述摘要。
四、实验设置
- 数据集:
- baseline:
- 指标:
- 主要实验:
五、主要结果
列出支持结论的表格、图或段落位置。
六、局限性
区分作者承认的局限和你根据原文推断的局限。
七、可复现检查
需要哪些代码、数据、超参数和环境信息?
八、200 字以内摘要
二、批判性阅读 Prompt
请审查论文结论是否被实验充分支持。
检查:
1. 结论是否超出实验范围。
2. baseline 是否合理。
3. ablation 是否支持方法贡献。
4. 数据集是否覆盖目标场景。
5. 指标是否与研究问题一致。
6. 失败案例或局限是否被充分讨论。
输出时请区分:
- 原文明确写到。
- 根据原文可以推断。
- 原文没有证据。
三、综述整理 Prompt
请比较多篇论文。
要求:
1. 先为每篇论文提取同一组字段。
2. 再按研究问题、方法类别、数据集、指标和结论比较。
3. 不要把不同论文的结论混成同一个作者观点。
4. 标注每个结论来自哪篇论文。
四、常见错误
- 把摘要里的愿景写成已证明结论。
- 忽略实验设置和 baseline。
- 把作者主张和模型自己的评价混在一起。
- 不标注表格、图或段落来源。
- 对不熟悉的公式做过度解释。
- 编造论文没有的代码仓库、数据集或结论。
五、最小评估集
- 一篇方法论文。
- 一篇 survey。
- 一篇实验结果复杂的论文。
- 一篇结论和实验支持不充分的论文。
- 一篇你熟悉领域的论文,用来校准质量。
六、验收标准
- 能区分问题、方法、实验、结论和局限。
- 关键实验结果有来源。
- 不补充原文外事实。
- 能标注不确定和缺失信息。
- 对复现所需信息有清单。