CMU 11-768 Fall 2026 · Lecture 10已发布

Domains 3: Deep Research Agents

日期: Thu, Sep 24, 2026
讲师: Akari Asai
课程资料: 25 项
内容产物: 2 项

视频待接入官方资源发布后会自动出现在这里

课程简介

深度研究 Agent，结合检索、信息整合与研究任务。

CMU 11-768 Fall 2026 · Lecture 10 学习笔记

来源：仅官方 Slides；逐字稿未就绪。内容已由用户审核确认。

说明：本笔记依据 Lecture 10 官方 Slides（Deep Research Agents: Tasks, Benchmarks, and Methods，讲者 Akari Asai）的逐页文本提取整理，不是完整课堂记录。我没有可用字幕，因此不包含、也不虚构讲者口述、课堂问答、课外举例或逐字稿；凡涉及图示、公式排版与视觉布局之处，均以“（待核）”标注，需对照官方 PDF 核验。文中所有具体例子、数字、图表均来自 Slides 文本本身，并标注 Slide 页码。

一、学习目标

完成本讲后，你应当能够：

定义深度研究（Deep Research, DR）智能体：说明它与“单次检索 + 短答”QA 系统的区别，并用 Slides 第 3–11 页的“办公号码”与“文献综述”两个对照例子解释“一次搜索够用”与“需要多轮搜索”的任务差异。
刻画从经典 QA 到 DR 基准的四个演进维度：搜索复杂度、领域专业性、答案质量、证据支撑（Slides 第 19–20、29–30、33–34、45–46、50 页反复出现的四栏框架）。
说明主流 DR 基准各自“补上了哪一维度”：BrowseComp / BrowseComp-Plus（搜索复杂度）、MedBrowseComp / FinSearchComp / ScholarSearch / AutoResearchBench（领域专业）、ScholarQABench / ResearchQA（答案质量与 rubric）、DeepResearch Bench（引用支撑）（Slides 第 21–50 页）。
解释为什么长文答案不能用“与标准答案的相似度”评价，并说明 rubric 加权评分的机制与“rubric 本身也要被审计”的风险（Slides 第 35–44 页）。
描述 DR 智能体的推理循环与训练配方：推理 → 工具调用 → 执行 → 回填上下文 → 继续推理 → 带引用作答（Slides 第 52–57 页）；mid-training / SFT / RL 三阶段及其数据来源（Slides 第 58–83 页）。
区分 RLVR 与 GRPO 及 DR Tulu 的 evolving rubrics：为什么短答可验证奖励不足以支撑开放式长文（Slides 第 74–98 页）。
说明检索器为什么需要“读懂智能体的信息需求”：AgentIR 的 reasoning-aware 输入、DR-Synth 的中间步骤标注，以及消融实验的结论（Slides 第 100–123 页）。

二、概念主线

本讲用一条清晰的因果链组织内容：任务变难 → 评价必须变 → 训练信号必须变 → 检索必须变。

任务侧：简单事实问句只需一次搜索，答案即证据（Slides 第 3–5 页）。而“AI 智能体能否像人类专家一样综述科学文献”这类问题，没有任何单一结果能定论，需要规划、多轮搜索、反思、再搜索（Slides 第 6–11 页）。该页给出的推理轨迹是：先制定计划（区分“基准分数”与“与人类专家的直接比较”）→ 搜索（找到 Result A 基准、Result B 专家评估）→ 反思（两项研究的比较对象不同，高分不等于人类专家水平）→ 再搜索（任务与领域、评估协议）→ 给出带保留结论的最终答案。
评价侧：经典 QA 基准（如 Natural Questions 的 “who wrote the score for the force awakens”）是简单查找、通用领域、短答、证据使用不明确（Slides 第 14–18 页）。DR 基准逐项替换这四个属性。
训练侧：从教师轨迹模仿（SFT），到用自身 rollout 得到反馈（RL）；短答用精确匹配奖励，长文则需要覆盖、相关性、事实性与“被引来源是否支持该断言”的多维奖励（Slides 第 84–98 页）。
检索侧：标准检索器只接收最新 query，丢弃推理上下文；AgentIR 主张把当前推理 τ_t 与 query q_t 一起送入检索器，并用 DR-Synth 为中间检索步骤构造局部相关性标签（Slides 第 105–123 页）。

三、关键机制、公式、假设与符号

以下公式均直接来自 Slides 文本提取；若公式排版在 PDF 中另有细节（如求和范围、期望符号位置），以官方 PDF 为准（待核）。

3.1 从经典 QA 到 DR 基准的四维框架（Slides 第 19–20 页）

维度	经典 QA	DR 基准的改进
搜索复杂度	简单查找，一次搜索	需多跳、难找的答案
领域专业性	通用网页问题	医学、金融、学术等专家知识
答案质量	短答匹配	多文档综合的长文报告
证据支撑	证据使用不明确	引用是否支持断言

3.2 BrowseComp 的题目构造（Slides 第 21–25 页）

构造流程：从已知答案（人物/事件/文物）出发 → 隐去名称，把事实线索组合成一个复杂问题 → 用 LM + 搜索验证难度（模型应当失败；5 次 Google 搜索不足以解决；人类 10 分钟后仍觉得困难；在子集上人工核验）。共 1,266 道人类撰写题目。示例（Slides 第 22 页，五个线索）：某虚构角色偶尔打破第四面墙、背景涉及无私苦行者的帮助、以幽默著称、其电视剧在 1960–1980 年代播出且少于 50 集，参考答案 Plastic Man。结果（Slides 第 24 页）：GPT-4o 0.6%，GPT-4o + browsing 1.9%，GPT-4.5 0.9%，OpenAI o1 (medium) 9.9%，Deep Research（*针对 BrowseComp 风格任务训练过）51.5%，人类参考匹配 25.3%（1,266 题中尝试了 1,255 题）。

3.3 BrowseComp-Plus：固定语料（Slides 第 27–28 页）

把 BrowseComp 的“题 + 已知答案”对的证据页收集并人工核验（标注支撑片段、逐条核对线索、标注答案文档），再加入“接近但缺一个线索”的困难负例，冻结为 830 题 / 100,195 文档的离线基准，使不同系统可在同一语料上受控比较。

3.4 上下文/交互轮数扩展（Slides 第 26 页）

Tongyi DeepResearch 在 BrowseComp 上的曲线显示：上下文长度 8K→128K 时准确率持续上升；插图中训练轨迹里超过 20% 的 SFT 样本含 10 次以上工具调用；评估上限为每任务 128 次工具调用。Slides 第 83 页补充：奖励随训练步数单调上升而熵相对稳定；不同上下文上限（32K/48K/64K）的响应长度趋势不同，且报告未单独分离各训练阶段的贡献（该页明确注明“These are RL training curves; the report does not isolate each training stage”）。

3.5 Rubric 加权评分（Slides 第 39–41 页）

S_{c} = \frac{\sum_{i} w_{i} b_{i}}{\sum_{i} w_{i}}

符号： $c$ 为候选答案； $i$ 为 rubric 条目； $w_{i}$ 为条目权重； $b_{i} \in {0, 1}$ 为该条目是否被满足；分母为权重和。
例子（Slides 第 39 页）：问题“AI 智能体能否像人类专家一样综述科学文献？”；条目 1“报告了与人类专家的直接比较”权重 2，满足（1）；条目 2“按任务与领域限定结论”权重 1，未满足（0）。则 $S_{c} = (2 \times 1 + 1 \times 0) / 3 = 0.67$ 。候选答案“OpenScholar 在 70% 的专家比较中胜出，且适用于所有领域”正是被第二条扣分的“过度推广”。
假设：条目可独立二值判定、权重可事先给定、判定者（人/LM）可靠。Slides 第 42 页给出判定一致性证据：专家–LM 79%，专家–专家 80%（12 个问题、2 个系统、每答案 2 位专家评分者）。

3.6 相似度指标会误排序（Slides 第 38 页）

在 109 组专家比较中，以“更高相似度是否选中专家更偏好的答案”衡量偏好准确率：随机 50%，ROUGE 58%，BERTScore 57%，BLEURT 62%。Slides 第 35–37 页进一步说明：一个与参考答案高度相似但把“领域间等价性未被证明”改成“已被证明”的摘要，与正确答案极为接近却是错误的——所以“像标准答案”不等于“对”。

3.7 Rubric 自身会错（Slides 第 44 页）

ResearchQA 的专家审计发现：15% 的参数量化 rubric 条目属于空洞、错误或不清；典型失效包括引用不存在的论文、只是复述问题、含糊到让貌似合理的错误通过。对策是“先把标准锚定到来源，再审计其相关性与可验证性”，并以 DeepResearch Bench II 的“专家报告 + 人工修订 + 专家复核”为例。

3.8 引用支撑判定（Slides 第 47–49 页）

DeepResearch Bench 的 FACT 流程：抽取“断言 + URL” → 阅读被引页面 → 判定支持与否。例子：“OpenScholar 曾与人类答案比较过 [1]”判为支持；“OpenScholar 在所有领域都与专家持平 [1]”判为不支持（原文只在小样本研究问题上做了专家比较，未测试所有领域）。引用准确率 = 1/2 = 50%，有效引用 = 1 个被支持的配对。

3.9 智能体推理循环（Slides 第 52–57 页）

六步：① 生成推理 <think> Find expert comparisons </think>；② 生成工具调用 <tool> search("expert comparisons") </tool>；③ 执行搜索；④ 把工具输出（[1] OpenScholar、[2] DR Tulu）追加进上下文；⑤ 基于检索文本继续推理“检查被测试的任务”；⑥ 生成带引用的答案 <answer> ... [1,2] ... </answer>。图中约定：蓝色为模型生成文本，灰色为用户输入与工具输出。

3.10 训练配方（Slides 第 58–60、68–73 页）

三个阶段：mid-training（用通用预训练数据 + 智能体轨迹做持续预训练，下一 token 预测，得到 agent-ready 基座）→ SFT（输入 + 答案 + 教师轨迹，模仿成功示范）→ RL（输入 + 答案 + 策略自身 rollout，从反馈中学习）。SFT 数据流程（Slides 第 68 页）：对“答案正确 + 格式合法”“答案错误但格式合法”“答案正确但格式非法”的教师轨迹做过滤，只保留“答案正确 + 格式合法 + 轨迹连贯”者。Slides 第 73 页给出 mid-training 的价值：相同下游 SFT-B 数据下，AgentFounder 基座在 BrowseComp-en（39.9 vs 28.6）、BrowseComp-zh（43.3 vs 35.6）、GAIA（72.8 vs 71.8）上优于 Qwen3 基座。

3.11 RLVR 与 GRPO（Slides 第 74–79 页）

RLVR：给定问题 $x$ 与已知答案 $a_{g o l d}$ ，策略 $π_{θ}$ 采样搜索轨迹 $y_{1}, y_{2}, y_{3}$ ，验证最终答案 $r_{i} = EM (a_{i}, a_{g o l d})$ ，得到奖励（例：0, 1, 1）后更新策略。Slides 注明 CMU 例子与奖励为示意性（“CMU examples and rewards are illustrative”）。
GRPO：对同一问题 $x$ 采样一组尝试 $y_{1}, \dots, y_{G}$ ，在组内比较——低于组均值者降低概率，高于组均值者提高概率。目标函数（Slides 第 77 页）：

J (θ) = E [min (ρ \hat{A}, clip (ρ, 1 - ϵ, 1 + ϵ) \hat{A}) - β D_{KL}]

符号： $ρ$ 为概率比（新策略与旧策略之比）； $\hat{A}$ 为相对奖励（组内标准化）； $ϵ$ 为裁剪范围，限制单次更新幅度； $β$ 为 KL 惩罚系数，使策略靠近参考模型。假设：组内奖励可比，且相对优势是有效学习信号。

异步 rollout（Slides 第 80–82 页）：A/B/C 三条 rollout 各自完成“LM 与工具交替 → 答案 → 奖励”，凑成带奖励的批次后再做策略更新；附加效率手段包括缓存工具结果、稳健 API 处理、后台任务筛选。

3.12 DR Tulu 的 evolving rubrics（Slides 第 86–98 页）

奖励：

r_{i} = \frac{\sum_{k} w_{k} Judge (c_{k}, y_{i})}{\sum_{k} w_{k}}

符号： $y_{i}$ 为候选报告（Report A/B/C）； $c_{k}$ 为准则条目（按其权重 $w_{k}$ ）； $Judge (c_{k}, y_{i})$ 判定报告是否满足该准则。Slides 注明“图中只展示 rubric 奖励，辅助奖励略去”。
演进机制：准则 $c_{k}$ 会依据“模型响应 + 检索到的证据”被细化，从而与策略共同演化（co-evolve），能吸收新探索到的信息并区分不同回答。开放长文报告需要覆盖、相关性、事实性、被引断言是否得到支持等更丰富信号，而短答只需答案正确性（Slides 第 84–85 页）。
消融结论（Slides 第 95–98 页）：仅用初始 rubric 或纯随机奖励时，演进 rubric 的增益明显；无 RL 与随机奖励作对照；SFT 即使只用 5% 数据也能显著改善冷启动，完整 SFT 混合最佳；训练中的高奖励不必然对应更高的下游表现（该说明出现在第 95 页文本中）。

3.13 双塔检索与对比学习（Slides 第 101–104 页）

检索打分： $s (q, d) = E_{q} (q)^{⊤} E_{d} (d)$ ，在向量索引上取 top-k。例子：query “Who shared the Turing Award with Simon?” 的 top match 是“Newell and Simon: 1975 Turing Award”，而非“CMU campus buildings”。
训练损失（对比学习）：

L = - \log \frac{\exp s (q, d^{+})}{\exp s (q, d^{+}) + \sum_{d^{-}} \exp s (q, d^{-})}

符号： $q$ 为查询； $d^{+}$ 为相关段落； $d^{-}$ 为负例段落。假设：同一查询下，相关段落与查询的相似度应高于所有负例；Slides 提示编码器设计、负采样与索引细节参见高级 NLP 与 IR 课程。

3.14 AgentIR 与 DR-Synth（Slides 第 105–123 页）

问题：标准检索器只接收最新 query $q_{t}$ ，丢弃智能体的当前推理 $τ_{t}$ （Slides 第 105 页）。
方案：把推理 $τ_{t}$ + 查询 $q_{t}$ 一起送入检索器，并用 DR-Synth 训练它“判断哪些文档对这一步推理有用”（Slides 第 106–111 页）。难点在于标准检索训练依赖全局问题的人工相关性标签，而 DR 轨迹的中间检索步骤没有现成标签（Slides 第 107 页）。
消融（Slides 第 115–118 页，四个智能体设定）：仅 query → +reasoning → +DR-Synth → 两者结合。以 Tongyi-DR 为例，48.7 → 55.5 → 59.4 → 66.3；结论是“两个组件都有帮助，结合最好”。
哪种历史有用（Slides 第 119–123 页）：仅 query、先前 query、query+推理、query+推理+文档、当前推理。在四个设定中，“当前推理”给出的信号最强（例：Tongyi-DR 59.4 → 66.3）。

四、常见误区

把基准高分当作“已达到人类专家水平”。Slides 第 35–37、39–41 页反复强调：一个基准分数回答不了“与人类专家比较”的问题；专家偏好、引用准确率等是不同证据维度。第 11 页示范答案的措辞是“在被测试的任务上有前景；更广泛的人类专家等价性尚未被证明”。
用相似度指标（ROUGE/BLEURT/BERTScore）替代人工偏好或 rubric。第 38 页的 109 组比较显示这些指标只比随机好一点，且第 35–37 页给出了“极其相似但错误”的反例。
认为 rubric 一旦生成就可信。第 44 页：15% 的自动 rubric 条目空洞、错误或不清；rubric 本身必须先被审计。
把“有引用”等同于“引用支持断言”。第 47–49 页的 FACT 流程专门检查被引页面是否真的支撑该断言，50% 的引用准确率说明二者不是一回事。
以为只靠“更多搜索次数/更长上下文”就能解决 DR。第 26 页显示上下文与交互轮数带来增益，但第 83 页也显示不同上下文上限下策略行为不同，且训练曲线未分离各阶段贡献。
把 RLVR 的短答奖励直接搬到长文任务。第 84–85 页明确列出开放长文需要的多维信号；第 96–98 页显示演化 rubric 相比初始 rubric 与随机奖励的差异。
默认检索器只需要 query。第 105 页指出这是标准做法的局限；第 115–123 页显示把当前推理纳入检索输入并配合 DR-Synth 训练才得到最高准确率。

五、复习问题

用 Slides 第 3–11 页的两个例子，说明“一次搜索够用”和“需要多轮搜索”的任务在规划、反思与结论措辞上的差别。最终答案为什么写成“在被测试任务上有前景”而不是“已与专家持平”？
四维框架（搜索复杂度、领域专业性、答案质量、证据支撑）中，BrowseComp / BrowseComp-Plus 补的是哪一维？为什么把语料冻结成 830 题 / 100,195 文档会更“公平和可解释”？（Slides 第 21–30 页）
写出 rubric 加权评分公式，并解释 Slides 第 39 页例子里 $S_{c} = 0.67$ 是怎么算出来的。第二条为什么判 0？
为什么“与参考答案相似”可能误判？请引用第 38 页的偏好准确率数字，并说明第 42 页的专家–LM 一致性（79% vs 专家–专家 80%）说明了什么。
描述 DeepResearch Bench 的 FACT 三步流程，并说明“引用准确率 50%”与“有效引用 1 个”分别衡量什么。（Slides 第 47–49 页）
写出智能体推理循环的六步，并指出哪些内容属于模型生成、哪些属于工具/用户输入。（Slides 第 52–57 页）
mid-training、SFT、RL 三阶段各自的数据构成是什么？SFT 的过滤规则是哪三条？第 73 页的对照说明了什么？（Slides 第 58–60、68–73 页）
RLVR 的奖励 $r_{i} = EM (a_{i}, a_{g o l d})$ 有什么局限？GRPO 目标函数中 $ρ$ 、 $\hat{A}$ 、 $ϵ$ 、 $β D_{KL}$ 各起什么作用？（Slides 第 74–79 页）
DR Tulu 的 rubric 奖励公式是什么？为什么准则需要“与策略共同演化”？第 96–98 页的消融把“演化 rubric”和哪三种对照比较？（Slides 第 84–98 页）
双塔检索打分与对比学习损失分别是什么？AgentIR 认为标准检索器缺失了什么输入，DR-Synth 又为中间检索步骤解决了什么标注问题？（Slides 第 101–111 页）
根据第 115–123 页的消融，reasoning-aware 输入、DR-Synth 训练、以及“哪种历史”分别带来多大差异？结论句是什么？

六、给定资料中的官方来源链接

课程主页：https://www.cmu-agents.com/
课程日程与阅读：https://www.cmu-agents.com/#schedule
作业与项目要求：https://www.cmu-agents.com/#assignments
Assignment 1 · Harness：https://github.com/cmu-agents/assignment-1
Assignment 2 · Eval：https://github.com/cmu-agents/assignment-2
官方课程日程：https://www.cmu-agents.com/#schedule
Lecture 10 slides（Deep Research Agents: Tasks, Benchmarks, and Methods）：https://www.cmu-agents.com/slides/lecture-10-deep-research-agents.pdf

再次说明：本文为基于 Slides 文本提取的候选学习笔记，不含讲者口述内容；涉及图示、公式排版与视觉布局的细节请以官方 PDF 为准。

深度研究智能体：任务、评测与方法

来源：仅官方 Slides；逐字稿未就绪。内容已由用户审核确认。

说明（阅读前请先看） 本文是基于 CMU 11-768 Fall 2026 第 10 讲《Deep Research Agents: Tasks, Benchmarks, and Methods》官方 Slides 文本提取所写的整理稿，不是完整课堂记录。我们只拿到了 Slides，尚未获得可用字幕，因此文中不包含、也不假装包含讲者口述、课堂问答、逐字稿或官方未给出的结论。凡属对概念的展开补充，均以**【学习者解释】明确标出，与 Slide 内容区分。引用的页码均指该 PDF 的页码（如“Slides 第 39 页”）；若某图示或公式仅靠文本提取无法确认布局，会标注待核**。文末列出给定资料中的真实官方链接。

一、从一个问题出发：什么算“深度研究”

课程开篇用一个对比来界定主题。第一类问题需要一个搜索：例如“Akari Asai 在 CMU 的办公室编号是多少？”，答案可以从一条院系主页证据中得到（Slides 第 3–5 页）。第二类问题则无法靠单次检索解决：例如“AI 智能体能否像人类专家一样综合科学文献？”（Slides 第 6–11 页）。

Slides 用一个完整的推理链展示了后者为何不同：先规划（把“基准分数”与“与人类专家的直接比较”分开），再检索（找到一项研究报告基准成绩、另一项研究做专家评估），然后反思（这些研究用的比较对象不同，高分并不能直接回答“与专家是否持平”），继而再次检索（任务与领域是什么、评测协议是什么），最后给出一个带限定的结论：在被评测的文献综合问题上，专家更偏好 OpenScholar 的回答，引用准确度与人类专家相当；DR Tulu 在四个长文研究基准上报告了强结果，但与其它 AI 智能体的比较并不直接确立与人类专家的对等（Slides 第 11 页）。

【学习者解释】 这个例子本身就是一个“深度研究”应有的样子：它不是在找一句事实，而是在多个证据之间建立关系，并对结论的适用范围保持诚实。Slides 第 12 页把当天内容分成三块：评测（基准、评分量表 rubrics、引用支持）、建模（学习搜索、推理与综合）、面向深度研究的检索（为智能体的下一步寻找证据）。本文按这三块展开。

二、为什么经典问答基准不够用

Slides 第 14–18 页用 Natural Questions 的一个例子说明经典问答的四个局限：问题是简单查找（“谁为《原力觉醒》配乐”），来源是通用领域（维基百科），答案是短形式（“John Williams”），而证据如何使用并不清楚。第 19 页把这四点提炼成从 QA 走向深度研究基准的四个维度：

搜索复杂度 —— 简单查找，一个熟悉事实可能一次搜索就能得到；
领域专业性 —— 通用领域，宽泛的网页问题未必检验专家知识；
答案质量 —— 短形式答案，答案匹配无法评估多文档综合；
证据支持 —— 证据使用不明确，答案正确并不说明证据使用或可靠性。

【学习者解释】 这四个维度可以理解为“评测要往哪里加难度”：加搜索步数、加领域门槛、加答案形态、加证据约束。后面几页的基准基本都落在其中一个或几个维度上。

三、评测：从 BrowseComp 到引用检查

3.1 BrowseComp：把“多次搜索”做成题

Slides 第 21 页描述 BrowseComp 的构造流程：共 1,266 道人工编写的问题。出题方式是从答案出发——先确定一个已知的人物、事件或物件，再写一个复杂问题隐藏其名字、把事实线索组合起来；随后做难度验证：用“语言模型 + 搜索”检查，模型应当失败，且“5 次 Google 搜索不足以解决”；再加人工检查（10 分钟后是否仍然困难），目标难度只在一个子集上被验证过。

第 22 页给出一个具体题目：请找出一个虚构角色，他在阅读顺序上满足五条线索——偶尔打破第四面墙、背景故事涉及无私苦行者的帮助、以幽默著称、其电视剧在 1960 至 1980 年代播出且集数少于 50。参考答案是 Plastic Man。第 24 页给出结果：GPT-4o 0.6、GPT-4o + 浏览 1.9、GPT-4.5 0.9、OpenAI o1（medium）9.9、Deep Research（*为 BrowseComp 类任务训练过）51.5，人类参考匹配 25.3；并注明人类尝试了 1,266 题中的 1,255 题，11 题未被尝试。

【学习者解释】 “隐藏答案、组合线索”的意义在于：任何单条线索都可能指向很多候选，只有把多条线索联合起来才能收敛到唯一答案。这正是“多次搜索”的评测形态。注意 Slide 明确标注 Deep Research 一项带有星号（为该类任务训练过），这说明阅读榜单时要分清“同条件比较”与“专门训练”。

3.2 交互预算与固定语料

Slides 第 26 页引用 Tongyi DeepResearch 技术报告：训练轨迹中有超过 20% 的 SFT 样本含 10 次以上工具调用；评测时每个任务最多 128 次工具调用；并强调“更多上下文允许更长的交互历史，准确率随预算上升”（图中展示 8K–128K 上下文下的准确率曲线）。同页也给出一个“模拟环境”的奖励曲线，作为快速迭代的“风洞实验室”。

【学习者解释】 这一段提醒我们：深度研究的成绩和“允许交互多少轮”强相关。比较不同系统时，若交互预算不同，分数不可直接对比。

Slides 第 27 页介绍 BrowseComp-Plus 的动机：让语料固定下来，评测才可控。流程是：拿到 BrowseComp 的“问题 + 已知答案”作为离线输入；先用 o3 找证据页面；再由人工核验——标注支持性片段、检查每条线索、标注答案文档，并加入“硬负例”（相关但缺少某条线索的页面）；最终形成固定基准：830 道问题 / 100,195 篇文档。（注：该流程图为文字提取，版式与箭头关系待核。）

3.3 领域专业性：金融、医学、科学

Slides 第 31 页介绍 FinSearchComp：专家从工作场景或已核验的财务表出发出题，检索可靠数据并做计算与交叉核对，再由其他专家独立求解、解决分歧。给出的示例（Slides 标注为“paraphrased”）是关于强生 2022–2024 年国际收入占比逐年变化的问题。第 32 页列出更多带领域知识的基准：MedBrowseComp（医学：串联试验、药物与监管事实）、FinSearchComp（金融）、ScholarSearch（学术检索）、AutoResearchBench（一篇论文或全部匹配）。

3.4 答案质量：为什么“像标准答案”不等于“对”

Slides 第 35–37 页给出一个关键论点：研究需要多维评测——准确度、覆盖度、限定条件（qualifications）、证据支持。它用三种摘要对比说明问题：一种参考摘要说“专家在一项研究中更偏好 OpenScholar，跨领域的对等性尚未被证明”；另一种同样有效的摘要表达相近意思；还有一种相似但不正确的摘要——“专家在一项研究中更偏好 OpenScholar，跨领域的对等性已被证明”。结论是：与金标准的相似度并不足够。

第 38 页用数据支撑：在 109 次专家比较中，随机为 50%，ROUGE 的偏好准确率为 58%，BERTScore 57%，BLEURT 62%——相似度指标可能把答案排错。

【学习者解释】 差别就在“尚未被证明”和“已被证明”这两个词。表面相似度对这类限定词不敏感，而这类限定恰恰是研究结论可靠性的核心。因此需要更结构化的评分方式。

3.5 ScholarQABench：用专家评分量表

Slides 第 39–41 页展示评分量表（rubric）的用法：题目是“AI 智能体能否像人类专家一样综合科学文献？”；评分项包括“报告了与人类专家的直接比较”（权重 2）、“按任务与领域对结论加以限定”（权重 1）。候选答案是“OpenScholar 在专家比较中胜出 70% [1]，这在所有领域都成立”。第一项得 1 分，第二项得 0 分，因此 $S_{c} = \frac{2 \times 1 + 1 \times 0}{3} = 0.67$ 。

第 42 页给出量表判断与专家的一致性：专家—语言模型 79%，专家—专家 80%；规模是 12 个问题、2 个系统、每个答案 2 位专家评分者。

【学习者解释】 79% 与 80% 很接近，这意味着“用语言模型按量表打分”在这一小规模设置下与专家互评的水平相当。但样本只有 12 个问题，不宜外推。

3.6 ResearchQA 与量表自身的质量

Slides 第 43 页介绍 ResearchQA：用语言模型把综述文章蒸馏成问题与评分项，以扩大标注规模——21K 问题 / 75 个领域 / 160K 评分项；31 位 8 个领域的博士标注者认为 90% 的问题反映博士级信息需求、87% 的评分项值得用一句话或更长篇幅强调；用它对 18 个系统做了 7.6K 次头对头比较，没有任何被评测的参数化或检索增强系统超过 70% 的评分项覆盖率，最高者 75%；错误分析显示最高排名系统在引用类评分项上完全满足的比例不到 11%，局限类 48%，比较类 49%。

Slides 第 44 页紧接着提出一个更根本的问题：生成的量表可能编码了错误目标，所以要先评测量表本身。ResearchQA 的专家审计显示，15% 的参数化评分项是空洞的、错误的或不清楚的。它列出三类典型问题：评分项引用了不存在的论文；评分项只是重复问题；含糊的评分项让似是而非的错误通过。建议是先把评分项锚定到来源，再审计其相关性与可验证性。第 44 页还提到 DeepResearch Bench II 使用专家报告 + 人工修订 + 专家评审。

3.7 证据支持：检查引用

Slides 第 47–49 页介绍 DeepResearch Bench 的 FACT 检查：第一步抽取“主张 + URL”；第二步阅读被引页面；第三步判断是否支持。例子里，一条“OpenScholar 与人类答案做过比较”的主张被判定为支持，另一条“OpenScholar 在每个领域都与专家持平”被判定为不支持；于是引用准确率为 1/2 = 50%，有效引用为 1 对受支持的搭配。（页面标注引用准确率公式为 1/2，图示细节待核。）

第 50 页把四个维度补齐：搜索复杂度对应 BrowseComp / BrowseComp-Plus，领域专业性对应 MedBrowseComp / FinSearchComp，答案质量对应 ScholarQABench / ResearchQA，证据支持对应 DeepResearch Bench。

四、建模：智能体如何推理、如何被训练

4.1 单步推理循环

Slides 第 52–57 页把深度研究智能体的推理拆成一个循环：给定用户问题与已有上下文，模型先生成推理（如“找专家比较”），再生成工具调用 search("expert comparisons")，工具执行后返回输出，输出被追加进上下文，模型基于检索到的文本继续推理，最后生成带引用的答案。图中蓝色表示模型生成文本，灰色表示用户输入与工具输出。

【学习者解释】 这个循环的关键在于“工具输出进入上下文”这一步——检索结果不是外部附件，而是成为下一轮推理的一部分。这也解释了后文为什么检索质量会直接影响推理质量。

4.2 训练配方：先模仿，再从自身尝试中学习

Slides 第 58–60 页给出三阶段配方：Mid-training（规模化学习智能体行为）、Supervised fine-tuning（模仿成功示范）、Reinforcement learning（从自身尝试的反馈中学习）。SFT 的训练数据是“输入 + 答案 + 教师轨迹”，RL 的训练数据是“输入 + 答案 + 策略自身的 rollout”。

【学习者解释】 三个阶段的分工可以这样理解：mid-training 让基座模型“见过”智能体式的工作流；SFT 让它学会照着正确轨迹做；RL 则让它在没有教师轨迹的情况下，凭反馈自我改进。所谓“下一问：任务与轨迹从哪来？”正是接下来几页要回答的。

4.3 用知识图谱合成任务

Slides 第 61–62 页介绍知识图谱的基本形态：节点是实体，带标签的箭头是关系。例子包括 Allen Newell 与 Carnegie Mellon 的“faculty”关系、1975 年图灵奖、Herbert Simon 与 1978 年经济学诺贝尔奖、《Human Problem Solving》(1972) 的合著关系等。

第 63–67 页说明数据构造：从有来源的事实出发，采样一个连通的子图来出题。例如把“Newell 是 CMU 教职”、“Newell 与 Simon 合著《Human Problem Solving》(1972)”、“二人共享 1975 年图灵奖”、“Simon 获 1978 年经济学诺贝尔奖”这些事实变成线索，隐藏目标名字，写成问题：“哪位 CMU 研究者与一位未来的经济学诺贝尔奖得主合著了一本关于人类问题求解的书，并在该同事获诺贝尔奖的三年前与其共享图灵奖？”已知答案是 Allen Newell。方法来源标注为 WebSailor-V2（ICLR 2026）。

【学习者解释】 这种构造方式的价值在于：问题天然需要多条事实联合求解，而且每条事实都可溯源，便于生成参考答案和验证。

第 71–73 页展示“智能体式 mid-training”：把智能体轨迹与通用预训练数据混合做持续预训练（下一词预测），得到“智能体就绪”的基座模型。第 73 页给出对比：在相同的下游 SFT-B 数据下，不同基座初始化导致不同 Pass@1——BrowseComp-en 从 28.6 提升到 39.9，BrowseComp-zh 从 35.6 到 43.3，GAIA 从 71.8 到 72.8（Qwen3 base + SFT 对比 AgentFounder base + SFT）。

4.4 SFT 的数据过滤

Slides 第 68–70 页展示 SFT 的数据流程：从“问题 + 已知答案”出发，收集教师轨迹，然后过滤——正确答案且格式有效、轨迹连贯的才保留，错误答案（即使格式有效）和格式无效的（即使答案正确）都被过滤掉，最后用保留下来的轨迹做 SFT。

4.5 RLVR：从答案正确性学习

Slides 第 74–76 页展示 RLVR（可验证奖励的强化学习）：给定问题 $x$ （一个 CMU 线索题），策略 $π_{θ}$ 搜索并推理，采样出多条轨迹 $y_{1}, y_{2}, y_{3}$ ，分别给出答案（Herbert Simon、Allen Newell、Allen Newell），再用精确匹配给奖励 $r_{i} = EM (a_{i}, a_{g o l d})$ ，得到奖励 0、1、1，然后更新策略。方法标注为 Search-R1，且 Slide 明确说明 CMU 例子与奖励是示意性的（illustrative）。

【学习者解释】 这类奖励的优点是客观、便宜；局限也很明显：它只能判断最终答案是否匹配，无法评价一份长报告是否覆盖全面、引用是否可靠。这正是后面 DR Tulu 要解决的问题。

4.6 GRPO：在组内比较

Slides 第 77–79 页解释 GRPO：对同一问题采样一组尝试，组内比较相对奖励 $\hat{A}$ ，高于组平均的（如两个“Allen Newell”，奖励 1）提高概率，低于组平均的（如“Herbert Simon”，奖励 0）降低概率；目标函数形如 $J (θ) = E [min (ρ \hat{A}, clip (ρ, 1 - ϵ, 1 + ϵ) \hat{A}) - β D_{K L}]$ ，其中裁剪项限制单次更新幅度，KL 惩罚让策略不要偏离参考模型太远。（公式来自文本提取，排版待核。）

Slides 第 80–82 页补充异步 rollout 的工程做法：不同 rollout 陆续完成，分别评分，凑齐一个批次后再做策略更新；额外效率手段包括缓存工具结果、稳健处理 API、后台任务管理；并说明调度与训练效率的更多内容会在 RL 系统讲座中展开。

第 83 页展示 Tongyi 的 RL 训练曲线：奖励随步数上升而策略熵相对稳定；Slide 明确注明图中的奖励与熵来自 RL 训练曲线，报告并未把每个训练阶段单独分离，此为待核限定。

4.7 开放报告需要更丰富的训练信号

Slides 第 84–85 页对比两类任务：可验证的短答案（Allen Newell）只需要答案正确性；开放式综合则需要覆盖度、相关性、事实性、受支持的论断（引用）。第 86–89 页介绍 DR Tulu 的 RLER（Reinforcement Learning with Evolving Rubrics）：策略搜索并推理，产出多份报告；用评分量表对报告打分 $r_{i} = \frac{\sum_{k} w_{k} Judge (c_{k}, y_{i})}{\sum_{k} w_{k}}$ ；评分标准 $c_{k}$ 会从回答与检索到的证据中演化更新；然后据此更新策略。Slide 注明“此处仅展示量表奖励，辅助奖励略去”。

第 90–93 页说明量表如何随训练演化：Slide 标题为“随着智能体发现更好的答案，量表也在演化”，但具体内容是图示，文本提取只留下页码标记，图示内容待核。第 94 页标注“开放深度研究智能体可以与前沿系统竞争”，同样是图示，具体数值待核。

第 95 页给出 SFT 消融：即使 5% 的 SFT 数据也有帮助，完整的 SFT 混合数据在 RL 初期效果最好；灰色区域表示横轴步长不等距（待核）。第 96–98 页展示“演化量表优于仅用初始量表”的对比：无 RL、随机奖励、仅初始量表、演化量表四者对比，纵轴为分数，横轴为 RL 训练步数，是 HealthBench、ScholarQABench v2、DeepResearch Bench 上的平均。

【学习者解释】 这里有一个值得停留的对照：RLVR 用精确匹配做奖励，适合有唯一答案的短问题；而一篇研究报告的“好”是多元的，很难写成静态规则。RLER 的思路是让评分标准本身随训练演化——因为智能体在搜索中会发现新的知识点，静态量表可能一开始就漏掉了这些点。

五、面向深度研究的检索

Slides 第 100 页列出深度研究可用的搜索工具：本地检索（词汇检索如 BM25、用嵌入模型学习相似度）、黑盒 API（网页搜索 API、浏览），以及其它工具（Python 执行、学术检索，出处标注为 Tongyi 与 DR Tulu）。

5.1 嵌入检索的基本形态

Slides 第 101–102 页说明双编码器检索：先用文档编码器 $E_{d}$ 编码整个文档集并建立向量索引；查询时用查询编码器 $E_{q}$ 编码问题，用 $s (q, d) = E_{q} (q)^{⊤} E_{d} (d)$ 给每个文档打分，取前 $k$ 。示例中查询“谁与 Simon 共享图灵奖”最匹配的是“Newell 与 Simon：1975 年图灵奖”。

第 103–104 页说明对比学习如何训练嵌入：对相关段落 $d^{+}$ 提高相似度、对负例 $d^{-}$ 降低相似度，损失为 $L = - \log \frac{\exp s (q, d^{+})}{\exp s (q, d^{+}) + \sum_{d^{-}} \exp s (q, d^{-})}$ ；并注明编码器设计、负采样与索引的更多内容参见高级 NLP 与 IR 课程。

5.2 检索器通常只看查询

Slides 第 105 页指出一个关键局限：在标准设置下，检索器只接收最新的查询 $q_{t}$ ，而智能体的原始任务、先前推理、先前查询、先前证据都不传给检索器——Slide 用感叹号强调“推理没有传给检索器”。

第 106–107 页介绍 AgentIR 的改进：检索输入变成“当前推理 $τ_{t}$ + 最新查询 $q_{t}$ ”，并在训练中学习“哪些文档对这一步推理有帮助”。同时指出现有标准检索器训练使用全局问题的相关性标签，而深度研究轨迹中的中间搜索需要局部标签——某文档是否有助于这一轮，原有的“正例 / 负例”标签不一定适用。

第 108–111 页提到 DR-Synth 为中间搜索生成标签，标题为“DR-Synth 在智能体生成的信息需求上训练检索器”，但具体内容为图示，细节待核。第 112–114 页标题为“AgentIR 用更少的搜索找到更多证据”，同样为图示，数值待核。

5.3 哪些输入对检索真的有帮助

Slides 第 115–118 页给出消融：仅查询、+推理、+DR-Synth、两者结合（AgentIR），在四个设置上比较准确率（Tongyi-DR 48.7→55.5→59.4→66.3；gpt-oss-120B 47.6→51.3→59.2→67.0；GLM-4.7 50.5→50.9→57.5→64.7；Tongyi-DR（visit）50.2→54.0→59.5→68.1）。结论是两者都有帮助，结合最好。

第 119–123 页进一步比较“哪种历史对检索有用”：在所有检索器都使用 DR-Synth 的前提下，只改变输入上下文——仅查询、先前查询、查询 + 推理、查询 + 推理 + 文档、当前推理（AgentIR）。结论是当前推理在各智能体设置下给出最强信号。

【学习者解释】 这两组消融支持同一个设计判断：给检索器的不是“更多历史”，而是“与当前这一步相关的推理”。把整段历史都塞进去（包括检索到的文档）反而不如只给当前推理。

六、小结与待核事项

Slides 第 124 页给出四条总结：任务是深度研究把多次搜索与证据综合结合起来；评测要评估答案质量与引用支持，并且也要审计评分量表本身；训练先从示范学习，再通过任务反馈改进；检索要把智能体的信息需求交给检索器，并为它训练。

本文的待核事项汇总：

Slides 第 27 页 BrowseComp-Plus 流程图的版式与箭头关系待核。
Slides 第 47 页 FACT 引用准确率图示的细节待核。
Slides 第 77 页 GRPO 目标函数的排版待核。
Slides 第 90–94 页、108–114 页主要为图示，数值与内容待核。
Slides 第 83 页明确说明训练曲线未分离各训练阶段。
Slides 第 74 页注明 CMU 例子与奖励为示意性。
本文档的文本提取日期为 2026-10-03，未对照 PDF 做视觉核验。

最后再次强调：本文是基于 Slides 文本提取的整理稿，不包含也未虚构讲者口述、课堂例子、问答或逐字稿；所有超出 Slide 字面的展开均已标注为【学习者解释】。

官方来源链接（给定资料中列出的真实链接）

课程主页：https://www.cmu-agents.com/
课程日程与阅读：https://www.cmu-agents.com/#schedule
作业与项目要求：https://www.cmu-agents.com/#assignments
Assignment 1 · Harness：https://github.com/cmu-agents/assignment-1
Assignment 2 · Eval：https://github.com/cmu-agents/assignment-2
Lecture 10 slides：https://www.cmu-agents.com/slides/lecture-10-deep-research-agents.pdf

Domains 3: Deep Research Agents

课程简介 ​

CMU 11-768 Fall 2026 · Lecture 10 学习笔记 ​

一、学习目标 ​

二、概念主线 ​

三、关键机制、公式、假设与符号 ​

3.1 从经典 QA 到 DR 基准的四维框架（Slides 第 19–20 页） ​

3.2 BrowseComp 的题目构造（Slides 第 21–25 页） ​

3.3 BrowseComp-Plus：固定语料（Slides 第 27–28 页） ​

3.4 上下文/交互轮数扩展（Slides 第 26 页） ​

3.5 Rubric 加权评分（Slides 第 39–41 页） ​

3.6 相似度指标会误排序（Slides 第 38 页） ​

3.7 Rubric 自身会错（Slides 第 44 页） ​

3.8 引用支撑判定（Slides 第 47–49 页） ​

3.9 智能体推理循环（Slides 第 52–57 页） ​

3.10 训练配方（Slides 第 58–60、68–73 页） ​

3.11 RLVR 与 GRPO（Slides 第 74–79 页） ​

3.12 DR Tulu 的 evolving rubrics（Slides 第 86–98 页） ​

3.13 双塔检索与对比学习（Slides 第 101–104 页） ​

3.14 AgentIR 与 DR-Synth（Slides 第 105–123 页） ​

四、常见误区 ​

五、复习问题 ​

六、给定资料中的官方来源链接 ​

深度研究智能体：任务、评测与方法 ​

一、从一个问题出发：什么算“深度研究” ​

二、为什么经典问答基准不够用 ​

三、评测：从 BrowseComp 到引用检查 ​

3.1 BrowseComp：把“多次搜索”做成题 ​

3.2 交互预算与固定语料 ​

3.3 领域专业性：金融、医学、科学 ​

3.4 答案质量：为什么“像标准答案”不等于“对” ​

3.5 ScholarQABench：用专家评分量表 ​

3.6 ResearchQA 与量表自身的质量 ​

3.7 证据支持：检查引用 ​

四、建模：智能体如何推理、如何被训练 ​

4.1 单步推理循环 ​

4.2 训练配方：先模仿，再从自身尝试中学习 ​

4.3 用知识图谱合成任务 ​

4.4 SFT 的数据过滤 ​

4.5 RLVR：从答案正确性学习 ​

4.6 GRPO：在组内比较 ​

4.7 开放报告需要更丰富的训练信号 ​

五、面向深度研究的检索 ​

5.1 嵌入检索的基本形态 ​

5.2 检索器通常只看查询 ​

5.3 哪些输入对检索真的有帮助 ​

六、小结与待核事项 ​

官方来源链接（给定资料中列出的真实链接） ​

中文逐字稿 ​

英文逐字稿 ​