← 返回课程

CS329Z Fall 2026 · Lecture 14草稿待校对

LLM-as-Judge & Evaluation Infrastructure

日期: Mon Nov 9, 2026
课程资料: 4 项
内容产物: 0 项

视频待接入官方资源发布后会自动出现在这里

课程简介

代码评分、模型评分与人工评分，理解裁判偏差和评测基础设施。已按官网阅读清单整理预习 Note、Blog，属于阅读准备稿，尚无本讲课堂讲义。录播需课程 Canvas 权限，尚未取得课堂字幕；英文逐字稿与中文译稿均待真实来源补齐。

技术文章Grace et al. "Demystifying Evals for AI Agents." Anthropic (2026).官方课程阅读↗论文Zheng et al. "Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena." NeurIPS (2023).官方课程阅读↗论文Ryan et al. "AutoMetrics: Approximate Human Judgements with Automatically Generated Evaluators." ICLR (2026).官方课程阅读↗论文Zhu et al. "AutoLibra: Agent Metric Induction from Open-Ended Human Feedback." ICLR (2026).官方补充阅读↗