Stanford · Language Modeling from Scratch · 2026持续更新

CS336 2026

从零构建语言模型，覆盖架构、GPU、并行训练、Scaling Laws、评估与数据。

开始学习 →参考资料库 →Lab 与作业 →观看官方课程 ↗课程主页 ↗官方讲义仓库 ↗

讲次

19 讲

发布

18 讲

内容

72 份

资料

159 条

▶在 YouTube 观看课程打开官方课程视频

Lab 与作业

入口按本课程官网公布的作业登记；代码、题目版本及访问要求以原站为准。

• Assignment 1: Basics · GitHub — 课程官网公布的仓库；题目版本以仓库说明为准。 · 课程来源

• Assignment 2: Systems · GitHub — 课程官网公布的仓库；题目版本以仓库说明为准。 · 课程来源

• Assignment 3: Scaling · GitHub — 课程官网公布的仓库；题目版本以仓库说明为准。 · 课程来源

• Assignment 4: Data · GitHub — 课程官网公布的仓库；题目版本以仓库说明为准。 · 课程来源

• Assignment 5: Alignment and Reasoning RL · GitHub — 课程官网公布的仓库；题目版本以仓库说明为准。 · 课程来源

课程学习路径

00 · Course References

按讲次整理的论文、技术文章、文档与代码

1 lectures

1. 00

   课程参考资料

   按课程目录汇总讲义、视频、代码与延伸阅读。

   159 项
   →

01 · Foundations

Tokenization、PyTorch 与模型架构

4 lectures

1. 01

   Overview, tokenization

   建立从数据到语言模型的课程全景，并理解分词器如何把文本转换为模型可处理的表示。

   Mon March 30 · Percy
   笔记Blog中文EN
   →
2. 02

   PyTorch (einops), resource accounting (FLOPs, memory, arithmetic intensity)

   用张量操作、FLOPs、显存和算术强度建立训练大模型前最基本的资源核算方法。

   Wed April 1 · Percy
   笔记Blog中文EN
   →
3. 03

   Architectures, hyperparameters

   理解 Transformer 架构的关键选择，以及模型规模、深度和训练超参数之间的关系。

   Mon April 6 · Tatsu
   笔记Blog中文EN
   →
4. 04

   Attention alternatives and mixture of experts

   比较注意力替代方案与混合专家模型，分析它们在计算效率和模型容量上的取舍。

   Wed April 8 · Tatsu
   笔记Blog中文EN
   →

02 · Training Systems

GPU、Kernel 与分布式并行

4 lectures

1. 05

   GPUs, TPUs

   从硬件视角理解 GPU 与 TPU 的执行方式，以及它们如何影响大模型训练效率。

   Mon April 13 · Tatsu
   笔记Blog中文EN
   →
2. 06

   Kernels, Triton

   进入 GPU Kernel 与 Triton 编程，理解算子实现、内存访问和性能优化的基本方法。

   Wed April 15 · Percy
   笔记Blog中文EN
   →
3. 07

   Parallelism

   介绍大模型训练中的并行基础，以及计算任务如何跨多张加速卡进行拆分与协同。

   Mon April 20 · Percy
   笔记Blog中文EN
   →
4. 08

   Parallelism

   继续分析数据、张量和流水线并行，并理解通信成本对分布式训练效率的影响。

   Wed April 22 · Tatsu
   笔记Blog中文EN
   →

03 · Scaling & Inference

Scaling Laws 与推理系统

3 lectures

1. 09

   Scaling laws

   建立 Scaling Laws 的基本直觉，理解模型、数据与计算量之间的幂律关系。

   Mon April 27 · Tatsu
   笔记Blog中文EN
   →
2. 10

   Inference

   分析语言模型推理的计算与内存瓶颈，并理解批处理、缓存和服务吞吐之间的关系。

   Wed April 29 · Percy
   笔记Blog中文EN
   →
3. 11

   Scaling laws

   进一步学习 Scaling Laws 的拟合与预测方法，用实验结果指导模型和训练预算选择。

   Mon May 4 · Tatsu
   笔记Blog中文EN
   →

04 · Evaluation & Data

评估、数据来源与数据治理

3 lectures

1. 12

   Evaluation

   从语言模型指标到 Agent Eval，理解评测集、指标和真实能力之间可能存在的偏差。

   Wed May 6 · Percy
   笔记Blog中文EN
   →
2. 13

   Data (sources, datasets)

   梳理预训练数据的主要来源、数据集构建方式，以及数据选择对模型能力的影响。

   Mon May 11 · Percy
   笔记Blog中文EN
   →
3. 14

   Data (filtering, deduplication, mixing, synthetic data)

   学习数据过滤、去重、混合与合成数据方法，理解数据质量如何决定训练上限。

   Wed May 13 · Percy
   笔记Blog中文EN
   →

05 · Post-training & Alignment

SFT、RLHF、RLVR 与多模态对齐

3 lectures

1. 15

   Mid/post-training (SFT/RLHF)

   介绍监督微调与 RLHF，理解基础模型如何经过中后训练转化为可用的助手模型。

   Mon May 18 · Tatsu
   笔记Blog中文EN
   →
2. 16

   Post-training - RLVR

   聚焦可验证奖励强化学习，理解 RLVR 的训练信号、优化流程与适用任务。

   Wed May 20 · Tatsu
   笔记Blog中文EN
   →
3. 17

   Alignment - multimodality

   讨论模型对齐与多模态扩展，理解语言模型如何连接图像等其他信息形式。

   Wed May 27 · Percy
   笔记Blog中文EN
   →

06 · Guest Lectures

外部研究者专题分享

2 lectures

1. 18

   Guest lecture: Daniel Selsam

   嘉宾讲座，结合前沿研究与实践经验补充课程主线中的模型训练与推理视角。

   Mon June 1
   计划中
   →
2. 19

   Guest lecture: Dan Fu

   嘉宾讲座，从研究与系统实践出发回顾大模型效率、架构和应用中的关键问题。

   Wed June 3
   笔记Blog中文EN
   →