Stanford · Parallel Computing · 2025持续更新

CS149 Fall 2025

从多核、SIMD 与 GPU 编程出发，系统掌握并行程序的性能、硬件与同步设计。

开始学习 →参考资料库 →Lab 与作业 →观看官方课程 ↗课程主页 ↗讲义与阅读 ↗

讲次

18 讲

发布

0 讲

内容

0 份

资料

19 条

▶在 YouTube 观看课程打开官方课程视频

Lab 与作业

入口按本课程官网公布的作业登记；代码、题目版本及访问要求以原站为准。

• Assignment 1: Analyzing Parallel Program Performance on a Quad-Core CPU · GitHub · 课程来源

• Assignment 2: Scheduling Task Graphs on a Multi-Core CPU · GitHub · 课程来源

• Assignment 3: A Circle Renderer in CUDA · GitHub · 课程来源

• Assignment 4: Fused Conv+MaxPool on the Trainium2 Accelerator · GitHub · 课程来源

• Assignment 5: Make the World's Fastest CUDA Kernels · GitHub · 课程来源

课程学习路径

00 · Course References

按讲次整理的论文、技术文章、文档与代码

1 lectures

1. 00

   课程参考资料

   按课程目录汇总讲义、视频、代码与延伸阅读。

   19 项
   →

01 · Foundations

Tokenization、PyTorch 与模型架构

4 lectures

1. 01

   Why Parallelism? Why Efficiency?

   并行化的动机、速度提升的边界与性能效率的基本语言。

   Kayvon Fatahalian / Kunle Olukotun
   官方资料已接入
   →
2. 02

   A Modern Multi-Core Processor (Part I)

   多核、SIMD 与硬件多线程三种并行形式。

   Kayvon Fatahalian / Kunle Olukotun
   官方资料已接入
   →
3. 03

   Modern Multi-Core Architecture (Part II) + ISPC Programming Abstractions

   线程、延迟与带宽，以及 ISPC 的编程抽象和底层实现。

   Kayvon Fatahalian / Kunle Olukotun
   官方资料已接入
   →
4. 04

   Parallelizing Code: An Example Thought Process

   在数据并行与共享地址空间模型中，逐步并行化一个程序。

   Kayvon Fatahalian / Kunle Olukotun
   官方资料已接入
   →

02 · Training Systems

GPU、Kernel 与分布式并行

4 lectures

1. 05

   Program Optimization 1: Work Distribution and Scheduling

   平衡工作负载、降低调度开销与 Cilk work stealing。

   Kayvon Fatahalian / Kunle Olukotun
   官方资料已接入
   →
2. 06

   Program Optimization 2: Locality and Communication

   消息传递、流水化、算术强度与 contention 的性能影响。

   Kayvon Fatahalian / Kunle Olukotun
   官方资料已接入
   →
3. 07

   GPU Architecture and CUDA Programming

   CUDA 编程抽象及其在现代 GPU 上的实现。

   Kayvon Fatahalian / Kunle Olukotun
   官方资料已接入
   →
4. 08

   Data-Parallel Thinking

   用 map、reduce、scan、prefix sum 与 groupByKey 表达数据并行。

   Kayvon Fatahalian / Kunle Olukotun
   官方资料已接入
   →

03 · Scaling & Inference

Scaling Laws 与推理系统

3 lectures

1. 09

   Efficiently Evaluating DNNs on GPUs: Transformers and ConvNets

   高效调度 DNN 层、将卷积映射到矩阵乘法，以及 Transformer 和算子融合。

   Kayvon Fatahalian / Kunle Olukotun
   官方资料已接入
   →
2. 10

   Hardware Specialization

   能效计算、专用加速器设计与 DNN 加速器案例。

   Kayvon Fatahalian / Kunle Olukotun
   官方资料已接入
   →
3. 11

   Programming Systems for Specialized Hardware

   面向专用硬件的现代编程系统与软硬件协同趋势。

   Kayvon Fatahalian / Kunle Olukotun
   官方资料已接入
   →

04 · Evaluation & Data

评估、数据来源与数据治理

3 lectures

1. 12

   Mapping AI Applications to the Datacenter Computer

   现代 AI 应用如何在数据中心规模部署与服务。

   Kayvon Fatahalian / Kunle Olukotun
   官方资料已接入
   →
2. 13

   Domain-Specific Programming Systems and AI-Driven Performance Optimization

   领域专用编程抽象与 AI 驱动的自动程序优化。

   Kayvon Fatahalian / Kunle Olukotun
   官方资料已接入
   →
3. 14

   Cache Coherence

   MSI/MESI 失效式一致性协议与 false sharing。

   Kayvon Fatahalian / Kunle Olukotun
   官方资料已接入
   →

05 · Post-training & Alignment

SFT、RLHF、RLVR 与多模态对齐

3 lectures

1. 15

   Implementing Synchronization + Memory Consistency

   锁的细粒度同步、宽松一致性模型及其编程后果。

   Kayvon Fatahalian / Kunle Olukotun
   官方资料已接入
   →
2. 16

   Fine-Grained Locking and Lock-Free Programming

   细粒度锁、无锁队列/栈，以及 ABA 问题。

   Kayvon Fatahalian / Kunle Olukotun
   官方资料已接入
   →
3. 17

   Transactional Memory (Part I)

   事务的动机、实现设计空间，以及 STM 与 HTM 基础。

   Kayvon Fatahalian / Kunle Olukotun
   官方资料已接入
   →

06 · Guest Lectures

外部研究者专题分享

1 lectures

1. 18

   Transactional Memory (Part II) + Ask Me Anything

   事务内存收束与课程后续学习方向。

   Kayvon Fatahalian / Kunle Olukotun
   官方资料已接入
   →