教材目录
全部章节的进度与阅读顺序
这里是全部章节。顺序就是依赖顺序,不要跳着读。
内容随学习进度逐章补充:写完的标 ✅,还是占位的标 ⏳(占位页里写明了它将要回答什么问题)。每一行都可以点进去。
内容进度
| # | 章节 | 状态 | 内容 |
|---|---|---|---|
| — | 如何使用本站 | ✅ | 学习方法、标记约定、章节结构 |
| 一 | 性能与存储层次 | ✅ 已完成 | 访存的代价、局部性、Cache、优化方法论、CPU 到 GPU、动手实验 |
| 二 | 框架与自动微分 | ⏳ 待补充 | 动态图与静态图、autodiff 的三种模式、显存里的激活值 |
| 三 | GPU 与算子优化 | ⏳ 待补充 | FlashAttention、Triton、online softmax |
| 四 | 训练系统与并行策略 | ⏳ 待补充 | GPipe、PipeDream、Megatron、ZeRO、FSDP |
| 五 | 推理系统与 Serving | ⏳ 待补充 | Orca、vLLM、量化、投机解码、PD 分离 |
| 六 | 编译器与图优化 | ⏳ 待补充 | TVM、MLIR、Ansor、TorchInductor |
| 七 | 集群调度与容错 | ⏳ 待补充 | Ray、调度、checkpoint 与故障恢复 |
| 八 | 前沿专题 | ⏳ 待补充 | 长上下文、MoE 系统、RLHF Infra、低精度 |
| — | 论文清单 | ⏳ 占位 | 配套的 25 篇 P0 论文与阅读顺序 |
现在从哪里开始
如果你是第一次来:
- 先读 如何使用本站(10 分钟)——了解标记约定和三级阅读法。
- 然后进 第一篇 · 性能与存储层次。
第一篇是整套教材的地基:后面每一篇讨论「优化了什么」的时候,用的都是第一篇建立的语言——是算力受限还是带宽受限。这一篇没读完就去读后面的章节,会变成名词记忆。
关于这套教材的组织原则与定位
介绍性内容都在首页——包括为什么要这样组织、三个特点、以及"适合谁 / 不假设什么 / 不做什么"。
这一页只负责一件事:告诉你去哪一章。