caomaolufei / AIInfraGuide

# AIInfraGuide（内容持续更新中）
> 从零开始深入理解 AI Infra 的核心全栈技术
**在线浏览：https://caomaolufei.github.io/AIInfraGuide/**
AI Infra 正在成为大模型时代最关键的工程能力之一。本项目系统梳理从 GPU 硬件到分布式训练、从 CUDA 编程到推理优化的完整技术栈，帮助工程师构建扎实的 AI 基础设施知识体系。同时提供了面试宝典模块（共收录 180+ 场面试真题，覆盖 60+ 家公司）。
---
## 🚀 为什么需要 AIInfraGuide
大模型时代，AI 基础设施（AI Infra）已经成为支撑训练、推理和服务的核心技术底座。然而，这个领域有一个显著的矛盾——技术迭代极快，但系统化的中文学习资料却严重匮乏。
很多工程师在学习 AI Infra 时面临相似的困境：
- CUDA 编程的入门资料散落各处，缺乏从基础到算子优化的完整路径
- 分布式训练涉及 DDP、FSDP、3D 并行等众多概念，不知道该从哪里开始
- 推理优化技术（PagedAttention、量化、Speculative Decoding）发展迅猛，难以跟上节奏
- 性能分析工具（Nsight Systems、Nsight Compute）功能强大，但上手门槛不低
AIInfraGuide 正是为了解决这些问题而创建的——一个**开源、系统、面向实践**的 AI Infra 知识库，帮助工程师构建从硬件到软件、从训练到推理的完整知识体系。
## 📖 AIInfraGuide 内容体系
知识库围绕 **4 大学习模块 + 2 个辅助板块 + 面试宝典**，覆盖 AI Infra 工程师需要掌握的关键技术栈：
| 板块 | 涵盖内容 |
|---|---|
| **AIInfra 学习路线** | 系统化的学习路径、知识图谱、推荐资源 |
| **模块一：前置知识** | 编程语言基础、数学基础、Transformer 架构、PyTorch 框架、GPU 硬件概论、集合通信基础 |
| **模块二：CUDA 编程与算子优化** | CUDA 编程入门、性能优化基础、Reduce/GEMM/Softmax/Attention 经典算子实现、AI 编译器、性能分析工具链 |
| **模块三：分布式训练** | 分布式训练总论、优化器、数据并行(DP/DDP/FSDP)、ZeRO 系列、张量并行与序列并行、流水线并行、3D 并行、训练框架实战 |
| **模块四：推理优化** | LLM 推理基础、推理引擎核心技术、主流推理框架(vLLM 等)、量化、Speculative Decoding、PD 解耦架构、性能分析与 Benchmark |
| **性能分析** | Nsight Systems/Compute、Roofline 模型、Profiling 实战 |
| **面试宝典** | 目前共收录 180+ 场面试真题，覆盖 60+ 家公司，按梯队分类组织，助你高效备战拿下心仪 Offer |
每篇文章都遵循「先白话后术语」的写作原则——先用通俗的语言解释"是什么、为什么需要"，再给出严谨的技术细节，确保读者既看得懂也学得对。
## 🗺️ AIInfra 学习路线
| 序号 | 文章 | 说明 |
|:---:|------|------|
| 1 | AI Infra 学习路线 | AI Infra 技术栈全貌、系统化学习路径与知识图谱 |
## 📚 模块一：前置知识
涵盖 GPU 架构、编程语言基础、数学基础、Transformer 架构、PyTorch 框架和集合通信等核心前置知识，为后续深入 AI Infra 打好坚实基础。
| 章节 | 主要内容 |
|------|----------|
| 第 1 章 编程语言基础 | Python 进阶、C/C++ 核心、Linux 与开发环境 |
| 第 2 章 数学基础 | 线性代数、概率论与统计、微积分 |
| 第 3 章 Transformer 架构详解 | Self-Attention、前馈网络、位置编码、归一化层、模型架构变种 |
| 第 4 章 PyTorch 框架 | Tensor 与自动微分、Module 与训练流程、调试与性能分析 |
| 第 5 章 GPU 硬件概论 | GPU 架构总览、存储层次、主流 GPU 规格对比、互联拓扑 |
| 第 6 章 集合通信基础 | 通信原语、通信算法、NCCL |
**已更新文章：**
| 序号 | 文章 | 说明 |
|:---:|------|------|
| 第3章 | 🔥 Transformer 架构：快速入门篇 | Encoder-Decoder 结构、Self-Attention 机制入门 |
| 3.1 | AI Infra 工程师为什么必须懂 Transformer | 从 Infra 视角理解 Transformer 的计算与显存特性 |
| 3.2 | Transformer 全貌及代码实现 | 完整 Transformer 架构拆解与 PyTorch 实现 |
| 3.3 | Self-Attention机制深入理解 | Self-Attention 是 Transformer 的心脏，也是当代大模型中计算量最集中、优化手段最丰富的模块 |
| 3.4 | Transformer前馈网络ffn深入理解 | 前馈网络 FFN 负责对每个 token 进行独立的非线性变换，是模型记忆知识和深度推理的核心载体 |
| 3.5 | Transformer位置编码深入理解 | 位置编码是 Transformer 架构中一个看似不起眼却至关重要的组件 |
| 3.6 | LayerNorm与残差连接深入理解 | LayerNorm 和 残差连接 决定了大模型能不能学会 |
| 3.7 | Transformer Decoder Block完整解析 | 大语言模型的核心计算单元是 Transformer Decoder Block |
| 3.8 | 从Transformer到LLM自回归生成深入理解 | 从宏观视角理解 Transformer 到 LLM 自回归生成的计算流程 |
| 3.9 | Tokenization与词嵌入 | 一段文字变成模型输入之前，需要先经过两道关键变换：Tokenization（分词） 和 Embedding（词嵌入） |
| 第4章 | 🔥 PyTorch框架入门 | PyTorch 是当前大模型训练和推理的事实标准框架 |
| 第5章 | 🔥 GPU基础知识：从硬件架构到AI计算 | CPU vs GPU、SM 架构、显存层级、Tensor Core |
| 5.1 | NVIDIA GPU 架构演进：从 Volta 到 Blackwell | V100 → A100 → H100 → B200 架构演进 |
| 第6章 | 🔥 集群通信网络与NCCL：分布式训练的通信骨架 | 从通信原语到 Ring AllReduce 算法，再到 NCCL 实战，快速建立分布式训练集群通信的完整