ForceInjection / AI-fundamentals

# AI Fundamentals
本仓库是一个全面的人工智能基础设施（AI Infrastructure）学习资源集合，涵盖从硬件基础到高级应用的完整技术栈。内容包括 GPU 架构与编程、CUDA 开发、大语言模型、AI 系统设计、性能优化、企业级部署等核心领域，旨在为 AI 工程师、研究人员和技术爱好者提供系统性的学习路径和实践指导。
> - **适用人群**：AI 工程师、系统架构师、GPU 编程开发者、大模型应用开发者、技术研究人员。
> - **技术栈**：CUDA、GPU 架构、LLM、AI 系统、分布式计算、容器化部署、性能优化。
> - **想直接跑代码？** 全仓库 12 处可运行 Demo 的总索引见 **Demos 总索引**——含依赖要求、对应文章与验证状态。
---
**Star History**:
---
## 1. 硬件架构与互连技术
涵盖单机基础计算芯片（GPU、TPU）设计原理，PCIe、NVLink 高速互连总线协议，GPUDirect 跨节点直通技术，以及 NVIDIA GB300 NVL72 等异构融合超级芯片的系统级架构与延迟金字塔模型。详细内容请访问：**硬件架构与互连技术**。
- **基础计算芯片架构**
 - 深入理解 GPU 架构
 - TPU 101：深度学习专用加速器架构解析
 - GPGPU vs NPU：大模型推理训练对比
 - Ascend950 稀疏注意力 Forward 算子与优化技术简析 — 深度求索官方 950 微架构解析（1 Cube + 2 Vector、L1 双 bank、FixPipe），DSA 稀疏注意力 prefill/decode 优化转载存档
- **高速互连与数据传输技术**
 - PCIe 总线技术大全
 - Linux PCIe P2PDMA 技术介绍
 - CXL 互联协议全景解读：从 PCIe 时代到可组合数据中心
 - CXL 命令行工具链全景：cxl / daxctl / ndctl 从查看到配置
 - NVLink 技术入门
 - NVIDIA GPUDirect P2P 技术详解：节点内 GPU 高速互联
 - NVIDIA GPUDirect RDMA 与 Storage 技术详解
- **异构融合架构与系统性能评估**
 - NVLink-C2C：芯片级高速互连技术详解
 - NVIDIA GB300 NVL72：机架级计算系统架构解析
 - AI 基础设施延迟金字塔
---
## 2. AI 集群运维与高性能通信
构建高吞吐 AI 计算集群的完整运维体系，涵盖基于 Device Query、nvidia-smi 和 nvtop 的 GPU 状态监控，InfiniBand (IB) 网络架构与健康检查，以及 NCCL 分布式通信库的基准测试与多节点部署实战。详细内容请访问：**AI 集群运维与通信**。
- **GPU 基础运维**
 - 设备查询：Device Query
 - 误区解读：GPU 利用率指标分析
 - 状态监控：nvidia-smi 指南
 - 状态监控：nvtop 指南
- **InfiniBand 高性能网络**
 - 理论基础：IB 网络架构与协议
 - 网络运维：健康检查与性能监控实战
- **数据中心市场与容量**
 - 中国数据中心有多大、建在哪、谁在租：SemiAnalysis 模型精读 - 逐栋模型精读：双速市场（高空置与 AI 容量短缺并存）、四阶段史、东数西算的配额传导机制与需求侧五家打法
- **NCCL 分布式通信测试**
 - 理论基础：NCCL 教程
 - 实战指南：基准测试与多节点部署
---
## 3. 云原生 AI 基础设施
基于 Kubernetes 的 AI 基础设施构建方案，涵盖 NVIDIA Container Toolkit 与 Device Plugin 底层机制、Kueue/HAMi 细粒度 GPU 资源切分与池化、LWS/llm-d 分布式推理调度，以及 JuiceFS、DeepSeek 3FS 等高性能分布式存储系统的架构实践。详细内容请访问：**云原生 AI 平台**。
### 3.1 Kubernetes AI 基础设施
解析 Kubernetes AI 场景核心组件，包括容器运行时 GPU 支持底层机制、设备插件源码分析、Kueue 调度整合，以及基于 LWS 的大模型分布式训练与推理架构。
- Kubernetes GPU 管理与 AI 工作负载：云原生 AI 基础设施建设指南与技术导图
- NVIDIA Container Toolkit 原理：容器使用 GPU 的底层机制深度解析
- Device Plugin 原理：Kubernetes 设备插件机制源码分析
- Kueue + HAMi 调度方案：云原生作业队列与细粒度 GPU 共享机制
- LWS (Leader Worker Set) 介绍：Kubernetes 原生的大模型分布式训练与推理调度抽象
- 分布式推理框架：基于 Kubernetes 的 LLM 推理架构设计
- Containerd 日志分析：云原生容器运行时的日志排查与分析
### 3.2 GPU 资源管理与虚拟化
提供异构算力环境下的 GPU 资源精细化管理方案，涵盖硬件级/内核态/用户态虚拟化机制、CUDA 流与 MPS 调度优化，并提供 HAMi 资源隔离与 Flex AI 的生产环境落地配置。
**基础系列文档**：
- 第一部分：基础理论篇：构建技术认知框架，解析传统模式局限性与核心技术体系
- 第二部分：虚拟化技术篇：深入剖析硬件级、内核态与用户态虚拟化的核心实现机制
- 第三部分：资源管理与优化篇：探讨 GPU 切分、CUDA 流及 MPS 等高效资源调度与优化策略
- 第四部分：实践应用篇：涵盖环境部署、监控运维及云平台集成的生产落地指南
**HAMi 专题**：
- HAMi 资源管理使用手册：异构算力管理与隔离实战指南
- HAMi Prometheus 监控指标：构建完善的 GPU 虚拟化可观测性体系
- KAI vs HAMi 对比分析：深度对比原生 Kubernetes AI 调度器与 HAMi 方案
- Flex AI 介绍：探讨灵活异构算力环境下的前沿实践
**代码实现与配置**：
- 完整实现代码：GPU 调度器、虚拟化拦截与远程调用的参考实现代码
- 配置文件集合：提供适用于生产环境和多云平台的完整部署与配置参考
### 3.3 高性能分布式存储
针对 AI 训练中海量小文件读取与跨节点共享的性能瓶颈，解析 JuiceFS 数据与元数据分离架构、DeepSeek 3FS 高性能设计及面向推理的 ICMS (KV Cache) 存储层机制。
- JuiceFS 分布式文件系统：数据与元数据分离的架构设计，兼容 POSIX 接口
 - 文件修改机制分析：底层数据一致性与写入流程解析
 - 后端存储变更手册：生产环境下的存储运维与数据迁移指南
- DeepSeek 3FS 设计笔记：高性能存储系统架构设计与特性分析
- NVIDIA ICMS 架构