shtjww / llm-inference-capacity-handbook

git clone https://github.com/shtjww/llm-inference-capacity-handbook.git

大模型推理案头手册（开源版）：给定 GPU 算力，一个模型能扛多少 QPS？三层模型 × 三面墙 × 排队论 × 开环压测