参考资料

参考资料（References）

本文档汇总了学习 vLLM 和 LLM 推理优化所需的关键参考资料。

官方资源

vLLM 官方

• vLLM GitHub 仓库

  • https://github.com/vllm-project/vllm
  • 源代码、Issue 讨论、PR 贡献

• vLLM 官方文档

  • https://docs.vllm.ai/
  • 安装指南、API 参考、最佳实践

• vLLM 博客

  • https://blog.vllm.ai/
  • 技术文章、版本更新、性能分析

核心论文

PagedAttention

• Efficient Memory Management for Large Language Model Serving with PagedAttention
  • 作者: Woosuk Kwon, Zhuohan Li, et al.
  • 会议: SOSP 2023
  • 链接: https://arxiv.org/abs/2309.06180
  • 要点: vLLM 的核心创新，介绍分页注意力机制

Transformer 架构

• Attention Is All You Need
  • 作者: Vaswani et al.
  • 会议: NeurIPS 2017
  • 链接: https://arxiv.org/abs/1706.03762
  • 要点: Transformer 架构的原始论文

Flash Attention

• FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness

  • 作者: Tri Dao et al.
  • 会议: NeurIPS 2022
  • 链接: https://arxiv.org/abs/2205.14135
  • 要点: IO 优化的注意力计算

• FlashAttention-2: Faster Attention with Better Parallelism and Work Partitioning

  • 作者: Tri Dao
  • 链接: https://arxiv.org/abs/2307.08691
  • 要点: Flash Attention 的改进版本

投机解码

• Fast Inference from Transformers via Speculative Decoding

  • 作者: Yaniv Leviathan et al.
  • 会议: ICML 2023
  • 链接: https://arxiv.org/abs/2211.17192
  • 要点: 投机解码的原始论文

• EAGLE: Speculative Sampling Requires Rethinking Feature Uncertainty

  • 作者: Yuhui Li et al.
  • 链接: https://arxiv.org/abs/2401.15077
  • 要点: 利用隐藏状态的投机解码

• Medusa: Simple LLM Inference Acceleration Framework with Multiple Decoding Heads

  • 作者: Tianle Cai et al.
  • 链接: https://arxiv.org/abs/2401.10774
  • 要点: 多头预测投机解码

量化技术

• AWQ: Activation-aware Weight Quantization for LLM Compression and Acceleration

  • 作者: Ji Lin et al.
  • 会议: MLSys 2024
  • 链接: https://arxiv.org/abs/2306.00978
  • 要点: 激活感知权重量化

• GPTQ: Accurate Post-Training Quantization for Generative Pre-trained Transformers

  • 作者: Elias Frantar et al.
  • 会议: ICLR 2023
  • 链接: https://arxiv.org/abs/2210.17323
  • 要点: 基于 Hessian 的后训练量化

• FP8 Formats for Deep Learning

  • 作者: Paulius Micikevicius et al.
  • 链接: https://arxiv.org/abs/2209.05433
  • 要点: FP8 格式规范

分布式并行

• Megatron-LM: Training Multi-Billion Parameter Language Models Using Model Parallelism

  • 作者: Mohammad Shoeybi et al.
  • 链接: https://arxiv.org/abs/1909.08053
  • 要点: 张量并行和流水线并行

• GPipe: Efficient Training of Giant Neural Networks using Pipeline Parallelism

  • 作者: Yanping Huang et al.
  • 链接: https://arxiv.org/abs/1811.06965
  • 要点: 流水线并行训练

深度学习基础

书籍

• Deep Learning (花书)

  • 作者: Ian Goodfellow, Yoshua Bengio, Aaron Courville
  • 链接: https://www.deeplearningbook.org/
  • 要点: 深度学习理论基础

• Dive into Deep Learning (动手学深度学习)

  • 作者: Aston Zhang, Zachary C. Lipton, et al.
  • 链接: https://d2l.ai/
  • 要点: 实践导向的深度学习教程

在线课程

• CS231n: Convolutional Neural Networks for Visual Recognition

  • 学校: Stanford
  • 链接: http://cs231n.stanford.edu/
  • 要点: 神经网络基础

• CS224n: Natural Language Processing with Deep Learning

  • 学校: Stanford
  • 链接: https://web.stanford.edu/class/cs224n/
  • 要点: NLP 和 Transformer

GPU 和 CUDA

NVIDIA 官方

• CUDA C++ Programming Guide

  • 链接: https://docs.nvidia.com/cuda/cuda-c-programming-guide/
  • 要点: CUDA 编程基础

• NCCL Documentation

  • 链接: https://docs.nvidia.com/deeplearning/nccl/
  • 要点: 多 GPU 通信

• cuBLAS Documentation

  • 链接: https://docs.nvidia.com/cuda/cublas/
  • 要点: GPU 矩阵运算

性能优化

• GPU Performance Background User’s Guide
  • 链接: https://docs.nvidia.com/deeplearning/performance/index.html
  • 要点: GPU 性能优化指南

相关项目

推理引擎

• TensorRT-LLM

  • GitHub: https://github.com/NVIDIA/TensorRT-LLM
  • 说明: NVIDIA 官方 LLM 推理引擎

• Text Generation Inference (TGI)

  • GitHub: https://github.com/huggingface/text-generation-inference
  • 说明: Hugging Face 的 LLM 推理服务

• llama.cpp

  • GitHub: https://github.com/ggerganov/llama.cpp
  • 说明: CPU 推理优化

量化工具

• AutoAWQ

  • GitHub: https://github.com/casper-hansen/AutoAWQ
  • 说明: AWQ 量化工具

• AutoGPTQ

  • GitHub: https://github.com/PanQiWei/AutoGPTQ
  • 说明: GPTQ 量化工具

模型库

• Hugging Face Model Hub
  • 链接: https://huggingface.co/models
  • 说明: 预训练模型下载

技术博客

LLM 推理

• The Illustrated Transformer

  • 作者: Jay Alammar
  • 链接: https://jalammar.github.io/illustrated-transformer/
  • 要点: Transformer 可视化解释

• LLM Inference Performance Engineering: Best Practices

  • 来源: Databricks
  • 要点: LLM 推理优化最佳实践

vLLM 相关

• vLLM: PagedAttention for 24x Faster LLM Inference
  • 来源: vLLM Blog
  • 链接: https://blog.vllm.ai/2023/06/20/vllm.html
  • 要点: vLLM 介绍博客

社区资源

讨论论坛

• vLLM Discord

  • 链接: https://discord.com/invite/vllm
  • 说明: 官方交流社区

• Hugging Face Forums

  • 链接: https://discuss.huggingface.co/
  • 说明: 模型和推理讨论

GitHub Issues

• vLLM Issues
  • 链接: https://github.com/vllm-project/vllm/issues
  • 说明: Bug 报告和功能请求

学习路径建议

入门阶段

1. 阅读《动手学深度学习》Transformer 章节
2. 阅读 “The Illustrated Transformer”
3. 了解 vLLM 基本使用

进阶阶段

1. 阅读 PagedAttention 论文
2. 阅读 Flash Attention 论文
3. 学习 vLLM 源码中的核心模块

深入阶段

1. 阅读量化相关论文（AWQ、GPTQ）
2. 阅读投机解码论文（Speculative Decoding、EAGLE）
3. 了解分布式并行（Megatron-LM）

导航

• 上一篇：代码文件索引
• 返回：README