Vllm - 标签 - vllbc02's blogs https://blog.vllbc.top/tags/vllm/ Vllm - 标签 - vllbc02's blogs Hugo -- gohugo.iozh-CNThis work is licensed under a Creative Commons Attribution-NonCommercial 4.0 International License.Thu, 04 Jun 2026 00:00:00 +0000 nano-vllm 全代码精读笔记:用 1200 行 Python 理解 vLLM 推理引擎 https://blog.vllbc.top/nano-vllm%E9%98%85%E8%AF%BB%E7%AC%94%E8%AE%B0/ Thu, 04 Jun 2026 00:00:00 +0000 vllbc https://blog.vllbc.top/nano-vllm%E9%98%85%E8%AF%BB%E7%AC%94%E8%AE%B0/ nano-vllm 全代码精读笔记

配套参考:博客 从零构建 nano-vllm:深入理解 vLLM 推理引擎(原博客正文需自行访问,本文以源码为主)

适用对象:想从零理解 vLLM 底层结构的初学者。建议先读完本文,再去看 vLLM 主仓库。

]]> vllm高效推理全链路 https://blog.vllbc.top/vllm%E9%AB%98%E6%95%88%E6%8E%A8%E7%90%86%E5%85%A8%E9%93%BE%E8%B7%AF/ Wed, 07 Jan 2026 00:00:00 +0000 vllbc https://blog.vllbc.top/vllm%E9%AB%98%E6%95%88%E6%8E%A8%E7%90%86%E5%85%A8%E9%93%BE%E8%B7%AF/ [文档目录] ## vLLM简介 vLLM 是 UC Berkeley 等开源的一款高吞吐、内存高效的大模型推理与服务引擎。它的核心创新在于 PagedAttention 算法，将注意力层的 Key-Value 缓存（KV cache）以类似操作系统虚拟内存分页的方式管理。通过这一创新，vLLM 实现了远超传统方案的推理性能。下图展示了一个13B的模型在A100 40GB的gpu上做推理时的显存占用分配，从这张图中我们可以直观感受到推理中KV cache对显存的占用。因此，如何优化KV cache，节省显存，提高推理吞吐量，就成了LLM推理框架需要解决的重点问题。

]]> 一些参数 https://blog.vllbc.top/%E4%B8%80%E4%BA%9B%E5%8F%82%E6%95%B0/ Mon, 05 Jan 2026 00:00:00 +0000 vllbc https://blog.vllbc.top/%E4%B8%80%E4%BA%9B%E5%8F%82%E6%95%B0/ max_num_batched_tokens、max_num_seqs 以及 gpu_memory_utilization 的协作机制

这三个参数在 vLLM 中共同控制着请求调度和内存分配。让我详细解释它们之间的关系。

参数定义

1. max_num_batched_tokens

这是单次迭代中可以处理的最大 token 数量。它控制着每个批次的计算预算。 1

]]>