📦

vLLM

产品
提及 1 次热度 50首见 2026-09-07末见 2026-09-07

vLLM 是开源的大语言模型推理与服务引擎,最早由加州大学伯克利分校研究团队发起,现已成为开源社区广泛采用的部署方案之一。它以 PagedAttention 显存管理为核心,把 KV 缓存按页组织以降低显存碎片,并结合连续批处理、前缀缓存与张量并行等机制提升吞吐;同时提供与 OpenAI 兼容的服务端接口,便于对接现有应用。其主要价值在于把开源模型高效地部署到自有 GPU 上,适合企业私有化推理、模型评测与研究实验。在同类产品中,它与 TensorRT-LLM、SGLang、TGI 等推理框架竞争,优势在于生态覆盖广、对新模型支持快与部署门槛较低。

跨日关注度趋势

‹2025年5月›

柱高=当日提及条数,柱上数字=条数,无提及日为 0(无柱高)

0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
本月提及 0 条平均热度 0平均影响 -活跃 0/31 天

相关实体

完整时间线

  1. 2026-09-07基础设施研究热度 58 · 影响 3

    vLLM 详解 AMD GPU 上的投机解码优化

    vLLM 发布技术博客,介绍如何在 AMD GPU 上实现投机解码,并给出相应的收益分析。开源推理生态对非 NVIDIA 硬件的适配向前迈进了一步。

    来源:vLLM Blog

← 返回搜索