CSDN 高频检索整理 · Jay

作业 c16a034d｜2026-11-03 12:20｜清单 5 条｜已核查 2｜仅线索 3

分项

1. GPUStack Day 0 支持 Kimi-K3：8×B300 上 vLLM 与 SGLang 推理实测 URL：https://devpress.csdn.net/awstech/6a72dd27662f9a54cb980d2d.html 用途：长上下文引擎选型；Decode 阶段 KV 读取与 DCP 通信开销。 已核查：8×B300、Kimi-K3 MXFP4+DSpark、并发 10；两侧启动参数与镜像 tag 齐全。自报 64K vLLM 100.5s/SGLang 150.8s，200K 转为 295.2s/225.3s。 缺口：作者自述非严格 A/B，引用须附此说明；Random 数据使投机接受率极低；vLLM 显存 0.95 触发 KV 超额提交与运行期 OOM，64K Prefill 偏悲观。 分类：高价值（已核查正文）。

2. 昇腾 NPU 上部署 Qwen3-ASR 语音识别模型：基于 vLLM-Ascend 的容器化实践 URL：https://hwcomputing.csdn.net/6acddb2749ed150a32d75668.html 用途：昇腾 910B 起 ASR 服务全流程（下载→NPU 映射→启动→验证）。 已核查：镜像 vllm-ascend:v0.23.0.post1-openeuler、npu-smi 25.2.3；vllm serve tp=1、max-model-len 4096、显存 0.9、:8001；curl 返回真实响应与 usage。 缺口：仅单卡单条英文音频，无并发吞吐与中文效果；命令硬编码设备号路径；未给 CANN 与驱动矩阵。 分类：高价值（已核查正文，路径完整且有端到端验证）。

3. Qwen3-VL-8B 推理加速：vLLM 吞吐量达传统 Transformers 3.2 倍实测 URL：https://adg.csdn.net/6a76bb1b10ee7a33f2983f49.html 用途（依摘要）：前端 Network Error 定位、超大图致 ViT OOM 规避、vLLM 参数调优。 缺口：标题「3.2 倍」在摘要中无数据、无条件、无基准方法；摘要主体是前端排障，与标题不符。 分类：待查线索（搜索线索 · 待核查），排障片段可用，性能结论不采信。

4. Dify 实战手册（一）：Ollama 与 VLLM 本地模型高效接入与优化指南 URL：https://deepseek.csdn.net/6a76a90810ee7a33f2980ab0.html 用途（依摘要）：Docker/Dify 启动前置检查、Ollama 与 VLLM 场景分工、起 VLLM 服务。 缺口：无版本矩阵、无并发延迟实测、无调优前后对比，摘要未覆盖启动细节。 分类：待查线索（搜索线索 · 待核查），仅可作入门提纲。

5. 8 卡 V100 服务器：基于 vLLM 的 Qwen 大模型高效部署实战 URL：https://mcp.csdn.net/6a7fd9cb10ee7a33f29b2907.html 用途（依摘要）：多卡张量并行部署 Qwen2.5-72B-Instruct 的命令模板（tp 8、显存 0.9、half）。 缺口：V100 无 bf16，half 下 72B 显存是否够未给结论；无吞吐延迟实测与踩坑记录。 分类：待查线索（搜索线索 · 待核查），模板需自验显存。

未决问题

  1. 已核查两条数字属作者自报，图表与日志未逐项复核。
  2. 第 3 条「3.2 倍」待正文核查后再定级。
  3. 昇腾路径缺 CANN/驱动版本与中文音频验证；三条线索未做原文核查（每轮限两条）。

来源清单（全部 5 条，含暂不推荐项）

  1. GPUStack Day 0 支持 Kimi-K3：8×B300 上 vLLM 与 SGLang 推理实测 — https://devpress.csdn.net/awstech/6a72dd27662f9a54cb980d2d.html — 高价值（已核查正文）
  2. 昇腾 NPU 上部署 Qwen3-ASR 语音识别模型：基于 vLLM-Ascend 的容器化实践 — https://hwcomputing.csdn.net/6acddb2749ed150a32d75668.html — 高价值（已核查正文）
  3. Qwen3-VL-8B 推理加速：vLLM 吞吐量达传统 Transformers 3.2 倍实测 — https://adg.csdn.net/6a76bb1b10ee7a33f2983f49.html — 待查线索（搜索线索 · 待核查）
  4. Dify 实战手册（一）：Ollama 与 VLLM 本地模型高效接入与优化指南 — https://deepseek.csdn.net/6a76a90810ee7a33f2980ab0.html — 待查线索（搜索线索 · 待核查）
  5. 8 卡 V100 服务器：基于 vLLM 的 Qwen 大模型高效部署实战 — https://mcp.csdn.net/6a7fd9cb10ee7a33f29b2907.html — 待查线索（搜索线索 · 待核查）

作者：Jay