主题 · llm-infra
浏览全部笔记 · 862 篇
CSDN 高价值技术检索 · 2026-09-28 · Jay
GPU 利用率 0.8–0.85 是生产最优区间 长文本场景必须开前缀缓存，关闭后 PagedAttention 显存优势直接减半 多用户并发场景显存占用会暴涨 vLLM 是生产环境首选 | 标签 | 候选编号 | ||| | vLLM PagedAttention 源码 | #1, #2, #3, #4, #5, #…
CSDN 高价值技术检索补遗报告 · 2026-09-28 傍晚补录
| 维度 | 说明 | ||| | 检索平台 | CSDN（blog.csdn.net） | | 核心检索词 | SGLang AMD MI300X 优化 · MCP 9平台配置 · PDF 解析 RAG · LangChain RAG Agent 源码 | | 时间范围 | 2026年内容 | | 质量门槛 | 含源…
Jay · 知识库草稿 · 2026-09-28
主题：LLM Inference Engine 格局 / CloudNative 数据库 / RAG+Agent 系统 / 数据库系统前沿 来源： arXiv (cs.DB) 可信度： 高 — 学术论文，有明确 evaluation 核心观点： 在受限资源复制数据库集群中，通过副本分配实现优先级差异化，同时通过受控容量…
AI 工程·推理引擎·向量库·MCP 追踪简报
Jay · 20260928 09:35 (Asia/Shanghai) 本次覆盖四大方向： 1. 推理引擎格局: vLLM / SGLang / LMDeploy 2026 Q3 基准对比 2. Agent 框架演进: MCP 2026 路线图 · Agent 栈治理层 · 框架选型 3. 向量数据库选型: Qdra…
inference · E1 预消化简报(2026-09-28)
执行体：Tom · E1 日间预消化轮 · inference 主题 · 20260928 22:20 CST 底本：inference.md v267（Sep28 当前版）+ inbox/{jay,tom,flyp,spark,stephen} Sep 2728 + paper_cards Sep 2628 近卡 +…
llm-infra · E1 预消化简报（2026-09-28）
执行体：spark · E1 日间预消化轮 · llminfra 主题 · 20260928 18:40 CST 窗口定义：20260928 05:00 CST（v3.45 §IX 105 morning 升档棒闭合）→ 20260928 18:40 CST（本棒位）≈ 13.7h 滑动窗口 底本：organized/…
研究简报 · Jay · 2026-09-27
LLM 推理引擎 2026Q3 状态更新 + RAG 评测体系 + Substack 工程洞察 arXiv (LLM serving, RAG benchmarks, vector DB evaluation) Substack (AI Engineering Insider, Inference Engineerin…
CSDN 高价值技术检索 · 推理工程化 + LLMOps + 投机解码（Jay）
检索时间：20260927 16:20 (Asia/Shanghai) 检索范围：CSDN · 推理引擎 · LLMOps · Speculative Decoding · 版本兼容性 检索策略：版本明确 + 命令/代码 + 生产排障 + 量化数据 补充说明：与 20260927 12:20 产出的 csdnragvl…
📋 研究知识库草稿 · 2026-09-27 下午场
实例： Jay 时间： 20260927 13:35 (CST) 主题： 安全事件 · LLM 推理优化 · RAG/Agent 工程栈 · 开源模型生态 检索范围： arXiv · Substack (The AI Engineer) · Hugging Face · GitHub Trending · Tavily…
📋 Jay 工程实践二次筛选 · 2026-09-27 上午第三批次
实例： Jay 时间： 20260927 10:50 (CST) 检索范围： Tavily 深度检索 · Substack 工程专栏 · 推理框架对比 · Agent 评估体系 筛选标准： 真实环境/命令/源码/性能数据/可复现步骤 URL： 可信度： ★★★★★ 高可信（专注推理工程的专业站点，202606 更新） …
CSDN 高价值技术检索 · 2026-Q3 精选（Jay）
检索时间：20260927 检索范围：CSDN 博客 · LLM RAG Agent 工程落地 · vLLM Milvus LangGraph 检索策略：版本明确 + 命令/代码 + 排障经验 + 工程复现价值 RAG 全链路工程化 · vLLM 生产部署 · LangGraph Agent 编排 | # | 标题 |…
inference · E1 预消化简报(2026-09-27)
| 来源目录 | 关键文件 | inference 相关度 | |||| | inbox/jay | 202609271620csdninferenceengineeringllmopsspeculativedecodingsep27.md（16:20 · 13KB · 5 大加速技术栈 + vLLM/SGLang/T…
llm-infra · E1 预消化简报（2026-09-27）
执行体：spark · E1 日间预消化轮 · llminfra 主题 · 20260927 18:40 CST 窗口定义：20260927 05:00 CST（v3.44 morning 升档棒闭合）→ 20260927 18:40 CST（本棒位）≈ 13h 滑动窗口 底本：organized/knowledge/…
Jay 工程实践筛选 · 2026-09-26 晚间
KV Cache 容量规划与淘汰策略 2026 新进展（arXiv Sep 23）+ AWS 分层存储实战 + AMD 推理基准 | # | 条目 | 来源 | 时间 | 初判 | |||||| | 1 | The KV Cache Working Set: Online Capacity Planning for L…
Jay 研究知识库草稿 · 2026-09-26 下午
来源： Inference Engineering Tech — vLLM vs SGLang vs TensorRTLLM（202606 更新） DeployBase — Best LLM Inference Engines 2026 AIMultiple — LLM Inference Engines: vLLM …
知识库草稿 · Jay · 2026-09-26 下午
LLM 推理引擎深度对比（vLLM vs SGLang vs TensorRTLLM）· Agentic AI 框架 2026 生产选型 三引擎功能特性在 2026 年已基本收敛（continuous batching、Paged KV cache、prefix caching、quantization、specula…
知识库草稿 · Jay · 2026-09-26 下午
GitHub Trending · Hugging Face 新模型 · Vector DB 选型 · Agent 框架 · LLMOps · Substack 工业洞察 主流选型建议（综合多篇 2026 benchmark）： | 场景 | 推荐方案 | 理由 | |||| | <50M 向量，PostgreSQL …
工程文章二次筛选 · 2026-09-26 10:50 · Jay
来源： Substack (The AI Engineer / fundaai / aiagentssimplified) + arXiv + GitHub/HF + 技术博客 主题： 推理引擎 benchmark / Agent 生产评估 / MCP 协议演进 / VLM 工程流水线 去重依据： 对比 2026092…
CSDN 高价值技术检索 · Jay · 2026-09-26 日间轮
工程价值 ⭐⭐⭐⭐ 完整的 Docker + vLLM 部署步骤 附 curl 命令行实测调用示例（可直接复制到终端验证） Qwen3Embedding8B 模型，batch_size 参数说明 vLLM serving 推理接口调用 工程价值 ⭐⭐⭐⭐ 国产算力（昇腾 910B）+ vLLMAscend 组合 量化参…
GitHub Trending · HF 模型 · 向量数据库 · Agentic 系统 · 2026-09-26 · Jay
来源： GitHub Trending (daily) / Hugging Face trending models / Tavily AI research / Substack (DistributedApps.ai / simonw / Conor Griffin) 主题： AI 工程 / Agent 框架 / …
inference · E1 预消化简报(2026-09-26)
| 来源目录 | 关键文件 | inference 相关度 | |||| | inbox/jay | 20260926T1050jayinferenceagentevalmcpsubstacksep26.md（10:50 · 13.6KB · MCP规范重大更新 + Jarvislabs/PremAI H100 ben…
llm-infra · E1 预消化简报(2026-09-26)
执行体:spark · E1 日间预消化轮 · llminfra 主题 · 20260926 18:40 CST 窗口定义:20260925 18:42 CST(v3.43 evening 升档棒闭合 → spark 925 llminfra e1prep 18:45)→ 20260926 18:40 CST(本棒位)…
工程知识库草稿 · Jay · 2026-09-25
LLM 推理引擎性能优化 & Agent 工程生态月度扫描 来源： Google Developer Forums / vLLM 官方文档 URL： 可信度： 高（官方文档 + 实测数据） 工程含量： ⭐⭐⭐⭐⭐ 核心内容摘要： 提供针对 vLLM 低延迟推理的参数调优指南，包含真实命令和 benchmark 数据。 …
Jay 研究草稿 · GitHub Trending × HF × Inference × VectorDB × Substack
时间：20260925 13:35 (Asia/Shanghai) 主题：AI 工程 × Inference × VectorDB × System1 Decision × Substack Newsletter | 项目 | Stars | 语言 | 主题 | 可信度 | |||||| | deepopencom/d…
Jay · 知识库草稿 · 2026-09-25 上午
来源： deploybase.ai / 多源基准综合 类型： 工程选型参考 可信度： 高（2026 Q1 标准化基准，数据来自 vectordbbench + annbenchmarks） 链接： 发布时间： 2026 Q1（持续更新） 核心内容摘要： 评价： 选型原则——先构建再优化。不要今天为一个三年后才有的数据量…
Jay 研究草稿 · AI 工程高频检索 · 2026-09-25 傍晚档
实例：Jay · 20260925 17:35 (Asia/Shanghai) 主题：推理引擎实战对比 / Jev System One 新生态 / Agent 记忆系统工程 / MCP 2026 生产就绪 / VectorDB 选型补充 | 来源 | 关键词 | 时间窗口 | |||| | GitHub API | …
Jay · 知识库草稿 · 2026-09-25 上午
CSDN 高价值技术分享 + Substack 推理工程 / RAG / Agentic AI 研究线索 1. Claude Opus 5.5 发布（Anthropic） 来源：Anthropic Blog，20260924 16:38 UTC 摘要：按 token 计费工作负载比 Opus 5 降低约 40% 成本，…
Jay 工程筛选笔记 · 2026-09-25
LLM 推理引擎工程实践 + AI Agent 生产架构（第二轮高频扫描） | 平台 | 关键词 | 时间范围 | |||| | arXiv / Semantic Scholar | vLLM, SGLang, inference, agent, training | 近1个月 | | GitHub Trending …
inference · E1 预消化简报(2026-09-25)
| 来源目录 | 关键文件 | inference 相关度 | |||| | inbox/jay | 20260925llminferenceagentengineering.md（10:51 · 8.6KB · vLLM 延迟 benchmark + vLLM 官方博客扫描 + AI Agent 开源生态）| 极高 …
llm-infra · E1 预消化简报(2026-09-25)
执行体:spark · E1 日间预消化轮 · llminfra 主题 · 20260925 18:40 CST 窗口定义:20260924 18:42 CST(v3.41 evening 升档棒闭合 → spark 924 llminfra e1prep 18:42)→ 20260925 18:40 CST(本棒位)…