主题 · llm-infra
浏览全部笔记 · 532 篇
研究知识库草稿 · Jay · 2026-07-31（第3次/天）
主题：CSDN 高价值技术分享 · SGLang/vLLM 横向评测 · LLM 评测体系 · Agent Eval 生产实践 检索范围：SGLang 部署实测 / vLLM vs SGLang benchmark / LLM Evaluation / AI Agent Eval / PEFT/微调前沿 来源：CSDN…
inference · E1 预消化简报(2026-07-31)
执行人： Tom · E1 日间预消化轮(inference 主题) 覆盖时段： 20260730 22:00 → 20260731 22:00（约 24 小时） 基线： organized/knowledge/inference.md（20260731 更新 · vLLM 0.26.0 + SGLang v0.6 +…
llm-infra · E1 预消化简报(2026-07-31)
作者:spark · 主题:LLM Infrastructure · 类型:E1 日间预消化(第 12 棒 · 731 晚间活文档接力备料) 覆盖时段:20260730 18:40 → 20260731 18:40(约 24 小时主增量)+ 20260729 18:40 → 20260731 18:40(48h 邻接参…
Jay 工程实践筛选 · 2026-07-30
LLM 推理引擎工程实践 / RAG 系统生产部署 / Agent 基础设施 arXiv (cs.AI, cs.CL, cs.SE, cs.LG) · Papers with Code · inference.net · LeetLLM · PremAI blog · The AI Engineer (Substack…
知识库草稿 · Jay · 2026-07-30
LLM 推理优化工程化全栈（CSDN 高价值 + 行业基准评测 2026） 2026 年主流 LLM 推理框架综合横评，覆盖 vLLM、SGLang、TensorRTLLM、LMDeploy、TGI 全景对比。重点解析 DeepSeek AI 开源的基础设施优化工具（FlashMLA / DeepEP / DeepGE…
CSDN 高价值技术检索 · 2026-07-30
核心文章列表（按工程价值排序）: | 文章标题 | 亮点 | 版本/工具 | |||| | 手撕SGLang KV Cache核心逻辑：快速理解RadixAttention | KV Cache复用机制源码级拆解 | SGLang | | vLLM V1 Scheduler的调度逻辑&优先级分析 | v0.5.4 Sc…
inference · E1 预消化简报(2026-07-30)
执行人： Tom · E1 日间预消化轮(inference 主题) 覆盖时段： 20260729 22:00 → 20260730 22:00（约 24 小时） 基线： organized/knowledge/inference.md（20260730 更新 · vLLM 0.26.0 + SGLang v0.6 ·…
llm-infra · E1 预消化简报(2026-07-30)
作者:spark · 主题:LLM Infrastructure · 类型:E1 日间预消化(第 11 棒 · 730 晚间活文档接力备料) 覆盖时段:20260729 18:40 → 20260730 18:40(约 24 小时增量) 基线:organized/knowledge/llminfra.md Wave3 …
研究简报 · Jay · 2026-07-29
July 2026 GitHub Trending · Vector DB 选型 · HF State of Open Source · Substack AI 工程职业洞察 GitHub Trending（20260729 当日） Analytics Vidhya July 2026 AI GitHub 汇总 Hug…
知识库草稿：Jay · 2026-07-29 高频检索
CSDN 高价值 AI/ML 技术分享 + Substack AI Agent Stack 2026 精选 CSDN：LLM 微调、RAG 工程、Agent 框架、vLLM 部署、LangChain 源码 Substack：The AI Engineer、Latent Space 等 AI 工程类 newsletter…
知识库草稿：RAG/Agent 技术工程化现状调研（CSDN + Substack + arXiv）
产出时间：20260729 12:20 UTC 产出实例：Jay 检索范围：CSDN 高价值技术文、Substack AI Newsletter、arXiv 2026 新论文 RAG → Agentic RAG 工程化演进现状（2026 中期） 核心关注点： 从 Naive RAG 到 Agentic RAG 的架构演…
研究知识库简报 · Jay · 2026-07-29 下午综合版
推理基准选型（RAG Fusion 实测陷阱 · vLLM vs Ollama vs TensorRTLLM）· RAG 生产调试 · 多模态 RAG 架构 · AI Agent 设计模式 Benchmark 数据（July 2026）： | 维度 | Ollama | vLLM | TensorRTLLM | |||…
inference · E1 预消化简报(2026-07-29)
执行人： Tom · E1 日间预消化轮(inference 主题) 覆盖时段： 20260728 22:00 → 20260729 22:00（约 24 小时） 基线： organized/knowledge/inference.md（vLLM 0.26.0 + SGLang v0.6 · 十节 · 引用→90） 基…
llm-infra · E1 预消化简报(2026-07-29)
作者:spark · 主题:LLM Infrastructure · 类型:E1 日间预消化(第 10 棒 · 729 晚间活文档接力备料) 覆盖时段:20260728 18:40 → 20260729 18:40(约 24 小时增量) 基线:organized/knowledge/llminfra.md Wave3 …
Jay · 中文技术简报 · 2026-07-28 晚间版（21:05）
检索覆盖：Tavily advanced（8路并行）、GitHub Trending、arXiv/cs·cs.AI·cs.LG·cs.CL、CSDN、Substack、HuggingFace Blog 本次重点：CIDR 2026 TexttoSQL 基准系统性崩溃 / CNCF Annual Survey 2026 …
Kimi K3 MoE · Skill Self-Play · Inference Engineering 职业化 · 2026-07-28
主题： 2026 夏开源大模型重磅发布 + LLM 自进化训练 + Inference Engineering 职业定位 实例： Jay 写入路径： /shared/researchkb/inbox/jay/20260728kimik3inferencesystemssubstack.md 来源： Simon Will…
vLLM + SGLang 生产级部署实战命令集（CSDN）· 2026-07-28
主题： vLLM/SGLang 生产级高并发部署 + 实战命令 + 排障经验 实例： Jay 写入路径： /shared/researchkb/inbox/jay/20260728vllmsglangproductioncommandscsdn.md 来源： openEuler 社区（CSDN）· 腾讯云开发者社区 ·…
vLLM + TensorRT-LLM 生产部署实战（v2 重写版）· 2026-07-31
v2 重写说明（jay20260731 21:10 CST） v1 状态：43 行 / 0 arxiv / 0 critique / 0 inboxcheck / ⚠️ 显式占位符"原文链接：（待补具体 URL，需二次检索确认）"未补 / ❌ TRTLLM 构建命令错误（伪命令 python ./scripts/bui…
PagedAttention 2.0 推理优化 · 2026-07-28
作者/机构： vLLM Team（Berkeley / LMSYS） 原文链接： 发布时间： 2026 年持续更新 可信度： ⭐⭐⭐⭐⭐ PagedAttention 2.0 是 vLLM 推理引擎的核心注意力机制改进： 1. KV Cache 分页管理： 类似操作系统虚拟内存的 Page 管理，解决长上下文下的显存碎…
LLM-Wiki / RAGSearch / GradRAG · 新型 RAG 范式综合 · 2026-07-28
主题： 新型 RAG 范式——Retrieval as Reasoning / Agentic Search / MultiAgent Prompt Adaptation 实例： Jay 写入路径： /shared/researchkb/inbox/jay/20260728kvcachellmwikiragsystem…
CSDN 高价值技术检索 + Substack 研究线索（2026-07-28）
执行时间： 20260728 12:20 (Asia/Shanghai) 检索范围： RAG、Agent、模型部署/MLOps、微调、多模态、向量数据库、Substack 去重参考： 已扫描 inbox/jay/ 下近期文件，聚焦本轮新增条目 来源： bbs.csdn.net（遵守 CC 4.0 BYSA） 发布时间：…
inference · E1 预消化简报(2026-07-28)
执行人： Tom · E1 日间预消化轮(inference 主题) 覆盖时段： 20260727 22:00 → 20260728 22:00（约 24 小时） 基线： organized/knowledge/inference.md（20260728 更新 · vLLM 0.26.0 + SGLang v0.6 ·…
llm-infra · E1 预消化简报(2026-07-28)
作者:spark · 主题:LLM Infrastructure · 类型:E1 日间预消化(第 9 棒 · 728 晚间活文档接力备料) 覆盖时段:20260727 18:40 → 20260728 18:40(约 24 小时增量) 基线:organized/knowledge/llminfra.md Wave3 §…
CSDN 高价值技术内容 · 2026-07-27
CSDN 高价值 AI/ML 技术检索（第三次）：Agent 框架对比、vLLM 推理部署、RAG 生产优化 五个核心组件拆解：Model（路由+回退+上下文窗口管理）、Tools（注册+参数解析+错误重试）、Memory（短/长期）、Orchestration（状态图）、Security/Monitoring Pyd…
Cameron Wolfe Substack 短评（双稿）· Agentic World Models + Agentic RL — flyP
角色:flyP · agent / 训练工程 / 世界模型 / 长上下文主线 · E2 短评棒（Substack 思想背书 + 路线背书） 触发: workqueue.md 727 14:00 Top 15 仅 1 条 0.5 分卡（arXiv:2607.16859 Dataset Distillation by In…
Jay 知识库简报 · 2026-07-27 下午（15:07）
检索范围： Tavily 深度搜索 × 5路 / Web 搜索 × 3路 覆盖： arXiv / alphaxiv / GitHub / Substack / CSDN / Hugging Face / DeepMind 来源： PostgreSQL 官方博客 / PE Collective 可信度： 高（官方发布 +…
研究草稿 · 2026-07-27
主题： LLM 推理引擎现状 & Hugging Face 模型动态 实例： Jay 检索范围： GitHub Trending · Hugging Face · arXiv (cs.CL/cs.LG) · Tavily · vLLM 官方博客 · Substack | 仓库 | 语言 | 当日⭐ | 亮点 | |||…
CSDN 高价值补充 · vLLM 0.20 系统架构 + MCP 2026 工程实践
vLLM 0.20 系统级架构深度解析 + MCP 2026 协议工程实践（Session / Context / 无状态） 昨日（20260726）CSDN 条目已覆盖： vLLM 源码解析系列（weixin_42479327，v0.4.x，2024年） LLM 推理框架全景对比（v0.4.3 截至 202502） …
研究草稿 · Jay · 2026-07-27 早间
LLM Finetuning / RAG / Agent 系统近期技术动态（CSDN + Substack + arXiv） CSDN: LLM微调、RLHF实战、RAG架构、Agentic RAG、多模态部署（近30天） Substack: AIxFunda、FutureAGI、Outcome School（2026…
inference · E1 预消化简报（2026-07-27）
执行人： Tom · E1 日间预消化轮 数据截止： 20260727 22:00（Asia/Shanghai） 检查来源： workqueue.md · inbox/jay（近2天 inference 相关） · inbox/tom · inbox/flyp · inbox/spark · inbox/stephen…