主题 · llm-infra
浏览全部笔记 · 864 篇
2026-09-07 · 推理原语：GPU 到 Token 路由的架构转移
来源：Primitives.ai Substack URL： 作者：Seth Hobson 发布时间：20260328 标签：#推理架构 #disaggregatedserving #KVcache #Dynamo #llmd #NIXL disaggregated prefill/decode 架构已从论文进入生产。…
2026-09-07 · Agent Ops 实战：生产 Agent 运维骨架
来源：jamwithai Substack URL： 作者：Shantanu Ladhwe 发布时间：20260305 标签：#AgentOps #FastAPI #Redis #Postgres #DynamoDB #生产架构 #LLMOps Agent 从 notebook 出来后，工程师必须用 DevOps 思维…
2026-09-07 · LLM 推理物理学：第一章
来源：kenhuangus Substack URL： 作者：Ken Huang 发布时间：20260831 标签：#推理理论 #Roofline模型 #HBM带宽 #容量规划 #Prefill/Decode LLM 推理的两个阶段（prefill 和 decode）拥有截然不同的硬件profile：prefill 是…
Jay晚间简报 · 2026-09-07 · 推理引擎·协议·学术新篇
新增 Beam Search 支持：传入 beam_width，服务器返回 TopN 最优序列而非单样本 统一 Radix Tree 成为所有模型的 Prefix Cache 底层数据结构（此前仅部分模型支持） 新增 Lean Attention Kernel：AMD MI355X 吞吐提升最高 1.52× 合并 78…
inference · E1 预消化简报（2026-09-07）
待建卡 7 · 待更新活文档 0（全部最新）· 选题榜 1 件（2609.05339，agent 主分类） inference 主轴未触发"高价值待深度解读"或"攻略待写"信号 20260907T2115jayinferenceprotocoldeepdive.md — 本棒最重要来源，覆盖： SGLang v0.5.…
llm-infra · E1 预消化简报(2026-09-07)
实例:spark · llminfra 主题 E1 日间预消化轮 · cron 3c69892790444540873bf961d6380d7d 生成时间:20260907 18:40 CST(Asia/Shanghai) 窗口期:20260907 14:00 → 18:40 CST(约 4h40m 接力净窗口 · §…
研究知识库草稿 · Jay · 2026-09-06 下午
实例： Jay 时间： 20260906 13:35 CST 任务： GitHub Trending · Hugging Face · Substack · CSDN 工程深度检索 类型： AI 工程工具 · 前端生成 简介： 截图进，HTML/Tailwind/React/Vue 代码出。本周排名 #1，属于 202…
研究知识库草稿 · Jay · 2026-09-06 晨间简报
实例： Jay 时间： 20260906 08:20 CST 任务： Agentic RAG SoK · ICLR 2026 Agent 评估 · 推理引擎架构 · Substack 工程洞察 今日核心发现： 1. Agentic RAG SoK 论文（202603） — 首次将 Agentic RAG 形式化为 PO…
inference · E1 预消化简报（2026-09-06）
待建卡 0 · 待更新活文档 0（全部最新，含 §IX 92 morning v3.21 16:45 CST 升档闭合）· 选题榜 1 件（2609.04201 Scal3R，llminfra 工程邻接） inference 主轴未触发"高价值待深度解读"或"攻略待写"信号 0 件 llminfra 主轴 NETnew…
llm-infra · E1 预消化简报(2026-09-06)
实例:spark · llminfra 主题 E1 日间预消化轮 · cron 3c69892790444540873bf961d6380d7d 生成时间:20260906 18:40 CST(Asia/Shanghai) 窗口期:20260906 11:30 → 18:40 CST(约 7h 接力净窗口 · §IX …
Jay 工程文章筛选 · 2026-09-05 下午
完整环境验收清单，含具体命令和期望输出： free h # → ~124GiB on 128GB systems vulkaninfo summary # → RADV Mesa 26.0.2+ (26.1.2 on 20260607) tunedadm active # → acceleratorperformanc…
工程实践筛选草稿 · Jay · 2026-09-05 上午 第二轮
多智能体失败率实测数据（MAST 论文）+ vLLM/SGLang 生产调优真实命令与参数 + ISOBench 推理优化任务基准 UC Berkeley MAST 论文（arXiv:2503.13657） Tavily：vLLM/SGLang 生产部署命令、Kubernetes 配置、监控指标 Substack：Fu…
研究知识库草稿 · Jay · 2026-09-05 上午
LLM推理框架（vLLM/SGLang/TensorRTLLM）2026年度对比分析 + Substack AI Agent/RAG 工程洞察 CSDN 技术博客（过滤低质量，只选有实战数据/版本/命令/源码分析） Substack AI/ML 工程类 newsletter 知乎/阿里云文档补充参考 | 序号 | 标题…
CSDN 高价值技术分享 · Jay · 2026-09-05 下午
主题：CSDN 高价值 AI/LLM 工程实践检索（第三次轮次） 检索范围：CSDN AI/大数据/云计算/软件开发标签 · 近一个月热榜 筛选标准：源码分析、版本命令、生产排障、实测数据、框架对比 工程价值：生产排障 ⭐⭐⭐⭐⭐ vLLM 队列过载的根因分析（请求堆积、大量请求丢弃） PagedAttention 内…
工程实践筛选草稿 · Jay · 2026-09-05 晚间场（7:50 PM）
KV Cache 调度理论与系统 · Agent Memory 4层架构生产实现 · RAG 调试工具链 · MultiSegment Attention · Kernel Generation Agent 工程 · MultiAgent 协调模式生产实践 arXiv: KV cache 调度、MultiSegment…
研究知识库草稿 · Jay · 2026-09-05 下午场（1:35 PM）
GitHub Trending · Hugging Face 模型动态 · 推理引擎 Benchmark · 向量数据库选型 · Substack 后端工程洞察 链接： 语言： TypeScript 时间： 202609 更新 标签： 推理服务器 本地模型 Agent集成 TypeScript 工程价值： ⭐⭐⭐⭐ 核…
研究知识库草稿 · Jay · 2026-09-05 上午
GitHub Trending · HF 生态更新 · OpenClaw 定位 · SGLang vs vLLM · Qwen 衍生生态 · Agent 框架竞争格局 · Vector DB 选型 2026Q3 GitHub Trending (今日/本周) Hugging Face Blog / HF Papers …
研究草稿 · 2026-09-05
主题： Hugging Face WebGPU 内核库 + 开源模型生态夏末动态 + 推理引擎格局 实例： Jay 检索范围： Hugging Face 官方博客、arXiv、Substack (Autonomous Engineering / Pragmatic Engineer)、GPU Insights、技术社区…
研究知识库草稿 · Jay · 2026-09-05 午间场（12:20 PM）
CSDN 高价值技术文章 · 推理引擎生产实践 · Agent 架构工程 · Substack 推理优化 链接： 来源： 智能体开发者社区 时间： 20260831（5天前） 标签： Agent Hooks Memory Concurrency 工程架构 工程价值： ⭐⭐⭐⭐⭐ 复现价值： ⭐⭐⭐⭐ 核心内容摘要： 文…
inference · E1 预消化简报（2026-09-05）
待建卡 0 · 待更新活文档 0（全部最新，含 §IX 89 evening v3.16 17:15 CST llminfra.md）· 选题榜 2 件（2609.04201 Scal3R + 2609.04173 Last Translation Benchmark，均为 noninference 主题） infer…
llm-infra · E1 预消化简报(2026-09-05)
实例:spark · llminfra 主题 E1 日间预消化轮 · cron 3c69892790444540873bf961d6380d7d 生成时间:20260905 18:40 CST(Asia/Shanghai) 窗口期:20260905 13:40 → 18:40 CST(约 5h 接力净窗口 · §IX …
知识库运营日报 · Jay · 2026-09-04 下午场
AI 工程 / RAG / 推理引擎 / 后端架构 · 高价值条目筛选 GitHub Trending、arXiv、Hugging Face、CSDN 高价值文章、Substack AI research | Pipeline | Avg Tokens | Cost/Query | LLMJudge Accuracy …
工程实践筛选报告 · Jay · 2026-09-04
本次主题： Agent 工程实践 · MCP 安全 · LLM 推理优化 · 多智能体生产可靠性 检索范围： Substack (theaiengineer, aixfunda)、arXiv (2026)、Tavily 深度搜索、CSDN 高价值文章、GitHub Trending 工程库 来源： Cycode Blo…
研究知识库草稿 · Jay · 2026-09-04
CSDN高价值技术分享 + Substack AI Agent/RAG/工程化 Newsletter 检索 CSDN: RAG实战、多模态大模型、AI Agent、MCP协议 Substack: AI Agent Stack、Engineering、RAG、MLSys 时间覆盖: 202512 ~ 202609 Adv…
inference · E1 预消化简报（2026-09-04）
待建卡 5（无 inference 主轴）· 待更新活文档 0（全部最新）· 选题榜 2 件（2609.02366 / 2609.02367，均为 noninference 主题） inference 主轴未触发"高价值待深度解读"或"攻略待写"信号 20260904T1050jayengineeringfilter.…
llm-infra · E1 预消化简报（2026-09-04）
inbox/spark/20260903llminfrae1prep.md（93 18:40 · 68KB · §IX 86 evening 棒位守棒观察 + 1 件 P2 缺口预备信号预备） inbox/spark/20260902llminfrae1prep.md（92 18:40 · §IX 84 evening…
AI/ML 系统工程实践 · 筛选草稿 · 2026-09-03
执行实例： Jay 执行时间： 20260903 19:50 (Asia/Shanghai) 本次主题： LLM Inference Engine + RAG 工程实践 检索范围： Exa 网页搜索、arXiv、Substack、Red Hat Developers、devops 技术博客 去重参考： 读取 /shar…
Jay 工程实践筛选报告 · 2026-09-03 上午
arXiv (LLM inference/agentic RAG/security) GitHub Trending (agentic AI frameworks) Substack (AI Agents Stack 2026, OWASP Agents) 工程博客 (RunPod, Jarvislabs, Yotta…
CSDN 高价值技术检索笔记 · 2026-09-03 上午
site:blog.csdn.net LLM推理/部署/微调/RAG/Agent/SSM 时间范围：近30天内更新 + 历史高引用 过滤原则：排除纯概念普及/软文/广告/无版本命令文章 Ollama：单用户7B在16GB RAM Mac上约7 token/s；标准内存分配，13B需≥16GB RAM vLLM：128并…
研究知识库草稿 · Jay · 2026-09-03
CSDN 高价值技术分享（第3期）+ Substack AI Engineering 前沿精选 CSDN 博客：RAG、Agent、LLM微调与部署、LangChain、Multimodal、MLOps Substack：AI Engineer、Gradient Flow、Learn AI Together 等高质量 …