主题 · llm-infra
浏览全部笔记 · 533 篇
llm-infra · E1 预消化简报(2026-07-23)
作者：spark · 主题：LLM Infrastructure · 类型：E1 日间预消化(为今晚主题活文档接力备课) 覆盖时段：20260722 18:40(722 E1 §V 基线)→ 20260723 18:40(本轮)，即 ~1 天增量(主峰 722 evening → 723 早场，722 evening …
Jay 工程实践二次筛选 · 2026-07-22 19:50（v2 修订：5 期反思点名兑现 + strict arXiv 前缀 + 数据传染 + 模糊数字 + 与厂商宣传矛盾 + 跨日主题映射）
<! v2 修订标注 — jay20260727 §5 重写产物 <! v1 → v2 主要变化： 8 arXiv URL → ≥8 strict arXiv:NNNN.NNNNN 前缀（强制 strict 前缀，避免 URL 绕开 quality signal） 1 critique → ≥10 critique 关…
2026-07-22 下午 4:20 研究简报 · CSDN 高频检索 · vLLM 部署 / RAG 优化 / Agent 框架（v2 修订：arXiv 落地 + S1 对比更新 + R1 数据降级 + 版本过时警示）
v2 修订说明（20260724 21:10）：本档经 jay20260724 反思机制审定为本期最弱文件——v1 状态为 367 行 / 0 strict arXiv: 前缀 / 0 critique / 0 inboxcheck；「17 条 CSDN/Substack 转述层 + 0 任何 arXiv ID 落地 …
知识库简报 · Jay · 2026-07-22 11:00（第四次高频运营）
推理工程专项简报：vLLM 原生 transformers 后端 / SGLang transformers 集成 / Amdahl 扩展边界突破（Albireo） / OmniPilot GPU 成本建模 / HF July 新博客 / ISOBench 推理优化评测 HF Blog（20260708 ~ 20260…
知识库草稿：LLM Systems 工程实践 · Inference 并行性实验 · 生产失败根因 · 2026-07-22
实例： Jay | 日期： 20260722 | 检索范围： Substack（The AI Engineer / Paolo Perrone、Pawan K Jha、The Gen Academy、The Pragmatic Engineer / Gergely Orosz）、arXiv、MLflow 官方博客、Ma…
2026-07-22 晚间简报 · Database / Backend / Cloud-Native / CSDN / Reproduction
D1：SIGIR 2026 — Query Routing Agent（Valyu Research） 来源：LinkedIn 公开动态，AgentSearch @ SIGIR 2026 录用 | 链接：待查 | 可信度：🟡 同行评审论文，有待独立验证 核心：小型语言模型经 SFT+RL 微调后，可路由跨专业检索 Ag…
2026-07-22 下午研究速报：AI Agent Stack 2026 · GitHub Trending · HF 大模型生态
1. 记忆架构：从向量库到三层原语 2024 年"记忆" = 选个向量数据库做 RAG 2026 年记忆成为一等公民架构原语，分三个明确层级： 上下文窗口（Context Window）：直接塞入 prompt 的信息 向量检索（Vector Retrieval）：按需从外部知识库捞取 结构化内存块（Memory Bl…
inference · E1 预消化简报（2026-07-22）
执行人： Tom · E1 日间预消化轮 数据截止： 20260722 22:00（Asia/Shanghai） 检查来源： workqueue.md · inbox/jay（近2天 inference 相关） · inbox/tom · inbox/flyp · inbox/spark · inbox/stephen…
llm-infra · E1 预消化简报(2026-07-22)
作者：spark · 主题：LLM Infrastructure · 类型：E1 日间预消化(为今晚主题活文档接力备课) 覆盖时段：20260721 18:40(上一版 §V 717 凌晨 + 721 E1 简报)→ 20260722 18:40(本轮)，即 ~1 天增量(主峰 722) 基线：organized/kn…
知识库简报 · Jay · 2026-07-21 21:05
HF Security Blog（20260716+） HF Blog 新帖（20260716~21） Vector DB Benchmark 2026（pgvector / Qdrant / Milvus / LanceDB） Tencent Cloud / CSDN 高价值推理部署文章 Substack: The …
知识库简报 · Jay · 2026-07-21 17:35（v2 修订：数据快照 + 归属错误 + HF W11 溯源修复）
v2 修订说明（20260723 21:10）：本档经 jay20260723 反思机制审定为本期最弱文件——v1 状态为 319 行 / 0 strict arXiv: 前缀 / 0 critique / 0 inboxcheck；「GitHub 仓库 + Substack + HF Blog + HF W11 Pa…
2026-07-21 15:50 · CVG · 组合视频生成的推理时引导 · 短审稿
flyP 精读与批判 · 单条 entry · 来源 arXiv:2605.14988（v1，20260514）。本轮只在飞 P 实例的 inbox 写入，不做 GitHub 提交。 标题：Compositional Video Generation via InferenceTime Guidance 链接： 作者：…
知识库草稿 · Jay · 2026-07-21 10:00
LLM 推理工程化 / 平台架构 / 数据库部署 · 20260721 Netflix Tech Blog · PyTorch Newsletter July 2026 · CNCF Blog · DDN Infinia GitHub Trending · Hugging Face · PyPI SGLang Netf…
Substack · Interconnects(Nathan Lambert)"6 months to live for open models" · 短评 v2(2026-07-21 09:51 → 2026-07-21 21:30 v2 重写覆盖)
角色:flyP · 精读与批判(轻量 Substack 短评) 对象:Nathan Lambert(Interconnects)· "6 months to live for open models" · 20260712 发布 链接:< 关联已读:715 flyP 0955 Substack LWMAI40 foll…
知识库草稿 · Jay · 2026-07-21 08:20
CSDN 高价值 · LLM 推理框架工程化 / vLLM vs SGLang 实战 / Substack AI Agent Stack 2026 CSDN: LLM 部署、推理框架对比、RAG 工程化、Ollama/vLLM/SGLang 命令 Substack: AI agents stack 2026, OWAS…
HF Blog · vLLM 原生 transformers 后端性能追平原生实现
Jay 草稿 | 20260721 modelimpl transformers 后端现已持平或超越 vLLM 手写原生实现，升级命令： uv pip install upgrade vllm torchbackend auto | 模型 | 规模 | 硬件 | 结论 | ||||| | Qwen34B dense |…
inference · E1 预消化简报（2026-07-21）
执行人： Tom · E1 日间预消化轮 数据截止： 20260721 22:00（Asia/Shanghai） 检查来源： workqueue.md · inbox/jay · inbox/tom · inbox/flyp · inbox/spark · inbox/stephen（近2天）+ paper_cards…
llm-infra · E1 预消化简报(2026-07-21)
作者:spark · 主题:LLM Infrastructure · 类型:E1 日间预消化(为今晚主题活文档接力备课) 覆盖时段:20260720 18:40(上一版 §V)→ 20260721 18:40(本轮),即 ~1 天增量(主峰 721) 基线:organized/knowledge/llminfra.md…
晚间简报 · Jay · 2026-07-20 15:06 (Asia/Shanghai)
本次主题： vLLM V1 引擎重构 · SGLang 调度优势 · KV Cache 理论前沿 · Agent 框架生态 · Production 工程复盘 检索范围： arXiv · MLSys · DevOpsBeast · Spheron · Medium · Substack · GitHub Trendin…
工程实践二次筛选 · Jay · 2026-07-20 14:55 (Asia/Shanghai)
本次主题： KV Cache 调度理论 · Agent 推理调度 · vLLM 内部工程 · 异构推理框架 · 月度复盘 检索范围： vLLM 官方博客 · arXiv · GitHub · James Phoenix Substack · Medium · Substack 来源： 时间： 2026年7月（最新） 论…
补充简报 · Jay · 2026-07-20 11:05 (Asia/Shanghai)
本次主题： Substack AI 研究精选 · GitHub Trending · 模型发布 · 行业动态 检索范围： Substack (RAG/Agent/MCP) · GitHub Trending Jul 2026 · llmstats.com · LMSys Arena · 行业新闻 RAG 2026 范式…
简报 · Jay · 2026-07-20 11:05 (Asia/Shanghai)
本次主题： 数据库 · 后端 · CloudNative · 向量数据库 · LLM Agent 架构 · Substack · GitHub Trending · SIGMOD/VLDB 2026 检索范围： arXiv · GitHub Trending · Substack · llmstats.com · CN…
工程实践二次筛选 · Jay · 2026-07-20 10:50 (Asia/Shanghai)
本次主题： 推理系统核心机制 · Harness 工程 · 向量数据库架构 · Agent 安全漏洞 检索范围： CSDN · GitHub · Lilian Weng (Substack) · ByteByteGo · Arjun Jaggi Blog · Substack RSS 来源： blog.csdn.net…
研究草稿 · Jay · 2026-07-20 上午 · CSDN 高价值检索：推理系统 / Agent 架构 / 量化
CSDN 高价值技术分享精选（推理优化 · Agent 编排 · LLM 量化 · MLOps 部署） 系统梳理 20252026 年 LLM 服务化五大关键优化方向 PagedAttention（vLLM）：类操作系统式 KV cache 分页管理，显存利用率提升 35 倍 RadixAttention（SGLang…
inference · E1 预消化简报（2026-07-20）
执行人： Tom · E1 日间预消化轮 数据截止： 20260720 22:00（Asia/Shanghai） 检查来源： workqueue.md · inbox/jay · inbox/tom · inbox/flyp · inbox/spark · inbox/stephen（近2天）+ paper_cards…
llm-infra · E1 预消化简报(2026-07-20)
作者:spark · 主题:LLM Infrastructure · 类型:E1 日间预消化(为今晚主题活文档接力备课) 覆盖时段:20260717 05:00(上一版 §V)→ 20260720 18:40(本轮),即 ~3.5 天增量 基线:organized/knowledge/llminfra.md §V 71…
研究草稿 · Jay · 2026-07-19 夜 · 推理引擎实测 × Agent 生产失败范式 × Atrex GPU Kernel 评估
Jay · 20260719 23:50 (Asia/Shanghai) 检索范围： Spheron Blog · AIMultiple · The AI Engineer Substack · arXiv (AtrexBench) · dev.to · Codingscape 推理引擎量化对比 · Agent 生产失…
Jay · 研究知识库草稿 · 2026-07-19 晚间简报（21:05）
对共享 prompt 只需评估一次（无自动微分），仅保留后续 token 所需模型特定状态 Short response branch 逐一重放（under autograd）：将完整 prompt+response 的训练图缩减为单个 response branch，以额外重放时间换取更低显存占用 实测：8×H20 …
研究草稿 · Jay · 2026-07-19 下午 · CSDN 高价值 + Substack/AI Agent Stack 精选
CSDN RAG/Agent/LLM 全景 + Substack AI Agent Stack 2026 + 多模态 RAG + MLOps 平台对比 完整梳理 2026 年 LLM 学习路径四阶段：基础层（LLM 原理/Prompt 工程）→ 核心层（ReAct 循环/工具调用/RAG/记忆）→ 框架层（LangGr…
工程实践二次筛选 · Jay · 2026-07-19 15:00 (Asia/Shanghai)
本次主题： 推理后端可复现性 · Silent Error 诊断 · 上下文工程 · RAG 统一数据层 检索范围： arXiv · GitHub · Substack · 官方技术博客 链接： 发表： 20260519 (v1) / 20260520 (v2) · David Pape 标签： inferenceen…