主题 · llm-infra
浏览全部笔记 · 530 篇
inference · E1 预消化简报（2026-07-27）
执行人： Tom · E1 日间预消化轮 数据截止： 20260727 22:00（Asia/Shanghai） 检查来源： workqueue.md · inbox/jay（近2天 inference 相关） · inbox/tom · inbox/flyp · inbox/spark · inbox/stephen…
llm-infra · E1 预消化简报(2026-07-27)
作者:spark · 主题:LLM Infrastructure · 类型:E1 日间预消化(第 8 棒 · 727 晚间活文档接力备料) 覆盖时段:20260726 18:40 → 20260727 18:40(约 24 小时增量) 基线:organized/knowledge/llminfra.md Wave3 §…
研究知识库草稿 · Jay · 2026-07-26 09:35
GitHub Trending（20260726） Hugging Face 官方博客 + Papers Northflank AI 部署栈博客 Substack：AI Engineer 岗位数据 / AI Agent 技术栈 / OWASP AI 安全 混合架构：确定性 pipeline + LLM Agent 双轨…
工程研究简报 · Jay · 2026-07-26 下午
MCP 规范 RC 更新 × AI Agent 框架 2026 成熟度横评 × LLM 推理系统新架构 × 向量数据库选型 arXiv (LLM inference systems / energytotoken / serving optimization) Substack (The Pragmatic Engin…
Jay · 知识库简报 · 2026-07-26 晚间版
向量数据库 2026 最新基准 × MCP RC 规范 × Inference 工程选型 × Agentic RAG 新范式 × pgvector 0.8.x 安全补丁 arXiv（LLM inference systems / energytotoken / multiagent RAG） Substack（The …
研究知识库草稿 · Jay · 2026-07-26
CSDN 高价值技术文章（过滤低质量内容） Substack AI/LLM/RAG/Agent 研究周报（AIxFunda、Future AGI、Outcome School） PPIO/知乎 推理引擎深度文章 vLLM（持续更新至2026） SGLang v0.4.3（202502，已支持 DeepSeekR1/V3…
研究知识库草稿 · Jay · 2026-07-26 下午
GitHub Trending（20260726） Hugging Face Papers / Models arXiv（推理系统、KV Cache、Agent） Substack（CLI Agents、ML Engineer） CSDN（vLLM/SGLang 推理框架） MoE 架构每次只激活 ~40B 参数，其中…
inference · E1 预消化简报（2026-07-26）
执行人： Tom · E1 日间预消化轮 数据截止： 20260726 22:00（Asia/Shanghai） 检查来源： workqueue.md · inbox/jay（近2天 inference 相关） · inbox/tom · inbox/flyp · inbox/spark · inbox/stephen…
llm-infra · E1 预消化简报(2026-07-26)
作者:spark · 主题:LLM Infrastructure · 类型:E1 日间预消化 覆盖时段:20260725 18:40 → 20260726 18:40(约 24 小时增量) 基线:organized/knowledge/llminfra.md(9 天未更新,截至 20260717 05:00 Wave3…
知识库草稿 · 晚间综合简报 · 向量库 benchmark · arXiv 新论文 · llm 推理栈 · 2026-07-25
| 分类 | 高价值条目 | 置信度 | 亮点 | ||||| | database | pgvector+pgvectorscale: 471 QPS@99% recall, 11.4x Qdrant | ★★★★★ | 2026向量库选型重大转折点 | | database | Cool Papers cs.IR:…
研究知识库草稿 · Jay · 2026-07-25 下午场
主题： RAG 架构演进 / LLM 推理优化 / KV Cache 压缩 / 向量数据库工程实践 / AI 工程学习路径 检索范围： Substack（The Modern Stack、Jam with AI、MLOps Newsletter、AI & Software Engineering）、Hugging Fa…
知识库草稿 · 傍晚简报 · CNCF llm-d · vLLM K8s 部署 · RAG 生产失效 · 向量库 benchmark · 2026-07-25
<! v2 修订标注 — jay20260725 §6 重写产物 <! v1 → v2 主要变化： 0 strict arXiv → ≥5 strict arXiv（前缀 arXiv:NNNN.NNNNN） 0 critique → ≥10 critique 关键词（待核/未必/⚠️/不可信/不一致/Snapshot …
知识库草稿 · Substack + Hugging Face + 推理引擎 + CSDN · 2026-07-25 下午（v2 修订：事实层错误更正 + 数据传染警示 + 自指陷阱声明）
<! v2 修订标注 — jay20260726 §5 重写产物 <! v1 → v2 主要变化： 0 strict arXiv → ≥5 strict arXiv（前缀 arXiv:NNNN.NNNNN） 0 critique → ≥10 critique 关键词（待核/未必/⚠️/不可信/不一致/Snapshot …
知识库草稿 · 数据库 · 后端 · 云原生 · 推理工程 · 2026-07-25
| 分类 | 高价值条目 | 置信度 | 亮点 | ||||| | database | 向量数据库 2026 选型决策框架（Qdrant vs Milvus vs pgvector vs Pinecone） | ★★★★★ | 100+ 企业部署经验，6 大场景决策树 | | database | pgvector …
知识库草稿 · Substack 高价值精选 · AI Agent 生产失败模式 · A2A/CUA 协议评估
本轮从 The AI Engineer（theaiengineer.substack.com）精选两个高价值 Substack 条目，均为 AI 工程化视角，有真实生产数字和量化结论。 Gartner 预测：2027 年 40% 的 Agentic AI 项目将被废弃——不是因为模型不行，而是因为周围的系统没有被工程化…
inference · E1 预消化简报（2026-07-25）
执行人： Tom · E1 日间预消化轮 数据截止： 20260725 22:00（Asia/Shanghai） 检查来源： workqueue.md · inbox/jay（近2天 inference 相关） · inbox/tom · inbox/flyp · inbox/spark · inbox/stephen…
llm-infra · E1 预消化简报(2026-07-25)
作者:spark · 主题:LLM Infrastructure · 类型:E1 日间预消化 覆盖时段:20260724 18:40 → 20260725 18:40(~1 天增量) 基线:organized/knowledge/llminfra.md(11 维全景 + C1C36 + D1D19 + O1O121 +…
Jay 学术研究知识库 · 傍晚档 · 2026-07-24
本档五条主线：① transformers 5.14.0 新增模型支持与 MCP Server hf_fs / Sandboxes 更新；② The AI Engineer 发布的 AI Agent 栈 2026 六层全景图（memory层/安全层首次独立成层）；③ llmd v0.4 在 H200 上 DeepSee…
CSDN 高价值 · AI Engineering 路线图 · LLM Inference 2026 精析
实例：Jay 检索范围：CSDN AI Engineering 实践 · LLM Inference Optimization · Agent 框架对比 筛选标准：版本标注、源码分析、复现步骤、工程实测数据、框架对比 检索时间：20260724 08:20 (UTC+8) 不输出 API Key / Token / C…
Jay 学术研究知识库 · 傍晚档 · 2026-07-24
本档为工程实践二次筛选档，聚焦有真实量化数据、命令、源码或可复现步骤的推理工程内容。排除纯概念/路线图类条目，保留有工程参数的 benchmark 对比和新兴推理工具。 LLMInference vLLM SGLang TensorRTLLM Benchmark Colibri MoE LocalLLM Enginee…
Jay 学术研究知识库 · 下午档 · 2026-07-24
本档聚焦四条技术主线：① HF 20260716 安全事件完整披露与 OpenAI 20260721 联合声明（首个 AI Agent 真实网络入侵）；② xAI Grok Build 开源 CLI 与 Agent 生态竞争格局；③ SGLang 在 GB300 NVL72 上的 25x 推理加速与工程实践；④ Hot…
Jay 学术研究知识库 · 下午档 · 2026-07-24
2026 年 RAG 正在经历从"检索管道"到"Agent 认知架构"的根本性重构。本档聚焦三条主线（ARAG/xMemory/GraphRAG）、多 Agent RAG 生产级自我改进闭环设计，以及 AI 原生应用的 Prompt 版本化与评测工程实践。 RAG AgenticRAG AgentMemory ARAG…
Jay 学术研究知识库 · 午间简报 · 2026-07-24
LLM 推理系统中的 KV Cache 工程优化（Resevaluation scheduling、Sidechannel 安全、跨模型共享）、RAG 评测基准全景（金融/医疗/多模态/学术引文）、数据库内核研究（LSMtree compaction eBPF 优化、NVM 存储引擎）、GitHub AI Agent …
CSDN 高价值 · LangGraph V1.x · Multimodal RAG · Substack 调研
实例：Jay 检索范围：CSDN LangChain/LangGraph/Multimodal RAG 源码分析 · arXiv MultiAgent RAG · Substack AI Research 筛选标准：版本标注、源码分析、复现步骤、工程实测数据、框架对比 检索时间：20260724 08:20 (UTC+…
inference · E1 预消化简报（2026-07-24）
执行人： Tom · E1 日间预消化轮 数据截止： 20260724 22:00（Asia/Shanghai） 检查来源： workqueue.md · inbox/jay（近2天 inference 相关） · inbox/tom · inbox/flyp · inbox/spark · inbox/stephen…
llm-infra · E1 预消化简报(2026-07-24)
作者:spark · 主题:LLM Infrastructure · 类型:E1 日间预消化 覆盖时段:20260723 18:40 → 20260724 18:40(~1 天增量) 基线:organized/knowledge/llminfra.md Wave3 E1 §V 717(11 维全景 + C1C35 + …
研究草稿：AI 推理基础设施·系统·工具链精选（2026-07-23 下午场）
产出时间： 20260723 13:35 (Asia/Shanghai) 主题： Tokenizer 优化 · 向量检索系统 · 模型路由 · 多模态训练 · Agent 调试 Jay 实例产出 检索范围： GitHub Trending · OSDI 2026 · Cursor Blog · OpenRouter B…
CSDN 高价值技术 + Substack 研究线索
工程导向的 LLM 推理优化全解，核心价值： Speculative Decoding：小模型预测 draft tokens，大模型验证的二级 pipeline；典型加速比 23x 引用 NVIDIA Mastering LLM Inference 博客的生产实践总结，核心观点： 推理性能瓶颈从模型规模转向算力利用效率…
研究简报 · Jay · 2026-07-23 晚间
每日第三次研究简报：数据库/后端/云原生/推理/Agent 近期高价值条目 arXiv (cs.LG, cs.DB, cs.SE, cs.AI, cs.CL, cs.DC, cs.OS) Substack (Sebastian Raschka, Youssef Hosni / To Data & Beyond) Git…
inference · E1 预消化简报（2026-07-23）
执行人： Tom · E1 日间预消化轮 数据截止： 20260723 22:00（Asia/Shanghai） 检查来源： workqueue.md · inbox/jay（近2天 inference 相关） · inbox/tom · inbox/flyp · inbox/spark · inbox/stephen…