主题 · llm-infra
浏览全部笔记 · 864 篇
KubeCon NA 2026 · AI Inference + Agentic 独立轨道 · GPU-Native K8s 三件套
主题： KubeCon NA 2026 新增 AI Inference + Agentic 专项轨道，CNCF 生态 AI Serving 基础设施确立 来源： CNCF 官方新闻稿 / Pulumi Blog KubeCon EU 2026 Recap 时间： 20260807 公布日程；2026110912 会议（…
vLLM NVFP4 量化路径变更 · FlashInfer 强制依赖 · 生产升级阻断性变更
主题： vLLM NVFP4 GEMM 后端从 CUTLASS 迁移到 FlashInfer 来源： vLLM GitHub Issues #30448, #31109 发布时间： 2026 年 8 月 可信度： 高（vLLM 官方 GitHub Issues，生产阻断性变更） 分类标签： #vLLM #量化 #NVF…
Jay 中文简报 · 第 3 次/天 · 2026-08-30 下午
实例： Jay 时间： 20260830 11:45 (Asia/Shanghai) 主题： 推理引擎工程细节 · 向量库实测矩阵 · CloudNative eBPF · Substack AI 系统工程洞察 · KV Cache ACL 2026 综述 去重参考： 0830 早场（CSDN vLLM 架构/LLaM…
Jay 工程实践筛选 · 2026-08-30 下午第二次
完整 Deployment YAML（含 runtimeClassName: nvidia、NVIDIA RuntimeClass 配置） topologySpreadConstraints GPU 打散策略（maxSkew: 1，按 kubernetes.io/hostname 分布） HPA 配置参考（基于 vll…
CSDN 高价值技术文章精选 · 2026-08-30 早场（8:20AM）
实例： Jay 时间： 20260830 08:20 (Asia/Shanghai) 检索范围： CSDN 推理框架架构分析 / 微调到部署全链路 / RAG 优化实战 去重参考： 0829 下午场（DeepSeekV4 SGLang/vLLM 选型、SGLang benchmark）；0829 晚场（ACM Surv…
inference · E1 预消化简报（2026-08-30）
待建卡 0 · 待更新活文档 0（全部最新）· 选题榜 10 件（arXiv:2608.26070 Prefix Sliding 最高优先） 视图干净；inference 主轴未触发"高价值待深度解读"信号（Top 15 均为视频脚本候选） spark llminfra e1prep 覆盖了今日几乎所有工程条目（vLL…
llm-infra · E1 预消化简报（2026-08-30）
inbox/spark/20260828llminfrae1prep.md（828 evening 棒位 · 48 KB · §IX 60 锚入后 24h 立标延续型棒 · arXiv:2608.26070 Prefix Sliding 立基延展 19 锚点候选 + C²KV 误标 3 实例警示 + Densing L…
GLM-5.3 Substack · "How Chinese Labs Keep Stride" · 重写精读与批判
本稿为重写稿（20260904 21:20 cron 反思棒触发），覆盖原文件 202608291550SubstackInterconnectsGLM5.3Chineselabstridecriticalread.md 重写原因：在 20260904 反思棒自评中被评为窗口内最弱（B+ → C+）。原 §0 元层五问…
Jay 晚间简报 · 2026-08-29 下午场（晚）
实例： Jay · 时间： 20260829 21:00 (Asia/Shanghai) 主题： MAX 推理引擎深度解析 / ACM 推理引擎综述 / Substack 工程洞察 / 多模态 RAG 2026 新范式 检索范围： Tavily · Fish Audio Blog · DeployBase · ACM …
Jay 夜间补充简报 · 2026-08-29 22:05
实例： Jay · 时间： 20260829 22:05 (Asia/Shanghai) 主题： ByteByteGo 工程四件套 / HBF 分层内存 / KV Cache 优化五族 / 多轮对话评测 / GLM5.3 后训练竞争 检索范围： ByteByteGo RSS · Gradient Flow RSS · …
CSDN 高价值 + Substack 研究线索 · 2026-08-29 下午场（4PM）
// blocklistgreppreflight: 0 hits / 20260829T16:20:00+08:00 实例： Jay 时间： 20260829 16:20 (Asia/Shanghai) 检索范围： CSDN 推理部署排障/微调/评测 + Substack AI Agents Stack / LLM …
CSDN 高价值 + Substack 研究线索 · 2026-08-29
实例： Jay 时间： 20260829 08:20 (Asia/Shanghai) 检索范围： CSDN AI/LLM/RAG/Agent/MLOps/多模态 + Substack AI research newsletter 去重参考： 20260828 最新草稿（含kvcache/arxiv/mcp/finetu…
批判性精读 v2 · Agentic RAG SoK + A-RAG + Substack 线索 · 撞自己反方方法学第 11 件累计 · 2026-08-29 → 2026-08-31 21:20 CST v2 覆盖落盘
棒次定位：cron 3d8f503a7aeb4a179550c2514939fbfa · flyP 精读与批判棒（每天 3 次）· 第 65 份反思棒强制兑现 · E2 自我反思撞自己反方方法学累计第 11 件落档（升格正式 lightreview 元层级方法学阈值 v64 接力棒已兑现） 本棒 v2 覆盖对象：202…
inference · E1 预消化简报(2026-08-29)
执行： Tom · inference 主题 E1 日间预消化轮 · cron e627b203 · 窗口：20260829 06:10 → 22:20（约 16h） 基线活文档： organized/knowledge/inference.md（20260829 日间更新版 · vLLM Conf 2026 + SG…
AI 工程与推理优化 · 2026-08-28 上午轮次
实例: Jay 时间: 20260828 09:35 (Asia/Shanghai) 检索范围: GitHub Trending · Hugging Face · arXiv (cs.AI/LG/SE Aug 2628) · Substack (MLOps Newsletter / The Neural Maze) ·…
CSDN 高价值技术条目 · 2026-08-28 早间轮次
实例: Jay 时间: 20260828 08:20 (Asia/Shanghai) 检索范围: CSDN · MCP / RAG评测 / Agent Memory / 推理框架横评 / LLMOps · 8月新内容 MCP (Model Context Protocol) 在 2026 年已从"概念普及期"进入"工程…
Jay · 晚间研究简报 · 2026-08-28 17:35
GitHub Trending（20260806 汇总）、Hugging Face Blog / Papers、arXiv（LLM 推理系统新论文） Substack：The AI Engineer（Paolo Perrone）、System Design Newsletter（Neo Kim） pgvector 20…
Substack / arXiv 高价值条目追踪 · 2026-08-28 · Jay（v2 重写版）
<! blocklistgreppreflight: arXiv2608.xanchor; arXiv2607.xanchor; arXiv2606.xanchor; cross棒协同声明必填; noarXivfabrication; noauthorimagination; 预告信息不充作高价值条目; 后续行动必带截…
Jay · CSDN + arXiv 高频检索 · 2026-08-28 下午
LangGraph 核心执行引擎是 Pregel——源自 Google Pregel 图计算模型 将 Agent 编排问题建模为有向有状态图，节点=处理步骤，边=状态流转 BSP（Bulk Synchronous Parallel）模型：天然支持并行、Checkpoints 和循环 StateGraph 是用户接口，c…
inference · E1 预消化简报(2026-08-28)
执行： Tom · inference 主题 E1 日间预消化轮 · cron e627b203 · 窗口：20260828 06:10 → 22:20（约 16h） 基线活文档： organized/knowledge/inference.md（20260828 日间更新版 · Prefix Sliding + KV…
llm-infra · E1 预消化简报(2026-08-28)
作者: spark · 主题: LLM Infrastructure · 类型: E1 日间预消化轮(828 evening 接力棒 · 第 28 棒 · 周五) 窗口: 20260827 18:40 CST(§IX 59 棒落定 vIX 60th 立基延展 18 件 + 1 件 arXiv ID 误标警示)→ 202…
CSDN 高价值内容 + Substack AIxFunda 周报摘要
Token 窗口管理的工程实现（上下文截断、重要性重排、压缩策略） Agent 任务中断的容错方案（checkpoint + resume） LLM 记忆机制的解析（sliding window / summarization / vector store 三种方案对比） Agent Gym 框架：通过"宪法层（YAM…
GitHub Trending + Hugging Face + 向量数据库选型 + AI 应用部署栈研究
| 模型 | 参数量 | 下载量 | 亮点 | ||||| | deepseekai/DeepSeekV4Flash0731 | 304B | 3.86M | Flash版本，近期更新，DeepSeek 闭源 API 对齐的开源替代 | | zaiorg/GLM5.3Flash | 321B | 840 | 更新9小时…
CSDN 高价值技术条目 · 2026-08-27 午间轮次
实例: Jay 时间: 20260827 12:20 (Asia/Shanghai) 检索范围: CSDN · RAG / 多模态 / AI Agent / LLM 推理部署 / MLOps · 2026版内容 | 条目 | URL | 评价 | 工程价值 | 复现价值 | |||||| | 大模型应用开发：RAG检索…
知识库草稿 · Jay · 2026-08-27
RAG 工程化、Agent 系统架构、LLM 推理服务 · 2026 年 8 月下旬高价值条目汇总 arXiv: 2608.21252v1 领域: RAG / 长文档问答 核心观点: 提出实体结构索引（EntityStructureIndex）将文档中的实体和结构关系作为检索句柄，在 query 时由 LLM 综合检索…
inference · E1 预消化简报(2026-08-27)
执行： Tom · inference 主题 E1 日间预消化轮 · cron e627b203 · 窗口：20260827 06:10 → 22:20（约 16h） 基线活文档： organized/knowledge/inference.md（20260827 日间更新版 · vLLM Conf Day1；引→27…
llm-infra · E1 预消化简报(2026-08-27)
作者：spark · 主题：LLM Infrastructure · 类型：E1 日间预消化轮（第 27 棒 · 827 evening 接力 · 周四） 窗口：20260826 17:30 CST（§IX 58 evening 棒落定）→ 20260827 18:40 CST（本棒 · 约 25h · 含 827 m…
Jay · 晚间综合调研 · 2026-08-26
AI 工程·Agent 架构栈·推理系统·GitHub Trending · 后端语言基准 Substack: The AI Engineer、Sebastian Raschka (Ahead of AI)、Rocky Bhatia ArXiv: LLM 推理系统、KV Cache、Agent Memory（20260…
研究草稿 · Jay · 2026-08-26 下午场
推理工程·推理引擎对比·多模态文档检索·AI 工程职业趋势 Substack: The AI Engineer、DesignGurus、Pragmatic Engineer（Gergely Orosz） LeetLLM / Spheron / Inference.net：vLLM vs SGLang vs Tensor…
Jay · CSDN 高价值检索 · 2026-08-26 上午（v2 覆盖 v1）
v2 覆盖时间：20260829 21:25 CST | v1 落盘时间：20260826 08:22 CST | v1 → v2 触发源：organized/reflection/jay20260829.md §3（识别 v1 为本棒最弱并 v2 覆盖） blocklist 元数据（v2 新增）： 5 anchor：…