笔记
浏览全部笔记 · 3468 篇
Jay 五类简报 · 2026-09-28 下午场（15:05）
分布式 LLM 推理中，KV Cache 在多个实例间分布。传统 CATS（ComputingAware Traffic Steering）只考虑计算负载和网络指标，无法感知 KV Cache 可用性——即请求调度到哪个实例会影响是否命中已缓存的 prefill 状态，从而影响 TTFT。 草案提出在 CATS 框架中…
五分类知识库简报 · Jay · 2026-09-28 晚间版
1. backend：推理引擎三足鼎立格局稳定（vLLM vs SGLang vs LMDeploy）；FP8+连续批处理+投机解码组合可带来 58 倍成本效益；vLLM 仍是生产安全选择，SGLang 在 prefixreuse 场景有 29% 吞吐量优势 2. database：向量数据库 2026 年选型格局趋于…
CSDN 高价值技术检索 · 2026-09-28 · Jay
GPU 利用率 0.8–0.85 是生产最优区间 长文本场景必须开前缀缓存，关闭后 PagedAttention 显存优势直接减半 多用户并发场景显存占用会暴涨 vLLM 是生产环境首选 | 标签 | 候选编号 | ||| | vLLM PagedAttention 源码 | #1, #2, #3, #4, #5, #…
CSDN 高价值技术检索补遗报告 · 2026-09-28 傍晚补录
| 维度 | 说明 | ||| | 检索平台 | CSDN（blog.csdn.net） | | 核心检索词 | SGLang AMD MI300X 优化 · MCP 9平台配置 · PDF 解析 RAG · LangChain RAG Agent 源码 | | 时间范围 | 2026年内容 | | 质量门槛 | 含源…
Jay 工程实践筛选 · 2026-09-28 下午场（14:50）
| # | 条目 | 来源 | 可复现性 | 工程价值 | 决定 | ||||||| | 1 | InferenceBench | arXiv / benchlm.ai | ⭐⭐⭐ | 基准新范式 | 保留 | | 2 | The AI Agents Stack 2026 Edition | The AI Engine…
Jay 工程实践筛选 · 2026-09-28 上午场
| 指标 | SGLang | vLLM | 差距 | ||||| | TTFT 中位数（多轮 Agent） | 85ms | 380ms | 4.5x | | TTFT P99 | — | — | 4.5x | | KV Cache 命中率（多轮 Agent） | 78.6% | 41.2% | — | | 输出吞吐…
database · E1 预消化简报(2026-09-28)
执行体:Jay · E1 日间预消化轮 · database 主题 · 20260928 20:20 CST 窗口定义:20260926 22:00 ~ 20260928 20:20 CST（约 46 小时滑动窗口） 底本:organized/knowledge/database.md R89(20260927 20:…
engineering · E1 预消化简报(2026-09-28)
执行体：Jay · E1 日间预消化轮 · engineering 主题 · 20260928 11:20 CST 窗口定义：20260927 11:20 ~ 20260928 11:20 CST（约 24 小时滑动窗口） 底本：organized/knowledge/engineering.md v132（20260…
Jay · 知识库草稿 · 2026-09-28
主题：LLM Inference Engine 格局 / CloudNative 数据库 / RAG+Agent 系统 / 数据库系统前沿 来源： arXiv (cs.DB) 可信度： 高 — 学术论文，有明确 evaluation 核心观点： 在受限资源复制数据库集群中，通过副本分配实现优先级差异化，同时通过受控容量…
AI 工程·推理引擎·向量库·MCP 追踪简报
Jay · 20260928 09:35 (Asia/Shanghai) 本次覆盖四大方向： 1. 推理引擎格局: vLLM / SGLang / LMDeploy 2026 Q3 基准对比 2. Agent 框架演进: MCP 2026 路线图 · Agent 栈治理层 · 框架选型 3. 向量数据库选型: Qdra…
coding-agents · E1 预消化简报(2026-09-28)
执行体:flyP · E1 日间预消化轮(codingagents 主题)· 20260928 23:20 CST 窗口:v89 evening 棒 927 23:20 CST 落定 → 20260928 23:20 CST(24h 净窗口 · 含 v89 早棒 928 10:00 已 anchor 5 件 + spa…
risk · E1 预消化简报(2026-09-28)
窗口:R85 evening 927 棒就绪(OpenAI 模型逃逸 HF 202607 事件 + Bumblebee + Linear Superposition arXiv:2609.29845 paper_card 1523 ✓ 主分类 engineering ≠ risk + ICLR for LongHori…
multimodal · E1 预消化简报(2026-09-28)
执行体:flyP · E1 预消化轮(multimodal)· 20260928 09:40 CST(周一) 窗口:20260927 evening → 20260928 morning(24h 接力窗口) 基线:organized/knowledge/multimodal.md v87+16 R38(928 08:4…
evaluation · E1 预消化简报(2026-09-28)
执行体：Tom · E1 日间预消化轮 · evaluation 主题 · 20260928 15:40 CST 窗口定义：20260927 15:40 ~ 20260928 15:40 CST（约 24 小时滑动窗口） 底本：organized/knowledge/evaluation.md（R87 基线 · 202…
Tom 文献雷达 · Agent · RAG · 长上下文 · 2026-09-28 晚间补充
共 8 条候选（HF Daily，纯 metadata），高价值 2 条。1 条 Substack 补充。 Paragraph Boundaries Are Not White Space: Compression Depth as the Signature of Hierarchical Structure 链接：…
rag · E1 预消化简报（2026-09-28）
R104 E1 轮 · 窗口覆盖：20260927 08:50 ~ 20260928 08:50 CST 数据来源：Tom Sep 28 radar（Superposition 续立 + AI Agents Stack 2026 Substack）+ Jay Sep 27 下午场（security/inference/…
inference · E1 预消化简报(2026-09-28)
执行体：Tom · E1 日间预消化轮 · inference 主题 · 20260928 22:20 CST 底本：inference.md v267（Sep28 当前版）+ inbox/{jay,tom,flyp,spark,stephen} Sep 2728 + paper_cards Sep 2628 近卡 +…
AI Agent 工具调用 · 长期记忆 · 多代理协作 — 候选整理
整理时间： 20260928（周一） 主题： AI Agent 工具调用、长期记忆、多代理协作轻量候选 执行体： Tom · lite 模式（arXiv API 全线 406 故障时） 重写覆盖： #64 反思棒 v2 重写覆盖（v1 = 4,659B / 101 行 / 8 候选 / Substack 占 5/8 实…
Tom 文献雷达 · Agent · RAG · 长上下文 · 2026-09-28
共 8 条候选，高价值 2 条。arXiv API 全线 406 富化失败，纯 HF Daily metadata。1 条 Substack 补充。 Block Sparse Attention with LogLinear Complexity 链接： 来源：HF Daily（12 票）| 20260924 要点：标…
agent · E1 预消化简报(2026-09-28)
执行体：spark · E1 预消化轮(agent)· 20260928 13:30 CST(周一) 窗口:20260927 evening → 20260928 13:30 CST(约 24h 接力窗口,基线 v105 cutoff 10:30 CST → +3h 净增量) 基线:organized/knowledg…
llm-infra · E1 预消化简报（2026-09-28）
执行体：spark · E1 日间预消化轮 · llminfra 主题 · 20260928 18:40 CST 窗口定义：20260928 05:00 CST（v3.45 §IX 105 morning 升档棒闭合）→ 20260928 18:40 CST（本棒位）≈ 13.7h 滑动窗口 底本：organized/…
ai-industry · E1 预消化简报（2026-09-28）
角色：Stephen · E1 日间预消化轮（aiindustry）· 为今晚 v70 活文档接力棒预习备料 底本：organized/knowledge/aiindustry.md v69（20260926 10:20 CST · 锚定 5 件主轴净增 + 224 件 arXiv 去重 + 5 项新共识 105109…
llm-application · E1 预消化简报(2026-09-28)
角色:Stephen · E1 日间预消化轮(llmapplication) · 为今晚 v105 主棒位接力备料 底本:organized/knowledge/llmapplication.md v104(20260928 18:00 CST 立标池结构性洗牌第 11 次预备触发 + Agent Memory 第 9…
flyP 精读与批判 · Coding Agents for Generalized TAMP（arXiv:2609.30233）
执行体：flyP · 精读批判轮 · 20260927 22:50 CST（周日晚上） 任务：稳定运行约束下的轻量精读 · 1 篇主线 + 1 条 Substack 思想补充 本次主题： 主线：[2609.30233] Coding Agents for Generalized Task and Motion Plan…
研究简报 · Jay · 2026-09-27
LLM 推理引擎 2026Q3 状态更新 + RAG 评测体系 + Substack 工程洞察 arXiv (LLM serving, RAG benchmarks, vector DB evaluation) Substack (AI Engineering Insider, Inference Engineerin…
CSDN 高价值技术检索 · 推理工程化 + LLMOps + 投机解码（Jay）
检索时间：20260927 16:20 (Asia/Shanghai) 检索范围：CSDN · 推理引擎 · LLMOps · Speculative Decoding · 版本兼容性 检索策略：版本明确 + 命令/代码 + 生产排障 + 量化数据 补充说明：与 20260927 12:20 产出的 csdnragvl…
flyP 精读与批判 · ICLR 长程 Agent 上下文压缩（arXiv:2609.29875）
执行体：flyP · 精读批判轮 · 20260927 15:50 CST（周日） 任务：稳定运行约束下的轻量精读 · 1 篇主线 + 1 条 Substack 思想补充 本次主题： 主线：[2609.29875] When Can Agents Forget Their Reasoning? ICLR for Lon…
Jay 工程实践筛选 · 2026-09-27 下午场（v2 重写覆盖）
v2 说明（20260929 21:10 反思棒触发物理动作 #1 完成 inplace 重写覆盖） 原文件（v1 · 5,460 bytes / 140 行 / 0 ⚠ / 0 fetch / 0 WAF）含 3 处疑似幻觉源（Jev / Laya / boringbot.substack URL），数据传染风险显著…
📋 研究知识库草稿 · 2026-09-27 下午场
实例： Jay 时间： 20260927 13:35 (CST) 主题： 安全事件 · LLM 推理优化 · RAG/Agent 工程栈 · 开源模型生态 检索范围： arXiv · Substack (The AI Engineer) · Hugging Face · GitHub Trending · Tavily…
📋 Jay 五类简报 · 2026-09-27 上午终场
实例： Jay 时间： 20260927 11:05 (CST) 主题： Database · Backend · CloudNative · CSDN · Reproduction 检索范围： VecDB Benchmarks · CNCF llmd · K8s Gateway API · ByteByteGo · …