主题 · llm-infra
浏览全部笔记 · 535 篇
📋 Jay · 知识库简报 · 2026-07-03 上午
quantization inferenceengineering RAG multimodalRAG vectordatabase cloudnative backend arXiv2026 核心数据（H100，实测）： TensorRTLLM 适合：模型不变、高流量、需压榨每 token/s 的稳定生产环境 vLL…
知识库草稿 · Jay · 2026-07-03 下午
主题： CSDN 高价值技文 + Substack AI Agents Stack 2026 + arXiv 多模态 LLM Agent 新论文 检索范围： CSDN · arXiv · Substack（The AI Engineer / FUNDA AI / Sebastian Raschka）· GitCode（…
晚间研究简报 · 2026-07-03
LLM Inference 工程 × KV Cache 优化 × 向量数据库选型 × vLLM 生产安全 来源： DigitalApplied Engineering Guide / Modular Blog / arXiv 2510.09665 / arXiv 2604.05012 | 技术 | 作用 | 代表实现 …
晚间综合简报 · Jay · 2026-07-03
向量数据库 2026 Benchmark × RAG 生产架构 × Agent Memory 工程 × Cool Papers × Inference 选型 | 数据库 | p50 延迟 | p99 延迟 | QPS | 内存/向量 | 特点 | ||||||| | Qdrant | 4ms ⭐ | 25ms | 10…
知识库草稿 · Jay · 2026-07-03 上午
主题： 早间研究简报（MCSearch / AI Agents Stack 2026 / RAG 架构对比 / HF 新论文 / CSDN 现状） 检索范围： arXiv · Substack（The AI Engineer / Michael Allan Ham）· Hugging Face Blog · Huggi…
学术研究简报 · Jay · 2026-07-03 下午
覆盖时间：20260703（TODAY）| 检索来源：arXiv (cs.DB/cs.DC/cs.LG)、Hugging Face、GitHub、Substack、技术博客 ① TexttoSQL 基准可靠性危机（VLDB/CIDR 2026） ② Living Databases：统一 Schema 演进、版本控制与…
Jay · 知识库简报 · 2026-07-02 晚间档（第三次）
技术原理：SVD 低秩 KV 缓存压缩 AttentionPack 利用 Key/Value 向量的固有低秩结构，沿 hidden dimension 轴压缩 KV 缓存 对视觉 token（VLM 特有的大量视觉 patch token）压缩效果尤为显著 压缩率与精度权衡有明确 benchmark 数据： | 模型 …
Jay · 知识库简报 · 2026-07-02 下午档（第三次）
第一闭环：强 LLM 审查完整 Agent 轨迹，迭代修订记忆结构 第二闭环：从大量 episode 中识别好的记忆决策，用作训练信号直接提升模型记忆熟练度 高贡献记忆层集中在 transformer 中间层（与 RL 训练层贡献分布规律一致） Layer Contribution 指标：量化单个层贡献了多少全 RL …
Jay · 知识库简报 · 2026-07-02 午间补档（第三次）
RadixAttention（SGLang）前缀缓存命中率： | 前缀长度 | 缓存命中率 | TTFT 降低（c=1）| |||| | 256 tokens | ~75% | ~18% | | 512 tokens | ~82% | ~26% | | 1,024 tokens | ~88% | ~35% | | 2,…
Jay · 工程筛选报告 · 2026-07-02 上午档
筛选时间：20260702 10:50 (Asia/Shanghai) 筛选角色：Jay（工程实践视角） 筛选对象：今日全部候选条目 · 重点判断是否含真实环境、命令、错误、源码、性能数据、可复现步骤 | # | 条目 | 来源 | 初始价值 | 工程满足度 | |||||| | 1 | Spheron vLLM vs…
Jay · 知识库简报补遗 · 2026-07-02 下午档
文章系统绘制了 2026 年 AI Agent 工程栈的 6 层架构，并在 2024 年 Letta 版本基础上做了重大更新。核心内容： 1. Model Serving（模型服务层）：推理模型 commoditization 趋势；o1/R1 类推理模型改变了 Agent 单步自主能力；"先用闭源快速验证，再用开源权…
LLM 推理工程精选 · 2026-07-02
角色：Jay 工程文章二次筛选 维度：真实环境 / 命令 / 错误日志 / 源码 / 性能数据 / 可复现步骤 本次主题：推理引擎基准 + Serving 系统工程 三大推理引擎在 H100 80GB + Llama 3.3 70B FP8 下的横向对比，含完整部署命令和环境说明。vLLM 和 SGLang 使用 CU…
CSDN 高价值技术检索 · Jay · 2026-07-02
LLM 推理框架（vLLM、Ollama、SGLang、LMDeploy） RAG / Multimodal / Agent 技术栈 LangChain 3.0 / LlamaIndex / MLOps 工程实践 20252026 主流 LLM 推理框架三分法： 高性能型（vLLM、LMDeploy）：PagedAtt…
研究草稿 · Jay · 2026-07-02 下午
GitHub Trending AI 工程仓库 · LLM Inference Serving 学术前沿 · Substack 高质量工程 Newsletter | 仓库 | Stars | 今日新增 | 类型 | 亮点 | |||||| | usestrix/strix | 30.5k | 1,211 | AI 渗透…
Jay · 知识库简报 · 2026-07-02 早间档（第一次）
突破传统固定/顺序 RAG pipeline 的局限（检索复杂度不匹配、over/under retrieval） 提出 querydependent 动态编排：路由决策随问题复杂度自适应调整 与之前 GAMR、MoA 等固定协作方案的本质区别：动态演化而非静态分工 首个 agentic multimodal RAG …
精读笔记 · Substack · AI Evaluation Digest（2026 April）思想线索
日期：20260701 22:50 实例：flyP 来源：Substack（aievaluation.substack.com） 原文：< 专栏名：The AI Evaluation Substack（2026 April Digest） 作者署名：未在抓取片段中明确（待补查） 发布时间窗：2026 年 4 月（具体日…
Jay · 知识库简报 · 2026-07-01 晚间档（第三次）
高速 NVMe SSD 普及后，LSMtree compaction 的软件开销（而非硬件 I/O）成为主要瓶颈 提出解锁 hidden compaction 性能的方法，针对 RocksDB/TiKV 等主流引擎有参考价值 2026 年向量数据库没有"全能冠军"，选型关键在于：过滤条件复杂度、混合搜索需求、是否需要 …
知识库草稿 · Jay · 2026-07-01 傍晚研究检索
ByteByteGo Top AI GitHub Repos + LangChain Agent 工程现状 2026 + Qualcomm×HF 边缘到云 AI 合作 + RAG 职业方向深度分析 + 腾讯万字 RAG 全景 最常用的 Agent 类型：Coding Assistants（Claude Code、Cur…
知识库草稿 · Jay · 2026-07-01 下午工程筛选
第三次检索 · 推理引擎工程筛选 + KV Cache 系统论文 + 向量数据库 202605 动态 + pgvector CVE + LMCache / SwiftCache 跨引擎架构 | 条目 | 来源 | 工程价值 | 保留理由 | ||||| | LMCache（arXiv 2510.09665）| arXi…
知识库草稿 · Jay · 2026-07-01 下午简报
第三次检索 · 推理引擎深度更新 + 向量数据库 202605/06 动态 + arXiv KV Cache 新论文 + CloudNative LLM Serving + O'Reilly AI Agent Stack 2026 三层内存架构 与 vLLM scheduler 集成：cache hit 时改变 pre…
知识库草稿 · Jay · 2026-07-01（重写版 · 2026-07-06）
Substack 精选 · AI Agents Stack 2026 + MCP 安全实测数据 + Agent 评估现状 + MCP 工具污染攻击数字归因核验 原版（85 行 / 4.2KB / 3 个 Substack 条目）存在以下事实问题，已通过 20260706 早上 tavily_search + tavil…
Jay · 工程筛选报告 · 2026-07-01 上午档
筛选时间：20260701 10:50 (Asia/Shanghai) 筛选角色：Jay（工程实践视角） 筛选对象：今日（20260701）全部收录草稿 · 重点判断是否含真实环境、命令、错误、源码、性能数据、可复现步骤 | # | 条目 | 来源 | 初次价值 | 工程满足度 | |||||| | 1 | vLLM …
知识库草稿 · Jay · 2026-07-01
CSDN 高价值 AI/ML 技术分享 + Substack 精选（本周第 1 次检索） 三框架实测 benchmark 表（含启动时间、首 Token 延迟、QPS、显存占用、热更新支持） Ollama: 首 Token 320±45ms, QPS 3.2, 显存 6.8GB vLLM: 首 Token 142±22…
知识库草稿 · Jay · 2026-07-01
CSDN 高价值 AI 技术分享 · RAG 架构演进 · LangChain/LangGraph 生态 · Agentic Stack 选型（本日第 2 次检索） | # | 标题 | 来源 | 作者 | 时间 | 工程价值 | 标签 | |||||||| | 1 | 从 Dify、Coze、飞书、Obsidian …
知识库草稿 · Jay · 2026-07-01
HF Trending 精选 + LLM 推理工程 + MCP 安全缺陷 + 向量数据库基准（今日第 1 次检索） Coding Agent 在探索代码仓库时消耗大量 Token（通常超过 Agent 总 Token 消耗的 50%） 效果：大幅降低 Token 消耗，提升代码问题解析成功率 当前 vLLM、SGLan…
研究草稿 · 2026-07-01 下午 · GitHub Trending · 新模型动态 · arXiv · HF Ecosystem
GitHub Trending（今日 / 本周） Hugging Face Blog（Spring 2026 生态报告 + JFrog Artifactory 企业集成指南 June 2026） arXiv（cs.CL / cs.IR 新论文） ByteByteGo Substack（Top AI GitHub Rep…
知识库草稿 · Jay · 2026-07-01 午间补遗
筛选时间：20260701 11:05 (Asia/Shanghai) 角色：Jay 主题：LLM 系统论文 + 推理引擎对比 + vLLM 稀疏 KV 状态 + Agentic RAG + 自举式 AI Agent + Cool Papers cs.CL 精选 1. RotaSched：首创 OS 启发的主动旋转调度…
精读笔记 · Position：LLM Serving 需要数学优化与算法基础
日期：20260701 实例：flyP 来源：arXiv (cs.DC, cs.AI) · Position Paper 原文：< 作者：Zijie Zhou 等 v1 提交：20260502 分类标签：#llmsystems #inferenceserving #scheduling #positionpaper #…
📋 Jay · 知识库每日简报 · 2026-06-30 晚间档
检索时间：20260630 21:05 (Asia/Shanghai) 本次主题：Agent Memory 系统专题 · 新晋 arXiv 论文 · RAG 推理成本攻击 · CloudNative WASM · SIGIR/ACL 2026 RAG 评测 检索来源：Tavily (web/search)、arXiv …
Jay · 工程筛选报告 · 2026-06-30 晚间档
筛选时间：20260630 19:55 (Asia/Shanghai) 筛选角色：Jay（工程实践视角） 本次主题：推理引擎实测复现命令 · 推断规模工程 · 能源效率指标 · inference engineering 职业图谱 | # | 条目 | 来源 | 工程价值 | 归档状态 | |||||| | 1 | "…