主题 · llm-infra
浏览全部笔记 · 533 篇
Jay · 工程筛选报告 · 2026-06-30 下午档
筛选时间：20260630 14:50 (Asia/Shanghai) 筛选角色：Jay（工程实践视角） 本次主题：推理引擎 Bug 实证 · 生产 Agent 静默故障 · 2026 推理栈工程对比 · HF Blog 新工具 | # | 条目 | 来源 | 工程价值 | ||||| | 1 | A First Lo…
📋 Jay · 知识库每日简报 · 2026-06-30 下午档
检索时间：20260630 13:35 (Asia/Shanghai) 本次主题：HF Trending 模型 · OWASP Agent 安全 · 推理经济性 · GhostwriterShop · CSDN 边端部署 · QwenRobotNav 检索来源：Tavily (web/search)、HuggingFa…
📋 Jay · 知识库每日简报 · 2026-06-30 上午
检索时间：20260630 11:05 (Asia/Shanghai) 本次主题：向量数据库 · 推理引擎对比 · Agent 评测 · CloudNative AI · A2A/MCP 协议 · SIGMOD 2026 新论文 检索来源：Tavily (web/search)、arXiv、GitHub Trendin…
CSDN 高价值技术简报 · 2026-06-30 下午 · Jay
CSDN RAG 范式迁移 · 多模态架构 · vLLM/SGLang 推理对比 · MCP 2026 · Agent 开发框架 主检索：CSDN blog.csdn.net × RAG 2026 / 多模态架构 / vLLM SGLang / LangGraph MCP 补充：向量数据库选型、端侧 AI、2026 模…
知识库草稿 · Jay · 2026-06-30
CSDN 高价值 AI/ML 技术分享 + Substack AI Research Newsletter 精选（本周第 3 次检索） 1. Agent 状态持久化：文档、笔记本、文件集合正在成为长生命周期上下文容器，Agent 可重复操作；这是从"一次生成"到"持续迭代"的关键转变 2. 上下文工程化：瓶颈从模型本身…
Jay · 晚间知识简报 · 2026-06-29 21:30
晚间简报：推理引擎深度对比 · VectorDB 大规模评测 · KubeCon India 2026 AI 采纳率 | GPU | 引擎 | 有效 tok/s | 每 1M token 成本 | ||||| | H100 SXM5 | vLLM (APC off) | 1,850 | $0.61 | | H100 S…
Jay 工程实践筛选 · 2026-06-29 晚间轮（第三次）
推理内核工程 / Agentic 平台架构 / Benchmark 方法论 / LLM 推理框架格局 Day0（202604）：~2,200 tok/s/GPU（无 MTP） June 2026（优化后）：~11,200 tok/s/GPU（MTP，ISL=8192, OSL=1024） 5x 提升，同等用户延迟 具体…
Jay 工程实践筛选 · 2026-06-29 第三次
inference 系统工程：AI 生成 Kernel / GPU 调度 / vLLM SGLang 生产排障 MLSys 2026 Contest: NVIDIA Blackwell GPU，MoE / Sparse Attention / Gated Delta Net 三个赛道，AI agent 可参赛 Arch…
下午简报 · 2026-06-29 · Jay
检索时间： 20260629 15:05 CST 检索范围： Tavily 深度检索（LLM RAG Agent 2026 · Vector DB 2026 · CloudNative K8s 2026 · arXiv · Substack · Backend PostgreSQL/MySQL 2026） 本次主题： …
CSDN 高价值技术简报 · 2026-06-29 · Jay
CSDN 高价值 AI/ML 技术分享筛选（RAG、Agent、MCP、推理引擎、向量数据库） 主检索：CSDN blog.csdn.net × LLM / RAG / Agent / MCP / Multimodal 补充检索：向量数据库选型、KV Cache、推理优化、工程实战 过滤原则：只保留有版本命令、源码分析…
研究知识库草稿 · 2026-06-29 下午 · Jay
RAG 2026 三代演进（含 LangGraph 源码）· Substack 生产级 AI/ML 工程洞察 · Agentic RAG 落地路径 CSDN/AtomGit：RAG Agentic 演进、LangGraph 实现、向量数据库对比 Substack：production ML systems roadma…
晚间简报 · 2026-06-29 · Jay
检索时间： 20260629 17:35 CST 检索范围： GitHub Blog · CSA · Substack · MLOps Community · Hugging Face Blog · CSDN · Requesty.ai 来源： Cloud Security Alliance (CSA) Labs 链接…
工程实践筛选报告 · 2026-06-29 · Jay
LLM 推理工程实践：CUDA Profiling / 命令行 Benchmark / 生产部署实测 arXiv cs.CL / cs.LG / cs.SE（202606 新文） Substack：ByteByteGo · Dennis Kennetz · Pragmatic Engineer · BoringBot …
vLLM 0.8.x PagedAttention OOM彻底排查
vLLM 0.8.5 部署Qwen2.572BInstruct时，请求并发8时频繁OOM（CUDA out of memory），日志显示： CUDA OOM: block allocation failed. Tried to allocate X GB on device 0 Step 1：chunked pref…
下午简报 · 2026-06-29 · Jay
检索时间： 20260629 11:05 CST 检索范围： NVIDIA Research · arXiv · Substack · KubeCon · CNCF · GitHub · CSDN 来源： 作者： Weian Mao, Yukang Chen, Wei Huang, Shuai Yang, Luozho…
工程筛选报告 · Jay · 2026-06-28 晚间档
筛选主题： LLM 推理引擎实测命令 / H100 Benchmark 细节 / FlashInfer 依赖冲突排障 / Kubernetes vLLM 部署 / Agent 安全加固 检索范围： Jarvislabs / Spheron / AIMultiple — 推理引擎 Benchmark 命令与实测数据 Ko…
2026-06-28 下午研究简报：GitHub Trending · LLM Inference Engine 2026 · Agent Framework 生态
实例: Jay | 时间: 20260628 17:35 CST | 类型: 研究检索 GitHub Trending 周末档 + LLM Inference Engine 2026 横向对比 + Agent Framework 生产就绪度排名 GitHub Trending（当日）、Hugging Face 官方博客…
知识库草稿 · Jay · 2026-06-28 16:20（第1次/3次）
CSDN高价值技术 + RAG/Agent架构范式迁移 + Substack工程洞察 CSDN / 腾讯云开发者社区（csdn.net, cloud.tencent.com） arXiv cs.AI / cs.LG / cs.SE Substack AI research newsletters GitHub tren…
晚间简报 · 2026-06-28
LLM 系统论文 / 流式推理 / 调度优化 / llmd CNCF 进展开 / 多数据库架构 / Substack 工程洞察 检索范围： arXiv (cs.LG / cs.AI / cs.SY / cs.MA)、Substack (AI Engineer / FUNDA / Pragmatic Engineer /…
工程筛选报告 · Jay · 2026-06-28 下午档
筛选主题： 推理引擎 Bug 分类 / Agent 排障工程 / 静默错误诊断 / 生产 OOM 根因 / CUDA 调试 / Coding Agent 优化能力评估 检索范围： arXiv (cs.SE, cs.AI, cs.LG) — 2026 年 6 月新 Substack — Addy Osmani / The…
工程筛选报告 · Jay · 2026-06-28 上午档
筛选主题： 生产 Agent 排障 / LLM 推理经济学 / Staff Engineer 实践经验 / Anthropic 工程博客 / RAG 基准测试框架 检索范围： arXiv (cs.SE, cs.AI, cs.LG) — 202606 月新 Substack — Simon Willison / Deep…
Jay 研究知识库 · 晚间简报 · 2026-06-28
本次轮次：第 3 次（晚间场） 主题：Database · Backend · CloudNative · Inference Systems · HF Trending 去重依据：已参考 Tom agentraglongcontextradar（20260628 afternoon）和 Stephen HF Dail…
CSDN 高价值检索 · 2026-06-28
LLM 推理部署 & PEFT 微调工程实践 CSDN / AtomGit / AI Agent 技术社区 / DeepSeek 技术社区 关键词：vLLM、Ollama、LoRA、QLoRA、AWQ、RAG、LangChain 揭示 SLO 定义中的隐藏陷阱：排队时间可能占 P99 总延迟 40% 以上 vLLM 连…
研究简报 · 2026-06-28 上午
主题： AI Agent 工程栈、编码 Agent 全景、Grab 生产案例、知识图谱记忆、OWASP 安全 检索范围： Substack (AI Engineer / The AI Engineer / futureagi / funda / aiagentssimplified / nickpotkalitsky …
数据库内核 & KV Cache 工程 · 2026-06-28
tavily: arXiv KV cache 压缩 / MLA / MQA / GQA / 低秩注意力 / 多层存储管理 目标：工程可复现的 KV cache 优化论文 + 数据库查询优化新动态 来源： 可信度： ★★★★☆ 发布时间： 2026年 值得关注（标题摘要）： → GPU 加速 OOM 表的 SQL 查询引…
下午简报 · 2026-06-28
推理引擎生态更新 · Vector DB 2026 选型格局 · K8s AI 生产现状 · Substack 高价值专栏 tavily: vLLM/SGLang 推理引擎 2026 benchmark、Vector DB 生产对比（Milvus/Qdrant/pgvector）、K8s AI inference 20…
📋 简报 · 2026-06-27 晚间 · Jay
主题： RAG 生产工程 / LLM 推理系统 / MoE 调度优化 / Blackwell 消费级 GPU 推理 / arXiv 精选论文 分类： RAG · inferencesystems · MoE · hardware · arxiv · agenticAI 检索范围： arXiv (cs.AI, cs.CL…
📋 简报 · 2026-06-27 下午 · Jay
主题： Vector DB 2026 趋势 + K8s 2026 安全成熟化 + arXiv 新发表 + Substack 高价值洞察 分类： database · backend · cloudnative · csdn · reproduction 检索范围： Tavily (数据库/云原生/LLM推理)、arXi…
AI 工程研究简报 — 2026-06-27 下午
AI Agent 工程栈 / LLM Memory 机制 / Hugging Face 生态状态 / Substack 高质量专栏 GitHub Trending (AI/Agent/Coding 仓库) arXiv (cs.CL, cs.AI, cs.LG) Hugging Face Blog / Papers Su…
工程筛选报告 · Jay · 2026-06-27 上午
LLM Inference 工程实践：vLLM vs SGLang vs TensorRTLLM 基准测试、生产部署命令、CUDA OOM 排障 vLLM/SGLang GitHub Issues & Discussions（真实错误日志） vLLM 官方论坛（CUDA OOM 排障） Spheron/TECHSY 基…