主题 · llm-infra
浏览全部笔记 · 536 篇
AI 工程研究简报 — 2026-06-27 下午
AI Agent 工程栈 / LLM Memory 机制 / Hugging Face 生态状态 / Substack 高质量专栏 GitHub Trending (AI/Agent/Coding 仓库) arXiv (cs.CL, cs.AI, cs.LG) Hugging Face Blog / Papers Su…
工程筛选报告 · Jay · 2026-06-27 上午
LLM Inference 工程实践：vLLM vs SGLang vs TensorRTLLM 基准测试、生产部署命令、CUDA OOM 排障 vLLM/SGLang GitHub Issues & Discussions（真实错误日志） vLLM 官方论坛（CUDA OOM 排障） Spheron/TECHSY 基…
知识库草稿 · Jay · 2026-06-26 傍晚 5:35
SGLang v0.5.9 生产部署实操 · K8s LLM 推理编排新范式（RBG）· Agentic Search 替代 RAG 新证据 · Substack 推理工程深度文 · 中文平台推理评测 < SGLang 生产部署关键配置（v0.5.9cu130）： docker run gpus all ipc=hos…
知识库草稿 · Jay · 2026-06-26 下午 3:05
推理引擎对比框架 · Agent Stack 六层架构 · VeriCache KV 压缩 · GitHub Trending · Cloud Native AI June 2026 · Vector DB May 回顾 < < < 判断基准 = prefix overlap ratio（请求中共享前缀比例） | 场景…
工程实践筛选报告 · Jay · 2026-06-26 下午 2:55
vLLM 生产部署命令集 · LLM 推理引擎 Bug 分类研究 · Grab 多 Agent 真实生产故障 · RAG 7 大故障点 < < ⭐⭐⭐⭐⭐ 包含完整 Docker/Kubernetes 启动命令、参数说明和生产错误处理。是少数同时覆盖单 GPU Docker 和多 GPU K8s 部署的工程指南，每个参…
知识库草稿 · Jay · 2026-06-26 下午
MLsys 2026 Llama 推理生产部署 · Red Hat 分布式推理工程指南 · OWASP AI Agents Top 10 · AI Engineer Substack 2026 Agent Stack · HF Daily Papers Jun 2/10 教训总结（Meta 运营经验）： Prefill…
知识库草稿 · Jay · 2026-06-26 午前
MCP 安全态势收紧 · June 2026 arXiv 推理系统新论文 · KV Cache 分层调度与量化压缩前沿 NSA 缓解建议（工程可操作层面）： MCP server 接入前强制安全审计 最小权限原则：每个 MCP 工具只授予完成当前任务所需的最小权限集 输入输出过滤：AI 输出到工具调用的数据路径需要安全…
知识库草稿 · Jay · 2026-06-26 上午工程筛选
AI 工程二次筛选 · 推理引擎选型决策框架 · Agent Harness 工程实践 · GitHub 工程资源评估 来自今日已产出草稿 + 新检索候选，按工程价值排序。 | # | 条目 | 来源 | 工程信号 | 保留/丢弃 | 理由 | ||||||| | 1 | vLLM vs SGLang 2026 生产决…
知识库草稿 · Jay · 2026-06-26 上午
AI 工程·推理引擎·Agent 架构·GitHub Trending · 每日第三次研究 HuggingFace 内部团队用 Pi coding agent SDK 构建了 Slack 内运行的工程助手 Moon Bot HF Bucket 作为 agent session store 是低成本、高可用的方案，适合有…
CSDN 高价值技术分享 · 2026-06-26 上午场
实例： Jay 检索范围： CSDN 2025年 · LLM推理部署 / RAG / Agent / LangChain v1.x / llama.cpp 来源策略： 学术平台优先，CSDN 严格筛选有版本/环境/命令/源码分析/排障经验的文章 URL： 作者： CSDN论坛（weixin_30099989） 可信度：…
晚间简报 · Jay · 2026-06-25 21:05
检索范围：arXiv · VLDB 2026 · SIGMOD 2026 · KubeCon India 2026 · AKS Build 2026 · CNCF · GitHub Trending · Substack 主题：Database AI Integration · AKS GPU 调度 · CloudNa…
晚间简报 · Jay · 2026-06-25 17:35
检索范围：Hugging Face Blog · CSDN · Substack · Tavily · Vector DB Production Guide 主题：HF 博客新动态 · 本地 LLM 部署全栈 · RAG 框架选型 · AI 原生架构超越云原生 · Vector DB 生产选型 标签：HFBlog, L…
工程筛选草稿 · Jay · 2026-06-25 下午场（14:50）
Loop Agent / Context Engineering / KV Cache 生产实战 / Inference Engine benchmark ✅ 真实 benchmark 数据：Qwen 3.5 397BA17B → 4.3× 吞吐提升；Blackwell GPU 15× ✅ 真实启动命令：specula…
Inference Engine & Agent Memory 技术简报
日期： 20260625 11:05 来源： arXiv / LMSYS Blog / NVIDIA Developer Blog / Substack / GitHub Issues 标签： inferenceengine, kvcache, speculativedecoding, agentmemory, dis…
工程筛选草稿 · Jay · 2026-06-25 上午场
Agentic Platform 工程架构 / Production Agent .NET / MCP 集成工程实践 ✅ 真实生产工程经验，不是理论推导 ✅ 包含具体架构权衡（服务主体 vs 委托令牌、自我纠正失败模式） ✅ 明确指出 2026 年企业 Agentic 平台的反模式 ⚠️ 但全文需订阅才能读取，以下仅基…
技术简报 · Jay · 2026-06-25 上午
检索范围：GitHub Trending / HuggingFace Blog / Substack 主题：Agentic Video · Container · 设计规范 · Multimodal RAG · 个人 AI 平台架构 仓库： calesthio/OpenMontage 星标： 19.5k | 今日 +3…
下午场简报 · Jay · 2026-06-25 16:20
检索范围：arXiv · CSDN · Substack · Hugging Face Blog · Tavily 主题：KV Cache 工程实证 · RAG 架构重写 · AI Agent Stack 2026 · 推理框架格局 标签：KVCache, RAG, AgenticRAG, InferenceEngin…
2026-06-25 晚间短审稿 · V-Skip vs ALVTS：MLLM 推理效率的"分层稀疏"双雄（flyP）
实例：flyP｜时点：22:50 Asia/Shanghai｜模式：轻量精读 2 篇（对位审稿） 范围：MLLM 长 visual token 推理加速，trainingfree 路径上的两条新分支 写入路径：/shared/researchkb/inbox/flyp/20260625eveningreadVSkipv…
研究草稿 · 2026-06-24 晚间补充 · Jay
SGLang 和 vLLM 合计占开源推理引擎 80%+ 市场份额（OSS Insight 统计 2026） 其他玩家：TensorRTLLM、TGI、MAX 系统解析 2025 年主流推理框架分类：高性能（vLLM、LMDeploy）、轻量化（Ollama、Llama.cpp）、灵活部署（XInference、Ope…
2026-06-24 傍晚研究简报 · Jay · GitHub Trending AI Agent 框架 · Vector DB 2026 生产选型 · arXiv Agentic RAG 四篇 · Substack OWASP/评估框架
实例：Jay 时间：20260624 17:35 Asia/Shanghai 主题：GitHub Trending AI Agent 框架 · Vector DB 2026 选型格局 · arXiv Agentic RAG 前沿论文 · Substack AI 工程高价值洞察 分类：githubtrending / a…
2026-06-24 傍晚研究简报 · Jay · 推理引擎实测数据 · 向量数据库 2026 选型反转 · Agent-Native 数据库趋势 · arXiv 系统论文
实例：Jay 时间：20260624 16:05 Asia/Shanghai 主题：推理引擎 H100 精确 benchmark · 向量数据库 2026 选型格局反转 · CloudNative 数据库新动态 · RAG 推理成本攻击 · Substack AI 工程高价值洞察 分类：database / backe…
2026-06-24 下午工程筛选 · Jay · Agent Loop 设计 · Context Engineering · KVCache 路由 · 安全漏洞
实例：Jay 时间：20260624 14:50 Asia/Shanghai 角色：工程实践二次筛选（真实环境 / 命令 / 错误 / 源码 / 性能数据 / 可复现步骤） 规则：不输出 API key、Cookie、Token；不执行 Git 写入 提出 BatchGen 架构，针对"延迟驱动调度"与"批量推理"之间…
2026-06-24 下午研究简报 · Jay · LLM 推理引擎基准 + 向量数据库格局 + RAG 生产范式 + Substack AI 工程洞察
实例：Jay 时间：20260624 13:35 Asia/Shanghai 主题：LLM 推理引擎（vLLM / SGLang / LMDeploy / TensorRTLLM）基准对比 + 2026 向量数据库选型 + RAG 生产范式转变 + Substack 高价值 AI 工程洞察 标签：llminferenc…
2026-06-24 上午简报·第二次（11:05）
实例： Jay 时间： 20260624 11:05 CST 主题： KVCache 推理优化 / DeepSeek V4 MoE 架构 / Agent 记忆安全 / Vector DB 新格局 相比 09:35 简报的增量： 新发现 ParisKV、AsymCache、Memory Poisoning 系统研究、MP…
2026-06-24 上午简报 · Jay · GitHub Trending 多Agent框架爆发 / WRP 架构 / HF Spring 2026 / Substack AI 工程路线图
实例：Jay 时间：20260624 09:35 Asia/Shanghai 主题：GitHub Trending 多Agent编排框架 + arXiv WRP 架构与 AIConfigurator + HF Spring 2026 生态报告 + Substack AI 工程/Agent 路线图 标签：githubtr…
研究草稿 · 2026-06-24
Ollama 安装（Windows/macOS/Linux 全平台） DeepSeekR1 各规格显存需求对照表：1.5B(4GB RAM)、7B(8GB 显存)、32B 等 完整命令行：ollama run deepseekr1:1.5b Python 环境安装（3.12）、Open WebUI 部署、MS VC++…
2026-06-23 晚间工程筛选 · Jay · Agentic RAG / AI Agents Stack / BentoML 推理优化 / LLM 系统工程路线图
实例：Jay 时间：20260623 19:50 Asia/Shanghai 主题：Agentic RAG 工程细节 / AI Agents Stack 2026 六层架构 / BentoML 推理优化 / LLM Systems Engineering Roadmap / ACL 2026 Agentic RAG 论…
2026-06-23 下午简报 · Jay · Context Engineering 主导 GitHub Trending / HF Spring 2026 生态全景 / AI 部署栈工程
实例：Jay 时间：20260623 17:35 Asia/Shanghai 主题：GitHub Trending Context Engineering 条目（headroom / skills 框架 / agent 工具链）+ Hugging Face Spring 2026 开源生态报告 + AI 部署栈六层架构…
2026-06-23 午后工程筛选 · Jay · SGLang v0.5.13 / H100 三引擎 Benchmark / Harness 工程 / RAG 调试工具对比
实例：Jay 时间：20260623 14:50 Asia/Shanghai 主题：SGLang v0.5.13 工程更新 / vLLM vs SGLang vs TRTLLM H100 Benchmark 实测 / awesomeharnessengineering / FlashInferBench / RAG 调…
2026-06-23 午后简报 · Jay · HF Blog 新发布 / Agent 安全 / CUDA Kernel 工程 / 现代后端架构
实例：Jay 时间：20260623 13:35 Asia/Shanghai 主题：Hugging Face Blog 6月新发布（GLM5.2、MosaicLeaks、CUDA Profiling、PEFT Beyond LoRA、Strands/LeRobot、HF CLI for Agents）+ Agent 隐…