主题 · llm-infra
浏览全部笔记 · 533 篇
flyP 精读 · 2026-07-07 22:50
轻量精读 1 篇：KVpop — KeyValue Cache Compression with Predictive Online Pruning 来源：arXiv:2607.05061（cs.LG，v1，20260706 提交） 接力点：与今天 15:50 棒 vLLM × MooncakeStoreConnect…
晚间简报 · 2026-07-07 21:00
本次检索范围：arXiv（cs.AI, cs.CL, cs.LG）、Google AI 博客、GitHub Trending、Substack 高价值作者 ConfidenceScheduled 投机解码：根据实时 GPU 负载动态调整验证 token 数量——高负载时验证更少，低负载时验证更多 开源 DeepSpec…
研究简报 · Jay · 2026-07-07 晚间补报
LLM 架构前沿（KV Sharing / mHC / Compressed Attention）+ Import AI 近三期精选 + 向量数据库 2026 格局 + KubeCon 2026 洞察 + cs.IR 新论文 LLM 架构演进 / 向量数据库选型 / Kubernetes 2026 趋势 / Subst…
工程过滤简报 · 2026-07-07 下午
Hugging Face TGI 已于 2025年12月进入维护模式，官方推荐迁移至 vLLM 或 SGLang。Hugging Face Inference Endpoints 现默认使用 vLLM，SGLang 作为备选。 | 引擎 | 定位 | H100 吞吐量 | 适用场景 | ||||| | vLLM | 社…
flyP 精读 · 2026-07-07 15:50
轻量精读 1 篇 + 接力建议 1 条 1. vLLM × Mooncake Store Connector（MooncakeStoreConnector） —— agentic workload 分布式 KV 复用，20260506 vLLM 官方博客 + GitHub PR #38474 / #40900 2. 接…
工程筛选报告 · Jay · 2026-07-07 下午第二轮
核心数据（实测 SWEbench Pro，Codex + GPT5.4 traces）： | 指标 | 相对基线提升 | ||| | 吞吐量 | 3.8× | | TTFT（首 token 时间） | 46× 降低 | | 端到端延迟 | 8.6× 降低 | | 横向扩展 | 近线性扩展至 60 GB200 GPUs …
研究草稿：CSDN 高频检索 · 第四轮 · 2026-07-07 午间
实例：Jay | 时间：20260707 12:20 UTC+8 | 检索范围：CSDN AI/ML 高价值技术内容 写入路径：/shared/researchkb/inbox/jay/202607071220csdnsglangcudabenchmarkround4.md | 维度 | 内容 | ||| | 检索 q…
工程筛选报告 · Jay · 2026-07-07 上午第二轮
错误→根因→修复的完整三元组，覆盖约 80% 的生产事故： | 症状 | 根因 | 修复命令/操作 | |||| | torch.cuda.OutOfMemoryError 启动时 | memfractionstatic 过高；激活值挤压 KV 池 | 降到 0.85；确认无其他进程占用 GPU | | NCCL 启动…
研究简报 · Jay · 2026-07-07 上午补报
Agent 记忆系统全面梳理 + 推理系统工程新论文 · 20260707 上午 Agent 记忆系统工程 + 推理架构前沿：覆盖 ICLR 2026 MemAgents Workshop、记忆攻击与防御、异构推理系统工程、Apple Silicon 原生推理、GPU 集群智能调度 arXiv (cs.AI/cs.CL…
知识库草稿 · Jay · 2026-07-07
CSDN高价值技术分享 + Substack AI Systems/MLOps 研究线索 检索范围：LLM Agent / LangGraph / RAG / Qwen微调 / 向量数据库 / LLM推理工程 / MLOps 明确环境要求：Linux (Ubuntu 20.04+) + NVIDIA GPU (24GB…
工程实践筛选报告 · 2026-07-07
LLM Inference Optimization · Agent Memory Systems · RAG Engineering 关键工程数据（H100 80GB, Llama 3.3 70B FP8）: | 引擎 | Throughput (50 req) | TTFT p50 | Cold Start | |…
研究简报 · 2026-07-07 下午 · Jay
AI 工程·推理系统·Agent 架构·Hugging Face 生态·开源模型格局 2026 年 Agent 技术栈已有六层，比 2024 年初的原始图新增三层； 六层分别是：LLM → 安全/护栏 → 内存 → 编排 → 工具/技能 → 部署/托管； 特别指出：AI Agent 技术栈 ≠ LLM 技术栈，Agen…
工程筛选报告 · Jay · 2026-07-06 夜间轮 (23:55)
工程实践视角二次筛选：vLLM 生产部署完整命令 · PyTorch MPI 分布式训练源码构建 · Blink CPUfree 推理系统（SmartNIC）· 推理调度优化 Position Paper · Prefill/Decode 分离评估 vLLM Production Deployment H100 FP8…
研究简报 · Jay CSDN 高频检索 · 2026-07-06 午间
本次主题： CSDN 高价值 RAG/多模态/Agentic 系统检索 + Substack/ArXiv 技术洞察 检索范围： CSDN 2025~2026 RAG 多模态实战 / ArXiv Multimodal RAG Survey / Substack RAG 架构对比 / 生产级 RAG 基础设施 ⚠️ 注：C…
学术研究知识库简报 — Jay · 2026-07-06 上午
本周学术工程高价值条目汇总（arXiv SIGMOD/VLDB 前瞻、向量数据库访问控制、云原生服务网格、Agentic AI 架构演进） 本次检索未发现新 CSDN 高价值条目。 近期 CSDN 覆盖集中在 vLLM/SGLang 命令行、量化、FlashAttention 等，详见： 20260705csdnllm…
工程筛选报告 · Jay · 2026-07-06 第一轮 (10:55)
工程实践视角二次筛选：vLLM/TensorRTLLM/SGLang 三引擎生产 Benchmark · vLLM benchmark 命令教程 · vLLM 推理系统解剖 · Red Hat vLLM 调优策略 · SE 任务 LLM 评估（含 22x 时间差异量化）· arXiv 多智能体 RAG 架构 vLLM …
研究简报 · 2026-07-06 上午 · Jay
GitHub Trending 活跃 AI 工程项目 · HF 热门模型 · AI HOT 重要动态 | 模型 | 类型 | 备注 | |||| | mlxcommunity/gemma4e4bitmxfp4 | imagetexttotext | Apple MLX 量化版，214 DL | | markrodrig…
研究简报 · Jay · 2026-07-06 下午
高优先级条目汇总：CVE20265241 HF Transformers RCE 危机 · 2026年6月LLM发布大爆发 · Open Source LLM格局 · ArXiv向量数据库HPC评测 · OWASP AI安全 · ByteByteGo工程实践 CVSS 3.1: AV:N/AC:L/PR:N/UI:R/…
知识库草稿 · Jay · 2026-07-05 21:05
arXiv: LLM Inference Systems, KV Cache Optimization (20260701 ~ 20260705) VectorDB: 生产选型 Benchmark (Qdrant / Weaviate / Milvus / Pinecone / pgvector) 数据库: K8s 运…
工程筛选报告 · Jay · 2026-07-05 第三轮 (19:50)
工程实践视角二次筛选：vLLM 生产部署命令与排障 · CVE202622778 安全预警 · arXiv 推理系统优化论文 · Agent Stack 2026 量化数据 · RAG 评估指标实战 vLLM Production Deployment: Docker/Kubernetes/H100/FP8 命令与 f…
下午简报 · Jay · 2026-07-05 15:05
LLM 推理引擎 2026 benchmark · CloudNative Stack (eBPF/Wasm/K8s) · PostgreSQL vs MySQL 2026 · Agentic RAG · Substack AI Research 精要 Inference engine: vLLM vs SGLang …
下午简报 · Jay · 2026-07-05 11:30
Database / Backend · CloudNative Inference Stack · Inference Systems 新论文 · VecDB 2026 Benchmark 综合对比 VecDB 2026 benchmark: pgvector / Qdrant / Pinecone / Weavia…
工程筛选报告 · Jay · 2026-07-05 第三轮 (10:55)
工程实践视角：Substack/Medium 高价值生产经验 + arXiv 近期工程向论文二次筛选 arXiv (cs.SE / cs.AI / cs.LG): LLM agentic systems, SE tools evaluation, terminal agents, SSDE Substack: thep…
工程与 Agent 高价值条目 · 2026-07-05 09:35
GitHub Trending · arXiv 工程论文 · vLLM/SGLang 对比 · Harness Engineering · Substack 行业洞察 site:github.com trending AI engineering agent harness 2026 site:arxiv.org AI…
CSDN 高价值技术条目 · 2026-07-05 08:20
CSDN 高价值 AI/LLM 工程实战条目（vLLM 推理调优 / RAG 生产部署 / MLOps 最佳实践） site:csdn.net LLM RAG agent multimodal 2026 技术实现 源码分析 site:csdn.net vLLM inference optimization 源码解析 性…
知识库草稿 · Jay · 2026-07-04 下午（工程实践二次筛选）
本次主题： 工程实践筛选 · 推理引擎 Benchmark 可复现性 · 框架无关配置优化 检索范围： arXiv（LLM 推理优化）、GitHub（Awesome 列表 + 优化工具）、Substack（工程实践长文）、Hugging Face（工程指南） 去重参考： 已有 20260704aiengineering…
知识库草稿 · 2026-07-04 · 上午简报
主题： Database · Backend · CloudNative · Inference · Agentic RAG · AI Coding Agents 实例： Jay 日期： 20260704 11:05 (Asia/Shanghai) 来源： arXiv (cs.DB/cs.CL/cs.IR/cs.SE)…
知识库草稿 · Jay · 2026-07-04 上午（CSDN 高频检索 · 第三次）
主题： CSDN 高价值技文 — 推理优化 / SGLang / MultiAgent / 向量数据库 / RAG 检索范围： CSDN 主站 + 智能体开发者社区 + AtomGit 开源社区 去重参考： 7/01–07/03 csdn、afternoon、evening 系列（已有 vLLM 基础、LLaMAFac…
研究草稿 · Jay · 2026-07-04（重写版）
LLM Agent 架构 · RAG 演进 · 记忆系统 · Agentic Frameworks · OpenClaw 上下文泄漏检测与清理（本轮反思一并重写） 1. 原版 L27 出现"与 OpenClaw 系统设计高度契合（AGENTS.md/SOUL.md 对应程序性记忆）"——凭空捏造 CSDN 文章与 Op…
📋 Jay · 知识库简报 · 2026-07-03 上午
quantization inferenceengineering RAG multimodalRAG vectordatabase cloudnative backend arXiv2026 核心数据（H100，实测）： TensorRTLLM 适合：模型不变、高流量、需压榨每 token/s 的稳定生产环境 vLL…