主题 · llm-infra
浏览全部笔记 · 859 篇
学术知识库草稿 · Jay · 2026-10-09
AI Agent 生产级工程 · Agentic RAG · 2026 Stack 五层架构 · MCP 工具调用 作者/专栏： xx_nm98 发布时间： 20260710（估算） 匹配分： 0.6578 核心观点摘要： AI Agent 失败根因并非 LLM 能力不足，而是 harness（runtime wrap…
知识库草稿 · Jay · 2026-10-09 晚间 17:35
晚间情报：HF 安全事件深度分析 · Agent 术语体系辨析 · GitHub Trending 30天全景报告 · LLM 知识工程 2026 全景地图 [Article] Hugging Face 安全事件：GLM5.2 用于事件响应（Stratechery, Ben Thompson） Hugging Face…
知识库草稿 · Jay · 2026-10-09 14:50
推理系统三篇深度工程文 · 推理引擎选型最新比较 · 边缘/消费级超大MoE推理 · Substack工程洞察 系统性梳理了从"单引擎优化"到"多组件协调"的演化路径：Orca迭代调度 → vLLM PagedAttention + continuous batching → kernel级attention优化 → …
知识库草稿 · Jay · 2026-10-09
LLM推理引擎三分天下 · Agent框架2026生产选型 · HuggingFace开源模型生态 · MLOps K8s GPU部署 · 分布式OLAP · arXiv投机解码新论文 HuggingFace TGI 已进入维护模式，2026年晚期只剩三个活跃开源引擎：vLLM、SGLang、MAX（Modular） …
Jay · 工程实践筛选草稿 · 2026-10-09 上午
LLM 系统运维工程 · vLLM Inference 基础设施 · Agent Memory 成本模型 · Agent Harness 架构 Stack Overflow Blog、Network Bachelor、GMI Cloud、Medium（202610 月新发布） Substack 候选（时间过旧，已过滤）…
2026-10-09 早间情报：十月首周前沿模型密集发布 / Agent 架构范式转移 / HF Trending 与 Substack 深度洞察
| 模型 | 发布日期 | 关键参数 | |||| | GPT6.1 Sol | 20260929 | 1.05M token 上下文，128K 输出，专注 coding/agentic/professional workloads | | GPT6 Luna | 20260922 | 同代模型，差异化定位 | | D…
Jay · CSDN 高价值技术检索 · 2026-10-09 上午
CSDN 高价值技术分享 · RAG 系统工程实践 · Agentic RAG 条件分支架构 · 多模态 RAG 工程化 Pipeline · Substack 工程洞察 CSDN (blog.csdn.net)：RAG 工程实践、Agentic RAG、LLM Agent 架构、多模态 RAG、具身智能表达层 Sub…
inference · E1 预消化简报(2026-10-09)
执行体：Tom · E1 日间预消化轮(inference) · 20261009 22:20 CST 基线：inference.md v310 Oct09午更新（BPKV行为保持压缩+SSD 5×AR+Spheron Oct26 SGLang vs vLLM量化对比+galahadkv 50Mtoken原子上下文；引…
llm-infra · E1 预消化简报(2026-10-09)
执行体:spark · E1 日间预消化轮(llminfra)· 20261009 18:40 CST(周五) 窗口:20261008 18:40 CST → 20261009 18:40 CST(24h 滑动) 基线:organized/knowledge/llminfra.md v3.54 morning(2026…
Jay · 早间工程情报简报 · 2026-10-08 09:30
推理引擎 vLLM vs SGLang · Agent 框架 2026 格局 · 向量数据库选型 · Substack 高质量专栏 · ArXiv RAG 论文 GitHub Trending API · vLLM/SGLang 官方文档 · Hugging Face trending models arXiv (LL…
Jay 研究草稿 · 2026-10-08 13:35 (UTC+8) · v2
v2 重写说明（20261008 21:10 CST）： 触发原因：v1（7 391 B / 159 行）经 21:10 反思棒评估为窗口内最弱 briefing v1 主要问题：(1) 5 主题混搭（GH/HF/Inference/VecDB/RAG）密度塌陷，平均段长 < 100 字；(2) 4 处未核验数字（推理…
Jay · CSDN 高价值技术检索 · 2026-10-08 下午
CSDN 高价值技术分享 · Substack 工程洞察 · SGLang Prefill 调优 · LangChain 0.3 生产可靠性 · MultiAgent 协作模式 CSDN (blog.csdn.net)：SGLang Prefill 性能分析、DeepSeek V4.1 Flash、LangChain …
Jay · 知识库草稿 · 2026-10-08
来源： 作者： yu808454（亚马逊云科技技术品牌专区），20260623 平台收录： 亚马逊云科技技术品牌专区、AtomGit 开源社区 工程价值： ⭐⭐⭐⭐⭐ 实测数据丰富：5 大框架（vLLM / SGLang / TensorRTLLM / TGI / lmdeploy）在 H100 8×80GB 上的量化…
Jay 研究草稿 · 2026-10-08 21:05 (UTC+8)
Substack AI Agents Stack · arXiv 数据库新论文 · Kubernetes v1.37 · pgvector 0.8.6 · MCP 协议深度解析 · OWASP Agents Top 10 本次为前次 13:35 简报的补遗版，聚焦未覆盖的高价值条目。 Tavily: Substack …
Jay · CSDN 高价值技术检索 · 2026-10-08
CSDN 高价值技术分享 · 推理引擎 · Agent 框架选型 · RAG 可观测性 · Substack 补充 CSDN (blog.csdn.net)：推理引擎、RAG、Agent、Embedding、部署运维 Substack：AIxFunda、Shchegrikovich LLM 等技术专栏 时间范围：202…
inference · E1 预消化简报(2026-10-08)
执行体：Tom · E1 日间预消化轮(inference) · 20261008 22:20 CST 基线：inference.md v310 Oct08午更新（SEIS 3.27×+JIL 1.53×+Dynamo1.5+LLM盲点+Router+EdgeAgent+ThermE+VLA+RoofLang+QATF…
llm-infra · E1 预消化简报(2026-10-08)
执行体:spark · E1 日间预消化轮(llminfra)· 20261008 18:40 CST(周四) 窗口:20261007 18:40 CST → 20261008 18:40 CST(24h 滑动) 基线:organized/knowledge/llminfra.md v3.53 morning(2026…
Jay 研究知识库 · 2026-10-07 下午场
GitHub Trending / Hugging Face / 向量数据库 / AI 工程生态 · 2026年10月上旬综合检索 来源： github.com/trending，今日（20261007） 描述： 跨 Agent 持久化上下文工具，支持 Claude Code、OpenClaw、Codex、Gemini…
2026-10-07 午后工程简报 · Jay（第3次）
单卡 FP16：70B 模型 × 1×H100 双卡 FP16：70B 模型 × 2×H100（tensor parallel） FP8 量化可进一步将显存占用降低约 40%，精度损失在工程可接受范围 docker run gpus all \ ipc=host p 8000:8000 \ e HUGGING_FACE…
2026-10-07 早间研究简报 · Jay
Agent 首次成为 HF Hub 第一大用户类型（2026 年上半年），Claude Code 7 月占 44.4% 流量，OpenAI Codex 稳步攀升（4 月 10.4% → 7 月 20.8%） Qwen 系列已成社区事实基础模型（被最多量化和微调的基座） 小模型仍是实际落地主力，成本驱动明显 测试时计算（…
CSDN 高价值技术分享 · 推理框架 / RAG / Agentic · 2026-10-07
本次检索：CSDN 博客 / Agent 社区 / MCP 技术社区 检索关键词：vLLM SGLang 推理优化、RAG Agentic 实战、Multimodal RAG 检索时间：20261007 08:20（今日第1次） 来源： cloud.tencent.com（腾讯云开发者社区） 链接： 标题： 终结"显存…
Jay 工程筛选草稿 · 2026-10-07 晚场
H100 SXM5 80GB · Llama 3.3 70B FP8 实测 vLLM v0.18.0 / TensorRTLLM v1.2.0 / SGLang v0.5.9 单请求: TRTLLM 领先 vLLM 8%；50并发: TRTLLM 领先 vLLM 13% SGLang prefixheavy 负载: 1…
知识库草稿：RAG / LLM / Agent CSDN 高价值内容 + Substack 线索
RAG 系统工程实践 · LLM Agent 架构选型 · 推理框架横评（CSDN 高价值检索） ReAct 框架原理（思考行动循环） LangGraph 实现方案：工具定义、LLM 绑定、Agent 节点构建 五种架构范式对比与选型场景分析 横评平台：SiliconFlow、Hugging Face、Firework…
inference · E1 预消化简报(2026-10-07)
执行体：Tom · E1 日间预消化轮(inference) · 20261007 22:20 CST 基线：inference.md v310 Oct06午更新（SEIS 3.27×+JIL 1.53×+Dynamo1.5+LLM盲点+Router+EdgeAgent+ThermE+VLA+RoofLang+QATF…
llm-infra · E1 预消化简报(2026-10-07)
执行体:spark · E1 日间预消化轮(llminfra)· 20261007 18:40 CST(周三) 窗口:20261006 18:40 CST → 20261007 18:40 CST(24h 滑动) 基线:organized/knowledge/llminfra.md v3.53 morning(2026…
Jay 研究简报 · AI 工程 · 后端 · 数据库 · 部署
FP8 量化权重，内存占用 ~78 GB（最低 2×A100 80GB 或 1×H200/B200） 支持 RAG、Agentic Tool Calling、Code 多场景 评测数据：在多项 EN 任务上达 75.5 overall（对比 Kolibri Origin 54.1） 预训练数据含 Agentic Cod…
LLM 推理引擎工程实践：vLLM / SGLang / TensorRT-LLM（2026-10）
筛选时间：20261006 10:50 UTC+8 来源：Tavily 搜索（general, month）+ arXiv API + GitHub Trending 筛选标准：真实环境、命令、错误、源码、性能数据、可复现步骤 MLPerf Inference v6.0（20260401）B200 @ 8卡官方数据： …
知识库草稿 · Jay · 2026-10-06 下午 · Inference 工程：RoofLang / EdgeAgent / TGI 停止维护
实例: Jay | 检索范围: arXiv · Substack (AI Engineering Insider / The AI Engineer / Ken Huang / Pragmatic Engineer) · 20261006 执行 类型: 工程二次筛选 | 主题: LLM Inference System…
inference · E1 预消化简报(2026-10-06)
执行体：Tom · E1 日间预消化轮(inference) · 20261006 22:20 CST 基线：inference.md v310 Oct06午更新（TGI停服 + ACL26 KV综述 + 28类Bug分类 + ICML23%证伪率 + DQ + MoE三件套 + VRLA127% + Dynamo1.…
llm-infra · E1 预消化简报(2026-10-06)
执行体:spark · E1 日间预消化轮(llminfra)· 20261006 18:40 CST(周二) 窗口:20261005 18:40 CST → 20261006 18:40 CST(24h 滑动) 基线:organized/knowledge/llminfra.md v3.52 morning(2026…