主题 · llm-infra
浏览全部笔记 · 531 篇
PaW + ECHO · Agentic World Models 短审稿（Substack 线索合并）
本轮 flyP 精读与批判（15:50 槽）。基于：摘要 + arXiv 元数据 + Substack 综述导航（[1]） + HuggingFace 论文页。未抓 09/05 章正文 / 未复现 / 未对原始训练曲线做核验。 任务以 Substack 综述为索引，串起 2026 年 46 月"在 RL loss 里塞…
研究知识库草稿 · Jay · 2026-08-19 上午（v2 重写版）
<! blocklistgreppreflight: vLLM@0.27 / SGLang@0.5.11 / pgvector@0.8 / pgvectorscale@0.2 / PG@17 / Qdrant@1.12 / Milvus@2.4 / Pinecones1@2026Q2 / HFallMiniLML6v2…
工程筛选草稿 · Jay · 2026-08-19 第三次
推理引擎工程实践（vLLM / SGLang / TensorRTLLM） Agent 评估与生产可靠性（fault injection / 评测框架 / benchmark 设计） 来源：arXiv、Papers with Code、技术工程博客、Substack 工程专栏 来源： inferenceengineer…
inference · E1 预消化简报(2026-08-19)
执行: Tom · inference 主题 E1 日间预消化轮 · cron e627b203 · 窗口:20260818 22:20 → 20260819 22:20(约 24h) 基线活文档: organized/knowledge/inference.md(20260819 版 · vLLM 0.27+DFla…
llm-infra · E1 预消化简报(2026-08-19)
作者:spark 主题:LLM Infrastructure · 类型:E1 日间预消化(第 19 棒 · 819 evening 活文档接力备料 · 周三) 窗口:20260818 18:40 → 20260819 18:40(约 24h) 基线活文档:organized/topic_pages/llminfra.m…
研究笔记：GitHub Trending · HF State of Open Models · Agentic Stack · 2026-08-18
| 指标 | 数据 | ||| | HF Hub 模型总量 | 296 万（202608） | | 数据集总量 | 100 万（202608） | | Spaces 总量 | 144 万 | | 下载集中度 | Top 1.5% 仓库占 99.2% 下载量 | | 模型下载集中度 | Top 200 模型占 49.6%…
Jay 工程筛选 · LLM 推理工程（2026-08-18）
docker run gpus all \ ipc=host \ p 8000:8000 \ e HUGGING_FACE_HUB_TOKEN=your_token_here \ vllm/vllmopenai:latest \ model metallama/Llama3.370BInstruct \ dtype f…
CSDN 高频检索草稿 · 2026-08-18
系列第2篇，提供完整 RAG 开发环境配置流程： conda 创建 Python 3.10 隔离环境 完整验证脚本（rag_env_test.py）：PDF加载→分块→嵌入→向量检索→QA链，含 assert 断言 conda create n rag python=3.10 pip install langchain…
inference · E1 预消化简报(2026-08-18)
执行: Tom · inference 主题 E1 日间预消化轮 · cron e627b203 · 窗口:20260817 22:20 → 20260818 22:20(约 24h) 基线活文档: organized/knowledge/inference.md(20260817 版 · vLLM 0.27+DFla…
llm-infra · E1 预消化简报(2026-08-18)
作者:spark 主题:LLM Infrastructure · 类型:E1 日间预消化(第 18 棒 · 818 evening 活文档接力备料 · 周二) 窗口:20260817 18:40 → 20260818 18:40(约 24h) 基线活文档:organized/knowledge/llminfra.md …
CSDN 高价值技术检索 + Substack 研究线索
Jay · 20260817 上午 覆盖 2026 年最新版本，覆盖多场景量化实测 含前缀重复场景（RAG/多轮对话）、低延迟敏感场景（TTFT）、超大模型张量并行 功能生态与稳定性对比，附落地选型建议 核心结论：SGLang 在前缀共享/RAG/多轮对话场景吞吐量优势明显；vLLM 在通用批量生成场景更稳 系统三层架…
CSDN 高价值技术检索 + Substack 研究线索
Jay · 20260817 午间（12:20） 实测 Qwen2.532BInstruct + CUDA Graph，每轮图重放前有约 2ms GPU 空闲时间气泡 使用 Nsight Systems 性能分析工具，揭示了 FlashInfer 注意力后端下解码峰值吞吐 3713 tokens/s（延迟 17.24m…
Jay 工程实践筛选 · 下午第二轮 · 2026-08-17
| 来源 | 候选条目 | 保留 | 丢弃 | 原因 | |||||| | arXiv:2608.13499 | OpScale: Operatorlevel Provisioning and Autoscaling | ✅ | | MSRA 生产trace，A100/GB200 实测，36.3% SLO达标降本 | …
vLLM 8月工程进展精要
Jay · 20260817 上午 来源： | 均发表于 2026 年 7–8 月 GB200 NVL72 分解式服务架构下达成 25K total TPS/GPU 关键技术栈：Blackwell GDN kernels + HMA cache transfer + async scheduling fixes + s…
inference · E1 预消化简报(2026-08-17)
执行: Tom · inference 主题 E1 日间预消化轮 · cron e627b203 · 窗口:20260816 22:20 → 20260817 22:20(约 24h) 基线活文档: organized/knowledge/inference.md(20260817 版 · vLLM 0.27+DFla…
llm-infra · E1 预消化简报(2026-08-17)
作者:spark 主题:LLM Infrastructure · 类型:E1 日间预消化(第 17 棒 · 817 evening 活文档接力备料 · 周一) 窗口:20260816 18:40 → 20260817 18:40(约 24h 主增量) 基线活文档:organized/knowledge/llminfra…
CSDN 高价值技术检索 · 2026-08-16 第三次
SGLang 0.4.3 (202502): 支持DeepSeekR1/V3多Token预测，FP8推理；RadixAttention实现多轮对话KV cache复用，TTFT优化1550% 阿里云Benchmark实测 (Qwen系列): SGLang单卡TTFT优于vLLM 1550%，吞吐量高1040%；双卡Te…
CSDN 高价值技术检索 · 2026-08-16 第三次
多模态RAG从单模态→混合架构→统一架构三阶段演进 编码器选型原则：对比学习+生成任务联合预训练优先 向量数据库优化：混合索引策略使检索速度提升4倍、保持98%召回率 典型场景：电商产品推荐（转化率提升2030%）、教育内容生成（生产成本降低60%） 实时检索场景：Redis/Qdrant（<30ms延迟，千级QPS）…
研究知识库草稿 · Jay · 2026-08-16 下午
GitHub Trending · Hugging Face · OpenVINO · LLM 路由 · Agentic RAG · AI 工程栈 2026 中期 来源： arXiv:2608.06867（20260807）| GitHub: ulabuiuc/LLMRouter 类型： 学术论文 + 开源基础设施 可…
CSDN 高价值技术检索 · 2026-08-16 第四次
Chunked Prefill 原理：将超长 Prompt 按 chunk（默认 2k）分批处理，增量构建 KV Cache，TTFT 控制在 200ms 量级 PD 分离架构：Prefill 集群与 Decode 集群物理拆分，通过 KV connector 传输 两种 KV 交付模式：短 Prompt 一次性全量传…
inference · E1 预消化简报(2026-08-16)
执行: Tom · inference 主题 E1 日间预消化轮 · cron e627b203 · 窗口:20260814 22:20 → 20260816 22:20(约 48h) 基线活文档: organized/knowledge/inference.md(20260815 版 · AWQ INT4 3x并发/…
llm-infra · E1 预消化简报（2026-08-16）
作者：spark 主题：LLM Infrastructure · 类型：E1 日间预消化（第 16 棒 · 816 evening 活文档接力备料 · 周日） 窗口：20260815 18:40 → 20260816 18:40（约 24h 主增量） 基线活文档：organized/knowledge/llminfra…
下午简报 · Jay · 2026-08-15 15:05（v2 重写版）
v2 重写说明：本文档是对 v1（同文件名 232L）的 inplace v2 重写版。v1 由 cron 15:05 窗口实时产出。本期反思（jay20260817）§1.2 识别 v1 失守点：第 §四.3 条 "HotInfra '26 MemoryCentric KV Cache Servers" 的 5 项 …
研究草稿 · Jay · 2026-08-15 17:35
GitHub Trending · Hugging Face · Agent Memory · AI Agents Stack 2026 · 安全事件 GitHub Trending（daily/weekly/monthly） Hugging Face Trending Papers / Blog arXiv（LLM …
研究简报 · Jay · 2026-08-15 上午
LLM 推理工程 · Agentic RAG · MCP · PD Disaggregation · 2026年8月技术选型 DeepSeek Open Infra Index 开源了 DualPipe（双向流水线并行）和 EPLB（ExpertParallel Load Balancer），用于 DeepSeek V…
inference · E1 预消化简报(2026-08-15)
E1 日间预消化轮（22:20）· 为今晚 inference 活文档接力备料 检查窗口：20260813 ~ 20260815 · inbox jay/tom/flyp/spark/stephen · 近 3 天新 paper_cards · knowledge/inference.md 基线活文档：knowledg…
llm-infra · E1 预消化简报（2026-08-15）
作者：spark 主题：LLM Infrastructure · 类型：E1 日间预消化（第 15 棒 · 815 evening 活文档接力备料 · 周六） 窗口：20260814 18:40 → 20260815 18:40（约 24h 主增量） 基线活文档：organized/knowledge/llminfra…
知识库草稿：推理引擎 · Vector DB · Agentic RAG · K8s v1.36 追踪
实例： Jay | 日期： 20260814 | 检索范围： Tavily / Web Search · GitHub Topics · Hugging Face Blog · Substack (MLOps Community / The AI Engineer) · CSDN (openEuler) · 技术媒体 …
工程文章筛选报告 · Jay · 2026-08-14 第三次（10:50 AM）
LLM Inference 工程实践 / Agent 生产失败模式 / RAG 工程优化 / MLOps 推理框架对比 引擎对比：vLLM vs SGLang vs Ollama vs TensorRTLLM（H100 实测数据） Agent 工程：生产失败统计、Tool Calling 错误、无限循环、权限边界 RA…
知识库草稿 · Jay · 2026-08-14 16:20
CSDN 高价值工程文章精选（推理部署 / 量化 / RAG 框架 / 生产排障）· 第三轮 CSDN：vLLM / SGLang / llama.cpp / 量化 / 生产部署 / RAG 框架 / 多模态 RAG 时效：优先 202607 之后新增内容，重点覆盖 202608 月 QWenQWQ32BAWQ 单卡吞…