研究简报 · Jay · 2026-09-18 · 下午

本次主题

GitHub Trending · Hugging Face · 推理引擎 · Agentic RAG · 多模态 RAG · 后端/数据库

候选条目

仓库	Stars	方向	值得追踪?
`nanochat` (Andrej Karpathy)	57.5k	LLM 训练全链路：从 tokenization → pretrain → finetune → inference → chat UI，单文件可读	⭐⭐⭐ 教学价值极高
`ComfyUI`	106k+	节点化图像生成工作流，2026 年爆发	⭐⭐ 创意 AI 生态核心
`vLLM`	66k+	LLM 推理引擎，PagedAttention，OpenAI 兼容 API	⭐⭐⭐ 工业级必备
`Ollama`	-	本地 LLM 一键运行（类 Docker 体验）	⭐⭐⭐ 低门槛本地推理
`Dify / Langflow`	-	低代码 Agent / RAG 可视化编排平台，支持 MCP	⭐⭐
`DeepSeek Harness`	-	DeepSeek 模型推理加速工具链	⭐⭐
`Matt Pocock Skills`	-	AI 编程 Agent 行为修正（让 AI 先提问再编码）	⭐ 新兴工程实践

8 月 trending 新秀：OmniRoute、Orca（多模型路由）、Ponytail（待确认）

2. 推理引擎Benchmark · 2026 最新数据（AIMultiple 实测）

H100 GPU · Llama 3.1 8B · 1000 条 ShareGPT 提示词

引擎	吞吐	关键特性
SGLang	~16,200 tok/s	RadixAttention 前缀缓存；prefix-heavy 场景比 vLLM 快 29%
LMDeploy	~16,200 tok/s	与 SGLang 持平
vLLM	~12,500 tok/s	PagedAttention + continuous batching；生态最成熟，200+ 模型支持

结论：SGLang 在共享系统提示词 + 短对话场景有明显优势；独立长提示词场景各引擎差距缩小。vLLM 生态完整度仍是企业首选。

vLLM 2026 新进展（vLLM Blog）： - 单节点 Prefill-Decode disaggregation（AMD MORI-IO on MI300X）：分离 prefill/decode，KV cache 高效传输，稳定 ITL，提升 goodput - Docker Model Runner 集成 vLLM，支持 safetensors 模型高吞吐 serving - 支持 AMD、Intel Arc、TPU（除 NVIDIA 外）

3. RAG 范式转换（2026 Q3）

核心转变：Agentic Search 替代向量 RAG

重要论文：

Subramanian et al. (2026). Keyword search is all you need: Achieving RAG-Level Performance without vector databases using agentic tool use. AAAI 2026. arXiv: 2602.23368

结论：在 6 个数据集 + 同等 LLM（Claude 3 Sonnet, 200K context）条件下，基于 ReAct agent 调用 pdfmetadata / rga 等工具的关键字搜索检索，与基于 Titan Text Embeddings v2 的向量 RAG 达到同等准确率。

2026 RAG 工程判断： - 向量搜索不适用于：查询可被 SQL/SPARQL 直接回答、语义要求低、大规模stable corpora - 向量搜索仍必要：语义模糊查询、超大规模语料、跨模态检索 - 混合搜索（BM25 + vector）仍是生产主流 - 多模态 RAG 三架构： 1. Caption-and-index（最简） 2. Unified vision embeddings（Cohere Embed 4, voyage-multimodal-3） 3. Page-as-image late interaction（ColPali, ColQwen2.5, ColNomic）—— NVIDIA NeMo Retriever 方案

OGX（原 Llama Stack）：2026 年 4 月更名，支持 OpenAI/Anthropic/Google 多 provider，Elasticsearch 已作为 Vector IO provider 集成。

4. Hugging Face 动态

HF State of Open Models: Summer 2026（2026-08 报告）： - Qwen 已成为社区事实 base model，衍生生态最活跃 - 小模型（≤7B）实用性持续凸显，边缘部署成本可行 - 地理政治维度：西方机构加速推 GPT-OSS、OLMo、Gemma 以对冲 Qwen/DeepSeek 影响力

HF Blog 近期高价值文章： - KV Caching Explained: Optimizing Transformer Inference Efficiency——推理工程基础但系统性的 KV cache 机制科普 - One sandbox per rollout: how labs run RL for agents in 2026——前沿 RL 训练基础设施设计 - Your Inference Server is Secretly a Learner: Reef Infrastructure for Continual Self-Improving Agents——推理即学习的新架构思路 - Per-tensor layout maps for GGUF quantization——量化精度新认知 - huggingface/agent-usage 数据集值得关注

HF Papers Trending： - YOLO26（Ultralytics）：NMS-free 多任务视觉模型（检测/分割/姿态估计） - GLiClass：通用轻量序列分类 - Kronos：金融时序基础模型

5. 后端/数据库/部署

vLLM on Kubernetes（2026 指南）： - Ray Serve + GPU scheduling 是生产标准路径 - 常见 OOM 问题：gpu_memory_utilization 参数调优是解法之一

向量数据库格局： - Weaviate：BM25 + vector 混合搜索，20+ ML 模型直连 - Qdrant：高性能向量相似度搜索，RAG 友好 - Elasticsearch + OGX Vector IO：企业级混合搜索方案 - Chroma：AI 原生 embedding 数据库，轻量首选

AIOps for LLM（HF Forum 研究方向，2026 确认）： - 2026 年研究测试 24 种 GPU-driven LLM 负载 RCA 方法 - 经典 web-service AIOps 对 AI-serving stacks 泛化能力不足 - 多源方法表现最佳，metric-based 方法依赖故障类型，trace-based 方法大幅失效 - 新方向：GPU 驱动 LLM 负载的根因分析

6. Substack 研究线索

作者/专栏	主题	原文链接	可信度
Analytics Vidhya Blog	GitHub Trending AI Repos July 2026	链接	中
ByteByteGo Blog	Top AI GitHub Repos 2026	链接	高
Prem AI Blog	vLLM vs SGLang vs LMDeploy Benchmark 2026	链接	高
The PythonWorld (Medium)	Top 12 GitHub AI Repos 2026	链接	中
Firecrawl Blog	Best GitHub AI Repos 2026	链接	中
Analytics Vidhya Blog	30 GitHub Repos AI Engineer 2026	链接	中
InfoQ (2026-09-14)	Multimodal RAG 深度技术文章	链接	高

高价值条目（精读建议）

优先级	条目	理由
🔴 精读	arXiv:2602.23368 — Keyword search is all you need（AAAI 2026）	RAG 范式转折点，工程选型参考
🔴 精读	vLLM Blog — Prefill-Decode Disaggregation（2026）	推理引擎前沿工程实现
🟡 参考	HF State of Open Models: Summer 2026	行业生态全景
🟡 参考	AIMultiple — vLLM vs SGLang vs LMDeploy Benchmark	推理引擎选型数据支撑
🟡 参考	InfoQ — Multimodal RAG in 2026	多模态 RAG 三架构对比

分类标签

推理引擎 RAG Agentic Search 向量数据库 多模态RAG GitHub Trending HuggingFace vLLM SGLang Benchmark AIOps Kubernetes

建议写入路径

/shared/research-kb/inbox/jay/2026-09-18-1735-jay-github-hf-inference-agentic-rag-substack-sep18.md

后续行动

精读：arXiv 2602.23368，核验 AAAI 2026 论文原文实验设置
关注：HF huggingface/agent-usage 数据集内容
追踪：ColPali/ColQwen2 在生产多模态 RAG 的落地案例
待核验：Ponytail、Orca 仓库实际功能定位