研究简报 · Jay · 2026-09-18 · 下午
本次主题
GitHub Trending · Hugging Face · 推理引擎 · Agentic RAG · 多模态 RAG · 后端/数据库
候选条目
1. GitHub Trending · 2026 年夏季亮点
| 仓库 | Stars | 方向 | 值得追踪? |
|---|---|---|---|
nanochat (Andrej Karpathy) |
57.5k | LLM 训练全链路：从 tokenization → pretrain → finetune → inference → chat UI，单文件可读 | ⭐⭐⭐ 教学价值极高 |
ComfyUI |
106k+ | 节点化图像生成工作流，2026 年爆发 | ⭐⭐ 创意 AI 生态核心 |
vLLM |
66k+ | LLM 推理引擎，PagedAttention，OpenAI 兼容 API | ⭐⭐⭐ 工业级必备 |
Ollama |
- | 本地 LLM 一键运行（类 Docker 体验） | ⭐⭐⭐ 低门槛本地推理 |
Dify / Langflow |
- | 低代码 Agent / RAG 可视化编排平台，支持 MCP | ⭐⭐ |
DeepSeek Harness |
- | DeepSeek 模型推理加速工具链 | ⭐⭐ |
Matt Pocock Skills |
- | AI 编程 Agent 行为修正（让 AI 先提问再编码） | ⭐ 新兴工程实践 |
8 月 trending 新秀：OmniRoute、Orca（多模型路由）、Ponytail（待确认）
2. 推理引擎Benchmark · 2026 最新数据（AIMultiple 实测）
H100 GPU · Llama 3.1 8B · 1000 条 ShareGPT 提示词
| 引擎 | 吞吐 | 关键特性 |
|---|---|---|
| SGLang | ~16,200 tok/s | RadixAttention 前缀缓存；prefix-heavy 场景比 vLLM 快 29% |
| LMDeploy | ~16,200 tok/s | 与 SGLang 持平 |
| vLLM | ~12,500 tok/s | PagedAttention + continuous batching；生态最成熟，200+ 模型支持 |
结论：SGLang 在共享系统提示词 + 短对话场景有明显优势；独立长提示词场景各引擎差距缩小。vLLM 生态完整度仍是企业首选。
vLLM 2026 新进展（vLLM Blog）： - 单节点 Prefill-Decode disaggregation（AMD MORI-IO on MI300X）：分离 prefill/decode，KV cache 高效传输，稳定 ITL，提升 goodput - Docker Model Runner 集成 vLLM，支持 safetensors 模型高吞吐 serving - 支持 AMD、Intel Arc、TPU（除 NVIDIA 外）
3. RAG 范式转换（2026 Q3）
核心转变：Agentic Search 替代向量 RAG
重要论文：
Subramanian et al. (2026). Keyword search is all you need: Achieving RAG-Level Performance without vector databases using agentic tool use. AAAI 2026. arXiv: 2602.23368
结论：在 6 个数据集 + 同等 LLM（Claude 3 Sonnet, 200K context）条件下，基于 ReAct agent 调用 pdfmetadata / rga 等工具的关键字搜索检索，与基于 Titan Text Embeddings v2 的向量 RAG 达到同等准确率。
2026 RAG 工程判断： - 向量搜索不适用于：查询可被 SQL/SPARQL 直接回答、语义要求低、大规模stable corpora - 向量搜索仍必要：语义模糊查询、超大规模语料、跨模态检索 - 混合搜索（BM25 + vector）仍是生产主流 - 多模态 RAG 三架构： 1. Caption-and-index（最简） 2. Unified vision embeddings（Cohere Embed 4, voyage-multimodal-3） 3. Page-as-image late interaction（ColPali, ColQwen2.5, ColNomic）—— NVIDIA NeMo Retriever 方案
OGX（原 Llama Stack）：2026 年 4 月更名，支持 OpenAI/Anthropic/Google 多 provider，Elasticsearch 已作为 Vector IO provider 集成。
4. Hugging Face 动态
HF State of Open Models: Summer 2026（2026-08 报告）： - Qwen 已成为社区事实 base model，衍生生态最活跃 - 小模型（≤7B）实用性持续凸显，边缘部署成本可行 - 地理政治维度：西方机构加速推 GPT-OSS、OLMo、Gemma 以对冲 Qwen/DeepSeek 影响力
HF Blog 近期高价值文章：
- KV Caching Explained: Optimizing Transformer Inference Efficiency——推理工程基础但系统性的 KV cache 机制科普
- One sandbox per rollout: how labs run RL for agents in 2026——前沿 RL 训练基础设施设计
- Your Inference Server is Secretly a Learner: Reef Infrastructure for Continual Self-Improving Agents——推理即学习的新架构思路
- Per-tensor layout maps for GGUF quantization——量化精度新认知
- huggingface/agent-usage 数据集值得关注
HF Papers Trending： - YOLO26（Ultralytics）：NMS-free 多任务视觉模型（检测/分割/姿态估计） - GLiClass：通用轻量序列分类 - Kronos：金融时序基础模型
5. 后端/数据库/部署
vLLM on Kubernetes（2026 指南）：
- Ray Serve + GPU scheduling 是生产标准路径
- 常见 OOM 问题：gpu_memory_utilization 参数调优是解法之一
向量数据库格局： - Weaviate：BM25 + vector 混合搜索，20+ ML 模型直连 - Qdrant：高性能向量相似度搜索，RAG 友好 - Elasticsearch + OGX Vector IO：企业级混合搜索方案 - Chroma：AI 原生 embedding 数据库，轻量首选
AIOps for LLM（HF Forum 研究方向，2026 确认）： - 2026 年研究测试 24 种 GPU-driven LLM 负载 RCA 方法 - 经典 web-service AIOps 对 AI-serving stacks 泛化能力不足 - 多源方法表现最佳，metric-based 方法依赖故障类型，trace-based 方法大幅失效 - 新方向：GPU 驱动 LLM 负载的根因分析
6. Substack 研究线索
| 作者/专栏 | 主题 | 原文链接 | 可信度 |
|---|---|---|---|
| Analytics Vidhya Blog | GitHub Trending AI Repos July 2026 | 链接 | 中 |
| ByteByteGo Blog | Top AI GitHub Repos 2026 | 链接 | 高 |
| Prem AI Blog | vLLM vs SGLang vs LMDeploy Benchmark 2026 | 链接 | 高 |
| The PythonWorld (Medium) | Top 12 GitHub AI Repos 2026 | 链接 | 中 |
| Firecrawl Blog | Best GitHub AI Repos 2026 | 链接 | 中 |
| Analytics Vidhya Blog | 30 GitHub Repos AI Engineer 2026 | 链接 | 中 |
| InfoQ (2026-09-14) | Multimodal RAG 深度技术文章 | 链接 | 高 |
高价值条目（精读建议）
| 优先级 | 条目 | 理由 |
|---|---|---|
| 🔴 精读 | arXiv:2602.23368 — Keyword search is all you need（AAAI 2026） | RAG 范式转折点，工程选型参考 |
| 🔴 精读 | vLLM Blog — Prefill-Decode Disaggregation（2026） | 推理引擎前沿工程实现 |
| 🟡 参考 | HF State of Open Models: Summer 2026 | 行业生态全景 |
| 🟡 参考 | AIMultiple — vLLM vs SGLang vs LMDeploy Benchmark | 推理引擎选型数据支撑 |
| 🟡 参考 | InfoQ — Multimodal RAG in 2026 | 多模态 RAG 三架构对比 |
分类标签
推理引擎 RAG Agentic Search 向量数据库 多模态RAG GitHub Trending HuggingFace vLLM SGLang Benchmark AIOps Kubernetes
建议写入路径
/shared/research-kb/inbox/jay/2026-09-18-1735-jay-github-hf-inference-agentic-rag-substack-sep18.md
后续行动
- 精读：arXiv 2602.23368，核验 AAAI 2026 论文原文实验设置
- 关注：HF
huggingface/agent-usage数据集内容 - 追踪：ColPali/ColQwen2 在生产多模态 RAG 的落地案例
- 待核验：Ponytail、Orca 仓库实际功能定位