研究草稿：LLM 推理框架 & GitHub 工程热点（2026-08-08）

基础信息

  • 主题：LLM 推理服务 / AI 工程开源生态
  • 检索范围：GitHub Trending、Hugging Face Trending、Tavily AI 搜索、arXiv/Papers with Code
  • 覆盖时间：2026-08-08（当日热点）
  • 摘要整理：Jay

1. cloudflare/computer — Agent 计算机控制框架

  • 链接：https://github.com/cloudflare/computer
  • Stars：6,109 | 今日 +872
  • 语言：TypeScript
  • 简介：Cloudflare Workers AI 生态下的 agent 计算机使用框架，赋予 agent 操作本地/远程计算机的能力（键盘输入、鼠标、文件系统）。
  • 评价：Cloudflare 出品，工程化程度高，适合构建"agent as tool user"场景。与 Computer Use 方向高度相关，是 2026 年 Agent Tool Use 赛道的重要基础设施。
  • 可信度：高（Cloudflare 官方维护，生产级）
  • 后续行动：可作为 agenttooling 主题页补充条目；核验与 MCP 协议兼容性

2. denoland/celld — 分布式 Durable Objects

  • 链接：https://github.com/denoland/celld
  • Stars：2,340 | 今日 +516
  • 语言：Rust
  • 维护方：Ryan Dahl（Node.js/Deno 作者）、magurotuna、wperron
  • 简介：Celld 是一个自托管、分布式 Durable Objects 实现，构建于 Deno 生态之上。将 Cloudflare Durable Objects 的编程模型移植到可自托管的 Rust 实现。
  • 评价：Ryan Dahl 的新项目，解决 AI agent 需要持久化状态（对话历史、checkpoint）时的工程难题。与 llm-d 的状态管理需求高度契合。
  • 可信度：高（核心作者背书）
  • 后续行动：关注与 vLLM/SGLang 有状态推理集成的可能性

3. pranshuparmar/witr — 进程/容器溯源 CLI

  • 链接：https://github.com/pranshuparmar/witr
  • Stars：19,970 | 今日 +234
  • 语言：Go
  • 简介：witr = "Why is this running?" — 追踪任意进程、端口、容器或文件回到启动源头。支持 CLI + TUI 界面。
  • 评价：DevOps/SRE 场景神器，可用于 AI 推理服务的进程诊断和容器编排调试。与 AI 部署运维直接相关。
  • 可信度：高（独立开发者，但 issue 反馈活跃）
  • 后续行动：适合收录 DevOps Tools 主题页

4. obra/superpowers — Agentic 软件开发方法论

  • 链接：https://github.com/obra/superpowers
  • 简介：一个 agentic skills 框架 + 软件开发方法论，声称让 agent 真正能够在生产环境中工作。
  • 评价：方法论 + 工具链结合，比单纯工具更有体系感。与 Matt Pocock Skills、addyosmani agent-skills 形成互补。
  • 可信度：需进一步验证
  • 后续行动：观察社区反馈，判断是否值得收录 AI Agent 主题页

5. semantica-agi/semantica — Graph-Native AI 基础设施

  • 链接：https://github.com/semantica-agi/semantica
  • Stars：2,449 | 今日 +122
  • 语言：Python
  • 简介：Graph-Native 基础设施，用于构建"可溯源、可问责"的 AI 系统。将知识图谱 + Agent 记忆层结合。
  • 评价：Graph RAG 在 2026 年持续升温，Semantica 提供了一种将图结构作为 Agent 推理骨干的思路。与 LangGraph、LangChain Agents 形成差异化。
  • 可信度：中等（活跃开发但较新）
  • 后续行动：精读源码或 README，判断 Graph-Native 与现有 RAG 栈的集成价值

6. addyosmani/agent-skills — Agent 工程技能集合（持续观察）

  • 链接：https://github.com/addyosmani/agent-skills
  • Stars：84,129 | 今日 +1,131
  • 维护方：addyosmani（Google 工程师）主导，贡献者包括 Claude
  • 简介：生产级 AI 编码 agent 工程技能集合，覆盖测试、重构、代码审查等场景。
  • 评价：Google 工程师维护，质量有保障。星标数高达 84k，是 agent engineering 领域当前最火的"技能清单"类项目。
  • 后续行动：值得作为 AI Agent 主题页核心参考，评估是否可整合进 OpenClaw workflow

二、LLM 推理服务核心动态（2026Q2-Q3）

2.1 vLLM & SGLang Benchmark 对比（2026-Q2 实测数据）

来源：https://iotdigitaltwinplm.com/llm-inference-benchmark-vllm-tgi-sglang-triton-q2-2026

维度 vLLM SGLang TGI
Decode 密集负载 15-25% 加速 基准 无原生支持
Prefill 吞吐 良好 25% 优势（chunked prefill 32k） 良好
前缀缓存 PagedAttention RadixAttention（更强） 不支持
结构化输出 支持 支持（原生 JSON schema 强制校验） 支持
Speculative Decoding 生产就绪（8% balanced 加速） 原型阶段 无
多 GPU 扩展 TP/PP/EP TP/PP/EP + 多节点 TP/PP
生态成熟度 最高 快速追赶 中

关键结论： - SGLang 在 prefill 密集 + 前缀复用 场景有明显优势（+25% 吞吐） - vLLM 在 decode 瓶颈 + speculative decoding 场景是生产首选 - 两者可以互补：Prefill 用 SGLang，Decode 用 vLLM（PD 分离架构） - Kubernetes 上均支持 Deployment + KEDA 弹性伸缩

2.2 llm-d：Kubernetes 原生 LLM 推理（2026-03 CNCF Sandbox）

来源：https://www.cncf.io/blog/2026/07/16/running-a-self-hosted-llm-in-kubernetes-with-vllm

核心价值： - 将 Prefill/Decode 解耦部署到不同 GPU 池，解决单 GPU 上 prefill 阻塞 decode 的问题 - 使用标准 Kubernetes CRD + Gateway API Inference Extension（GA v1.3.1，2026-02） - 支持 KServe 集成，兼容 vLLM 后端 - 参与方：Red Hat、Google Cloud、IBM Research、NVIDIA、CoreWeave

生产建议：

# llm-d 最小化部署（vLLM >= v0.10.0，建议 v0.18.0）
# 使用 NixlConnector 做 KV Cache 跨节点传输
kv_connector: NixlConnector
vllm_version: v0.18.0

2.3 Kubernetes 部署最佳实践（2026 年工程共识）

核心原则（来源：ScaleOps blog + vLLM 官方文档）： 1. 用 Deployment，不用 DaemonSet — DaemonSet 无法配合 KEDA 自动扩缩容 2. Deployment 后接 ClusterIP Service — 副本数和节点数作为两个独立伸缩维度 3. GPU 调度：KEDA 监听 vllm:num_requests_waiting 自定义指标 + Cluster Autoscaler 扩节点 4. 模型缓存：Fluid + 分布式缓存加速大模型权重拉取（OSS/NAS） 5. 监控：DCGM exporter + honorLabels: true（否则 per-pod GPU 归因失效） 6. 多租户路由：Gateway API Inference Extension 支持按模型名流量染色 + A/B

当不推荐 K8s：单模型、单 GPU、无扩缩需求 → 直接 Docker + vLLM standalone

三、向量数据库选型（2026 年工程视角）

来源：PingCAP / MarkTechPost / Braintrust / Firecrawl 综合

场景 推荐方案 理由
< 50M 向量，通用生产 pgvector 集成 Postgres 生态，运维最简
原型 / 本地开发 Chroma 轻量，CHIPO 生态
亿级向量 + 低延迟 Pinecone（托管）/ Qdrant（自托管） 水平扩展能力强
混合检索（向量+关键词） Weaviate 原生 BM25 + vector 联合查询
超大规模（100M+） Milvus / Vespa 专业向量数据库
SQL + 向量融合 TiDB Vector Search 一个平台解决两类查询

趋势： - 2026 年混合检索（向量 + 关键词 + metadata）已成标配，Chroma/Qdrant/Weaviate 均已支持 - Agentic RAG：Agent 动态决定何时/如何检索，不再是固定 RAG 流程 - Graph RAG：知识图谱 + 向量搜索结合，提升多跳推理能力

四、高价值参考链接

类别 标题 链接
GitHub Cloudflare Computer https://github.com/cloudflare/computer
GitHub Celld (Deno 分布式 DO) https://github.com/denoland/celld
GitHub witr 进程溯源 https://github.com/pranshuparmar/witr
GitHub Semantica Graph-Native https://github.com/semantica-agi/semantica
GitHub addyosmani agent-skills https://github.com/addyosmani/agent-skills
CNCF Blog vLLM on Kubernetes (2026-07) https://www.cncf.io/blog/2026/07/16/running-a-self-hosted-llm-in-kubernetes-with-vllm
llm-d Production-Grade LLM Inference https://llm-d.ai/blog/production-grade-llm-inference-at-scale-kserve-llm-d-vllm
Benchmark Q2 2026 LLM Inference Benchmark https://iotdigitaltwinplm.com/llm-inference-benchmark-vllm-tgi-sglang-triton-q2-2026
vLLM 官方 K8s 文档 https://docs.vllm.ai/en/stable/deployment/k8s
SGLang GitHub + Day-0 支持列表 https://github.com/sgl-project/sglang
ScaleOps vLLM K8s 部署最佳实践 https://scaleops.com/blog/vllm-kubernetes
火山引擎 vLLM 部署实战（CSDN 优质文） https://developer.volcengine.com/articles/7389518680231444489

五、分类标签

LLM-Inference vLLM SGLang llm-d Kubernetes 向量数据库 pgvector Chroma RAG Graph-RAG Agent-Tooling Cloudflare-Workers Durable-Objects DevOps Benchmark

六、写入路径建议

本批次草稿写入路径： - /shared/research-kb/inbox/jay/2026-08-08-llm-inference-github-trending.md

不需要精读/审稿的条目：CSDN vLLM 部署文章（已有高质量来源覆盖）、Substack 通用工程书单（与本研究主题关联度低）。

建议后续行动： 1. semantica-agi/semantica 值得源码级精读，判断 Graph RAG 集成价值 2. cloudflare/computer 可作为 Computer Use 主题页补充 3. llm-d CNCF Sandbox 进度值得关注，建议在 Kubernetes-AI 主题页跟踪 4. SGLang Day-0 支持列表（https://github.com/sgl-project/sglang）值得定期刷新

Jay · 2026-08-08 · 研究知识库草稿