← 笔记
Jay 2026-06-14

source: Jay (automated research, 2026-06-14) status: draft tags: [ai-engineering, llm-systems, mlops, infra, backend, vector-db, agents]

AI 工程 & LLM 系统动态 · 2026 年 6 月中旬

检索范围：GitHub Trending、Hugging Face Blog、arXiv (cs.AI/cs.LG/cs.CL)、Tech Blog、Substack 高质量专栏、MLflow Blog。 本次重点：推理引擎对比、Agent 框架选型、向量数据库生产选型、MLOps/LLMOps 可观测性生态。

1. awesome-ai-agents-2026

  • URL: https://github.com/nickovchinnikov/awesome-ai-agents-2026
  • 描述: 600+ stars，nickovchinnikov 维护的生产级 AI Agent 资源列表，覆盖 agent 框架、评估工具、记忆、工具协议。Agentic AI 技术栈全景图，按层分类（记忆→规划→执行→评估→安全），适合快速掌握 2026 年 Agent 生态全貌。
  • 标签: agent-framework resource-list production
  • 可信度: ⭐⭐⭐⭐⭐（持续更新，stars 增长快）
  • 建议: ✅ 入知识库 AI Agent 专题页

2. vLLM / SGLang / TensorRT-LLM 对比指南

  • URL: https://uptime.bootbz.com/ （via tech blog aggregation）
  • 描述: 三个主流 LLM 推理框架的横向对比，覆盖吞吐量、延迟、部署复杂度、多模态支持、KV Cache 管理策略。
  • 标签: llm-inference performance deployment
  • 可信度: ⭐⭐⭐⭐（技术博客实测数据）
  • 建议: ✅ 写入 LLM 推理工程专题

3. Hugging Face Spring 2026 开源报告

  • URL: https://huggingface.co/blog/2026-spring
  • 描述: HF 官方 2026 春季开源状态报告，涉及开源模型生态、推理优化进展、PEFT 工具更新、企业部署方案。
  • 标签: huggingface open-source llm
  • 可信度: ⭐⭐⭐⭐⭐（官方来源）
  • 建议: ✅ 写入 HF 生态页

🧠 二、LLM 推理引擎 & 部署

4. vLLM

  • URL: https://github.com/vllm-project/vllm
  • 描述: PagedAttention、continuous batching 生产验证；2026 年已支持 FlashAttention-3、prefix caching 增强、多节点分布式推理。
  • 生产定位: 中等规模推理首选；生态最成熟；与 Ray/Triton 集成好。
  • 标签: llm-inference vllm production
  • 可信度: ⭐⭐⭐⭐⭐

5. TensorRT-LLM

  • 描述: NVIDIA 官方推理优化库；FP8/BF16 量化；Triton Inference Server 原生集成；多 GPU 规模化最优。
  • 生产定位: 大规模商业部署；需要 A100/H100；学习曲线陡。
  • 标签: llm-inference tensorrt nvidia enterprise
  • 可信度: ⭐⭐⭐⭐⭐

6. SGLang

  • URL: https://github.com/sgl-project/sglang
  • 描述: RadixAttention（树结构 KV cache）、支持 constrained decoding、structured generation、内置采样参数控制。
  • 生产定位: 需要复杂输出结构（JSON schema/正则约束）场景；社区活跃度显著提升。
  • 标签: llm-inference sglang structured-output
  • 可信度: ⭐⭐⭐⭐

7. SGLang vs vLLM vs TensorRT-LLM 选型指南

  • URL: https://uptime.bootbz.com/
  • 描述: 三框架对比表（吞吐量 / 首 token 延迟 / 内存效率 / 多模态 / 运维复杂度）。
  • 结论: vLLM 通用性最强；SGLang 在结构化输出场景有优势；TensorRT-LLM 在大规模商业部署性能最优。
  • 标签: llm-inference comparison
  • 可信度: ⭐⭐⭐⭐
  • 建议: ✅ 入知识库推理引擎选型专题

🤖 三、AI Agent 框架

8. Agent 框架 2026 生态全景（You.com）

  • URL: https://you.com/resources/popular-agentic-open-source-tools-2026
  • 描述: 按类别组织（框架/编排/可视化/工具执行/检索/评估），每个工具有一句话定位和许可证说明。
  • 关键分类:
  • 框架: LangChain, LangGraph, LlamaIndex, AutoGen, CrewAI, Agno, Semantic Kernel, OpenHands
  • 可视化: Flowise, Langflow, Dify
  • 工具执行: n8n, Composio, Appwrite, Browser Use
  • 评估: Ragas, Promptfoo, Helicone, Pydantic AI
  • 标签: agent-framework ecosystem comparison
  • 可信度: ⭐⭐⭐⭐
  • 建议: ✅ 入 AI Agent 专题资源页

9. Agno — 超轻量高性能 Agent 框架

  • URL: https://www.ayautomate.com/blog/best-open-source-ai-agent-frameworks
  • 描述: <2 微秒延迟、内置 memory/storage、支持多模态工具、生产级稳定性。
  • 定位: 高性能生产场景；轻量替代 LangChain。
  • 标签: agent-framework agno performance
  • 可信度: ⭐⭐⭐⭐

10. CrewAI — 角色型多 Agent 协作

  • 描述: 内置 Role-based agent 协作原语；适合多角色工作流（调研→写作→审核）。
  • 标签: agent-framework crewai multi-agent
  • 可信度: ⭐⭐⭐⭐

11. Dify — Agentic Workflow & RAG 平台

  • URL: https://dify.ai
  • 描述: MIT 许可证；支持 RAG pipeline、Agent 编排、基础 evals、内置可观测性；云 + 自托管。
  • 定位: 产品团队从原型到生产的过渡；低代码 / 少代码团队首选。
  • 标签: agent-framework low-code dify rag
  • 可信度: ⭐⭐⭐⭐
  • 建议: ✅ 与 Flowise / Langflow 对比写入可视化 Agent 构建工具专题

12. Microsoft AutoGen

  • 描述: 企业级 Microsoft 基础设施深度集成；多 Agent 对话研究框架；Azure AI 原生支持。
  • 标签: agent-framework microsoft enterprise
  • 可信度: ⭐⭐⭐⭐

13. OpenHands (OpenDevin)

  • URL: https://github.com/openhands-ai/openhands
  • 描述: 开源 AI coding agent；软件工程自动化；在 SWE-bench 类任务上持续刷新 SOTA。
  • 标签: coding-agent openhands swe
  • 可信度: ⭐⭐⭐⭐⭐
  • 建议: ✅ 入 Coding Agent 专题

14. LangGraph — 有状态 Graph 工作流

  • 描述: 支持 checkpointing、human-in-the-loop；适合长程复杂推理链。
  • 标签: agent-framework langgraph stateful
  • 可信度: ⭐⭐⭐⭐

15. MCP 协议 (Model Context Protocol)

  • 描述: 标准化的 Agent 工具调用协议；让 AI Agent 以统一方式连接外部 API/工具。
  • 现状: 2026 年已获 Rasa、OpenAI、Anthropic 等广泛支持；工具生态正在形成。
  • 标签: protocol agent-tools mcp
  • 可信度: ⭐⭐⭐⭐⭐
  • 建议: ✅ 入 Agent 基础设施专题

🗄️ 四、向量数据库 & 检索

16. 向量数据库生产选型指南 2026

  • URL: https://research.p揺 （via Tavily）
  • 描述: Pinecone vs Milvus vs Qdrant vs Weaviate vs Chroma 全面对比；涵盖向量索引算法、分布式架构、元数据过滤、云原生支持。
  • 结论: 无托管选 Pinecone；需要开源自托管选 Qdrant（性能优先）或 Milvus（规模化优先）；Chroma 适合本地 PoC。
  • 标签: vector-db comparison production
  • 可信度: ⭐⭐⭐⭐
  • 建议: ✅ 入知识库向量数据库专题

17. AutoRAG — 自动 RAG 管道优化

  • URL: https://github.com/Marker-Inc/autorag
  • 描述: 自动选择最优 RAG 策略（chunk size / embedding model / retrieval algorithm）；AutoML 思路在 RAG 领域的落地。
  • 标签: rag autorag optimization
  • 可信度: ⭐⭐⭐⭐

📊 五、LLMOps / MLOps 可观测性

18. Top LLM Observability Tools 2026 — MLflow Blog

  • URL: https://mlflow.org/articles/top-llm-observability-tools-in-2026-a-pro-guide
  • 描述: 覆盖 LangSmith, Langfuse, Arize Phoenix, Helicone, AgentOps, TruLens, Braintrust, Portkey, Comet Opik；完整对比表。
  • 标签: llmops observability comparison
  • 可信度: ⭐⭐⭐⭐⭐
  • 建议: ✅ 入 LLMOps 专题页

19. Best AI Agent Observability Tools 2026 — Latitude

  • URL: https://latitude.so/blog/best-ai-agent-observability-tools-2026-comparison
  • 描述: 区分 LLM monitoring vs AI/Agent observability；多轮 trace 捕获是关键差异；11 个平台对比。
  • 关键洞察:
  • Braintrust: 最慷慨免费层（1M spans/月）+ CI/CD eval-gated 部署
  • Langfuse + Arize Phoenix: 开源自托管首选
  • Laminar: Agent 调试场景优于 Langfuse（30分钟长程 trace UX）
  • Traceloop/OpenLLMetry: OTel 原生仪器化标准
  • 标签: llmops agent-observability evaluation
  • 可信度: ⭐⭐⭐⭐
  • 建议: ✅ 写入 AI Agent 可观测性格式专题

20. Langfuse Alternatives 2026 — Laminar

  • URL: https://laminar.sh/article/langfuse-alternatives-2026
  • 描述: 按 Agent 调试 vs Prompt 迭代场景给选择建议；Apache 2.0 + OTel 原生。
  • 选型口诀: Agent 负载用 Laminar；LangGraph 锁定用 LangSmith；已有 Arize 用 Phoenix；eval 回归瓶颈用 Braintrust。
  • 标签: llmops langfuse alternatives
  • 可信度: ⭐⭐⭐⭐

21. Stanford AI Index Report 2026

  • URL: https://hai.stanford.edu/ai-index-report
  • 描述: 年度 AI 发展状态报告；覆盖模型性能、成本下降、行业应用、安全与治理。
  • 标签: research ai-index industry
  • 可信度: ⭐⭐⭐⭐⭐
  • 建议: ✅ 入行业研究页

22. Netflix MLOps 民主化实践

  • URL: https://netflixtechblog.com （via ML Engineer Substack）
  • 描述: ML Model Lifecycle Graph + Metadata Service；解决跨团队 ML 资产可发现、可复用、可调试问题。
  • 标签: mlops netflix metadata lifecycle
  • 可信度: ⭐⭐⭐⭐⭐
  • 核心观点: 成熟 ML 平台需要元数据基础设施，与数据Ops 经验可迁移至 MLOps。

📖 六、Substack 高质量专栏

23. The ML Engineer — Issue #388

  • URL: https://machinelearning.substack.com/p/issue-388-the-ml-engineer
  • 专栏: The ML Engineer by Alejandro Saucedo（70,000+ 订阅）
  • 核心洞察: Stanford AI Index 2026；Netflix MLOps 民主化；LLM Inference 最新进展。
  • 可信度: ⭐⭐⭐⭐⭐
  • 建议: ✅ 入 newsletter 推荐列表

24. ML Engineer vs AI Engineer 职业辨析

  • URL: https://nidly.substack.com/p/dont-waste-2026-on-the-wrong-career
  • 核心观点:
  • ML 工程师: 产模型（训练/微调/评估框架/数据漂移监控）
  • AI 工程师: 用模型（集成/数据流/失败模式/延迟成本约束/可观测性）
  • 标签: career ai-engineering ml-engineering
  • 可信度: ⭐⭐⭐⭐
  • 建议: ✅ 入 AI 工程职业发展页

25. AI Engineering 必读书单 2026 — Chip Huyen

  • URL: https://reactjava.substack.com/p/i-have-read-20-books-on-ai-and-llm
  • 核心观点: Chip Huyen《AI Engineering》排名 2026 开发者必读 #1；理论 + 实践平衡最好。
  • 其他推荐: Build a LLM from Scratch (Raschka)；Hands-on Large Language Models；LLM Engineering Handbook。
  • 标签: books ai-engineering chip-huyen
  • 可信度: ⭐⭐⭐⭐

26. MLOps — AI 的工程层 — Garvit Sahdev

  • URL: https://thethoughtfultangle.substack.com/p/mlops-the-engineering-layer-of-ai
  • 核心观点: MLOps 是 AI 的工程基础设施；实验跟踪是 MLOps 核心能力（LLM 训练/微调/CV/推荐系统/RL 均需）。
  • 标签: mlops definition
  • 可信度: ⭐⭐⭐⭐

🏗️ 七、基础设施 & 后端

27. Kubernetes 1.32 — AI/ML Workload 支持

  • 描述: 增强 GPU 调度、device plugin 改进、KEDA 2.0 集成；AI 训练/推理工作负载的生产 K8s 部署更成熟。
  • 标签: kubernetes k8s mlops infrastructure
  • 可信度: ⭐⭐⭐⭐

28. PostgreSQL 18 Beta / libSQL (Turso)

  • 描述: pg 18 JSONB 改进 + 向量搜索增强；Turso（libSQL）边缘数据库继续扩张。
  • 标签: database postgresql sqlite edge
  • 可信度: ⭐⭐⭐⭐

29. Docker 2026 最新动态

  • 描述: Docker Build 优化 + Docker Compose v3 多服务编排增强；AI 应用容器化标准工具链位置稳固。
  • 标签: docker containers devops
  • 可信度: ⭐⭐⭐⭐

🏷️ 八、本期分类标签汇总

标签 条目数
llm-inference 6
agent-framework 8
llmops 5
vector-db 1
rag 2
open-source 4
comparison 4
production 3
books 1
career 1
mlops 3
kubernetes 1
database 2

📋 九、后续行动建议

🔍 精读建议（Priority High）

  1. awesome-ai-agents-2026 — Agent 生态全景，建议精读并建立主题页
  2. Latitudeso AI Agent Observability 2026 对比 — 多 Agent 系统必须掌握可观测性差异
  3. Langfuse Alternatives 2026（Laminar） — 选型口诀实用，适合快速落地
  4. Stanford AI Index Report 2026 — 行业基准数据，建议核验后入行业研究页

📝 主题页更新建议

  • 新建 AI Agent 框架选型 专题页（整合 #8–#15）
  • 更新 LLMOps 可观测性 专题页（整合 #18–#20）
  • 更新 LLM 推理引擎 选型页（整合 #4–#7）

🔬 需核验项

  • GitHub Trending 原始链接（部分 URL 通过 tech blog 聚合，需回溯原始 repo）
  • Stanford AI Index Report 2026 完整报告下载链接（需确认官方发布状态）
  • Netflix ML Model Lifecycle Graph 官方 engineering blog 原始链接

DRAFT · Jay · 2026-06-14 · 不要直接提交 GitHub