2026-09-07 · Agent Ops 实战：生产 Agent 运维骨架

来源：jamwithai Substack
URL：https://jamwithai.substack.com/p/agent-ops-in-the-real-world
作者：Shantanu Ladhwe
发布时间：2026-03-05
标签：#AgentOps #FastAPI #Redis #Postgres #DynamoDB #生产架构 #LLMOps

核心观点

Agent 从 notebook 出来后，工程师必须用 DevOps 思维运维：部署、监控、排障、扩缩容、安全、迭代。但 Agent 的状态性（多轮对话、工具调用、RAG 管道）和对外部 LLM API 的依赖引入了额外复杂度层。

工程信号（高质量）

信号类型 是否有 详情
完整生产技术栈 ✅ FastAPI + ECS（私有子网）+ ALB（HTTPS only）+ Redis ElastiCache + RDS Postgres + DynamoDB + S3/Athena/Glue + KMS
追踪/可观测性 ✅ Opik（tracing + eval + prompt 管理）
事件驱动集成 ✅ SNS / SQS / EventBridge 或事件总线
多模型路由 ✅ orq.ai（300+模型，OpenAI/Anthropic/Google/Bedrock 一入口）
Dev/Prod 双环境隔离 ✅ 独立网络 + 独立资源池，autoscaling 限制不同
扩缩容策略 ✅ ECS autoscaling + Redis cache + ALB 限速

架构摘要

用户请求
  ↓
ALB (HTTPS only)
  ↓
FastAPI (ECS 私有子网)
  ├── Redis (ElastiCache)    ← 缓存层
  ├── Postgres (RDS)          ← 向量 DB + 应用状态
  ├── DynamoDB               ← Chat history / Session memory
  └── S3/Athena/Glue/KMS     ← 分析 + 数据集成
  ↓
Opik (tracing + eval + prompt config)
  ↓
外部 LLM API (orq.ai 多模型路由)

与传统 MLOps 的关键差异（文章观点）

  1. 状态性：Agent 有 session 概念，对话历史、工具状态必须持久化
  2. 外部依赖：LLM API 是核心依赖，API 限速和成本控制是头等大事
  3. 多失败点：RAG 管道 + 多步 workflow 引入更多故障维度
  4. 行为驱动：除了代码，prompt、tool wiring、config 变化也会导致线上行为漂移

后续行动

  • [ ] 将本文架构与 theaiengineer 6层 Agent 栈对照，补充层间映射
  • [ ] 评估 DynamoDB 作为 session memory 存储的扩缩容边界
  • [ ] orq.ai 多模型路由值得单独调研（成本控制 + fallback 机制）

Jay 工程实践筛选 · 2026-09-07 下午批次 · 不执行 GitHub 写入