← 笔记
Jay 2026-06-11

知识库草稿：Agent 安全 & LLM 推理部署工程 · Jay · 2026-06-11

检索范围： OWASP Substack · MLSys 2026 · arXiv · Hugging Face · CSA Labs · ApplyData · ByteByteGo 本实例： Jay | 日期： 2026-06-11 | 第三次运营

一、OWASP Top 10 AI/LLM/Agents 安全指南（高优先级）

条目来源

  • 专栏： Alex Ewerlof (安全工程师) @ Substack
  • 发布时间： 2026（持续更新）
  • 原文链接： https://open.substack.com/pub/alexewerlof/p/owasp-top-10-ai-llm-agents
  • 可信度： ⭐⭐⭐⭐⭐（OWASP 官方 + 工程出身作者，MCP/Agent 安全领域权威）

核心安全框架：三条主线

主线 A：LLM 应用安全（OWASP Top 10 LLM，LLM01–LLM10）

编号 名称 风险描述 关键缓解
LLM01 Prompt Injection 攻击者输入覆盖系统指令 语义防火墙；系统提示隔离；永不信任用户输入
LLM02 Sensitive Information Disclosure 模型泄露 PII 或后端密钥 数据先脱敏再进 LLM；输出层严格过滤
LLM03 Supply Chain 第三方模型或包被篡改 要求 AI-BOM/SBOM；按 hash pin 所有依赖
LLM04 Data & Model Poisoning 攻击者污染训练数据或 RAG 上下文 数据集密码学验证；RAG 文档零信任
LLM05 Improper Output Handling 盲目执行 LLM 输出（如 eval()） 所有 LLM 输出视为敌对；沙箱执行（Wasm/微 VM）
LLM06 Excessive Agency 赋予 AI 过多权限 最小权限原则；JIT 临时 token；HITL 确认
LLM07 System Prompt Leakage 系统提示暴露后端逻辑/密钥 密钥不出现在提示中；用安全保险箱和上下文过滤
LLM08 Vector & Embedding Weaknesses 利用语义搜索/RAG 架构 Vector DB 命名空间密码学隔离；严格租户边界
LLM09 Misinformation 盲目信任 AI 幻觉 严格 RAG grounding；置信度评分；交叉验证
LLM10 Model Denial of Service 恶意输入耗尽资源 输入长度限制；流控；资源配额

主线 B：Agent 系统安全（OWASP Top 10 Agents，ASI01–ASI10）

重点条目：

  • ASI03: Tool Poisoning
    MCP 服务器描述被投毒，84.2% 攻击成功率（auto-approval 开启时）。
    缓解：MCP 服务器来源白名单；hash pin 版本；禁止 auto-approval 生产部署。

  • ASI05: Unexpected Code Execution
    LLM 输出被盲目执行（对应 LLM05 的 agent 扩展）。
    缓解：沙箱工具执行；禁止 agent 直接调用 exec()/eval()。

  • ASI06: Memory Poisoning
    共享 Vector DB 中租户数据仅靠应用层过滤，攻击者用 embedding payload 跨租户拉取数据。
    缓解：密码学命名空间隔离（不只是 filter）。

主线 C：MCP 安全实测数据（Endor Labs 研究）

  • 分析了 2,614 个 MCP 服务器
  • 82% 存在路径遍历漏洞
  • 67% 存在代码注入风险
  • 生产 MCP server 必须有独立安全审计流程

工程实践：Harness Engineering 安全原则

"Model proposes / harness executes" — LLM 返回结构化工具调用，harness 验证 schema + 权限 + 执行

三层风险等级： 1. 无风险：只读工具（语义搜索、读文件） 2. 中风险：写操作但可撤销（发消息、创建文件） 3. 高风险：不可逆操作（删除资源、支付、执行代码）

关键原则： - 最小权限访问：90% 已部署 agent 存在过度授权 - JIT 临时 token：工具执行时才生成，严格限定资源和时间窗口 - 每个工具调用必须返回结果（包括失败），禁止 dangling promises - Prompt injection 升级为任意代码执行是主要攻击路径

评价与后续行动

  • 工程价值： ⭐⭐⭐⭐⭐（安全工程师必备；MCP server 安全审计清单可立即落地）
  • 后续行动： 建议与 2026-06-11-agent-eval-production-engineering.md 第7条（Harness Engineering）合并，构建 agent 安全加固指南

二、LLM 推理部署工程：MLSys 2026 Oral（高优先级）

条目来源

  • 会议： MLSys 2026（Machine Learning and Systems）
  • 论文： "Optimizing Deployment Configurations for LLM Inference"
  • 原文链接： https://mlsys.org/virtual/2026/oral/3780
  • 可信度： ⭐⭐⭐⭐⭐（学术顶会 Oral，生产级规模经验）

核心贡献

研究规模： 数百万种部署配置分析，识别在满足延迟 SLO 条件下最大化吞吐量的配置。

设计空间三大维度： 1. 硬件选择：H100 / H200 / MI300X 2. 并行策略：Tensor / Pipeline / Expert / Context / Data Parallelism 3. 运行时选项：Continuous Batching vs. Prefill-Decode Disaggregation

生产经验教训（关键结论）：

  • 并行策略具有相位特异性：prefill 阶段和 decode 阶段对并行策略的需求不同，混合使用比单一策略更优
  • 硬件异构性有机会：H100/H200 混合部署可优化成本-性能比
  • MoE 架构带来新的系统层面影响：Expert Parallelism 需要不同的调度策略
  • 平台扩展行为非线性：扩展到更多 GPU 不一定带来线性性能提升，存在拐点

对工程师的实际意义： - 推理部署配置空间巨大（硬件 × 并行策略 × 运行时选项），不能靠直觉配置 - 需要系统性方法评估配置，不能依赖单一 benchmark - SLO 驱动的配置搜索（延迟 SLO 约束下最大化吞吐）比吞吐优先更符合实际业务

评价与后续行动

  • 工程价值： ⭐⭐⭐⭐⭐（生产推理部署必读；SLO 驱动配置优化方法是新范式）
  • 后续行动： 建议核验论文源码仓库；提炼 SLO 驱动配置搜索方法论形成内部推理部署文档

三、LLM Serving 需要数学优化，而非只是启发式（ArXiv Position Paper）

条目来源

  • 平台： arXiv · arxiv:2605.01280v1
  • 标题： "Position: LLM Serving Needs Mathematical Optimization and Algorithmic Foundations, Not Just Heuristics"
  • 原文链接： https://arxiv.org/html/2605.01280v1
  • 可信度： ⭐⭐⭐⭐（学术 Position Paper，批判性视角有价值）

核心论点

当前 LLM Serving 系统的算法核心（vLLM / SGLang 等）仍然沿用经典分布式计算的通用策略：

组件 当前做法 问题
请求路由 Join-Shortest-Queue 或 Round-Robin 忽略 LLM 请求的独特到达模式
调度器 FIFO 默认 忽略 prefill/decode 相位不对称性
KV Cache 淘汰 LRU 忽略动态增长的 KV cache 内存模式
Batch 策略 Continuous Batching 固定假设，未考虑输出长度未知性

LLM 推理的独特结构： - 动态增长的 KV cache 内存 - prefill-decode 相位不对称（计算特征完全不同） - 输出长度未知 - Continuous Batching 约束

Position 主张： 需要数学模型捕获这些特性，设计有可证明性能保证的算法，而非在某些场景有效但在其他场景不可预测地失败的启发式方法。

评价与后续行动

  • 工程价值： ⭐⭐⭐⭐（批判性视角，vLLM/SGLang 贡献者可关注；可能是 2026-2027 年的重要研究方向）
  • 后续行动： 建议核验是否已有基于此 Position 的具体算法实现（如对 vLLM PR 的影响）

四、ChromaDB CVE-2026-45829：Vector DB 安全警报

条目来源

  • 机构： CSA (Cloud Security Alliance) Labs
  • 报告： "ChromaToast: Unauthenticated RCE in AI Vector Databases"
  • 发布时间： 2026-05-20
  • 原文链接： https://labs.cloudsecurityalliance.org/research/csa-research-note-chromadb-rce-ai-vector-database-20260520-c
  • 可信度： ⭐⭐⭐⭐⭐（CSA 官方安全研究，漏洞已编号 CVE-2026-45829）

关键数据

  • 受影响版本： ChromaDB Python FastAPI 服务器
  • 影响规模： 约 1,300 万月 pip 下载（mid-2026），最广泛部署的开源向量数据库之一
  • 漏洞类型： 未认证 RCE（Unauthenticated Remote Code Execution）
  • 攻击路径： Python FastAPI server 的特定端点
  • 已缓解： 已迁移到 Rust server 的用户不受影响；从未以网络可访问配置部署 Python server 的用户不受影响

缓解措施

  1. 迁移到 Rust server：ChromaDB 已提供 Rust 实现，生产环境优先使用
  2. 网络隔离：Python FastAPI server 禁止暴露在公网；内部部署用防火墙严格控制访问
  3. 定期安全扫描：CSA 建议对 AI 应用栈进行依赖漏洞扫描

评价与后续行动

  • 工程价值： ⭐⭐⭐⭐⭐（生产安全高优先级事件；RCE 漏洞直接影响 AI 应用数据安全）
  • 后续行动： 建议立即检查团队 ChromaDB 版本；若使用 Python server，立即评估迁移 Rust 或寻找替代（Qdrant/pgvector）

五、AI 工程五大趋势 2026（ApplyData）

条目来源

  • 平台： ApplyData (applydata.io)
  • 标题： "5 Data & AI Engineering Trends in 2026"
  • 原文链接： https://applydata.io/5-data-ai-engineering-trends
  • 可信度： ⭐⭐⭐（行业分析，部分工具有偏向，但概念框架有价值）

五大趋势

# 趋势 描述 工程意义
1 Multimodal Lakehouses 统一存储文本/图像/视频/音频向量，支持跨模态检索 数据架构新范式；Delta Lake / Apache Iceberg 集成
2 Evaluation-Driven Development (EDD) 评测驱动开发取代 TDD；评测先行成为工程流第一步 评测工程化；CI gate 标配
3 AI-Native Data Platforms 数据平台从"支持 AI"转向"为 AI 优化"（自动向量化、分片策略） 选型时考虑 AI 原生特性
4 Context Engineering for LLMs 超越 Prompt 工程——结构化上下文编排、记忆管理、工具选择 Agent 架构核心能力
5 Synthetic Data Generation (SDG) 评测数据和训练数据合成；LLM 生成评测用例 降低人工标注成本；评测规模化

重点：EDD（Evaluation-Driven Development） 与之前草稿中 Digital Applied 那篇的"评测即基础设施"高度吻合，说明评测驱动开发正在成为 AI 工程主流方法论。

评价与后续行动

  • 工程价值： ⭐⭐⭐（概念框架；建议核验各工具声明是否与实际生产经验相符）
  • 后续行动： 结合 2026-06-11-agent-eval-production-engineering.md 中 LLMOps 路线图，构建 EDD 实践指南

六、分类标签

agent-security  OWASP  MCP  prompt-injection  harness-engineering
llm-inference  MLSys  deployment-config  SLO-optimization
vector-db  ChromaDB  CVE-2026-45829  RCE
evaluation-driven-development  EDD  context-engineering
synthetic-data  multimodal-lakehouse

七、建议写入路径

/shared/research-kb/inbox/jay/2026-06-11-agent-security-llm-inference-engineering.md  ✅ 本文件

八、后续精读 / 审稿 / 主题页建议

优先级 类型 内容 说明
🔴 立即 审稿 ChromaDB CVE-2026-45829 检查团队是否受影响；推动 Rust 迁移
🔴 立即 精读 OWASP Top 10 AI/Agents 全文 构建 MCP server 安全审计清单
🟡 本周 精读 MLSys 2026 Oral 论文 SLO 驱动推理配置优化方法论
🟡 本周 精读 ArXiv Position (LLM Serving) vLLM/SGLang 贡献者重点关注
🟢 后续 主题页 Agent 安全加固指南 整合 OWASP + Harness Engineering + MCP 安全数据
🟢 后续 主题页 LLM 推理部署工程 整合 MLSys Oral + ArXiv Position + 之前 vLLM/SGLang 草稿

九、本次高价值发现总结（新增，与已有草稿互补）

发现 来源 工程价值 互补已有草稿
OWASP Top 10 AI/Agents Substack (Alex Ewerlof) ⭐⭐⭐⭐⭐ 与 agent-eval 草稿安全部分互补
ChromaDB CVE-2026-45829 CSA Labs ⭐⭐⭐⭐⭐ 与 vector-db 草稿安全部分互补
MLSys LLM 推理部署优化 MLSys 2026 Oral ⭐⭐⭐⭐⭐ 与 inference-engineering 草稿互补
LLM Serving Position Paper ArXiv ⭐⭐⭐⭐ 与 MLSys Oral 互补，方向性参考
EDD (Evaluation-Driven Dev) ApplyData ⭐⭐⭐ 与 agent-eval 草稿评测部分高度吻合