Kong/kong · 上手攻略

  • 仓库：Kong/kong
  • 链接：https://github.com/Kong/kong
  • 分类：skill
  • 作者：Jay
  • 更新：2026-07-13

这是什么

Kong（Kong Gateway）是云原生、平台无关的可扩展 API & AI 网关，以高性能和通过插件的强扩展性著称。它不仅是传统 API 网关（代理、路由、负载均衡、健康检查、认证），还提供高级 AI 流量管理能力，包括多 LLM 提供商支持、MCP 流量安全与分析，以及 60+ AI 相关功能（语义缓存、语义路由、安全防护等）。

核心定位：统一 API + LLM + MCP 的入口层，让团队聚焦业务逻辑而非基础设施。

注意：Kong 是一个成熟且庞大的项目，本文聚焦于其 AI Gateway 能力的上手路径。

解决什么问题

AI 应用开发中常见的基础设施挑战： - LLM 提供商（OpenAI、Anthropic、Gemini……）API 各自不同，换一个提供商要改一堆代码 - 没有统一的认证、限流、监控，换提供商后历史数据丢失 - MCP 协议刚兴起，缺乏现成的基础设施来管 MCP 流量 - Agent 数量增加后，需要统一的安全策略和可观测性

Kong AI Gateway 在既有 API 网关成熟能力之上，叠加了 LLM 路由、安全、缓存、MCP 治理，让 AI 流量和普通 API 流量用同一套基础设施管理。

快速安装

Docker Compose（推荐，最快上手）

# 克隆 Docker 配置
git clone https://github.com/Kong/docker-kong
cd docker-kong/compose/

# 启动完整 Gateway 栈（含数据库）
KONG_DATABASE=postgres docker-compose --profile database up

启动后本地端口： - :8000 — 接收外部流量（通过 Kong 访问后端服务） - :8001 — Admin API（配置 Kong） - :8002 — Kong Manager（Web UI）

AI Gateway 快速启动（独立演示）

curl -Ls https://get.konghq.com/ai | bash

运行此命令可获得一个预配置了 AI Proxy 插件的 Kong 实例。

Kubernetes 部署

# 使用官方 Kubernetes Ingress Controller
helm install kong kong/ingress -n kong --create-namespace

核心用法

1. 基础代理配置（Admin API）

添加一个上游服务：

curl -i -X POST http://localhost:8001/services \
  --data name=my-service \
  --data url=http://httpbin.org/anything

添加路由：

curl -i -X POST http://localhost:8001/services/my-service/routes \
  --data 'paths[]=/api' \
  --data strip_path=true

2. 启用 AI Proxy（多 LLM 统一入口）

安装 Kong Gateway 后，通过 Admin API 启用 AI Proxy 插件（具体配置参数参考 https://docs.konghq.com/hub/kong-inc/ai-proxy/）：

# 示例：为某路由启用 AI Proxy（路由到多个 LLM 提供商）
curl -X POST http://localhost:8001/routes/my-route/plugins \
  --data name=ai-proxy \
  --data config.route_type=llm/v1/chat \
  --data config.providers[1].name=openai \
  --data config.providers[1].api_key=${OPENAI_API_KEY}

支持的 LLM 提供商（截至 2026 年中）： OpenAI、Anthropic、GCP Gemini、AWS Bedrock、Azure AI、Databricks、Mistral、Hugging Face 等。

3. MCP 流量管理

Kong 内置 MCP 安全与可观测性： - MCP 流量治理（MCP traffic governance） - MCP 安全防护（MCP security） - MCP 自动从 RESTful API 生成 MCP Server

4. AI 缓存与路由

# 启用语义缓存（semantic caching）
curl -X POST http://localhost:8001/routes/my-route/plugins \
  --data name=ai-semantic-cache \
  --data config.enabled=true

语义路由可基于请求内容动态路由到不同模型（优化成本/延迟/可用性）。

5. 声明式配置（decK）

推荐使用 decK 管理 Kong 配置（声明式，Git 友好）：

# 导出当前配置
deck gateway dump -o kong.yaml

# 应用配置变更
deck gateway sync kong.yaml

典型适用场景

  1. 多 LLM 提供商统一入口：一套 API 访问所有 LLM 提供商，后端换模型无需改动客户端代码
  2. AI 流量限流与计费：对不同团队/用户设置 token 限额，按 LLM 提供商分别计费
  3. MCP 安全防护：对 MCP 流量进行认证、鉴权、审计，防止 MCP Server 被滥用
  4. AI 响应语义缓存：相同语义的问题返回缓存结果，节省 token 成本
  5. 混合云/多云 LLM 部署：Kong 支持任意基础设施（K8s、虚拟机、容器），统一管理跨环境 AI 流量

坑与注意

  1. 学习曲线较陡：Kong 本身功能极多（插件系统、声明式配置、K8s Ingress Controller），完整掌握需要时间，建议先从 Docker 快速起步玩转基础功能
  2. AI Proxy 插件为 Kong Gateway 商业版功能：部分高级 AI 功能（如多提供商路由）可能需要 Enterprise 订阅，查看 https://docs.konghq.com/hub/kong-inc/ai-proxy/ 确认许可证要求
  3. Lua 插件开发：写自定义插件需要学 Lua（Kong 主要语言），但 Go 和 JS 外部插件也有官方支持
  4. 数据库选型：默认用 PostgreSQL，注意生产环境的数据库高可用配置
  5. 版本兼容性：Kong 版本更新频繁，大版本间配置格式可能不兼容，升级前仔细看 Changelog

与同类对比

工具 定位 LLM 路由 MCP 支持 规模
Kong AI Gateway API + AI + MCP 网关 多提供商原生 原生 企业级
PortKey AI 网关（纯 SaaS） 多提供商 有限 SaaS
Cloudflare AI Gateway 边缘 AI 网关 多提供商 有限 边缘
Apache APISIX API 网关（插件） 插件支持 插件 企业级

核心差异：Kong 是唯一一个将 API 网关成熟能力（路由、认证、限流）和 AI 能力（MCP、安全、缓存）融合在同一开源项目中的方案；PortKey 和 Cloudflare AI Gateway 更偏纯 SaaS，管理平面受限。

一句话推荐结论

如果你已经在用 Kong 作为 API 网关，Kong AI Gateway 是给你的 AI 流量治理最小阻力路径；如果还没用 Kong 但需要管理多 LLM 提供商和 MCP 流量，值得评估其学习曲线是否值得换来的一致性收益。

来源：GitHub README、developer.konghq.com/ai-gateway/、Kong AI Gateway 官方文档