先决定信任边界
网关会看到 Prompt、响应、元数据和服务商 Key。敏感产品要先决定这一层应托管在平台、部署在自己的云上，还是放在边缘侧。
大模型 API 网关对比
2026年免费 LLM 网关平台对比
对比适合生产级大模型应用的 AI 网关和模型路由平台：统一 API、多模型接入、故障降级、分析、缓存、Key 隔离和成本控制。本页聚焦全球知名平台，不收录私人或小型中转站。
网关信息核对时间: 2026-05-23
全球 AI Gateway 与模型路由矩阵
用这张表判断网关应放在技术栈的哪个位置：边缘网关、模型市场、自托管代理，或可观测性优先的控制平面。
| 提供商 | 类型 | 模型接入 | 路由 / 降级 | 可观测性 | 成本控制 | 适合场景 | 关键限制 | 来源 |
|---|---|---|---|---|---|---|---|---|
Cloudflare AI GatewayCLOUDFLARE-AI-GATEWAY | 边缘网关 | 将主流模型服务商接入同一个边缘端点 | 支持降级、重试、服务商路由和 AI Search 集成 | 日志、分析、请求追踪和评测 | 缓存、限流、用量可视化和 Key 隔离 | 已经使用 Cloudflare Workers、Pages 或边缘安全能力的团队 | 当流量本身已经靠近 Cloudflare 边缘网络时价值最大。 | 访问官网 ↗ |
OpenRouterOPENROUTER | 模型市场路由 | 用一个 API 接入大量商业模型和开源模型端点 | 服务商选择、模型路由、降级和 OpenAI 兼容调用 | 请求活动、用量和服务商级元数据 | 集中账单、价格比较、消费限制和 BYOK 选项 | 无需逐个接 API，就能快速横向实验不同模型 | 模型市场路由会在应用和模型厂商之间增加一个依赖层。 | 访问官网 ↗ |
Vercel AI GatewayVERCEL-AI-GATEWAY | 前端平台网关 | 通过 Vercel 工具链统一访问多个模型服务商 | 为 AI SDK 应用提供服务商抽象和部署原生路由 | 在 Vercel 工作流内查看用量和平台级可见性 | 集中项目用量，并减少前端团队直接管理的服务商 Key | 在 Vercel 部署 Next.js 与 AI SDK 大模型应用的团队 | 当应用本身已经部署在 Vercel 时最自然。 | 访问官网 ↗ |
PortkeyPORTKEY | 企业级 AI 网关 | 统一接入 OpenAI 兼容、Anthropic、Google 等服务商 | 负载均衡、降级、重试、护栏和策略控制 | 追踪、日志、分析、评测和 Prompt 管理 | 预算、缓存、限流、虚拟 Key 和组织级控制 | 需要围绕多个模型服务商做治理的团队 | 控制平面比简单代理更完整，团队需要规划归属和上线方式。 | 访问官网 ↗ |
LiteLLM ProxyLITELLM-PROXY | 开源代理 | 以 OpenAI 兼容代理接入大量托管和自托管模型 API | 支持降级、重试、预算、团队和服务商级路由规则 | 日志、回调、花费追踪和监控工具集成 | 自托管控制 Key、预算、限流和模型访问权限 | 想掌控网关，又不想绑定单一托管平台的工程团队 | 自托管意味着你要负责可用性、升级和运维安全。 | 访问官网 ↗ |
HeliconeHELICONE | 可观测性网关 | 面向主流大模型服务商的代理与网关层 | 为 AI 请求提供路由、缓存、限流和实验能力 | 详细日志、追踪、仪表盘、会话和 Prompt 分析 | 用量报告、请求级成本、缓存和团队可见性 | 优先需要大模型监控，再逐步做网关治理的团队 | 它更偏可观测性优先，路由治理需求要仔细对比。 | 访问官网 ↗ |
按网关模式快速选择
如何选择大模型 API 网关
区分实验与生产
模型市场非常适合测试大量模型。生产流量还需要稳定的服务商契约、故障行为、审计记录和可预测延迟。
按任务路由，而不是按品牌路由
把流量拆成抽取、聊天、代码、总结、RAG 和安全敏感路径，再为每条路径设置模型档位、重试和降级规则。
日志要够用，但不要全收
好的网关日志应能帮助排查延迟、成本和质量问题，也应支持脱敏、保留期限和更安全的用户隐私数据处理。
相关分类
AI Gateway 常见问题
大模型 API 的 AI Gateway 是什么？+
AI Gateway 是应用和模型服务商之间的控制层。它可以集中管理 API Key、路由请求、失败重试、缓存重复 Prompt、记录用量、执行预算限制，并在不改应用代码的情况下切换服务商。
OpenRouter 和 Cloudflare AI Gateway 是同一种东西吗？+
不是。OpenRouter 更像模型市场和模型路由器，可以访问大量模型端点。Cloudflare AI Gateway 则是放在你使用的模型服务商前面的边缘网关，提供可观测性、缓存、策略和路由控制。
应该使用托管 AI Gateway，还是自托管 LiteLLM Proxy？+
如果更重视上线速度、托管运维、仪表盘和团队工作流，可以用托管网关。如果团队需要部署控制、私有网络位置、自定义服务商规则或更严格的 Key 治理，可以自托管 LiteLLM Proxy。
LLM 网关能降低 API 成本吗？+
可以，但不是自动发生。成本节省通常来自 Prompt 缓存、按任务路由模型、降级到更便宜模型、限流、预算控制，以及看清哪些用户或功能产生了昂贵请求。
小型私人 LLM API 中转站适合生产使用吗？+
生产使用风险较高，因为你很难确认它们的安全能力、服务商合约、数据处理方式、可用性和计费可靠性。生产应用应优先选择成熟网关、官方模型 API，或自己可控的自托管代理。