AI Gateway 是什么？

直接定义

AI Gateway 是应用与模型提供商之间的请求控制层。它把模型调用的认证、路由、观测和韧性策略集中在一个入口，但模型选择规则、数据边界和失败降级仍必须由团队明确配置和验证。

常见能力

公开产品文档常见能力包括请求日志、token 与费用观测、缓存、速率限制、重试和模型或提供商回退。能力是否存在、默认是否启用以及失败时会调用哪个上游，都取决于具体实现。

与 API Gateway 及 RAG 的区别

通用 API Gateway 管理多类 API 的鉴权、路由和限流；AI Gateway 增加模型调用、token、流式响应、模型回退等关注点。RAG 解决如何检索外部证据供生成使用；网关解决调用模型服务时的统一控制与治理，两者可以配合。

何时需要

当应用需统一管理多个模型或提供商、集中观测请求与错误、配置重试或回退，或将上游凭据和策略从业务代码抽离时，网关值得评估。只有一个稳定上游且没有这些治理需求时，直接调用可能更简单。

实施与验证清单

明确允许的模型与数据流向；记录请求标识、模型、上游、延迟、错误和降级结果；分别测试限流、超时、流中断和回退；确认密钥和日志保留策略；用真实负载衡量延迟与成本。不要把已接入网关写成可靠性或成本已经改善的证据。

常见问题