AiNews
⚡ 速览 🧠 模型
返回首页
V2EX

GT AI Gateway 开源网关更新:支持负载均衡与限流

开源项目 GT AI Gateway 发布新版本,重点解决团队共享 API Key 时的用量控制与安全痛点。本次更新带来了多上游负载均衡与自动故障切换功能,支持将单个模型挂载多个上游渠道,提供固定路由与随机分配策略,并在渠道故障时实现无感切换。同时,新版本引入了细粒度的限流与访问控制机制,支持按用户、模型或渠道进行速率限制,有效防止单个用户耗尽上游额度。超限请求将收到明确的重试反馈,进一步保障了团队协作场景下 API 调用的稳定性。

获取每日 AI 情报与羊毛福利

加入 Telegram 频道 @ainews_Go,第一时间接收精选资讯推送。

立即加入

相关阅读