V2EX
GT AI Gateway 开源网关更新:支持负载均衡与限流
开源项目 GT AI Gateway 发布新版本,重点解决团队共享 API Key 时的用量控制与安全痛点。本次更新带来了多上游负载均衡与自动故障切换功能,支持将单个模型挂载多个上游渠道,提供固定路由与随机分配策略,并在渠道故障时实现无感切换。同时,新版本引入了细粒度的限流与访问控制机制,支持按用户、模型或渠道进行速率限制,有效防止单个用户耗尽上游额度。超限请求将收到明确的重试反馈,进一步保障了团队协作场景下 API 调用的稳定性。
获取每日 AI 情报与羊毛福利
加入 Telegram 频道 @ainews_Go,第一时间接收精选资讯推送。