V2EX
开源 GT AI Gateway 更新:支持负载均衡与故障自动切换
开源 GT AI Gateway 发布新版本,重点优化了多 API Key 分发、团队协作及网关稳定性。新版本支持多上游负载均衡与故障自动切换,允许将单个模型绑定官方、代理及备用等多个上游渠道。用户可配置粘性路由提升缓存命中率,或采用随机分发策略,并在渠道异常时无感切换。同时,该版本引入了细粒度限流与访问控制机制,支持按用户、模型和渠道进行限速,防止单用户耗尽配额,并提供基于用户的模型访问权限管理,满足开发团队统一管理和分发大模型 API 的实际需求。
获取每日 AI 情报与羊毛福利
加入 Telegram 频道 @ainews_Go,第一时间接收精选资讯推送。