AiNews
⚡ 速览 🧠 模型
← 返回首页

#load-balancing

包含标签 "load-balancing" 的文章,共 2 篇。

🛠️ 开发工具 V2EX

开源 GT AI Gateway 更新:支持负载均衡与故障自动切换

开源 GT AI Gateway 发布新版本,重点优化了多 API Key 分发、团队协作及网关稳定性。新版本支持多上游负载均衡与故障自动切换,允许将单个模型绑定官方、代理及备用等多个上游渠道。用户可配置粘性路由提升缓存命中率,或采用随机分发策略,并在渠道异常时无感切换。同时,该版本引入了细粒度限流与访问控制机制,支持按用户、模型和渠道进行限速,防止单用户耗尽配额,并提供基于用户的模型访问权限管理,满足开发团队统一管理和分发大模型 API 的实际需求。

🛠️ 开发工具 V2EX

GT AI Gateway 开源网关更新:支持负载均衡与限流

开源项目 GT AI Gateway 发布新版本,重点解决团队共享 API Key 时的用量控制与安全痛点。本次更新带来了多上游负载均衡与自动故障切换功能,支持将单个模型挂载多个上游渠道,提供固定路由与随机分配策略,并在渠道故障时实现无感切换。同时,新版本引入了细粒度的限流与访问控制机制,支持按用户、模型或渠道进行速率限制,有效防止单个用户耗尽上游额度。超限请求将收到明确的重试反馈,进一步保障了团队协作场景下 API 调用的稳定性。