通过调整MoE路由策略提升推理效率：无需重训练的优化方案

一种针对稀疏混合专家模型（MoE）的推理优化技术。研究发现，在不进行任何重训练或微调的前提下，通过在推理阶段动态调整路由策略，可以显著提升模型性能。核心实现逻辑在于：在Transformer模型的后半部分层级中，增加专家选择数量（N≥K），并对额外选中的专家应用线性衰减因子，而保持早期层级不变。实验数据表明，该方法在Qwen 35B A4B+模型上实现了推理Token消耗降低8.5%的效果。对于开发者而言，该方案提供了一种低成本、高效率的推理加速思路，无需消耗算力资源进行模型重训，即可在现有MoE架构上实现推理性能的优化。