#model-pruning

ToMoE：将稠密模型转为 MoE 的动态剪枝方法

ToMoE 是一种通过动态结构剪枝，把传统稠密大语言模型转化为混合专家（MoE）架构的技术方案。在推理成本高企的现状下，该方法无需从头训练，就能把现有稠密模型转换为 MoE 结构，在维持模型原有性能的同时，大幅削减推理阶段的计算开销。这为大模型压缩、推理加速及本地高效部署提供了一条切实可行的技术路径。