在 M1 Mac 上用 1.5GB 内存训练 3 亿参数模型

开发者在 8GB 内存的 M1 MacBook Pro 上跑通了本地模型训练。项目先后尝试了 KAN 和 Hyena 架构，最终选定带 1-bit ROSA 激活机制的 RWKV-8 Heron。通过把 ROSA SAM 卸载到 CPU 并利用 Metal 加速部分层，将内存压到 1.5GB，成功训练了一个 32 层、上下文长度 2048、约 2.72 亿参数的模型。受硬件带宽限制，单步迭代耗时约半分钟，吞吐量约为 70 tok/s。在用 Claude Opus 蒸馏数据集测试后，模型已具备基本的学习与生成能力，为低配本地训练提供了可行方案。