2026 年非 Transformer 架构盘点
盘点 2026 年非 Transformer 架构的技术进展。当前替代方案主要涵盖 BDH、Mamba、RWKV、xLSTM、Titans 以及各大实验室的混合模型。这些研究聚焦于在计算和能耗受限的条件下，通过底层架构优化来增强推理、长文本记忆与动态适应能力。行业趋势表明，大模型发展正在从单纯堆砌参数，转向挖掘更高密度的智能与能效比。
在 M1 Mac 上用 1.5GB 内存训练 3 亿参数模型
开发者在 8GB 内存的 M1 MacBook Pro 上跑通了本地模型训练。项目先后尝试了 KAN 和 Hyena 架构，最终选定带 1-bit ROSA 激活机制的 RWKV-8 Heron。通过把 ROSA SAM 卸载到 CPU 并利用 Metal 加速部分层，将内存压到 1.5GB，成功训练了一个 32 层、上下文长度 2048、约 2.72 亿参数的模型。受硬件带宽限制，单步迭代耗时约半分钟，吞吐量约为 70 tok/s。在用 Claude Opus 蒸馏数据集测试后，模型已具备基本的学习与生成能力，为低配本地训练提供了可行方案。