开发者训练 2 万参数超小模型 MacroStories
开发者成功训练了名为 MacroStories 的极简语言模型，参数量仅 19,969 个，FP32 模型大小为 81 KB。该模型体量比经典的 100 万参数 TinyStories 还要小约 50 倍，采用 32 维隐藏状态与 378 个 token 的词表。在极端受限的参数和存储条件下，该模型依然保留了基础的文本故事生成能力。这项实验展示了超小型语言模型的技术极限，也为资源优化提供了实用的参考数据。
开发者成功训练了名为 MacroStories 的极简语言模型，参数量仅 19,969 个，FP32 模型大小为 81 KB。该模型体量比经典的 100 万参数 TinyStories 还要小约 50 倍，采用 32 维隐藏状态与 378 个 token 的词表。在极端受限的参数和存储条件下，该模型依然保留了基础的文本故事生成能力。这项实验展示了超小型语言模型的技术极限，也为资源优化提供了实用的参考数据。