经典Scaling Laws曝Bug：语言特性影响缩放
前 OpenAI 大模型优化专家 Diogo Almeida 近日发表博客《Scaling Laws, Honestly》，指出最初版本的 Scaling Laws（缩放定律）存在 Bug，导致其学术曲线设定存在偏差。比 Bug 本身更具启发性的是研究人员随后的推论：语言本身的特性对缩放定律有巨大影响。实验表明，在相同架构下，一个针对法语训练的模型在仅使用 1.75 亿（175M）Token 时，其验证探针的准确率就达到了 100%；而相同的架构在英语上训练时，消耗了超过 30 亿（3B）Token 却依然存在损耗。这一发现对大模型开发者具有重要启示：大模型的缩放效率并非绝对统一，不同语言的信息密度和语法结构会直接改变模型收敛所需的资源量。在构建多语言或特定语种模型时，不能盲目套用基于英语得出的经验公式。