#model-size

知识库持续增长，大模型体积会无限膨胀吗？

围绕大模型知识库动态增长的技术讨论展开，核心探讨在不依赖模型量化压缩的前提下，持续摄入新知识是否会导致参数规模只增不减。同时，业内也在关注未来是否会出现突破现有 Transformer 架构的新理论，在保持或提升模型能力的同时实现体积的大幅压缩。这些探讨对理解模型架构演进路线与控制训练成本具有参考价值。