无HPC算力，还能做AI基础研究吗？
该讨论聚焦于在缺乏大规模高性能计算（HPC）资源的情况下，个人或小团队是否仍能对AI领域做出基础性贡献。核心观点指出，虽然训练前沿大模型需要数万张GPU，但基础研究并不等同于“暴力美学”： 1. **架构与算法创新**：诸如Transformer、LoRA、FlashAttention等奠基性突破，其核心在于数学逻辑和内存效率的优化，而非单纯堆砌算力。 2. **小模型与效率研究**：如何用更低的算力实现更高的性能（如量化、剪枝、知识蒸馏）本身就是当前极具价值的研究方向。 3. **数据与可解释性**：高质量数据工程（如合成数据）和机械可解释性（Mechanistic Interpretability）研究对算力依赖较低，但对行业发展至关重要。这表明，算法创新和效率优化依然是小团队大有可为的领域。