Gemma-4 APEX量化实测：长上下文表现优异
近日，Reddit 社区用户分享了针对 Gemma-4 26B A4B 模型的 APEX 量化版本（APEX-I-Compact，约 15GB）的实测体验。在 16GB 显存的显卡上，通过 llama.cpp Vulkan 运行，该量化模型在高达 90,000 的超长上下文窗口下，依然跑出了 38 tps 的高速度，且未出现生成死循环或明显的质量退化。相比之下，此前使用的 Unsloth ud-q5kxl 量化版本（大小为 21.2GB）在 50,000 上下文时就会出现死循环。这一测试结果表明，APEX 量化技术在保持模型精度的同时，极大地优化了显存占用与长上下文处理能力。对于使用消费级显卡（如 16GB 显存）的本地大模型开发者而言，APEX 量化版 GGUF 模型提供了一个兼顾速度、容量与长文本稳定性的优秀选择。