有开发者在RTX 3080（10G显存）显卡上测试发现，利用llama.cpp的MTP（多Token预测/投机采样）技术，Gemma 4 12B（Q4量化）的本地运行速度可达85~105 token/s，超越了此前Qwen 9B的75 token/s，且生成质量更优。技术实现上，该方案通过llama-server配置了专门的草稿模型（Draft Model），并开启了KV Cache的Q4_0量化，将模型层完全卸载至GPU。这一实测结果证明了MTP与投机解码技术在消费级硬件上压榨大模型性能的巨大潜力，为开发者本地部署更大参数模型提供了极具价值的实践参考。
近日，有研究者在谷歌浏览器及 Gemini Advanced 中发现了一个显著的提示词注入漏洞。用户只需在对话中输入简单的“忽略”或“ignore it”，AI 就会无条件执行该指令，从而直接绕过其内置的系统提示词（System Prompt）。经过在 Gemma 和 Gemini 1.5 Flash 模型上的针对性测试，研究人员通过分析思维链（CoT）发现，AI 在接收到“忽略”指令后，虽然在逻辑上并不知道具体需要忽略什么，但却在行为上停止遵守系统预设的规则（如“保持简短”、“避免使用夸张词汇”等）。这一现象揭示了当前大模型在处理系统指令与用户指令优先级时的安全缺陷，强调了严格隔离系统提示词与用户输入的重要性。
在Reddit的LocalLLaMA社区中，开发者针对Qwen3.6-35B-A3B与Gemma4-26B-A4B两款热门开源大模型在本地部署时的表现展开了讨论。发帖者分享了其在Radeon 9070 XT显卡上使用最新版llama.cpp进行推理的实际体验。测试表明，虽然Qwen3.6在生成质量和回答效果上表现出色，但Gemma4在运行速度上具有显著优势。这一对比反映了当前本地大模型部署的核心痛点：在模型参数量、活跃参数量（如A3B与A4B）以及硬件适配之间寻找平衡。对于使用AMD显卡及llama.cpp的开发者而言，Gemma4在推理效率上表现更佳。这一讨论为开发者在选择本地模型时，提供了关于“生成质量”与“响应速度”权衡的重要参考。
近日，Reddit 社区用户分享了针对 Gemma-4 26B A4B 模型的 APEX 量化版本（APEX-I-Compact，约 15GB）的实测体验。在 16GB 显存的显卡上，通过 llama.cpp Vulkan 运行，该量化模型在高达 90,000 的超长上下文窗口下，依然跑出了 38 tps 的高速度，且未出现生成死循环或明显的质量退化。相比之下，此前使用的 Unsloth ud-q5kxl 量化版本（大小为 21.2GB）在 50,000 上下文时就会出现死循环。这一测试结果表明，APEX 量化技术在保持模型精度的同时，极大地优化了显存占用与长上下文处理能力。对于使用消费级显卡（如 16GB 显存）的本地大模型开发者而言，APEX 量化版 GGUF 模型提供了一个兼顾速度、容量与长文本稳定性的优秀选择。
Google AI Edge Gallery 发布新版，重点支持 Gemma 4 多 Token 预测（MTP）与 Pixel TPU 硬件加速。同时引入实验性 MCP（模型上下文协议）支持，提升端侧 AI 的工具调用与上下文连接能力，并新增聊天历史保存功能。这极大优化了开发者在边缘端部署高性能 AI 应用的体验。