基础模型研究院开源 K2-Horizon 系列模型
基础模型研究院（IFM）在 HuggingFace 上线 K2-Horizon 系列开源模型，覆盖多种参数规模与架构。此次发布包含 7B 与 32B 稠密模型，其中 32B 版本暂处第一阶段检查点状态；同时推出 36B 激活 4B（A4B）与 375B 激活 23B（A23B）的 MoE 模型。此前，该机构已发布 0.9B 和 3.7B 轻量化版本。这些不同量级的模型为开发者进行定制化开发、微调及架构探索提供了丰富的开源选择。
通过调整MoE路由策略提升推理效率：无需重训练的优化方案
一种针对稀疏混合专家模型（MoE）的推理优化技术。研究发现，在不进行任何重训练或微调的前提下，通过在推理阶段动态调整路由策略，可以显著提升模型性能。核心实现逻辑在于：在Transformer模型的后半部分层级中，增加专家选择数量（N≥K），并对额外选中的专家应用线性衰减因子，而保持早期层级不变。实验数据表明，该方法在Qwen 35B A4B+模型上实现了推理Token消耗降低8.5%的效果。对于开发者而言，该方案提供了一种低成本、高效率的推理加速思路，无需消耗算力资源进行模型重训，即可在现有MoE架构上实现推理性能的优化。
Qwen4Exp架构：结合N-gram与MoE的参数卸载方案
Qwen4Exp架构通过引入N-gram模块，将部分模型参数卸载至SSD存储，改变了传统的纯MoE路线。核心思路在于利用MoE处理推理，而用N-gram承担信息召回。在不明显损失性能的前提下，该方案可将高达约25%的权重卸载到SSD。以176B模型为例，优化后转变为125B常驻RAM外加51B调用SSD的结构，显著降低了运行大模型对内存的硬件门槛。
RTX 5090 与 3090 运行 Qwen3.8-Flash-Next 实测
在 RTX 5090 与 RTX 3090 双卡异构环境下，成功部署 Qwen3.8-Flash-Next（125B MoE 架构，6B 激活参数，48层）。实验采用 unsloth UD-Q4_K_XL GGUF 量化版本，模型体积约 111 GB。通过基于 llama.cpp 分支构建的服务端，修复了图节点预算、量化 KV 缓存及回滚支持等兼容性问题。最终在双卡环境下跑出了约 30 token/s 的推理速度，为在消费级硬件上部署大规模 MoE 模型提供了可行的性能参考。
ToMoE：将稠密模型转为 MoE 的动态剪枝方法
ToMoE 是一种通过动态结构剪枝，把传统稠密大语言模型转化为混合专家（MoE）架构的技术方案。在推理成本高企的现状下，该方法无需从头训练，就能把现有稠密模型转换为 MoE 结构，在维持模型原有性能的同时，大幅削减推理阶段的计算开销。这为大模型压缩、推理加速及本地高效部署提供了一条切实可行的技术路径。
Ornith-1.5-35B-A3B在4070Ti上跑出60tk/s
在RTX 4070Ti上测试Ornith-1.5-35B-A3B MoE模型时，通过将核心活跃专家参数塞满显存、其余部分卸载至内存的策略，生成速度达到了约60 tokens/s，同时留出约1GB显存用于KV缓存。这种精细的显存协同方案证明，中端硬件同样能高效跑起较大规模的MoE模型，为主流开发者本地部署大模型提供了一个可行的优化思路。
探秘中国AI实验室：算力受限下的技术突围
本文深入剖析了中国AI实验室（如DeepSeek、阿里Qwen等）在面临美国先进GPU出口管制背景下的生存与突围现状。核心结论指出，中国团队并未因算力受限而停滞，反而通过极致的工程优化和架构创新实现了弯道超车。例如，DeepSeek 凭借多头潜在注意力机制（MLA）和独创的 MoE（混合专家）架构，在大幅降低显存和计算成本的同时，保持了媲美西方顶尖模型的性能。此外，中国实验室在数据清洗、合成数据生成以及算力集群的高效调度上积累了深厚经验。对于全球开发者和创业者而言，中国开源模型的高性价比优势，不仅打破了闭源巨头的垄断，也极大降低了AI应用的落地门槛，正在重塑全球AI应用生态。
llama.cpp HIP优化：gfx900预填充用hipBLAS，MoE保留MMQ
llama.cpp 是一个广受欢迎的轻量级大模型推理引擎，其对多种硬件平台的支持是其核心优势之一。本次在 ggml-org/llama.cpp 仓库中提出的 Pull Request #24588，专注于对 AMD GPU 的 HIP 后端进行关键性能优化，特别是针对 gfx900 系列架构（如 Vega、MI25/50/60 等）。 该 PR 的核心在于优化 LLM 推理过程中的两个关键阶段： 1. **密集预填充 (Dense Prefill) 阶段：** 在处理初始提示词（prompt）的预填充阶段，涉及大量的密集型矩阵乘法运算。此优化建议在 gfx900 架构的 AMD GPU 上，将这些密集计算任务切换到使用 hipBLAS 库。hipBLAS 是 AMD 官方提供的高度优化的基础线性代数子程序库，专为 AMD GPU 设计，预计能显著提升预填充阶段的计算效率和速度。 2. **MoE (Mixture-of-Experts) 模型计算：** 对于采用 MoE 架构的大模型，其计算模式具有稀疏性。PR 明确指出，对于 MoE 模型，应继续沿用现有的 MMQ（Matrix Multiplication Quantization 或相关优化）策略，而非统一切换到 hipBLAS。这表明 MMQ 可能更适合 MoE 模型的稀疏计算特性，或在 MoE 场景下能提供更优的性能。 这项优化对中国开发者和 AI 创业者具有重要实际影响。它不仅有望大幅提升在 AMD gfx900 系列 GPU 上运行 llama.cpp 进行 LLM 推理的预填充速度，缩短模型响应时间，而且确保了对 MoE 这类先进模型架构的有效支持。通过持续优化 llama.cpp 对 AMD 硬件的兼容性和性能，将进一步降低开发者在 AMD 平台上部署和运行大模型的门槛，促进 AMD GPU 在 AI 推理领域的应用和生态发展。
OpenPangu开源进展引发社区关注
近日，开发者社区 Linux.do 掀起关于“OpenPangu（盘古）大模型是否于6月30日逐步开源”的热烈讨论。尽管目前开源平台上尚未看到最新的模型权重上传，但该消息已引发 AI 开发者和创业者的广泛关注。社区讨论的核心焦点在于一款传闻中的“92B A6B”规格模型。从参数命名推测，这极可能是一款采用混合专家（MoE）架构的大模型，拥有 920 亿总参数量，单次激活参数约为 60 亿。开发者对此寄予厚望，并将其与同等量级的其他国产大模型进行对比，期望 OpenPangu 能在保持较低推理成本的同时，提供更优异的性能表现。对于国内 AI 创业者而言，高性价比的 MoE 开源模型是降低应用落地成本的关键，OpenPangu 的开源进展将为大模型生态提供更多样化的基座选择。
详解 DeepSeek 稀疏注意力与推理优化
DeepSeek 的稀疏注意力机制（特别是其创新的多头潜在注意力机制 MLA）是其实现高性能、低成本推理的核心技术。传统 Transformer 在生成长文本时面临巨大的 KV Cache 内存瓶颈，而 DeepSeek 通过将键值（KV）投影压缩为低维潜在向量，在推理时动态解压，大幅减少了显存占用并提升了吞吐量。此外，DeepSeek 结合了混合专家模型（MoE）中的细粒度专家路由与块稀疏注意力（Block-Sparse Attention），使模型在保持极高参数量的同时，仅激活一小部分计算单元。这一技术突破对开发者和 AI 创业者意义重大：它不仅证明了在有限算力硬件上运行超大规模模型的可行性，还通过开源架构为社区提供了极具性价比的微调与部署方案，显著降低了构建长上下文 AI 应用的门槛。
RAG场景下该选稠密模型还是MoE？
本文探讨了在构建大规模检索增强生成（RAG）系统时，选择稠密模型（Dense）还是混合专家模型（MoE）的架构考量。MoE模型虽然推理速度快、激活参数少，但在RAG场景下存在显存占用（VRAM）巨大的问题，因为必须将所有专家参数加载到内存中，这对本地部署极不友好。其次，在处理长上下文和复杂检索信息时，MoE的路由机制可能导致上下文关联性减弱，而稠密模型在长文本表征和注意力机制上通常表现更稳定。此外，稠密模型在量化后的性能损耗比MoE更可控。因此，若侧重本地低成本部署、长文本检索的精确度与稳定性，高参数量的稠密模型依然是开发者的首选；若显存充足且追求极致推理速度，则可考虑MoE。
Cohere开源218B MoE模型Command A+
Cohere 正式开源了其最新的 218B（2180亿参数）混合专家（MoE）模型 Command A+。该模型最大的技术突破在于其极高的运行效率，经过优化后仅需两块英伟达 H100 GPU 即可部署运行。Command A+ 专为企业级应用设计，在检索增强生成（RAG）、多步骤工具调用（Agent 智能体工作流）以及多语言处理（支持10种以上语言）方面表现优异。对于开发者和 AI 创业者而言，这一开源极大地降低了私有化部署超大参数规模 MoE 模型的硬件门槛。它不仅提供了媲美闭源大模型的推理与代码能力，还通过高效的架构设计大幅降低了实际推理成本，为构建高性价比、高隐私安全性的企业级 AI 应用和 Agent 解决方案提供了全新的开源选择。
RTX5080跑Qwen3.6：128k上下文56t/s
开发者在RTX 5080 (16GB)上测试了Qwen3.6 35B MoE（Q4_K_XL量化），在128k长上下文（模拟真实编程Agent）下速度达56 tok/s。令人意外的是，尽管llama.cpp最新合并了多Token预测（MTP）支持，但在该高上下文配置下MTP并未带来性能提升。这为本地长文本推理优化提供了重要参考。
4张2080Ti本地运行DeepSeek-V4
开发者分享了低成本本地运行DeepSeek-V4-Flash（284B参数）的方案。仅需不到2500美元，利用4张旧款RTX 2080 Ti显卡，通过定制Turing内核与W8A8量化，实现了255 tokens/s的Prefill速度。该实践证明了无需昂贵的新一代GPU，利用旧硬件和深度优化也能高效运行前沿MoE模型，极具实用价值。