MiniCPM-V 2.5开源发布
MiniCPM团队正式发布MiniCPM-V 2.5端侧多模态模型。在4B参数量级以下，该模型在多项权威评测中表现突出，部分核心指标甚至对标甚至超越了部分主流闭源模型。其轻量化设计使得手机等边缘设备的本地部署成为可能，大幅降低了端侧AI应用的开发门槛，为开发者提供了一个高效、可落地的开源推理新选择。
PortableMind：基于USB的离线AI解决方案
PortableMind 是一项旨在实现 AI 模型便携化与离线运行的技术方案，允许用户将大模型环境部署在 USB 存储设备中。该项目通过优化本地推理流程，解决了在不同设备间迁移 AI 开发环境的痛点，无需依赖云端 API 或持续的网络连接。 核心技术实现上，该方案利用了轻量化模型架构与高效的本地推理引擎，确保在资源受限的硬件环境下仍能保持一定的响应速度。对于开发者而言，这一方案提供了极高的数据隐私保护与环境一致性，特别适用于敏感数据处理或网络受限的开发场景。该项目展示了边缘计算在个人开发工具链中的应用潜力，为构建无需云端依赖的本地 AI 工作流提供了参考路径。
小米推出 AI Cube：实现 1.22 TB/s 近存带宽优化大模型
小米推出全新的 AI Cube 硬件架构，主打近存计算技术，旨在突破本地运行大语言模型的内存带宽瓶颈。该方案的内存带宽达到 1.22 TB/s，能有效减少处理器与内存间的数据传输延迟和功耗，大幅提升模型推理的吞吐量与响应速度。通过这项技术，更大参数规模的模型可以直接在本地流畅运行，减少对云端算力的依赖。对于开发者而言，AI Cube 为边缘侧 AI 应用提供了更强悍的硬件底座，在构建本地 AI Agent 或隐私敏感型应用时，既能保证数据不出本地的安全性，又能获得接近云端的推理性能。
Axera AX8850 运行 GGUF 模型实践
在边缘端 AI 处理器 Axera AX8850 上运行 GGUF 格式大语言模型。通过对 GGUF 格式的支持，开发者可以在资源受限的嵌入式设备中高效加载与运行量化模型，降低边缘侧部署门槛。该实践展示了国产边缘 AI 硬件对主流开源模型生态的适配能力，为物联网设备的端侧大模型落地提供参考。
低配硬件运行本地大模型社区走红
Reddit 新社群 r/LowEndLocalAI 聚焦低配硬件的本地大模型部署。该社区主要探讨如何在老旧台式机、集成显卡以及 M1 MacBook Air 等显存受限的设备上运行 LLM。随着模型小型化和量化技术的普及，开发者正尝试在低功耗硬件上压榨出最大性能，这也让本地 AI 的实际应用门槛进一步降低。
独立开发者从零训练2.5亿参数量化模型
一名开发者分享了从头训练2.5亿参数大模型的实践过程。该模型基于300B规模的FineWeb数据集完成训练，并通过低于2位的量化技术，将模型部署包体积压缩至60MB，运行时内存占用仅约80MB。这一实践验证了在消费级或资源受限环境下定制训练轻量级模型的可行性，为边缘端部署提供了实用的参考方案。
开发者从零训练2.5亿参数量化大模型
开发者基于 FineWeb 数据集的 30B token，从零训练了一个 2.5 亿参数的大语言模型。通过低于 2-bit 的量化技术，模型部署包体积压减至 60 MB 以内，运行时内存占用约 80 MB，在普通笔记本 CPU 上不依赖 GPU 即可实现约 400 tok/s 的推理速度。在长文本处理上，该模型采用分层架构：最近 2048 个 token 维持常规 fp16 的 KV cache，早期历史数据则压缩至 1-bit 并持久化到磁盘（约 320 字节/token），令 100 万 token 的上下文历史仅需约 320 MB 磁盘空间，验证了小型量化模型在边缘端与长文本场景的落地潜力。
InclusionAI 发布 ling 3.0 flash 与 tiny 模型
Reddit 社区近日热议 InclusionAI 推出的 ling 3.0 flash 与 tiny 系列基础模型。这两款轻量级模型主打本地化部署与高效推理，社区开发者重点关注其架构设计、参数量级及边缘计算场景下的实际表现。随着轻量化模型的丰富，开发者在推进端侧 AI 应用时有了更多高性价比的选择，有助于进一步压低推理成本并增强本地运行的灵活性。
Ornith-1.5 9B 低配设备实测：中端游戏本跑小模型体验
开发者在 2024 年中端游戏本（4GB VRAM、16GB RAM）上实测了 Ornith-1.5 9B 等小型开源模型。结合医学物理研究的脚本生成场景，通过 6 项典型任务对比了 Ling-3.0 Tiny、Qwen 3.5 4B、Empero 2B/4B 及 Ornith-1.5 9B 的表现。测试表明，Ornith-1.5 9B 在硬件资源受限的边缘设备上具备不错的可用性，为低配环境下的本地模型部署提供了实际参考。
LFM2.5-2.6B 模型与 KV 缓存量化评测
Liquid AI 推出的 LFM2.5-2.6B 模型在轻量化架构中备受关注。本测试针对该模型的权重及 KV 缓存展开不同精度的量化验证，重点考察显存占用、推理吞吐量与生成质量之间的平衡。测试数据表明，合理的量化方案能在几乎不损失模型能力的前提下，显著降低本地部署和边缘端设备的硬件门槛，为资源受限场景下的模型落地提供直接的性能参考。
开发者热议：用 Google TPU 做本地推理到底行不行
Reddit 社区近日讨论了使用 Google TPU 进行模型推理的可行性。谷歌大规模自研 ASIC 芯片处理负载的做法引发了开发者关注：市面上那些形似 NVMe 接口的小型 TPU（如标称 40 TOPS 的设备），在本地或小规模场景中表现如何？讨论中，开发者将其与 NVIDIA RTX 5060 等显卡进行了性能对比，重点关注非 NVIDIA 硬件在本地推理、边缘计算中的性价比与实际落地价值。
我们需要怎样的AI NAS与智能Homelab？
本文源自V2EX关于“理想中的Homelab/AI NAS”的深度讨论。作者指出，传统的Homelab不应局限于硬盘存储和Docker容器，而应演进为能够理解用户数字生活的“个人AI助手”。核心诉求包括：利用本地AI实现碎片化笔记的语义关联与智能问答、照片与资料的自动分类整理，以及安全的内网穿透访问。讨论引发了开发者对AI NAS定义的思考，涉及本地部署显卡/NPU的必要性、数据隐私安全、功耗与噪音的权衡等现实问题。这反映了边缘AI（Edge AI）与本地私有化大模型在个人场景落地的真实需求，对于致力于AI Agent、本地知识库及智能硬件开发的创业者具有重要的场景参考价值。
施密特AI无人机命中率达70%，商业技术走向战场
前谷歌CEO埃里克·施密特（Eric Schmidt）支持的AI无人机项目在战场上取得了突破性进展，其自主攻击命中率已高达70%。该技术的核心在于将廉价的商业消费级硬件与先进的边缘AI算法相结合。 在技术实现上，这些无人机搭载了低功耗边缘AI芯片，运行本地计算机视觉和目标追踪算法。这使得无人机在面对强电子干扰、GPS信号丧失或通信中断的极端环境下，仍能实现自主的“末端锁定”与精准打击，彻底改变了传统电子战的博弈规则。 这一进展表明，基于开源和商业技术的AI Agent正在重塑现代冲突。对于AI开发者而言，这展示了边缘计算与自主控制在无网、高对抗环境下的巨大应用潜力，同时也敲响了AI武器化伦理的警钟。
Apple Watch 成功本地运行 Qwen 大模型
一位国内开发者近日在社区分享了将大模型部署至 Apple Watch 的极客尝试。该项目通过伞头文件（Umbrella Header）将 C++ 编写的 llama.cpp 桥接至支持 watchOS 的 Swift 程序中，成功在 Apple Watch S8 上本地运行了 Qwen3.5-0.8B-Q4_K_M 模型。在硬件表现上，Apple Watch S8 搭载的芯片在纯 CPU 计算下达到了约 0.27 token/s 的推理速度，峰值算力约为 iPhone 6s 的八成。虽然目前速度较慢、实用性有限，但该尝试验证了端侧小模型（SLM）在超便携可穿戴设备上运行的可行性。作者指出，若在支持 Metal 框架的新款 iPhone 上运行，速度可达上百 token/s。目前该项目已在 GitHub 开源（ETOS-LLM-Studio），支持 iOS 和 watchOS。
3B小模型跑通多智能体经济系统
Hugging Face 社区近日推出了一项名为“Thousand Token Wood”的创新实验，成功在 3B（30亿参数）的轻量级模型上运行了一个完整的多智能体经济系统。该项目通过精细的 Prompt 工程和结构化状态管理，让多个低参数智能体在虚拟世界中进行资源采集、交易、协作与决策。这一实践打破了“复杂智能体必须依赖超大模型”的固有认知，证明了端侧小模型在多智能体协同和游戏 NPC 模拟中的巨大潜力，为开发者提供了一种极低算力成本的 Agent 经济学实验范式。
Holo-3.1-0.8B发布：主打端侧轻量Agent
法国AI初创公司H（原Holistic AI）在Hugging Face发布了超轻量级模型Holo-3.1-0.8B。该模型参数量仅为8亿，专为端侧设备和低延迟Agent场景设计。尽管体积极小，但它在工具调用、多步推理和任务规划等Agent核心能力上进行了深度优化。对于开发者而言，该模型的推出显著降低了本地部署Agent的硬件门槛，使得在手机、PC等边缘设备上运行低延迟、高隐私的AI工作流成为可能。目前社区正积极探索其在特定垂直领域的微调潜力，是构建高能效比本地AI应用的新选择。
极客硬件Flipper One：掌上万能Linux主机
近日在 Linux.do 社区曝光的 Flipper One 概念硬件引发了开发者群体的广泛关注。这是一款巴掌大小、集成了极致软硬件革新元素的便携式 Linux 电脑。在配置上，它不仅拥有双千兆网口、Wi-Fi 6E、USB-C 高速网卡和 M.2 扩展，还支持 4G/5G/eSIM 以及前沿的卫星通信扩展。更令人瞩目的是，它集成了 SDR 无线电、本地 AI 加速器、GPIO 硬件接口、HDMI/DP 输出和可替换模块背板。凭借极强的多功能性，该设备可作为随身软路由、网络诊断仪、5G 随身 Wi-Fi、VPN 网关、便携 Linux 主机、无线电实验平台和硬件调试器使用。虽然目前仍处于概念和早期期待阶段，但其全能的设计为边缘计算和硬件开发提供了极大的想象空间。
手机端可运行的微型开源自动驾驶AI
该项目展示了一个可在智能手机上本地运行的微型开源自动驾驶AI系统。其核心技术在于极度轻量化的模型设计与端侧（Edge AI）推理优化，使移动设备在不依赖云端算力的情况下，能够实时处理摄像头输入并进行驾驶决策。对于开发者和AI创业者而言，该项目的开源不仅降低了自动驾驶技术的研发门槛，还为边缘计算、机器人控制以及低功耗设备上的实时视觉任务提供了极具价值的参考范式。它证明了复杂的具身智能（Embodied AI）任务可以通过模型压缩与硬件加速在消费级硬件上实现，为移动端AI应用开拓了新的想象空间。
谷歌AI Edge更新：支持Gemma 4与MCP
Google AI Edge Gallery 发布新版，重点支持 Gemma 4 多 Token 预测（MTP）与 Pixel TPU 硬件加速。同时引入实验性 MCP（模型上下文协议）支持，提升端侧 AI 的工具调用与上下文连接能力，并新增聊天历史保存功能。这极大优化了开发者在边缘端部署高性能 AI 应用的体验。