AiNews
⚡ 速览 🧠 模型
← 返回首页

#edge-ai

包含标签 "edge-ai" 的文章,共 6 篇。

🛠️ 开发工具 V2EX

Apple Watch 成功本地运行 Qwen 大模型

一位国内开发者近日在社区分享了将大模型部署至 Apple Watch 的极客尝试。该项目通过伞头文件(Umbrella Header)将 C++ 编写的 llama.cpp 桥接至支持 watchOS 的 Swift 程序中,成功在 Apple Watch S8 上本地运行了 Qwen3.5-0.8B-Q4_K_M 模型。在硬件表现上,Apple Watch S8 搭载的芯片在纯 CPU 计算下达到了约 0.27 token/s 的推理速度,峰值算力约为 iPhone 6s 的八成。虽然目前速度较慢、实用性有限,但该尝试验证了端侧小模型(SLM)在超便携可穿戴设备上运行的可行性。作者指出,若在支持 Metal 框架的新款 iPhone 上运行,速度可达上百 token/s。目前该项目已在 GitHub 开源(ETOS-LLM-Studio),支持 iOS 和 watchOS。

🤖 AI Agent huggingface

3B小模型跑通多智能体经济系统

Hugging Face 社区近日推出了一项名为“Thousand Token Wood”的创新实验,成功在 3B(30亿参数)的轻量级模型上运行了一个完整的多智能体经济系统。该项目通过精细的 Prompt 工程和结构化状态管理,让多个低参数智能体在虚拟世界中进行资源采集、交易、协作与决策。这一实践打破了“复杂智能体必须依赖超大模型”的固有认知,证明了端侧小模型在多智能体协同和游戏 NPC 模拟中的巨大潜力,为开发者提供了一种极低算力成本的 Agent 经济学实验范式。

🧠 模型动态 Reddit

Holo-3.1-0.8B发布:主打端侧轻量Agent

法国AI初创公司H(原Holistic AI)在Hugging Face发布了超轻量级模型Holo-3.1-0.8B。该模型参数量仅为8亿,专为端侧设备和低延迟Agent场景设计。尽管体积极小,但它在工具调用、多步推理和任务规划等Agent核心能力上进行了深度优化。对于开发者而言,该模型的推出显著降低了本地部署Agent的硬件门槛,使得在手机、PC等边缘设备上运行低延迟、高隐私的AI工作流成为可能。目前社区正积极探索其在特定垂直领域的微调潜力,是构建高能效比本地AI应用的新选择。

🛠️ 开发工具 LINUX DO

极客硬件Flipper One:掌上万能Linux主机

近日在 Linux.do 社区曝光的 Flipper One 概念硬件引发了开发者群体的广泛关注。这是一款巴掌大小、集成了极致软硬件革新元素的便携式 Linux 电脑。在配置上,它不仅拥有双千兆网口、Wi-Fi 6E、USB-C 高速网卡和 M.2 扩展,还支持 4G/5G/eSIM 以及前沿的卫星通信扩展。更令人瞩目的是,它集成了 SDR 无线电、本地 AI 加速器、GPIO 硬件接口、HDMI/DP 输出和可替换模块背板。凭借极强的多功能性,该设备可作为随身软路由、网络诊断仪、5G 随身 Wi-Fi、VPN 网关、便携 Linux 主机、无线电实验平台和硬件调试器使用。虽然目前仍处于概念和早期期待阶段,但其全能的设计为边缘计算和硬件开发提供了极大的想象空间。

🧠 模型动态 Reddit

手机端可运行的微型开源自动驾驶AI

该项目展示了一个可在智能手机上本地运行的微型开源自动驾驶AI系统。其核心技术在于极度轻量化的模型设计与端侧(Edge AI)推理优化,使移动设备在不依赖云端算力的情况下,能够实时处理摄像头输入并进行驾驶决策。对于开发者和AI创业者而言,该项目的开源不仅降低了自动驾驶技术的研发门槛,还为边缘计算、机器人控制以及低功耗设备上的实时视觉任务提供了极具价值的参考范式。它证明了复杂的具身智能(Embodied AI)任务可以通过模型压缩与硬件加速在消费级硬件上实现,为移动端AI应用开拓了新的想象空间。

🛠️ 开发工具 Reddit

谷歌AI Edge更新:支持Gemma 4与MCP

Google AI Edge Gallery 发布新版,重点支持 Gemma 4 多 Token 预测(MTP)与 Pixel TPU 硬件加速。同时引入实验性 MCP(模型上下文协议)支持,提升端侧 AI 的工具调用与上下文连接能力,并新增聊天历史保存功能。这极大优化了开发者在边缘端部署高性能 AI 应用的体验。