Apple Watch 成功本地运行 Qwen 大模型
一位国内开发者近日在社区分享了将大模型部署至 Apple Watch 的极客尝试。该项目通过伞头文件（Umbrella Header）将 C++ 编写的 llama.cpp 桥接至支持 watchOS 的 Swift 程序中，成功在 Apple Watch S8 上本地运行了 Qwen3.5-0.8B-Q4_K_M 模型。在硬件表现上，Apple Watch S8 搭载的芯片在纯 CPU 计算下达到了约 0.27 token/s 的推理速度，峰值算力约为 iPhone 6s 的八成。虽然目前速度较慢、实用性有限，但该尝试验证了端侧小模型（SLM）在超便携可穿戴设备上运行的可行性。作者指出，若在支持 Metal 框架的新款 iPhone 上运行，速度可达上百 token/s。目前该项目已在 GitHub 开源（ETOS-LLM-Studio），支持 iOS 和 watchOS。