Edge0-145B：在本地运行的 145B 大模型方案
Edge0-145B 专注于在个人电脑上部署前沿水平的开源大模型。围绕 145B 参数规模的本地运行，该项目评估了实际硬件配置要求、推理性能表现以及落地可行性。通过本地化部署，开发者和创业团队能够有效降低云端 API 调用成本，保障敏感数据隐私，并支持离线开发场景。这为在边缘端推进大模型应用落地和定制化开发提供了一种切实可行的技术路径。
基于 Rust 的轻量级 Agent 项目：rpi
rpi 是一款采用 Rust 语言编写的轻量级 Agent 项目（又名 pi-rust）。得益于 Rust 的底层性能优势，该项目在并发运行 30 个进程时内存占用极低。目前，rpi 已支持 musl 静态编译，能够直接在各类边缘计算设备和 NAS 等资源受限环境中流畅运行，为边缘端 AI 应用部署提供了一个高效的轻量化选项。
老旧笔记本本地跑 Qwen 27B 模型的实测体验
有开发者在八代 i7、20GB 内存和 4GB 显存的旧笔记本上，成功本地运行了 Qwen 27B Q4 量化模型。受限于硬件配置，推理速度在每秒 0.67 到 0.77 个 Token 之间。虽然速度较慢，但对于受网络限制无法调用云端 API 的开发者来说，这提供了一种可行的本地编程辅助方案。这次实践表明，中等规模开源模型在低配边缘设备上具备一定的部署空间，为缺乏云端算力的开发者提供了参考。
断网也能跑：搭建离线自愈的本地AI系统
开发者 Will Prowse 近期分享了一套极端断网环境下的本地AI系统搭建方案。该方案结合本地硬件、开源大模型、独立供电和自建算力基础设施，实现了在互联网完全中断时仍能持续运行、处理数据与辅助开发的完整工作流。这种将边缘计算、大模型本地部署与能源自给结合的实践，为应对网络极端的场景以及严格的数据隐私挑战提供了硬核的工程参考。
GMKtec EVO-X3 迷你主机：128GB内存本地运行AI实测
GMKtec EVO-X3 搭载 128GB 大内存，主打本地 AI 运行环境。大容量内存让边缘端部署更大规模的大语言模型成为可能，有效降低对云端 API 的依赖并保障数据隐私。实测聚焦其在本地 AI 推理任务中的真实表现、硬件扩展能力，以及它在日常开发场景中的实用价值。
Sopro V2 Turbo 2610 模型发布
开源社区近日推出 Sopro V2 Turbo 2610，重点优化了声音克隆的清晰度。该模型参数量保持在 120M，CPU 运行速度不变，但在语音合成的纯净度上有所提升。在不增加计算开销的前提下，该版本改善了克隆音质，为轻量级边缘端语音应用提供了更实用的本地化方案。
适合 CPU 运行的超小型日常对话模型盘点
来自 V2EX 社区的讨论聚焦于在普通 CPU 上高效运行的超轻量级大语言模型。开发者们重点探讨了模型在买菜、问路等基础对话场景，以及生成“青蛙与老鼠”等短篇创意故事时的实际表现。这类超小型模型无需高性能 GPU 支撑，能显著降低硬件门槛，为边缘计算、离线部署以及资源受限环境下的本地化应用提供了切实可行的落地路径。
用闲置安卓手机跑个人 AI 代理
把吃灰的旧安卓手机变成个人 AI 代理的运行载体，无需租用云端服务器。通过在移动端部署轻量级运行时，直接调用手机自带的算力、传感器和便携特性来处理本地 AI 任务。这不仅省去了服务器托管费，还能更好地保护数据隐私。对于想探索边缘计算和轻量化 AI 应用的开发者来说，这是一种低成本复用闲置硬件的实用方案。
在 RP2350 微控制器上跑通 AI 图像生成
RP2350 芯片算力和内存极其有限，要在上面跑 AI 图像生成并非易事。开发者通过模型裁剪、量化和底层代码优化，硬是在这种低功耗硬件上实现了推理流程。这波操作拓宽了端侧 AI 的边界，为物联网设备和资源受限环境下的模型部署踩出了一条可行的技术路径。
视听融合的实时声源说话人判定方案
在构建视听融合系统时，传统麦克风阵列的声源方向估计（DOA）常受反射声与邻近声源干扰，仅靠方向对齐很难准确定位说话人。为此，业界倾向于引入视觉信息，通过 MediaPipe 提取嘴部关键点，结合 VAD、DOA 与人物坐标进行综合判定。然而，Light-ASD、TalkNet、SyncNet 等主流方案多用于离线后处理且计算开销大，难以满足实时链路的需求。本文梳理了该方向的技术可行性、轻量流式开源方案的选型，以及自研融合模型的实践路径，为边缘端实时交互开发提供参考。
Perplexity推出适配Nvidia DGX Spark的便携Agent
Perplexity发布专为Nvidia DGX Spark优化的便携式计算机Agent，将大模型自动化能力与边缘硬件深度结合。该方案针对特定工作负载进行了指令级优化，在本地运行复杂AI工作流时可实现更低延迟与更高吞吐量，为开发者提供高效的边缘端AI代理执行工具。
本地AI能效比：重构端侧推理的效率指标
在边缘计算与本地大模型普及的背景下，单纯拼参数规模和绝对性能已不再适用，每瓦特智能效率（Intelligence per Watt）正成为核心评估维度。通过对比不同硬件平台在本地模型运行中的功耗与输出表现，优化推理效率、降低能耗对实际落地至关重要。这为开发者和AI创业者在评估本地AI方案性价比与硬件适配时，提供了一个更切实际的技术视角。
AI算力基建正从陆地走向海洋与太空
随着大模型训练和推理需求暴增，陆地AI数据中心正面临严峻的电力、散热和土地资源瓶颈。为此，AI基础设施建设正加速向海洋和太空等非陆地空间延伸。 在海洋领域，海底数据中心（利用海水天然冷却）和海上浮动算力平台正成为新宠，它们能直接获取海上风电等清洁能源，大幅降低PUE。在太空领域，卫星边缘AI算力也开始崭露头角，用于直接在轨处理海量遥感数据。 尽管非陆地部署能有效缓解能源危机，但其也面临设备防腐蚀、极端环境维护困难以及高延迟通信等技术挑战。这一趋势将推动分布式AI架构的发展，开发者未来需更加关注边缘端与非陆地算力节点的协同优化。