在 CPU 上高效运行 Qwen3.5 0.8B 的工程实践
为了在 GPU 满载时分担语音听写文本的清理工作,开发者尝试将 Qwen3.5 0.8B 部署到本地 CPU 环境。项目借助 Codex 编写了一个专用的 C++ 推理引擎,并设计了名为 H128/Q4-G32-DOT4 的自定义 4 比特量化方案。该方案结合了基于激活值的校准与块级误差补偿技术,在将模型体积压缩至 425 MB 的同时,保持了极佳的推理性能,充分展现了微型开源模型在边缘和本地 CPU 上的实用价值。
为了在 GPU 满载时分担语音听写文本的清理工作,开发者尝试将 Qwen3.5 0.8B 部署到本地 CPU 环境。项目借助 Codex 编写了一个专用的 C++ 推理引擎,并设计了名为 H128/Q4-G32-DOT4 的自定义 4 比特量化方案。该方案结合了基于激活值的校准与块级误差补偿技术,在将模型体积压缩至 425 MB 的同时,保持了极佳的推理性能,充分展现了微型开源模型在边缘和本地 CPU 上的实用价值。
V2EX 社区近期围绕 ReSharper C++ 的使用体验与许可证授权展开了讨论。作为 Visual Studio 的 C++ 插件,ReSharper 提供了代码导航、重构、智能补全和静态分析等功能,在游戏开发和系统编程中较为常见。相关讨论主要集中在生产环境下的工具成本与开发效率平衡上,同时也涉及商业软件的正版授权与合规使用问题。
libcr 项目组宣布 API 测试工具 crRequest 1.9.6 正式登陆微软应用商店,同时提供 Linux 版本。该工具完全基于 C++ 与 Chromium 150.0.7871.91 构建,使用 Chromium UI 框架和网络栈,原生支持 QUIC 与 HTTP/2,免费且无需登录。1.9.6 版本主要修复了 SSH 终端登录问题,优化了 Hash 工具,并新增了 DoH 测试与 Crashpad 崩溃捕获支持。crRequest 内置 libssh2 SSH 客户端、SQLite 与 PostgreSQL 数据库操作模块,以及 Chromium 原生工具箱。此外,项目组还提供了面向 AI 的原生应用开发包,兼顾多平台开发效率与运行性能。
ik_llama.cpp 项目合并了 PR #2345,正式引入 Dflash 2 投机解码支持。通过轻量辅助模型预测候选 Token、主模型批量验证的方式,该技术能在保证生成质量的前提下提升本地大模型的推理吞吐量并降低延迟。此次更新为资源受限场景下的本地部署提供了新的性能优化选项,开发者可针对具体硬件环境进行基准测试。
开发者近期针对 C++ 构建工具 mcpp 进行了深度优化。在 C++ Modules 项目的实际测试中,Linux 平台下的构建速度相比传统 CMake 提升了 2 到 200 倍。目前,该项目正在收集多环境下的性能反馈,以验证并改进工具表现。接下来的重点是优化 Windows 平台支持,为开发者提供跨平台的模块化构建加速方案。
跨平台 API 开发测试工具 crRequest 发布 1.8.0 版本,正式引入 Chromium V8 引擎,支持在请求执行中使用 JavaScript 脚本进行动态控制。该工具基于 C++ 开发,底层采用 Chromium 150.0.7871.91 源码与 UI 框架,具备良好的跨平台性能。网络层完整支持 QUIC 和 HTTP2 协议,同时内置 libssh2 客户端,并支持 SQLite 与 PostgreSQL 数据库操作。新版本大幅提升了工具在复杂网络环境下的动态编排与自动化测试能力。
开发者在 AI 辅助下,利用 C++ 仅用时不到两周便成功开发出一款跨平台的 PDF 阅读与标注软件(crpdf)。该项目基于 Chromium 150 版本的 UI 框架(libcr)和 pdfium 引擎实现,目前已在 GitHub 开源。该方案的核心技术优势和实际应用价值包括: 1. 免除 Qt 授权费用:为开发者提供了一种无需支付昂贵 Qt 商业授权费用的跨平台 GUI 解决方案。 2. 优秀的性能与体积:得益于 Chromium 强大的底层代码基础,不仅 UI 和动效实现更为便捷,且编译后的安装包体积相比传统 Electron 等方案大幅减小。 3. 高开发效率:在 AI 工具的协同下,C++ 跨平台开发周期被压缩至两周以内,验证了“AI + C++ 现代框架”在桌面端开发中的高可行性与稳定性。该项目为寻找轻量级、高性能跨平台 UI 框架的开发者提供了极具价值的实践参考。