V2EX
个人搭建本地大模型基座实践
分享一套低成本的个人私有 AI 基础设施搭建方案。硬件采用 48GB 内存迷你主机外接显卡坞,搭载 RTX 5070 Ti(16GB 显存),并借助 Claude 协助进行算力分配优化。模型方面部署了 qwen3.6-35,能够流畅支撑日常对话与各类应用调用。配合内网穿透与公网域名,实现了局域网与广域网环境下的 AI 能力随时接入,为个人开发者在应用层集成大模型提供了可行的落地参考。
获取每日 AI 情报与羊毛福利
加入 Telegram 频道 @ainews_Go,第一时间接收精选资讯推送。