V2EX
半导体工程师发帖求助:本地部署轻量模型硬件配置方案
某半导体公司生产工程师因内部IT人手有限,尝试通过vibecoding开发内部数据分析与跟踪平台。鉴于严格的数据安全要求,系统必须实现纯本地运行。发帖主要为了咨询轻量开源模型的本地部署硬件配置,计划以此为依据同公司IT部门协商落地。相关轻量模型参数量小、部署成本低,配合推理加速技术,能够满足日常生产数据分析与建模的实际需求。
获取每日 AI 情报与羊毛福利
加入 Telegram 频道 @ainews_Go,第一时间接收精选资讯推送。