AiNews
⚡ 速览 🧠 模型
← 返回首页

#ollama

包含标签 "ollama" 的文章,共 6 篇。

🛠️ 开发工具 V2EX

Win11 C盘空间分配:开发者软件安装建议

近期有开发者计划升级至Windows 11系统,并就C盘空间分配问题寻求建议。该开发者列举了未来可能安装的一系列软件,涵盖了AI编码工具(如VS Code、Claude、Codex、Cursor)、本地大模型运行环境(Ollama)、AI开发基础设施(NVIDIA CUDA Toolkit)、主流IDE(IntelliJ Idea、Microsoft Visual Studio)、虚拟化软件(VMware)、数据工具(Navicat、Postman)、以及多媒体创作软件(CapCut、Davinci Resolve、Blender、GIMP、OBS Studio)等。这些软件的特点是安装包和运行时数据量庞大,特别是AI模型和开发环境,如Visual Studio和CUDA Toolkit,其完整安装可能占用数十GB。VMware虚拟机镜像、Ollama下载的本地大模型以及Davinci Resolve等媒体项目的缓存文件,都可能迅速消耗大量存储空间。对于AI开发者和创业者而言,预留充足的C盘空间至关重要,以确保开发环境的流畅运行和未来软件更新、新工具安装的灵活性,避免因空间不足而频繁清理或重装系统。建议考虑至少250GB到500GB,甚至更高,以应对日益增长的软件和数据需求。

💻 AI 编程 V2EX

局域网部署Ollama与AI编程助手配置探讨

本文源自V2EX社区关于局域网内配置AI编程助手连接本地大模型的讨论。 **核心背景与架构:** 提问者在Ubuntu服务器(配备RX 6800XT显卡)上部署了Ollama和Open-WebUI,运行qwen2.5-coder:7b模型。在Windows开发机上,虽然能通过浏览器正常访问服务器的Open-WebUI,但在配置AI编程助手“kiro”时遇到连接障碍,无法调用服务器上的Ollama作为Agent辅助编程。 **技术痛点与实际影响:** 该问题反映了开发者在构建“本地算力服务器 + 轻量开发终端”的双机AI辅助编程环境时,常遇到的跨设备API通信配置瓶颈。解决此类问题的关键在于正确配置Ollama的环境变量(如设置OLLAMA_HOST=0.0.0.0以允许外部IP访问),以及在客户端正确填写API端点。这对于希望利用私有显卡搭建本地AI Coding环境的开发者具有普遍的参考价值。

🛠️ 开发工具 Hacker News

Ollama Dash:本地模型自动更新仪表盘

Ollama Dash 是一款专为本地大模型运行工具 Ollama 设计的自动更新仪表盘。针对现有工具的痛点,该项目提供了两大核心独创功能:首先,它支持按“最新加载”对模型进行排序,方便开发者快速定位近期使用的模型;其次,仪表盘能够每小时自动检测并更新新加载的模型列表,无需手动刷新。对于频繁在本地部署、测试各类开源大模型(如 Llama 3、Qwen 等)的中国开发者和 AI 创业者而言,Ollama Dash 提供了一个极简且高效的资产管理界面。它不仅简化了本地模型库的监控流程,还提升了多模型协同开发时的切换效率,是本地 AI 开发生态中一款实用的效率工具。

🛠️ 开发工具 V2EX

M5 Air 32G本地跑大模型实测:散热成瓶颈

本文针对配备 32G 内存的 MacBook Air M5 进行了本地大模型运行实测。结论表明,该配置虽能运行本地模型,但由于无风扇设计,高强度运行下温度上升极快并会导致降频,外挂风扇也无法根治,不适合长期高负载推理。测试对比了 Ollama 与针对 Mac 优化的 MLX 平台,结果显示 MLX 运行速度更快。受限于 32G 统一内存,建议运行的模型大小不要超过 22GB。实测中成功运行了 Qwen、Gemma、GLM 等主流模型的 4-bit 量化版本。对于有高强度本地开发与推理需求的开发者,建议选择带主动散热的 MacBook Pro;Air 仅适合轻度便携式调试。

🧠 模型动态 LINUX DO

免费AI模型轻量使用渠道汇总

针对开发者在AI应用中对模型调用的需求,本文总结了多个可供轻量级免费使用的AI模型及API渠道。Google Gemini API提供免费层级,Gemini 3.1 Flash Lite模型每日可调用1500次。Ollama注册后即享免费层级,支持Gemma 4等模型,调用次数按5小时或每周刷新。OpenRouter的免费模型在积分少于10时每日可调用50次,购买至少10积分后提升至每日1000次。硅基流动主要提供免费的向量模型和嵌入模型。Tavily作为网络搜索工具,每月提供1000次免费调用。Brave Search API同样用于搜索,每月约1000次调用,但需绑定虚拟卡。这些渠道为AI应用开发提供了多样化的免费资源选择。

🧠 模型动态 Reddit

适合CPU运行的顶尖小模型与部署方案

该讨论聚焦于在无GPU(纯CPU)环境下运行的最佳小语言模型(SLM)及部署方案。社区普遍推荐的模型包括:Qwen-2.5系列(1.5B/7B),因其出色的中文支持和代码能力备受青睐;Llama-3.1-8B(经Q4_K_M量化),在保持较高精度的同时能在CPU上流畅运行;以及Gemma-2-2B/9B和Phi-3.5,在轻量级任务中表现优异。在部署技术栈方面,开发者主要依赖 llama.cpp 及其 GGUF 格式进行高效的 CPU 推理,并配合 Ollama 或 KoboldCPP 提供便捷的 API 接口。这一趋势表明,通过合理的量化与轻量化模型,开发者无需昂贵的 GPU 算力,即可在普通个人电脑(如 Mac M系列芯片或标准 CPU 服务器)上部署高性能的本地 AI 助手,极大地降低了本地化 AI 应用的开发门槛。