在配备 48GB 显存的 RTX PRO 5000 上部署 Qwen3.8-27B-FP8 模型的实测记录。通过 sglang 启动服务，实测 prefill 速度超过 5000 token/s，decode 速度达到 60+ token/s。关键配置包含 flashinfer 注意力后端、fp8_e4m3 KV 缓存、EAGLE 投机解码，并启用了 qwen3 原生推理与工具调用解析器。这套参数组合兼顾了吞吐与延迟，为大内存工作站部署中等规模模型提供了可复用的调优参考。
分享基于 RTX PRO 5000（48GB）硬件部署 Qwen3.8-27B-FP8 模型的实测配置。通过 sglang 启动参数调优，Prefill 阶段达到 5000+ token/s，Decode 阶段达到 60+ token/s。核心配置包括 flashinfer 后端、fp8_e4m3 KV 缓存、EAGLE 投机采样以及工具调用解析器，为在单卡有限显存下部署中等规模模型提供调优参考。
该开源项目是一本持续更新的大模型（LLM）大规模推理技术手册，旨在帮助开发者深入理解推理底层的硬件与软件协同优化。手册核心内容涵盖：1. GPU 硬件内幕：剖析 GPU 在推理过程中的执行与内存机制，解释 GPU 闲置原因及内存层级对吞吐量的限制；2. 核心优化技术：深入讲解 KV 缓存（KV Cache）管理、批处理（Batching）等关键瓶颈与优化手段；3. 主流推理框架：对比分析 vLLM、SGLang 和 TensorRT-LLM 等主流推理引擎的架构实现。作者通过直观的 Mermaid 架构图化繁为简。对于追求高并发、低延迟的 AI 创业者和算力优化工程师而言，这是一份极具实操价值的底层调优指南。
一位开发者在V2EX社区分享了其在16GB AMD消费级显卡（WSL + ROCm环境）上运行大模型推理框架的经验。测试发现，sglang未能成功启动。vLLM虽然可以运行，但频繁出现显存溢出（OOM），仅在运行2B模型时表现稳定，且首字推理速度体感上慢于纯`transformers`库。更具体地，vLLM在尝试运行一个9B GPTQ模型时报错，提示`qwen3.5 config`问题，且无法通过`claudecode`修复。相比之下，`transformers`库成功运行了该9B GPTQ模型，且显存占用更低。此案例揭示了在特定硬件和软件栈下，先进推理框架的兼容性与性能挑战，对依赖消费级硬件的AI开发者具有实际参考价值，提示在选择推理方案时需充分考虑硬件适配性。