开发者热议：用 Google TPU 做本地推理到底行不行

Reddit 社区近日讨论了使用 Google TPU 进行模型推理的可行性。谷歌大规模自研 ASIC 芯片处理负载的做法引发了开发者关注：市面上那些形似 NVMe 接口的小型 TPU（如标称 40 TOPS 的设备），在本地或小规模场景中表现如何？讨论中，开发者将其与 NVIDIA RTX 5060 等显卡进行了性能对比，重点关注非 NVIDIA 硬件在本地推理、边缘计算中的性价比与实际落地价值。