武汉推理GPU服务器配置

在武汉做推理业务，GPU服务器租用低延迟场景的核心配置思路是：优先看网络延迟和GPU型号匹配度，再谈算力规模和价格，不要一上来就盯着显存和带宽，推理业务和训练业务不一样,训练跑一次要几天，延迟高一点无所谓，推理是每秒钟都在响应，用户点一下按钮，服务器卡顿两秒，这个体验就砸了，武汉作为中部枢纽，机房资源不算少，但……