AI推理算力需求测算

训练和推理的算力需求差异极大，训练动辄需要数百上千张AI加速卡持续运行数周，而推理往往单卡甚至CPU就能完成一次响应，两者差距可达几个数量级，为什么训练和推理的算力差距如此悬殊理解这个差异，得先看清两个阶段干的事情完全不同，训练阶段像“刷题备考”，模型要把海量数据反复咀嚼成千上万遍，才学得会规律，推理阶段像“上……