H100 算力 计算 方法

一张NVIDIA H100 GPU在典型AI训练负载下的算力，约等于200-500台通用CPU服务器，或者3-5台搭载8卡A100的GPU服务器，这个数字听起来很夸张，但换算逻辑其实不复杂，H100的恐怖之处不在于单纯的核心频率，而在于专门为Transformer模型设计的Transformer Engine和……