深度学习训练卡与推理卡区别

训练卡负责“教会”模型，推理卡负责“使用”模型，训练卡追求算力密度和互联带宽的极致，推理卡则追求延迟、吞吐量和能效比的综合平衡，不少刚接触AI算力的人,看到满屏的“A100、H100、L40S”会一头雾水，其实只要抓住一个核心逻辑：训练和推理，是两种完全不同性格的工作，训练像是在给一个学生上十年课，需要老师教一……