大模型交叉熵损失函数

大模型的交叉熵损失（Cross Entropy）本质上是衡量模型预测概率分布与真实标签分布之间差异的数学工具，通过最小化该损失函数，模型能够不断修正参数，从而更精准地拟合数据，在自然语言处理和大语言模型的训练过程中,我们常常听到“损失函数”这个词，如果把训练模型比作教一个新生儿认字，那么交叉熵损失就是那个告诉孩……