LoRA与全量微调显存对比
-
LoRA与全量微调显存差多少？，全量微调显存要求高吗？
在相同模型、相同序列长度和相同精度下，LoRA的显存需求通常只有全量微调的一小部分；7B模型用LoRA或QLoRA可以在24GB消费级卡上跑起来，而全量微调往往要动用多张80GB级显卡， 显存账不能只看参数量，得把权重、梯度、优化器状态和激活值拆开算,否则很容易在训练启动几分钟后遇到OOM，LoRA微调和全量微……
在相同模型、相同序列长度和相同精度下，LoRA的显存需求通常只有全量微调的一小部分；7B模型用LoRA或QLoRA可以在24GB消费级卡上跑起来，而全量微调往往要动用多张80GB级显卡， 显存账不能只看参数量，得把权重、梯度、优化器状态和激活值拆开算,否则很容易在训练启动几分钟后遇到OOM，LoRA微调和全量微……