解决大模型训练显存不够的方法

解决大模型LoRA微调显存不足的核心思路是：通过梯度检查点、混合精度训练、参数冻结及量化技术组合拳，在保留模型核心能力的同时，将显存占用降低至消费级显卡可承受的范围，当你在本地部署LLaMA、Qwen或ChatGLM等大模型并尝试进行LoRA微调时，显存溢出（OOM）是新手最常遇到的“拦路虎”，这并非硬件绝对不……