大模型LoRA Dropout最佳实践

大模型LoRA微调时，Dropout建议设置为0.05至0.1之间，通常保持默认值0.1即可，除非显存极度受限或模型出现过拟合迹象，否则不建议随意调高，在微调大语言模型（LLM）时，很多开发者容易陷入一个误区，认为增加正则化参数就能自动提升模型效果，LoRA（Low-Rank Adaptation）本身已经通过……