LLM量化精度损失修复方法

大模型量化后精度下降并非不可逆，核心在于平衡压缩率与性能，通过混合精度量化、感知量化训练及后训练微调，可在保持推理速度提升的同时，将精度损失控制在可接受范围内，将大模型部署到边缘设备或降低算力成本时，量化是必经之路，但许多开发者发现，把FP16或FP32模型转为INT8甚至INT4后，模型回答变得胡言乱语，准确……