大模型如何优化注意力

Flash Attention 的核心原理是通过“计算-存储-写入”的融合策略，将传统注意力机制中巨大的中间矩阵显存占用降至最低，从而显著提升大模型训练与推理的速度并降低硬件门槛，想象一下，你正在整理一个巨大的图书馆，传统的注意力机制（Attention）就像是你每读完一本书，都要把摘要抄写在一个巨大的黑板上……