大模型训练成本构成

大模型RLHF训练成本极高，单轮迭代通常需数百万至数千万人民币，且随模型规模呈指数级增长，主要消耗在高质量人类标注数据获取、算力集群租赁及算法优化迭代上，很多人对“人工智能”的理解还停留在代码编写阶段，让模型从“能说话”变成“懂人性”，RLHF（基于人类反馈的强化学习）才是那道最昂贵的门槛，这不仅仅是技术问题……