hive大数据去重方法

在Hive处理海量数据时，DISTINCT操作极易引发性能瓶颈，核心解决方案是结合MAP-side Aggregation、采样技术或改用GROUP BY来替代全量去重，从而避免Reduce端数据倾斜和OOM错误，处理PB级数据时,直接使用SELECT DISTINCT往往会让任务跑飞，这不仅仅是因为数据量大……