数据湖元数据规模优化

数据湖的元数据规模会直接影响查询计划生成速度，表数量、分区数量和文件数量越多，查询优化器在真正执行SQL前就要扫描越多的目录树与元数据文件，规划阶段耗时可能占到整体查询时间的相当一部分，甚至超过执行本身，数据湖元数据越多查询越慢吗？先看清查询计划在干什么数据湖和传统数仓有一个本质区别：数据湖的元数据大量分散在对……