大数据处理小文件问题

小文件过多导致读取慢的根源在于元数据开销和随机IO放大，解决思路是“合并小文件、优化读取路径、调整存储策略”三管齐下，小文件问题到底出在哪先说说小文件是怎么定义,业内普遍把小于HDFS默认块大小（128MB）的文件称为小文件，小于64MB的文件在读取效率上就已经明显拖后腿，百GB级别的数据被拆成几万个几MB的小……