HDFS小文件合并方法

HDFS存储小文件的核心痛点在于NameNode内存耗尽导致集群性能急剧下降，解决这一问题的最佳实践是采用HAR归档、SequenceFile合并或引入HBase等列式存储架构，而非单纯依赖增加硬件资源，在大数据生态系统中,HDFS作为分布式文件系统的基石，其设计初衷是处理GB甚至TB级别的大文件，现实业务场景……