存储成本与CPU开销权衡方案
-
数据压缩算法如何选才能平衡计算与存储,哪个压缩算法性价比高?
数据压缩算法没有绝对最优解,选定哪种压缩算法,本质是在计算成本和存储成本之间找一个平衡点,而性价比的终点取决于你的数据冷热属性和查询模式,压缩算法牵扯的不只是压缩率高不高,同一个压缩任务,你用zstd和用gzip跑出来的结果,CPU占用率和耗时可能相差一个数量级,很多团队在早期图省事选了默认压缩策略,等数据量涨……
数据压缩算法没有绝对最优解,选定哪种压缩算法,本质是在计算成本和存储成本之间找一个平衡点,而性价比的终点取决于你的数据冷热属性和查询模式,压缩算法牵扯的不只是压缩率高不高,同一个压缩任务,你用zstd和用gzip跑出来的结果,CPU占用率和耗时可能相差一个数量级,很多团队在早期图省事选了默认压缩策略,等数据量涨……