日志采集IO性能优化
-
大促期间日志采集对IO资源的占用
大促期间日志采集对IO资源的占用,核心矛盾在于日志量突增和磁盘处理能力之间的剪刀差,多数情况下,瓶颈不在采集进程本身,而在于日志落盘的写入路径和采集器的批量策略,每年618和双11,技术团队都会经历一场相似的战斗,业务指标一路飘红,但监控面板上磁盘IO等待时长也在同步飙升,日志采集这活儿平时看着不起眼,一到流量……
大促期间日志采集对IO资源的占用,核心矛盾在于日志量突增和磁盘处理能力之间的剪刀差,多数情况下,瓶颈不在采集进程本身,而在于日志落盘的写入路径和采集器的批量策略,每年618和双11,技术团队都会经历一场相似的战斗,业务指标一路飘红,但监控面板上磁盘IO等待时长也在同步飙升,日志采集这活儿平时看着不起眼,一到流量……