反压上游缓冲策略
-
流处理反压会向上游扩散吗,如何预留足够缓冲容量解决
流处理反压向上游扩散是数据管道堵塞的连锁反应,根治办法就是在上游预留足够缓冲容量,让每一级管道都有一点吞吐波动的余量,整个链路才能喘得过气,流处理反压为什么会向上游扩散:一个关于搬砖的故事假设你是一条流水线上的搬运工,上游老王把砖块放到你的传送带上,你搬完传给下游老李,老李今天手速慢,砖块在你面前越积越多,你的……
流处理反压向上游扩散是数据管道堵塞的连锁反应,根治办法就是在上游预留足够缓冲容量,让每一级管道都有一点吞吐波动的余量,整个链路才能喘得过气,流处理反压为什么会向上游扩散:一个关于搬砖的故事假设你是一条流水线上的搬运工,上游老王把砖块放到你的传送带上,你搬完传给下游老李,老李今天手速慢,砖块在你面前越积越多,你的……