Flink-网络流控及反压机制剖析

我们需要采用网络流控的方式,来解决上下游速度差的问题。传统的方式可以采取静态限速的方式,例如在Producer端加上一个Rate limiter的静态限流器。如下图所示,纵然producer端是以2MB/s的速率来生产数据的,但是经过rate limiter的限制后,就变成了 1MB/s,因此就跟下游consumer速率保持一致,或者小于consumer的速率,consumer端就不会出现丢弃数据、内存撑满的情况。

  • 2021-03-25
  • 收藏0
  • 阅读371
  • 下载0
  • 53页
  • pdf
  • 26.10M

评价

评分 :
   *