基于Flink的高可靠ETL系统

腾讯在开源版本的基础上对Iceberg进行了一些优化和改进,主要包括: 实现了行级的删除和更新操作,极大地节省了数据修正带来的开销; 对Spark 3.0的DataSource V2进行了适配,使用Spark 3.0的SQL和DataFrame可以无缝对接Iceberg进行操作; 增加了对Flink的支持,可以对接Flink以Iceberg的格式进行数据落地

  • 2021-03-21
  • 收藏0
  • 阅读142
  • 下载0
  • 29页
  • pdf
  • 2.35M

评价

评分 :
   *