基于大数据平台全链路分析查询的设计与实践

大数据平台处理数据内容和类型多样,目前缺乏能够分析和展示数据流动关系全貌的服务和工具,为数据开发、分析、运维各个环节带来困难:比如在模型设计时不了解存量数据的覆盖范围是否足够;在数据分析时无法直观查询数据的加工脉落;在数据运维时不知晓上游系统数据晚到会对下游哪些作业和系统产生影响等等。为解决上述困难和问题,本文针对大数据平台的实际情况,基于元数据创建了一种可串联起文件、作业、物理表、脚本等内容的技术数据全链路分析方法,支撑从源头文件到输出模型的跨系统跨层次全链路查询服务。

  • 2022-01-14
  • 收藏0
  • 阅读41
  • 下载0
  • 8页
  • docx
  • 1.22M

评价

评分 :
极好
   *