菜鸟进口实时数仓2.0
供应链物流场景下的业务复杂度高，业务链路长，节点多，实体多，实时数仓建设难度高。菜鸟跨境进口业务场景更是如此，更复杂的场景带来更复杂的实体数据模型，对接的业务系统多导致ETL流程特别复杂，还有海量的日均处理数据量，使得团队在建设进口实时数仓的过程中，面临着诸多挑战：如何保证复杂实体关系下的数据准确性？如何降低多数据源情况下的数据处理复杂度？如何提升实时多流Join的处理效率？如何实现实时超时统计？如何实现异常情况下的数据状态恢复？本文主要分享菜鸟进口实时数仓的升级经验，以及如何利用F的特性解决在开发实践中遇到的问题。
- 2021-04-17
- 阅读984
- 下载0
- 40页
- pdf
