会员中心
搜索
登录
注册

解决方案

数字化转型通用方案行业方案安全方案大数据人工智能物联网行业展望自动控制其他

产品|技术

白皮书产品介绍技术介绍技术创新模型算法

政策|规范

政策规范行动计划

电子书

电子书课件

报告|论文

报告模板论文

拉链表

在拉链表中，每一条数据都有一个生效日期（sdate） 和 失效日期（edate）。假设在一个用户表中，在 2019年10月8日 新增了两个用户，则这两条记录的生效时间为当天，由于到 2019年10月8日 为止，这两条记录还没有被修改过，所以失效时间为无穷大，这里设置为数据库中的最大值（2999-12-31），

  • 2021-06-07
  • 阅读120
  • 下载0
  • 9页
  • docx

阿里大数据建设OneData体系架构

阿里大数据建设OneData体系架构

  • 2021-06-07
  • 阅读134
  • 下载0
  • 17页
  • docx

58同城实时数仓计算平台架构与实践

58同城作为覆盖生活全领域的服务平台，业务覆盖招聘、房产、汽车、金融、二手及本地服务等各个方面。丰富的业务线和庞大的用户数每天产生海量用户数据需要实时化的计算分析，实时计算平台定位于为集团海量数据提供高效、稳定、分布式实时计算的基础服务。本文主要介绍58同城基于Flink打造的一站式实时计算平台Wstream。

  • 2021-06-07
  • 阅读130
  • 下载0
  • 7页
  • docx

美团MySQL实时同步到数据仓库架构与实践

在数据仓库建模中，未经任何加工处理的原始业务层数据，我们称之为ODS（Operational Data Store）数据。在互联网企业中，常见的ODS数据有业务日志数据（Log）和业务DB数据（DB）两类。对于业务DB数据来说，从MySQL等关系型数据库的业务数据进行采集，然后导入到Hive中，是进行数据仓库生产的重要环节。 如何准确、高效地把MySQL数据同步到Hive中？一般常用的解决方案是批量取数并Load：直连MySQL去Select表中的数据，然后存到本地文件作为中间存储，最后把文件Load到Hive表中。这种方案的优点是实现简单，但是随着业务的发展，缺点也逐渐暴露出来

  • 2021-06-07
  • 阅读145
  • 下载0
  • 11页
  • docx

美团数据质量平台设计与实践

数据，已经成为互联网企业非常依赖的新型重要资产。数据质量的好坏直接关系到信息的精准度，也影响到企业的生存和竞争力。Michael Hammer（《Reengineering the Corporation》一书的作者）曾说过，看起来不起眼的数据质量问题，实际上是拆散业务流程的重要标志。数据质量管理是测度、提高和验证质量，以及整合组织数据的方法等一套处理准则，而体量大、速度快和多样性的特点，决定了大数据质量所需的处理，有别于传统信息治理计划的质量管理方式。 本文基于美团点评大数据平台，通过对数据流转过程中各阶段数据质量检测结果的采集分析、规则引擎、评估反馈和再监测的闭环管理过程出发，从面临挑战、建设思路、技术方案、呈现效果及总结等方面，介绍美团平台酒旅事业群（以下简称美旅）数据质量监管平台DataMan的搭建思路和建设实践

  • 2021-06-07
  • 阅读148
  • 下载0
  • 15页
  • docx

蚂蚁金服技术中台架构实践

本文整理自，阿里高级技术专家-许文奇在2019阿里云峰会上的分享《技术中台-分布式架构在蚂蚁金服的实践》，结合技术领导力社区架构专家的点评和解读，全面解析阿里技术中台的架构实践。

  • 2021-06-07
  • 阅读141
  • 下载0
  • 13页
  • docx

OneData建设探索之路：SaaS收银运营数仓建设

在现有大数据平台的基础上，借鉴业界成熟OneData方法论，构建合理的数据体系架构、数据规范、模型标准和开发模式，以保障数据快速支撑不断变化的业务并驱动业务的发展，最终形成我们自己的OneData理论体系与实践体系。

  • 2021-06-07
  • 阅读141
  • 下载0
  • 16页
  • docx

主数据管理（MDM）项目建设落地方案

对于大型企业来说，经常面临多个业务系统难以统一管理的问题和生产运营难管理的痛点，今天分享一下如何运用主数据管理解决这一问题。

  • 2021-06-07
  • 阅读1697
  • 下载0
  • 6页
  • docx