会员中心
搜索
登录
注册

解决方案

数字化转型通用方案行业方案安全方案大数据人工智能物联网行业展望自动控制其他

产品|技术

白皮书产品介绍技术介绍技术创新模型算法

政策|规范

政策规范行动计划

电子书

电子书课件

报告|论文

报告模板论文

2-金浩-3-FFA2019分论坛开源大数据-金浩

流处理的基准测试存在的问题 1测试集不能反映真实的应用场景 1集群测试的负载不够大 到度量指标只适用少部分计算场景 测试集基于代码的方式，用户学习成本较高 TPC-DS:作为大数据批处理领域最流行基准测试之一，模拟了数据仓库，反应真实的应用场景

  • 2021-06-29
  • 阅读210
  • 下载0
  • 39页
  • pdf

5Flink_Calcite_深度应用-陈玉兆

Apache Calcite是-一个用于构建数据管理系统的可扩展框架 起源2012-进入Apache孵化器孵化 问题构建一个高质量的数据库需要~ 20自然人年（的努力） 方案开源框架构建数据库系统 设计Flexible →Relational algebra 餐待PostgreSQL, Apache Spark, GPORCA

  • 2021-06-29
  • 阅读253
  • 下载0
  • 27页
  • pdf

1-张光辉-3-FFA2019分论坛企业实践-张光辉

分配Container时，尽可能选择CPUMem空闲的机器 When assiging containers, choose the idlest CPUMem machines 89 possible 针对10密集型作业，希望Container尽可能打散 For Vo bound jobs, deatnibute containers 88 discrete as possble Deploy Task时，希望Task在TM中分配均衡 When deploying tasks, distribute tasks among TMs as balenced as possiole

  • 2021-06-29
  • 阅读447
  • 下载0
  • 29页
  • pdf

2董亭亭-3-FFA2019分论坛企业实践-快手-v7

实时统计各类指标、监控项 Realtime ca lculate all kinds of metricsandmonitor items. 辅助业务实时分析做决策、监控报警等 Assist business to make decisionandalarm in realtime. 数据清洗、拆分、join等处理 Data cleanandsplitandjoin etc. 数据etl处理 Data extractandtransformandload. 实时业务处理 Realtime business process. 特定业务逻辑处理:实时调度 Specific business processing: realtime scheduling.

  • 2021-06-29
  • 阅读477
  • 下载0
  • 34页
  • pdf

3-郑志升-3-FlinkAsia企业实践分论坛-B站-

？平台设计准则 Platform design stand ard Strea ming workflows 让数据说话，输入输出schema化 In putandoutp ut schema stand ardiza tion Streaming BSQL通用SQL语法解析层 Streaming BSQL general syntax SQL parser layer 工程效率，IDE开发、运维、监控、告警 Engineering efflciency, IDE dev, SRE, mo nitor, alarm

  • 2021-06-29
  • 阅读606
  • 下载0
  • 46页
  • pdf

4-马庆祥-3-FFA2019分论坛企业实践-马庆祥 - 修改版

问题: Problems: ◆大白同学:第一次用Flink进行业务开发,终于要上线了，如何配置并行度啊? dabat: I am a newer of Flink, the job is coming online, how to configure parallelism? ◆小明同学:江湖救急，业务线数据流量突增，现在积压了大量的数据,该咋办呀? xiaoming: Help, business line data tafe suddenly increased,anda large amount of data has been accumulated, what should Ido? ◆红红同学:通过调高并发总算是扛住了流量高峰,要不要把多余的资源还回去呢? honghong: We managed to keep up with the traffic peakbyincreasing concurency, do we need to return the extra resources?

  • 2021-06-29
  • 阅读458
  • 下载0
  • 38页
  • pdf

FFA2019-Apache Flink在滴滴的应用实践v3-1209

高可用流计算服务 High availability stream compute service 实时机器学习 realtime machine leaming 实时数仓 real-time warehouse

  • 2021-06-29
  • 阅读446
  • 下载0
  • 25页
  • pdf

1-吴良波-Apache Flink 在网易的实践

业务场景:用户实时足迹，用户实时特征，商品实时特征，实时CTR CVR样本组建，首页A区轮播, B区活动精选等UV,PV实时统计 简要逻辑:使用Sloth读取应用日志 （曝光，点击，加购物车，购买），进行数据清洗和维度拆分，写入Kafka,再使用Sloth读取Kafka数据，实时统计多维特征5 min,30min,1h的PV和UV,写入Redis,供线上工程计算CTR,CVR,以及优化搜索和推荐结果

  • 2021-06-29
  • 阅读455
  • 下载0
  • 29页
  • pdf