会员中心
搜索
登录
注册

解决方案

数字化转型通用方案行业方案安全方案大数据人工智能物联网行业展望自动控制其他

产品|技术

白皮书产品介绍技术介绍技术创新模型算法

政策|规范

政策规范行动计划

电子书

电子书课件

报告|论文

报告模板论文

1.李钰Flink 1.10状态存储改进和优化

●内存层:高效的缓存策略 Memory Layer: More Eficient Cache Policy ●本地缓存层: page粒度的本地缓存 Local File Cache Layer: Read/Write at Page Granularity ●分布式持久化层:存储计算分离 Distributed Storage Layer: Native Dis- Aggregation Arch

  • 2021-06-29
  • 阅读166
  • 下载0
  • 36页
  • pdf

1-FFA - YUNIKORN对Flink on K8s的调度优化 - Final

YuniKorn （jumn,kom/,Y fo YARN K for KBs, un+ for Unifiea） ●轻量级，通用的资源调度器 Alght-weighted, common resource scheduler ●可适配各种资源管理系统（YARN, K8s, etc） Platform independent ●优化了对大数据作业的支持 Enhanced scheduling capabilities for Big Data workloads

  • 2021-06-29
  • 阅读156
  • 下载0
  • 29页
  • pdf

2-金浩-3-FFA2019分论坛开源大数据-金浩

流处理的基准测试存在的问题 1测试集不能反映真实的应用场景 1集群测试的负载不够大 到度量指标只适用少部分计算场景 测试集基于代码的方式，用户学习成本较高 TPC-DS:作为大数据批处理领域最流行基准测试之一，模拟了数据仓库，反应真实的应用场景

  • 2021-06-29
  • 阅读156
  • 下载0
  • 39页
  • pdf

5Flink_Calcite_深度应用-陈玉兆

Apache Calcite是-一个用于构建数据管理系统的可扩展框架 起源2012-进入Apache孵化器孵化 问题构建一个高质量的数据库需要~ 20自然人年（的努力） 方案开源框架构建数据库系统 设计Flexible →Relational algebra 餐待PostgreSQL, Apache Spark, GPORCA

  • 2021-06-29
  • 阅读192
  • 下载0
  • 27页
  • pdf

1-张光辉-3-FFA2019分论坛企业实践-张光辉

分配Container时，尽可能选择CPUMem空闲的机器 When assiging containers, choose the idlest CPUMem machines 89 possible 针对10密集型作业，希望Container尽可能打散 For Vo bound jobs, deatnibute containers 88 discrete as possble Deploy Task时，希望Task在TM中分配均衡 When deploying tasks, distribute tasks among TMs as balenced as possiole

  • 2021-06-29
  • 阅读387
  • 下载0
  • 29页
  • pdf

2董亭亭-3-FFA2019分论坛企业实践-快手-v7

实时统计各类指标、监控项 Realtime ca lculate all kinds of metricsandmonitor items. 辅助业务实时分析做决策、监控报警等 Assist business to make decisionandalarm in realtime. 数据清洗、拆分、join等处理 Data cleanandsplitandjoin etc. 数据etl处理 Data extractandtransformandload. 实时业务处理 Realtime business process. 特定业务逻辑处理:实时调度 Specific business processing: realtime scheduling.

  • 2021-06-29
  • 阅读419
  • 下载0
  • 34页
  • pdf

3-郑志升-3-FlinkAsia企业实践分论坛-B站-

？平台设计准则 Platform design stand ard Strea ming workflows 让数据说话，输入输出schema化 In putandoutp ut schema stand ardiza tion Streaming BSQL通用SQL语法解析层 Streaming BSQL general syntax SQL parser layer 工程效率，IDE开发、运维、监控、告警 Engineering efflciency, IDE dev, SRE, mo nitor, alarm

  • 2021-06-29
  • 阅读528
  • 下载0
  • 46页
  • pdf

4-马庆祥-3-FFA2019分论坛企业实践-马庆祥 - 修改版

问题: Problems: ◆大白同学:第一次用Flink进行业务开发,终于要上线了，如何配置并行度啊? dabat: I am a newer of Flink, the job is coming online, how to configure parallelism? ◆小明同学:江湖救急，业务线数据流量突增，现在积压了大量的数据,该咋办呀? xiaoming: Help, business line data tafe suddenly increased,anda large amount of data has been accumulated, what should Ido? ◆红红同学:通过调高并发总算是扛住了流量高峰,要不要把多余的资源还回去呢? honghong: We managed to keep up with the traffic peakbyincreasing concurency, do we need to return the extra resources?

  • 2021-06-29
  • 阅读398
  • 下载0
  • 38页
  • pdf