会员中心
搜索
登录
注册

解决方案

数字化转型通用方案行业方案安全方案大数据人工智能物联网行业展望自动控制其他

产品|技术

白皮书产品介绍技术介绍技术创新模型算法

政策|规范

政策规范行动计划

电子书

电子书课件

报告|论文

报告模板论文

大数据导论：ApacheSpark之二课件

相关概念与术语 ？ Application：指用户编写的Spark应用程序，其中包括一个Driver功能的 代码和分布在集群中多个节点上运行的Executor代码； ？ Driver: Spark中的Driver（包含Application的main函数）创建 SparkContext对象，准备Spark应用程序的运行环境，SparkContext负责与 ClusterManager通信，进行资源申请、任务的分配和监控等； ？ Executor: Application运行在worker节点上的一个进程，该进程负责运行 一些Task， 并且负责将数据存到内存或磁盘上，每个Application都有各 自独立的一批Executor；

  • 2021-12-27
  • 阅读260
  • 下载0
  • 12页
  • pdf

大数据导论：ApacheSpark之一课件

Spark是UC Berkeley AMP lab （加州大学伯克利分校的AMP 实验室）所开发的类Hadoop MapReduce的通用并行框架；可用来构建 大型的、低延迟的数据分析应用程序。

  • 2021-12-27
  • 阅读263
  • 下载0
  • 13页
  • pdf

大数据导论：并行编程模型--MapReduce-之三课件

Hadoop MapReduce采用Master/Slave结构 ？ Master：是整个集群的唯一的全局管理者，功能包括：作业管理、状 态监控和任务调度等，即MapReduce中的JobTracker。 ？ Slave：负责任务的执行和任务状态的回报，即MapReduce中的 TaskTracker。

  • 2021-12-27
  • 阅读249
  • 下载0
  • 13页
  • pdf

大数据导论：并行编程模型--MapReduce-之一课件

并行计算（Parallel Computing）或称平行计算是相对于串行计算来说的。 它是一种一次可执行多个指令的计算，目的是提高计算速度，以及通 过扩大问题求解规模，解决大型而复杂的计算问题。

  • 2021-12-27
  • 阅读272
  • 下载0
  • 10页
  • pdf

大数据导论：基于Hadoop的数据仓库之二课件

Hive中的元数据包括表的名字，表的列和分区及其属性，表的属 性（是否为外部表等），表的数据所在目录等。 由于Hive的元数据 需要不断的更新、修改，而HDFS系统中的文件是多读少改的， 这显然不能将Hive的元数据存储在HDFS中。目前Hive将元数据 存储在数据库中，如Mysql、Derby中。我们可以通过修改Hive 的配置文件以修改元数据的存储方式。

  • 2021-12-27
  • 阅读246
  • 下载0
  • 12页
  • pdf

大数据导论：基于HDFS的数据库之三课件

Hbase安装 ？ 1 Hbase的三种运行模式：单机模式、伪分布模式、分 布式模式。 ？ 单机模式可以不依赖于HDFS； ？ 伪分布模式和分布式模式需要HDFS支持。 ？ 一般安装Hadoop过程中并没有安装Zookeeper， Hbase等，只是安装了HDFS和MapReduce等核心组件， Zookeeper需单独安装。 ？ 2 下载Hbase的安装包； ？ 3 解压Hbase安装包到某个文件夹中，例如/usr/local； ？ 4 把文件夹下的/bin添加到path中，例如/usr/local/path；

  • 2021-12-27
  • 阅读245
  • 下载0
  • 26页
  • pdf

大数据导论：基于HDFS的数据库之二课件

采用了很多数据库的实现策略。但并不支持完整的 关系型数据模型；而是为客户端提供了一种简单的 数据模型，客户端可以动态地控制数据的布局和格 式，并且利用底层数据存储的局部性特征。 ？ 将数据看成无意义的字节串，客户端需要将结构化 和非结构化数据串行化再存入Bigtable

  • 2021-12-27
  • 阅读258
  • 下载0
  • 13页
  • pdf

大数据导论：HDFS的简要介绍课件

HDFS概述 ？ 分布式文件系统 – 在物理上是由多个计算机作为节点构成； – 节点分为主节点（Master Node）和从节点 （Slave Node）； ？ HDFS（Hadoop Distributed File System） – HDFS是一种适合运行在通用硬件上的，具有高 容错、高吞吐量的分布式文件系统。 – 主从节点称为NameNode和DataNode；

  • 2021-12-27
  • 阅读244
  • 下载0
  • 19页
  • pdf