大数据导论:ApacheSpark之二课件
相关概念与术语
? Application:指用户编写的Spark应用程序,其中包括一个Driver功能的
代码和分布在集群中多个节点上运行的Executor代码;
? Driver: Spark中的Driver(包含Application的main函数)创建
SparkContext对象,准备Spark应用程序的运行环境,SparkContext负责与
ClusterManager通信,进行资源申请、任务的分配和监控等;
? Executor: Application运行在worker节点上的一个进程,该进程负责运行
一些Task, 并且负责将数据存到内存或磁盘上,每个Application都有各
自独立的一批Executor;
- 2021-12-27
- 阅读259
- 下载0
- 12页
- pdf