EMR弹性低成本离线大数据分析最佳实践

EMR的所有云盘和本地盘都会在节点释放的时候清除数据,磁盘无法独立保存下来并再次使用。Hadoop HDFS会使用所有的数据盘作为数据存储;Hadoop YARN也会使用所有的数据盘作为计算的临时存储。当业务数据量并不太大(TB级别以下)的时候可以使用云盘,IOPS和吞吐相比本地盘都会小些;数据量大的时候,推荐使用本地盘,EMR会维护本地盘的数据可靠性。如果发现在使用中明显的吞吐量不够用,可以切到本地盘的存储上。

  • 2021-05-06
  • 收藏0
  • 阅读74
  • 下载0
  • 14页
  • pdf
  • 3.29M

评价

评分 :
   *