Hadoop YARN：调度性能优化实践
美团的YARN以社区2.7.1版本为基础构建分支。目前在YARN上支撑离线业务、实时业务以及机器学习业务。
？ 离线业务主要运行的是Hive on MapReduce， Spark SQL为主的数据仓库作业。
？ 实时业务主要运行Spark Streaming，Flink为主的实时流计算作业。
？ 机器学习业务主要运行TensorFlow，MXNet，MLX（美团点评自研的大规模机器学习系统）等计算作业。
YARN面临高可用、扩展性、稳定性的问题很多。其中扩展性上遇到最严重的是集群和业务规模增长带来的调度器性能问题。从业务角度来看，假设集群1000台节点，每个节点提供100个CPU的计算能力。每个任务使用1个CPU，平均执行时间1分钟。集群在高峰期始终有超过10万CPU的资源需求。集群的调度器平均每分钟只能调度5万的任务。从分钟级别观察，集群资源使用率是50000/（100*1000）=0.5，那么集群就有50%的计算资源因为调度能力的问题而无法使用。
- 2021-06-06
- 阅读346
- 下载0
- 17页
- docx
