hadoop的资源调度框架有哪些

默认的又是哪个呢?最好能说下优势和劣势

请先 登录 后评论

最佳答案 2018-04-28 16:23

目前,Hadoop 作业调度器主要有三种:FIFO、Capacity Scheduler和Fair Scheduler。下面我们分别介绍。

1、先进先出调度器(FIFO)

  FIFO 是 Hadoop 中默认的调度器,也是一种批处理调度器。它先按照作业的优先级高低,再按照到达时间的先后选择被执行的作业。

2、 容量调度器(Capacity Scheduler)

  支持多个队列,每个队列可配置一定的资源量,每个队列采用FIFO调度策略,为了防止同一个用户的作业独占队列中的资源,该调度器会对同一用户提交的作业所占资源量进行限定。调度时,首先按以下策略选择一个合适队列:计算每个队列中正在运行的任务数与其应该分得的计算资源之间的比值,选择一个该比值最小的队列;然后按以下策略选择该队列中一个作业:按照作业优先级和提交时间顺序选择,同时考虑用户资源量限制和内存限制。

3、公平调度器(Fair Scheduler)

  同计算能力调度器类似,支持多队列多用户,每个队列中的资源量可以配置,同一队列中的作业公平共享队列中所有资源。

请先 登录 后评论

其它 0 个回答

  • 1 关注
  • 0 收藏,62 浏览
  • 芳芳 提出于 2018-04-28 16:23

相似问题