容量调度器

设置ResourceManager以使用CapacityScheduler

要将ResourceManager配置为使用CapacityScheduler，请在conf / yarn-site.xml中设置以下属性：

设置队列

etc / hadoop / capacity-scheduler.xml是CapacityScheduler的配置文件。

所述CapacityScheduler有一个称为预定队列根。系统中的所有队列都是根队列的子级。

可以通过配置yarn.scheduler.capacity.root.queues并使用逗号分隔的子队列列表来设置其他队列。

CapacityScheduler的配置使用称为队列路径的概念来配置队列的层次结构。该队列路径是队列的层次结构的完整路径，开始于根，有。（点）作为分隔符。

可以使用配置旋钮定义给定队列的子级：yarn.scheduler.capacity。<queue-path> .queues。除非另有说明，否则子级不会直接从父级继承属性。

这是一个示例，其中包含三个顶级子队列a，b和c以及一些a和b子队列：

<属性>
  <name> yarn.scheduler.capacity.root.queues </ name>
  <value> a，b，c </ value>
  <description>此级别上的队列（root是根队列）。
  </ description>
</ property>

<属性>
  <name> yarn.scheduler.capacity.root.a.queues </ name>
  <value> a1，a2 </ value>
  <description>此级别上的队列（root是根队列）。
  </ description>
</ property>

<属性>
  <name> yarn.scheduler.capacity.root.b.queues </ name>
  <value> b1，b2，b3 </ value>
  <description>此级别上的队列（root是根队列）。
  </ description>
</ property>

队列属性

• 资源分配

• 使用绝对资源配置的资源分配

CapacityScheduler支持绝对资源的配置，而不是按百分比提供队列容量。如上述配置部分中提到的yarn.scheduler.capacity。<queue-path> .capacity和yarn.scheduler.capacity。<queue-path> .max-capacity一样，管理员可以指定一个绝对资源值，例如[memory = 10240， vcores = 12]。这是有效的配置，指示10GB内存和12个VCore。

• 运行和等待应用程序限制

所述CapacityScheduler支持以下参数来控制运行，并且未决的申请：

• 队列管理和权限

该CapacityScheduler支持以下参数来管理该队列：

注：一个访问控制列表的形式为用户1，用户2 空间 1组，第2组。*的特殊值表示任何人。空间的特殊价值意味着没有人。如果未指定，默认值是*用于根队列。

• 基于用户或组，应用程序名称或用户定义的放置规则的队列映射

所述CapacityScheduler支持以下参数来配置基于用户或组，用户组，或应用程序的名称的队列映射。用户还可以定义自己的放置规则：

例：

 <属性>
   <name> yarn.scheduler.capacity.queue-mappings </ name>
   <value> u：user1：queue1，g：group1：queue2，u：％user：％user，u：user2：％primary_group </ value>
   <说明>
     这里，<user1>映射到<queue1>，<group1>映射到<queue2>， 
     将用户映射到与用户同名的队列，<user2>被映射 
     将分别与<primary group>相同的名称排队。映射将是
     从左到右计算，将使用第一个有效映射。
   </ description>
 </ property>

  <属性>
    <name> yarn.scheduler.queue-placement-rules.app-name </ name>
    <value> appName1：queue1，％application：％application </ value>
    <说明>
      在这里，<appName1>映射到<queue1>，将应用程序映射到具有
      分别与应用程序同名。映射将是
      从左到右计算，将使用第一个有效映射。
    </ description>
  </ property>

• 应用程序的队列生存期

  所述CapacityScheduler支持以下参数，以应用程序的生命周期：

设置应用程序优先级。

应用程序优先级仅与FIFO排序策略一起使用。默认排序策略是FIFO。

应用程序的默认优先级可以在集群级别和队列级别。

• 群集级优先级：提交的优先级大于cluster-max优先级的任何应用程序都将其优先级重置为cluster-max优先级。$ HADOOP_HOME / etc / hadoop / yarn-site.xml是cluster-max优先级的配置文件。

• 叶子队列级别优先级：每个叶子队列均由管理员提供默认优先级。队列的默认优先级将用于没有指定优先级的所有提交的应用程序。$ HADOOP_HOME / etc / hadoop / capacity-scheduler.xml是队列级优先级的配置文件。

注意：将应用程序移至其他队列时，不会更改应用程序的优先级。

Capacity Scheduler容器抢占

该CapacityScheduler支持来自其资源使用率超过其保证能力队列容器的抢占。需要在yarn-site.xml中启用以下配置参数，以支持抢占应用程序容器。

在为yarn.resourcemanager.scheduler.monitor.policies配置了ProportionalCapacityPreemptionPolicy类时，可以在yarn-site.xml中配置以下配置参数以控制容器的抢占

CapacityScheduler在Capacity -scheduler.xml中支持以下配置，以控制提交到队列的应用程序容器的抢占。

预订属性

• 预订管理和权限

该CapacityScheduler支持以下参数来控制的创建，删除，更新和保留的上市。请注意，任何用户都可以更新，删除或列出自己的保留。如果启用了保留ACL但未定义，则每个人都可以访问。在下面的示例中，<queue>是队列名称。例如，要设置保留ACL以管理默认队列上的保留，请使用属性yarn.scheduler.capacity.root.default.acl_administer_reservations

使用CapacityScheduler配置ReservationSystem

该CapacityScheduler支持ReservationSystem它允许用户提前储备资源。该应用程序可以通过指定在运行时请求所预留的资源预留ID提交期间。可以在yarn-site.xml中为ReservationSystem配置以下配置参数。

所述ReservationSystem集成了CapacityScheduler队列层次结构，并且可以被配置为用于任何LeafQueue目前。该CapacityScheduler支持以下参数来调整ReservationSystem：

叶队列的动态自动创建和管理

该CapacityScheduler支持自动创建的叶队列在父队列已被配置为启用此功能。

• 通过队列映射设置动态自动创建的叶子队列

yarn.scheduler.capacity.queue-mappings中列出的用户组队列映射需要指定其他父队列参数，以标识需要在其下创建自动创建的叶队列的父队列。有关更多详细信息，请参阅上面的“ 基于用户或组的队列映射”部分。请注意，此类父队列还需要启用自动创建子队列，如下面的“ 动态叶队列创建和管理的父队列配置”部分所述

例：

 <属性>
   <name> yarn.scheduler.capacity.queue-mappings </ name>
   <value> u：user1：queue1，g：group1：queue2，u：user2：％primary_group，u：％user：parent1。％user </ value>
   <说明>
     在这里，u：％user：parent1。％user映射允许除user1之外的任何<user>，
     将user2映射到其自己的用户特定叶队列，该队列
     将在<parent1>下自动创建。
   </ description>
 </ property>

• 用于动态叶队列自动创建和管理的父队列配置

的动态队列自动创建和管理功能集成了CapacityScheduler队列层级，并且可以被配置用于ParentQueue目前自动创建叶队列。此类父队列不支持其他预配置队列与自动创建的队列共存。该CapacityScheduler支持以下参数启用自动创建队列

• 使用CapacityScheduler配置自动创建的叶子队列

已启用自动叶队列创建的父队列支持配置模板参数，以自动配置自动创建的叶队列。自动创建的队列支持除队列ACL（绝对资源配置）以外的所有叶队列配置参数。队列ACL当前是从父队列继承的，即它们无法在叶队列模板上配置

例：

 <属性>
   <name> yarn.scheduler.capacity.root.parent1.auto-create-child-queue.enabled </ name>
   <value> true </ value>
 </ property>
 <属性>
    <name> yarn.scheduler.capacity.root.parent1.leaf-queue-template.capacity </ name>
    <value> 5 </ value>
 </ property>
 <属性>
    <name> yarn.scheduler.capacity.root.parent1.leaf-queue-template.maximum-capacity </ name>
    <value> 100 </ value>
 </ property>
 <属性>
    <name> yarn.scheduler.capacity.root.parent1.leaf-queue-template.user-limit-factor </ name>
    <value> 3.0 </ value>
 </ property>
 <属性>
    <name> yarn.scheduler.capacity.root.parent1.leaf-queue-template.ordering-policy </ name>
    <value>公平</ value>
 </ property>
 <属性>
    <name> yarn.scheduler.capacity.root.parent1.GPU.capacity </ name>
    <value> 50 </ value>
 </ property>
 <属性>
     <name> yarn.scheduler.capacity.root.parent1.accessible-node-labels </ name>
     <value> GPU，SSD </ value>
   </ property>
 <属性>
     <name> yarn.scheduler.capacity.root.parent1.leaf-queue-template.accessible-node-labels </ name>
     <value> GPU </ value>
  </ property>
 <属性>
    <name> yarn.scheduler.capacity.root.parent1.leaf-queue-template.accessible-node-labels.GPU.capacity </ name>
    <value> 5 </ value>
 </ property>

• 计划编辑策略配置以自动创建队列管理

管理员需要将其他org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.QueueManagementDynamicEditPolicy调度编辑策略指定为当前调度编辑策略列表，作为yarn.resourcemanager.scheduler.monitor.policies配置中的逗号分隔字符串。有关更多详细信息，请参阅上面的“ 容量调度程序”容器抢占部分

其他特性

• 资源计算器

• 数据局部性

Capacity Scheduler利用“ 延迟调度”来遵守任务局部性约束。有3个级别的位置限制：节点本地，机架本地和关闭交换机。当无法满足本地性时，调度程序会计算错过的机会的数量，并等待此计数达到阈值，然后再将本地性约束放宽到下一个级别。可以在以下属性中配置阈值：

请注意，如果YARN与文件系统分开部署，则应禁用此功能，因为位置无关紧要。可以通过将yarn.scheduler.capacity.node-locality-delay设置为-1来完成，在这种情况下，请求的位置约束将被忽略。

• 每个NodeManager心跳的容器分配

该CapacityScheduler支持以下参数来控制多少容器可以在每个节点管理器心跳进行分配。

查看CapacityScheduler的配置

一旦安装和配置完成，您就可以在从Web-ui启动YARN群集之后进行检查。

• 以正常方式启动YARN群集。

• 打开ResourceManager Web UI。

• 该/调度网页应该表现出个人队列的资源使用。

通过文件更改队列配置

要按文件编辑，您需要编辑conf / capacity-scheduler.xml并运行yarn rmadmin -refreshQueues。

$ vi $ HADOOP_CONF_DIR / capacity-scheduler.xml
$ $ HADOOP_YARN_HOME / bin / yarn rmadmin -refreshQueues

通过API更改队列配置

通过API编辑使用后备存储进行调度程序配置。为此，可以在yarn-site.xml中配置以下参数。

注意：此功能处于alpha阶段，可能会发生变化。

注意：当通过yarn.scheduler.configuration.store.class启用调度程序配置突变时，yarn rmadmin -refreshQueues将被禁用，即，将不再能够通过文件更新配置。

有关如何通过REST更改调度程序配置的示例，请参见YARN Resource Manager REST API；有关如何通过命令行更改调度程序配置的示例，请参见YARN Commands Reference。