纱联合会

目的

众所周知，YARN可以扩展到数千个节点。YARN的可扩展性由资源管理器确定，并且与节点数，活动应用程序，活动容器和（节点和应用程序的）心跳频率成比例。降低心跳可以增加可伸缩性，但不利于利用率（请参阅旧的Hadoop 1.x经验）。该文档介绍了一种基于联合的方法，通过联合多个YARN子群集将单个YARN群集扩展到成千上万个节点。所提出的方法是将一个大型（10-100k个节点）集群划分为称为子集群的较小单元，每个子单元都有自己的YARN RM和计算节点。联合系统会将这些子集群缝合在一起，使它们在应用程序中看起来像是一个大型YARN集群。在此联合环境中运行的应用程序将看到单个大型YARN群集，并将能够在联合群集的任何节点上调度任务。在后台，联合系统将与子集群的资源管理器进行协商，并为应用程序提供资源。目标是允许单个作业无缝“扩展”子集群。

由于我们限制了每个RM负责的节点数量，并且采用适当的策略，该设计在结构上是可扩展的，将尝试确保大多数应用程序驻留在单个子集群中，因此每个RM可以看到的应用程序数量也有界。这意味着我们可以通过简单地添加子集群（几乎不需要它们之间的协调）来几乎线性地扩展规模。这种架构可以非常严格地强制执行每个子集群中的调度不变式（仅继承自YARN），而跨子集群的连续重新平衡将（不太严格地）强制要求在全局级别也要尊重这些属性（例如，群集丢失了大量节点，我们可以将队列重新映射到其他子群集，以确保在受损的子群集上运行的用户不会受到不公平的影响）。

联合身份验证被设计为现有YARN代码库之上的“层”，而核心YARN机制的更改有限。

假设：

• 我们假设各个子集群之间的连通性相当好（例如，尽管目前的调查未排除在外，但我们尚未考虑在DC上建立联盟）。
• 我们依靠HDFS联合（或同等可扩展的DFS解决方案）来照顾商店方面的可扩展性。

建筑

已知OSS YARN可以扩展到大约数千个节点。提出的体系结构利用了将多个此类较小的YARN群集（称为子群集）联合到包含数万个节点的较大的联合YARN群集中的概念。在此联合环境中运行的应用程序可以看到一个统一的大型YARN群集，并且能够在群集中的任何节点上计划任务。在后台，联合系统将与子集群RM协商，并为应用程序提供资源。图1中的逻辑体系结构显示了组成联合集群的主要组件，下面将对其进行描述。

跨子集群运行应用程序

提交应用程序后，系统将确定最合适的子集群来运行该应用程序，我们将其称为应用程序的主子集群。从AM到RM的所有通信都将通过AM计算机上本地运行的AMRMProxy进行代理。AMRMProxy公开与YARN RM相同的ApplicationMasterService协议终结点。AM可以使用存储层公开的位置信息来请求容器。在理想情况下，该应用程序将放置在一个子集群中，该应用程序将需要该应用程序所需的所有资源和数据，但是如果它确实需要其他子集群中的节点上的容器，则AMRMProxy将与这些子集群的RM协商。子集群透明地提供给应用程序，从而使应用程序可以将整个联合环境视为一个大型YARN群集。AMRMProxy，全局策略生成器（GPG）和路由器一起工作，以实现无缝连接。

该图显示了以下作业执行流程的序列图：

1. 路由器收到对YARN应用程序客户端协议投诉的应用程序提交请求。
2. 路由器查询路由表/策略以选择作业的“家乡RM”（策略配置是从心跳中的状态存储中接收到的）。
3. 路由器查询成员资格状态以确定归属RM的端点。
4. 然后，路由器将应用程序提交请求重定向到归属RM。
5. 路由器使用本地子群集标识符更新应用程序状态。
6. 一旦将应用程序提交到家庭RM，就会触发库存YARN流，即，将应用程序添加到调度程序队列中，并在具有可用资源的第一个NodeManager上的家庭子群集中启动其AM。一个。在此过程中，通过指示要与之交谈的YARN RM作为AMRMProxy的地址来修改AM环境。b。NM在启动AM时也会修改安全令牌，因此AM只能与AMRMProxy进行通信。从AM到YARN RM的任何将来通信都是由AMRMProxy介导的。
7. 然后，AM将使用HDFS公开的位置信息请求容器。
8. 根据策略，AMRMProxy可以通过提交非托管AM并将AM心跳转发给相关的子群集，从而在其他子群集上模拟AM。一个。联合身份验证通过AMRMProxy HA支持多种应用程序尝试。AM容器在主子集群中将具有不同的尝试ID，但是在次要尝试中将使用相同的非托管AM在次级中。b。启用AMRMProxy HA后，UAM令牌将存储在Yarn注册表中。在每次尝试应用程序的registerApplicationMaster调用中，AMRMProxy将从注册表（如果有）中获取现有的UAM令牌，然后重新附加到现有的UAM。
9. AMRMProxy将使用位置信息和状态存储中配置的可插拔策略来决定是将AM接收到的资源请求转发到归属RM还是一个（或多个）辅助RM。在图1中，我们显示了AMRMProxy决定将请求转发到辅助RM的情况。
10. 辅助RM将为AMRMProxy提供有效的容器令牌，以在其子群集中的某个节点上启动新容器。此机制可确保每个子集群使用其自己的安全令牌，并避免了需要群集范围的共享机密来创建令牌。
11. AMRMProxy将分配响应转发回AM。
12. AM使用标准YARN协议在目标NodeManager上（子集群2上）启动容器。

组态

要将YARN配置为使用联合，请在conf / yarn-site.xml中设置以下属性：

Running a Sample Job

In order to submit jobs to a Federation cluster one must create a separate set of configs for the client from which jobs will be submitted. In these, the conf/yarn-site.xml should have the following additional configurations:

Any YARN jobs for the cluster can be submitted from the client configurations described above. In order to launch a job through federation, first start up all the clusters involved in the federation as described here. Next, start up the router on the router machine with the following command:

  $HADOOP_HOME/bin/yarn --daemon start router

Now with $HADOOP_CONF_DIR pointing to the client configurations folder that is described above, run your job the usual way. The configurations in the client configurations folder described above will direct the job to the router’s client RM port where the router should be listening after being started. Here is an example run of a Pi job on a federation cluster from the client:

  $HADOOP_HOME/bin/yarn jar hadoop-mapreduce-examples-3.0.0.jar pi 16 1000

This job is submitted to the router which as described above, uses a generated policy from the GPG to pick a home RM for the job to which it is submitted.

The output from this particular example job should be something like:

  2017-07-13 16:29:25,055 INFO mapreduce.Job: Job job_1499988226739_0001 running in uber mode : false
  2017-07-13 16:29:25,056 INFO mapreduce.Job:  map 0% reduce 0%
  2017-07-13 16:29:33,131 INFO mapreduce.Job:  map 38% reduce 0%
  2017-07-13 16:29:39,176 INFO mapreduce.Job:  map 75% reduce 0%
  2017-07-13 16:29:45,217 INFO mapreduce.Job:  map 94% reduce 0%
  2017-07-13 16:29:46,228 INFO mapreduce.Job:  map 100% reduce 100%
  2017-07-13 16:29:46,235 INFO mapreduce.Job: Job job_1499988226739_0001 completed successfully
  .
  .
  .
  Job Finished in 30.586 seconds
  Estimated value of Pi is 3.14250000......

也可以在RouterWeb UI上的routerhost：8089上跟踪作业的状态。请注意，使用联合身份验证无需更改代码或重新编译输入jar。同样，此作业的输出与不进行联合运行时的输出完全相同。另外，为了获得联合的全部好处，请使用足够数量的映射器，以便需要多个群集。在上面的示例中，该数字恰好是16。