在Hadoop v2中,HDFS支持高可用性(HA)名称节点服务和线路兼容性。这两个功能使升级HDFS变得可行,而不会导致HDFS停机。为了在不停机的情况下升级HDFS群集,必须使用HA设置群集。
如果新软件版本中启用了任何新功能,则升级后可能无法与旧软件版本一起使用。在这种情况下,应按照以下步骤进行升级。
请注意,仅从Hadoop-2.4.0起才支持滚动升级。
在HA群集中,有两个或多个NameNode(NN),许多DataNode(DN),一些JournalNode(JN)和一些ZooKeeperNode(ZKN)。JN相对稳定,在大多数情况下,升级HDFS时不需要升级。在滚动升级过程这里介绍,仅神经网络和DN的考虑,但JNS和ZKNs都没有。升级JN和ZKN可能会导致群集停机。
假设有两个名称节点NN1和NN2,其中NN1和NN2分别处于活动和备用状态。以下是升级HA群集的步骤:
对于非HA群集,无法在没有停机的情况下升级HDFS,因为它需要重新启动名称节点。但是,数据节点仍可以滚动方式升级。
在非HA群集中,有一个NameNode(NN),SecondaryNameNode(SNN)和许多DataNodes(DN)。升级非HA群集的过程与升级HA群集的过程类似,不同之处在于,将步骤2“升级活动和备用NN升级”更改为以下内容:
如果不希望使用升级版本,或者在某些不太可能的情况下,升级失败(由于新版本中的错误),管理员可以选择将HDFS降级到升级前版本,或将HDFS回滚到升级前版本和升级前的状态。
请注意,降级可以滚动方式进行,但不能回滚。回滚要求集群停机。
还请注意,只有在开始滚动升级之后且终止升级之前,才可以进行降级和回滚。可以通过完成,降级或回滚来终止升级。因此,可能无法在完成或降级之后执行回滚,或者在完成后无法执行降级。
降级会将软件还原回升级前的版本,并保留用户数据。假设时间T是滚动升级开始时间,并且升级通过降级终止。然后,在T之前或之后创建的文件在HDFS中仍然可用。在T之前或之后删除的文件在HDFS中仍然被删除。
仅当两个版本之间的namenode布局版本和datanode布局版本均未更改时,才可以将较新的版本降级为升级前的版本。
在高可用性群集中,当正在进行从旧软件版本到新软件版本的滚动升级时,可以滚动方式将升级后的计算机降级到旧软件版本。与之前相同,假设NN1和NN2分别处于活动状态和待机状态。以下是在不停机的情况下进行降级的步骤:
请注意,在降级名称节点之前,必须先降级数据节点,因为协议可以以向后兼容的方式更改,但不能向前兼容,即旧的数据节点可以与新的名称节点对话,反之则不行。
回滚将软件还原到升级前的版本,但也将用户数据还原到升级前的状态。假设时间T为滚动升级开始时间,并且升级通过回滚终止。T之前创建的文件在HDFS中仍然可用,但T之后创建的文件不可用。T之前删除的文件在HDFS中仍然被删除,但是T之后删除的文件被恢复。
始终支持从较新版本回滚到升级前版本。但是,这不能以滚动方式完成。它需要集群停机。假设NN1和NN2分别处于活动状态和待机状态。以下是回滚的步骤:
hdfs dfsadmin -rollingUpgrade <查询|准备|完成>
执行滚动升级操作。
询问 | 查询当前滚动升级状态。 |
准备 | 准备新的滚动升级。 |
完成 | 完成当前的滚动升级。 |
hdfs dfsadmin -getDatanodeInfo <DATANODE_HOST:IPC_PORT>
获取有关给定datanode的信息。该命令可以像Unix ping命令一样用于检查数据节点是否处于活动状态。
hdfs dfsadmin -shutdownDatanode <DATANODE_HOST:IPC_PORT> [升级]
提交给定datanode的关闭请求。如果指定了可选的升级参数,则建议访问数据节点的客户端等待其重启,然后启用快速启动模式。如果重启不及时,客户端将超时并忽略数据节点。在这种情况下,快速启动模式也将被禁用。
请注意,该命令不等待数据节点关闭完成。“ dfsadmin -getDatanodeInfo ”命令可用于检查数据节点关闭是否完成。