温馨提示：要看高清无码套图，请使用手机打开并单击图片放大查看。

1.文档编写目的

在Hadoop集群资源紧张的情况下可以在线扩容来提升集群的计算能力，具体参考Fayson前面的文章《

如何在非Kerberos环境下对CDH进行扩容

》，那么在集群计算能力浪费的情况下，如何避免集群资源浪费？本篇文章主要介绍如何使用Cloudera Manager在线减容Hadoop集群。

内容概述

1.节点强制下线

2.节点正常下线

3.总结

测试环境

1.CM和CDH版本为5.13

前置条件

1.拥有Cloudera Manager的管理员账号

2.CDH集群已安装成功并正常运行

2.节点强制下线

1.计算节点下线前DataNode节点磁盘使用情况和Yarn资源使用情况统计

Yarn资源统计

2.通过Cloudera Manager的进入所有主机列表

3.选中要下线的节点，点击从“从集群中删除”

4.点击“集群中删除”，注意两个勾选要去掉。

5.点击“确认”

删除成功

注意：这里可以看到Hadoop相关角色已从该节点删除，但是依然存在Hosts列表中，受Cloudera Manager管理。

6.将该节点从Cloudera Manager移除

7.点击“确认”，可以看到该节点已从集群中移除

8.查看集群资源情况

集群中DataNode节点磁盘使用情况统计

Yarn资源统计

3.节点正常下线

1.计算节点下线前集群的DataNode节点磁盘使用情况统计

集群Yarn资源情况统计

2.通过Cloudera Manager的进入所有主机列表

3.选中要下线的节点，点击从“从集群中删除”

4.从集群中删除172.31.7.172节点

等待将该节点从集群中删除，解除授权的过程中，该下线节点上的数据也会被自动复制到其他的DataNode节点，如果下线节点的数据量较大，此步骤会耗费非常长的时间。

5.下线成功

6.将该节点从Cloudera Manager中移除

7.点击“确认”，将该节点移除Cloudera Manager

可以看到172.31.7.172节点已被移除。

8.查看集群资源情况

集群Yarn资源情况统计

4.总结

这里Fayson使用了两种方式来下线节点即正常下线和强制下线。

1.强制下线时未勾选“解除授权角色”和“跳过管理角色”功能，则会直接将该节点上面的所有角色停止并删除节点上的角色，不会处理该节点上的数据，会导致集群Block缺失。

2.正常下线时勾选了“解除授权角色”和“跳过管理角色”功能，则在进行节点下线的时候会将该节点的数据复制到集群的其它节点上，在数据全部复制成功后才会将该节点从集群中删除。

3.对比强制下线和正常下线前后磁盘使用情况可以看出，强制下线并未将下线节点的数据复制到集群其它节点。

4.对比强制下线和正常下线前后Yarn资源情况，在该节点从集群中删除后，Yarn的资源有减少。

在强制下线后集群出现异常告警

NameNode异常日志：

The number of live datanodes 3 has reached the minimum number 1. Safe mode will be turned off automatically once the thresholds have been reached. at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.checkNameNodeSafeMode(FSNamesystem.java:1523) at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.renewLease(FSNamesystem.java:5145) at org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.renewLease(NameNodeRpcServer.java:884) at org.apache.hadoop.hdfs.server.namenode.AuthorizationProviderProxyClientProtocol.renewLease(AuthorizationProviderProxyClientProtocol.java:361) at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolServerSideTranslatorPB.renewLease(ClientNamenodeProtocolServerSideTranslatorPB.java:670) at org.apache.hadoop.hdfs.protocol.proto.ClientNamenodeProtocolProtos$ClientNamenodeProtocol$2.callBlockingMethod(ClientNamenodeProtocolProtos.java) at org.apache.hadoop.ipc.ProtobufRpcEngine$Server$ProtoBufRpcInvoker.call(ProtobufRpcEngine.java:617) at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:1073) at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:2226) at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:2222) at java.security.AccessController.doPrivileged(Native Method) at javax.security.auth.Subject.doAs(Subject.java:422) at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1917) at org.apache.hadoop.ipc.Server$Handler.run(Server.java:2220)Caused by: org.apache.hadoop.hdfs.server.namenode.SafeModeException: Cannot renew lease for DFSClient_NONMAPREDUCE_1296242040_1. Name node is in safe mode.

异常原因：由于强制下线数据节点，HDFS的Block缺失，导致NameNode进入安全模式。Fayson在下线节点后，按照Cloudera Manager重启了集群，所以NameNode在接收DataNode汇报block的时候会进入安全模式，否则HDFS不会在一下线节点就自动进入安全模式。

解决方法：

sudo -u hdfs hadoop dfsadmin -safemode leavesudo -u hdfs hadoop fsck / -delete

执行成功后等待集群将缺失的block从其他节点恢复至设置的副本数据

HDFS告警恢复

为天地立心，为生民立命，为往圣继绝学，为万世开太平。

温馨提示：要看高清无码套图，请使用手机打开并单击图片放大查看。

您可能还想看

安装

CENTOS6.5安装CDH5.12.1(一)

CENTOS6.5安装CDH5.12.1(二)

CENTOS7.2安装CDH5.10和Kudu1.2(一)

CENTOS7.2安装CDH5.10和Kudu1.2(二)

如何在CDH中安装Kudu&Spark2&Kafka

如何升级Cloudera Manager和CDH

如何卸载CDH(附一键卸载github源码)

如何迁移Cloudera Manager节点

如何在Windows Server2008搭建DNS服务并配置泛域名解析

安全

如何在CDH集群启用Kerberos

如何在Hue中使用Sentry

如何在CDH启用Kerberos的情况下安装及使用Sentry(一)

如何在CDH启用Kerberos的情况下安装及使用Sentry(二)

如何在CDH未启用认证的情况下安装及使用Sentry

如何使用Sentry管理Hive外部表权限

如何使用Sentry管理Hive外部表（补充）

如何在Kerberos与非Kerberos的CDH集群BDR不可用时复制数据

Windows Kerberos客户端配置并访问CDH

数据科学

如何在CDSW中使用R绘制直方图

如何使用Python Impyla客户端连接Hive和Impala

如何在CDH集群安装Anaconda&搭建Python私有源

如何使用CDSW在CDH中分布式运行所有R代码

如何使用CDSW在CDH集群通过sparklyr提交R的Spark作业

如何使用R连接Hive与Impala

如何在Redhat中安装R的包及搭建R的私有源

如何在Redhat中配置R环境

什么是sparklyr

其他

CDH网络要求(Lenovo参考架构)

大数据售前的中年危机

如何实现CDH元数据库MySQL的主备

如何在CDH中使用HPLSQL实现存储过程

如何在Hive&Impala中使用UDF

Hive多分隔符支持示例

推荐关注Hadoop实操，第一时间，分享更多Hadoop干货，欢迎转发和分享。

原创文章，欢迎转载，转载请注明：转载自微信公众号Hadoop实操