Hadoop新节点服/退役

当需要在原有集群基础上动态添加新的数据节点时,需要进行如下操作:

  • 环境准备

(1)在hadoop主机上再克隆一台hadoop1主机(可以直接安装一个)

(2)修改IP地址和主机名称

(3)删除原来HDFS文件系统留存的文件(/opt/module/hadoop-3.1.3/data和logs)(可以安装一个对应版本的进行配置)

(4)source一下配置文件

source /etc/profile
  • 服役新节点具体步骤

(1)直接启动DataNode,即可关联到集群

hdfs --daemon start datanode
yarn --daemon start nodemanager

(2)如果数据不均衡,可以用命令实现集群的再平衡

[localhost@hadoop1 sbin]$ ./start-balancer.sh
starting balancer, logging to /opt/module/hadoop-3.1.3/logs/hadoop-atguigu-balancer-hadoop102.out
Time Stamp               Iteration#  Bytes Already Moved  Bytes Left To Move  Bytes Being Moved

当需要在原有集群基础上动态删除数据节点时,需要进行如下操作:

  • 添加白名单和黑名单

白名单和黑名单是hadoop管理集群主机的一种机制。

添加到白名单的主机节点,都允许访问NameNode,不在白名单的主机节点,都会被退出。添加到黑名单的主机节点,不允许访问NameNode,会在数据迁移后退出。

实际情况下,白名单用于确定允许访问NameNode的DataNode节点,内容配置一般与workers文件内容一致。 黑名单用于在集群运行过程中退役DataNode节点。

配置白名单和黑名单的具体步骤如下:

1)在NameNode节点的/opt/module/hadoop-3.1.3/etc/hadoop目录下分别创建whitelist 和blacklist文件

[localhost@hadoop1 hadoop]$ pwd
/opt/module/hadoop-3.1.3/etc/hadoop
[localhost@hadoop1 hadoop]$ touch whitelist
[localhost@hadoop1 hadoop]$ touch blacklist

在whitelist中添加如下主机名称,假如集群正常工作的节点为102 103 104 105

hadoop102
hadoop103
hadoop104
hadoop105

黑名单暂时为空。

2)在hdfs-site.xml配置文件中增加dfs.hosts和 dfs.hosts.exclude配置参数

<!-- 白名单 -->
<property>
<name>dfs.hosts</name>
<value>/opt/module/hadoop-3.1.3/etc/hadoop/whitelist</value>
</property>
<!-- 黑名单 -->
<property>
<name>dfs.hosts.exclude</name>
<value>/opt/module/hadoop-3.1.3/etc/hadoop/blacklist</value>
</property>

3)分发配置文件whitelist,blacklist,hdfs-site.xml (注意:所有节点都要发一份)

[localhost@hadoop102 etc]$ xsync hadoop/ 
[localhost@hadoop102 etc]$ rsync -av hadoop/ atguigu@hadoop105:/opt/module/hadoop-3.1.3/etc/hadoop/

4)重新启动集群

[localhost@hadoop102 hadoop-3.1.3]$ stop-dfs.sh
[localhost@hadoop102 hadoop-3.1.3]$ start-dfs.sh
[localhost@hadoop105 hadoop-3.1.3]$ hdfs –daemon start datanode

黑名单退役

1)编辑/opt/module/hadoop-3.1.3/etc/hadoop目录下的blacklist文件

添加如下主机名称(要退役的节点)

#比如设置为105节点
hadoop105

2)分发blacklist到所有节点

[localhost@hadoop102 etc]$ xsync hadoop/ 
[localhost@hadoop102 etc]$ rsync -av hadoop/ atguigu@hadoop105:/opt/module/hadoop-3.1.3/etc/hadoop/

3)刷新NameNode、刷新ResourceManager

 

[localhost@hadoop102 hadoop-3.1.3]$ hdfs dfsadmin -refreshNodes
Refresh nodes successful

[localhost@hadoop102 hadoop-3.1.3]$ yarn rmadmin -refreshNodes
22/02/08 14:55:56 INFO client.RMProxy: Connecting to ResourceManager at hadoop103/192.168.1.103:8033

4)检查Web浏览器,退役节点的状态为decommission in progress(退役中),说明数据节点正在复制块到其他节点

5)等待退役节点状态为decommissioned(所有块已经复制完成),停止该节点及节点资源管理器。注意:如果副本数是3,服役的节点小于等于3,是不能退役成功的,需要修改副本数后才能退役

[localhost@hadoop105 hadoop-3.1.3]$ hdfs --daemon stop datanode
stopping datanode
[localhost@hadoop105 hadoop-3.1.3]$ yarn --daemon stop nodemanager
stopping nodemanager

6)如果数据不均衡,可以用命令实现集群的再平衡

[localhost@hadoop102 hadoop-3.1.3]$ sbin/start-balancer.sh 
starting balancer, logging to /opt/module/hadoop-3.1.3/logs/hadoop-atguigu-balancer-hadoop102.out
Time Stamp               Iteration#  Bytes Already Moved  Bytes Left To Move  Bytes Being Moved

注意:不允许白名单和黑名单中同时出现同一个主机名称,既然使用了黑名单blacklist成功退役了hadoop105节点,因此要将白名单whitelist里面的hadoop105去掉。

 

作者:不像话
出处:https://www.cnblogs.com/jake-jin/
github地址:https://github.com/buxianghua
若标题中有“转载”字样,则本文版权归原作者所有。欢迎转载,但未经作者同意必须保留此段声明,且在文章页面明显位置给出原文连接,否则保留追究法律责任的权利.

推荐这些文章:

Hadoop 概述(一)

Hadoop概述信息
hadoop 有三大组成部分,HDFS(分布式文件存储系统)、YARN(资源管理器)、MAPREDUCE(分布式计算框架) ,下边我们来简单介绍一下
HDFS 分布式文件存储系统
HDFS分布式文件系统,是由Google的GFS谷歌文件系统开源出来,其存储模型是有主从结构的,可以划分出来以下几点

NameNode(NN)基于内存存储,不会和磁盘发生交互,使用映射快照和日志文件进行持久化,保存元数据信息,以及保存文件名,文件属性,block块列表偏移量,位置信息和副本位置(block位置信息不会持久化,由 DN 心跳汇报)

DataNode(DN)以文件形式进...

Hadoop伪分布式的搭建

1.准备Linux环境   1.1 开启网络,ifconfig指令查看ip
  1.2 修改主机名为自己名字(hadoop)

    vim /etc/sysconfig/network
    NETWORKING=yes
    HOSTNAME=hadoop

  1.3修改主机名和IP的映射关系

    vim /etc/hosts
    192.168.182.128 hadoop

  1.4关闭防火墙

  #查看防火墙状态
  service iptables status
  #关闭防火墙
  service iptables stop
  #关闭防火墙开机启动...

Hadoop伪分布式搭建_刘益长

1.准备Linux环境
1.1 开启网络,ifconfig指令查看ip
1.2 修改主机名为自己名字(hadoop) vim /etc/sysconfig/network NETWORKING=yes HOSTNAME=hadoop 1.3修改主机名和IP的映射关系 vim /etc/hosts 192.168.182.128 hadoop 1.4关闭防火墙 #查看防火墙状态 service iptables status #关闭防火墙 service iptables stop #关闭防火墙开机启动 chkconfig iptables off 1.5...

Hadoop安装与常用操作命令

一、大纲
1、HDFS集群环境搭建
2、常见问题
3、HDFS Shell命令使用
 
 
二、集群环境搭建
下载地址: https://hadoop.apache.org/releases.html

 
1、初始化目录
在/bigdata/hadoop-3.2.2/下创建目录
mkdir logs secret hadoop_data hadoop_data/tmp hadoop_data/namenode hadoop_data/datanode
 
2、设置默认认证用户
vi hadoop-http-auth-signature-secret
...

Hadoop文件操作常用命令

1、创建目录

#hdfs dfs -mkidr /test

2、查询目录结构

#hdfs dfs -ls / 子命令 -R递归查看//查看具体的某个目录:例如#hdfs dfs -ls /test

3、创建文件

#hdfs dfs -touchz /test/data.txt

4、查看文件内容

#hdfs dfs -cat /test/data.txt (-text和-cat效果一样)

5、复制文件

// .表示当前目录,也可以指定具体其它目录#hdfs dfs -copyToLocal /test/data.txt .或#hdfs dfs -cp /test/...

Hadoop HDFS-HA

目录Hadoop HDFS-HAHA(High Availablity)HDFS-HA 集群搭建HDFS-HA 核心问题HDFS-HA手动配置1 环境准备2 规划集群3 配置HDFS-HA集群4 启动HDFS-HA集群HDFS-HA自动模式HDFS-HA 自动故障转移工作机制HDFS-HA 自动故障转移的集群规划配置HDFS-HA 自动故障转移YARN-HA配置YARN-HA 工作机制配置YARN-HA集群
Hadoop HDFS-HA
HA(High Availablity)
1.高可用:7*24小时不中断服务。
2.实现高可用最关键的策略是消除单点故障(一个节点故障,整个集群不可以使用)...

Hadoop(二)Hdfs基本操作

HDFS
HDFS由大量服务器组成存储集群,将数据进行分片与副本,实现高容错。
而分片最小的单位就是块。默认块的大小是64M。
HDFS Cli操作
官网https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/FileSystemShell.html
启动命令

sbin/start-dfs.sh

停止命令

sbin/stop-dfs.sh

创建目录

hadoop fs -mkdir /chesterdata

查看是否创建成功

hadoop fs -ls /

上传文件

hadoop fs...

Hadoop生产调优手册-4

Hadoop生产调优手册-4
HDFS——存储优化
纠删码
纠删码原理

HDFS默认情况下,一个文件有3个副本,这样提高了数据的可靠性,但也带来了2倍的冗余开销。Hadoop3.x引入了纠删码,采用计算的方式,可以节省约50%左右的存储空间。

纠删码相关的命令
[atguigu@hadoop102 hadoop-3.1.3]$ hdfs ecUsage: bin/hdfs ec [COMMAND]          [-li...

Hadoop核心-HDFS,MapReduce

转:https://mp.weixin.qq.com/s/vhdQ8ppd6eRD0dhXByv-aA
HDFS常见命令
HDFS上的数据,分布在不同的地方,我们有一些命令可以用于 增加/查看/删除 等数据操作。
#显示/下的所有文件夹信息hadoop fs -ls /#递归显示所有文件夹和子文件(夹)hadoop fs -lsr#创建/user/hadoop目录hadoop fs -mkdir /user/hadoop#把a.txt放到集群/user/hadoop/文件夹下hadoop fs -put a.txt /user/hadoop/#把集群上的/user/hadoop/a.txt拉...

Hadoop生产调优手册-5

Hadoop生产调优手册-5
故障排除
NameNode故障处理

需求

NameNode进程挂了并且存储的数据也丢失了,如何恢复NameNode

故障模拟

kill -9 NameNode进程
[atguigu@hadoop102 current]$ kill -9 19886
删除NameNode存储的数据(/opt/module/hadoop-3.1.3/data/tmp/dfs/name)
[atguigu@hadoop102 hadoop-3.1.3]$ rm -rf /opt/module/h...

文章标题:Hadoop新节点服/退役
文章链接:https://www.dianjilingqu.com/50825.html
本文章来源于网络,版权归原作者所有,如果本站文章侵犯了您的权益,请联系我们删除,联系邮箱:saisai#email.cn,感谢支持理解。
THE END
< <上一篇
下一篇>>