Hadoop新节点服/退役

当需要在原有集群基础上动态添加新的数据节点时，需要进行如下操作：

• 环境准备

（1）在hadoop主机上再克隆一台hadoop1主机（可以直接安装一个）

（2）修改IP地址和主机名称

（3）删除原来HDFS文件系统留存的文件（/opt/module/hadoop-3.1.3/data和logs）（可以安装一个对应版本的进行配置）

（4）source一下配置文件

source /etc/profile

• 服役新节点具体步骤

（1）直接启动DataNode，即可关联到集群

hdfs --daemon start datanode
yarn --daemon start nodemanager

（2）如果数据不均衡，可以用命令实现集群的再平衡

[localhost@hadoop1 sbin]$ ./start-balancer.sh
starting balancer, logging to /opt/module/hadoop-3.1.3/logs/hadoop-atguigu-balancer-hadoop102.out
Time Stamp               Iteration#  Bytes Already Moved  Bytes Left To Move  Bytes Being Moved

当需要在原有集群基础上动态删除数据节点时，需要进行如下操作：

• 添加白名单和黑名单

白名单和黑名单是hadoop管理集群主机的一种机制。

添加到白名单的主机节点，都允许访问NameNode，不在白名单的主机节点，都会被退出。添加到黑名单的主机节点，不允许访问NameNode，会在数据迁移后退出。

实际情况下，白名单用于确定允许访问NameNode的DataNode节点，内容配置一般与workers文件内容一致。 黑名单用于在集群运行过程中退役DataNode节点。

配置白名单和黑名单的具体步骤如下：

1）在NameNode节点的/opt/module/hadoop-3.1.3/etc/hadoop目录下分别创建whitelist 和blacklist文件

[localhost@hadoop1 hadoop]$ pwd
/opt/module/hadoop-3.1.3/etc/hadoop
[localhost@hadoop1 hadoop]$ touch whitelist
[localhost@hadoop1 hadoop]$ touch blacklist

在whitelist中添加如下主机名称,假如集群正常工作的节点为102 103 104 105

hadoop102
hadoop103
hadoop104
hadoop105

黑名单暂时为空。

2）在hdfs-site.xml配置文件中增加dfs.hosts和 dfs.hosts.exclude配置参数

<!-- 白名单 -->
<property>
<name>dfs.hosts</name>
<value>/opt/module/hadoop-3.1.3/etc/hadoop/whitelist</value>
</property>
<!-- 黑名单 -->
<property>
<name>dfs.hosts.exclude</name>
<value>/opt/module/hadoop-3.1.3/etc/hadoop/blacklist</value>
</property>

3）分发配置文件whitelist，blacklist，hdfs-site.xml (注意：所有节点都要发一份)

[localhost@hadoop102 etc]$ xsync hadoop/ 
[localhost@hadoop102 etc]$ rsync -av hadoop/ atguigu@hadoop105:/opt/module/hadoop-3.1.3/etc/hadoop/

4）重新启动集群

[localhost@hadoop102 hadoop-3.1.3]$ stop-dfs.sh
[localhost@hadoop102 hadoop-3.1.3]$ start-dfs.sh
[localhost@hadoop105 hadoop-3.1.3]$ hdfs –daemon start datanode

黑名单退役

1）编辑/opt/module/hadoop-3.1.3/etc/hadoop目录下的blacklist文件

添加如下主机名称（要退役的节点）

#比如设置为105节点
hadoop105

2）分发blacklist到所有节点

[localhost@hadoop102 etc]$ xsync hadoop/ 
[localhost@hadoop102 etc]$ rsync -av hadoop/ atguigu@hadoop105:/opt/module/hadoop-3.1.3/etc/hadoop/

3）刷新NameNode、刷新ResourceManager

[localhost@hadoop102 hadoop-3.1.3]$ hdfs dfsadmin -refreshNodes
Refresh nodes successful

[localhost@hadoop102 hadoop-3.1.3]$ yarn rmadmin -refreshNodes
22/02/08 14:55:56 INFO client.RMProxy: Connecting to ResourceManager at hadoop103/192.168.1.103:8033

4）检查Web浏览器，退役节点的状态为decommission in progress（退役中），说明数据节点正在复制块到其他节点

5）等待退役节点状态为decommissioned（所有块已经复制完成），停止该节点及节点资源管理器。注意：如果副本数是3，服役的节点小于等于3，是不能退役成功的，需要修改副本数后才能退役

[localhost@hadoop105 hadoop-3.1.3]$ hdfs --daemon stop datanode
stopping datanode
[localhost@hadoop105 hadoop-3.1.3]$ yarn --daemon stop nodemanager
stopping nodemanager

6）如果数据不均衡，可以用命令实现集群的再平衡

[localhost@hadoop102 hadoop-3.1.3]$ sbin/start-balancer.sh 
starting balancer, logging to /opt/module/hadoop-3.1.3/logs/hadoop-atguigu-balancer-hadoop102.out
Time Stamp               Iteration#  Bytes Already Moved  Bytes Left To Move  Bytes Being Moved

注意：不允许白名单和黑名单中同时出现同一个主机名称，既然使用了黑名单blacklist成功退役了hadoop105节点，因此要将白名单whitelist里面的hadoop105去掉。

作者：不像话
出处：https://www.cnblogs.com/jake-jin/
github地址：https://github.com/buxianghua
若标题中有“转载”字样，则本文版权归原作者所有。欢迎转载，但未经作者同意必须保留此段声明，且在文章页面明显位置给出原文连接，否则保留追究法律责任的权利.

推荐这些文章：

Hadoop 概述(一)

Hadoop概述信息
hadoop 有三大组成部分，HDFS（分布式文件存储系统）、YARN（资源管理器）、MAPREDUCE（分布式计算框架） ,下边我们来简单介绍一下
HDFS 分布式文件存储系统
HDFS分布式文件系统，是由Google的GFS谷歌文件系统开源出来，其存储模型是有主从结构的，可以划分出来以下几点

NameNode（NN）基于内存存储，不会和磁盘发生交互，使用映射快照和日志文件进行持久化，保存元数据信息，以及保存文件名，文件属性，block块列表偏移量，位置信息和副本位置（block位置信息不会持久化，由 DN 心跳汇报）

DataNode（DN）以文件形式进...

Hadoop伪分布式的搭建

1.准备Linux环境 　　1.1 开启网络,ifconfig指令查看ip
　　1.2 修改主机名为自己名字(hadoop)

　　　　vim /etc/sysconfig/network
　　　　NETWORKING=yes
　　　　HOSTNAME=hadoop

　　1.3修改主机名和IP的映射关系

　　　　vim /etc/hosts
　　　　192.168.182.128 hadoop

　　1.4关闭防火墙

　　#查看防火墙状态
　　service iptables status
　　#关闭防火墙
　　service iptables stop
　　#关闭防火墙开机启动...

Hadoop伪分布式搭建_刘益长

1.准备Linux环境
1.1 开启网络,ifconfig指令查看ip
1.2 修改主机名为自己名字(hadoop) vim /etc/sysconfig/network NETWORKING=yes HOSTNAME=hadoop 1.3修改主机名和IP的映射关系 vim /etc/hosts 192.168.182.128 hadoop 1.4关闭防火墙 #查看防火墙状态 service iptables status #关闭防火墙 service iptables stop #关闭防火墙开机启动 chkconfig iptables off 1.5...

Hadoop安装与常用操作命令

一、大纲
1、HDFS集群环境搭建
2、常见问题
3、HDFS Shell命令使用
 
 
二、集群环境搭建
下载地址: https://hadoop.apache.org/releases.html

 
1、初始化目录
在/bigdata/hadoop-3.2.2/下创建目录
mkdir logs secret hadoop_data hadoop_data/tmp hadoop_data/namenode hadoop_data/datanode
 
2、设置默认认证用户
vi hadoop-http-auth-signature-secret
...

Hadoop文件操作常用命令

1、创建目录

#hdfs dfs -mkidr /test

2、查询目录结构

#hdfs dfs -ls / 子命令 -R递归查看//查看具体的某个目录：例如#hdfs dfs -ls /test

3、创建文件

#hdfs dfs -touchz /test/data.txt

4、查看文件内容

#hdfs dfs -cat /test/data.txt (-text和-cat效果一样)

5、复制文件

// .表示当前目录，也可以指定具体其它目录#hdfs dfs -copyToLocal /test/data.txt .或#hdfs dfs -cp /test/...

Hadoop HDFS-HA

目录Hadoop HDFS-HAHA(High Availablity)HDFS-HA 集群搭建HDFS-HA 核心问题HDFS-HA手动配置1 环境准备2 规划集群3 配置HDFS-HA集群4 启动HDFS-HA集群HDFS-HA自动模式HDFS-HA 自动故障转移工作机制HDFS-HA 自动故障转移的集群规划配置HDFS-HA 自动故障转移YARN-HA配置YARN-HA 工作机制配置YARN-HA集群
Hadoop HDFS-HA
HA(High Availablity)
1.高可用:7*24小时不中断服务。
2.实现高可用最关键的策略是消除单点故障(一个节点故障，整个集群不可以使用)...

Hadoop（二）Hdfs基本操作

HDFS
HDFS由大量服务器组成存储集群，将数据进行分片与副本，实现高容错。
而分片最小的单位就是块。默认块的大小是64M。
HDFS Cli操作
官网https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/FileSystemShell.html
启动命令

sbin/start-dfs.sh

停止命令

sbin/stop-dfs.sh

创建目录

hadoop fs -mkdir /chesterdata

查看是否创建成功

hadoop fs -ls /

上传文件

hadoop fs...

Hadoop生产调优手册-4

Hadoop生产调优手册-4
HDFS——存储优化
纠删码
纠删码原理

HDFS默认情况下，一个文件有3个副本，这样提高了数据的可靠性，但也带来了2倍的冗余开销。Hadoop3.x引入了纠删码，采用计算的方式，可以节省约50％左右的存储空间。

纠删码相关的命令
[atguigu@hadoop102 hadoop-3.1.3]$ hdfs ecUsage: bin/hdfs ec [COMMAND]          [-li...

Hadoop核心-HDFS，MapReduce

转：https://mp.weixin.qq.com/s/vhdQ8ppd6eRD0dhXByv-aA
HDFS常见命令
HDFS上的数据，分布在不同的地方，我们有一些命令可以用于 增加/查看/删除 等数据操作。
#显示/下的所有文件夹信息hadoop fs -ls /#递归显示所有文件夹和子文件(夹)hadoop fs -lsr#创建/user/hadoop目录hadoop fs -mkdir /user/hadoop#把a.txt放到集群/user/hadoop/文件夹下hadoop fs -put a.txt /user/hadoop/#把集群上的/user/hadoop/a.txt拉...

Hadoop生产调优手册-5

Hadoop生产调优手册-5
故障排除
NameNode故障处理

需求

NameNode进程挂了并且存储的数据也丢失了，如何恢复NameNode

故障模拟

kill -9 NameNode进程
[atguigu@hadoop102 current]$ kill -9 19886
删除NameNode存储的数据（/opt/module/hadoop-3.1.3/data/tmp/dfs/name）
[atguigu@hadoop102 hadoop-3.1.3]$ rm -rf /opt/module/h...