Download - HDFS 监控 维护
![Page 1: HDFS 监控 维护](https://reader033.vdocuments.site/reader033/viewer/2022061323/56815465550346895dc27f49/html5/thumbnails/1.jpg)
HDFS监控维护
管理 Hadoop
![Page 2: HDFS 监控 维护](https://reader033.vdocuments.site/reader033/viewer/2022061323/56815465550346895dc27f49/html5/thumbnails/2.jpg)
永久性数据结构安全模式日志审计
HDFS
![Page 3: HDFS 监控 维护](https://reader033.vdocuments.site/reader033/viewer/2022061323/56815465550346895dc27f49/html5/thumbnails/3.jpg)
HDFS :永久性数据结构
namenode 的目录结构:
dfs.name.dirVERSIONnamespaceIDcTimestorageType
![Page 4: HDFS 监控 维护](https://reader033.vdocuments.site/reader033/viewer/2022061323/56815465550346895dc27f49/html5/thumbnails/4.jpg)
HDFS :文件系统映像和编辑日志namenode 维护文件系统的元数据
fsimage 文件是文件系统的一个永久检查点
![Page 5: HDFS 监控 维护](https://reader033.vdocuments.site/reader033/viewer/2022061323/56815465550346895dc27f49/html5/thumbnails/5.jpg)
HDFS :文件系统映像和编辑日志由于需要恢复编辑日志中的各项操作,会导致 namenode 重启操作较慢。此时间内,文件系统将处于离线状态。
运行辅助 namenode
![Page 6: HDFS 监控 维护](https://reader033.vdocuments.site/reader033/viewer/2022061323/56815465550346895dc27f49/html5/thumbnails/6.jpg)
![Page 7: HDFS 监控 维护](https://reader033.vdocuments.site/reader033/viewer/2022061323/56815465550346895dc27f49/html5/thumbnails/7.jpg)
HDFS :文件系统映像和编辑日志
创建检查点的过程
![Page 8: HDFS 监控 维护](https://reader033.vdocuments.site/reader033/viewer/2022061323/56815465550346895dc27f49/html5/thumbnails/8.jpg)
HDFS :辅助 namenode
辅助 namenode 的目录结构
![Page 9: HDFS 监控 维护](https://reader033.vdocuments.site/reader033/viewer/2022061323/56815465550346895dc27f49/html5/thumbnails/9.jpg)
HDFS : datanode
datanode 的目录结构
![Page 10: HDFS 监控 维护](https://reader033.vdocuments.site/reader033/viewer/2022061323/56815465550346895dc27f49/html5/thumbnails/10.jpg)
HDFS :安全模式
在安全模式下, namenode 的文件系统对于客户端来说是只读的
![Page 11: HDFS 监控 维护](https://reader033.vdocuments.site/reader033/viewer/2022061323/56815465550346895dc27f49/html5/thumbnails/11.jpg)
HDFS :安全模式查看 namenode 是否进入安全模式:%hadoop dfssdmin –safemode getSafe mode is ON退出安全模式:%hadoop dfsadmin –safemode wait# command to read or write a file进入安全模式:%hadoop dfsadmin –safemode enterSafe mode is ON离开安全模式:%hadoop dfsadmin –safemode leaveSafe mode is OFF
![Page 12: HDFS 监控 维护](https://reader033.vdocuments.site/reader033/viewer/2022061323/56815465550346895dc27f49/html5/thumbnails/12.jpg)
HDFS :日志审计
HDFS 的日志能够记录所有文件的访问请求,对日志进行审计是 log4j 在INFO 级别实现的。在默认配置下, log4j 。 Properties 属性文件中的阈值被设为 WARN (未启动)。
![Page 13: HDFS 监控 维护](https://reader033.vdocuments.site/reader033/viewer/2022061323/56815465550346895dc27f49/html5/thumbnails/13.jpg)
HDFS : dfsadmin
dfsadmin 工具既可以查找HDFS 状态信息,又可在HDFS 上执行管理操作。
![Page 14: HDFS 监控 维护](https://reader033.vdocuments.site/reader033/viewer/2022061323/56815465550346895dc27f49/html5/thumbnails/14.jpg)
HDFS : fsck
fsck 工具可以用来检测 HDFS 中文件的健康状况
![Page 15: HDFS 监控 维护](https://reader033.vdocuments.site/reader033/viewer/2022061323/56815465550346895dc27f49/html5/thumbnails/15.jpg)
HDFS : fsck
对于损坏或者丢失的块-- 移动-- 删除
寻找特定文件的数据块
![Page 16: HDFS 监控 维护](https://reader033.vdocuments.site/reader033/viewer/2022061323/56815465550346895dc27f49/html5/thumbnails/16.jpg)
HDFS : datanode 块扫描器
每个 datanode 运行一个块扫描器,定期检查本节点上的所有块,从而在客户端客端读到坏块之前及时的检测和修复坏块。周期: dfs.datanode.scan.period.hours 设置
![Page 17: HDFS 监控 维护](https://reader033.vdocuments.site/reader033/viewer/2022061323/56815465550346895dc27f49/html5/thumbnails/17.jpg)
HDFS :均衡器
目的:均衡器将块从忙碌的 datanode 移到相对空闲的 datanode ,重新分配块
启动均衡器:%start –balancer.sh-threshold
![Page 18: HDFS 监控 维护](https://reader033.vdocuments.site/reader033/viewer/2022061323/56815465550346895dc27f49/html5/thumbnails/18.jpg)
监控
日志度量Java 管理扩展
![Page 19: HDFS 监控 维护](https://reader033.vdocuments.site/reader033/viewer/2022061323/56815465550346895dc27f49/html5/thumbnails/19.jpg)
监控
![Page 20: HDFS 监控 维护](https://reader033.vdocuments.site/reader033/viewer/2022061323/56815465550346895dc27f49/html5/thumbnails/20.jpg)
监控 日志
日志有助于查明系统中发生的事件
设置日志级别:通过 Hadoop 守护进程的网页来改变任何 log4j 日志名称的日志级别获取堆栈轨迹:Hadoop 守护进程提供一个网页对正在守护进程的 JVM 中运行着的线程执行线程转储。
![Page 21: HDFS 监控 维护](https://reader033.vdocuments.site/reader033/viewer/2022061323/56815465550346895dc27f49/html5/thumbnails/21.jpg)
监控 度量HDFS 和 MapReduce 守护进程收集相关的事件和度量信息。
![Page 22: HDFS 监控 维护](https://reader033.vdocuments.site/reader033/viewer/2022061323/56815465550346895dc27f49/html5/thumbnails/22.jpg)
监控 度量
![Page 23: HDFS 监控 维护](https://reader033.vdocuments.site/reader033/viewer/2022061323/56815465550346895dc27f49/html5/thumbnails/23.jpg)
监控 度量
![Page 24: HDFS 监控 维护](https://reader033.vdocuments.site/reader033/viewer/2022061323/56815465550346895dc27f49/html5/thumbnails/24.jpg)
监控 度量
![Page 25: HDFS 监控 维护](https://reader033.vdocuments.site/reader033/viewer/2022061323/56815465550346895dc27f49/html5/thumbnails/25.jpg)
监控 Java 管理扩展 (JMX)
![Page 26: HDFS 监控 维护](https://reader033.vdocuments.site/reader033/viewer/2022061323/56815465550346895dc27f49/html5/thumbnails/26.jpg)
监控 Java 管理扩展 (JVM)
许多第三方监控和报警系统均可查询 Mbean ,因此通过这些系统使用 JMX能够监控一个 Hadoop 集群。
![Page 27: HDFS 监控 维护](https://reader033.vdocuments.site/reader033/viewer/2022061323/56815465550346895dc27f49/html5/thumbnails/27.jpg)
维护日常管理过程
元数据备份数据备份fsck 工具文件系统均衡器
委任和解除节点委任新节点解除旧节点
升级版本兼容HDFS 的数据和元数据升级
![Page 28: HDFS 监控 维护](https://reader033.vdocuments.site/reader033/viewer/2022061323/56815465550346895dc27f49/html5/thumbnails/28.jpg)
维护 元数据备份
如果 namenode 的永久性性元数据丢失或者损坏,则整个文件系统无法使用,因此数据备份非常关键。方法一:直接保存这些元数据文件的副本方法二:整合倒 namenode 正在使用的文件上
![Page 29: HDFS 监控 维护](https://reader033.vdocuments.site/reader033/viewer/2022061323/56815465550346895dc27f49/html5/thumbnails/29.jpg)
维护 数据备份
为数据划分不同的优先级最高优先级是那些无法重新产生数据,对业务非常关键的数据,通常备份。优先级低的数据则无需备份。
distcp 备份工具
![Page 30: HDFS 监控 维护](https://reader033.vdocuments.site/reader033/viewer/2022061323/56815465550346895dc27f49/html5/thumbnails/30.jpg)
维护 fsck 工具
定期地对整个文件系统运行 HDFS 的 fsck (文件系统检查)工具,主动查找丢失或损坏的块
![Page 31: HDFS 监控 维护](https://reader033.vdocuments.site/reader033/viewer/2022061323/56815465550346895dc27f49/html5/thumbnails/31.jpg)
维护 文件系统均衡器
定期地运行均衡器工具,保存文件系统的各个 datanode比较均衡。
![Page 32: HDFS 监控 维护](https://reader033.vdocuments.site/reader033/viewer/2022061323/56815465550346895dc27f49/html5/thumbnails/32.jpg)
维护 委任和解除节点
![Page 33: HDFS 监控 维护](https://reader033.vdocuments.site/reader033/viewer/2022061323/56815465550346895dc27f49/html5/thumbnails/33.jpg)
维护 委任新节点
![Page 34: HDFS 监控 维护](https://reader033.vdocuments.site/reader033/viewer/2022061323/56815465550346895dc27f49/html5/thumbnails/34.jpg)
维护 解除旧节点
![Page 35: HDFS 监控 维护](https://reader033.vdocuments.site/reader033/viewer/2022061323/56815465550346895dc27f49/html5/thumbnails/35.jpg)
维护 解除旧节点
![Page 36: HDFS 监控 维护](https://reader033.vdocuments.site/reader033/viewer/2022061323/56815465550346895dc27f49/html5/thumbnails/36.jpg)
维护 升级
![Page 37: HDFS 监控 维护](https://reader033.vdocuments.site/reader033/viewer/2022061323/56815465550346895dc27f49/html5/thumbnails/37.jpg)
维护 兼容
![Page 38: HDFS 监控 维护](https://reader033.vdocuments.site/reader033/viewer/2022061323/56815465550346895dc27f49/html5/thumbnails/38.jpg)
维护 升级
必要性:在一个测试集群做实验
![Page 39: HDFS 监控 维护](https://reader033.vdocuments.site/reader033/viewer/2022061323/56815465550346895dc27f49/html5/thumbnails/39.jpg)
维护 升级 Five Tips
![Page 40: HDFS 监控 维护](https://reader033.vdocuments.site/reader033/viewer/2022061323/56815465550346895dc27f49/html5/thumbnails/40.jpg)
维护 升级步骤
![Page 41: HDFS 监控 维护](https://reader033.vdocuments.site/reader033/viewer/2022061323/56815465550346895dc27f49/html5/thumbnails/41.jpg)
维护 升级
![Page 42: HDFS 监控 维护](https://reader033.vdocuments.site/reader033/viewer/2022061323/56815465550346895dc27f49/html5/thumbnails/42.jpg)
维护 升级
![Page 43: HDFS 监控 维护](https://reader033.vdocuments.site/reader033/viewer/2022061323/56815465550346895dc27f49/html5/thumbnails/43.jpg)
Thank You