hdfs分布式文件系统默认数据存放路径、及相关配置属性详细解析

Myth丶恋晨 2024-04-07 13:27 21阅读 0赞

hdfs默认数据存放路径

1. 默认存放路径：\{hadoop.tmp.dir\} = /tmp/hadoop-$\{user.name\}

即：$> /tmp/hadoop-hyxy，

注意：/tmp是临时存放文件的路径，但是有时候系统重启，或者数据量太大的时候，系统会

删除里面某些数据，因此一般会修改路径到当前用户目录下：

即：$> /home/hyxy/tmp/hadoop

理解格式化：

理解格式化的含义\{创建dfs/name/fsimage和edit文件，针对namenode的守护进程\}

开启namenode进程会失败：

失败的原因是：我们在core-site.xml修改了tmp路径：【/home/hyxy/tmp/hadoop】，

启动namenode服务的时候，系统找不到原来的路径：/$\{hadoop.tmp.dir\}/dfs/name,

解决方法：

a.重新格式化，但，原有的HDFS的数据全部删除掉

b.复制\{/tmp/hadoop-hyxy/dfs/name\}至\{/home/hyxy/tmp/hadoop/dfs\}的路径下，问题解决。

2.查看系统日志

\{$HADOOP\_HOME/logs\}:

如果服务没起来，可以查看日志文件,要是不想查看日志信息，可以hdfs namenode /datanode;

也 可以查看出错的信息。

3.分别设置dfs的相关目录\{name , data , namesecondary\}，(在hdfs-default.xml查找源码)

并在hdfs-site.xml添加：

name:

dfs.namenode.name.dir

file://$\{hadoop.tmp.dir\}/dfs/name

\#专门针对name的路径设置，不放在默认的路径下，可以指定我们的默认物理磁盘

确定本地文件系统上DFS名称节点的位置

应该存储名称表(fsimage)。 如果这是一个以逗号分隔的列表

的目录，然后名称表被复制到所有的目录中，以实现冗余。

data:

dfs.datanode.data.dir

file://$\{hadoop.tmp.dir\}/dfs/data

确定本地文件系统上DFS数据节点的位置

应该存储它的块。 如果这是逗号分隔的

目录列表，然后数据将被存储在所有命名

目录，通常在不同的设备上。 目录应该被标记

与HDFS对应的存储类型(\[SSD\] / \[磁盘\] / \[存档\] / \[RAM\_DISK\])

存储政策。 如果目录不存在，则默认存储类型为DISK

没有明确标记的存储类型。 不存在的目录将

如果本地文件系统权限允许，则创建它。

namesecondary

dfs.namenode.checkpoint.dir

file://$\{hadoop.tmp.dir\}/dfs/namesecondary

确定本地文件系统上DFS辅助名称节点应该存储要合并的临时像 的位置。 如果这是一个以逗号分隔的目录列表，则图像将 复制到所有目录中以实现冗余。

上述红色字体：是修改name,data,namenodesecondary三个的路径。

发表评论取消回复

表情：

评论列表（有 0 条评论，21人围观）

还没有评论，来说两句吧...

相关阅读

相关【大数据】分布式文件系统HDFS

一文快速聊明白HDFS的核心概念

本是古典何须时尚/ 2024年04月25日 20:22/ 0 赞/ 103 阅读

相关 hdfs分布式文件系统默认数据存放路径、及相关配置属性详细解析

hdfs默认数据存放路径 1. 默认存放路径：\{hadoop.tmp.dir\} = /tmp/hadoop-$\{user.name\} 即：$> /tmp/hadoo

Myth丶恋晨/ 2024年04月07日 13:27/ 0 赞/ 22 阅读

相关 css盒子模型及一些相关属性详细解析

![20201209200657845.gif][] -------------------- 一、CSS 盒子模型 -------------------

待我称王封你为后i/ 2022年12月27日 08:29/ 0 赞/ 143 阅读

相关 hibernate配置文件详细解析

雨点打透心脏的1/2处/ 2022年08月07日 10:51/ 0 赞/ 289 阅读

相关 log4j日志文件默认存放路径

log4j.properties文件中指定日志输出的路径 log4j.appender.A2.File=logs/pm.log 使用weblogic部署项目应

Dear 丶/ 2022年06月14日 07:27/ 0 赞/ 1045 阅读

相关分布式文件系统HDFS

1.1简介 HDFS实现目标兼容廉价的硬件设备实现流数据读写支持大数据集支持简单的文件模型

太过爱你忘了你带给我的痛/ 2022年06月02日 06:54/ 0 赞/ 350 阅读

相关 HDFS分布式文件系统

前文： Hadoop作为一个分布式系统基础架构，解决了海量数据的存储和计算。一、概念 1、HDFS及FSimage概念 ![water

客官°小女子只卖身不卖艺/ 2022年01月31日 14:39/ 0 赞/ 395 阅读

相关分布式文件系统-HDFS

从RAID说起大数据技术主要要解决的问题的是大规模数据的计算处理问题，那么首先要解决的就是大规模数据的存储问题。大规模数据存储要解决的核心问题有三个方面：数据

本是古典何须时尚/ 2022年01月20日 07:35/ 0 赞/ 343 阅读

相关分布式文件系统-HDFS

HDFS Hadoop的核心就是HDFS与MapReduce。那么HDFS又是基于GFS的设计理念搞出来的。 HDFS全称是Hadoop Distributed

浅浅的花香味﹌/ 2022年01月07日 04:57/ 0 赞/ 372 阅读

相关分布式文件系统-HDFS

HDFS Hadoop的核心就是HDFS与MapReduce。那么HDFS又是基于GFS的设计理念搞出来的。 HDFS全称是Hadoop Distributed Syste

叁歲伎倆/ 2021年11月05日 02:02/ 0 赞/ 461 阅读