（2-1）HDFS（分布式文件系统和hdfs shell)

朱雀 2022-08-19 08:22 141阅读 0赞

1.分布式文件系统 Distributed File System

允许文件通过网络在多台主机上分析的文件系统，可让多台机器上的多台用户分享文件和存储空间。

通透性：让实际上是通过网络来访问文件的动作，由程序与用户看来，就像是访问本地的磁盘一般。

容错：即使系统中某些节点脱机，整体来说系统仍然可以持续运作，而不会有数据丢失。

分布式文件系统很多，HDFS只是其中一种。适用于一次写入多次查询（读取）的情况，不支持并发写情况（一个文件的多 块不能同时写，需要一块一块的写），小文件不合适。（不支持update修改、更新，需要将原来的文件删除）

2 .通过命令行的方式来展示一下HDFS（HDFS shell）

cd /itcast/hadoop-2.2.0/sbin/

./start-dfs.sh \#只查看HDFS，所以只打开HDFS就可以

打开hdfs 在sbin底下，以前用过上传put 查看 -ls

hadoop fs -ls hdfs://itcast01:9000/ \#这是HDFS的根，类似linux的根，可以通过浏览器查看\#

192.168.8.88：50070

hadoop fs -ls / 和上面表示的意思相同，都是查看hdfs根里面的文件

![Center][]

由图片可以看到HDFS根目录打开是jdk，tmp，wxout和words

不知道能个干神马，可以hadoop fs回车，查看帮助

复制文件

hadoop fs -copyFromLocal /root/install.log /in.log \#复制linux根目录下/root/install.log 到hdfs根目录下为in.log

hadoop fs -ls / \#查看根目录下有没有复制好的文件，也可以用浏览器查看

hadoop fs -cat /in.log \#查看in.log文件的具体内容，也可以通过浏览器查看

或者hadoop fs -cat hsfs://itcast01:9000/in.log(命令意思相同)

hadoop fs -cat /in.log | more 用分页查看（文件打开比较多的时候）

从hdfs复制文件到本地，用copyToLocal，用法相同

count数hdfs根目录下文件数目：hadoop fs -count /

文件夹数目（根目录也算一个） 文件数目 多少字节 eg：5 3 154813887

删除：hadoop fs rm -r /tmp 删掉tmp

拷贝：cp hdfs路径 hdfs路径 （把hdfs数据拷贝到hdfs的某个目录）

put (本地文件拷贝到hdfs上)

下载：hadoop fs -get /in.log /home/ii.log （从Hdfs下载到本地）

查看：  hadoop fs -ls 可加 -R 递归查看文件，包括目录下的子文件和子文件夹

加 -h 表示人类可读的，加单位

创建目录：hadoop fs -mkdir /itcast0106

剪切：-moveFromLocal 从本地上传一个文件，把原文件删除

\-moveToLocal 从hdfs下载一个文件，把原文件删除

剪切重命名：-mv 把hdfs上的文件移动到hdfs的某个目录

上传：-put

删除：hadoop fs -rm /jdk -rm -r可以删除目录 -rmdir只能删除空目录

查看文件尾部的内容：-tail hadoop fs -tail /in.log

查看里面的内容：-text 和-cat 相同 hadoop fs -text /in.log

在hdfs上创建一个通文件：-touchz

查看帮助文档 hadoop fs -help <cmd> 加你要查看的命令

改变权限、所属用户、所属组

\-ls里面可以看到它的权限【可读可写或what】

我想添加执行权限：hadoop fs -chmod +x【默认是a+x，就是所有】 /in.log

去掉执行权限：hadoop fs -chmod -R【代表递归，子文件和子文件夹都去掉权限】 -x /wcout

改变所属用户：hadoop fs -chown supergroup /in.log 由root 用户变成了supergroup

![Center 1][]

改变所属组：hadoop fs -chgrp root /in.log

![Center 2][]

即改变用户，又改变所属组：hadoop fs -chown supergroup:root /wcout

如果想递归改：hadoop fs -chown -R supergroup:root /wcout

从上面的命令可以看到和linux的命令非常相似,简单易用

hdfs dfd -ls / hadoop2.2.0新出的命令，这两个命令相同

hadoop fs -ls /

常用的命令：

![Center 3][]

[Center]: /images/20220731/e46e62c070c74576821f915d6f07c7bb.png
[Center 1]: /images/20220731/6b6e5a43ee524fe8bbbd57c6577ba7dd.png
[Center 2]: /images/20220731/3b5fc19b788c4185b98e7c61e507a7ff.png
[Center 3]: /images/20220731/fb2eea1b19ae4202a509f1b984a5cd8c.png

发表评论取消回复

表情：

评论列表（有 0 条评论，141人围观）

还没有评论，来说两句吧...

相关阅读

相关（2-1）HDFS（分布式文件系统和hdfs shell)

1.分布式文件系统 Distributed File System 允许文件通过网络在多台主机上分析的文件系统，可让多台机器上的多台用户分享文件和存储空间。通透性：让

朱雀/ 2022年08月19日 08:22/ 0 赞/ 142 阅读

相关分布式文件系统HDFS

1.1简介 HDFS实现目标兼容廉价的硬件设备实现流数据读写支持大数据集支持简单的文件模型

太过爱你忘了你带给我的痛/ 2022年06月02日 06:54/ 0 赞/ 272 阅读

相关 HDFS分布式文件系统简介

HDFS（Hadoop Distributed File System）Hadoop 分布式文件系统基于流数据模式访问就是可以字节序列化的数据，j

女爷i/ 2022年05月28日 01:36/ 0 赞/ 266 阅读

相关 Hadoop分布式文件系统HDFS

HDFS的探究： HDFS HDFS是 Hadoop Distribute File System的缩写，是谷歌GFS分布式文件系统的开源实现，Apache Hado

Dear 丶/ 2022年04月25日 02:02/ 0 赞/ 222 阅读

相关 HDFS分布式文件系统

前文： Hadoop作为一个分布式系统基础架构，解决了海量数据的存储和计算。一、概念 1、HDFS及FSimage概念 ![water

客官°小女子只卖身不卖艺/ 2022年01月31日 14:39/ 0 赞/ 321 阅读

相关分布式文件系统-HDFS

从RAID说起大数据技术主要要解决的问题的是大规模数据的计算处理问题，那么首先要解决的就是大规模数据的存储问题。大规模数据存储要解决的核心问题有三个方面：数据

本是古典何须时尚/ 2022年01月20日 07:35/ 0 赞/ 283 阅读

相关分布式文件系统-HDFS

HDFS Hadoop的核心就是HDFS与MapReduce。那么HDFS又是基于GFS的设计理念搞出来的。 HDFS全称是Hadoop Distributed

浅浅的花香味﹌/ 2022年01月07日 04:57/ 0 赞/ 307 阅读

相关分布式文件系统HDFS 练习

本次作业来源：[https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/3310][https_edu.cnblogs.

悠悠/ 2021年12月21日 13:55/ 0 赞/ 295 阅读

相关分布式文件系统-HDFS

HDFS Hadoop的核心就是HDFS与MapReduce。那么HDFS又是基于GFS的设计理念搞出来的。 HDFS全称是Hadoop Distributed Syste

叁歲伎倆/ 2021年11月05日 02:02/ 0 赞/ 391 阅读

相关 HDFS分布式文件存储系统

一、各部分介绍 1.1 NameNode Namenode 是一个中心服务器，单一节点（简化系统的设计和实现），负责管理文件系统的名字空间(namespa

痛定思痛。/ 2021年09月14日 04:16/ 0 赞/ 659 阅读