HDFS的基本shell操作

灰太狼 2021-05-12 11:51 573阅读 0赞

(1)分布式文件系统

随着数据量越来越多，在一个操作系统管辖的范围存不下了，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，因此迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统 。它是一种允许文件通过网络在多台主机上分享的文件系统，可让多机器上的多用户分享文件和存储空间。

而它最主要的特性就是通透性。让实际上是通过网络来访问文件的动作，由程序与用户看来，就像是访问本地的磁盘一般。即使系统中有某些节点脱机，整体来说系统仍然可以持续运作而不会有数据损失

分布式文件管理系统很多，hdfs只是其中一种。适用于一次写入多次查询的情况，不支持并发写情况，小文件不合适。

(2)HDFS的常用SHELL操作。

HDFS也是一种操作系统。它的SHELL操作类似于[Linux][]。

①查看目录

命令：hadoop fs -ls PATH

例如：hadoop fs -ls hdfs://myhadoop:9000/

![Center][]

这里有一个问题，为什么最后要加上hdfs://myhadoop:9000/，这里表示HDFS的根目录，我们可以查看一下/usr/local/hadoop/conf中的core-site.xml文件，在这个配置文件中配置了HDFS的根目录：

![Center 1][]

当然使用hadoop fs -ls /也可以查看，它会默认加上配置文件中的内容。

②递归查看根目录下所有文件：

命令：hadoop fs -lsr hdfs://myhadoop:9000/

![Center 2][]

如图所示，根据空格区分，第二个显示参数表示该文件的副本数，这意味着一个文件可能在HDFS中存在多个，这样就实现了文件的备份，其中为"-"的表示是目录，所有不存在副本，默认副本数是3。这里由于是伪分布系统，所以设置为了1。在/usr/local/hadoop/conf中的hdfs-site.xml文件可以进行相应的配置：

![Center 3][]

③创建目录

命令:hadoop fs -mkdir PATH

例如：hadoop fs -mkdir /d1

![Center 4][]

④上传文件

命令：hadoop fs -put 源文件([Linux][]系统) 目标路径(HDFS)

例如：上传当前目录下的core-site.xml文件到刚刚创建的/d1目录中。

命令为：hadoop fs -put ./core-site.xml /d1

![Center 5][]

⑤下载文件

命令：hadoop fs -get 源文件(HDFS) 目标路径(Linux系统)

例如：下载刚刚HDFS中/d1目录下的core-site.xml文件到Linux系统桌面。

命令为：hadoop fs -get /d1/core-site.xml /root/Desktop/

![Center 6][]

⑥查看文件

命令：hadoop fs -text FILE

例如：查看d1下的core-site.xml文件。

命令为：hadoop fs -text /d1/core-site.xml

![Center 7][]

⑦删除文件

命令：hadoop fs -rm FILE

例如：删除/d1下的core-site.xml文件

![Center 8][]

⑧递归删除

命令：hadoop fs -rmr PATH

例如：递归删除/d1下的所有内容

![Center 9][]

⑨查看命令的帮助手册

命令：hadoop fs -help COMMAND

例如：查看ls的帮助手册

![Center 10][]

(3)HDFS中所有shell操作的总结：

![Center 11][]

![Center 12][]

[Linux]: http://www.it165.net/os/oslin/
[Center]: /images/20210511/4d0b54611cdb476baa37cc9da391037f.png
[Center 1]: /images/20210511/563c4b62c82b4b7ba44c4111a4b9eb1e.png
[Center 2]: /images/20210511/081beac24fe04262b80e6212ad37a004.png
[Center 3]: /images/20210511/60a36371e6214cf08049e4c16ddace90.png
[Center 4]: /images/20210511/3e94bfc0aaf44b1dafc48f8f9500322f.png
[Center 5]: /images/20210511/3de96775d190444fac699aeb50de503e.png
[Center 6]: /images/20210511/4de48f62a4ba4835bdec3fc78fd7b04a.png
[Center 7]: /images/20210511/c8f10a4f729f4397ae07e8071d622bcc.png
[Center 8]: /images/20210511/f7bf9a85d4454adf96d636043930479a.png
[Center 9]: /images/20210511/8637ff43bb36430bbe9b2a9378159052.png
[Center 10]: /images/20210511/52ce43b2c4d94d789dfeaa9a7420404b.png
[Center 11]: /images/20210511/0d4da16295d04b738d28ecff9e3df17c.png
[Center 12]: /images/20210511/ae15987bf5ca482cb99159dd18fff38c.png