HDFS的基本操作

以你之姓@ 2022-05-22 02:38 383阅读 0赞

# #

# HDFS的基本操作 #

### 命令行客户端的常用命令 ###

### 1、上传文件到集群中 ###

hdfs dfs -put 本地路径   hdfs上的路径

例如：把本地 linux 上root目录下的a.txt上传到集群中的根目录下

hadoop fs -put /root/a.txt   /

相同功能的另外一种写法

hadoop fs -copyFromLocal /root/a.txt   /

### 2、下载文件到本地 ###

hadoop fs -get hdfs上的路径

例如：把集群中的根目录下的a.txt下载到本地 linux 上根目录

hadoop fs -get /a.txt

### 3、查看hdfs 中的目录信息 ###

hadoop fs -ls /

### 4、创建文件夹 ###

在集群中创建一个目录aaa     hadoop fs -mkdir /目录名称

hdfs dfs -mkdir /aaa

在集群中创建子目录可以使用  -p        hadoop fs -mkdir -p /目录名称/子目录名称

hadoop fs -mkdir -p /bbb/ccc

### 5、删除文件或文件夹 ###

删除文件：  hadoop fs -rm /文件名

# #

例如：删除根目录下的a.txt

hadoop fs -rm /a.txt

递归删除文件夹（如果文件夹里面有文件则需要递归删除  -r）    hadoop fs -rm -r /文件夹名称

例如删除根目录下的bbb文件夹

hadoop fs -rm -r /bbb

# HDFS如何动态扩容 #

扩容就是增加datanode

datanode可以在线扩容

步骤

1、       准备好一台服务器，配置好环境：网络、ip、防火墙、免密登陆、jdk

2、       从原集群的任意一台机器上复制hadoop安装包到新机器上

3、       在原集群的slaves文件中添加新机器 的主机名

4、       在新机器上启动datanode即可

A、      直接用start-dfs.sh

B、      或者在新机器上手动启动一个datanode进程 ：hadoop-daemon.sh start datanode

# HDFS的一些配置属性 #

## 副本数量 ##

hdfs中存储文件快可以有多个副本，默认3个

参数： dfs.blocksize   默认：134217728

在hdfs.site.xml文件中

此参数用于客户端

发表评论取消回复

表情：

评论列表（有 0 条评论，383人围观）

还没有评论，来说两句吧...

相关阅读

相关 HDFS的基本概念

HDFS（Hadoop Distributed Filesystem）是一个易于扩展的分布式文件系统，运行在成百上千台低成本的机器上。它与现有的分布式文件系统有许多相似之处，都

灰太狼/ 2023年10月07日 16:27/ 0 赞/ 46 阅读

相关 HDFS基本命令

1.具体操作过程如下：第一步：搭建3个节点启动hadoop1虚拟机，配置IP地址，使用CRT连接上；启动hadoop2虚拟机，配置IP地址。（

你的名字/ 2023年10月01日 10:51/ 0 赞/ 68 阅读

相关 HDFS基本操作

基本操作增在/目录下创建一个test1文件夹 hadoop fs -mkdir /test1 在Hadoop中的test1文件夹中创建一

た入场券/ 2022年10月01日 06:49/ 0 赞/ 276 阅读

相关 HDFS基本命令

HDFS常用命令：注：以下执行命令均在spark安装目录的bin目录下。 path 为路径 src为文件路径 dist 为文件夹 1、-help\[cmd\] 显

偏执的太偏执、/ 2022年07月15日 11:10/ 0 赞/ 314 阅读

相关 hadoop hdfs dfs基本操作

hadoop hdfs dfs基本操作本文主要参考： http://hadoop.apache.org/docs/r2.6.5/hadoop-project-dist

女爷i/ 2022年06月18日 07:51/ 0 赞/ 355 阅读

相关 HDFS的基本操作

HDFS的基本操作命令行客户端的常用命令 1、上传文件到集群中 hdfs dfs -put 本地路径 hdfs上的路径例如：把本地

以你之姓@/ 2022年05月22日 02:38/ 0 赞/ 384 阅读

相关 hdfs基本操作 ---- 持续更新中

查看 ./hdfs dfs -ls hdfs://ip:8020/ 查询/目录下的所有文件和文件夹 ./hdfs dfs -ls -R hdfs://ip:8020/

我会带着你远行/ 2022年03月15日 06:24/ 0 赞/ 298 阅读

相关 Hadoop（四）hdfs基本操作

HDFS是Hadoop的分布式文件系统，存储海量数据，通过多HDFS操作的了解，进一步了解HDFS。 HDFS上的操作，通过两个方面来了解，1：shell客户端，2：Java

我会带着你远行/ 2021年11月23日 11:22/ 0 赞/ 480 阅读

相关 hdfs操作

1. 文件操作 (1) 列出HDFS下的文件 /usr/local/hadoop$bin/ hadoop dfs -ls (2) 列出HDFS文件下名为in的文档中

朴灿烈づ我的快乐病毒、/ 2021年11月17日 04:31/ 0 赞/ 456 阅读

相关 HDFS的基本shell操作

(1)分布式文件系统随着数据量越来越多，在一个操作系统管辖的范围存不下了，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，因此迫切需要一种系统来管理多台机器上

灰太狼/ 2021年05月12日 11:51/ 0 赞/ 603 阅读