HDFS常用命令
hdfs 命令最常用的就是：
hdfs dfs -[linux的命令]
通过查看Hadoop的命令 与 hdfs 的命令并不相同，且不存在包含关系。仅仅是 hadoop fs 与 hdfs dfs 可以等价。
hadoop 常用命令
查看hadoop 命令所有参数：
hadoophadoop checknative // 检查当前版本hadoop内库支持哪些压缩。如果是false，则需要自己编译支持此压缩。如果使用CDH则都支持。hadoop classpath // 打印当前hadoop的环境hadoop jar // 等价于 yarn jar ，提交jar 包到yarn
hdfs 常用命令
查看hdfs 命令所有参数：
hdfs
hdfs dfsadmin
hdfs dfsadmin -report // 报告当前集群的情况hdfs dfsadmin -safemode // 安全模式。hdfs dfsadmin -safemode leave // leave代表关闭，安全模式关闭才是读写正常的。hdfs dfsadmin -safemode enter // 进入安全模式。如正在做集群维护时，就可以手动进入安全模式，维护完再离开>Safemode is On // 安全模式下，能读不能写// hdfs dfsadmin 还有其他很多参数
hdfs fsck
hdfs fsck // 对hdfs 做检查。如发现 Target Replicas is 3 but 1 live replica(s) 代表有副本丢失。文件权限后的数据就代表当前文件本来需有多少副本
平衡
// hdfs balancer // 集群平衡。DN1 与 DN2 间节点平衡。封装到脚本，每天晚上定执行hdfs balancer -policy datanode -threshold 10 // 让 每个节点磁盘使用率，减去平均磁盘使用率 < 10%// hdfs diskbalancer // 磁盘平衡。DN1中 多块磁盘的平衡。需要确保参数dfs.disk.balancer.enabled=true执行命令: 先生成计划 再执行hdfs diskbalancer -plan ruozedata001 // 生产后会创建一个同名.plan.json文件，执行它hdfs diskbalancer -execute ruozedata001.plan.json
回收站
linux 没有回收站，可以自己搞思路:准备脚本，rm 改mv，移动到指定的目录,很多参考。hdfs 是有回收站的有参数控制是否启用:fs.trash.interval // 回收站保留时间min，如果为0，代表不启用回收站功能<property><name>fs.trash.interval</name><value>10080</value></property>开启后的删除操作就会移动
hdfs dfs -ls
hadoop fs -ls 是在 /user/liqiang ; hadoop fs -ls / 是在根目录hdfs dfs -ls # 列出工作主目录-用户名路径下的内容hdfs dfs -ls / # 列出hdfs 根目录下的内容
hdfs dfs -mkdir
# path可以是绝对路径，也可以是相对路径。hdfs dfs -mkdir [-p] <path>hdfs dfs -mkdir tmp # 在hdfs文件系统中/user/liqiang 目录下创建tmp目录hdfs dfs -mkdir ./tmp #hdfs dfs -mkdir /tmp # 在hdfs文件系统的根目录下创建一个tmp目录
hdfs dfs -rm -r -f
hdfs dfs -rm [-r] [-f] <uri> # 删除目录或文件，-r -f不能组合成-rfhdfs dfs -rm -r -f /test # 删除根目录下的test目录hdfs dfs -rmdir /test # 删除目录：只能删除空目录
hdfs dfs -appendToFile
# appendToFile命令既可以将一个或多个文件添加到HDFS中，也可以将流中的数据读取到HDFS中。最终都是在hdfs中生成一个文件。hdfs dfs -appendToFile <localSrc> <dst># 将本地文件exp.log上传到hdfs中/user/liqiang/tmp目录，并重命名为：exception.loghdfs dfs -appendToFile ./exp.log ./tmp/exception.log# 将本地的test目录传到hdfs中，重命名为tst文件【注意这里并不是目录】。hdfs dfs -appendToFile ./test ./tst
hdfs dfs -cat
hdfs dfs -cat <URI># 查看/user/liqiang/tmp/exception.log 文件内容hdfs dfs -cat ./tmp/exception.log
hdfs dfs -text
# 查看文件内容，支持压缩文件的查看而不会乱码hdfs dfs -text ./tmp/exception.log
hdfs dfs -find
# 从根目录下精确搜索exception.log文件hdfs dfs -find / -name exception.log# 从/user/liqiang目录下搜索名称中包含ex字符串的文件hdfs dfs -find /user/liqiang -name '*ex*'
hdfs dfs -put
从本地文件系统拷贝文件到hdfs中。hdfs dfs -put [-f] [-p] [-l] [-d] [-t <thread count>] [ - | <localsrc1> .. ]. <dst># -f 如果已存在就覆盖# -p 递归拷贝hdfs dfs -put head.png tmp/head.png # 拷贝文件hdfs dfs -put txt/ tmp/txt # 将目录txt拷贝到hdfs中的/user/liqiang/tmp/txt
hdfs dfs -get
从hdfs中下载文件到本地文件系统中。hdfs dfs -get [-ignorecrc] [-crc] [-p] [-f] <src> <localdst># -p 保留访问权限 修改时间等信息# -f 如果目标文件已存在，直接覆盖。hdfs dfs -get ./tmp ./hdfs-temp-dic # 将hdfs中的tmp目录下载到本地并重命名
hdfs dfs -cp
hdfs dfs -cp [-f] [-p | -p[topax]] URI [URI ...] <dest># -f 如果存在，直接覆盖。hdfs dfs -cp /user/hadoop/file1 /user/hadoop/file2hdfs dfs -cp /user/hadoop/file1 /user/hadoop/file2 /user/hadoop/dirhdfs dfs -cp tmp ./temp # 将tmp拷贝并重命名为temp
hdfs dfs -count
统计目录下文件夹数量 文件数量 目录下文件总字节数。
hadoop fs -count [-q] [-h] [-v] [-x] [-t [<storage type>]] [-u] [-e] [-s] <paths>\hdfs dfs -count /user/test # 对/user/test 目录进行统计
结果每列含义：目录数 文件数 总大小（字节） 目录名称
hdfs dfs -mv
hdfs dfs -mv URI [URI ...] <dest># mv命令只能在hdfs文件系统中使用，不能跨系统。hdfs dfs -mv tmp /tmp_home
hdfs dfs -chmod
hdfs dfs -chmod [-R] <MODE[,MODE]... | OCTALMODE> URI [URI ...]# -R 递归目录授权hdfs dfs -chmod 700 temp # 给temp目录授权700~
hdfs dfs -chown
hdfs dfs -chown [-R] <MODE[,MODE]... | OCTALMODE> URI [URI ...]hdfs dfs -chown liqiang:liqiang temp # 更文件改用户组
hdfs dfs -tail
hadoop fs -tail [-f] URI # 输出文件的末尾输出到控制台# -f 动态输出
hdfs dfs -touch
hdfs dfs -touch [-a] [-m] [-t TIMESTAMP] [-c] URI [URI ...]
hdfs dfs -touchz
hdfs dfs -touchz URI [URI ...] # 创建一个长度为0的文件
àì夳堔傛蜴生んèń
- 日理万妓
深藏阁楼爱情的钟
你的名字
小灰灰
Myth丶恋晨
小鱼儿
还没有评论，来说两句吧...