4-linux、hdfs命令

本是古典何须时尚 2021-12-15 10:23 104阅读 0赞

定义：
    　　
    　　linux：Linux是一套免费使用和自由传播的类Unix操作系统，是一个基于POSIX和UNIX的多用户、多任务、支持多线程和多CPU的
    　　　　　　操作系统。它能运行主要的UNIX工具软件、应用程序和网络协议。它支持32位和64位硬件。Linux继承了Unix以网络为核
    　　　　　　心的设计思想，是一个性能稳定的多用户网络操作系统。
    　　hdfs：Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。它和现有的分
    　　　　　 布式文件系统有很多共同点。但同时，它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统，适
    　　　　　 合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用
    ———————————————————————————————————————————————————————————————————————————————————————————————————————
    *******************************************************linux*******************************************
    ———————————————————————————————————————————————————————————————————————————————————————————————————————
    ①命令格式：
    
        命令  -选项  参数
        单个选项：ls  -l       /us
        多个选项：ls –la  /root
    
    ②快捷键：
    
        ctrl + c（停止当前进程）
        
    
    ctrl + z  挂起当前进程，放后台
        
    
    ctrl + l（清屏，与clear命令作用相同）
    
        对当前命令行的操作：
    
        
    
    ctrl + a  行首 
        ctrl + e 行尾  
    
    ③基础命令
    
    ——————————————————————————————————————————
    1、帮助
    ——————————————————————————————————————————
        man           
        help            
        --help    
    
        which       cd               //查看命令所在位置
        whereis    cd              //查看命令所在位置
    ——————————————————————————————————————————
    2、路劲切换
    ——————————————————————————————————————————
        cd ~    //回到当前用户home中
        cd /    //回到根下
        cd -    //回到上一次目录下    
    ——————————————————————————————————————————
    3、目录
    ——————————————————————————————————————————
        mkdir         //新建目录
        mkdir  -p        //递归新建目录
    
        touch        //新建文件    
    
        pwd        //当前目录（绝对路劲）
    
        ls            //简略显示目录信息，如不加目录，则表示当前目录
        ls -l        //详细显示 <==>ll
        ls -a        //包括隐藏文件    
        ls -h        //包括文件大小
    
        例子：    touch  ./a.txt  ./b.txt        //新建文件    
            ls  /etc            //显示详细信息
    ——————————————————————————————————————————
    4、复制、粘贴、移动
    ——————————————————————————————————————————
        cp    
            -r  : 递归处理，复制目录
    
    
            -p : 保留文件属性 （原文件的时间不变）
        
    
            eg:  cp –R   /ect   /root
    
        mv    
            eg:  mv    /ect   /root    
    ·
        rm    
            -r  : 删除目录及其所有文件
    
    
            -f  : 强制删除
        
    
            eg:  rm  –rf   /ect  
    
    ——————————————————————————————————————————
    5、其他命令
    ——————————————————————————————————————————
    
        cat    
                -a  : 包括隐藏字符
    
    
                -n  : 并查看行号
    
    
        head    
                -n  : 查看文件前几行（n为具体的数字）    
                eg  :  head  –20   ./txt  
        tail    
            -n  : 查看文件后几行（n为具体的数字）
    
        ln    
            ln -s /etc  ./etc_1                //创建文件/etc的软链接etc_1
    
        ——————————————————————————————————————
        vim/vi
            Unix / Linux上 常用的文本编辑器而且功能非常强大。
            
            a         //进入编辑状态
            esc      //退出
    
        ——————————————————————————————————————
        tar
               eg: tar -zcvf dir1.tar.gz  dir1           //将目录dir1打包并压缩
               eg: tar -zxvf  dir1.tar.gz -C(大写的)  /root             //解压到指定的/root目录
    
    
        ——————————————————————————————————————
    
        find(文件查找)          
        ——————————————————————————————————————
            -name            //按名称查找    区分大小写
            -iname             //按名称查找    不区分大小写
            —————————————————————————————————
                *：匹配所有
    
    
                ？：匹配单个字符
    
    
                eg:find  /etc  -name  “init???”
            —————————————————————————————————
             -size              
    
                eg:find   /etc -size -10  
                eg:find   /etc -size  10 
    
                //在etc目录下找出小于(大于)100MB的文件
            —————————————————————————————————
            -type
    
                 f 二进制文件  l 软连接文件 d 目录  c 字符文件 
    
                eg: find /dev -type c
            —————————————————————————————————
        —————————————————————————————————————
        grep(内容查找)
               -c ：输出匹配行的次数（是以行为单位，不是以出现次数为单位）
    
       
                -i ：忽略大小写，所以大小写视为相同
    
       
               -n ：显示匹配行及行号
    
       
               -v ：反向选择，显示不包含匹配文本的所有行。
    
    
               eg: grep      “init”/etc/inittab     //显示在inittab文件中，init匹配行
               eg: grep -n “init”/etc/inittab     //显示在inittab文件中，init匹配行及行号
               eg: grep -c“init”/etc/inittab     //显示在inittab文件中，init匹配了多少次    
    
        ——————————————————————————————————————
        netstat（网络端口、连接信息）
    
            -a  :    all显示所有连接和监听端口
            -t   :    (tcp)仅显示tcp相关选项
            -u  :    (udp)仅显示udp相关选项
            -n  :    使用数字方式显示地址和端口号
            -p  :    显示socket的PID和进程的名字
            -l   ：（listening） 显示监控中的服务器的socket
        
    
            eg  :    netstat -nltp               //查看端口信息
    
            eg  :    netstat -nltp | grep 80         //查看端口80的信息
        ——————————————————————————————————————
        ps（进程信息）
    
            -a：显示所有用户的进程
            -u：显示用户名和启动时间
            -x：显示没有控制终端的进程
            -e：显示所有进程，包括没有控制终端的进程
            -l：长格式显示    
            -f:   进程的详细信息
                          
            eg  :     ps -ef              //查看所有进程及详细信息（常用）
    
        Kill
    
            kill -9 进程号        //（强行关闭） 常用
    
            kill -1 进程号        //（重启进程）
    
        ——————————————————————————————————————
        shutdown
            -h:关机   
    
    
            -r:重启
        
    
            shutdown -h  now  立即关机     
            shutdown  -h  20:30   定时关机    
        ——————————————————————————————————————
    
    ——————————————————————————————————————————
    ④配置命令：
    ——————————————————————————————————————————
    
        service network restart    //重启网络，配置ip使用
        source  /etc/profile        //刷新环境变量
    
        vi /etc/hostname        //配置主机名称，配置之后不需要刷新
        vi /etc/hosts        //配置主机映射
    
        vi /etc/profile        //环境变量
    
        cd /etc/sysconfig/network    //ip配置目录
    
    
        scp -r /opt/app/hadoop s11:/opt/app/                //递归分发
    
        sudo chown -R hadoop:hadoop /opt/app/zookeeper-3.4.10/    //更改所属
    
    ——————————————————————————————————————————
    ⑤用户管理命令：
    ——————————————————————————————————————————
        
        useradd        用户名
        
        passwd
             用户名
    
        userdel         用户名
        userdel    -r  用户名            //删除用户以及home下的文档
    
        chown      root:root  ./dir     //修改dir的所有者和所属组 
        chown –R root:root  ./dir     //修改dir及其子目录的所有者和所属组 （必须大写R）
    
        用户权限：u(所属者:4)，g(所属组:2)，o(其他:1)
        
        chmod u+x,o-x a.txt    //给所属者增加执行权限，
                    //其他减去执行权限
    
        chmod 777 a.txt        
    
    ———————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————
    *******************************************************HDFS命令****************************************************************************************************
    ———————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————
    1、DFS命令（最好写绝对路劲）
    ————————————————————————————————————————————————————————————————————    
    ————————————————————————————————————————————————————————————————————
    
            [-mkdir [-p] <path> ...]                //创建文件夹
            [-rmdir [--ignore-fail-on-non-empty] <dir> ...]        //删除一个文件、非空文件夹，
            [-rm [-f] [-r|-R] [-skipTrash] <src> ...]            //递归删除文件及文件夹
    
             [-put [-f] [-p] [-l] <localsrc> ... <dst>]              //上传文件到HDFS
             [-get [-p] [-ignoreCrc] [-crc] <src> ... <localdst>]      //下载文件到本地
     
             [-copyFromLocal [-f] [-p] [-l] <localsrc> ... <dst>]     //从本地拷贝文件到HDFS上
            [-copyToLocal [-p] [-ignoreCrc] [-crc] <src> ... <localdst>]   //从HDFS上拷贝文件到本地
    
            [-moveFromLocal <localsrc> ... <dst>]              //从本地剪切文件到HDFS上
             [-moveToLocal <src> <localdst>]                  //从HDFS上剪切文件到本地
    
             [-cat [-ignoreCrc] <src> ...]                              //只能查看普通的文件，不能查看二进制的文件
             [-text [-ignoreCrc] <src> ...]                 //text 可以查看所有类型的文件 
    
              [-df [-h] [<path> ...]]                       //查看HDFS上可用空间
              [-du [-s] [-h] <path> ...]                     //统计文件或者文件夹的大小
    
              [-chgrp [-R] GROUP PATH...]                //修改权限
              [-chmod [-R] <MODE[,MODE]... | OCTALMODE> PATH...]    //修改权限
              [-chown [-R] [OWNER][:[GROUP]] PATH...]        //修改权限
        _________________________________________________________________________________________________________________
        eg:
    
            hdfs dfs                             //查看所有dfs命令
    
            hdfs dfs     -help  cat                    //帮助命令，命令参数没有-
    
    
            hdfs dfs     -mkdir -p        /input/input2/input3            //创建文件夹
            hdfs dfs     -rm  -r -f        /input/input2/input3            //强制递归删除文件
    
            hdfs dfs     -put  -p        /root/local2        /            //上传文件夹    
            hdfs dfs     -put  -P        /root/local2/*       /input            //上传文件
            hdfs dfs     -put  -P        /root/1.txt       /1.xml            //上传文件并改名
    
            hdfs dfs     -get  -p         /input     /root/local2        //下载文件夹    
            hdfs dfs     -get  -p        /input/*    /root/local2        //下载文件
    
            copyFromLocal                        
            copyToLocal                         
            moveFromLocal 
            moveToLocal 
    
            hdfs dfs     -cat          /input/1.txt                //查看内容,不能查看二进制文件
            hdfs dfs     -text        /input/1.txt                //查看内容    
        
            hdfs dfs     -df          /input                    //产看可用空间
            hdfs dfs     -du        /input/1.txt                //统计文件或者文件夹的大小
    
            hdfs dfs     -chown  -R  hadoop:hadoop  /input            //递归修改权限
            hdfs dfs     -chomd -R  777          /input            //递归修改权限
    
    
            hdfs dfsadmin -safemode <enter | leave | get | wait>        //设置安全模式，刚开始启动HDFS时，前30s是安全模式，只读
    
            hdfs dfsadmin -enter                    //进入安全模式
            hdfs dfsadmin -leave                    //离开安全模式
    
            hdfs dfsadmin -refreshNodes                    //刷新hdfs
            yarn rmadmin -refreshNodes                    //刷新yarn
    ————————————————————————————————————————————————————————————————————
    ————————————————————————————————————————————————————————————————————

转载于:https://www.cnblogs.com/lihaozong2013/p/10631456.html