大数据面试大保健(1) | liunx&shell

绝地灬酷狼 2022-12-10 14:38 114阅读 0赞

# Linux #

*  1.常用高级命令列出5个

ps -ef   查找进程
    top      查看内存
    df -h    查看磁盘存储情况
    iotop    查看磁盘IO读写(yum install iotop安装)
    uptime   查看报告系统运行时长及平均负载
    iotop -o 直接查看比较高的磁盘读写程序
    nestat -tunlp | grep 端口号 查看端口占用情况
    ps aux   查看进程

# Shell #

*  1.常用工具 (只需要知道名称)

awk，sed，cut，sort  遍历文件夹，读取文件，读取哪行，截取相对应的内容

*  2.用shell写过哪些脚本  
    集群启动 分发脚本

#！/bin/bash
    case $1 in
    "start"){ 
        for i in hadoop12 hadoop13 hadoop14
        do
        ssh $1 ""
        done
    };;
    "stop"){ 
    
    };;
    esac

数仓与mysql的导入导出

sqoop --连接mysql hadoop12:3306  root   password
            --hdfs 路径    路径存在要删除
            --quary "select id,name from 表 创建时间,操作时间"  and 命令
            全量：where 1=1   增量：创建时间
            新增和变化：创建时间 or 操作时间
            -- 空值处理
            -- 一致性

数仓层级内部的导入 ods -> dwd 5步骤

#！/bin/bash
    
    #2定义变量
    hive=/export/servers/hive/bin/hive
    APP=gmall
    
    #3获取时间
    if [ -n "$1" ]; then
       do_date=$1
    else
       do_date=`date -d "-1 day" +%F`
    
    #4 sql
    sql="
      先写1天  2020-09-26
      遇到表，在表前面加上{ $APP}.表名
      遇到时间，把时间替换 $do_date
         "
    #5 执行sql
    $hive -e "$sql"

发表评论取消回复

表情：

评论列表（有 0 条评论，114人围观）

还没有评论，来说两句吧...

相关阅读

相关 1.大数据面试题

前言总结大数据面试题，方便你我他 -------------------- 面试题 1. 如何从一个海量文件中寻找出现次数最多的10个元素？ 2.

蔚落/ 2022年12月21日 06:15/ 0 赞/ 109 阅读

相关大数据面试大保健(8) | 项目架构

文章目录质疑项目数据仓库的输入数据源和输出系统分别是什么？服务器选型集群规模三年的数据都会保存吗？用户行为数据中，哪张表的

柔光的暖阳◎/ 2022年12月11日 07:47/ 0 赞/ 128 阅读

相关大数据面试大保健(6) | Hive相关总结

Hive的架构 ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6

超、凢脫俗/ 2022年12月11日 06:25/ 0 赞/ 159 阅读

相关大数据面试大保健(7) | Sqoop相关总结

遇到过哪些问题？怎么解决的 1.空值问题 hive mysql \N null 导出数据时采用--i

小咪咪/ 2022年12月11日 06:25/ 0 赞/ 114 阅读

相关大数据面试大保健(5) | Kafka相关总结

目录基本信息挂了数据丢失重复数据数据积压优化其他基本信息 1.组成 producer brok

曾经终败给现在/ 2022年12月11日 03:14/ 0 赞/ 210 阅读

相关大数据面试大保健(4) | flume相关总结

flume三件事 1.组成source channel sink 事务(put/take) taildir source （1）断点续传，支持

迈不过友情╰/ 2022年12月11日 01:30/ 0 赞/ 141 阅读

相关大数据面试大保健(3) | zookeeper相关总结

1.半数机制安装奇数台 2.常用命令 ls get create 3.paxos算法一般去面试今日头条才会问 4

逃离我推掉我的手/ 2022年12月10日 15:59/ 0 赞/ 138 阅读

相关大数据面试大保健(2) | hadoop相关总结

文章目录入门 HDFS MapReduce YARN hadoop参数调优入门 1.常用端口号 50070,80

布满荆棘的人生/ 2022年12月10日 14:38/ 0 赞/ 138 阅读

相关大数据面试大保健(1) | liunx&shell

Linux 1.常用高级命令列出5个 ps -ef 查找进程 top 查看内存 df -h 查看磁盘存储情况

绝地灬酷狼/ 2022年12月10日 14:38/ 0 赞/ 115 阅读

相关大数据面试题

大数据面试题 [https://www.yuque.com/zhongguohaopangzi/igi4hb/kws4zv][https_www.yuque.com_zh

拼搏现实的明天。/ 2022年10月06日 01:00/ 0 赞/ 458 阅读