Hive下查看表占用空间大小的方法

末蓝、 2022-10-31 08:12 874阅读 0赞

一、Hive下查看数据表信息的方法

方法1：查看表的字段信息

  1. desc table_name;

方法2：查看表的字段信息及元数据存储路径

  1. desc extended table_name;

方法3：查看表的字段信息及元数据存储路径

  1. desc formatted table_name;

备注：查看表元数据存储路径是，推荐方法3，信息比较清晰。

二、查看表容量大小

查看该表总容量大小，单位为G

  1. $ hadoop fs -du /user/hive/warehouse/table_name|awk '{ SUM += $1 } END { print SUM/(1024*1024*1024)}'
  3. dbs=$(hadoop fs -ls /user/hive/warehouse | awk '{print $8}')
  5. for db in $dbs
  6. do
  7.   echo "统计库：$db"
  8.   tables=$(hadoop fs -ls "$db" | awk '{print $8}')
  9.   for table in $tables
  10.   do
  11.     echo "统计表：$table"
  12.     size=$(hadoop fs -count -h "$table" | awk '{print $3}')
  13.     echo "表 $table 占用空间为：$size"
  14.     echo "$table,$size" >> result.csv
  15.   done
  16. done

发表评论

表情：
评论列表 （有 0 条评论，874人围观）

还没有评论，来说两句吧...

相关阅读