hive报错集锦

骑猪看日落 2022-04-22 03:34 359阅读 0赞

# hive导入数据报错 #

![20181101230332899.png][]

报错原因：

load data local顺序写反了

改顺序后执行成功：

hive (badou)> load data local inpath '/home/dongdong/hive/orders.csv' overwrite into table orders;  
Loading data to table badou.orders  
OK  
Time taken: 12.187 seconds  
hive (badou)>

# 执行hive报内存溢出 #

![20181102141834699.png][]

解决办法：

在hive-env.sh中设置：

export HADOOP\_HEAPSIZE=102400

hive提交任务后，日志不能查看，如下：

![20181106175454874.png][]

解放方法

下来查询官方文档后,才了解到yarn的日志监控功能默认是处于关闭状态的,需要我们进行开启,开启步骤如下:

Ps:下面配置的文件的位置在hadoop根目录 etc/haddop文件夹下,比较老版本的Hadoop是在hadoop根目录下的conf文件夹中

一、在yarn-site.xml文件中添加日志监控支持

该配置中添加下面的配置:

<property>
        <name>yarn.log-aggregation-enable</name>
        <value>true</value>
    </property>

二、在mapred-site.xml文件中添加日志服务的配置

该配置文件中添加如下配置:

<property>
        
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <property>
      
        <name>mapreduce.jobhistroy.address</name>
        <value>master:10020</value>
    </property>
    <property>
        <name>mapreduce.jobhistroy.webapp.address</name>
        <value>master:19888</value>
    </property>

三、将修改后的配置文件拷贝到集群中的其他机器(单机版hadoop可以跳过该步骤)

快捷一点可以使用 scp 命令将配置文件拷贝覆盖到其他机器

scp yarn-site.xml skyler@slave1:/hadoopdir/etc/hadoop/

scp mapred-site.xml skyler@slave1:/hadoopdir/etc/hadoop/

…其他datanode机器同理

四、重新启动集群的Hdfs和Yarn服务

在namenode机器上分别对hdfs和yarn服务进行重启

bin/stop-dfs.sh

bin/start-dfs.sh

bin/stop-yarn.sh

bin/start-yarn.sh

五、 开启日志监控服务进程

在nodenode机器上执行 sbin/mr-jobhistory-daemon.sh start historyserver 命令,执行完成后使用jps命令查看是否启动成功,若启动成功则会显示出JobHistoryServer服务

六、hive中执行showdatabases报错：

![20190308105024232.png][]

解决办法：

步骤一：

首先进入hive/bin目录下

执行命令  ** ./hive --service metastore &**

**虽然发现还是报错，但是这个错误提供了版本冲突的错误信息，然后解决版本冲突问题，上面的问题就迎刃而解了。**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI4Mjg2MDI3_size_16_color_FFFFFF_t_70][]

解决hive和mysql版本冲突问题：

第一种方案：

登陆mysql，修改hive metastore版本：  
进行mysql：mysql -uroot -p （123456）  
use hive;  
select \* from version;  
update VERSION set SCHEMA\_VERSION='2.1.1' where  VER\_ID=1;

2.简单粗暴：在hvie-site.xml中关闭版本验证

更改hive-site.xml配置：

![20190308105549340.png][]

[20181101230332899.png]: /images/20220422/5772166f69ea47cebf38c85f8eaabd1c.png
[20181102141834699.png]: /images/20220422/dc419cdcfe1241d5959288921a3c10f8.png
[20181106175454874.png]: /images/20220422/7688540b593c424e814ebfbbfe93511a.png
[20190308105024232.png]: /images/20220422/816f6f2b80a44856814ba9c7033d6647.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI4Mjg2MDI3_size_16_color_FFFFFF_t_70]: /images/20220422/96fe37da2b364102ba493f8db811f889.png
[20190308105549340.png]: /images/20220422/341b44e5334b4cb1a286ae98f761a980.png