Hive执行job时return code 2排查

今天药忘吃喽~ 2022-04-11 03:27 206阅读 0赞

# Hive执行job时return code 2排查 #

2017年10月17日 14:50:56 [娃都会打酱油了][Link 1] 阅读数：2570 标签： [hive][][code 2][] 更多

个人分类： [Java][][Hive][]

项目测试时，在执行Insert语句时，突然报return code 2错误导致job停止，头一次碰上这种不明觉厉的问题，有问题上百度、bing，首先查到的是[Hive jdbc执行insert语句时报 code=1 ,code=2 错误解决方法][Hive jdbc_insert_ code_1 _code_2]，看了下，目前还是在hive shell模式下执行，应该不是这问题，而且将insert部分去除，只保留select部分还是报return code 2错误，继续查问题，查到[记录一次hive的运行job的问题][hive_job]，看下来感觉可以按这个思路去查问题，首先是hive shell执行时的异常信息

![SouthEast][]

红框部分为异常时的job编号，在/tmp/用户名/目录下查看hive.XXX.log

![SouthEast 1][]

hive.log为当日的hive执行日志，通过notepad++打开，按job编号进行搜索，可以搜索到多个记录，对比记录，可以看到如下异常

![SouthEast 2][]

job编号后面紧跟着异常信息，是因为数据问题导致，到此就排查出了究竟是什么问题导致了return code 2

# Hive 插入数据时遇到Return Code 2问题的解决 #

2016年04月15日 08:20:06 [sparkexpert][] 阅读数：7115 标签： [hive][][return code 2][][时间同步][Link 2][插入数据][Link 3]更多

个人分类： [Hive][Hive 1]

正常情况下，估计很难遇到这个问题。

但是也刚好都碰上了这样的问题。于是把解决过程记录一下。

Hive运行成功之后，当输入select count(\*) from XX或者插入数据时，居然碰到BUG。

2016-04-14 12:31:56,199 Stage-1 map = 0%, reduce = 0%

Ended Job = job\_1460599682683\_0005 with errors

Error during job, obtaining debugging information...

FAILED: Execution Error, return code 2 fromorg.apache.hadoop.hive.ql.exec.mr.MapRedTask

MapReduce Jobs Launched:

Stage-Stage-1: HDFS Read: 0HDFS Write: 0 FAIL

Total MapReduce CPU Time Spent: 0 msec

这个问题只是HIVE单方面的问题，而用Hadoop Job日志查看，却是YarnException: Unauthorized request to start container的问题。

未经授权的请求，怎么会有这样的问题呢。经过网上未解，说是各个节点的时间未同步的问题。

简直是晕，不知道谁刚好把某个节点时间修改了。才导致了这样的坑，居然都踩上了。于是把时间进行修改，进行系统时间同步，果然没有再次出现。

[Link 1]: https://me.csdn.net/starfd
[hive]: http://so.csdn.net/so/search/s.do?q=hive&t=blog
[code 2]: http://so.csdn.net/so/search/s.do?q=code%202&t=blog
[Java]: https://blog.csdn.net/starfd/article/category/6255433
[Hive]: https://blog.csdn.net/starfd/article/category/7230515
[Hive jdbc_insert_ code_1 _code_2]: http://blog.csdn.net/hereiskxm/article/details/42645977
[hive_job]: http://gtzygtzygtzy.blog.163.com/blog/static/124198088201364734321/
[SouthEast]: /images/20220411/3b7fb34e39c8481ca2df288d2338f422.png
[SouthEast 1]: /images/20220411/0ce9f2d58c2a4795b428390f09c244b8.png
[SouthEast 2]: /images/20220411/580de63e6d744bab96d1d84f73c545cb.png
[sparkexpert]: https://me.csdn.net/sparkexpert
[return code 2]: http://so.csdn.net/so/search/s.do?q=return%20code%202&t=blog
[Link 2]: http://so.csdn.net/so/search/s.do?q=%E6%97%B6%E9%97%B4%E5%90%8C%E6%AD%A5&t=blog
[Link 3]: http://so.csdn.net/so/search/s.do?q=%E6%8F%92%E5%85%A5%E6%95%B0%E6%8D%AE&t=blog
[Hive 1]: https://blog.csdn.net/sparkexpert/article/category/6051530