admin管理员组

文章数量:1638814

问题描述：

hive建表之后进行insert数据插入操作时，出现以下报错：

Error during job, obtaining debugging information...

解决步骤：

实际上导致执行hive出现该报错信息的原因非常多，通过网上搜索相关报错信息发现很多人说是namenode或者hive等进程的jvm内存不足，结果实际测试发现调大内存也不行；

并且此时我执行wordcount测试用例又能成功运行；据此也基本可以排除jvm内存不足的问题；

网上不少人提议采用本地模式执行任务：

set hive.exec.mode.local.auto=true;

发现执行成功；但只是临时之策。问题并没有真正解决；

 

于是到yarn页面去查看任务的日志，发现报错信息:

2020-10-23 15:22:50,636 INFO [main] org.apache.hadoop.mapreduce.v2.app.MRAppMaster: Executing with tokens:

2020-10-23 15:22:50,851 FATAL [main] org.apache.hadoop.mapreduce.v2.app.MRAppMaster: Error starting MRAppMaster java.util.ServiceConfigurationError: org.apache.hadoop.security.token.TokenIdentifier: Provider org.apache.hadoop.hbase.security.token.AuthenticationTokenIdentifier not found

根据报错信息查看相关资料，有人建议查看hive的jar包路径配置是否正确：

hive (default)> set hive.aux.jars.path;

结果返回：

发现返回路径正确，但是出现了多余的jar包!!!

##删掉多余的jar包

rm -rf /opt/beh/core/hive/auxlib/hudi-hadoop-mr-bundle-0.6.0.jar

##重启hive进程:

kill -9 `ps -ef| grep hive | grep HiveMetaStore | awk '{print $2}'` && nohup hive --service metastore &

kill -9 `ps -ef| grep hive | grep HiveServer2 | awk '{print $2}'` && nohup hive --service hiveserver2 &

##再次进入hive执行mapreduce任务一切正常；

 

 

总结：

auxlib   是  hive自定义函数扩展;与lib目录同级，把自己开发的扩展jar放到该目录下；

一定不要混入hive自带的lib包；

 

 

 

 

 

 

本文标签： 报错ErrorHiveMapReducedebugging

版权声明：本文标题：hive运行mapreduce任务出现报错Error during job, obtaining debugging information... 内容由热心网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：https://m.elefans.com/dianzi/1729279305a1193873.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。