admin管理员组

文章数量:1656763

一、抛出问题

在运行jar包时，或者是测试Hadoop的wordcount程序时，不知道你是否会遇到，运行卡顿，总是出不来结果的问题，就是运行出来了，也是等了大半天，这样等下去会不会有点浪费钱，浪费时间的感觉。。。
我曾经也遇到这样的问题，卡了我三天的进程，翻过无数大佬们的博客，最终找出了问题的原因：在每个虚拟机分配的内存和CPU资源太少，不能满足Hadoop运行所需的默认资源需求。

二、我的问题


卡在这里很长时间，我也去查看了他的日志文件，发现也没有报错。

三、查找问题

Hadoop集群运行jar包时一直卡在INFO mapreduce.Job: Running job这个位置，我上网查了一下，找到了一些解决方案：
首先是在我在yarn-site.xml中加

<property>
    <name>yarn.nodemanager.resource.memory-mb</name>
    <value>20480</value>
</property>
<property>
   <name>yarn.scheduler.minimum-allocation-mb</name>
   <value>2048</value>
</property>
<property>
    <name>yarn.nodemanager.vmem-pmem-ratio</name>
    <value>2.1</value>
</property>

发现并没有什么卵用，还是卡在相同的位置
我只能继续寻找解决问题的方案，就在我寻找方案的第三天的时候，无意间进入了别人的博客，最终找到了适合的方法。

四、解决问题

我开始修改更改mapred-site.xml文件将：

<property>
       <name>mapreduce.framework.name</name>
       <value>yarn</value>
</property>

换成了：

<property>
      <name>mapreduce.job.tracker</name>
      <value>hdfs://此处为自己的电脑IP:8001</value>
      <final>true</final>
 </property>

重新启动一下自己的Hadoop，重新运行一下jar包，发现成功了，自己三天的努力没有白费！

五、测试结果


运行正常，可以得出结果，运行速度快到飞起。

参考自
[https://blog.csdn/weixin_44177758/article/details/89893518]
这篇博客

本文标签： 集群中途解决方案时间程序

版权声明：本文标题：Hadoop集群下运行Wordcount程序中途卡顿运行时间过长的解决方案 内容由热心网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：https://m.elefans.com/xitong/1729749092a1211969.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。