admin管理员组文章数量:1608599
Eclipse运行wordcount程序时报错,信息如下:
2020-08-15 16:12:32,580 INFO [main] mapreduce.Job (Job.java:monitorAndPrintJob(1367)) - map 0% reduce 0%
2020-08-15 16:12:52,739 WARN [LocalJobRunner Map Task Executor #0] hdfs.BlockReaderFactory (BlockReaderFactory.java:getRemoteBlockReaderFromTcp(716)) - I/O error constructing remote block reader.
java.ConnectException: Connection timed out: no further information
Eclipse可以正常访问到hdfs,检查配置都没有问题,想到了用hadoop自带的例子去测试,结果一直卡在map 0% reduce 0%,后来更改mapred-site.xml为如下配置:
<property>
<name>mapreduce.job.tracker</name>
<value>hdfs://hadoop01:9001</value>
<final>true</final>
<property>
问题解决!
原因:mapreduce.framework.name 配置用yarn来进行计算时必须启动nodemanager,如果不使用yarn,进行mapreduce.job.tracker配置,也可以用MRv2来执行job,这样就不需要启动
本文标签: 时报程序wordcountEclipsetimed
版权声明:本文标题:Eclipse运行wordcount程序时报Connection timed out: no further information 内容由热心网友自发贡献,该文观点仅代表作者本人, 转载请联系作者并注明出处:https://m.elefans.com/dianzi/1728548196a1163113.html, 本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容,一经查实,本站将立刻删除。
发表评论