admin管理员组文章数量:1543578
下载hadoop地址 https://mirrors.tuna.tsinghua.edu/apache/hadoop/common/ 这是一个镜像地址,可以找到很多hadoop的版本
我下载的是2.6.5的版本 如果镜像找不到可以换地址找http://hadoop.apache(官网)
将下载的hadoop2.6.5解压放在你喜欢的文件夹下
由于在linux和windows环境不同,下载的hadoop文件夹的bin需要被替换成windows的版本
bin下载地址https://github/steveloughran/winutils,下载之后直接解压,将bin目录里的内容直接覆盖hadoop的bin
我用的2.6.5的版本,用的是2.6.4的bin,将原本解压的hadoop中的bin本分成bin_bak,讲2.6.4的bin复制到hadoop目录下
配置hadoop 配置之前先配置好jdk
所有的配置文件都在D:\hadoop\tools\hadoop-2.6.5\etc\hadoop的目录下,使用Notepad++/记事本/..打开.
修改hadoop-env.cmd文件,jdk1.8后面不要有空格
set JAVA_HOME=D:\java\developTools\jdk1.8
修改core-site.xml
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
修改hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/hadoop/data/dfs/namenode</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/hadoop/data/dfs/datanode</value>
</property>
</configuration>
mapred-site.xml是复制mapred-site.xml.template,去掉template
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
修改 yarn-site.xml
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
</configuration>
启动hadoop
进入到hadoop–>bin目录下,shift+右键 打开命令行..win8的话建议使用管理员运行cmd
hadoop namenode -format //格式化hdfs
cd xx/hadoop/sbin //进入到sbin目录下
start-dfs.cmd //先启动dfs
start-yarn.cmd //再启动yarn
//或者
//start-all.cmd //相当于以上的两条命令 推荐使用
启动后
参考地址 https://blog.csdn/xrui_java7/article/details/70231221
版权声明:本文标题:hadoop在windows下安装 内容由热心网友自发贡献,该文观点仅代表作者本人, 转载请联系作者并注明出处:https://m.elefans.com/dongtai/1725618277a1033217.html, 本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容,一经查实,本站将立刻删除。
发表评论