admin管理员组文章数量:1530518
Windows10环境安装hadoop及配置
一. Windows10环境下安装
1. 下载安装JDK1.8,并配置环境变量,注意:jdk路径不要包含空格
以下这种jdk配置的路径中就有空格,不能使用
2. 下载Hadoop镜像安装文件,下载地址:https://hadoop.apache/releases.html
3. 解压Hadoop镜像文件到磁盘目录下,注意:可以解压在非C盘下,存储目录不要包含中文和空格
4. 配置HADOOP_HOME环境变量,
4.1、并在系统环境变量Path中添加Hadoop环境变量
%HADOOP_HOME%\bin
%HADOOP_HOME%\sbin
4.2、配置jdk路径
在 D:\software\hadoop\hadoop-3.3.0\etc\hadoop 路径下面的 hadoop-env.cmd 文件 ,
注意: 无论是配置的JAVA_HOME环境变量,还是这种自定义的jdk路径,他们中不能含有空格
5. 打开cmd窗口,输入hadoop version命令验证
备注: 若出现 Error: JAVA_HOME is incorrectly set. Please update F:\hadoop\conf\hadoop-env.cmd的报错,则是因为JAVA_HOME环境变量配置的路径含有空格的原因
6. Hadoop伪分布式部署配置
a. 下载windows专用二进制文件和工具类依赖库: hadoop在windows上运行需要winutils支持和hadoop.dll等文件
https://github/steveloughran/winutils
在github仓库中找到对应版本的二进制库hadoop.dll和winutils.exe文件,然后把文件拷贝到hadoop解压的bin目录中去
注意: hadoop.dll等文件不要与hadoop冲突,若出现依赖性错误可以将hadoop.dll放到C:\Windows\System32下一份
b. 修改etc目录下的core-site.xml文件
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
<property>
<name>hadoop.security.authorization</name>
<value>false</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/D:/software/hadoop/hadoop-3.3.0/tmp</value>
</property>
</configuration>
注意:windows目录路径要改成使用正斜杠,且磁盘名称最前面也需要一个正斜杠
c. 修改hdfs-site.xml配置文件
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<!-- 设置名称节点位置 存储名称表(fsimage)的位置-->
<property>
<name>dfs.namenode.name.dir</name>
<value>/D:/software/hadoop/hadoop-3.3.0/data/namenode</value>
</property>
<!-- 确定DFS数据节点应在本地文件系统上的哪个位置存储其块 -->
<property>
<name>dfs.datanode.data.dir</name>
<value>/D:/software/hadoop/hadoop-3.3.0/data/datanode</value>
</property>
<property>
<name>dfs.permissions.enabled</name>
<value>false</value>
</property>
<property>
<name>dfs.client.use.datanode.hostname</name>
<value>true</value>
</property>
</configuration>
注意:windows目录路径要改成使用正斜杠,且磁盘名称最前面也需要一个正斜杠
d. 节点格式化
在cmd窗口执行命令:hdfs namenode -format
执行成功结果:表示节点格式化成功
多出data文件夹
7. 启动&关闭Hadoop
a. 进入Hadoop的sbin目录下执行start-dfs.cmd启动Hadoop
b. Web界面查看HDFS信息,在浏览器输入http://localhost:9870/,可访问NameNode
版权声明:本文标题:Windows10环境安装hadoop及配置 内容由热心网友自发贡献,该文观点仅代表作者本人, 转载请联系作者并注明出处:https://m.elefans.com/dianzi/1725393642a1021684.html, 本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容,一经查实,本站将立刻删除。
发表评论