admin管理员组文章数量:1579968
以此记录自己使用Mac学习hadoop的心酸过程。网上有很多零零散散的教程,遇到的问题各不相同,希望我也能为大家提供一点帮助。
一:安装VMware、CentOS和Filezilla
安装虚拟机和CentOS8的过程比较简单,可以参考博客:
https://blog.csdn/m0_60028455/article/details/125205515
值得注意的是:
(1)直至目前,m1芯片适合安装的虚拟机为VMware Fusion Tech Preview,在官网注册账号即可免费免密使用;
(2)VMware Fusion Tech Preview对应的CentOS8应下载的版本为:CentOS-8-XX-aarch64-dvd-custom-XX.iso。切记,一定要是aarch64,并且只能是CentOS8,否则会报错。
(3)由于安装该版本的虚拟机只能选择为最小安装,为了更直观的查看、上传和下载文件等,安装Filezilla,下载.dmg文件安装即可。
二、配置yum源
由于CentOS8官方已经停止维护了,所以需要替换为阿里源等。在安装好虚拟机以及CentOS之后,进行简单的几步。具体的操作,可以参考博客:
https://blog.csdn/qq_29759839/article/details/125860618
截图来自于博客。其中,博客中的阿里源替换后,CentOS8完美可用。
可以试一下能否联网:
ping www.baidu.com
外网能ping通,表示能用网。
输入:
yum
不报错,显示能安装的jar包等。
三、配置jdk、hadoop基本运行环境
这是最让人炸裂的地方,请一定耐心仔细。
1.禁用防火墙,开启ssh等
CentOS8的命令有了很多改变,禁用防火墙命令请参照博客:
https://blog.csdn/haveqing/article/details/105162998
开启ssh请参照博客:
https://blog.csdn/j610152753/article/details/122678341
下载部分基本的命令包
1)安装epel-release
yum install -y epel-release
2)安装的是最小系统版,还需要安装如下工具
yum install -y net-tools
3)vim:编辑器
yum install -y vim
2.创建一个非root用户
在虚拟机上创建并修改atguigu用户的密码(ptong为例)
useradd ptong
passwd ptong
配置ptong用户具有root权限,方便后期加sudo执行root权限的命令
vim /etc/sudoers
修改/etc/sudoers文件,在%wheel这行下面添加一行,如下所示:
#Allow root to run any commands anywhere
root ALL=(ALL) ALL
#Allows people in group wheel to run all commands
%wheel ALL=(ALL) ALL
ptong ALL=(ALL) NOPASSWD:ALL
注意:ptong这一行不要直接放到root行下面。
3.创建目录
在/opt目录下创建文件夹,并修改所属主和所属组
mkdir /opt/module
mkdir /opt/software
修改module、software文件夹的所有者和所属组均为ptong用户 (你创建的非root用户)
chown ptong:ptong /opt/module
chown ptong:ptong /opt/software
结果如下:
重启虚拟机,登录你创建的非root账号。
reboot
4.连接Filezilla与CentOS
在虚拟机中输入ifconfig,可以查看自己的IP地址,如图172.16.6.137。如果提示命令不存在,输入yum install ifconfig进行下载。
随后打开Filezilla,属于主机(ip地址),用户名(此处用你创建的非root用户名),密码(非root用户的密码)进行连接即可。
也可以点击左上角的图标进入我的站点,在这里进行配置:
如果连接成功,右边远程站点会显示相应的服务器目录列表,如下图:
通过Filezilla将下载到本地的jdk和hadoop通过Filezilla上传到software。这里附上jdk1.8.0-341和Hadoop-3.3.1下载地址:
链接: https://pan.baidu/s/1g7X4dFheKIbctJqsTK2DOw
提取码: we34
注意:如果有自己想用的jdk和hadoop版本,请一定注意下载aarch64版本,适用于m1芯片。
上传之后,在虚拟机进行刷新,可以看到software文件夹下相应的压缩文件:
将其解压缩至/opt/module文件夹即可:
tar -zxvf jdk-8u341-linux-aarch64.tar.gz -C /opt/module/
tar -zxvf hadoop-3.3.1.tar.gz -C /opt/module/
解压结果如下:
5.配置环境变量
5.1配置JDK环境变量
进入jdk1.8.0_341
cd jdk1.8.0_341/
打开配置文件
sudo vim /etc/profile
添加如下内容
#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_341
export PATH=$PATH:$JAVA_HOME/bin
esc保存后退出
:wq
让新的环境变量PATH生效
source /etc/profile
测试JDK是否安装成功
java -version
如果能看到以下结果,则代表Java安装成功。
java version “1.8.0_341”
注意:重启(如果java -version可以用就不用重启)
sudo reboot
5.2配置hadoop环境变量
打开Hadoop安装路径
cd hadoop-3.3.1/
打开/etc/profile文件
sudo vim /etc/profile
文件末尾添加如下内容:
#HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-3.3.1
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
保存并退出:
:wq
让修改后的文件生效
source /etc/profile
测试是否安装成功
hadoop version
重启(如果Hadoop命令不能用再重启虚拟机)
sudo reboot
值得注意的是:
配置过程可能会报语言错误,如LC_ALL这类。解决方法是,将配置文件中的语言进行更改,如下:
最终配置结果如下:
至此,基本的安装和环境已经配置完毕。
我的安装和环境配置一路摸爬滚打,花了整整一天半,进行了无数的百度谷歌。也感谢前人大佬们的博客给予的帮助!博客里写的不能详尽,有许多问题没能及时记录下来。如果大家有遇到别的问题,欢迎留言~
版权声明:本文标题:Mac m1 max+VMware+CentOS8学习Hadoop——(一)基本软件安装和环境配置 内容由热心网友自发贡献,该文观点仅代表作者本人, 转载请联系作者并注明出处:https://m.elefans.com/dianzi/1726163773a1058002.html, 本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容,一经查实,本站将立刻删除。
发表评论