admin管理员组文章数量:1558080
目录
- 背景
- 内容简介
- 下载资源
- 搭建环境
- 部署Ambari本地镜像仓库
- 安全配置
- 安装Nginx
- 配置镜像仓库
- 参考资料
背景
2018年10月4日，两家大数据先驱Cloudera和Hortonworks宣布平等合并。Cloudera以股票方式收购Hortonworks，Cloudera股东最终获得合并公司60%的股份。
2020年11月，Cloudera宣布：从2021年1月31日开始，所有Cloudera软件都需要有效的订阅进行访问。这包括以下产品的所有先前版本：包含Apache Hadoop的 Cloudera 发行版 (CDH)，Hortonworks Data Platform (HDP)，Data Flow (HDF / CDF) 和Cloudera Data Science Workbench (CDSW) 。
内容简介
这个系列将分为三部分内容：
- 迅雷YYDS（部署Ambari本地镜像仓库）
- 安装ambari-server和ambari-agent
- 部署Ambari大数据集群
下载资源
由于封锁，我们无法下载到需要的资源。笔者在尝试过各种方法之后，想起了一个被人遗忘的工具——迅雷。
开通会员后，居然可以直接使用官网连接下载需要的资源。我想，应该是以前有人下载过对应的资源，迅雷将其缓存在其服务器中了。我又将这些资源上传到百度网盘和阿里云盘，发现几乎是秒传。所以你们懂的！
相应的下载链接，我将会放到参考资料中。
这里，笔者也准备一套资源“Ambari 2.7.5及其配套的HDP和HDF资源包”。
搭建环境
虚拟机：Oracle VM VirtualBox
操作系统镜像：CentOS-7-x86_64-Minimal-2009.torrent.iso
创建了3台虚拟，都分配了2个核和4GB内存，网络使用“NAT 网络”，可以参考我的文章“使用VirtualBox搭建一套集群环境”。
同时，需要给每台机器配置对应hostname，可以这样配置master
hostnamectl set-hostname master
其余的节点为“worker1”和“worker2”，然后可以查看各节点ip
ip addr show
最后，配置一下/etc/hosts，注意使用自己本机的ip，不要复制粘贴
vi /etc/hosts
在文件末尾追加如下内容
10.0.2.5 master
10.0.2.6 worker1
10.0.2.7 worker2
下面我们正式进入部署Ambari镜像仓库的部分。
部署Ambari本地镜像仓库
安全配置
永久开启80端口
firewall-cmd --zone=public --add-port=80/tcp --permanent
重启防火墙
firewall-cmd --reload
关闭SELinux
vi /etc/selinux/config
将SELINUX的值修改为=disabled，然后
reboot
接下来还需要在VirtualBox上配置端口转发规则
安装Nginx
安装yum-utils
yum install -y yum-utils
配置Nginx的YUM源
vi /etc/yum.repos.d/nginx.repo
内容如下
[nginx-stable]
name=nginx stable repo
baseurl=http://nginx/packages/centos/$releasever/$basearch/
gpgcheck=1
enabled=1
gpgkey=https://nginx/keys/nginx_signing.key
module_hotfixes=true
[nginx-mainline]
name=nginx mainline repo
baseurl=http://nginx/packages/mainline/centos/$releasever/$basearch/
gpgcheck=1
enabled=0
gpgkey=https://nginx/keys/nginx_signing.key
module_hotfixes=true
安装Nginx
yum install -y nginx
启动Nginx
systemctl start nginx
使用浏览器访问localhost，当出现下来的内容时，说明nginx已经安装成功啦！
设置nginx开机自启动
systemctl enable nginx
配置镜像仓库
正经人谁用默认的配置文件？所以：
mv /etc/nginx/conf.d/default.conf /etc/nginx/conf.d/default.conf.bak
这里补充一下，备份而不是删除是个好习惯！
创建ambari.conf
vi /etc/nginx/conf.d/ambari.conf
内容如下
server {
listen 80;
server_name localhost;
location / {
root /var/www/html;
autoindex on;
}
error_page 500 502 503 504 /50x.html;
location = /50x.html {
root /usr/share/nginx/html;
}
}
创建目录
mkdir -p /var/www/html
将下列资源上传到/var/www/html
- ambari-2.7.5.0-centos7.tar.gz
- HDP-3.1.5.6091-centos7-rpm.tar.gz
- HDF-3.4.1.1-centos7-rpm.tar.gz
- HDP-GPL-3.1.5.0-centos7-gpl.tar.gz
- hdf-ambari-mpack-3.4.1.1-4.tar.gz
- HDP-UTILS-1.1.0.22-centos7.tar.gz
解压ambari-2.7.5.0-centos7.tar.gz到/var/www/html
tar xf ambari-2.7.5.0-centos7.tar.gz -C /var/www/html
创建hdf和hdp文件夹
mkdir -p /var/www/html/hdf && mkdir -p /var/www/html/hdp
解压相关文件到对应的文件夹
tar xf HDF-3.4.1.1-centos7-rpm.tar.gz -C /var/www/html/hdf && tar xf HDP-UTILS-1.1.0.22-centos7.tar.gz -C /var/www/html/hdp && tar xf HDP-GPL-3.1.5.0-centos7-gpl.tar.gz -C /var/www/html/hdp
重启Nginx
systemctl restart nginx
在左上角出现“Index of /”，说明配置成功。
修改ambari.repo
vi /var/www/html/ambari/centos7/2.7.5.0-72/ambari.repo
主要修改baseurl和gpgkey，将public-repo-1.hortonworks替换为master
#VERSION_NUMBER=2.7.5.0-72
[ambari-2.7.5.0]
#json.url = http://public-repo-1.hortonworks/HDP/hdp_urlinfo.json
#VERSION_NUMBER=2.7.5.0-72
[ambari-2.7.5.0]
#json.url = http://public-repo-1.hortonworks/HDP/hdp_urlinfo.json
name=ambari Version - ambari-2.7.5.0
baseurl=http://master/ambari/centos7/2.7.5.0-72/
gpgcheck=1
gpgkey=http://master/ambari/centos7/2.7.5.0-72/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1
至此，一个本地镜像仓库已经部署完毕。
参考资料
关于Cloudera软件的访问获取
nginx: Linux packages
Accessing HDP Repositories
HDF Repository Locations
版权声明：本文标题：2021年1月31日后使用Ambari部署HDP和HDF集群（上）迅雷YYDS 内容由热心网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：https://m.elefans.com/dongtai/1727317374a1107970.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。
发表评论