大数据基础(4)CDH 5.16.2 安装部署教程

tanglu 1559 2021-12-15

目前Cloudera官方已经不再提供CDH相关软件包的下载了,所以需要通过其他渠道先获取相关软件包才能完成。


一、CDH介绍

CDH全称是Cloudera's Distribution Including Apache Hadoop。它是Hadoop大数据平台的一个发行版本,它把Apache原生大数据组件进行了封装,使得维护变得简单了不少。下图灰色方框内的就是Hadoop原生组件,可以看到包含了非常多的东西

cdh1.png


二、使用Cloudera Manager部署CDH

1、准备至少三个节点,各节点之间做好hosts和SSH免密登录,过程略


2、各节点之间装好JDK 1.8,过程略


3、选取一个节点安装MySQL,安装过程可见MySQL分类里的相关文章


4、各个节点需要准备以下安装包

· cloudera-manager-centos7-cm5.16.2_x86_64.tar.gz用来管理和分发hadoop、spark等组件到每个节点

· CDH-5.16.2-1.cdh5.16.2.p0.8-el7.parcel:cloudera-manager所需组件的离线安装包和验证文件,避免从网上拉取

· CDH-5.16.2-1.cdh5.16.2.p0.8-el7.parcel.sha:parcel包验证文件,如果没有该文件,在进行集群安装的时候会找不到对应的CDH版本


5、每个节点进行Cloudera Manager客户端和服务端配置

tar zxf cloudera-manager-centos7-cm5.16.2_x86_64.tar.gz -C /opt/
vi /opt/cm-5.16.2/etc/cloudera-scm-agent/config.ini      #代理节点配置,指定主节点地址
server_host=node1  

vi /opt/cm-5.16.2/etc/cloudera-scm-server/db.properties  #服务端数据库信息配置
com.cloudera.cmf.db.type=mysql
com.cloudera.cmf.db.host=192.168.1.101
com.cloudera.cmf.db.name=cmf
com.cloudera.cmf.db.user=root
com.cloudera.cmf.db.password=123456
com.cloudera.cmf.db.setupType=EXTERNAL


6、各节点安装所需依赖包

yum -y install  psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse fuse-libs redhat-lsb  portmap mod_ssl openssl-devel python-psycopg2 MySQL-python


7、创建用户

useradd --system  cloudera-scm
chown -R cloudera-scm:cloudera-scm /opt/cm-5.16.2


8、上传数据库驱动文件到Cloudera Manager指定目录中,数据库驱动文件可以在MySQL官网下载,本文使用的是5.1.44(https://downloads.mysql.com/archives/c-j/)

cp /usr/local/src/mysql-connector-java.jar /opt/cm-5.16.2/share/cmf/lib/


9、初始化数据库

#实测发现只需要通过mysql创建scm库即可
/opt/cm-5.16.2/share/cmf/schema/scm_prepare_database.sh  mysql -h172.20.1.171 -uroot -p123456 --scm-host node1 scm root 123456
# --scm-host node1 scm:指定主节点地址以及对应的库名
# root 123456:数据库用户名和密码

mysql -uroot -p123456
mysql> create database cmf DEFAULT CHARACTER SET UTF8;  #一定不能使用UTF8MB4否则会报Row size too large错误


10、上传CDH包到Cloudera Manager主节点

cp /usr/local/src/CDH-5.16.2-1.cdh5.16.2.p0.8-el7.parcel /opt/cloudera/parcel-repo/
cp /usr/local/src/manifest.json /opt/cloudera/parcel-repo/
cp /usr/local/src/CDH-5.16.2-1.cdh5.16.2.p0.8-el7.parcel.sha1 /opt/cloudera/parcel-repo/CDH-5.16.2-1.cdh5.16.2.p0.8-el7.parcel.sha   #将sha1更名为sha
cat CDH-5.16.2-1.cdh5.16.2.p0.8-el7.parcel.sha     #parcel文件计算后的sha值和该文件中需要一致
sha1sum CDH-5.16.2-1.cdh5.16.2.p0.8-el7.parcel  
chown -R cloudera-scm:cloudera-scm /opt/cloudera


11、Cloudera Manager主节点关闭透明大页

#将命令添加到/etc/rc.local以便系统重启后依然生效
echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled


12、启动Cloudera Manager

/opt/cm-5.16.2/etc/init.d/cloudera-scm-server start    #CM主节点启动server即可
/opt/cm-5.16.2/etc/init.d/cloudera-scm-agent start     #所有节点启动agent


13、服务启动后通过web进行管理,默认监听端口为7180,管理账号密码都是admin。在选择存储库这步时可以把远程仓库全部删掉,否则下载会非常耗时,用自己上传的parcel文件就可以了

CDH2.jpg



企业微信截图_20211216163307.png

14、进行群集安装时会对主机环境进行一些检查,可以根据提示做相应修改

cdh4.jpg


15、勾选需要安装的组件

cdh5.jpg


版权声明
本站所有文章均为原创,转载请注明出处!小站维护不易,如果对您有所帮助,希望能点击一下站内广告,谢谢!
上一篇:大数据基础(3)HDFS常用命令
下一篇:【ZooKeeper教程】(1)zookeeper集群配置教程
相关文章

 发表评论

暂时没有评论,来抢沙发吧~

微信二维码