Cloudera大数据平台环境搭建(CDH5.13.1)傻瓜式说明书.doc
《Cloudera大数据平台环境搭建(CDH5.13.1)傻瓜式说明书.doc》由会员分享,可在线阅读,更多相关《Cloudera大数据平台环境搭建(CDH5.13.1)傻瓜式说明书.doc(32页珍藏版)》请在得力文库 - 分享文档赚钱的网站上搜索。
1、Cloudera 大数据平台环境搭建(CDH5.13.1 版)版本 v1.0作者 郭维忠发布日期 2018-03-10Cloudera 大数据平台环境搭建(CDH5.13.1)模板发布部门:技术研发管理部过程与质量管理部 第 2 页/共 32 页模板编号:SD-TEM-01-201311目录Cloudera 大数据平台环境搭建 .1(CDH5.13.1 版) .11. 基础环境 .41.1. 软件环境 .41.2. 配置规划 .41.3. 所需要的软件资源 .41.4. 修改机器名(所有节点) .51.5. 设置防火墙(所有节点) .51.6. 配置免密码登录 SSH.61.7. 关闭 SEL
2、INUX(所有节点) .81.8. 修改 Linux 内核参数(所有节点) .81.9. 其他安装与配置(所有节点) .101.10. 配置 NTP 服务 .101.11. 安装 oracle JDK1.8 (所有节点) .121.12. Mysql 安装(主节点) .132. 安装 CM.152.1. 传包,解包 .152.2. 创建数据库 .152.3. 创建用户 .162.4. 制作本地 YUM 源 .162.5. 拷贝 jar 包 .172.6. 修改 cloudera-scm-agent 配置 .172.7. 启动 CM Server 和 Agent .182.8. 访问 CM.18
3、3. 安装 CDH.183.1. 登录后界面 .183.2. 选择 CM 版本 .193.3. 指定主机 .203.4. 选择 CDH 版本 .213.4.1. 出现 “主机运行状态不良”错误 .223.5. 检查主机正确性 .233.6. 选择安装的服务 .233.7. 角色分配 .243.8. 数据库设置 .243.8.1. 测试连接报错: .253.9. 群集设置 .26Cloudera 大数据平台环境搭建(CDH5.13.1)模板发布部门:技术研发管理部过程与质量管理部 第 3 页/共 32 页模板编号:SD-TEM-01-2013113.10. 开始安装 .283.11. 安装完成
4、.293.11.1. 警告信息: .294. 常见错误 .314.1. 初始化数据库错误: .314.2. 未能连接到 Host Monitor.32Cloudera 大数据平台环境搭建(CDH5.13.1)模板发布部门:技术研发管理部过程与质量管理部 第 4 页/共 32 页模板编号:SD-TEM-01-2013111. 基础环境1.1. 软件环境本文将介绍 Centos7.4 离线安装 CDH 和 Cloudera Manager 过程,软件版本如下:NO. 软件名称 版本1. 操作系统 Centos7.4 64 位2. JDK jdk-8u151-linux-x643. Clouder
5、Manager 5.13.14. CDH 5.13.15. 数据库 Mysql 5.76. JDBC mysql-connector-java-5.1.43.jar1.2. 配置规划本次安装共 5 台服务器,服务器配置及用途如下:NO. 机器名称 内网 IP 配置 用途1. node168 172.16.3.168 8C/32Gb/1TB 主,CM ,MysqlDB2. node169 172.16.3.169 8C/32Gb/1TB 从3. node170 172.16.3.170 8C/32Gb/1TB 从4. node171 172.16.3.171 8C/32Gb/1TB 从5. no
6、de172 172.16.3.172 8C/32Gb/1TB 从1.3. 所需要的软件资源1) JDK 环境:JDK 版本:1.8.0_151 jdk-8u151-linux-x64.rpm下载地址:http:/ CM 包:CM 版本: 5.13.1 cloudera-manager-centos7-cm5.13.1_x86_64.tar.gz下载地址:http:/archive- 大数据平台环境搭建(CDH5.13.1)模板发布部门:技术研发管理部过程与质量管理部 第 5 页/共 32 页模板编号:SD-TEM-01-2013113) CDH 包CDH 版本:5.13.1,CDH-5.13.
7、1-1.cdh5.13.1.p0.2-el7.parcel; CDH-5.13.1-1.cdh5.13.1.p0.2-el7.parcel.sha1; manifest.json下载地址:http:/archive- JDBC 连接 jar 包:jar 包版本:5.1.43,mysql-connector-java-5.1.43.jar下载地址:http:/central.maven.org/maven2/mysql/mysql-connector-java/5.1.43/mysql-connector-java-5.1.43.jar 1.4. 修改机器名(所有节点)1) 修改机器名称# ho
8、stnamectl set-hostname xxx /设置机器名#hostname / 查看本机名这种方式,在 Centos7 中可以永久性改变主机名称。2) 每个节点机器,都要配置 hosts# vi /etc/hosts内容都改为:127.0.0.1 localhost /建议保留此行172.16.3.168 node168172.16.3.169 node169172.16.3.170 node170172.16.3.171 node171172.16.3.172 node172Cloudera 大数据平台环境搭建(CDH5.13.1)模板发布部门:技术研发管理部过程与质量管理部 第
9、6 页/共 32 页模板编号:SD-TEM-01-2013111.5. 设置防火墙(所有节点)注:为了简便,可以先关闭防所有节点火墙,安装完成后,再按照下面步骤设置。防火墙常用命令:# firewall-cmd -state(查询防火墙状态) #systemctl stop firewalld.service (关闭防火墙) #systemctl start firewalld.service (开启防火墙)#systemctl disable firewalld.service (禁止 firewall 开机启动)设置防火墙策略,在所有节点执行下面脚本(执行前要启动防火墙):/集群机器间可以
10、相互访问firewall-cmd -permanent -add-rich-rule=“rule family=ipv4 source address=172.16.3.168 port protocol=tcp port=0-65535 accept“firewall-cmd -permanent -add-rich-rule=“rule family=ipv4 source address=172.16.3.169 port protocol=tcp port=0-65535 accept“firewall-cmd -permanent -add-rich-rule=“rule famil
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- Cloudera 数据 平台 环境 搭建 CDH5 13.1 傻瓜 说明书
限制150内