# poros-lite-platform **Repository Path**: nhapis/poros-lite-platform ## Basic Information - **Project Name**: poros-lite-platform - **Description**: 单机POC大数据环境必备组件，一键部署包 - **Primary Language**: Unknown - **License**: MPL-2.0 - **Default Branch**: master - **Homepage**: None - **GVP Project**: No ## Statistics - **Stars**: 1 - **Forks**: 0 - **Created**: 2020-04-12 - **Last Updated**: 2021-12-08 ## Categories & Tags **Categories**: Uncategorized **Tags**: None ## README ## 大数据环境一键部署包（Lite版） #### 说明 - 单机POC必备组件，一键部署包 - 告别Dock, 从裸机系统 -> 大数据环境部署完成 ，仅需10分钟、仅需10分钟、仅需10分钟。 - POC从此不再为环境担忧。精准安装报告展示。节省"时间成本"和"人工成本"，懂行的人，知道这意味着什么 - `注意：`需要有Yum源 - 由于相关组件包比较大，可以加入`QQ群：26036666`，在群文件中索取，本脚本包于2020.09.29日开源 #### 组件列表 | 组件名称| 版本号 | | ------ | ------ | | JDK | 1.8.0_261 | | Zookeeper | 3.4.14 | | Kafka | 2.2.2 | | Kafka-eagle | 2.0.2 | | Flink | 1.10.1 | | Elasticsearch | 7.3.2 | | Redis | 3.2.12-2 | | Mysql | 5.7.31 | | Nginx | 1.17.7 | #### 架构 ``` ├─0.initEnv.sh ------------------------------ // 基础环境配置、禁止内存交换、文件打开数、JDK部署 ├─1.installMysql.sh ------------------------- // 安装Mysql5.7.31 ├─2.deployZookeeper.sh ---------------------- // 部署Zookeeper伪集群 ├─3.deployKafka.sh -------------------------- // 部署Kafka伪集群、并配置默认分区数、副本数 ├─4.deployKafkaEagle.sh --------------------- // 部署Zookeeper、Kafka监控平台 ├─5.deployRedis.sh -------------------------- // 安装Redis、并开启密码授权访问 ├─6.deployNginx.sh -------------------------- // 安装Nginx ├─7.deployFlink.sh -------------------------- // 部署Flink伪集群 ├─8.deployElasticSearch.sh ------------------ // 部署ElasticSearch伪集群 ├─9.deployKibana.sh ------------------------- // 部署Kibana ├─config.ini -------------------------------- // 所有组件汇总配置文件 ├─deployAll.sh ------------------------------ // 一键执行所有脚本 ├─openFirewall.sh --------------------------- // 开墙脚本 ├─poros-conf -------------------------------- // 配置文件目录 │ ├─elasticsearch │ ├─flink │ ├─kafka │ ├─kafka-eagle │ ├─kibana │ ├─mysql │ ├─redis │ └─zookeeper ├─poros-litePackage ------------------------- // 组件安装包目录 │ ├─elasticsearch-7.3.2_nhApis.tar.gz │ ├─flink-1.10.2-scala_2.11_nhApis.tar.gz │ ├─jdk-8u261-linux-x64.tar.gz │ ├─kafka-eagle-web-2.0.1-bin.tar.gz │ ├─kafka_2.11-2.2.2.tgz │ ├─kibana-7.3.2-linux-x86_64.tar.gz │ ├─mysql_5.7 │ ├─redis │ ├─tengine-2.3.2.tar.gz │ └─zookeeper-3.4.14.tar.gz └─showLog.sh -------------------------------- // 日志输出到Nginx、直接在浏览器访问部署报告 ``` #### 配置文件 ``` [EnvConfig] #本地IP WORK_IP=192.168.88.128 #工作目录 POROS_DIR=/poros/tools #日志文件 LOG_FILE=./deployLog.log [MySqlConfig] #mysql 端口 MYSQL_PORT=23366 #mysql 密码 MYSQL_PASS=PorosMysql@123456 [ZookeeperConfig] #zookeeper数据目录 ZOOKEEPER_DATA_PATH=/data/zookeeper [KafkaConfig] #kafka数据目录 KAFKA_DATA_PATH=/data/kafka [ElasticSearchConfig] #ES 数据目录 ES_DATA_PATH=/data/es #ES 内存配置(注意:单位小写) ES_MEM=1g #ES 快照备份目录 ES_BACKUP_PATH=/data/esdatabackup [RedisConfig] #Redis 密码 REDIS_PASSWORD=PorosRedis@123456 [FlinkConfig] #Flink taskmanager.memory.process.size 内存大小 FLINK_TASKMANAGER_JVM=1728m #Flink numberOfTaskSlots 数量 FLINK_SLOTS=9 ``` #### 部署日志报告 ``` ./deployLog.log 2020-09-18 17:28:44 ----------------------------------------------- 2020-09-18 17:28:49 工作目录：/poros/tools 2020-09-18 17:28:49 JDK目录：/poros/tools/jdk1.8.0_261 2020-09-18 17:28:54 ----------------------------------------------- 2020-09-18 17:30:51 ----------------------------------------------- 2020-09-18 17:31:29 MySql 端口：23366 2020-09-18 17:31:29 MySql 账号/密码：root/PorosMysql@123465 2020-09-18 17:31:29 MySql 启动命令：systemctl start mysqld.service 2020-09-18 17:31:29 MySql 重启命令：systemctl restart mysqld.service 2020-09-18 17:31:32 ----------------------------------------------- 2020-09-18 17:31:32 ----------------------------------------------- 2020-09-18 17:31:32 Zookeeper 部署目录：/poros/tools/zookeeper-3.4.14 2020-09-18 17:31:32 Zookeeper 数据目录：/data/zookeeper 2020-09-18 17:31:33 Zookeeper 地址/端口：192.168.110.128:22181,192.168.110.128:22182,192.168.110.128:22183 2020-09-18 17:31:33 Zookeeper 启动脚本：sh /poros/tools/zookeeper-3.4.14/bin/start-zk.sh 2020-09-18 17:31:36 Zookeeper 查看状态脚本：sh /poros/tools/zookeeper-3.4.14/bin/status-zk.sh 2020-09-18 17:31:36 Zookeeper 停止脚本：sh /poros/tools/zookeeper-3.4.14/bin/stop-zk.sh 2020-09-18 17:31:36 ----------------------------------------------- 2020-09-18 17:31:36 ----------------------------------------------- 2020-09-18 17:31:36 Kafka 部署目录：/poros/tools/kafka_2.11-2.2.2 2020-09-18 17:31:36 Kafka 数据目录：/data/kafka 2020-09-18 17:31:37 Kafka Zookeeper配置目录：192.168.110.128:22181,192.168.110.128:22182,192.168.110.128:22183/KafkaRoot 2020-09-18 17:31:37 Kafka 地址/端口：192.168.110.128:29902,192.168.110.128:29903,192.168.110.128:29904 2020-09-18 17:31:37 Kafka 启动脚本：sh /poros/tools/kafka_2.11-2.2.2/bin/start-kafka.sh 2020-09-18 17:31:39 ----------------------------------------------- 2020-09-18 17:31:39 ----------------------------------------------- 2020-09-18 17:31:39 KafkaEagle 部署目录：/poros/tools/kafka-eagle-web-2.0.1 2020-09-18 17:31:39 KafkaEagle 启动脚本：/poros/tools/kafka-eagle-web-2.0.1/bin/ke.sh start 2020-09-18 17:31:54 KafkaEagle 访问地址：http://192.168.110.128:8048 2020-09-18 17:31:54 KafkaEagle 用户名/密码：admin/123456 2020-09-18 17:31:54 ----------------------------------------------- 2020-09-18 17:31:54 ----------------------------------------------- 2020-09-18 17:31:54 Redis 密码：PorosRedis@123465 2020-09-18 17:31:58 Redis 启动脚本：/usr/bin/redis-server /etc/redis.conf 2020-09-18 17:31:58 ----------------------------------------------- 2020-09-18 17:31:59 ----------------------------------------------- 2020-09-18 17:35:12 Nginx 部署目录：/poros/tools/nginx 2020-09-18 17:35:42 Nginx 启动脚本：/poros/tools/nginx/sbin/nginx 2020-09-18 17:35:42 Nginx 重启脚本：/poros/tools/nginx/sbin/nginx -s reload 2020-09-18 17:35:42 ----------------------------------------------- 2020-09-18 17:35:42 ----------------------------------------------- 2020-09-18 17:35:42 Flink-1.10.2 部署目录：/poros/tools/flink-1.10.2 2020-09-18 17:35:42 Flink 任务内存配置：1728m 2020-09-18 17:35:42 Flink 任务通道配置：9 2020-09-18 17:35:51 Flink 启动脚本: /poros/tools/flink-1.10.2/bin/start-cluster.sh 2020-09-18 17:35:55 Flink Web访问地址: http://192.168.110.128:28801 2020-09-18 17:35:55 ----------------------------------------------- 2020-09-18 17:35:55 ----------------------------------------------- 2020-09-18 17:38:23 ElasticSearch-Node1 部署目录：/poros/tools/elasticsearch-7.3.2-node-1 2020-09-18 17:38:23 ElasticSearch-Node1 数据目录：/data/es/node1 2020-09-18 17:38:23 ElasticSearch-Node2 部署目录：/poros/tools/elasticsearch-7.3.2-node-2 2020-09-18 17:38:23 ElasticSearch-Node2 数据目录：/data/es/node2 2020-09-18 17:38:23 ElasticSearch-Node3 部署目录：/poros/tools/elasticsearch-7.3.2-node-3 2020-09-18 17:38:23 ElasticSearch-Node3 数据目录：/data/es/node3 2020-09-18 17:38:23 ElasticSearch 快照备份目录：/data/esdatabackup 2020-09-18 17:38:23 ElasticSearch 用户/用户组：elsearch:elsearch 2020-09-18 17:38:23 ElasticSearch-Node1 启动脚本：su - elsearch -c "/poros/tools/elasticsearch-7.3.2-node-1/bin/elasticsearch -d" 2020-09-18 17:38:44 ElasticSearch-Node2 启动脚本：su - elsearch -c "/poros/tools/elasticsearch-7.3.2-node-2/bin/elasticsearch -d" 2020-09-18 17:39:14 ElasticSearch-Node3 启动脚本：su - elsearch -c "/poros/tools/elasticsearch-7.3.2-node-3/bin/elasticsearch -d" 2020-09-18 17:39:34 ElasticSearch Api端口：192.168.110.128:29030,192.168.110.128:29031,192.168.110.128:29032 2020-09-18 17:39:34 ElasticSearch Http端口：192.168.110.128:29020,192.168.110.128:29021,192.168.110.128:29022 2020-09-18 17:39:34 ----------------------------------------------- 2020-09-18 17:39:35 ----------------------------------------------- 2020-09-18 17:40:21 Kibana 部署目录：/poros/tools/kibana-7.3.2 2020-09-18 17:40:23 Kibana 启动脚本：/poros/tools/kibana-7.3.2/bin/start.sh 2020-09-18 17:40:23 Kibana Web访问地址：http://192.168.110.128:25610 2020-09-18 17:40:23 ----------------------------------------------- ``` #### 修改记录 ###### 2020.09.29 - 增加开启zookeeper Acl的脚本，默认允许当前IP过滤 - 增加kafka jaas配置文件与脚本 ###### 2020.09.18 - 增加zookeeper停止脚本和kill脚本 - 增加ElasticSearch快照备份目录配置项，更新配置文件 - 增加kafka停止脚本 ###### 2020.09.15 - 升级flink至1.10.2 - 升级redis至3.2.12-2 ###### 2020.09.08 - 升级mysql至5.7.31版本 - 增加mysql端口配置修改功能 - 升级jdk至1.8_261版本 - 升级kafka-eagle至2.0.1版本 - 修改所有组件的默认端口号