3 Star 0 Fork 0

mirrors_sgzwiz / bigdata-ansible

加入 Gitee
与超过 1200万 开发者一起发现、参与优秀开源项目,私有仓库也完全免费 :)
免费加入
该仓库未声明开源许可证文件(LICENSE),使用请关注具体项目描述及其代码上游依赖。
克隆/下载
贡献代码
同步代码
取消
提示: 由于 Git 不支持空文件夾,创建文件夹后会生成空的 .keep 文件
Loading...
README

大数据devops脚本

一套最适合公司内网下的,最适合开发ansible脚本的devops

我们搞大数据开发,多数是集群环境,有大量的配置,有时一个环境问题花费大量时间排查,为了提升效率,开发了这套脚本。

这套脚本安装一个3台机器的zookeeper、kafka、storm、hadoop、elasticsearch、hbase、flink、clickhouse集群,从无到有都只需要4分钟,而且脚本极其简单。

开发规则

充分利用"约定大于配置"使脚本简化,系统hostname命名,相互无密访问,甚至用户名等都是vagrant实现的,约定自动脚本只实现安装,服务启动用手动脚本,使用脚本前,都要自己从网上下载好需要安装的安装包,并解压到tools目录下面。

需要安装的工具

vagrant
vagrant-hostmanager

使用说明

1、默认在tools目录下下载好、解压、并重命名为jdk、zookeeper、hadoop、storm、kafka、flink、clickhouse等等
2、cp ~/.ssh/id_rsa* install/roles/common/files
5、vagrant --tags=kafka up

脚本说明

默认全部安装,vagrant相关的脚本只完成安装
使用vagrant reload或者vagrant halt,下次启动会还原成一个干净的系统,不想还原请用vagrant suspend/resume

服务操作

ansible-playbook --tags=start/restart/stop/status opt/zookeeper.yml
ansible-playbook --tags=start/restart/stop/status opt/hadoop.yml
ansible-playbook --tags=start/stop/status opt/storm.yml
ansible-playbook --tags=start/stop/status opt/kafka.yml
ansible-playbook --tags=start/stop/status opt/elasticsearch.yml
ansible-playbook --tags=start/stop/status opt/hbase.yml
ansible-playbook --tags=start/stop/status opt/flink.yml

脚本测试

ansible-playbook install/dev/testplay.yml

部署计划

hadoop

主机名 nn rm dn nm jn web-proxy
host1 Y Y Y Y
host2 Y Y Y Y
host3 Y Y Y

hadoop-ha

主机名 nn rm dn nm jn web-proxy zfkc
host1 Y Y Y Y Y
host2 Y Y Y Y Y
host3 Y Y Y

storm

主机名 nimbus zk supervisor storm ui
host1 Y Y Y
host2 Y Y
host3 Y Y

kafka

主机名 kafka zk
host1 Y Y
host2 Y Y
host3 Y Y

elasticsearch

主机名 master client
host1 Y
host2 Y
host3 Y

hbase

主机名 master zk backup-master region-server
host1 Y Y
host2 Y Y Y
host3 Y Y

flink-standalone

主机名 Standalone TaskManagerRunner
host1 Y
host2 Y
host3 Y

flink-yarn

主机名 nn rm dn nm jn web-proxy yarn-session yarn-session-cli
host1 Y Y Y Y Y
host2 Y Y Y Y Y
host3 Y Y Y

已经测试过的版本

java 1.8
zookeeper 3.6.2
storm 0.9.2(storm.yaml要改),1.2.1,2.2.0
kafka 2.6.0
hadoop 3.2.1
elasticsearch 7.9.3
hbase 2.3.3
flink 1.6.1,1.11.2, 1.12.0
clickhouse 20.11.4.13

空文件

简介

暂无描述 展开 收起
Jinja 等 2 种语言
取消

发行版

暂无发行版

贡献者

全部

近期动态

加载更多
不能加载更多了
马建仓 AI 助手
尝试更多
代码解读
代码找茬
代码优化
1
https://gitee.com/mirrors_sgzwiz/bigdata-ansible.git
git@gitee.com:mirrors_sgzwiz/bigdata-ansible.git
mirrors_sgzwiz
bigdata-ansible
bigdata-ansible
master

搜索帮助

344bd9b3 5694891 D2dac590 5694891