# kaka

**Repository Path**: anzhen-tech/kaka

## Basic Information

- **Project Name**: kaka
- **Description**: No description available
- **Primary Language**: Unknown
- **License**: Apache-2.0
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 0
- **Created**: 2021-11-12
- **Last Updated**: 2023-06-27

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# kaka

#### 介绍

- 快速搭建大数据运行环境，网络好的话5分钟搭建完成
- 目标是一键完成集群搭建
- 当前版本限制比较多
    - 目前只支持指定版本的安装包
    - 集群架构当前只测试了5个节点，HadoopHA集群
    - 服务器需要最小化安装或者新的阿里云服务器
    - 未实现回滚操作，不支持重复安装
        - 手动回滚
            - rm -rf /etc/profile.d/set_env.sh
            - userdel atguigu
            - rm -rf /opt/
            - 清理 /etf/hosts

#### 软件架构

```
├── ansible                 ansible脚本
│ ├── bin                   规划为工具脚本
│ │ └── zookeeper_cluster.sh
│ ├── binary 安装包
│ │ ├── apache-zookeeper-3.5.7-bin.tar.gz
│ │ ├── hadoop-3.1.3.tar.gz
│ │ ├── jdk-8u212-linux-x64.tar.gz
│ │ └── kafka_2.12-3.0.0.tgz
│ ├── hadoop                 hadoop临时配置文件（执行程序会覆盖）
│ │ ├── core-site.xml
│ │ ├── hdfs-site.xml
│ │ ├── mapred-site.xml
│ │ ├── workers
│ │ └── yarn-site.xml
│ ├── install_hadoop.yml     Hadoop 安装脚本
│ ├── install_jdk.yml        Jdk 安装脚本
│ ├── install_kafka.yml      Kafka 安装脚本
│ ├── install_zookeeper.yml  Zookeeper 安装脚本
│ ├── script                 安装过程中调用的脚本
│ │ ├── install_hadoop.sh
│ │ ├── install_jdk.sh
│ │ ├── install_kafka.sh
│ │ ├── install_zookeeper.sh
│ │ ├── nn_format.sh
│ │ ├── standby_nn_fetch.sh
│ │ ├── start-dfs.sh
│ │ ├── start-kafka.sh
│ │ ├── start_dn.sh
│ │ ├── start_jn.sh
│ │ └── start_nn.sh
│ ├── server_prepare.yml
│ └── ssh_authorized.yml
├── cluster.yml                配置文件
├── conf                       配置文件模板
│ └── hadoop                 Hadoop配置文件模板
│     ├── core-site.xml
│     ├── hdfs-site.xml
│     ├── mapred-site.xml
│     ├── workers
│     └── yarn-site.xml
└── kaka.py                    主程序
```

#### 安装教程

1. 安装ansible
    - Linux(CentOS)
        ```bash
            yum -y install ansible
        ```
    - MacOS
        ```bash
            brew install ansible
        ```
    - Windows
        - 暂不支持，可以通过WSL启用内置linux后使用
            ```bash
                apt-get install ansible 
            ```
2. 安装sshpass
    - Linux(CentOS)
        ```bash
            yum -y install sshpass
        ```
    - MacOS
        ```bash
            brew install sshpass
        ```
    - Windows
        - 暂不支持，可以通过WSL启用内置linux后使用
            ```bash
                apt-get install sshpass 
            ```
3. 安装Python 3 ···

#### 使用说明

```
-h 为帮助信息
```

1. python3 kaka.py -h
    ```bash
    ➜  kaka git:(master) ✗ python3 kaka.py -h
    usage: kaka.py [-h] {server,install,uninstall} ...
    
    positional arguments:
      {server,install,uninstall}
        server              服务器操作
        install             安装服务
        uninstall           卸载服务(TODO)
    
    optional arguments:
      -h, --help            show this help message and exit
    ➜  kaka git:(master) ✗ 
    
    ```
2. python3 kaka.py server -h
    ```bash
    ➜  kaka git:(master) ✗ python3 kaka.py server -h
    usage: kaka.py server [-h] {prepare,ssh-authorized,prepare-rollback} ...
    
    positional arguments:
      {prepare,ssh-authorized,prepare-rollback}
        prepare             初始化操作系统
        ssh-authorized      ssh免密登录
        prepare-rollback    回滚初始化操作系统(TODO)
    
    optional arguments:
      -h, --help            show this help message and exit
    ➜  kaka git:(master) ✗
    ```
3. python3 kaka.py install -h
    ```bash
    ➜  kaka git:(master) ✗ python3 kaka.py install -h
    usage: kaka.py install [-h] {jdk,zookeeper,hadoop,kafka} ...
    
    positional arguments:
      {jdk,zookeeper,hadoop,kafka}
        jdk                 安装jdk
        zookeeper           安装Zookeeper
        hadoop              安装Hadoop
        kafka               安装Kafka
    
    optional arguments:
      -h, --help            show this help message and exit
    ➜  kaka git:(master) ✗ 
    
    ```
4. 从0开始安装集群
    1. 集群规划 -> cluster.yml
    2. 绑定本地hosts
    3. 本机到集群所有服务器root用户免密登录
       - ssh-copy-id root@target
    4. 初始化服务器
       - python3 kaka.py server prepare
    5. SSH免密登录
       - python3 kaka.py server ssh-authorized
    6. 安装JDK
       - python3 kaka.py install jdk
    7. 安装Zookeeper
       - python3 kaka.py install zookeeper
    8. 安装Hadoop
       - python3 kaka.py install hadoop
    9. 安装Kafka
       - python3 kaka.py install kafka
    10. Enjoy

#### 参与贡献

1. Fork 本仓库
2. 新建 Feat_xxx 分支
3. 提交代码
4. 新建 Pull Request