# hadoop-docker-kit

**Repository Path**: lang-jj/docker-common

## Basic Information

- **Project Name**: hadoop-docker-kit
- **Description**: 让美好永相伴
- **Primary Language**: Docker
- **License**: Not specified
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 0
- **Created**: 2018-09-27
- **Last Updated**: 2020-12-19

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# docker-common

#### 项目介绍
让美好永相伴

#### 软件架构
Hadoop分布式存储与计算 
以docker容器做分布式环境部署
核心技术：hadoop,hive,zookeeper,hbase,kafka,flume,sqoop,spark


学习技术：linux命令、linux命名空间、docker、rpc、大数据分布式存储、分布式计算等等

#### 安装教程

docker 容器启动教程 
1. 从dockerhub上下载我上传的docker镜像 cjnusun/hadoop:v6 (版本持续更新与重构，尽量减小体积，下载太慢，考虑转移国内仓库)
2. docker 启动命令 docker run --it -d --privileged --name hadoop cjnusun/hadoop:v6
3. 进入容器内需要设置主机名：vi /etc/hosts  改为cj.sun.hadoop 与hadoop的hdfs的服务器名相同
4. 启动hdfs：start-dfs.sh  密码均为123456 
5. 启动yarn: start-yarn.sh  密码为123456
6. 查看启动状态:jps
7. 设置ssh无密码登录命令：1、生成: ssh-keygen -t rsa 2、复制公钥到远程：ssh-copy-id -i ~/.ssh/id_rsa.pub user@hostname
8. 设置本机访问cj.sun.hadoop对应docker的ip（linux系统修改/etc/hosts 文件即可 windows需要修改系统下system32\driver\hosts文件） 
9. web查看：cj.sun.hadoop:50070 （dfs的视图服务） cj.sun.hadoop:8088 (mapreduce执行作业服务) cj.sun.hadoop:9000(hdfs的文件服务)


#### 使用说明

1. dockerdemo文件夹中是构建hadoop中用的一些命令
2. docker文件夹中是学习用的建立的
3. hadoopdemo文件夹写的是hadoop的hdfs的Java客户端

#### 参与贡献

1. Fork 本项目
2. 新建 Feat_xxx 分支
3. 提交代码
4. 新建 Pull Request


#### 码云特技

1. 使用 Readme\_XXX.md 来支持不同的语言，例如 Readme\_en.md, Readme\_zh.md
2. 码云官方博客 [blog.gitee.com](https://blog.gitee.com)
3. 你可以 [https://gitee.com/explore](https://gitee.com/explore) 这个地址来了解码云上的优秀开源项目