9 Star 16 Fork 48

openEuler / opensource-intern

 / 详情

【开源实习】Bigtop-manager:Install Check功能开发

待办的
开源实习
创建于  
2024-02-06 10:12

【开源实习】Bigtop-manager:Install Check功能开发
【任务分值】 20分
【背景描述】Bigtop-manager面向云原生的大数据集群管理平台,提供了一套轻量级的方案高效地管理bigtop所支持的大数据组件。类似于 Apache Ambari 和 Cloudera Manager。
【需求描述】Install Check为 在Bigtop Manager Set Clustuer Install阶段进行环境检查。目前只有Check Hosts,还需增加其他环境检查。

  1. 集群检查
    包含Master和Slaves端检查。
    主要功能点如下:
    检查环境必须包含Master和Slaves端
    UI界面能选择不同的节点显示下列检查项。
  2. Check Disk space
    Bigtop Manager下载的Bigtop repo源安装后的目录在/usr/bigtop/3.2.0/usr/lib/目录下,需检查根目录“/”,"/usr"目录下的磁盘空间,确保有足够的空间通过Bigtop Manager安装组件。
    主要功能点如下:
    检查‘/’目录下空间。free_space 小于4GB,warn输出“A miminum of 4 GB free space for mountpoint /”。
    3.Check Firewall
    检查防火墙是否开启,开启则warn输出“Firewall is running on the host”。
    4.Check HugePage
    开启Transparent Huge Pages (THP),可能对Hadoop存在潜在的性能问题。需检查THP,如果THP状态为always,则warn输出“Transparent Huge Pages (THP) is enabled', 'THP should be disabled to avoid potential Hadoop performance issues.”
    5.Check OS
    检查os_arch,os_type,内核版本是否一致。不一致,则warn输出节点信息。
    6.Check umask
    检查umask值,umask值>23,warn输出“umask is {0} Consider update it”
    7.Check Install Packages
    检查环境中是否存在Install前,存在从repo源中下载好的组件包。warn输出“{0} (version {1}) is installed from repo {2}. It should be removed before deploying the cluster.”
    例如 通过Bigtop Manager部署Zookeeper。Zookeeper已经提前通过yum或dnf从repo源安装在agent节点中。

【环境要求】
如:CPU架构:aarch64/x86_64
OS版本:openEuler22.03-LTS-SP1

【产出标准】1.完成代码上传到指定库
2.测试验证
Java代码功能实现后,编译并搭建Bigtop Manager服务,启动服务后,通过https://localhosts:8080访问。当前在UI界面创建集群Install阶段,只有Check Hosts和Cache Hosts。
输入图片说明
需根据功能点在Check Hosts下增加以下内容:
Checks Disk Space
Check Firewall enabled
Check HugePage
Check OS
Check umask
Check Install Packages
【技术实现及代码归档路径】
1.前端技术实现,包括Web UI
vue
2.后端实现
Java
3.代码归档位置
bigtop-manager/bigtop-manager-server/src/main/java/org/apache/bigtop/manager/server/job/helper/

【PR提交地址】https://gitee.com/openeuler/bigtop-manager
【期望完成时间】2024-2-29
【开发指导】参考:https://gitee.com/openeuler/bigtop-manager
【导师及邮箱】@吴治国 wzg547228197@163.com or @MacChen1 chenqiang2080@163.com
【备注】

本issue为面向高校学生的“openEuler开源实习”项目的任务,非参加该项目的人员勿领。

评论 (7)

MacChen1 创建了开源实习

Hi macchen1, welcome to the openEuler Community.
I'm the Bot here serving you. You can find the instructions on how to interact with me at Here.
If you have any questions, please contact the SIG: sig-OSCourse, and any of the maintainers: @iscassiyang , @ZhengZhenyu , @郑晨 , @genedna

openeuler-ci-bot 添加了
 
sig/sig-OSCourse
标签
openeuler-ci-bot 移除了
 
sig/sig-OSCourse
标签
openeuler-ci-bot 添加了
 
sig/sig-OSCourse
标签
openeuler-ci-bot 添加了
 
intern
标签
MacChen1 移除了
 
sig/sig-OSCourse
标签
MacChen1 添加了
 
intern-bigdata
标签

@wangzhe2024 欢迎承接该项目
/intern-approve

@Eric-lily , 感谢您认领此任务, 请及时跟导师沟通, 导师审核通过后才能承担此任务, 否则任务无效.

openeuler-ci-bot 移除了
 
intern
标签
openeuler-ci-bot 移除了
 
intern-bigdata
标签
openeuler-ci-bot 添加了
 
intern
标签
openeuler-ci-bot 添加了
 
intern-bigdata
标签
openeuler-ci-bot 添加了
 
intern-task-assign
标签

@Eric-lily 欢迎承接该项目
/intern-approve

@Eric-lily , 由于您认领的任务未在规定时间通过导师的审核, 此次认领无效, 任务被释放.

openeuler-ci-bot 移除了
 
intern
标签
openeuler-ci-bot 移除了
 
intern-bigdata
标签
openeuler-ci-bot 移除了
 
intern-task-assign
标签
openeuler-ci-bot 添加了
 
intern
标签
openeuler-ci-bot 添加了
 
intern-bigdata
标签

登录 后才可以发表评论

状态
负责人
项目
里程碑
Pull Requests
关联的 Pull Requests 被合并后可能会关闭此 issue
分支
开始日期   -   截止日期
-
置顶选项
优先级
预计工期 (小时)
参与者(4)
5329419 openeuler ci bot 1632792936
1
https://gitee.com/openeuler/opensource-intern.git
git@gitee.com:openeuler/opensource-intern.git
openeuler
opensource-intern
opensource-intern

搜索帮助

53164aa7 5694891 3bd8fe86 5694891