Watch 6 Star 7 Fork 2

openEuler / marketingMulanPSL-2.0

No. 24 - 在 openEuler aarch64 架构上完成 Spark WordCount 统计过程

任务
待办的
sinever  Opened this issue

标题 No. 24 - 在 openEuler aarch64 架构上完成 Spark WordCount 统计过程

任务描述 没有软件工程师不知道Hello world,也没有大数据工程师不知道wordcount。OpenEuler上对bigdata的支持也正如火如荼,为了让大家熟悉在openEuler上的bigdata的软件栈和开发流程,现在请从源代码出发构建spark的安装包(jar和yum),用自己构建的安装包基于公开的数据集完成wordcount的训练过程。

难度

导师 @sinever

联系方式 sinever@126.com

产出标准

  • spark安装包(jar和yum)和统计结果
  • 基于 openEuler 内核 + openEuler 软件生态(可能不全)
  • 操作系统版本:openEuler 20.03 LTS
  • 架构:aarch64
  • 支持spark版本 3.0
  • 镜像支持 DNF/YUM 安装软件源中的软件
  • spark安装包制作脚本和文档

技术要求

  • spark基本知识
  • 基本的Linux使用
  • DNF/RPM包管理
  • java编译、打包

相关项目
https://gitee.com/openeuler/community/tree/master/sig/sig-ai-bigdata

相关资料

Attachments
5329419 openeuler ci bot 1578984659 23249 genedna 1586065964 total 4 participants

Comments (1)

5329419 openeuler ci bot 1578984659
openeuler-ci-bot 2020-05-22 13:44 owner

Hey @sinever , Welcome to openEuler Community.
All of the projects in openEuler Community are maintained by @openeuler-ci-bot .
That means the developers can comment below every pull request or issue to trigger Bot Commands.
Please follow instructions at https://gitee.com/openeuler/community/blob/master/en/sig-infrastructure/command.md to find the details.

Sign in to comment

Assignees
Labels
Not set
Projects
Milestones
Branches
Planed to start
Planed to end
Top level
Priority
1
https://gitee.com/openeuler/marketing.git
git@gitee.com:openeuler/marketing.git
openeuler
marketing
marketing

Search