# om-bigdata

**Repository Path**: bigseacoming/om-bigdata

## Basic Information

- **Project Name**: om-bigdata
- **Description**: New framework of om collector
- **Primary Language**: Unknown
- **License**: Not specified
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 6
- **Created**: 2020-10-21
- **Last Updated**: 2021-03-24

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# om-bigData

#### 介绍
**以下是om-bigData介绍**

om-bigData是针对om-collect工程收集的数据进行批量处理或实时处理的大数据处理框架。

#### 软件架构
* spark

* kafka

* storm

* elasticsearch


#### 安装教程

1.  克隆工程
    > git clone https://gitee.com/opensourceway/om-bigdata.git
2.  修改打包文件assembly.xml
    * 如果是spark程序，则将pom.xml<mainClass>标签中内容修改为com.huawei.opensourway.AnalysisForBatch
    * 如果是storm程序，则修改成com.huawei.opensourway.AnalysisForStreaming

3.  使用mvn命令编译
    > mvn package  (编译.java)
    >
    > mvn assembly:single  (执行之后会在target目录下生成对应的jar包，如om-bigdata-1.0-SNAPSHOT.jar)

#### 使用说明

1.  **spark**程序，上传jar包到集群master节点/root目录，执行 which spark-submit,找到脚本路径,并切换到对应路径下执行如下命令：
    ><font color=red>./spark-submit --class com.huawei.om.AnalysisForBatch --num-executors 1 --executor-cores 4 --master yarn-cluster /root/om-analysis-1.0-SNAPSHOT.jar ak sk 4 inputfilepath vhost indexname (如果配置项如果不存在，则使用conf.properties中对应属性)</font>
2.  **storm**程序
    > 将打包文件上传到storm所在节点/root目录，执行 <font color=red>which storm</font> 并切换到对应目录,执行如下命令：
    >
    ><font color=red>./storm jar /root/stormkafkagitee-1.0-SNAPSHOT.jar com.huawei.opensourway.AnalysisForStreaming</font>