# spark-wordcout-app

**Repository Path**: cuixubinmo/spark-wordcout-app

## Basic Information

- **Project Name**: spark-wordcout-app
- **Description**: spark统计英文单词示例程序
- **Primary Language**: Java
- **License**: Not specified
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 1
- **Forks**: 0
- **Created**: 2020-08-05
- **Last Updated**: 2022-04-03

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# 打包运行
本示例包含两个可执行jar的示例，分别对应Spark的local模式和非local模式

## local模式

    直接在IDE中运行WordCountLocal.java的main方法，或者将程序导出为可执行jar文件，使用java -jar xxxx.jar方式执行
    
## 打测试环境运行包


1.  pom.xml指明主类WordCountStandalone.java的类路径
2.  使用命令：mvn clean package，将程序打包为jar文件
3.  将jar文件放到Spark集群，使用Spark提交作业的命令进行作业提交


### Spark提交作业
假设Spark服务已启动，Master地址为spark://172.16.12.202:7077，打包好的应用已经放到了Spark集群路径下：/home/temp/test.jar。
在/home/temp/目录下准备两个文件，文件hello.txt内容为一篇英文文章，文件count.txt为一个空内容文件用于存放计算结果。
进入SPARK_HOME/bin目录，输入以下命令，将应用提交到Spark集群：

    ./spark-submit \
    --master spark://172.16.12.202:7077 \
    --class com.bingo.demo.WordCountStandalone \
    /home/temp/test.jar \
    spark://172.16.12.202:7077 \
    /home/temp/hello.txt \
    /home/temp/count.txt

命令说明：
每行命令（最后一行除外）以空格+\结尾再回车；
以--开头的为Spark内置的参数名；
不以--开头的，第一行参数为应用jar文件的path；
后三行为应用jar的main函数接收的参数