# fc-bigdata

**Repository Path**: devsapp/fc-bigdata

## Basic Information

- **Project Name**: fc-bigdata
- **Description**: 快速部署一个大数据案例到阿里云函数计算
- **Primary Language**: Unknown
- **License**: Not specified
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 0
- **Created**: 2021-07-08
- **Last Updated**: 2021-08-31

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# 阿里云函数计算大数据案例

快速部署一个大数据案例到阿里云函数计算：

- 初始化项目：`s init fc-bigdata`
- 进入项目，并执行部署：`s deploy -y`

- Tips: 更多行为
    - 查看函数的指标：`s metrics`
    - 查看函数日志：`s logs`
    - 更多可以参考[Serverless Devs函数计算FC组件文档](https://github.com/devsapp/fc)


------

在该案例中，一共有两个函数：

- ReceiveData：接受信息
- dataToKafka：发送到Kafka中
- pretreatmentData：触发后转投到es中


请在开始之前，创建好Kafka，并将相关的VPC信息，Kafka信息，以及用户密钥等信息配置到s.yaml中：

```yaml
vars: # 全局变量配置
  region: cn-hangzhou
  service:
    name: FCBigDataDemo # 根据业务需求，按命名规范设置自行输入服务名称。
    description: 函数计算大数据案例
#    tracingConfig: Enable # 自动将FC服务和链路追踪打通，方便查看、追踪函数执行的链路信息。
    logConfig: auto # 自动将FC服务和日志服务SLS打通并关联。
    vpcConfig:
      vpcId: vpc-bp1j3jyq28flee6yub8es
      securityGroupId: sg-bp17tfakipwl8hv598sp
      vswitchIds:
        - vsw-bp1d3jv6r1mukbdpd06gy
    userInfo:
#      uid: ${env(uid)}
#      accessKeyID: ${env(accessKeyID)}
#      accessKeySecret: ${env(accessKeySecret)}
      uid: 1583208943291465
      accessID: accessID
      accessSecret: accessSecret
    kafkaConfig:
      kafkaTopic: fc-kafka-practice
      kafkaEndpoint: 172.27.4.197:9092,172.27.4.196:9092,172.27.4.195:9092
    

```


这两个函数为业务函数。可以通过`s deploy -y`将这些函数统一部署到线上。

然后通过`s dataToKafka logs -t`查看日志信息。

此时可以针对`ReceiveData`返回的地址，进行数据提交，并观察Kafka的情况：

您可以通过`s ReceiveDataDemo deploy`进行部署，部署完成之后，可以通过`s ReceiveDataDemo logs -t`进行日志查看。

通过返回的地址，进行数据请求，例如我部署后的地址为`https://1583208943291465.cn-hangzhou.fc.aliyuncs.com/2016-08-15/proxy/FCBigDataDemo/receiveDataDemo/` ：

```
curl --location --request POST 'https://1583208943291465.cn-hangzhou.fc.aliyuncs.com/2016-08-15/proxy/FCBigDataDemo/receiveData/' \
--header 'Content-Type: application/json' \
--data-raw '{
	"action": "readArticle",
	"articleTitle": "FC+Kafka最佳实践",
	"articleAuthorId": 1,
	"articleAuthorName": "jiyuan",
	"ts": 1621577423
}
'
```