# api1

**Repository Path**: NFUNM108/API_ML_Al

## Basic Information

- **Project Name**: api1
- **Description**: No description available
- **Primary Language**: Unknown
- **License**: Not specified
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 1
- **Forks**: 0
- **Created**: 2019-11-20
- **Last Updated**: 2024-12-31

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# e-emoji 产品文档

## 20*20 PPT文档 文档链接

https://kdocs.cn/l/sYFtmzt53?f=111 

### 20*20 文件二维码

![输入图片说明](https://images.gitee.com/uploads/images/2020/0109/235308_0ac9db11_1648220.png "屏幕截图.png")

原型详细说明
|文档名称|e-emoji需求文档|
|--|--|
|版本|1.0|
|文件现状|进行中|
|文件的主人|周滋娴|
|更新|2019.11.11|
|目的|对e-emoji进行基本介绍以及确定此产品基本应用功能|

## 价值主张
### “咔嚓一下，表情包让您见图如面，活灵活现”
|要素|说明|
|--|--|
|产品(Product)|e-emoji是一款基于用户面部情绪来推荐相应情绪表情包的工具|
|目标市场(Target market)|善于在网络上聊天的青年|
|主要优点(Primary benefit)|通过表情包精确传达情绪|
|是什么让它与众不同？(What makes it unique? ）|通过人脸检测技术扫描面部表情得出情绪指标来搜索相应的情绪表情包|
### 核心价值
- 用户只需要拍照，e-emoji就可以自动扫描检测情绪。通过情绪关键词推荐相应的表情包。
### 一分钟介绍价值主张
- e-emoji是一款基于用户面部情绪来推荐相应情绪表情包的工具。我们的价值主张是“咔嚓一下，表情包让您见图如面，活灵活现”。针对善于聊天用户找不到合适表情包表达情绪的痛点需求。此产品只需要用户在聊天期间通过简单自拍“咔嚓一下”，我们借助[人脸检测技术](https://www.faceplusplus.com.cn/face-detection/)扫描人脸，精确定位人脸关键点并输出情绪元数据得出情绪倾向。再者结合[情绪关键词](https://giphy.com/)推荐用户情绪表情包，让其在聊天期间可以准确传达情绪，让对方见到表情包犹如见到真人活灵活现地站在他们面前一样。

# 目录
- [一、产品介绍](#一产品介绍)
- [二、市场分析](#二市场分析)
    - [1. 业务模式](#1-业务模式)
    - [2.平台模式](#2平台模式)
    - [3.问题](3问题)
    - [4. 机会](#4-机会)
- [三、用户描述](#三用户描述)
    - [1.用户/市场统计](#1-用户市场统计)
    - [2.用户剖析](#2-用户剖析)
        - [a.开始使用时间](#a开始使用时间)
        - [b.使用表情包频率](#b使用表情包频率)
        - [c.喜欢表情包的原因](#c喜欢表情包的原因)
    - [3.用户痛点](#3用户痛点)
    - [4.目标用户](#4目标用户)
    - [5.需求分析](#5-需求分析)
    - [6.用户画像](#6用户画像)
    - [7.使用场景](#7使用场景)
- [四、竞品分析](#四竞品分析)
- [五、产品轮廓](#五产品轮廓)
    - [1.产品前景](#1产品前景)
    - [2.产品定位](#2产品定位)
- [六、功能需求](#六功能需求)
- [七、非功能需求](#七非功能需求)
- [八、商业价值](#八商业价值)
- [九、技术支持](#九技术支持api)
    - [1. API一：人脸检测API](#1-api一人脸检测api)
        - [a. Face++](#a-face)
        - [b. 百度开放平台](#b-百度开放平台)
        - [c. Azure](#c-azure)
        - [（1）API比较分析](#1api比较分析)
        - [（2）AI产品概率](#2ai产品概率)
        - [（3） API使用风险评估](#3-api使用风险评估)
        - [（4）总结](#4总结)
    - [2.API二：表情包搜索API](#2api二表情包搜索api)
    - [3.API三：自然语言处理——情感倾向分析API](#3api三自然语言处理情感倾向分析api)
- [十、产品功能及优先级](#十产品功能及优先级)
    - [1.核心功能（MVP）](#1核心功能mvp)
    - [2.功能性需求及优先级](#2功能性需求及优先级)
- [十一、产品说明](#十一产品说明)
    - [1.产品信息结构图](#1产品信息结构图)
    - [2.产品结构图](#2产品结构图)
    - [3.产品功能结构图](#3产品功能结构图)
    - [4.产品流程图](#4产品流程图)
    - [5.产品线框图](#5产品线框图)
    - [6.核心功能演示](#6核心功能演示)
    - [7.原型附件下载](#7原型附件下载)
- [十二、成本估算](#十二成本估算)
- [十三、专有名词](#十三专有名词)
- [十四、待完成](#十四待完成)
- [十五、价值主张模板训练](#十五价值主张模板训练)


# 一、产品介绍
- e-emoji是一款基于使用聊天软件的用户面部情绪来推荐相应表情包的工具。
#  二、市场分析
## 1. 业务模式

|模式|说明|
|--|--|
|表情包分类|通过关键词、品牌、系列、用途等分类方式帮助用户分类表情包|
|制作表情包|通过添加文字、修改颜色或绘制表情制作表情包|
|搜索表情包|通过关键词或句子用户可以搜索到表情包|
|表情包出售|通过售卖系列表情包激发创作者的热情|

## 2.平台模式
- 表情包制作售卖、分类和分享平台
## 3.问题
a. 契合度较低 —— 用户经常找不到合适的表情包表达自己的情绪
b.推荐范围较狭隘 —— 聊天应用程序，如微信根据用户输入文字推荐表情包只可推荐用户已收藏的，没有推荐新的。
c.传播歧义 —— 不同年龄段的人对表情包的解读有不同的意思，导致解码失败。
d.缺乏对青少年保护 —— 多数表情包网站，小程序都没有对内容进行限制。

## 4. 机会
- 情绪分析——利用人工智能技术，对用户情绪进行数据化，从而准确分析用户情绪，推荐用户准确表达情绪的表情包。（脸部识别、语义识别）
- 年龄层定制化——根据不同年龄推荐不同的表情包，从而减少传播歧义的问题发生以及保护青少年健康上网。

# 三、用户描述
## 1. 用户/市场统计
- 方法：问卷调查
- 调查总人数：124人
- 性别比列：男36：女86
## 2. 用户剖析
- 调查的124人都使用过表情包
### a.开始使用时间

- 超过一半的人大学才开始使用表情包

![image.png](https://images.gitee.com/uploads/images/2019/1222/144413_aaacc4d2_1648220.png)

### b.使用表情包频率

- 超过7成人有用表情包的习惯，只有极少数人从来不用表情包。

![image.png](https://images.gitee.com/uploads/images/2019/1222/144413_85e73c31_1648220.png)
### c.喜欢表情包的原因

- 超过八成人喜欢表情包是因为其能更好地表达自己情绪，而对于是否随大众较少人在乎。

![喜欢表情包](https://images.gitee.com/uploads/images/2019/1224/232046_6f438da8_1648220.png "1.png")
## 3.用户痛点
- 找不到**正确表达自己情绪**的表情包。
- 微信自己添加的表情包数量有限，只能添加两百个。
- 微信在聊天时推荐表情包是自己**已收藏的**。
## 4.目标用户
- 年龄：90后，05前
- 身份：学生、刚毕业1-2年的上班族

## 5. 需求分析
- 用户可以利用表情包正确表达自己情绪。
- 用户收藏表情包不受限制
- 用户可以在聊天时得到自己从没有见过的表情包。
- 用户可以自行创作表情包

## 6.用户画像
![image.png](https://images.gitee.com/uploads/images/2019/1222/144413_07c1381c_1648220.png)

## 7.使用场景
|使用场景|功能|
|--|--|
|在与好朋友在进行表情包大战时发现自己找不到合适的表情包|关键词搜索（通过关键词搜索自己想要的表情包|
|在聊天时想表现自己已经“佛系随缘”，但微信找不到适合的emoji表达自己情绪|照相功能（通过拍照自己识别自己情绪推荐表情包）|
|想拥有自己独一无二的表情包|创作功能（通过修改背景颜色，表情添加自己想要表情包）|

# 四、竞品分析

|竞品|价值主张|优点|
|--|--|--|
|[发表情](https://fabiaoqing.com/)|最新最全的无水印表情包分享与制作平台|表情包有性别可以选择，且可以对表情包背景进行去底|
|[斗图啦](http://www.doutula.com/)|斗图啦,收集了成千上万的撕逼斗图表情包,在这里你可以快速找到想要的表情|可以改变表情包的画质以及模糊程度|

# 五、产品轮廓
## 1.产品前景
- 数据化：拥有用户情绪与年龄等数据分析，可以为“以人为本”等用户研究做贡献
- 衍生产品的开发：通过用户广泛流通表情包，其积累到一定量粉丝后可以生产衍生产品。
## 2.产品定位
- 基于用户在虚拟环境正确传达自己情绪的表情包推荐工具。

# 六、功能需求
- 基于脸部识别分析用户的情绪指标，为用户推荐代表相关情绪的表情包。

# 七、非功能需求
|性质|说明|
|--|--|
|安全性|对用户情绪分析量化的数据进行妥善保存，防止数据泄露|
|易用性|只需要简单的输入聊天内容或者拍照就可以分析用户情绪，不需要再做额外工作|

# 八、商业价值

- 通过准确推荐用户表情包，可以提高表情包的粉丝量，后续可以通过系列表情包进行收费盈利。
- 语义分析的出情绪数据集可以用于机器学习的情绪训练集。

# 九、技术支持（API）

## 1. API一：人脸检测API
- 最终选择**Face++**

|平台|API|计费|
|--|--|--|
|Face++|[人脸识别——Detect API](https://console.faceplusplus.com.cn/documents/4888373)|100元/QPS/天(1,000元/QPS/月) |
|百度开放平台|[人脸识别——人脸检测](https://ai.baidu.com/ai-doc/FACE/yk37c1u4t)|0<QPS<=10  30元/天/QPS(300元/月/QPS)    500元/月/QPS  50元/天/QPS|
|Azure|[计算机视觉——人脸检测](https://docs.microsoft.com/zh-cn/azure/cognitive-services/computer-vision/concept-detecting-faces)|0 到 100 万个事务 - $1 每 1,000 个事务|



### 测试图片
![image.png](https://images.gitee.com/uploads/images/2019/1222/144413_8eb84813_1648220.png)

### a. Face++
|API基本信息|说明|
|--|--|
|价值主张||
|接口描述|传入图片进行人脸检测和人脸分析|
|调用方法|POST|
|调用URL|https://api-cn.faceplusplus.com/facepp/v3/detect|
|请求参数（必填）|api_key、api_secret、image_url/image_file/image_base64	|
- 输入——图片url
![image.png](https://images.gitee.com/uploads/images/2019/1222/144413_208428ac_1648220.png)
- 输入结果（截图一部分）
![image.png](https://images.gitee.com/uploads/images/2019/1222/144413_374a0115_1648220.png)

### b. 百度开放平台
|API基本信息|说明|
|--|--|
|价值主张||
|接口描述|传入图片进行人脸检测和人脸分析|
|调用方法|POST|
|调用URL|https://aip.baidubce.com/rest/2.0/face/v3/detect|
|请求参数（必填）|access_token、image、image_type(BASE64/URL/FACE_TOKEN)|

- 输入——图片
![image.png](https://images.gitee.com/uploads/images/2019/1222/144413_5ae0eb20_1648220.png)

- 输入结果（截图一部分）

![image.png](https://images.gitee.com/uploads/images/2019/1222/144413_e7f712cc_1648220.png)
### c. Azure
|API基本信息|说明|
|--|--|
|价值主张|分析图像内容，将视觉功能嵌入到应用，可提高内容可发现性、加速文本提取|
|接口描述|可检测图像中的人脸，并为每个检测到的人脸生成年龄、性别和人脸边框。和人脸分析|
|调用方法|POST|
|调用URL|https://aip.baidubce.com/rest/2.0/face/v3/detect|
|请求参数（必填）|subscription_key、image、image_type(BASE64/URL/FACE_TOKEN)、image formats(JPEG，PNG、GIF和BMP的一帧)|

- 输入

![image.png](https://images.gitee.com/uploads/images/2019/1222/144413_470e112a_1648220.png)

- 输出（截图一部分）

![image.png](https://images.gitee.com/uploads/images/2019/1222/144413_84ba2fd0_1648220.png)

### （1）API比较分析

#### 数据总结（json→DataFrame)

|平台|数据|
|--|--|
|Face++|![image.png](https://images.gitee.com/uploads/images/2019/1222/144413_07d50135_1648220.png)|
|百度|![](https://images.gitee.com/uploads/images/2019/1222/144413_3965ffc2_1648220.png)|
|Azure|![image.png](https://images.gitee.com/uploads/images/2019/1222/144413_4df04f1b_1648220.png)|

####  分析

- 调用难度
a. **百度的调用难度较高**，它需要先利用key和id得出access后面才可以调用。
b. **百度api不可以直接用图片的链接**，因此需要引入base64模块对图片进行编码。

- 数据分析

a. **azure多人检测不精准**，5个人的合照，只有Azure识别少一个人。
b. **百度没有呈现各情绪指数数据**，在数据细节上face++与azure在emotion分析中有各个情感指数都显示出来，百度只显示指数最高的一个。

### （2）AI产品概率

#### a. 保证——[2019十大面部识别API](https://rapidapi.com/blog/top-facial-recognition-apis/)

|平台|概率性|
|--|--|
|Face++|百万级别以上人脸数据库中迅速查找（识别率高达99.4%）|
|百度|万级人脸库识别率（高达99%以上识别准确率）|
|微软|人脸检测率96％|

#### b. 照片模糊 —— blur
- 问题：人脸检测对blur的测试是不准确的，静态背景是清晰的，但人是运动的，导致blur值总体下降
- **解决方法**：利用拉普拉斯方差算法(Variance of the Laplacian).，只计算人脸区域的拉普拉斯卷积值，不计算静态背景。
### （3） API使用风险评估
### a. 错误率
- 人脸检测API显示出皮肤类型和性别偏见。——[性别差异：商业性别分类中的交叉准确度差异](http://proceedings.mlr.press/v81/buolamwini18a/buolamwini18a.pdf)

|Metric（度量标准）| All （所有）|F（女性）|M（男性） |Darker（肤色深）|Lighter （肤色浅）|DF（肤色深女性）| DM（肤色浅男性）| LF（肤色浅女性） |LM（肤色深男性）|
|--|--|--|--|--|--|--|--|--|--|
|PPV(阳性预测值 %) |90.0| 78.7| 99.3 |83.5 |95.3| 65.5| 99.3 |94.0 |99.2|
|Error Rate(错误率 %)| 10.0 |21.3 |0.7 |16.5| 4.7 |34.5| 0.7 |6.0| 0.8|
|TPR (真阳性率 %) |90.0 |98.9| 85.1 |83.5 |95.3| 98.8| 76.6| 98.9 |92.9|
|FPR (假阳性率 %)| 10.0 |14.9 |1.1 |16.5| 4.7 |23.4 |1.2| 7.1| 1.1|

a.总体女性人脸检测错误率比男性高。肤色深的比肤色浅的错误率高

b.Face++对肤色较浅的男性检测错误率最低（错误率为0.6%），但对肤色较深且为女性检测错误率最高（错误率为34.5%）

### b. 解决方法
####  **技术方面**
- 增加训练数据，针对不同人种进行专门训练。
- 算法层面优化现在的流程，提升对不同人种的识别性能，加大 3D 感知的研发力度，将三维特征信息融合到应用中弥补二维信息的不足。

#### **用户自身**
- 因人脸检测错误率导致情绪分析不准确，表情包不能正确表达自己的情绪时，直接采用文字输入，通过文字分析用户情绪来推荐表情包。

### （4）总结

- 虽然Face++的费用相比百度和微软都较高，但其具有本产品最需要的情绪分析细分且概率性最高，并且产品推出前提用户数不多，**小型创业公司每月处理1000张图片**，因此人脸检测API选择**Face++**。

## 2.API二：表情包搜索API
- 最终选择Giphy

|平台|API|计费|
|--|--|--|
|Giphy|[关键词搜索](https://developers.giphy.com/docs/api/endpoint/#search)|免费|
|SOOGIF|[搜索接口](http://open.soogif.com/blog/soogif-open-api-v1-4-1-beta)|免费 |
### 测试关键词——happiness

- 输入

![](https://images.gitee.com/uploads/images/2019/1222/144414_f0a000ed_1648220.png)

- 输出

![image.png](https://images.gitee.com/uploads/images/2019/1222/144413_46096ad0_1648220.png)

- 得到表情包

![image.png](https://images.gitee.com/uploads/images/2019/1222/144413_9329f931_1648220.png)
### 总结：
- 最后选择用Giphy是因为其免费，且是世界上最大的GIF图库。不选择SOOGIF是成为开发者是需要申请的。（**亲鉴：申请了两个星期都不予以回应**）




## 3.API三：自然语言处理——情感倾向分析API
### a .百度开放平台为例

|API基本信息|说明|
|--|--|
|价值主张|自动对包含主观信息的文本进行情感倾向性判断，为口碑分析、话题监控、舆情分析等应用提供基础技术支持，同时支持用户自行定制模型效果调优.|
|接口描述|对只包含单一主体主观信息的文本，进行自动情感倾向性判断（积极、消极、中性），并给出相应的置信度。|
|调用方法|POST|
|调用URL|https://aip.baidubce.com/rest/2.0/face/v3/detect|
|请求参数（必填）|access_token、text|
- 输入——text句子
![image.png](https://images.gitee.com/uploads/images/2019/1222/144413_b0e254eb_1648220.png)

- 输出
![image.png](https://images.gitee.com/uploads/images/2019/1222/144413_3b585db4_1648220.png)
- 数据分析
![image.png](https://images.gitee.com/uploads/images/2019/1222/144413_98847034_1648220.png)
### 总结
- 目前的情感倾向分析API只是给出中立、积极和自信三个要素，涉及分类范围较大。**无法准确得知细分情绪。**

# 十、产品功能及优先级
## 1.核心功能（MVP）
- 情绪表情包推荐：通过人脸检测用户自拍照识别情绪并推荐情绪表情包。
## 2.功能性需求及优先级

|功能名称|功能说明|优先级|
|--|--|--|
|情绪表情包推荐（基于脸部识别）|人脸检测用户自拍照识别情绪，得出情绪关键词。并利用其关键词推荐情绪表情包|高|
|表情包创作|通过选择表情、形象和输入文字制作表情包|中|
|情绪表情包推荐（基于自然语言处理）|通过分析语句得出情感倾向|低|

# 十一、产品说明
## 1.产品信息结构图
![产品信息架构图.png](https://images.gitee.com/uploads/images/2019/1222/144413_6ecf73c8_1648220.png)

## 2.产品结构图
![产品结构图.png](https://images.gitee.com/uploads/images/2019/1222/144413_7815e195_1648220.png)


## 3.产品功能结构图
![功能结构图.png](https://images.gitee.com/uploads/images/2019/1222/144413_c74f3893_1648220.png)

## 4.产品流程图

- 核心功能——人脸检测情绪推荐情绪表情包
 ![image.png](https://images.gitee.com/uploads/images/2019/1222/144413_b960407c_1648220.png)

## 5.产品线框图

- 详情见原型附件
![输入图片说明](https://images.gitee.com/uploads/images/2019/1223/184800_d0203478_1648220.png "流程图.png")

## 6.核心功能演示
![输入图片说明](https://images.gitee.com/uploads/images/2019/1223/184837_577d80b9_1648220.png "首页.png")

### （注：动图未显示时，点击下方图片logo即可看到）


![输入图片说明](https://images.gitee.com/uploads/images/2019/1223/212356_18acf4a2_1648220.gif "核心功能.gif")


## 7.原型附件下载
 [原型附件下载](http://nfunm108.gitee.io/eemoji_prototype_file/#g=1&p=new_page_1)




# 十二、成本估算
|费用类型|12个月最大预算|
|--|--|
|服务器|2000|
|技术人员工资|600000|
|小程序认证服务费|300|
|微信域名|70|
|第三方API调用|12000|
|其他备用金|5000|
|总计|619370|

# 十三、专有名词

- 人脸检测(Face Detection)：人脸检测是在图像中查找人脸，并选择地返回不同类型人脸相关数据的操作。
- 人脸识别(Face Recognition)：识别描述的是比较两个不同的人脸，以确定它们是否相似或属于同一个人的工作流程。
- 卷积神经网络：
> 卷积神经网络由一个或多个卷积层和顶端的全连通层组成, 这一结构使得卷积神经网络能够利用输入数据的二维结构。与其他深度学习结构相比，卷积神经网络在图像和语音识别方面能够给出更好的结果。
- [拉普拉斯方差算法](https://www.imooc.com/article/44112)(Variance of the Laplacian)：它被用来测量图片的二阶导数，突出图片中强度快速变化的区域。可用于网络摄像头传过来图像，判断图像质量

# 十四、待完成
- 尝试可以对输入的文字进行如人脸检测一样有更精确的情绪分析。


# 十五、价值主张模板训练

|创作者|模板|训练|
|--|--|--|
|杰夫·摩尔|对于[需求或机会陈述]的[目标客户]，我们的[产品/服务名称]是[收益陈述]的[产品类别]|对于聊天时找不到适合的表情包来表达自己情绪的善于聊天的青年。我们的产品基于人脸检测技术，可以将情绪量化得出情绪倾向，并推荐情绪表情包|
|史蒂夫·布朗的XYZ|我们通过[Z]帮助[X]到[Y]。|我们通过人脸检测技术帮助善于聊天的青年通过表情包正确传达自己情绪。|
|戴夫·麦克卢尔|简短，简单，令人难忘；什么，如何，为什么。|e-emoji是帮助用户精确传达情绪的表情包推荐工具