# API final project **Repository Path**: liangchuyao/API-final-project ## Basic Information - **Project Name**: API final project - **Description**: No description available - **Primary Language**: Unknown - **License**: Not specified - **Default Branch**: master - **Homepage**: None - **GVP Project**: No ## Statistics - **Stars**: 0 - **Forks**: 0 - **Created**: 2020-07-02 - **Last Updated**: 2020-12-19 ## Categories & Tags **Categories**: Uncategorized **Tags**: None ## README # API final project |文档名称|嗖嗖清图—产品需求文档| | -- |-- | |产品名称|嗖嗖清图| |产品描述 |是一款利用智能，并结合了相似、相同照片模块分类成相册、清理、查看；模糊、黑白、旧照片整合后选择性修复；同类型照片整合分类的相册整理APP| |产品版本 |2.0| |1.0版本 |[diff链接对比视图](https://gitee.com/liangchuyao/API-final-project/compare/bf1e488b6918202d045f4601ce391b03243c3b65...c08e9cfd5d8c9dad5f2bff8c1c38b70208d7f6eb)| |文件现状 |进行中| |文件作者 |梁楚尧| # 迭代的增量改进[（diff链接对比视图）](https://gitee.com/liangchuyao/API-final-project/compare/bf1e488b6918202d045f4601ce391b03243c3b65...c08e9cfd5d8c9dad5f2bff8c1c38b70208d7f6eb) 相较于迭代一，本次迭代主要是加入了有关该app的概率性考量（具体添加了利害相关者分析、ESG问题及机会），新增产品迭代设想和问题情景，界面可行性分析、api可行性分析，丰富了人工智能概率性考量（具体添加了所使用的api各平台对比）。进一步说明技术可行性、用户可欲性和商业可行性；多加了原型图更好体现智能加值，突出智能交互价值，并添加了参考链接；展示了关键智能API对问题情境的相关性，还展示了关键智能API类型对解决方案的可能影响论证。 **p.s.文档中独特有效外链URL均不相同（超过12个），有充份的原创高水平图表说明（超过10个）** # 加值宣言 我认为目前市场上对于相册整理和修图app已有很多，但是对于结合相似相同照片模块分类成相册、清理、查看，同类型照片整合，模糊/黑白/旧照片整合后修复的手机相册整理产品还没有很好的展现，但市场需求较大，因此该类产品有较大的发展空间。该app使用到了 **相似图片搜索api** ，在本机图库中，快速创建图片语义相似的专属图片集； **相同图片搜索api** ，将图库中相同或高度相似的图片整合成不同的图库，实现系统内图片去重或过滤，避免重复内容引起的资源浪费； **图像清晰度增强api** ，将模糊不清的照片实现智能快速去噪，优化图像纹理细节，使画面更加自然清晰； **黑白图像上色api**，智能识别黑白图像内容并填充色彩，使黑白图像变得鲜活； **图像主体检测api** ，对本机相册的所有图片进行分类、打标签，方便用户按照分类快速找到图片； **人脸识别api** ，通过人脸检测、人脸搜索、人脸聚类等组合能力，对相册中的图片进行智能分类，将同一个人的照片归为一组。 ## 一、问题表述与需求列表 ### 1、问题表述 通过用户使用场景，分析api优先级、app任务、用户任务、用户痛点、app增长点，透过简易的用户使用场景、任务、痛点、增长/益点描述出问题，展示了关键智能API的智能加值。 ![Alt text](images/问题表述.png) ### 2、问题情境 该图表展示了关键智能API对问题情境的相关性 ![Alt text](images/问题情景.png) ### 3、需求概述 #### 3.1产品背景及特点 1. 随着手机拍摄能力和通讯行业的不断发展，使用手机拍照已经成为人们的一种生活习惯。当代人出去游玩时最常见的拍照方式就是“连拍”，一个场景拍摄几十张照片，如果不是随拍随删，残留在手机中的冗余照片数量庞大。在这个每天都要拍摄、查看、接收、存储、发送照片，以及手机里大部分的内存都贡献给了相册的今天，大部分人手机上相片所占内存比重交大，我们这款app能很好的将手机相同和相似照片分类，方便人们释放手机内存。 2. 老照片作为一个人一段时期的特定影像记录，有着不可替代，不可复制的特点，而过去的像素普遍不高，或有的照片经过多次保存转发也已经十分模糊。我们这款app可以使相册里的老照片尽可能的更加清晰。 3. 当代人的生活节奏越来越快，大部分人不会想要花费大量的时间去整理与归类相片，但如此的话，相册会十分杂乱，难以查找。而我们这款app可以从物品类型、地点、人物等几个方向进行智能分类，解决人们这一痛点。 ### 4、市场概述 #### 4.1 市场特征 - 相似照片智能分类和相册智能分类的市场较广，目前正处在快速发展时期。 - 现在市面上的类似相册整理的产品功能较为分散（一类产品只集中做相册智能分类，但是现在手机自带的相册已经大部分巨有该功能；另一类产品只集中做相似相同照片整合，但是有很大一部分产品是智能帮助用户检测相似相同照片，并智能分析最优项，其余自动删除，该功能容易误删用户重要照片），针对两类产品结合的产品还处在发展初期，还未出现行业龙头，发展空间广阔。 #### 4.2 发展优势 - 该类产品用户群体大，需求市场广阔，痛点明显，有一定的开发价值。 - 我们这款app结合了市面上相似照片智能分类和相册智能分类产品的特点。 ### 5、用户分析 - 目标用户群体：手机照片多且杂，想要整理相册但懒/没有时间的14-30年轻女性 - 用户画像1（包含用户需求、痛点、使用情景） ![Alt text](images/小粒用户画像.png) - 用户画像2（包含用户需求、痛点、使用情景） ![Alt text](images/智秀用户画像.png) ### 6、需求列表 按最重要到次重要排序简要列表用户问题需求，及对映的智能或非智能API。 ![Alt text](images/需求列表.png) ### 7、利害相关者图 该图表展示了关键智能API类型对解决方案的可能影响论证 ![Alt text](images/利益相关者图.png) ### 8、ESG问题及机会 该图表展示了关键智能API类型对解决方案的可能影响论证 ![Alt text](images/ESG.png) ## 二、解决方案原型表述 ### 界面流程及关键智能交互 #### 1、[交互界面原型设计图链接](https://modao.cc/app/c0c64db298e5d53397dd75d261d93f2f665bfe05?simulator_type=device&sticky#screen=skcp9nhbe61550p) #### 2、可行性分析 参考IDEO三要素， Viability商业可行性、Feasibility技术可行性、及Desirability用户可欲性，具体去论证界面设计上的MVP加值。 ![Alt text](images/界面可行性分析.jpg) #### 3、交互界面流程图 清晰描述说明了界面流程智能加值输入输出的细节和界面流程技术细节 ![Alt text](images/用户流程图.png) #### 4、产品功能结构图 ![Alt text](images/api产品功能结构图.jpg) #### 关键智能交互一 **运用了相似图片搜索api，解决了用户“一次性拍摄了多张照片，导致相似照片多，事后又遗忘了当时是否已清理或者有清理遗漏的相似相片，浪费手机内存”的痛点。** **运用了相同图片搜索api ，解决了用户“在不知情的情况下多次下载保存同一张相片，相同相片的分布散，难以清理删除，浪费手机内存，且查找照片时不方便”的痛点** - 在本机图库中，快速创建图片语义相似的专属图片集，将用户手机相册里海量的图片分别智能分类出相似、相同图片。右下角显示具体数目。每个被定义相似或相同的图片都分别为一个模块，点击卡片可以跳转看到具体每个模块。 - 相似项中的每个模块有日期、类别两种分类方式查看。按日期显示时，会标注月份，点击具体的月份能看到该月里具体的相似模块。按类别显示时，会标注有相似项的智能类别的自定义类别，点击具体的类别能看到该类别里具体的相似模块。 - 按月份/类别跳转后，可以具体看到每个模块中相似的图片，封面为智能筛选出的最佳照片，可以左右滑动选择照片，选择完照片后可以选择是要移至垃圾箱还是加入喜好。 - 重复项中以瀑布流设计显示图册，并自动选择了重复项，可以直接点击下方删除建，也可以点击每个模块的重复项查看照片，若不想全部删除则可以点击右上角的取消全选间，自动选择需要删除的重复项。 - 选择移至垃圾桶会出现下一步询问是否确认删除，点击确认删除后，选择的图片被永久删除，释放手机内存；若误点则可以选择取消键返回上一步。 ![Alt text](images/api界面2.jpg) ![Alt text](images/api界面3.jpg) #### 关键智能交互二 **运用了图像清晰度增强api，解决了用户“由于多次转发或换设备保存、以前照片像素低等问题，想要查看图片时发现模糊不清”的痛点。** **运用了黑白图像上色api，解决了用户“十几年的照片已黑白照为主，想要了解当时的图片色彩却没有ps技术支撑”的痛点。** - 在本机图库中，快速创建图片语义相似的专属图片集，将用户手机相册里海量的图片分别智能分类出模糊照片和黑白照片。右下角显示具体的数目。每个被定义为模糊或黑白的图片都分别为一个模块，点击卡片可以跳转看到具体每个模块。 - 相册以瀑布流设计显示图册，可以自动选择需要修复或删除的照片，也可以点击每个模块查看照片，若不想全部删除则可以点击右上角的取消全选。 - 选择删除后会出现是否确认删除的弹窗，点击确认删除后，选择的图片被永久删除，释放手机内存；若误点则可以选择取消键返回上一步。 - 选择修复后会出现是否确认修复的弹窗，点击确认修复后，选择的图片会实现智能快速去噪，优化图像纹理细节，使画面更加自然清晰，跳转至已修复页面；若误点则可以选择取消键返回上一步。 ![Alt text](images/api界面4.jpg) ![Alt text](images/api界面5.jpg) #### 关键智能交互三 **运用了图像主体检测api和人脸识别api，解决了用户“照片过多过杂，难以快速找到相关图片”的痛点。** ![Alt text](images/api界面1.png) ### 三、数据流程及关键智能 API 使用 #### 数据流程图 DFD 清晰描述说明了数据流程智能加值输入输出的细节和数据流程技术细节 ![Alt text](images/数据流程图.png) #### 可行性分析 参考IDEO三要素， Viability商业可行性、Feasibility技术可行性、及Desirability用户可欲性，具体去论证api运用上的MVP加值。 ![Alt text](images/api可行性分析.jpg) #### API 调用代码及数据分析（包含各个平台的对比优势分析，已选用api的不可取代性） 1.1、平台的对比——图像搜索API： - [百度AI开放平台（api介绍的外链url）](https://ai.baidu.com/tech/imagesearch)：具体细分有相似图片搜索和相同图片搜索api调用，在自建图库中找到与检索图片语义相似的图片集，并给出相似度打分（综合图片类型、颜色、内容、布局等特征）；适用于各种相似图片查找、相关内容推荐场景。每天有10000次的免费额度。 - [腾讯云（api介绍的外链url）](https://market.cloud.tencent.com/products/9906)：提供基于图像内容的相似图像搜索。即用输入图片的颜色分布，几何形状，纹理，通过图像识别及匹配方法来搜索相似图片，将结果按与输入图片的相似度打分排序，支持关键词搜索加相似图片搜索的混合搜索模式。无免费调用，1元/100次。 **百度AI的优势是有相似图片搜索api和相同图片搜索api，有大量的免费额度提供测试，并且还支持亿级超大图库，算法准确性高。腾讯云的优势是支持关键词搜索加相似图片搜索的混合搜索模式。但是由于本APP的相似图片搜索功能不需要关键词输入，仅是对相似图片和相同的规整，腾讯云只是对相似度分析，没有区分开相同图片，不符合本APP的功能，所以我选择了百度AI开放平台。** 1.2、运用了百度AI开放平台图像搜索API中的[相似图片搜索api（接口的外链url）](https://ai.baidu.com/tech/imagesearch/similar)和[相同图片搜索api（接口的外链url）](https://ai.baidu.com/tech/imagesearch/same) - 相似图片搜索和相同图片搜索都包含入库、检索、删除、更新4个子接口。 - 首先需要通过API Key和Secret Key获取access_token。 - 然后将大量图片入库，入库之后的图片，可在控制台的图库管理后台进行可视化管理，支持预览大图、更新摘要、更新分类信息、删除图片，入口在控制台-应用详情页 管理图库。 - 完成入库后，可使用检索接口实现相似图检索。 1. 相似图片搜索api： - HTTP 方法：POST - 请求URL： https://aip.baidubce.com/rest/2.0/image-classify/v1/realtime_search/similar/search 2. 相同图片搜索api - HTTP 方法：POST - 请求URL： https://aip.baidubce.com/rest/2.0/realtime_search/same_hq/search ![Alt text](images/相似相同api.png) 2.1、平台对比——增强与特效API [百度AI开放平台（api介绍的外链url）](https://ai.baidu.com/tech/imageprocess)：对质量较低的图片进行去雾、对比度增强、无损放大、拉伸恢复等多种优化处理，重建高清图像,功能齐全完善。 [腾讯云（api介绍的外链url）](https://market.cloud.tencent.com/products/8685)：基于人工智能视觉分析技术，对水下拍摄图片/视频进行图像增强，将原本较为模糊的图像变得更加清晰，改善图像的视觉效果。 **百度AI的优势是集合了图像清晰度增强api和黑白图片上色api，符合本app的功能需求，而腾讯云只有水下图像增强算法，比较局限，不能完全满足需求，所以我选择了百度AI开放平台。** 2.2、运用了百度AI开放平台图片增强与特效API中的[图像清晰度增强api（接口外链url）](https://ai.baidu.com/tech/imageprocess/image_definition_enhance)和[黑白图片上色api（外链url）](https://ai.baidu.com/tech/imageprocess/colourize) 1. 图像清晰度增强api： - 接口描述：对压缩后的模糊图像实现智能快速去噪，优化图像纹理细节，使画面更加自然清晰 - HTTP 方法：POST - 请求URL： https://aip.baidubce.com/rest/2.0/image-process/v1/image_definition_enhance 2. 黑白图片上色api： - 接口描述：智能识别黑白图像内容并填充色彩，使黑白图像变得鲜活 - HTTP 方法：POST - 请求URL： https://aip.baidubce.com/rest/2.0/image-process/v1/colourize ![Alt text](images/模糊黑白api.png) 3、运用了百度AI开放平台[图像主体检测api（接口外链url）](https://ai.baidu.com/tech/imagerecognition/object_detect) - 接口描述：检测图片中的主体，支持单主体检测、多主体检测。检测出图片中主体的坐标位置，并给出主体的大类标签和标签的置信度得分，对海量图片进行分类、打标签。 - HTTP 方法：POST - 单主体请求URL： https://aip.baidubce.com/rest/2.0/image-classify/v1/object_detect - 多主体请求URL： https://aip.baidubce.com/rest/2.0/image-classify/v1/multi_object_detect ![Alt text](images/主体检测api.png) ### 人工智能概率性考量 #### 1、相似图片搜索api，相同图片搜索api - 百度AI智能云开放平台的相似图片搜索api，相同图片搜索api是基于数千万量级的训练数据、数万个语义类别进行模型训练及图库积累，使用精准的算法迭代模型不断提高准确度。 **所以它的准确度还是非常高的，完全可以满足该项目的进行。** - 需要将图片数据上传至平台建库，目前不支持直接调取其他云服务上的数据。 - 因为前端页面性能的问题，当图片尺寸太小，比如小于300px，甚至200px，或者图片长宽比太大，比如细长的长条图、竖条图时，会出现报错，无法检索的情况。 **因此会存在用户本机里有的相片无法得到检索，无法智能分配进对应的相册里。** - 由于控制台图库管理后台的图片都是从数据库定期同步过来进行展示，一般会有分钟级、最多小时级的延时。调用入库接口上传了一些图片，但是在控制台图库管理后台里有些图片展示不出来，偶尔会少了一部分图片的情况。 **因此，会出现用户刚拍摄/保存完照片时，app无法在第一时间检索，但出现这种情况的概率是非常小的，主要还是因为图片过小等问题。** #### 2、API平台对比（包含各个平台的对比优势分析，已选用api的不可取代性） 1. 图像搜索API： - [百度AI开放平台（api介绍的外链url）](https://ai.baidu.com/tech/imagesearch)：具体细分有相似图片搜索和相同图片搜索api调用，在自建图库中找到与检索图片语义相似的图片集，并给出相似度打分（综合图片类型、颜色、内容、布局等特征）；适用于各种相似图片查找、相关内容推荐场景。每天有10000次的免费额度。 - [腾讯云（api介绍的外链url）](https://market.cloud.tencent.com/products/9906)：提供基于图像内容的相似图像搜索。即用输入图片的颜色分布，几何形状，纹理，通过图像识别及匹配方法来搜索相似图片，将结果按与输入图片的相似度打分排序，支持关键词搜索加相似图片搜索的混合搜索模式。无免费调用，1元/100次。 **百度AI的优势是有相似图片搜索api和相同图片搜索api，有大量的免费额度提供测试，并且还支持亿级超大图库，算法准确性高。腾讯云的优势是支持关键词搜索加相似图片搜索的混合搜索模式。但是由于本APP的相似图片搜索功能不需要关键词输入，仅是对相似图片和相同的规整，腾讯云只是对相似度分析，没有区分开相同图片，不符合本APP的功能，所以我选择了百度AI开放平台。** 2. 增强与特效API - [百度AI开放平台（有关api介绍的外链url）](https://ai.baidu.com/tech/imageprocess)：对质量较低的图片进行去雾、对比度增强、无损放大、拉伸恢复等多种优化处理，重建高清图像,功能齐全完善。 - [腾讯云（有关api介绍的外链url）](https://market.cloud.tencent.com/products/8685)：基于人工智能视觉分析技术，对水下拍摄图片/视频进行图像增强，将原本较为模糊的图像变得更加清晰，改善图像的视觉效果。 **百度AI的优势是集合了图像清晰度增强api和黑白图片上色api，符合本app的功能需求，而腾讯云只有水下图像增强算法，比较局限，不能完全满足需求，所以我选择了百度AI开放平台。** #### 3、各API调用价格 - 图像搜索API——[相似图片搜索、相同图片搜索（内容介绍的外链url）](https://ai.baidu.com/ai-doc/IMAGESEARCH/Ck3bczqk2) 入库与检索接口超出 **免费额度** 后，可选择购买 **次数包** 或开通 **按调用量后付费** 两种计费方式付费使用，两种付费方式均可在控制台直接开通或购买，开通付费后默认按量后付费的方式进行阶梯计费，如有购买对应服务的次数包，则优先消耗次数包额度，抵扣完毕后自动转为按量后付费方式。 ![Alt text](images/图像搜索价格.jpg) - 图像识别API——[图像主体检测（内容介绍的外链url）](https://ai.baidu.com/ai-doc/IMAGERECOGNITION/rk3bcxa9e) 图像识别下共有9个接口能力可在控制台自助付费使用,每个接口均提供一定额度的免费调用量供测试使用，超出 **免费额度** 后，进入控制台，在"可用服务列表"中找到对应的接口，选择对应的 **付费** 方式点击开通或购买即可。 ![Alt text](images/图像识别价格.jpg) - 图像增强与特效API——[图像清晰度增强、黑白图像上色（内容介绍的外链url）](https://ai.baidu.com/ai-doc/IMAGEPROCESS/Nk3bclmag) 图像效果增强下共有7个能力可在控制台自助付费使用，每个接口均提供一定额度的免费调用量供测试使用，超出 **免费额度** 后，进入控制台，在"可用服务列表"中找到对应的接口，选择对应的付费方式点击开通或购买即可。图像效果增强提供两种付费方式：按 **调用量后付费** 、 **购买次数包预付费** ![Alt text](images/图像增强价格.jpg) ### 产品未来迭代设想 产品迭代 - v1.0 相同相似照片分类整理，一键删除、对比功能 能够对本地相册识别，进行分类整理。 提供老旧、黑白、模糊照片可选择修复功能。 自定义相册功能。 - v2.0 云端备份相册功能。 新增扫描文档、票据功能。 完善照片的修复功能。 - v3.0 形成图片社区，增加用户互动功能。 上线面对面快传功能。 提供小程序端、网页端、PC客户端软件。 进行用户推广。 - **盈利模式：软件成熟后（有一定的用户量），相似图片和重复图片分类中，若要一键定位到图片位置，需要会员。服务器是主要成本，云端存储空间每月免费50g，如需更多空间需要会员。与照片服务相关的产业进行合作，如照片冲洗打印、证件照处理等。** ## 三、学习/实践心得总结及感谢 在做本次项目的时候，我意识到了所有知识都是相通的，想要做好一个项目，不仅要运用api这门课上所学的，还要灵活运用用户研究、产品经理、界面设计的发散思维。学会合理有效的利用图表去完善自己的想法和产品，以图表的形式展示出来使数据说明更加形象直观，运用好价值主张画布，用户旅程地图，各类流程图，一步步探究这个产品真正的智能加值。同时非常感谢廖汉腾老师和许智超老师的教导和帮助，感谢百度AI智能云提供的免费强大代码和数据，使得本次项目得以顺利进行。 **为了解决年轻女性不想花时间或没有时间整理相册，但又因相片过多过杂而出现了许多痛点的问题，本次项目所做的app可以满足用户快速选择性删除相同、相似照片，快速找到需要的照片，修复模糊黑白照片这三大需求。** # 迭代的增量改进[（diff链接对比视图）](https://gitee.com/liangchuyao/API-final-project/compare/bf1e488b6918202d045f4601ce391b03243c3b65...c08e9cfd5d8c9dad5f2bff8c1c38b70208d7f6eb) 相较于迭代一，本次迭代主要是加入了有关该app的概率性考量（具体添加了利害相关者分析、ESG问题及机会），新增产品迭代设想和问题情景，界面可行性分析、api可行性分析，丰富了人工智能概率性考量（具体添加了所使用的api各平台对比）。进一步说明技术可行性、用户可欲性和商业可行性；多加了原型图更好体现智能加值，突出智能交互价值，并添加了参考链接；展示了关键智能API对问题情境的相关性，还展示了关键智能API类型对解决方案的可能影响论证。 **p.s.文档中独特有效外链URL均不相同（超过12个），有充份的原创高水平图表说明（超过10个）**