基于深度学习的监督学习，使用梯度下降、ALS、LFM算法，使用AngularJS2生成前端框架，数据库为MongoDB，使用ElasticSearch作为搜索服务器，Redis作为缓存数据库，其中包括Spark的离线统计服务、Azkaban的工作调度服务、Flume的日志采集服务、Kafka作为消息缓冲服务，全局采用Scala编写，Java作为Tomcat部署使用，实现离线推荐、实时推荐、服务器冷启动问题解决。

通信运营商每时每刻会产生大量的通信数据，例如通话记录，短信记录，彩信记录，第三方服务资费等等繁多信息。数据量如此巨大，除了要满足用户的实时查询和展示之外，还需要定时定期的对已有数据进行离线的分析处理。例如，当日话单，月度话单，季度话单，年度话单，通话详情，通话记录等等。我们以此为背景，寻找一个切入点，学习其中的方法论。当前我们的需求是：统计每天、每月以及每年的每个人的通话次数及时长。

天天生鲜电商项目基于django框架的website，是一个电商项目，功能齐全，用户注册登录缓存放在redis，用户信息商品信息等放于mysql， 使用搜索引擎框架实现搜索功能，增加其他功能，如分页，乐观锁，分布式存储等优化功能，实现接口对接付款评价等功能， 大家可以使用uwsgi作为web服务器使用nginx部署。 温馨提示，下载源码包大体代码不变，但是在settings里面需要修改为您的数据库地址。

项目以推荐系统领域知名的经过修改过的中文亚马逊电商数据集作为依托，以电商网站真实业务数据架构为基础，构建了这套一体化电商推荐系统，包含了离线推荐与实时推荐体系，综合利用了协同过滤算法以及基于内容的推荐方法来提供混合推荐。包括从前端应用、后台服务、算法设计实现、平台部署等多方位的业务实现。

模拟电商系统上线运行一段时间后，根据收集到大量的用户行为数据，利用大数据技术（Flink）进行深入挖掘和分析，进而得到感兴趣的商业指标并增强对风险的控制。 整体可以分为用户行为习惯数据和业务行为数据两大类。用户的行为习惯数据包括了用户的登录方式、上线的时间点及时长、点击和浏览页面、页面停留时间以及页面跳转等等，从中进行流量统计和热门商品的统计，并深入挖掘用户的特征；业务行为数据分为两类：一类是能够明显地表现出用户兴趣的行为，比如对商品的收藏、喜欢、评分和评价，对数据进行深入分析，得到用户画像，进而对用户给出个性化的推荐商品列表；另一类则是常规的业务操作，关注异常状况以做好风控，比如登录和订单支付。

实现了一整套电商数仓的搭建，包括数据采集平台的搭建，将用户的行为数据分为四层分别分层搭建，并实现业务数据库的分层搭建，针对数据仓库中的数据进行，留存、转化率、复购率、GMV、活跃等报表分析，使用当下主流程数的框架，这个项目采用Apache版本的框架实现，后续会上传CDH版本的框架实现，并实现最终的数据可视化。