# nowcoder-project

**Repository Path**: hhd9497/nowcoder-project

## Basic Information

- **Project Name**: nowcoder-project
- **Description**: A project based on SpringBoot from nowcoder.
- **Primary Language**: CSS
- **License**: Not specified
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 0
- **Created**: 2019-05-07
- **Last Updated**: 2020-12-19

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# nowcoder问答平台

**本项目是一个基于springboot的问答平台。数据库使用了redis和mysql，实现注册登录、点赞点踩、评论站内信、Timeline事件流等功能，同时通过一个异步消息框架来实现事件的异步处理，并使用爬虫对网站进行数据填充。**

## 目录

- [项目的基本框架及配置](#项目的基本框架及配置)
- [AOP和IOC](#AOP和IOC)
- [MySQL和MyBatis](#MySQL和MyBatis)
- [注册与登录的实现](#注册与登录的实现)
- [发表问题和敏感词过滤](#发表问题和敏感词过滤)
- [发表评论和站内信](#发表评论和站内信)
- [Redis实现点赞和点踩功能](#Redis实现点赞和点踩功能)
- [异步消息机制](#异步消息机制)
- [关注和粉丝列表的实现](#关注和粉丝列表的实现)
- [推拉模式下的Feed流](#推拉模式下的Feed流)
- [使用爬虫对网站进行数据填充](#使用爬虫对网站进行数据填充)
- [功能扩展以及深度扩展](#功能扩展以及深度扩展)

## 项目的基本框架及配置 ##

创建git仓库，本地配置idea并测试pull和push。
    
创建springboot工程，导入web，velocity和aop的包。
    
生成maven项目，pom.xml包含上述依赖。
    
controller中使用注解配置，requestmapping，responsebody基本可以解决请求转发以及响应内容的渲染。responsebody自动选择viewresolver进行解析。

使用pathvariable和requestparam传递参数，使用velocity编写页面模板，注意其中的语法使用。常用$!{}和${}。
    
使用http规范下的httpservletrequest和httpservletresponse来封装请求和相响应，使用封装好的session和cookie对象。
    
使用重定向的redirectview和统一异常处理器exceptionhandler。

## AOP和IOC ##

IOC解决对象实例化以及依赖传递问题，解耦。
    
AOP解决纵向切面问题，主要实现日志和权限控制功能。
    
aspect实现切面，并且使用logger来记录日志，用该切面的切面方法来监听controller。

## MySQL和MyBatis ##

使用mysql创建数据库和表。
    
加入mybatis和mysql的maven仓库，注意，由于现在版本的springboot不再支持velocity进而导致我使用较早版本的springboot，所以这里提供一可以正常运行的版本设置。

springboot使用1.4.0，mybatis-spring-boot-starter使用1.2.1，mysql-connector-java使用8.0.12。
    
注意mybatis的注解语法以及xml的配置要求，xml要求放在resource中并且与dao接口在相同的包路径下。
    
application.properties增加spring配置数据库链接地址。
    
两个小工具：

- ViewObject:方便传递任何数据到
- VelocityDateTool:velocity自带工具类
    
写好静态文件html css和js，并且注意配置。

- spring.velocity.suffix=.html 保证跳转请求转发到html上
- spring.velocity.toolbox-config-location=toolbox.xml

## 注册与登录的实现 ##

新建数据表login_ticket用来存储ticket字段。该字段在用户登录成功时被生成并存入数据库，并被设置为cookie，下次用户登录时会带上这个ticket，ticket是随机的UUID字符串，有过期时间以及有效状态。

使用拦截器interceptor来拦截所有用户请求，判断请求中是否存在有效的ticket，如果有就将用户信息写入Threadlocal。所有线程的threadlocal都被存在一个叫做hostholder的实例中，根据该实例就可以在全局任意位置获取用户的信息。

该ticket的功能类似session，也是通过cookie写回浏览器，浏览器请求时再通过cookie传递，区别是该字段是存在数据库中的，并且可以用于移动端。

通过用户访问权限拦截器来拦截用户的越界访问，比如用户没有管理员权限就不能访问管理员页面。

配置了json工具类以及md5工具类，并且使用Java自带的盐生成api将用户密码加密为密文。保证密码安全。

数据安全性的保障手段：https使用公钥加密私钥解密，比如支付宝的密码加密，单点登录验证，验证码机制等。

## 发表问题和敏感词过滤 ##

发布问题时检查标题和内容，防止xss注入，并且过滤敏感词。

防止xss注入直接使用HTMLutils的方法即可实现。

过滤敏感词首先需要建立一个字典树，并且读取一份保存敏感词的文本文件，然后初始化字典树。最后将过滤器作为一个服务，让需要过滤敏感词的服务进行调用即可。

## 发表评论和站内信 ##

首先建立表comment和message分别代表评论和站内信。

评论的逻辑是每一个问题下面都有评论，显示评论数量，具体内容，评论人等信息。

消息的逻辑是，两个用户之间发送一条消息，有一个唯一的会话id，这个会话里可以有多条这两个用户的交互信息。通过一个用户id获取该用户的会话列表，再根据会话id再获取具体的会话内的多条消息。

逻辑清楚之后，再加上一些附加功能，比如显示未读消息数量，根据时间顺序排列会话和消息。

本节内容基本就是业务逻辑的开发，没有新增什么技术点，主要是前后端交互的逻辑比较复杂，前端的开发量也比较大。

## Redis实现点赞和点踩功能 ##

首先了解一下redis的基础知识，数据结构，jedis使用等。

编写list，string，hashmap，set，sortset的测试用例，熟悉jedis api。

开发点踩和点赞功能，在此之前根据业务封装好jedis的增删改查操作，放在util包中。

根据需求确定key字段，格式是 like：实体类型：实体id 和 dislike：实体类型：实体id 这样可以将喜欢一条新闻的人存在一个集合，不喜欢的存在另一个集合。通过统计数量可以获得点赞和点踩数。

一般点赞点踩操作是先修改redis的值并获取返回值，然后再异步修改mysql数据库的likecount数值。这样既可以保证点赞操作快速完成，也可保证数据一致性。

## 异步消息机制 ##

在之前的功能中有一些不需要实时执行的操作或者任务，我们可以把它们改造成异步消息来进行发送。

具体操作就是使用redis来实现异步消息队列。代码中使用事件event来包装一个事件，事件需要记录事件实体的各种信息：一个异步工具类（事件生产者+事件消费者+eventHandler接口），让以后各种事件的实现类来实现这个接口。

事件生产者一般作为一个服务，由Controller中的业务逻辑调用并产生一个事件，将事件序列化存入redis队列中，事件消费者则通过一个线程循环获取队列里的事件，并且寻找对应的handler进行处理。

整个异步事件的框架开发完成，后面新加入的登录，点赞等事件都可以这么实现。

## 关注和粉丝列表的实现 ##

新增关注功能，使用redis实现每一个关注对象的粉丝列表以及每一个用户的关注对象列表。通过该列表的crud操作可以对应获取粉丝列表和关注列表，并且实现关注和取关功能。

由于关注成功和添加粉丝成功时同一个事务里的两个操作，可以使用redis的事务multi来包装事务并进行提交。

除此之外，关注成功或者被关注还可以通过事件机制来生成发送邮件的事件，由异步的队列处理器来完成事件响应，同样是根据redis来实现。

对于粉丝列表，除了显示粉丝的基本信息之外，还要显示当前用户是否关注了这个粉丝，以便前端显示。

对于关注列表来说，如果被关注对象是用户的话，除了显示用户的基本信息之外，还要显示当前用户是被这个用户关注，以便前端显示。

## 推拉模式下的Feed流 ##

微博的新鲜事功能介绍：关注好友的动态（好友的点赞和发表的问题等），关注了某个问题，这些都是feed流的一部分。

在知乎中的feed流主要体现于：关注用户的评论行为，关注用户的关注问题行为。

feed流主要分为两种，推模式和拉模式。推模式主要是把新鲜事推送给关注该用户的粉丝，本例使用redis来存储某个用户接受的新鲜事id列表，这个信息流又称为timeline，根据用户的唯一key来存储；拉模式主要是用户直接找寻自己所有关注的人，并且到数据库去查找这些关注对象的新鲜事，直接返回。

推模式主要适合粉丝较少的小用户，因为他们的粉丝量少，使用推模式产生的冗余副本也比较少，并且可以减少用户访问的压力。

拉模式主要适合大v，因为很多僵尸粉和非活跃用户根本不需要推送信息，用推模式发给这些僵尸粉或者非活跃用户就是浪费资源。所以让用户通过拉模式请求，只需要一个数据副本即可。同时如果是热点信息，这些信息也可以放在缓存，让用户首先拉取这些信息，提高查询效率。

使用feedhandler异步处理上述的两个事件，当事件发生时，根据事件实体进行重新包装，构造一个新鲜事，因为所有新鲜事的格式是一样的。需要包括：日期，新鲜事类型，发起者，新鲜事内容，然后把该数据存入数据库，以便用户使用pull模式拉出。

为了适配推送模式，此时也要把新鲜事放到该用户所有粉丝的timeline里，这样的话就同时实现了推和拉的操作了。

## 使用爬虫对网站进行数据填充 ##

安装python3.x并且配置环境变量。同时安装pycharm,安装pip。

安装好以后，先熟悉python的语法，写一些例子，比如数据类型，操作符，方法调用，以及面向对象的技术。

因为数据是要导入数据库的，所以这里安装MySQLdb的一个库，并且写一下连接数据库的代码，写一下简单的crud进行测试。

使用requests库作为解析http请求的工具，使用beautifulsoup作为解析html代码的工具，请求之后直接使用css选择器匹配。即可获得内容。

当然现在我们有更方便的工具pyspider，可以方便解析请求并且可以设置代理，伪装身份等，直接传入url并且写好多级的解析函数，程序便会迭代执行，直到把所有页面的内容解析出来。这里我们直接启动pyspider的web应用并且写好python代码，就可以执行爬虫了。

知乎：先找到问题，再把问题下所有的回答进行爬取，最后把问题和评论一起处理。

## 功能扩展以及深度扩展 ##

**功能扩展**

- 用户注册，邮箱激活流程
- 管理员后台管理
- timeline推拉结合
- 个性化首页，timeline更多事件

**深度扩展**

- 搜索结果排序打分
- 爬虫覆盖用户，评论，内容去html标签
- 个性化推荐