zhihu

by h2pl

h2pl / zhihu

仿照知乎做的一个Java web项目,是一个sns+资讯的web应用。使用SpringBoot+Mybatis+velocity开发。数据库使用了redis和mysql,同时加入了异步消息等进阶功能,...

209 Stars 97 Forks Last release: Not found 15 Commits 0 Releases

Available items

No Items, yet!

The developer of this repository has not created any items for sale yet. Need a bug fixed? Help with integration? A different license? Create a request here:

zhihu

仿照知乎做的一个Java web项目,是一个sns+资讯的web应用。使用SpringBoot+Mybatis+velocity开发。数据库使用了redis和mysql,同时加入了异步消息等进阶功能,同时使用python爬虫进行数据填充。

内容包括:

开发工具和Java语言介绍
Spring入门,模板语法和渲染
数据库交互iBatis集成
用户注册登录管理
问题发布,敏感词和js标签过滤,问题广场
评论中心,站内信
Redis入门以及Redis实现赞踩功能
异步设计和站内邮件通知系统
sns关注功能,关注和粉丝列表页实现
timeline实现
python语法简介,pip工具介绍
python爬虫实现数据抓取和导入
站内全文搜索
项目测试和部署,课程总结回顾

quick-start

1项目基本配置

2基本框架开发

3数据库配置和首页的创建

4用户注册登录以及使用token

5新增发表问题功能,并防止xss注入以及敏感词过滤

6新增评论和站内信功能

7新增点赞和点踩功能,使用Redis实现

8新增异步消息功能,新增邮件发送组件

9新增关注功能,开发关注页面和粉丝页面

10Timeline与新鲜事,推拉模式下的Feed流

11使用python爬虫爬取知乎和v2ex数据,充实网站信息

12使用solr搭建全文搜索引擎,开发知乎的全文搜索功能

13单元测试与压力测试,项目打包及部署等收尾工作

14产品功能扩展以及技术深度扩展

项目基础配置

创建git仓库,本地配置idea并测试pull和push。

创建SpringBoot工程,导入Web,Velocity和Aop的包。

生成Maven项目,pom.xml包含上述依赖,应用名称是toutiao,小组id是com.nowcoder。

基本框架开发

创建基本的controller,service和model层。

controller中使用注解配置,requestmapping,responsebody基本可以解决请求转发以及响应内容的渲染。responsebody自动选择viewresolver进行解析。

使用pathvariable和requestparam传递参数。

使用velocity编写页面模板,注意其中的语法使用。常用$!{}和${}

使用http规范下的httpservletrequest和httpservletresponse来封装请求和相响应,使用封装好的session和cookie对象。

使用重定向的redirectview和统一异常处理器exceptionhandler

AOP和IOC

IOC解决对象实例化以及依赖传递问题,解耦。

AOP解决纵向切面问题,主要实现日志和权限控制功能。

aspect实现切面,并且使用logger来记录日志,用该切面的切面方法来监听controller。

数据库配置和首页的创建

使用mysql创建数据库和表,建议自己写一下sql到mysql命令行跑一下。

加入mybatis和mysql的maven仓库,注意,由于现在版本的springboot不再支持velocity进而导致我使用较早版本的springboot,所以这里提供一可以正常运行的版本设置。

springboot使用1.4.0

mybatis-spring-boot-starter使用1.2.1

mysql-connector-java使用5.1.6

亲测可用。

接下来写controller,dao和service。注意mybatis的注解语法以及xml的配置要求,xml要求放在resource中并且与dao接口在相同的包路径下。

application.properties增加spring配置数据库链接地址

两个小工具: ViewObject:方便传递任何数据到 VelocityDateTool:velocity自带工具类

写好静态文件html css和js。并且注意需要配置 spring.velocity.suffix=.html 保证跳转请求转发到html上 spring.velocity.toolbox-config-location=toolbox.xml

至此主页基本完成,具体业务逻辑请参考代码。

用户注册登录以及使用token

完成用户注册和登录的controller,service和dao层代码

新建数据表login_ticket用来存储ticket字段。该字段在用户登录成功时被生成并存入数据库,并被设置为cookie, 下次用户登录时会带上这个ticket,ticket是随机的uuid,有过期时间以及有效状态。

使用拦截器interceptor来拦截所有用户请求,判断请求中是否有有有效的ticket,如果有的话则将用户信息写入Threadlocal。 所有线程的threadlocal都被存在一个叫做hostholder的实例中,根据该实例就可以在全局任意位置获取用户的信息。

该ticket的功能类似session,也是通过cookie写回浏览器,浏览器请求时再通过cookie传递,区别是该字段是存在数据库中的,并且可以用于移动端。

通过用户访问权限拦截器来拦截用户的越界访问,比如用户没有管理员权限就不能访问管理员页面。

配置了用户的webconfiguration来设置启动时的配置,这里可以将上述的两个拦截器加到启动项里。

配置了json工具类以及md5工具类,并且使用Java自带的盐生成api将用户密码加密为密文。保证密码安全。

数据安全性的保障手段:https使用公钥加密私钥解密,比如支付宝的密码加密,单点登录验证,验证码机制等。

ajax异步加载数据 json数据传输等。

新增发表问题功能,并防止xss注入以及敏感词过滤

新增Question相关的model,dao,service和controller。

发布问题时检查标题和内容,防止xss注入,并且过滤敏感词。

防止xss注入直接使用HTMLutils的方法即可实现。

过滤敏感词首先需要建立一个字典树,并且读取一份保存敏感词的文本文件,然后初始化字典树。 最后将过滤器作为一个服务,让需要过滤敏感词的服务进行调用即可。

新增评论和站内信功能

首先建立表comment和message分别代表评论和站内信。

依次开发model,dao,service和controller。

评论的逻辑是每一个问题下面都有评论,显示评论数量,具体内容,评论人等信息。

消息的逻辑是,两个用户之间发送一条消息,有一个唯一的会话id,这个会话里可以有多条这两个用户的交互信息。 通过一个用户id获取该用户的会话列表,再根据会话id再获取具体的会话内的多条消息。

逻辑清楚之后,再加上一些附加功能,比如显示未读消息数量,根据时间顺序排列会话和消息。

本节内容基本就是业务逻辑的开发,没有新增什么技术点,主要是前后端交互的逻辑比较复杂,前端的开发量也比较大。

新增点赞和点踩功能,使用Redis实现

首先了解一下redis的基础知识,数据结构,jedis使用等。

编写list,string,hashmap,set,sortset的测试用例,熟悉jedis api。

开发点踩和点赞功能,在此之前根据业务封装好jedis的增删改查操作,放在util包中

根据需求确定key字段,格式是 like:实体类型:实体id 和 dislike:实体类型:实体id 这样可以将喜欢一条新闻的人存在一个集合,不喜欢的存在另一个集合。通过统计数量可以获得点赞和点踩数。

一般点赞点踩操作是先修改redis的值并获取返回值,然后再异步修改mysql数据库的likecount数值。这样既可以保证点赞操作快速完成,也可保证数据一致性。

本次开发过程中遇到了请求超时的问题,经过排查之后是漏写了某个接口的服务,导致前端获取不到后端需要传的数据,而前端代码会不断检测这个数据的值以完成后续操作,导致页面无法完成解析。后来回滚到上一个版本后才发现bug所在并解决了该问题。

新增异步消息功能 新增邮件发送组件

在之前的功能中有一些不需要实时执行的操作或者任务,我们可以把它们改造成异步消息来进行发送。

具体操作就是使用redis来实现异步消息队列。代码中我们使用事件event来包装一个事件,事件需要记录事件实体的各种信息。

我们在async包里开发异步工具类,事件生产者,事件消费者,并且开发一个eventhandler接口,让各种事件的实现类来实现这个接口。

事件生产者一般作为一个服务,由业务代码进行调用产生一个事件。而事件消费者我们在代码里使用了单线程循环获取队列里的事件,并且寻找对应的handler进行处理。

如此一来,整个异步事件的框架就开发完成了。后面新加入的登录,点赞等事件都可以这么实现。

新增邮件功能,主要是引入mail依赖,并且配置好自己的邮箱信息,以及邮件模板,同时在业务代码中加入发邮件的逻辑即可。

新增关注功能,开发关注页面和粉丝页面

新增关注功能,使用redis实现每一个关注对象的粉丝列表以及每一个用户的关注对象列表。
通过该列表的crud操作可以对应获取粉丝列表和关注列表,并且实现关注和取关功能。

由于关注成功和添加粉丝成功时同一个事务里的两个操作,可以使用redis的事务multi来包装事务并进行提交。

除此之外,关注成功或者被关注还可以通过事件机制来生成发送邮件的事件,由异步的队列处理器来完成事件响应,同样是根据redis来实现。

对于粉丝列表,除了显示粉丝的基本信息之外,还要显示当前用户是否关注了这个粉丝,以便前端显示。

对于关注列表来说,如果被关注对象是用户的话,除了显示用户的基本信息之外,还要显示当前用户是被这个用户关注,以便前端显示。

Timeline与新鲜事,推拉模式下的Feed流

微博的新鲜事功能介绍:关注好友的动态,比如关注好友的点赞,发表的问题,关注了某个问题等信息,都是feed流的一部分。

在知乎中的feed流主要体现于:关注用户的评论行为,关注用户的关注问题行为。

feed流主要分为两种,推模式和拉模式,推模式主要是把新鲜事推送给关注该用户的粉丝,本例使用redis来存储某个用户接受的新鲜事id列表。这个信息流又称为timeline,根据用户的唯一key来存储。

拉模式主要是用户直接找寻自己所有关注的人,并且到数据库去查找这些关注对象的新鲜事,直接返回。

推模式主要适合粉丝较少的小用户,因为他们的粉丝量少,使用推模式产生的冗余副本也比较少,并且可以减少用户访问的压力。 拉模式主要适合大v,因为很多僵尸粉根本不需要推送信息,用推模式发给这些僵尸粉就是浪费资源,所以让用户通过拉模式请求,只需要一个数据副本即可。

同时如果是热点信息,这些信息也可以放在缓存,让用户首先拉取这些信息,提高查询效率。

使用feedhandler异步处理上述的两个事件,当事件发生时,根据事件实体进行重新包装,构造一个新鲜事,因为所有新鲜事的格式是一样的。需要包括:日期,新鲜事类型,发起者,新鲜事内容,然后把该数据存入数据库,以便用户使用pull模式拉出。

为了适配推送模式,此时也要把新鲜事放到该用户所有粉丝的timeline里,这样的话我们就同时实现了推和拉的操作了。

使用python爬虫爬取知乎和v2ex数据,充实网站信息

安装python2.7并且配置环境变量。同时安装pycharm,配置interpretor,安装pip。

这里会各种报错,主要是中文目录以及pip版本导致的错误,需要修改各种配置文件以支持gbk编码。详情略。

安装好以后,我们先熟悉一下python的语法,写一些例子,比如数据类型,操作符,方法调用,以及面向对象的技术。

因为数据是要导入数据库的,所以这里安装MySQLdb的一个库,并且写一下连接数据库的代码,写一下简单的crud进行测试。

使用requests库作为解析http请求的工具,使用beautifulsoup作为解析html代码的工具,请求之后直接使用css选择器匹配。即可获得内容。

当然现在我们有更方便的工具pyspider,可以方便解析请求并且可以设置代理,伪装身份等,直接传入url并且写好多级的解析函数,程序便会迭代执行,直到把所有页面的内容解析出来。这里我们直接启动pyspider的web应用并且写好python代码,就可以执行爬虫了。简单讲一下知乎和v2ex的爬虫流程。

v2ex: 首先请求首页,因为v2ex现在也是https页面了,所以需要默认把使用证书设为false。

执行完index_page函数,说明首页已经请求完毕,我们了解其css布局和url特征以后,根据tab=?可以进入下一级分类。于是for循环爬出所有以tab=?结尾的url,并且分别请求,进入下一级函数。

根据页面的层级和css格式我们设置好多级函数依次循环执行,这样我们就可以解析到最后一级真正的帖子内容了。

同理,知乎也是这样,先找到问题,再把问题下所有的回答进行爬取,最后把问题和评论一起处理。

当然最后一级内容需要调用数据库的存储接口,为了避免存储错误,需要把内容中的 " 改成 //,否则会出问题。

使用solr搭建全文搜索引擎,开发知乎的全文搜索功能

solr是一个成熟的全文搜索引擎工具,底层是Lucene实现,主要是java语言写的

下载solr6.2。完成solr环境搭建,简单测试多副本部署和单机部署。

solr默认英文分词,需要加入中文分词工具IK-Analyzer

solr中一个core代表一个全文搜索集,我们可以在server文件夹中找到我们创建的 core。然后根据需要修改conf里的配置文件,首先修改managed-schema来设置分词规则,我们在此加入中文分词类型,并且配置其索引分词和查询分词,此处需要引入IK-Analyzer的jar包,jar包可以通过maven项目打包而获得。

索引分词指的是建立索引使用的分词,比如你好北京,可以分为你 你好 北京 北 等情况。 而查询分词是根据需求进行查询时的分词,可以分为你好 北京。

为了通过数据库向solr导入数据,我们需要配置数据导入处理器,这是需要修改solrconfig文件来配置数据导入处理器,并且在solr-data-config中配置本地数据库地址,这样就可以在solr的web页面中进行数据库导入了。导入之后自动建立索引,我们就可以使用solr来对数据库进行全文搜索了。比如mysql数据库进行普通搜索,把数据导入solr进行全文搜索。

开发搜索相关功能,开发service并且接入solr的api,从而连接本机的solr服务并且执行查询和索引操作。 只需要指定关键字,以及我们要搜索的栏目(本例中主要title和content,所以传入这两个字段,并且在搜索结果中加亮关键字。 开发相关controller以及页面。并且在新增问题以后执行异步事件,将新增的问题数据加入solr的数据库中,以便后面进行搜索。

单元测试与压力测试,项目打包及部署等收尾工作

单元测试保证模块的可用性,每个模块测试完以后再进行集成测试,maven打包时会自动执行单元测试。
SpringBoot中只需在test类中做好配置便可以进行spring相关的单元测试。

使用压测工具apache2-utils, LoadRunner等进行压力测试,更好地了解系统性能

centos上支持Apachebench压测工具,可以并发发送大量http请求来完成压力测试,可以看出机器的负载状况。

在虚拟机上安装jdk8,tomcat8,redis,maven,nginx,mysql等基本环境。 tomcat默认监听127.0.0.1的8080端口,只允许本地访问,这样保障安全。 所以可以在外网访问时加入一层Nginx进行反向代理和负载均衡,让域名或ip访问首先找到Nginx,再由nginx找到tomcat。

solr服务仅内网访问:./solr start -Djetty.host=127.0.0.1

Nginx 配置 /etc/nginx/sites-enabled/c3 server { listen 80; server_name c3.nowcoder.com; location / { proxy_pass http://127.0.0.1:8080; } }

产品功能扩展以及技术深度扩展

产品功能扩展

  1. 用户注册,邮箱激活流程
  2. 首页滚动到底部自动加载更多
  3. 管理员后台管理
  4. 运营推荐问题置顶
  5. timeline推拉结合
  6. 个性化首页,timeline更多事件

技术深度扩展

  1. 搜索结果排序打分
  2. 爬虫覆盖用户,评论,内容去html标签
  3. 个性化推荐

We use cookies. If you continue to browse the site, you agree to the use of cookies. For more information on our use of cookies please see our Privacy Policy.