# Jsoup爬虫

**Repository Path**: gustuy/jsoup-crawler

## Basic Information

- **Project Name**: Jsoup爬虫
- **Description**: 练手用Jsoup爬取了一下晋江文学网榜单的小说
- **Primary Language**: Unknown
- **License**: Not specified
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 0
- **Created**: 2021-10-05
- **Last Updated**: 2022-11-20

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

使用Jsoup爬取了晋江文学网的榜单小说

首先通过选择器得到榜单小说的链接地址

然后通过小说的URL构建每个章节的URL 从中爬取内容

对VIP小说和其他无法获得小说的页面做了判断 当遇到此类页面的时候直接跳出

所有的功能函数都封装到了Util包中 我全部使用了Static 并且不相似的功能都分到了不同的类中 我不太确定这是否正确 只是按理解尽量去做到松耦合

从学习Jsoup到完成代码大概用了四个小时左右，很久没写功能性代码，现在上手写感觉很舒服，每一步该做什么，功能如何从简单到复杂一步一步实现在脑子里都非常清晰，确实感觉自己能力在提升。