# 爬虫笔记

**Repository Path**: zhang_hui_di/crawler_notes

## Basic Information

- **Project Name**: 爬虫笔记
- **Description**: 爬虫学习笔记
- **Primary Language**: Python
- **License**: Not specified
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 2
- **Forks**: 0
- **Created**: 2020-08-01
- **Last Updated**: 2023-09-17

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# 爬虫课程概要

爬虫特点概要:

​	1.知识点碎片化

​		爬虫方向的知识点都是十分碎片化的，因为我们在写爬虫的时候会面对各种各样的网站，每个网站实现的技术都有相似，但是大多数时候还是有区别的，这也就要求我们根据不同的网站使用不通的应对手段，爬虫并不向我们在学习web阶段的时候要实现某一功能只需要按照套路就能够做出来，本阶段课程主要就是交给大家常用的一些网站爬取技术。

​	2.学习难度

​		爬虫的入门相对而言还是要比web简单，但是在后期，爬虫的难度要比web难，难在哪呢？在于爬虫工程师与网站的开发与运维人员的对抗，可能你写了一个网站的爬虫，结果该网站的运维人员发现之后添加了反爬措施，那么作为爬虫工程师就需要解决这个反爬。

​	3.学习特点

​		本阶段的课程并不像web阶段有一个完整的web项目进行学习，因为爬虫的特点，也就导致了我们的爬虫阶段课程是以某网站爬虫为讲解对象的，也就是一个技术点一个案例。

​	4.后续发展

​		相对于web主要掌握框架的使用，然后就是熟悉业务的单一方向，爬虫需要学生掌握的东西要更多，同学们在工作过程中可能根据工作需要涉及到更多从没有接触过的知识。

​	5.法律层面

​		目前而言，爬虫相关工作属于灰色地带，主要是目前国内现行法律对于爬虫的相关评判还没有一个明确的制度。

​	6.课件

​		课件可能存在bug，可能会定期更新，课件中的案例可能因为网站更新或者某些网络原因失效，那么同学们在做练习或者学习的时候可以自己找一些网站进行练习。

​	7.建议

​		好记性不如烂笔头，建议大家多找一些网站进行爬取练习。