# Python爬虫

**Repository Path**: wangjw520/python-crawler

## Basic Information

- **Project Name**: Python爬虫
- **Description**: 需要会前端的知识 HTML+CSS+JS 懂得前端原理才能更好的提取数据
学的越多 懂得越多 才能应变未来的反爬趋势
学爬虫 涉及到的领域还是很多的

目前觉得 静态网页或HTML代码中包含数据 或者JS渲染的 用pyspider框架爬取还是比较省时省力的

用requests就行模拟登陆 爬取数据 对于pyspider来说某种程度上比较灵活

- **Primary Language**: Python
- **License**: Apache-2.0
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 0
- **Created**: 2024-02-19
- **Last Updated**: 2026-08-06

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README



# Python Crawler - 多功能爬虫工具集

本项目是一个综合性的Python爬虫工具集，包含多种实用的爬虫脚本和数据处理工具。

## 项目结构

```
python-crawler/
├── com/remotestar/          # 爬虫脚本目录
│   ├── car_ocr.py          # 汽车车牌OCR识别
│   ├── crawler_169pic.py   # 169图片爬虫
│   ├── crawler_66ipProxy.py # 代理IP爬虫
│   ├── crawler_elma.py     # 饿了么数据爬虫
│   ├── crawler_kugou.py   # 酷狗音乐爬虫
│   ├── crawler_kugoumusic.py # 酷狗音乐MV爬虫
│   ├── crawler_xiaohongshu.py # 小红书爬虫
│   ├── crawler_yangguangvedio.py # 阳光视频爬虫
│   ├── down_douyin.py     # 抖音视频下载器
│   ├── pdftoword.py       # PDF转Word工具
│   └── images/            # 图片资源目录
├── douyin_verification/    # 抖音核销IP池管理系统
├── email-sender/          # 邮件群发系统
├── excel-processor/       # Excel批量处理工具
├── file-organizer/       # 文件自动整理工具
├── paginated-crawler/    # 多分页自动翻页爬虫
├── static-crawler/       # 静态网页爬虫
└── text-exporter/        # 文本批量导出工具
```

## 功能列表

### 爬虫脚本

| 脚本 | 功能描述 |
|------|----------|
| `down_douyin.py` | 抖音视频下载器，支持去水印 |
| `crawler_xiaohongshu.py` | 小红书笔记爬虫 |
| `crawler_kugou.py` | 酷狗音乐歌曲爬取 |
| `crawler_kugoumusic.py` | 酷狗音乐MV爬虫 |
| `crawler_elma.py` | 饿了么商家数据爬虫 |
| `crawler_66ipProxy.py` | 代理IP爬虫 |
| `crawler_yangguangvedio.py` | 阳光视频爬虫 |
| `crawler_169pic.py` | 169图片批量爬取 |
| `car_ocr.py` | 汽车车牌OCR识别 |

### 工具系统

- **抖音核销IP池管理系统** - 店铺管理、代理服务器管理、券码核销
- **邮件群发系统** - 支持模板的邮件批量发送
- **Excel批量处理工具** - 合并、拆分、清洗、格式化
- **文件自动整理工具** - 按类型/日期分类、批量重命名
- **静态网页爬虫** - 静态页面数据抓取
- **多分页爬虫** - 自动翻页抓取
- **文本导出工具** - 微信聊天记录导出、网页内容抓取

## 环境要求

- Python 3.7+
- 需要的依赖包请参考各子项目的 `requirements.txt`

## 快速开始

### 安装依赖

```bash
pip install -r requirements.txt
```

### 使用示例

#### 抖音视频下载

```python
from com.remotestar.down_douyin import DouYin

dy = DouYin()
dy.run()
```

#### 邮件群发

```python
from email-sender.email_sender import EmailSender

sender = EmailSender()
sender.send_test_email("test@example.com")
```

#### Excel处理

```bash
python -m excel_processor merge input1.xlsx input2.xlsx -o output.xlsx
```

## 许可证

MIT License