# 我的蜘蛛集合

**Repository Path**: kedaji/my-spiders

## Basic Information

- **Project Name**: 我的蜘蛛集合
- **Description**: No description available
- **Primary Language**: Unknown
- **License**: Not specified
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 0
- **Created**: 2024-03-09
- **Last Updated**: 2026-09-23

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# 我的爬虫 (My Spiders)

这是一个收集了多种网页爬虫脚本的 Python 项目，用于抓取不同网站的数据和资源。

## 项目简介

本项目包含多个独立的爬虫脚本，涵盖视频下载、文章抓取、图片采集、音乐下载等功能。

## 目录结构

```
my-spiders/
├── aliyun-video/          # 阿里云视频下载
├── jianshu/               # 简书文章爬虫
├── kandian66/             # 看典66漫画爬虫
├── maoyan/                # 猫眼电影数据爬虫
├── mhfx_sound/            # 游戏音效下载
├── mi_store/              # 小米商城爬虫
├── miaokantu/             # 表情包爬虫
├── qqpet_bgm_downloader/  # QQ宠物背景音乐下载
└── weibo-hot/             # 微博热搜爬虫
```

## 爬虫列表

### 1. 阿里云视频 (aliyun-video)
- **功能**: 通过阿里云 VOD API 下载视频
- **主要函数**:
  - `download_from_csv(csv_file)` - 从 CSV 文件批量下载视频
  - `init_vod_client()` - 初始化 VOD 客户端
  - `get_play_info()` - 获取视频播放信息

### 2. 简书爬虫 (jianshu)
- **功能**: 抓取简书平台的文章和投稿数据
- **主要函数**:
  - `getOnePageData(pageNo)` - 获取单页数据
  - `writeToExcel(pageDataList)` - 将数据写入 Excel

### 3. 看典66 (kandian66)
- **功能**: 抓取看典66漫画网站的内容
- **主要函数**:
  - `createImgDir()` - 创建图片保存目录
  - `createComicDir()` - 创建漫画目录
  - `getOneComicByURL()` / `getOneComicByComicNo()` - 抓取单部漫画
  - `getImg()` - 下载图片

### 4. 猫眼电影 (maoyan)
- **功能**: 抓取猫眼电影的数据和海报图片
- **主要函数**:
  - `createMovieImgDir()` - 创建电影图片目录
  - `createDataJsonFile()` - 创建数据 JSON 文件
  - `getJsonDataByOffset(offset)` - 通过 offset 获取 JSON 数据

### 5. 游戏音效 (mhfx_sound)
- **功能**: 下载游戏背景音乐和音效
- **包含资源**: 多种游戏场景的背景音乐 (公会战、副本、BOSS 等)

### 6. 小米商城 (mi_store)
- **功能**: 抓取小米商城商品图片

### 7. 表情包 (miaokantu)
- **功能**: 抓取表情包图片
- **主要函数**:
  - `createImgDir()` - 创建图片目录
  - `getCortoonByPageNo()` - 按页号抓取表情包

### 8. QQ宠物背景音乐 (qqpet_bgm_downloader)
- **功能**: 下载 QQ 宠物的背景音乐
- **主要函数**:
  - `download()` - 执行下载

### 9. 微博热搜 (weibo-hot)
- **功能**: 抓取微博热搜排行榜数据

## 环境要求

- Python 3.x
- 依赖库（根据具体爬虫需求）:
  - requests
  - selenium (部分爬虫需要)
  - aliyun-python-sdk-core-v3 (阿里云视频)
  - openpyxl (Excel 导出)

## 使用说明

每个爬虫目录下都有独立的 Python 脚本，使用前请确保已安装所需依赖。

### 示例：运行微博热搜爬虫

```bash
cd weibo-hot
python weibo-hot.py
```

### 示例：运行阿里云视频下载

```python
from aliyun-video import aliyun_video

# 初始化客户端
client = aliyun_video.init_vod_client('your_access_key_id', 'your_access_key_secret', 'cn-shanghai')

# 从 CSV 批量下载
aliyun_video.download_from_csv('Video_List.csv')
```

## 注意事项

1. 请遵守目标网站的 robots.txt 规则和使用条款
2. 部分爬虫可能需要登录凭证或 API Key
3. 爬取频率请勿过高，避免对目标网站造成负担
4. 本项目仅供学习研究使用，请勿用于商业目的

## 许可证

本项目仅供学习交流使用。