# 用户信息爬取

**Repository Path**: LittleSky1224/user-information-crawling

## Basic Information

- **Project Name**: 用户信息爬取
- **Description**: 爬取小红书用户数据，分析行为与情绪
- **Primary Language**: Python
- **License**: Not specified
- **Default Branch**: main
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 1
- **Forks**: 0
- **Created**: 2025-07-23
- **Last Updated**: 2026-04-10

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# 小红书用户内容抓取与情感分析脚本

##  项目简介

本项目旨在自动化地抓取小红书用户信息、用户发布内容，并对其内容进行关键词匹配与情感分析，最终生成图表与报告文件，为用户画像与内容分析提供数据支持。

项目由三个阶段组成：

1. **用户数据抓取**（`first.py`）：模拟浏览器行为抓取用户主页信息；
2. **用户内容采集**（`second_new.py`）：读取用户主页内容，筛选含关键词的笔记标题；
3. **内容情感分析与可视化**（`third.py`）：对笔记内容进行情感分析，生成趋势图与词云图。

---

##  软件架构

```
项目根目录/
│
├── first.py                # 阶段一：抓取小红书搜索用户信息（用户名、头像、链接）
├── second_new.py          # 阶段二：访问用户主页，收集匹配关键词的笔记标题
├── third.py               # 阶段三：分析用户标题情感分布并生成图表
│
├── xhs_users.xlsx         # 阶段一输出：抓取到的用户信息
├── xhs_user_titles.xlsx   # 阶段二输出：匹配到关键词的用户笔记标题
├── 标题情感打分结果.xlsx   # 阶段三输出：笔记标题及其情感得分
├── 用户分析图/             # 阶段三输出：图像可视化（趋势图+词云）
│   ├── 折线图/
│   ├── 词云图/
│   └── 合并图/
│
├── requirements.txt       # Python 依赖库
└── README.md              # 项目说明文档（本文件）
```

---

##  快速开始

### 环境要求

- 系统：Windows 或 macOS
- Python：3.7+
- 浏览器：Google Chrome（需安装）

### 安装依赖

```bash
pip install -r requirements.txt
```

### 使用步骤

#### 步骤一：抓取用户主页信息

```bash
python first.py
```

- 在浏览器中手动完成验证码和搜索操作；
- 回到控制台后按回车开始滚动抓取；
- 用户信息将保存为 `xhs_users.xlsx`。

#### 步骤二：抓取用户笔记标题

```bash
python second_new.py
```

- 输入多个关键词（空格分隔）；
- 将抓取包含关键词的笔记标题并保存为 `xhs_user_titles.xlsx`。

#### 步骤三：情感分析与图表生成

```bash
python third.py
```

- 自动分析每条标题情感倾向（积极、中性、消极）；
- 输出分析图（折线图 + 词云）与统计结果。

---

##  核心功能说明

| 功能模块              | 描述                                   |
|-----------------------|----------------------------------------|
| `get_users_from_page` | 从当前页面抓取用户基本信息             |
| `crawl_user_profiles` | 模拟滚动加载页面，循环抓取用户         |
| `collect_cards`       | 提取每位用户发布的笔记标题，匹配关键词 |
| `analyze_sentiment`   | 使用 SnowNLP 计算标题情感得分          |
| `generate_wordcloud`  | 基于标题文本生成词云图                  |
| `generate_trend_plot` | 为每个用户绘制情感趋势图                |

---

##  依赖库

主要依赖如下：

- `selenium`：浏览器自动化
- `pandas`：数据处理
- `jieba`：中文分词
- `snownlp`：中文情感分析
- `matplotlib`：图表绘制
- `wordcloud`：词云生成
- `Pillow`：图像处理

---

##  输出说明

| 文件 / 文件夹           | 描述                                           |
|-------------------------|------------------------------------------------|
| `xhs_users.xlsx`        | 抓取的用户数据                                 |
| `xhs_user_titles.xlsx`  | 含关键词的笔记标题                             |
| `标题情感打分结果.xlsx` | 每条标题的情感得分                             |
| `用户分析图/`           | 每位用户的图像分析结果（折线图、词云图、合并图） |

---

##  注意事项！！！

- 运行 `first.py` 时必须手动完成验证码；
- 抓取结果是临时文件，运行完应及时保存；
- 若网站结构更新，CSS 选择器等可能需更新；