# Spider-CSDN **Repository Path**: yangleduo7788/spider-csdn ## Basic Information - **Project Name**: Spider-CSDN - **Description**: 基于 Python 的 CSDN 数据采集与可视化展示工具。支持热搜词获取、文章搜索、文章详情爬取,并通过 Web 页面进行数据展示。 - **Primary Language**: Unknown - **License**: Not specified - **Default Branch**: master - **Homepage**: None - **GVP Project**: No ## Statistics - **Stars**: 1 - **Forks**: 0 - **Created**: 2026-05-22 - **Last Updated**: 2026-06-04 ## Categories & Tags **Categories**: Uncategorized **Tags**: None ## README # CSDN 爬虫数据展示 基于 Python 的 CSDN 数据采集与可视化展示工具。支持热搜词获取、文章搜索、文章详情爬取,并通过 Web 页面进行数据展示。 ## 功能特性 - **热搜词** — 获取 CSDN 实时热搜词榜单 - **文章搜索** — 按关键词搜索 CSDN 博客文章 - **文章详情** — 爬取文章完整内容(标题、作者、时间、标签、正文) - **作者信息** — 获取作者主页数据(原创数、粉丝数、访问量等) - **相关推荐** — 基于热搜词自动推荐文章 - **分类浏览** — 按技术分类快速浏览(Python、Java、前端、AI 等) - **Web 展示** — 响应式页面,支持搜索、分页、文章阅读 ## 项目结构 ``` CSDN/ ├── app.py # Flask Web 应用入口 ├── CSDN_Spider.py # 爬虫核心模块 ├── templates/ │ ├── base.html # 基础布局模板 │ ├── index.html # 首页(热搜 + 分类 + 推荐) │ └── article.html # 文章详情页 └── requirements.txt # 依赖清单 ``` ## 安装 ```bash # 克隆项目 git clone cd CSDN # 创建虚拟环境(可选) python -m venv .venv # 激活虚拟环境 # Windows: .venv\Scripts\activate # Linux/Mac: source .venv/bin/activate # 安装依赖 pip install -r requirements.txt ``` ## 使用 ```bash python app.py ``` 浏览器打开 `http://localhost:5000` ### 页面说明 | 页面 | 路由 | 说明 | |------|------|------| | 首页 | `/` | 热搜词、分类浏览、热门推荐 | | 搜索 | `/search?q=关键词&p=页数` | 文章搜索结果,支持分页 | | 详情 | `/article?url=文章URL` | 文章完整内容 + 作者信息 + 相关文章 | ### 命令行模式 ```bash python CSDN_Spider.py ``` 提供交互式菜单,支持热搜查看、关键词搜索、文章详情获取。 ## 依赖 - Python 3.8+ - requests - beautifulsoup4 - lxml - Flask ## 注意事项 - 爬虫请求间隔默认 0.8~1.5 秒,避免对目标服务器造成压力 - 部分 CSDN 页面有反爬机制,如遇到请求失败可尝试更新 `headers` 中的 `User-Agent` - 本工具仅用于学习交流,请勿用于商业用途或大规模抓取