# Spider **Repository Path**: yangleduo7788/spider ## Basic Information - **Project Name**: Spider - **Description**: 爬虫技能库 - **Primary Language**: Unknown - **License**: Not specified - **Default Branch**: master - **Homepage**: None - **GVP Project**: No ## Statistics - **Stars**: 1 - **Forks**: 0 - **Created**: 2026-05-29 - **Last Updated**: 2026-06-04 ## Categories & Tags **Categories**: Uncategorized **Tags**: None ## README # CSDN 数据爬虫与分析仪表盘 本项目是一个针对 CSDN 博客平台的数据采集和分析工具,包含爬虫程序和数据可视化仪表盘。 ## 功能特性 - **文章数据爬取**:自动抓取 CSDN 博主的文章信息 - **数据分析统计**:统计分析文章的阅读量、点赞数、评论数等指标 - **热度排名分析**:分析热门文章和热词 - **个人主页分析**:展示博主个人资料和文章分类信息 - **API 接口分析**:分析 CSDN 网站的 API 接口 - **可视化仪表盘**:通过 HTML 页面直观展示数据 ## 项目结构 ``` CSDN/ ├── main.py # 主程序入口(爬虫逻辑) └── csdn_data_dashboard.html # 数据可视化仪表盘 ``` ## 使用说明 ### 1. 安装依赖 确保已安装 Python 环境,然后安装所需库: ```bash pip install requests beautifulsoup4 pandas ``` ### 2. 运行爬虫 修改 `main.py` 中的目标用户 ID,运行程序: ```bash python CSDN/main.py ``` ### 3. 查看数据 程序运行完成后,会生成数据文件并在终端输出分析结果。也可以直接在浏览器中打开 `csdn_data_dashboard.html` 查看可视化仪表盘。 ## 仪表盘功能 HTML 仪表盘包含以下标签页: | 标签页 | 说明 | |--------|------| | 文章概览 | 展示文章统计数据和文章列表 | | 热度排行 | 展示热门文章和热词云图 | | 个人主页 | 展示博主个人信息 | | 文章分类 | 展示文章分类统计 | | API 分析 | 展示接口调用统计 | | 架构分析 | 展示系统架构和环境信息 | ## 注意事项 - 请遵守 CSDN 网站的使用条款和robots.txt规则 - 合理设置爬取频率,避免对服务器造成过大压力 - 获取的数据仅供学习和研究使用,请勿用于商业目的 ## 技术栈 - Python 3 - Requests(HTTP请求) - BeautifulSoup(HTML解析) - HTML/CSS/JavaScript(前端展示)