# web_ming_final

**Repository Path**: vicky-newmedia/web_ming_final

## Basic Information

- **Project Name**: web_ming_final
- **Description**: No description available
- **Primary Language**: Unknown
- **License**: Not specified
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 0
- **Created**: 2021-07-01
- **Last Updated**: 2021-07-05

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# web_ming_final

---
## 期末实践要求
### CNKI 文章下载：
- 提交ipynb档或者可执行.py项目文件
- 有较好的文档描述和数据描述（包含数据目标和数据结果描述）
- 主要目标：可对CNKI PDF文件进行依次下载，解决中间处理问题（并做描述）
- 次要目标：数据分析（关键词替换）——数据可视化（VOSviewer--keywords_co-occurrence）
---
## 数据描述
- ipynb当中有具体的注释标识
### 1. 用专业检索，批量下载了文件以及text和refworks文件
- ![专业检索](image/专业检索.png)
- ![refworks下载](image/refworks下载.png)
- ![pdf下载](image/pdf下载.png)
- 解决了验证码问题，实现了pdf下载
### 2. 用VOSviewer做关系图如下
- ![关系图](image/关系图.png)
### 3.输出数据
### 输出的数据为知网文章数据.xlsx,共1303行数据
- ![知网数据展示](image/知网数据展示.png)
### 4.最后进行简单总结
- ![简单总结](image/总结.png)

## 遇到的问题
1. 每次文章批量下载只能下载500篇；
2. 随着下载次数和频率的增加，大概率会出现验证码问题；
3. 后期窗口切换较多，需要适当关闭部分已经操作过的窗口；
## 解决办法
1. 将1,354篇文章分开3次进行下载
2. 加入api，解决验证码问题
3. 后期窗口较多，适时关闭某些窗口