# Web_Mining

**Repository Path**: NFUNM172018125/Web_Mining

## Basic Information

- **Project Name**: Web_Mining
- **Description**: No description available
- **Primary Language**: Unknown
- **License**: Not specified
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 0
- **Created**: 2020-04-26
- **Last Updated**: 2020-12-19

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# Web_Mining

## week9
## 项目名称：人人都是产品经理公众号内容采集
## 数据加值宣言
- 本项目产出以微信公众平台为对象进行人人都是产品经理微信公众号的数据抓取，以解决用户想根据关键词寻找相关文章内容的问题。
## 数据的最小可用产品
### 数据维度
- 文章信息：前51页人人都是产品经理公众号的所有文章题目
- 时间信息：文章创作的时间
- url信息：文章的超链接
- 关键词信息："产品经理","数据产品经理", "技术", "文档","产品设计","项目管理","团队管理","软件性能","用户体验",
                "原型设计","交互设计","PRD","需求分析","竞品分析","需求分级","需求规范","需求文档要素",
               "用户行为","用户","角色","用户增长","用户粘性","数据分析","生命周期","数据交互","B端","C端",
               "需求挖掘","能力模型","产品心理学","开发模式","新媒体","axure","最小可行性产品","用户体验",
                "产品方向","功能流程设计","用户研究","0基础","0经验","转岗","面试","offer","产品卖点","用户痛点",
               "公开课","故事","用户运营"等关键词
### 核心价值（解决的问题）
- 用户想了解人人都是产品经理公众号内所有与上述关键词相关的文章，但由于公众号文章过多，翻找需费大量时间，那么用户可以通过筛选关键词的方式来找到相应的文章url。

## 挖掘微信公众号的基本信息
- rel_accounts中包含和人人都是产品经理相关的公众号及其url。
- url_cat中包含人人都是产品经理公众号内容信息的标题(title)、创作时间(create_time)、文章的url信息(link)、与及关键词变量(variable)。
- stats中包含关键词信息。

- [代码下载链接](https://gitee.com/NFUNM172018125/Web_Mining/blob/master/week9_Selenium%E9%87%87%E9%9B%86%E5%85%AC%E4%BC%97%E5%8F%B7_.ipynb)
- [数据表下载链接](https://gitee.com/NFUNM172018125/Web_Mining/blob/master/%E5%85%AC%E4%BC%97%E5%8F%B7_url_%E4%BA%BA%E4%BA%BA%E9%83%BD%E6%98%AF%E4%BA%A7%E5%93%81%E7%BB%8F%E7%90%86.xlsx)


## week7
## 项目：分析产品经理、数据挖掘、用户体验、交互设计的招聘情况
* 本项目产出各个行业/公司/地区的产品经理、数据挖掘、用户体验、交互设计的招聘信息数据，以解决对产品经理、数据挖掘、用户体验、交互设计的就业分析
* 本项目依据[中国互联网就业洞察白皮书(用户篇)](http://report.iresearch.cn/report_pdf.aspx?id=3343)进行思考分析
* 价值：分析近期产品经理、数据挖掘、用户体验、交互设计的招聘情况
## 最小可用性产品
* 数据产品的数据类型：xlsx，有行业及公司类型筛选

**数据**
* 公司类型:中国500强,2018互联网300强,制造业500强,AI创新成长50强,独角兽','上市公司'
* 行业:包括互联网/电商,电子/芯片/半导体,游戏产业,计算机软件,IT服务,广告/市场/会展等行业
* 价值：可分析当前各个行业产品经理、数据挖掘、用户体验、交互设计招聘的情况，包括热门公司类型,行业,地点,发布时间,薪水,学历,经验,公司等等

**解决的问题**
* 当前各个行业产品经理、数据挖掘、用户体验、交互设计招聘的地理分布情况?
* 根据招聘情况，分析各个行业产品经理、数据挖掘、用户体验、交互设计职位需求情况？薪水如何?
* 同一公司在不同城市对四个职位的人才需求情况?
* 同一公司对不同学历同一经验的人才薪水情况？
* 不同公司类型对于不同经验的招聘情况？

## Query参数
* industries:行业
* compTag:公司类型
* curPage:翻页