# web_mining_week12

**Repository Path**: ZhuDilun/web_mining_week12

## Basic Information

- **Project Name**: web_mining_week12
- **Description**: Web 数据挖掘｜使用 Selenium 抓取公众号数据
- **Primary Language**: Python
- **License**: MIT
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 0
- **Created**: 2021-05-25
- **Last Updated**: 2022-05-27

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# 数据挖掘 Week12
## 项目要求 
- 使用selenium进入微信公众平台
- 在微信公众平台寻找指定的公众号
- 抓取该公众号指定时间区间的文章（不低于50页数据/不低于1年的数据）
- 导出文章信息（应包含标题，时间，文章url链接以及文章文本内容）

## 数据抓取意义
本项目抓取了「**卷宗Wallpaper**」公众号的文章数据，卷宗Wallpaper致力于传播中国设计前沿资讯，推进中国设计进程。抓取近一年来卷宗Wallpaper的文章数据，可以在后续利用其对近期中国设计的发展状况和趋势进行分析。

## 项目问题及解决方案
在抓取文章正文时，曾尝试使用Xpath的string(.)方法，直接提取所有文本数据。但在实际操作中，```style="visibility: visible;"```会变为```style="visibility: hidden;"```,文本数据被隐藏起来，无法使用string(.)方法直接提取所有文本。因此转而直接抓取```<p>```标签以及```<span>```标签，才能获取文本数据。

参考文章：[Xpath的string(.)用法](https://www.cnblogs.com/CYHISTW/p/12312570.html) - 风，又奈何

## 输出数据
仅展示前10篇文章数据，更多数据请查看：[卷宗Wallpaper公众号链接及文章.xlsx](https://gitee.com/ZhuDilun/web_mining_week12/blob/master/data_out/%E5%8D%B7%E5%AE%97Wallpaper%E5%85%AC%E4%BC%97%E5%8F%B7%E9%93%BE%E6%8E%A5%E5%8F%8A%E6%96%87%E7%AB%A0.xlsx)

|    | title                   | create_time | link                                              | content_text                                      |
|----|-------------------------|-------------|---------------------------------------------------|---------------------------------------------------|
| 0  | 他的画里有100种颜色             | 2021/5/20   | http://mp.weixin.qq.com/s?__biz=MzI3MTkyOTI1OA... | 这么说着的博纳德·弗瑞兹曾经长达10年之久无法进入绘画创作。1967年离开学校准备开启艺术家... |
| 1  | 一副丹麦眼镜的极简美学             | 2021/5/20   | http://mp.weixin.qq.com/s?__biz=MzI3MTkyOTI1OA... | 丹麦高端眼镜品牌LINDBERG从未停止对这个问题的探索。自从1980年代品牌诞生之日起，L... |
| 2  | 当餐厅成为黄浦江观景台与美术馆         | 2021/5/19   | http://mp.weixin.qq.com/s?__biz=MzI3MTkyOTI1OA... | 上海黄埔江畔，建于90年代的海湾大厦坐落于北外滩地段，大厦顶部的楼层经三年时间改造为晶采轩餐... |
| 3  | 当岭南文化渗透进限时零售空间          | 2021/5/18   | http://mp.weixin.qq.com/s?__biz=MzI3MTkyOTI1OA... | 岭南园林岭南广府活的历史——南头古城，保留着城中村的基地，但又以城市更新带来活力。©_林半野... |
| 4  | 这里有12个你不知道的“秘密”         | 2021/5/18   | http://mp.weixin.qq.com/s?__biz=MzI3MTkyOTI1OA... | 向左滑动向左滑动向左滑动香奈儿腕表创意工作室总监Arnaud Chastaingt向左滑动向... |
| 5  | “向深圳学习”，一位美国人类学家的深圳观察   | 2021/5/17   | http://mp.weixin.qq.com/s?__biz=MzI3MTkyOTI1OA... | __ 美国人类学家马立安（Mary Ann O'Donnell）组织创办的“握手302”核心... |
| 6  | 北京东二环边，突然降临的神奇建筑        | 2021/5/17   | http://mp.weixin.qq.com/s?__biz=MzI3MTkyOTI1OA... | 撰文：Bill图片：美克美家提供对北京朝阳门内外的居民们来说，美克美家洞学馆像是突然降临在身... |
| 7  | 以“新”定义：爱意的全新体验与设计的全新可能  | 2021/5/16   | http://mp.weixin.qq.com/s?__biz=MzI3MTkyOTI1OA... | 21世纪的我们还在追求物理层面内爱的形式吗？与爱有关的惊喜感、新鲜感是否能由更加便捷与数字化... |
| 8  | 十问2021普利兹克奖得主：关注贫穷，创造奇观 | 2021/3/16   | http://mp.weixin.qq.com/s?__biz=MzI3MTkyOTI1OA... | 对于很多人来说，即使他们想要一个简单的空间解决方案，他们也不知道从哪里开始。其实，做简单的事... |
| 9  | 中国山寨现象调查                | 2021/3/15   | http://mp.weixin.qq.com/s?__biz=MzI3MTkyOTI1OA... | “山寨”几乎成为了中国制造的特有标签。在大多数情况下，这个词是相当负面的，甚至带有嘲讽意味，... |
| 10 | 人类如何一步步走向影像自由？          | 2021/3/13   | http://mp.weixin.qq.com/s?__biz=MzI3MTkyOTI1OA... | （Joseph Nicéphore Nièpce）（Louis-Jacques-Mandé ... |