# 陆虹岈(新1) **Repository Path**: web-crawler-course/lu-hongya---xin1 ## Basic Information - **Project Name**: 陆虹岈(新1) - **Description**: 公开的仓库 - **Primary Language**: Python - **License**: MulanPSL-2.0 - **Default Branch**: master - **Homepage**: None - **GVP Project**: No ## Statistics - **Stars**: 0 - **Forks**: 2 - **Created**: 2021-12-17 - **Last Updated**: 2021-12-17 ## Categories & Tags **Categories**: Uncategorized **Tags**: None ## README # 陆虹岈 #### 介绍 利用Spyder进行网络爬虫 #### 软件架构 Spyder (前身是 Pydee) 是一个强大的交互式 Python 语言开发环境,提供高级的代码编辑、交互测试、调试等特性,支持包括 Windows、Linux 和 OS X 系统。 Spyder和其他的Python开发环境相比,它最大的优点就是模仿MATLAB的"工作空间"的功能,可以很方便地观察和修改数组的值。 最出名的python数据科学发行版本Anaconda自带了Spyder。 Spyder特点:1.类MATLAB设计 2.资源丰富且查找便利 3.对初学者友好 4.工具丰富,功能强大 #### 安装教程 1. 软件下载: 法一:Anaconda官方下载网址:https://www.anaconda.com/products/individual 法二:清华大学开源软件镜像站下载网址:https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/ 2. 软件安装: 按照窗口提示安装即可 3. 软件使用 在安装Anaconda的条件下,可用pip install 安装一些没有的库 #### 说明 1.网络爬虫是什么: 网络爬虫就是通过程序去获取web页面上自己想要的数据。python易于配置,对字符的处理也更加灵活,而且python有丰富的网络抓取模块,所以两者经常联系在一起。 网络爬虫为一个自动提取网页的程序,它为搜索引擎从万维网上下载网页,是搜索引擎的重要组成。 爬虫可以抓取某个网站或者某个应用的内容提取有用的价值信息。还可以模拟用户在浏览器或者app应用上的操作行为,实现程序自动化。 2.网络爬虫干什么: 网络爬虫是一种按照一答定的规则,自动地抓取万维网信息的程序或者脚本。 python爬虫程序可用于收集数据。由于爬虫程序是一个程序,程序运快,因此使用爬虫程序获取大量数据变得简单和快速。 可以用爬虫爬图片,爬取视频等等你想要爬取的数据,只要你能通过浏览器访问的数据都可以通过爬虫获取。 Python作为一门编程语言而言纯粹的自由软件,以简洁清晰的语法和强制使用空白符进行语句缩进的特点从而深受程序员的喜爱。 3.python与网络爬虫有什么关系? Python并不是爬虫。只是用python写的搜索引擎是一个复杂的爬虫。Python爬虫是基于Python编程而创造出来的一种网络资源的抓取方式。 python的应用方向有很多,如web开发,大数据,人工智能,运维等,爬虫只是其中的一个方向。 #### 相关 1. Fork 本仓库 2. 网络爬虫分支 3. 代码 4. 相关文档 5. 相关图片截图 #### 特技 1. 使用 Readme\_XXX.md 来支持不同的语言,例如 Readme\_en.md, Readme\_zh.md 2. Gitee 官方博客 [blog.gitee.com](https://blog.gitee.com) 3. 你可以 [https://gitee.com/explore](https://gitee.com/explore) 这个地址来了解 Gitee 上的优秀开源项目 4. [GVP](https://gitee.com/gvp) 全称是 Gitee 最有价值开源项目,是综合评定出的优秀开源项目 5. Gitee 官方提供的使用手册 [https://gitee.com/help](https://gitee.com/help) 6. Gitee 封面人物是一档用来展示 Gitee 会员风采的栏目 [https://gitee.com/gitee-stars/](https://gitee.com/gitee-stars/)