# 韦澳(新) **Repository Path**: web-crawler-course/wei-ao ## Basic Information - **Project Name**: 韦澳(新) - **Description**: No description available - **Primary Language**: Python - **License**: MulanPSL-2.0 - **Default Branch**: master - **Homepage**: None - **GVP Project**: No ## Statistics - **Stars**: 0 - **Forks**: 3 - **Created**: 2021-11-23 - **Last Updated**: 2021-12-16 ## Categories & Tags **Categories**: Uncategorized **Tags**: None ## README ### **爬虫作业** **python爬虫仓库** ### **仓库介绍** 该仓库存储了python爬虫开发从入门到实战的一系列项目。内容有: 1、正则表达式 2、xpath 3、BeatifulSoup 4、MongoDB 5、图片,音乐,音频的爬取 6、猫眼信息下载器,GUI界面与爬取共功能相结合 7、模拟浏览器爬取京东商品信息 8、模拟浏览器爬取京东商品评价信息 9、微博内容的爬取 10、Falsk框架的使用 ### **软件架构** **软件架构说明** 1、推荐使用python的发行版Anaconda,它集成了众多Python常用包,并自带简单易学且界面友好的集成开发环境Spyder。下载地址:https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/?C=M&O=A 2、推荐使用的集成开发环境J为etBrains公司的PyCharm,下载时有收费和免费两个版本可以选择,Professional(专业版,收费)和Community(社区版,免费),一般来说,我们使用Community版本就够了,这里我们下载免费社区版。Pycharm的官网下载地址是一个英文网站:https://www.jetbrains.com/pycharm/download/#section=windows ### 安装教程 **Anaconda的安装教程** : 第一步,进入下载地址页面,根据自己操作系统的情况点击“Windows-x86_64.exe”、“MacOSX-x86_64.pkg”、“Linux-x86_64.sh”进行下载。 第二步,完成下载之后,双击下载文件,启动安装程序。(注意:1、如果在安装过程中遇到任何问题,那么暂时地关闭杀毒软件,并在安装程序完成之后再打开。2、 如果在安装时选择了“为所有用户安装”,则卸载Anaconda然后重新安装,只为“我这个用户”安装。) 第三步,选择“Next”。 第四步, 阅读许可证协议条款,然后勾选“I Agree”并进行下一步。 第五步,除非是以管理员身份为所有用户安装,否则仅勾选“Just Me”并点击“Next”。 第六步, 在“Choose Install Location”界面中选择安装Anaconda的目标路径,然后点击“Next”。 ![输入图片说明](1pi.png) 第七步,在“Advanced Installation Options”中不要勾选“Add Anaconda to my PATH environment variable.”(“添加Anaconda至我的环境变量。”)。因为如果勾选,则将会影响其他程序的使用。如果使用Anaconda,则通过打开Anaconda Navigator或者在开始菜单中的“Anaconda Prompt”(类似macOS中的“终端”)中进行使用。(注意:除非你打算使用多个版本的Anaconda或者多个版本的Python,否则不要勾选“Register Anaconda as my default Python 3.6”。)然后点击“Install”开始安装。如果想要查看安装细节,则可以点击“Show Details”。 ![输入图片说明](2pi.png) 第八步,点击“Next”。 第九步,进入“Thanks for installing Anaconda!”界面则意味着安装成功,点击“Finish”完成安装。(注意:如果你不想了解“Anaconda云”和“Anaconda支持”,则可以不勾选“Learn more about Anaconda Cloud”和“Learn more about Anaconda Support”。) ![输入图片说明](3pi.png) **PyCharm的安装教程:** 第一步直接点击 Next; 第二步,如果要修改安装路径,就在这里更改: ![输入图片说明](4pi.png) 第三步,需要进行一些设置,如果你无特殊需要按照图中勾选即可。根据你当前系统是32位还是64位进行选择创建快捷方式的系统选项。基本上,目前的系统64位居多。 ![输入图片说明](2.png) 第四步,默认即可,点击 install。如果你勾选了上图中的最后一个选项“安装JetBrains自带的JRE”,会出现如下的下载界面,等待安装完毕。 ![输入图片说明](15.png) ### 使用说明 1、Anaconda的集成开发环境为Spder,Anaconda安装后在“开始”菜单栏中的Anaconda可直接启动Spyder,启动完成后可进入默认的开发界面,可以在默认开发界面的任务栏中单机“View”,并在弹出的菜单中选择“Window layouts”下自由选择界面,更多使用规则请访问:https://m.py.cn/tools/anaconda/ 2、PyCharm是一工程为单位来管理代码的,所以第一次运行PyCharm的时候,它会问是创建一个工程还是打开一个工程。单击“Create New Project”按钮,填写工程路径。PyCharm会自动寻找Python的安装位置,因此第二个下拉选项不需要修改,直接待机“Create”按钮。工程就创建好了。工程创建好后可右击工程的文件夹,选择“New”命令,在弹出的耳机菜单中选择“Python File”命令,Python文件运行前还要配置python在环境,更多使用规则请访问:https://www.runoob.com/python3/python3-install.html