# python爬虫

**Repository Path**: mo-qiaoli/task

## Basic Information

- **Project Name**: python爬虫
- **Description**: 爬虫、spyder、PyCharm、MySQL、Mongodb
- **Primary Language**: Python
- **License**: Not specified
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 2
- **Created**: 2021-09-26
- **Last Updated**: 2022-10-26

## Categories & Tags

**Categories**: Uncategorized

**Tags**: Spider, Python, Pycharm

## README

# 爬虫小项目

#### 介绍
  主要用来上传做的爬虫小项目

#### 软件架构
  本仓库主要基于python语言，使用的是python的开源版本---Anaconda(有时也会使用PyCharm)，包含了conda、Python在内的超过180个科学包及其依赖项。可以创建多个python环境，并为每个python环境安装不同的包，不同环境相互切换，操作简单，使用方便。


#### Anaconda安装教程

1.  下载地址：https://www.anaconda.com/download/
2.  打开下载好的 Anaconda.exe文件，出现如下界面

![输入图片说明](https://images.gitee.com/uploads/images/2021/1123/042454_6470e49b_8224228.png "20.png")

点击next即可

![输入图片说明](https://images.gitee.com/uploads/images/2021/1123/042528_efb508dd_8224228.png "19.png")

用户协议，点击 I Agree

![输入图片说明](https://images.gitee.com/uploads/images/2021/1123/042600_aad9ce1a_8224228.png "18.png")

选All Users 点Next

![输入图片说明](https://images.gitee.com/uploads/images/2021/1123/042708_95d35459_8224228.png "17.png")

选择安装路径，不建议装在C盘，可自己定义路径，选择好后点击next

![输入图片说明](https://images.gitee.com/uploads/images/2021/1123/042727_bed4a477_8224228.png "16.png")

第一个选项是添加环境变量，默认是没有勾选的，请务必勾选上，如果这里不勾选，后续安装完成后想要自行添加环境变量会非常麻烦。勾选完后点击 Install 安装。如果忘了勾选可以卸载重装。

最后一步了，继续点Next。

![输入图片说明](https://images.gitee.com/uploads/images/2021/1123/042837_f6065c50_8224228.png "14.png")

Finish完成。（那两个 √ 可以取消。）
安装完成后在开始菜单会多出一个快捷方式，也就是Anaconda下的子程序：

![输入图片说明](https://images.gitee.com/uploads/images/2021/1106/232607_e1bcf1d2_8224228.png "8.png")

安装完毕！

#### Anaconda使用教程
主要用的两个为Anaconda Prompt 和Anaconda Navigator，Anaconda Prompt 就是我们的cmd，打开后如下：

![输入图片说明](https://images.gitee.com/uploads/images/2021/1106/233013_fd73461e_8224228.png "9.png")

以后的创建环境和环境切换，和pip安装各种包全在这里，
介绍几个常用的快捷键：
1. conda info 查看当前环境的信息

![输入图片说明](https://images.gitee.com/uploads/images/2021/1106/233148_ebc92441_8224228.png "10.png")

2.  conda info -e 查看已经创建的所有虚拟环境

![输入图片说明](https://images.gitee.com/uploads/images/2021/1106/233244_42af53ed_8224228.png "11.png")

目前我创建的3个不同的虚拟环境，分别32位python2.7、32位python3.6和64位python3.7

3. conda activate xx 切换到xx虚拟环境

![输入图片说明](https://images.gitee.com/uploads/images/2021/1106/233403_8d83c69c_8224228.png "12.png")

现在即切换到了64位python3.7环境

4.set CONDA_FORCE_32BIT=1 # 切换到32位
   set CONDA_FORCE_32BIT=0 # 切换到64位

![输入图片说明](https://images.gitee.com/uploads/images/2021/1106/233602_a74e374c_8224228.png "13.png")

表示已经切换到32位

5.conda remove -n env_name --all 移除环境，也可在Anaconda Navigator中移除

![输入图片说明](https://images.gitee.com/uploads/images/2021/1106/233738_1d2ed20e_8224228.png "14.png")


![输入图片说明](https://images.gitee.com/uploads/images/2021/1106/233751_4590ae54_8224228.png "15.png")

这是我们添加的清华源，加快包的下载速度，
我们创建的环境和环境里的安装的包可以在Environments里查

![输入图片说明](https://images.gitee.com/uploads/images/2021/1106/233902_fcce322e_8224228.png "16.png")

也可以在这里创建虚拟环境和移除虚拟环境，还可为每个独立的环境安装需要的包


#### 参考学习

1.  https://www.bilibili.com/video/BV1Qi4y1s72J/
2.  https://www.bilibili.com/video/BV1gz4y1f7D2?from=search&seid=4207918731662181718&spm_id_from=333.337.0.0