基于爬虫技术的商城商品上新降价实时推送

介绍

基于爬虫技术的商城商品上新降价实时推送，Python编写，爬取对象均为实时交易的国际二手商品商城，特点为一旦商品卖出则该商品不可再被检索到，且商品的上架和价格变化十分频繁且具有随机性，对数据处理速度有一定要求；目前已用Docker部署在服务器，可实时进行消息推送，具备一定的实用性；

软件架构

程序主要分为爬取，数据库交互，数据比较，邮件发送，总调度五个部分；

其中

爬取部分负责爬取商场商品信息，主要包括商品名称，价格，图片，库存等，采用BeautifulSoup库进行爬取；

数据库交互部分负责与远程MySQL数据库进行交互，使用连接池技术，每次爬取全部商品信息后才进行一次与数据库的交互，降低数据库使用频率，提高程序运行速度；

数据比较部分负责将对数据进行比较，若与数据库已存信息存在重复，则比较其价格是否发生变化，若新爬取数据未在数据库中，则新插入该行数据，若数据库已存信息未在新爬取数据中发现，则说明商品已售出，将该行数据从数据库中删除；

邮件发送部分负责将新上架和降价商品的信息以图文超链接的形式通过邮件发送到客户端，用户可通过点击商品信息和图片直接访问商品页面；

总调度部分主要负责对检索关键字以及检索的深度进行调度；

使用截图

1. 代码运行

   

2. 数据库

   

3. 邮箱推送

   

特技

1. Docker;
2. BeautifulSoup;