django rest framework编写的饿了么全国高校外卖商家查询API接口，并且在程序中使用ajax调用，数据库使用Postgresql
最近更新: 5年多前本项目采用requests模块，通过模拟H5页面请求头及附带信息，token参数通过二进制压缩和base64加密生成，存在一定的生命周期，利用post请求获取特定商家页面信息；并每次通过每次请求woff加密字体文件对现有字体文件进行比对，实现字体解密；解析机密后的Json格式数据，获取商家名称、地址、商品信息、单价和月销量等信息；由于美团外卖H5页面的反爬机制，在同一IP下多次请求页面，会将该暂时IP拉入黑名单，进而无法访问美团外卖页面，本项目采用了IP代理方式绕开该机制，当发现IP无法访问页面时，更换IP；获取后的数据进行清洗后写入MySQL数据库中。该项目还通过scheduler模块实现定时启动自动采集。
最近更新: 5年多前爬美团，斗鱼数据，并可视化发布在web页面。爬虫用scrapy搭建，用scrapy-redis插件做分布式，数据保存在mysql数据库；搭建Flask后端，并用echarts框架展示数据
最近更新: 接近8年前
