1 Star 0 Fork 1.7K

白泽 / ECommerceCrawlers

forked from AJay13 / ECommerceCrawlers 
加入 Gitee
与超过 1200万 开发者一起发现、参与优秀开源项目,私有仓库也完全免费 :)
免费加入
克隆/下载
贡献代码
同步代码
取消
提示: 由于 Git 不支持空文件夾,创建文件夹后会生成空的 .keep 文件
Loading...
README
MIT

GitHub contributors

ECommerceCrawlers

多种电商商品数据 🐍 爬虫,整理收集爬虫练习。每个项目都是成员写的。通过实战项目练习解决一般爬虫中遇到的问题。

通过每个项目的 readme,了解爬取过程分析。

对于精通爬虫的 pyer,这将是一个很好的例子减少重复收集轮子的过程。项目经常更新维护,确保即下即用,减少爬取的时间。

对于小白通过 ✍️ 实战项目,了解爬虫的从无到有。爬虫知识构建可以移步项目 wiki。爬虫可能是一件非常复杂、技术门槛很高的事情,但掌握正确的方法,在短时间内做到能够爬取主流网站的数据,其实非常容易实现,但建议从一开始就要有一个具体的目标。

在目标的驱动下,你的学习才会更加精准和高效。那些所有你认为必须的前置知识,都是可以在完成目标的过程中学到的 😁😁😁。

欢迎大家对本项目的不足加以指正,⭕️Issues 或者 🔔Pr

在之前上传的大文件贯穿了 3/4 的 commits,发现每次 clone 达到 100M,这与我们最初的想法违背,我们不能很有效的删除每一个文件(太懒),将重新进行初始化仓库的 commit。并在今后不上传爬虫数据,优化仓库结构。

About

Income

几乎 80%的项目都是帮客户写的爬虫,在添加到仓库之前已经经过客户同意可开源原则。

收益表
项目 收益 备注
DianpingCrawler 200
TaobaoCrawler 2000
SohuNewCrawler 2500
WechatCrawler 6000
某省药监局 80
fofa 700
baidu 1000
蜘蛛泛目录 1000
更多…… …… 另部分程序未得到客户开源认可

CrawlerDemo

Contribution👏

@joseph31 @Joynice @liangweiyang @Hatcat123 @jihu9 @ctycode @sparkyuyuanyuan
joseph31 Joynice liangweiyang Hatcat123 jihu9 ctycode sparkyuyuanyuan

wait for you

What You Learn ?

本项目使用了哪些有用的技术

  • 数据分析
    • chrome Devtools
    • Fiddler
    • Firefox
    • appnium
    • anyproxy
    • mitmproxy
  • 数据采集
  • 数据解析
    • re
    • beautifulsoup
    • xpath
    • pyquery
    • css
  • 数据保存
    • txt 文本
    • csv
    • excel
    • mysql
    • redis
    • mongodb
  • 反爬验证
    • mitmproxy 绕过淘宝检测
    • js 数据解密
    • js 数据生成对应指纹库
    • 文字混淆
    • 穿插脏数据
  • 效率爬虫
    • 单线程
    • 多线程
    • 多进程
    • 异步协成
    • 生产者消费者多线程
    • 分布式爬虫系统

链接标识官方文档或推荐例子

What`s Spider 🕷?

ECommerceCrawlerswiki

🙋0x01 爬虫简介

爬虫

爬虫是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本。

爬虫到底违法吗?

爬虫作用

  • 市场分析:电商分析、商圈分析、一二级市场分析等
  • 市场监控:电商、新闻、房源监控等
  • 商机发现:招投标情报发现、客户资料发掘、企业客户发现等

网页介绍

  • url
  • html
  • css
  • js

Roobots 协议

无规矩不成方圆,Robots 协议就是爬虫中的规矩,它告诉爬虫和搜索引擎哪些页面可以抓取,哪些不可以抓取。 通常是一个叫作 robots.txt 的文本文件,放在网站的根目录下。

🙋0x02 爬取过程

获取数据

模拟获取数据

🙋0x03 解析数据

re

beautifulsoup

xpath

pyquery

css

🙋0x04 存储数据

小规模数据存储(文本)

  • txt 文本
  • csv
  • excel

大规模数据存储(数据库)

  • mysql
  • redis
  • mongodb

🙋0x05 反爬措施

反爬

反反爬

🙋0x06 效率爬虫

多线程

多进程

异步协程

scrapy 框架

🙋0x07 可视化处理

flask Web

django Web

tkinter

echarts

electron

Padding

…………

Awesome-Example😍:

添加这位大佬的微信,回复‘爬虫’,拉你进爬虫讨论微信群

输入图片说明

MIT License Copyright (c) 2019 DropsDevopsOrg Permission is hereby granted, free of charge, to any person obtaining a copy of this software and associated documentation files (the "Software"), to deal in the Software without restriction, including without limitation the rights to use, copy, modify, merge, publish, distribute, sublicense, and/or sell copies of the Software, and to permit persons to whom the Software is furnished to do so, subject to the following conditions: The above copyright notice and this permission notice shall be included in all copies or substantial portions of the Software. THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY, FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM, OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE SOFTWARE.

简介

实战多种网站、电商数据爬虫。包含:淘宝商品、微信公众号、大众点评、招聘网站、闲鱼、阿里任务、scrapy博客园、微博、百度贴吧、豆瓣电影、包图网、全景网、豆瓣音乐、某省药监局、搜狐新闻、机器学习文本采集、fofa资产采集、汽车之家、国家统计局、百度关键词收录数、蜘蛛泛目录、今日头条、豆瓣影评️️️。微信爬虫展示项目: 展开 收起
Python
MIT
取消

发行版

暂无发行版

贡献者

全部

近期动态

加载更多
不能加载更多了
Python
1
https://gitee.com/baizetu/ECommerceCrawlers.git
git@gitee.com:baizetu/ECommerceCrawlers.git
baizetu
ECommerceCrawlers
ECommerceCrawlers
master

搜索帮助

14c37bed 8189591 565d56ea 8189591