代码拉取完成,页面将自动刷新
个人代码记录,目前该项目包含内容如下
crawler/README.md
文件基于Python3.9开发,可在linux和windows上直接运行
pip install -r crawler/requirements.pip
安装依赖supervisorctl update
即可完成安装supervisorctl status
验证程序是否运行成功|-- when_code
|-- components # **公共组件**
|-- mysql_client # -- mysql连接器
|-- proxy_utils # -- 代理相关
|-- crawler # **爬虫模块**
|-- base_module # -- 爬虫基础能力
|-- config # -- 配置文件
|-- docs # -- 文档目录
|-- sql # -- 数据库sql存档
|-- orm_model # -- orm基类
|-- website # -- 以实现爬取网站目录
此处可能存在不合适展示的内容,页面不予展示。您可通过相关编辑功能自查并修改。
如您确认内容无涉及 不当用语 / 纯广告导流 / 暴力 / 低俗色情 / 侵权 / 盗版 / 虚假 / 无价值内容或违法国家有关法律法规的内容,可点击提交进行申诉,我们将尽快为您处理。