1 Star 0 Fork 0

牛气腾腾 / node-crawler

加入 Gitee
与超过 1200万 开发者一起发现、参与优秀开源项目,私有仓库也完全免费 :)
免费加入
克隆/下载
README.md 1.14 KB
一键复制 编辑 原始数据 按行查看 历史
Yakima 提交于 2021-04-11 10:24 . add article link for reference purpose

node-crawler

介绍

nodejs写的爬虫定时任务,用于爬取gitee推荐项目。 关于本项目的详细介绍,可以参阅《用nodejs写一个简单的爬虫爬取gitee上的推荐项目》

软件架构

node v14.15.5

安装教程

  1. 下载源码:git clone https://gitee.com/bulls-cows/node-crawler.git
  2. 进入项目根目录,安装依赖,如果安装过pm2的话执行npm install,否则执行npm run installDependencies
  3. 本地运行:执行npm run debug
  4. 服务器上部署。执行npm run start启动服务,并且执行npm run getShellUsedToStartProjectAfterReboot来保证服务会在服务器开机后自动重启。

使用说明

需要使用mysql数据库的话可以打开src/config/database.config.js文件修改其中的配置为真实配置, 然后修改src/index.js文件中被注释掉的数据库相关代码, 其中的sql语句根据实际需要来写。

参与贡献

  1. Fork 本仓库
  2. 新建 Feat_xxx 分支
  3. 提交代码
  4. 新建 Pull Request

License

MIT License

NodeJS
1
https://gitee.com/bulls-cows/node-crawler.git
git@gitee.com:bulls-cows/node-crawler.git
bulls-cows
node-crawler
node-crawler
master

搜索帮助