牛咖-neocrawler nodejs 的爬虫系统。 特点: 支持web界面方式的摘取规则配置(css selector & regex); 包含无界面的浏览器引擎(phantomjs),支持js产生内容的抓取; 用http代理路由的方式防止抓取并发量过大的情况下被对方屏蔽; nodejs none-block 异步环境下的抓取性能比较高; 中央调度器负责网址的调度(同一时间片内一定数量的抓取任务中根据网站的权重来决定派发任务量; 支持多种抓取实例并存,定制摘取引擎和存储方式。
最近更新: 8年前基于Spring Cloud、oAuth2.0开发基于Vue前后分离的开发平台,支持账号、短信、SSO等多种登录,提供配套视频开发教程
最近更新: 8年前真正做到单表增删改查0开发工作量,一键生成代码!本系统致力打造通用综合管理平台,使用Spring+SpringMVC+Mybatis+Shiro+Ehcache技术,简单易学,开发高效。友好的代码结构及注释,便于阅读及二次开发,日志分级输出,便于分析日志。使用切面编程控制数据权限。前端使用layui,Vue+iView,页面美观。基于此项目做了一个后台管理系统,只用了一天时间,项目预览地址 http://fly2you.cn/admin admin/adminQQ交流群:66502035欢迎大家进群交流技术。
最近更新: 8年前nodejs开发web服务器群集,主要针对页游,手游服务器端,可以方便的搭建web 服务器,同时又具有很高的扩展性。
最近更新: 8年前