QIQIIM 提供简单快捷的IM方案,快速打造在线IM方案,可用于公司内网、外网通讯,客服系统等,已用netty4实现了socket,websocket,现已结合了layim,可用于任何商业、个人作品中
最简单的基于JavaEE和FFmpeg的视频网站
java spring+mybatis整合实现爬虫之《今日头条》搞笑动态图片爬取,并将爬到的数据保存到数据库
自主研发的一个java版本的分布式的通用爬虫,可以热插拔各个组件(提供默认的),自动切换代理,自动结构化数据与存储。使用redis,分布式调度等技术。
Spring Boot 结合网络爬虫开发的完整视频网站,演示地址:https://www.ictgu.cn
1、项目采用spring boot + maven 2、爬虫框架采用 webmagic
java编写的带有web管理后台的抓取程序,自动生成搜索URL,简单实现数据抽取即可,支持多机,任务定时自动运行等功能,提供各种扩展点,适应各种情况
牛咖-neocrawler nodejs 的爬虫系统。 特点: 支持web界面方式的摘取规则配置(css selector & regex); 包含无界面的浏览器引擎(phantomjs),支持js产生内容的抓取; 用http代理路由的方式防止抓取并发量过大的情况下被对方屏蔽; nodejs none-block 异步环境下的抓取性能比较高; 中央调度器负责网址的调度(同一时间片内一定数量的抓取任务中根据网站的权重来决定派发任务量; 支持多种抓取实例并存,定制摘取引擎和存储方式。
分布式爬虫系统,简单使用,高级配置。可扩展,减轻开发量,能docker化,适应各种急切需求核心框架:WebMagic, Spring Boot ,MongoDB, ActiveMQ ,Spring + Quartz,Spring Jpa , Druid,Redis, Ehcache ,SLF4J、Log4j2, Bootstrap + Jquery 等,不详细列举了
一款低入侵分布式爬虫框架,仅仅依赖少量第三方包,具有多进程多线程,集成反爬、验证码破解方案,自由定制,cookie自动管理,多数据源支持(database,nosql,es),客户端-服务端分离(充分利用ip)集群支持等特性)
使用Spring boot + activeMq +mongodb 通过httpClient自实现spring-cloud 爬虫架构