牛咖-neocrawler nodejs 的爬虫系统。 特点: 支持web界面方式的摘取规则配置(css selector & regex); 包含无界面的浏览器引擎(phantomjs),支持js产生内容的抓取; 用http代理路由的方式防止抓取并发量过大的情况下被对方屏蔽; nodejs none-block 异步环境下的抓取性能比较高; 中央调度器负责网址的调度(同一时间片内一定数量的抓取任务中根据网站的权重来决定派发任务量; 支持多种抓取实例并存,定制摘取引擎和存储方式。
这是一个 Java 的缓存框架,可以让应用支持两级缓存框架 ehcache + redis (memcached)。避免完全使用独立缓存系统所带来的网络IO开销问题。【目前OSChina网站正在使用该缓存框架】
SylixOS(TM) [www.sylixos.com] is real-time operating system, that support SMP and MPI multiprocessor
主要就是自动压缩CSS JS ,自动上传到CDN,并且替换掉页面中的CS,JS 引用地址。一切都是透明完成。
还在羡慕BAT等公司的大流量的架构吗?让你的java系统引用解耦,互相独立,commonrpc 就可以办到。commonrpc 是一个以netty 传输协议框架为基础, 自定义 spring shcema标签的rpc框架,不侵入任何业务代码,插件模式,即插即用;一个高性能分布式rpc框架,支持tcp,http协议,扩展性强。
VShell是一个基于web的虚拟控制台程序。VShell的目标是虚拟数据库的控制台,linux的shell,windows的命令行,提供一个与真实的控制台一致的体验却完全虚拟化的环境。
IK Analyzer 是一个开源的,基于java语言开发的轻量级的中文分词工具包