CasperMagic是基于PlantomJS&CasperJS和WebMagic的一个整合。CasperJS可以很方便对动态网页进行测试,但Javascript不太容易执行数据持久化和数据分析,而一般的爬虫很难抓取动态网页的内容或对页面进行操作并爬取。
最近更新: 9年多前一款使用Java语言开发的CMS,使用了Spring MVC,Spring,MyBatis等流行框架,提供首页大图管理、目录管理、文章管理和管理员管理等功能。是学习和二次开发的首选。
此项目是自己在学习Hadoop知识练习的一些小案例的汇总。 主要涉及HDFS的JAVA API操作和MapReduce重要知识点的小练习,包括利用HDFS JAVA API实现读取HDFS中文件、写入数据到HDFS中、删除HDFS中数据、查询HSFS中文件元数据、列出HDFS中文件详细信息等相关的操作,MapReduce程序实现的汇总、求平均数、Jion操作、TopK算法、二次排序、以及自定义InputFormat、OutputFormat和shuflle阶段的一些应用如(自定义Partitioner、合并小文件、MutilpleOutPuts自定义输出等等)。 每个案例都以不同的包区分。 详细说明见Readme.md文件
最近更新: 10年前