---
mvnw clean package  
错误: 找不到或无法加载主类 org.apache.maven.wrapper.MavenWrapperMain 
mvn -N io.takari:maven:wrapper 
###由于我们使用了新的maven ,如果你的settings.xml没有放在当前用户下的.m2目录下，那么执行mvnw时不会去读取你原来的settings.xml文件
---
---
###系统启动流程图
![image](https://git.oschina.net/uploads/images/2017/0608/104936_26ebfa35_606613.png)

---

---
###节点注册及保持在线流程
![image](https://git.oschina.net/uploads/images/2017/0608/145302_602f50a8_606613.png)

---

---
###worker处理流程图
![image](https://git.oschina.net/uploads/images/2017/0607/173253_459af88d_606613.png)

---

---
###站点xml文件配置
	<siteProfile>
	<site code="tmsf">
		
		<mainUrl>http://www.tmsf.com</mainUrl>
		
		<describe>杭州透明售房网</describe>
	</site>
	
	<extractPath name="projectName" siteCode="tmsf" ranking="1" extractAttName="text" appendHead="" appendEnd="" compareAttName="" containKeyWord="">
			<path>div[class=lpxqtop]>div>div>span[class=buidname colordg]</path>
			<filterPath></filterPath>
			<substringStart></substringStart>
			<substringEnd></substringEnd>
			<replaceWord></replaceWord>
			<replaceValue></replaceValue>
			<describe>项目名称</describe>
	</extractPath>
	</siteProfile>

---

###jobxml文件配置
	<jobProfile>
	
		<extractItem jobName="tmsf_project_info"  serialNub="1" pathName="projectName" primary="1" type="1"   outputType="1" outputKey="projectName" mustHaveResult="1" >
			<describe>项目名称</describe>
		</extractItem>
	
		<job name="tmsf_project_info"  hostNode="test"  level="1" workFrequency="4000" isScheduled="0"  needNodes="1" threads="5"  user="admin">
			
			<queueName>tmsf_project_info</queueName>
			
			<cronTrigger>0 0 12 * * ? *</cronTrigger>
			
			<workerClass>six.com.crawler.work.plugs.TmsfProjectInfoWorker</workerClass>
			
			<describe>杭州透明售房网 项目信息采集任务</describe>
			<param name="siteCode">tmsf</param>
			<param name="downerType">1</param>
			<param name="httpProxyType">2</param>
			<param name="loadImages">0</param>
			<param name="fixedTableName">ex_dc_tmsf_presale_info</param>
			<param name="isSnapshotTable">0</param>
			<param name="resultStoreClass">six.com.crawler.work.store.DataBaseStore</param>
			<param name="dbUrl"><![CDATA[jdbc:mysql://127.0.0.1:3306/test?user=root&password=123456&useUnicode=true&characterEncoding=UTF8]]></param>
			<param name="dbUser">root</param>
			<param name="dbPasswd">123456</param>
			<param name="dbDriverClassName">com.mysql.jdbc.Driver</param>
			<param name="batchStoreSize">1</param>
			<param name="createTableSqlTemplate"><![CDATA[CREATE TABLE `<<tableName>>` (`id` varchar(32) NOT NULL,`projectId` varchar(32) NOT NULL COMMENT '预售项目 名称',`presellName` varchar(200) NOT NULL COMMENT '预售名称',`presellCode` varchar(200) NOT NULL COMMENT '预售证号',`presellIssueDate` varchar(200) DEFAULT NULL COMMENT '预售证核发时间',`presellApplyCompany` varchar(200) DEFAULT NULL COMMENT '预售证申领单位',`issueCompany` varchar(200) DEFAULT NULL COMMENT '发证机关',`superviseBank` varchar(200) DEFAULT NULL COMMENT '资金监管银行',`superviseBankAccount` varchar(200) DEFAULT NULL COMMENT '资金监管银行账号',`presellApprovalProjectName` varchar(200) DEFAULT NULL COMMENT '预售审批项目名称',`developer` varchar(200) DEFAULT NULL COMMENT '开发商名称',`buildingAddress` varchar(200) DEFAULT NULL COMMENT '楼盘坐落',`openingDate` varchar(200) DEFAULT NULL COMMENT '开盘时间',`islive` varchar(200) DEFAULT NULL COMMENT '标示信息是否仍在页面上存在',`collectionDate` datetime DEFAULT NULL,`originUrl` varchar(500) DEFAULT NULL,PRIMARY KEY (`id`)) ENGINE=InnoDB DEFAULT CHARSET=utf8 COMMENT='杭州透明网 预售信息表';]]></param>
			<param name="insertSqlTemplate"><![CDATA[insert into  <<tableName>>(id,projectId,presellName,presellCode,presellIssueDate,presellApplyCompany,issueCompany,superviseBank,superviseBankAccount,presellApprovalProjectName,developer,buildingAddress,openingDate,collectionDate,originUrl) values(?,?,?,?,?,?,?,?,?,?,?,?,?,?,?)]]></param>	
		</job>
	</jobProfile>

整个分布式系统引用了hadoop job jobtracker tasktracker 分别对应本系统jobSnapshot workerSnapshot 概念。
每个job有自己的工作空间。
支持多节点，多线程运行。

状态说明:
job状态:
	READY              准备                       
	WAITING_EXECUTED   等待执行      job被提交待执行队列中状态
	EXECUTING          执行            job正在执行状态
	SUSPEND            暂停            job被暂停状态
	STOP               停止            job被停止状态或者 工作空间处理数据为空,并且触发此job的job状态为stop时状态
	FINISHED           完成            工作空间处理数据为空,并且触发此job的job状态为finished时状态

worker状态:
	READY              准备            worker初始化时，还没有运行时状态
	STARTED            开始            worker提交到线程池运行时状态
	WAITED             等待            当工作空间为空时状态
	SUSPEND            暂停            job被暂停，worker会被设置此状态
	STOPED             停止            job被停止状态或者工作空间处理数据为空,并且触发此job的job状态为stop时状态,worker会被设置此状态
	FINISHED           完成            工作空间处理数据为空,并且触发此job的job状态为finished时状态,worker会被设置此状态
	DESTROY            销毁            worker退出工作循环然后销毁

对于master调度器来说job的触发类型为手动触发，定时触发，job依赖关系触发三种.

手动触发:通过手动调用master调度器执行job，当job工作空间里的处理数据为空时，job会以finished状态结束
定时触发：master定时调度执行job，当job工作空间里的处理数据为空时，job会以finished状态结束
job依赖关系触发：job与job间可能存在当前job a的下个job b流程关系，可以通过配置成并发或者串行。
如果b job是被a job触发执行的话，那么当job b 工作空间里的处理数据为空时，job b的worker进入wait状态，此时
会检查job a是否运行。如果在运行那么job b的worker休眠指定时间继续运行,如果job a 状态为stop 或者 finish
job b的状态会保持一样的状态结束。

对于worker调度器来说job的触发类型只有master触发一种。

系统采用zookeeper作为节点注册,集群锁等实现。
系统采用redis作为集群缓存和job工作空间实现。
系统采用netty作为集群rpc实现
系统采用mysql作为元数据存储

1:clone exCrawler项目
2:进入exCrawler目录下 命令行 mvn eclipse:eclipse
3:将exCrawler/oklib下的jar替换到本地Maven库对应的jar包
4:打开eclipse，导入exCrawler为可执行的Maven项目.
5:StartMain 是整个项目的启动类
6:SchedulerManager    实现了任务的调度
7:AbstractCrawlWorker 是整个爬虫工作流程类，采用模板设计模式
8:AbstractWorker      是整个worker流程类（跟业务没关系），采用模板设计模式
9:mysql初始化脚本                 在src/main/script 下

整个系统分层:
      后台管理api层
      后台管理服务层
      任务调度层
      节点基础层
      数据存储层 
             
执行任务流程:  
    人为触发任务------
  job依赖关系触发              -->主节点执行任务,在缓存中初始化任务执行信息--->主节点计算出执行任务的节点List---->call工作节点执行任务--->
    定时触发任务------
      
      
   ---->工作节点接收到主节点执行任务的信号--->工作节点创建worker--->工作节点运行worker--->通知主节点worker运行--->
    
   ---->主节点接收到工作节点worker运行信息，并登记运行信息--->
    
                          --->工作空间处理数据为空--->任务完成
   ---->worker运行--->停止                                    ----工作节点worker通知主节点,worker运行结束--->   
                          --->手动停止--------------->任务停止   
                                                                     
   ---->主节点接收到工作节点worker运行结束信号--->检查任务的全部worker是否结束--->没有全部结束，不做任何处理 
                                                               
   ---->全部结束，统计各worker的运行信息，并生成运行任务运行记录入库，删除缓存中任务运行记录--->
   
   ---->如果任务是完成结束的话,那么检查检查任务是否有下一个执行任务
   
爬虫采集流程:
          初始化种子链接到工作空间(工作空间由同一个任务下的所有worker共享)--->从工作空间读取处理数据--->没有读取到数据时爬虫任务视为finished
    
         读取到处理数据--->下载前数据处理--->下载器处理数据--->下载后处理(接口可实现验证码识别和用户登录)
    
    --->解析数据(支持普通的cssQuery抽取,表格单挑数据抽取,表格多条数据抽取,json抽取,正则抽取)--->解析后处理
    
    --->存储(支持db保存,http发送,文件保存，其他存储等方式)

系统默认输出字段:
	采集数据id(此id跟业务无关):执行任务的workerName+当前worker计数
	采集数据的日期
	采集数据的数据源url
 
 监控概述：
	1.对于目标网站健康度监控
	2.对于目标网站版本监控
	3.对于自身节点健康度监控
	4.对于任务每次执行情况监控
	5.对于代理ip健康度监控

sixliu/crawler

简介

发行版

贡献者

近期动态

sixliu/crawler .gitee-modal { width: 500px !important; }

简介

发行版

贡献者

近期动态

搜索帮助

sixliu/crawler