代码拉取完成,页面将自动刷新
当URL
地址与URL模式
匹配的时候,就会执行采集规则。如果你还不知道怎么编写URL匹配模式
可以点击这里 查看怎么编写 URL 匹匹配模式。
视频演示地址:https://pan.baidu.com/s/1gTkq4ff132wh3K1LojGmHA 提取码:x7em;
插件下载地址:https://jtc.lhyhq.cn
参数 | 说明 | 类型 | 必填 | 默认值 | 版本 |
---|---|---|---|---|---|
title | 标题 | string |
是 | - | - |
match | URL 匹配模式。点击查看 URL 匹配模式规则 | string |
是 | - | - |
demo | URL 匹配示例,用于验证当前模式是否正确 | string |
是 | - | - |
delay | 延迟采集时间,单位秒 | number |
否 | 2 | - |
rules | 数据采集规则 | Rule[] | 是 | - | - |
数据采集规则
参数 | 说明 | 类型 | 必填 | 默认值 | 版本 |
---|---|---|---|---|---|
root | 根节点 。值为 CSS 选择器 ,不会的话请查看 CSS 选择器文档 | string |
否 | body | - |
multi | 是否选择所有root 节点 |
boolean |
否 | false | - |
desc | 用于描述当前采集规则主要采集哪些信息 | string |
是 | - | - |
request | URL 地址,采集到数据之后,以POST 请求方式发送数据;数据内容类型为JSON 格式。 |
string | Request
|
否 | - | 2.2.5 |
join | 采集规则的 uuid 值;把采集到的数据与另一个采集规则的数据合并。只支持一对多或多对一 数据合并。 |
uuid |
否 | - | 2.2.5 |
fetches | 采集root 节点下的信息 |
Fetch[] | 是 | - | - |
选择要采集的元素
regex
与map
同时存在的情况下,先执行 regex
然后在执行 map
参数 | 说明 | 类型 | 必填 | 默认值 | 版本 |
---|---|---|---|---|---|
name | 字段名。 采集到的数据将会保存到当前字段下 | string |
是 | body | - |
selector | 子选择器。root 下的子节点,选取要采集信息;如果当前值设置为root 则引用root 节点的选择器。 |
boolean |
是 | false | - |
type | text:表示采集内容;html:表示采集 HTML 代码;attr:表示采集节点属性,这时你需要设置attr 属性 |
text | html | attr |
否 | text | - |
attr | 当type=attr 时,需要设置要采集的属性名 |
Fetch[] |
否 | - | - |
regex | 正则表达式,用于过滤数据 如:\d+ 用于筛选数值 |
string |
否 | - | 2.2.5 |
func | 通过自定义函数处理内容,并返回处理后的结果。 value 当前值,row :当前行数据(object 类型),可通过这参数访问其它字段值 |
(value,row)=>string |
否 | - | 2.2.5 |
如果设置请求地址,请你在服务器上做好跨域处理。具体怎么做,自己百度一下,很简单的。
参数 | 说明 | 类型 | 必填 | 默认值 |
---|---|---|---|---|
url | 请求地址 | string |
是 | - |
headers | 请求头部,具体设置可以参考 HTTP 消息头 | object |
否 | text |
{
"switch": 1,
"match": "<all_urls>",
"title": "适用所有网站",
"demo": "https://www.baidu.com",
"delay": 2,
"rules": [
{
"root": "head",
"multi": false,
"desc": "网站头部信息",
"fetches": [
{
"name": "关键字",
"type": "attr",
"selector": "meta[name=keywords]",
"attr": "content"
},
{
"name": "描述",
"type": "attr",
"selector": "meta[name=description]",
"attr": "content"
},
{
"name": "标题",
"selector": "title"
}
]
}
]
}
{
"title": "适用所有网站",
"match": "<all_urls>",
"demo": "https://www.baidu.com",
"delay": 2,
"rules": [
{
"root": "img",
"multi": true,
"desc": "采集网站图片",
"fetches": [
{
"name": "图片地址",
"selector": "root",
"type": "attr",
"attr": "src"
}
]
}
]
}
{
"match": "https://www.baidu.com/s?*wd=*",
"title": "百度搜索",
"demo": "https://www.baidu.com/s?ie=utf-8&f=8&rsv_bp=1&rsv_idx=1&tn=baidu&wd=ds&fenlei=256&rsv_pq=bad4fd05006ae161",
"delay": 2,
"rules": [
{
"root": "#content_left .result",
"multi": true,
"scroll": false,
"desc": "百度搜索结果",
"fetches": [
{
"name": "网址",
"type": "attr",
"selector": "h3 a",
"attr": "href"
},
{
"name": "描述信息",
"type": "text",
"selector": ".c-abstract"
},
{
"name": "标题",
"type": "text",
"selector": "h3"
}
]
}
]
}
此处可能存在不合适展示的内容,页面不予展示。您可通过相关编辑功能自查并修改。
如您确认内容无涉及 不当用语 / 纯广告导流 / 暴力 / 低俗色情 / 侵权 / 盗版 / 虚假 / 无价值内容或违法国家有关法律法规的内容,可点击提交进行申诉,我们将尽快为您处理。