蜘蛛数据

检测搜索引擎蜘蛛方法：

• 来访请求 user-agent 符合 蜘蛛数据项 中设置的 UA 特征，且 来访IP 在对应 蜘蛛IP地址池 中，直接放行。

• 来访请求 user-agent 符合 蜘蛛数据项 中设置的 UA 特征，但是 来访IP 不在对应 蜘蛛IP地址池 中(或者 蜘蛛数据项 中的 蜘蛛IP地址池 为空)，按普通请求处理。

蜘蛛数据文件说明

在 ./spider/ 目录下有多个 .data 文件 (也可在一个文件里配置多个蜘蛛数据项)

同样可在 easy_ngx_waf/rules_custom/spider/ 自定义规则目录下添加自定义蜘蛛数据文件(须以 .data 结尾)

文件格式说明如下

## 以"##"开头的行为注释行(不支持行内注释)
## 按 json 格式书写
## **最后一个数据项后边不能有逗号 (也就是 "}" "]" 结束符之前不能有逗号)

## 每个文件都要以一对中括号 [ ] 将蜘蛛数据项包围(即使只有一个蜘蛛数据项)
[
    ## 每个蜘蛛数据项由一对 { } 包围
    {
        ## "name" 蜘蛛数据项名称(建议用搜索引擎名称)
        "name":"baidu",

        ## "disable" 使此蜘蛛数据项不生效,方便快速禁用蜘蛛数据项
        ## "disable"项可以不配置(缺省为 false:当前蜘蛛数据项生效)
        ##     "disable":true 时(true不加引号),当前蜘蛛数据项不生效,不参与来访ua蜘蛛校验
        ## "disable":true,

        ## "ua" 此蜘蛛数据项user-agent特征(正则)
        "ua": "Baiduspider[-|/]|[.|/]baidu\.com/",

        ## 蜘蛛IP池,数组形式,支持IPv4 IPv6 CIDR格式
        ## 如果蜘蛛IP池为空,此蜘蛛数据项不参与来访ua蜘蛛校验
        "ip":[
            "180.76.15.130",
            ## **最后一个数据项后边不能有逗号,此处为一错误示范
            "111.206.198.10/25", 
        ## **最后一个数据项后边不能有逗号,此处为一错误示范
        ],
    },
    {
         ## 另一个蜘蛛数据项
         ...
    }
    ## 最后一个蜘蛛数据项后边不能有逗号
]