代码拉取完成,页面将自动刷新
php实现的dht爬虫(分布式)
需要swoole拓展
swoole version 1.9.18
PHP Version 5.6+
#########运行说明##############
dht_client目录 为爬虫服务器 环境要求
1.php安装swoole拓展 (pecl install swoole 默认安装1.9.18版本)
2.设置服务器 ulimit -n 100000
3.关闭防火墙 有后台策略控制的也关闭测试(dht网络端口不确定)
4.运行 php go.php
很多采集不到数据 是由于第三点导致的
=============================================================
dht_server目录 接受数据服务器(可在同一服务器) 环境要求
1.php安装swoole拓展 (pecl install swoole 默认安装1.9.18版本)
2.设置服务器 ulimit -n 100000
3.防火墙开发dht_client请求的对应端口(配置项中)
4.运行 php go.php
演示地址:http://www.808x.com
此处可能存在不合适展示的内容,页面不予展示。您可通过相关编辑功能自查并修改。
如您确认内容无涉及 不当用语 / 纯广告导流 / 暴力 / 低俗色情 / 侵权 / 盗版 / 虚假 / 无价值内容或违法国家有关法律法规的内容,可点击提交进行申诉,我们将尽快为您处理。
1. 开源生态
2. 协作、人、软件
3. 评估模型