Ai
1 Star 0 Fork 0

南寻/DistributedCrawler

加入 Gitee
与超过 1200万 开发者一起发现、参与优秀开源项目,私有仓库也完全免费 :)
免费加入
文件
克隆/下载
urldata.py 611 Bytes
一键复制 编辑 原始数据 按行查看 历史
南寻 提交于 2017-03-17 22:29 +08:00 . 第一次提交
#!/usr/binpython3
#coding:utf8
import redis
import bloomfilter
class urldata(object):
def __init__(self):
self.r=redis.Redis(host='localhost',port=6379)
def setdata(self,url):
#""" 第一次运行时会显示 not exists!,之后再运行会显示 exists! """
bf = bloomfilter.BloomFilter()
if bf.isContains(url): # 判断字符串是否存在
print('exists!')
else:
self.r.sadd('url1',url)
bf.insert(url)
# if __name__=='__main__':
# u=urldata()
# u.setdata()
# l=u.r.smembers('url1')
# print(l)
Loading...
马建仓 AI 助手
尝试更多
代码解读
代码找茬
代码优化
Python
1
https://gitee.com/nanxun/DistributedCrawler.git
git@gitee.com:nanxun/DistributedCrawler.git
nanxun
DistributedCrawler
DistributedCrawler
master

搜索帮助