5 Star 83 Fork 69

简笔轩客 / Cov

 / 详情

爬取百度热搜数据 接口失效

待办的
创建于  
2020-12-21 10:49
# spider.py 更新
# 爬取百度热搜数据
def get_baidu_hot():
    url = 'http://top.baidu.com/?vit=1'
    headers = {
        "user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.122 Safari/537.36"
    }
    resp = requests.get(url, headers=headers, timeout=30)
    data = resp.content.decode('gbk')
    html = etree.HTML(data)
    html_li = html.xpath('//ul[@id="hot-list"]/li')
    contxt = []
    for li in html_li:
        content = li.xpath("a/@title")[0]  # 关键字
        # rise = li.xpath("span[last()]/text()")[0]  # icon-rose  icon-fair
        rise = li.xpath("span[@class='icon-rose' or @class='icon-fair']/text()")[0]  # 搜索指数
        print(content, rise)
        contxt.append(content + rise)
    return contxt

评论 (0)

zouyue 创建了任务
zouyue 关联仓库设置为简笔轩客/Cov
zouyue 修改了描述
展开全部操作日志

登录 后才可以发表评论

状态
负责人
里程碑
Pull Requests
关联的 Pull Requests 被合并后可能会关闭此 issue
分支
开始日期   -   截止日期
-
置顶选项
优先级
参与者(1)
Python
1
https://gitee.com/yzcy/Cov.git
git@gitee.com:yzcy/Cov.git
yzcy
Cov
Cov

搜索帮助