2 Star 0 Fork 0

刘洋 / 2019数据采集与融合

加入 Gitee
与超过 1200万 开发者一起发现、参与优秀开源项目,私有仓库也完全免费 :)
免费加入
该仓库未声明开源许可证文件(LICENSE),使用请关注具体项目描述及其代码上游依赖。
克隆/下载
task3.py 920 Bytes
一键复制 编辑 原始数据 按行查看 历史
刘洋 提交于 2021-09-29 12:43 . 三次作业
import requests
import re
#获取
def getHTMLText(url, loginheaders):
try:
r = requests.get(url, headers=loginheaders, timeout=30)
r.raise_for_status()
r.encoding = r.apparent_encoding
return r.text
except:
return ""
#url与header
url = 'http://news.fzu.edu.cn/'
loginheaders = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.164 Safari/537.36',
}
data = getHTMLText(url,loginheaders)
tdlist1 = re.findall(r'src=".*.jpg', data)
#print(tdlist1)
#去掉前面的src,最后与网页组成图片的正确路径
data1 = []
for i in range(len(tdlist1)):
flag = 'http://news.fzu.edu.cn'+tdlist1[i][5:]
# print(flag)
res = requests.get(flag)
with open("picture/{}.jpg".format(i), "wb") as f:
f.write(res.content)
print("成功下载")
#print(data1)
1
https://gitee.com/liu-yangz/crawl_project.git
git@gitee.com:liu-yangz/crawl_project.git
liu-yangz
crawl_project
2019数据采集与融合
master

搜索帮助