爬虫代码风险法律公益直播资料下载项目

项目背景

2021 年 1 月 12 日，由上海大型律师事务所——正策律所的虞元坚律师给我们带来了精彩的公益免费直播——“我写的代码犯法吗”，给众多的同学们上了一堂生动的直播课。直播课结束，主办方 HDZ 官方发布了课件和视频，不过课件和视频均是没提供批量下载的。为了永久保存学习律师给我们带来的精彩课程课件和回放，特建立本项目来获取对应的课件和视频资料。

官方资料地址

️HDZ 研习社 25 期

️1 月 12 日晚 7 点️

️虞元坚律师，就职于上海正策律师事务所，擅长争议解决、计算机相关知识产权，涉技术犯罪辩护等。业余 WEB 全栈开发工程师，法律科技爱好者和开发者。律师云助理独立开发者。Python 编程应用于法律实务的先行者。

️讲师课件更新：https://bbs.huaweicloud.com/forum/forum.php?mod=viewthread&tid=98139&page=1&extra=#pid608371

视频回放：https://bbs.huaweicloud.com/live/HDZ-live/202101121900.html

你也可以自行研究下载。

课件下载

1. 查看课件更新页面的网页源代码，发现对应的那部分是一堆连续的图片，将对应图片部分的代码单独复制出来，保存为 我写的代码犯法吗直播课件.html ，且发现图片地址也可以直接进行访问。考虑使用 xpath 解析进行下载。
2. 编写爬虫，运行 课件下载.py 脚本，批量下载课件图片。使用 pdf 合并工具，我用的是 PDF全能处理器，最终生成的 pdf 文件本项目已经附带。

视频回放下载

1. 首先播放视频是需要登录华为云的，首先登录自己的华为云账号。然后抓包该页面的视频。发现是通过 ts 格式视频进行加载的。再找一下其他包，发现是 m3u8 播放列表的。于是将对应的播放列表保存了下来，为 我写的代码犯法吗直播视频.m3u8。
2. 编写爬虫，运行 下载我写的代码犯法吗直播视频.py 脚本，批量按照播放列表下载 ts 视频文件。全部完成后，运行 ./我写的代码犯法吗直播视频/合并视频ts.bat 批处理文件合并视频，最后可以修改一下出来的文件名即可。视频就弄好了。视频合并后大概 1.34GB，项目就不进行提供了，请自行下载处理。

免责声明

本项目仅个人交流学习使用，下载的课件和视频也请仅供自己学习使用，请不要做商业用途或者违法用途。使用本项目造成的任何不良后果与项目作者无关。