# 爬虫代码风险法律公益直播资料下载项目

**Repository Path**: xueshanlinghu/crawler_risk_free_live_resources_download

## Basic Information

- **Project Name**: 爬虫代码风险法律公益直播资料下载项目
- **Description**: 爬虫代码风险法律公益直播资料下载项目
我写的代码犯法吗？线上公益的 IT 人法律科普活动。资料下载。
- **Primary Language**: Python
- **License**: MIT
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 0
- **Created**: 2021-01-13
- **Last Updated**: 2022-05-21

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# 爬虫代码风险法律公益直播资料下载项目

## 项目背景

2021 年 1 月 12 日，由**上海大型律师事务所**——**正策律所**的**虞元坚**律师给我们带来了精彩的公益免费直播——“我写的代码犯法吗”，给众多的同学们上了一堂生动的直播课。直播课结束，主办方 HDZ 官方发布了课件和视频，不过课件和视频均是没提供批量下载的。为了永久保存学习律师给我们带来的精彩课程课件和回放，特建立本项目来获取对应的课件和视频资料。

## 官方资料地址

️HDZ 研习社 25 期

️1 月 12 日晚 7 点️

️虞元坚律师，就职于上海正策律师事务所，擅长争议解决、计算机相关知识产权，涉技术犯罪辩护等。业余 WEB 全栈开发工程师，法律科技爱好者和开发者。律师云助理独立开发者。Python 编程应用于法律实务的先行者。

️讲师课件更新：[https://bbs.huaweicloud.com/forum/forum.php?mod=viewthread&tid=98139&page=1&extra=#pid608371](https://bbs.huaweicloud.com/forum/forum.php?mod=viewthread&tid=98139&page=1&extra=#pid608371)

视频回放：[https://bbs.huaweicloud.com/live/HDZ-live/202101121900.html](https://bbs.huaweicloud.com/live/HDZ-live/202101121900.html)

你也可以自行研究下载。

## 课件下载

1. 查看课件更新页面的网页源代码，发现对应的那部分是一堆连续的图片，将对应图片部分的代码单独复制出来，保存为 `我写的代码犯法吗直播课件.html` ，且发现图片地址也可以直接进行访问。考虑使用 xpath 解析进行下载。
2. 编写爬虫，运行 `课件下载.py` 脚本，批量下载课件图片。使用 pdf 合并工具，我用的是 `PDF全能处理器`，最终生成的 `pdf` 文件本项目已经附带。

## 视频回放下载

1. 首先播放视频是需要登录华为云的，首先登录自己的华为云账号。然后抓包该页面的视频。发现是通过 `ts` 格式视频进行加载的。再找一下其他包，发现是 `m3u8` 播放列表的。于是将对应的播放列表保存了下来，为 `我写的代码犯法吗直播视频.m3u8`。
2. 编写爬虫，运行 `下载我写的代码犯法吗直播视频.py` 脚本，批量按照播放列表下载 `ts` 视频文件。全部完成后，运行 `./我写的代码犯法吗直播视频/合并视频ts.bat` 批处理文件合并视频，最后可以修改一下出来的文件名即可。视频就弄好了。视频合并后大概 `1.34GB`，项目就不进行提供了，请自行下载处理。

## 免责声明

本项目仅个人交流学习使用，下载的课件和视频也请仅供自己学习使用，请不要做商业用途或者违法用途。使用本项目造成的任何不良后果与项目作者无关。