admin管理员组

文章数量:1530063

0. 起因

有个老朋友拜托我帮他下载一些公众号的资源,主要是音频和视频的合集。毕竟几百个资源,还是写程序下载比较方便。而图文爬虫有好多,淘宝上5块钱也能帮你下好,所以这个并不再本文考虑之内。也是花了一点时间分析了一下,写了2个脚本分别下载mp3和MP4资源。期间也遇到了一些意外,简单记录一下。

1. mp3合集下载

分析mp3合集的网页,发现源代码里面包含整个合集的资源信息。其中的id直接可以拼接为mp3下载地址。因此直接拿下来,从头到尾拿id,name,时间等信息,构造文件名和下载链接,进行下载就好了。

2. MP4视频合集下载

这个和mp3不太一样,合集页面 的视频资源是动态加载的,需要下滑到底才能获得所有视频信息。每次下滑会获取5个视频资源信息,所以,获得完整视频信息的思路如下:

  1. 下拉到底,保存html,在用bs4分析源码。
  2. 直接分析视频资源获取连接。

为了更好地重用mp3的代码,(懒得写bs4)我直接分析视频资源的获取的js包,发现就是 homepage这个请求(如下图)。所以,如果视频较多,写个脚本先获得所有的视频信息就好啦。

 然后,和mp3处理差不多,根据信息里的vid可以构造出m3u8的连接地址,根据m3u8信息(这里还有不同分辨率的选择)可以拿到最终视频地址,可以进行下载。

有个小情况,就是太小的视频(1分钟?)可能不是通过m3u8下载的,太大的视频是可能是通过腾讯视频播放,也是另一回事。不过这个比较少。

3. Future work

可以做成多线程的加速。

本文重点是记录一下解决这个问题的思路。如果有需求我可以把源码分享出来。

本文标签: 公众音频资源视频