Python3.x+迅雷x 自动下载高分电影

admin管理员组

文章数量:1552175

【怒草 https://blog.csdn/visionliao/article/details/103935091 未经允许严禁转载，请尊重作者劳动成果。】

快要过年了，大家都在忙些什么呢？一到年底公司各种抢票，备年货，被这过年的气氛一烘，都归心似箭，哪还有心思上班啊。归心似箭=产出低下=一行代码十个错=无聊。于是想起了以前学过一段时间的Python，自己平时也挺爱看电影的，手动点进去看电影详情然后一部一部的去下载太烦了，何不用Python写个自动下载电影的工具呢？诶，这么一想就不无聊了。以前还没那么多XX会员的时候，想看看电影都是去XX天堂去找电影资源，大部分想看的电影还是有的，就它了，爬它！

话说以前玩Python的时候爬过挺多网站的，都是在公司干的(Python不属于公司的业务范围，纯属自己折腾着好玩)，我那个负责运维的同事天天跑过来说：你又在爬啥啊，你去看看新闻，某某爬东西又被抓了！出了事你自己负责啊！哎呀我的娘亲，吓的都没继续玩下去了。这个博客是爬取某天堂的资源(具体是哪个天堂下面的代码里会有的)，会不会被抓啊？单纯的作为技术讨论，个人练手，不做商业用途应该没事吧？写到这里小手不禁微微颤抖...

得嘞，死就死吧，我不入地狱谁入地狱，先看最终实现效果:

如上，这个下载工具是有界面的(牛皮吧)，只要输入一个根地址和电影评分，就可以自动爬电影了，要完成这个工具需要具备以下知识点：

• PyCharm的安装和使用  这个不多说，猿们都懂，不属于猿类的我也没办法科普了，就是个IDE
• tkinter  这是个Python GUI开发的库，图中这个简陋的可怜的界面就是基于TK开发的，不想要界面也可以去掉，丝毫不影响爬电影，加上用户界面可以显得屌一点，当然最主要的是我想学习一点新知识
• 静态网页的分析技巧   相对于动态网站的爬取，静态网站的爬取就显得小菜了，F12会按吧，右键查看网页源代码会吧，通过这些简单的操作就可以查看网页的排版布局规则，然后根据这些规则写爬虫，soeasy
• 数据持久化  已经下载过的电影，下次再爬电影的时候不希望再下载一次吧，那就把下载过的链接存储起来，下载电影之前去比对是否下载过，以过滤重复下载
• 迅雷X的下载安装  这个就更不用多说了，作为当代社会主义有为青年，谁没用过迅雷？谁的硬盘里没有几部动作类型的片子？

差不多就这些了，至于实现的技术细节的话，也不多，requests+BeautifulSoup的使用，re正则，Python数据类型，Python线程，dbm、pickle等数据持久化库的使用，等等，这个工具也就这么些知识范畴了。当然，Python是面向对象的，编程思想是所有语言通用的，这个不是一朝一夕的事，也没办法通过语言描述清楚。各位对号入座，以上哪个知识面不足的自己去翻资料学习，我可是直接贴代码的。

说到Python的学习还是多说两句吧，以前学习Python爬虫的时候看的是 @工匠若水 https://blog.csdn/yanbober的博客，这哥们的Python文章写的真不错，对于有过编程经验却从没接触过Python的人很有帮助，基本上很快就能上手一个小项目。得嘞，撸代码：

import url_manager
import html_parser
import html_download
import persist_util
from tkinter import *
from threading import Thread
import os

class SpiderMain(object):
    def __init__(self):
        self.mUrlManager = url_manager.UrlManager()
        self.mHtmlParser = html_parser.HtmlParser()
        self.mHtmlDownload = html_download.HtmlDownload()
        self.mPersist = persist_util.PersistUtil()

    # 加载历史下载链接
    def load_history(self):
        history_download_links = self.mPersist.load_history_links()
        if history_download_links is not None and len(history_download_links) > 0:
            for download_link in history_download_links:
                self.mUrlManager.add_download_url(download_link)
                d_log("加载历史下载链接: " + download_link)

    # 保存历史下载链接
    def save_history(self):
        history_download_links = self.mUrlManager.get_download_url()
        if history_download_links is not None and len(history_download_links) > 0:
            self.mPersist.save_history_links(history_download_links)

    def craw_movie_links(self, root_url, score=8):
        count = 0;
        self.mUrlMa

本文标签： 迅雷高分电影