ITPub博客

首页 > IT职业 > IT图书 > 如何用python爬虫批量下载视频?

如何用python爬虫批量下载视频?

IT图书 作者:websurf 时间:2021-09-11 10:08:26 0 删除 编辑

最近有一些很火的视频,想要保存但是不一定能下载下来,而且数目上比较多打包下载也不是很方便。同时我们的手机和电脑内存都是有限的,不能每一个音乐和视频软件全部下载,但是我们可以用python中的爬虫把想要看的视频批量的下载不就都可以看啦~


首先这个项目通过Python爬虫,返回一定格式的信息,并使用flask提供简易api进行下载。可下载各平台的视频、音乐和封面图片,只要有链接地址,它就能下载。具体可下载的平台和素材:

 

核心代码如下,先读出txt文件里的内容并提取出其中的所有网址,之后进行解析生成对应的视频、音乐和图片下载地址,最后将地址里的内容进行下载,同时使用了多线程加快代码的批量下载速度

    path = "./爬取抖音/批量下载链接.txt"
    with open(path, 'r') as f:
        what = f.read()
    for i in "1":
        urls = parse_urls(what)
        if not urls:
            print("bye~")
            break
        print(f"""
╭━━━━━━━━━━━━━╮
│ 一共{len(urls)}个链接 │
╰━━━━━━━━━━━━━╯
        """)
        all_task = []
        for idx, url in enumerate(urls):
            print(f"正在解析第{idx+1}个链接【{url}】")
            data = get_data(url)
            if data:
                all_task.extend(data2tasks(data))
        queue = Queue(maxsize=100)
        for t in all_task:
            queue.put(t)
        ts = [Thread(target=dl, args=(queue, )) for _ in range(min(len(all_task), 6))]
        for t in ts:
            t.start()
        for t in ts:
            t.join()


运行结果如下:


这样我们就不用了来回切换各个视频或者音乐软件了,而且是直接保存的形式,也不用担心之后软件把喜欢的视频和音乐下架,是不是很便利了呢~更多Python学习推荐:PyThon学习网教学中心。

来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/1499/viewspace-2832191/ ,如需转载,请注明出处,否则将追究法律责任。

请登录后发表评论 登录
全部评论

注册时间:2019-04-15

  • 博文量
    95
  • 访问量
    1058