Python 短视频爬虫教程

好难受，上次发了做游戏的居然没人看，每天为了给你们写啥，老夫心都操碎了~

真的是，今天来给大家爬一波短视频网站吧，都是些很养眼的~

网站地址在代码里面，大家用心一下就能看到了。

使用的软件

python 3.8
pycharm 2021.2

模块

requests
parsel
re
concurrent.futures
time
warnings

不会安装模块看这篇：python模块的安装以及安装失败的解决方法

知道你们不想看那些步骤，我直接上代码吧

import requests
import parsel
import re
import concurrent.futures
import time
import warnings

# 取消警告
warnings.filterwarnings("ignore")

def get_html(url):
    """发送请求获取网页源代码"""
    html_data = requests.get(url=url, verify=False).text
    return html_data

def parse_data_1(html_data):
    """第一次解析, 拿到所有的详情页链接"""
    selector = parsel.Selector(html_data)
    url_list = selector.xpath('//a[@class="meta-title"]/@href').getall()
    return url_list

def parse_data_2(html_data):
    """第二次解析, 获取视频链接"""
    video_url = re.findall('url: "(.*?)",', html_data)[0]
    return video_url

def save(video_url):
    """保存视频"""
    title = video_url.split('/')[-1]    # 取链接当中的字段作为标题
    video_data = requests.get(video_url, verify=False).content    # 发送网络请求
    with open(f'video/{title}', mode='wb') as f:
        f.write(video_data)
    print(title, "爬取成功!!!")

start_time = time.time()
url = 'https://www.520mmtv.com/hd/rewu.html'
# 1. 向目标网站发送请求
html_data = get_html(url=url)
# 2. 第一次解析数据 提取详情页链接
url_list = parse_data_1(html_data=html_data)
for info_url in url_list[:10]:
    # 3. 向详情页发送请求
    html_data_2 = get_html(url=info_url)
    # 4. 第二次解析数据 提取视频播放地址
    video_url = parse_data_2(html_data=html_data_2)
    # 5. 保存视频
    save(video_url=video_url)
print('花费时间：', time.time() - start_time)

到此这篇关于Python 短视频爬虫教程的文章就介绍到这了,更多相关Python 爬虫教程内容请搜索我们以前的文章或继续浏览下面的相关文章希望大家以后多多支持我们！

赞 (0)

相关推荐

  • Python selenium抓取虎牙短视频代码实例

    今天闲着没事,用selenium抓取视频保存到本地,只爬取了第一页,只要小于等于5分钟的视频... 为什么不用requests,没有为什么,就因为有些网站正则和xpath都提取不出来想要的东西,要么就是接口出来的数据加密,要么就因为真正的视频url规律难找! selenium几行代码轻轻松松就搞定! 安装selenium库,设置无界面模式 代码如下: from selenium import webdriver from selenium.webdriver.chrome.options imp

  • Python爬取某平台短视频的方法

    Python爬取某平台短视频的方法

    前言 本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理. 基本开发环境 Python 3.6 Pycharm 相关模块的使用 import os import requests 安装Python并添加到环境变量,pip安装需要的相关模块即可. 一.确定需求 爬取搞笑趣味栏目的视频内容. 二.网站数据分析 首先需要明确一点,好看视频网站加载方式是懒加载的方式,需要你下滑网页才会加载出新的内容 加载出来的内容里面有音频播放地址以及标题. 内容比较简单

  • python爬虫线程池案例详解(梨视频短视频爬取)

    python爬虫-梨视频短视频爬取(线程池) 示例代码 import requests from lxml import etree import random from multiprocessing.dummy import Pool # 多进程要传的方法,多进程pool.map()传的第二个参数是一个迭代器对象 # 而传的get_video方法也要有一个迭代器参数 def get_video(dic): headers = { 'User-Agent':'Mozilla/5.0 (Wind

  • Python爬取某拍短视频

    Python爬取某拍短视频

    一.抓取目标 目标网址:美拍视频 二.工具使用 开发环境:win10.python3.7 开发工具:pycharm.Chrome 工具包:requests.xpath.base64 三.重点学习内容 爬虫采集数据的解析过程 js代码调试技巧 js逆向解析代码 Python代码的转换 四.项目思路解析 进入到网站的首页 挑选你感兴趣的分类 根据首页地址获取到进入详情页面的超链接的跳转地址 找到对应加密的视频播放地址数据 这个数据是静态的网页数据,通过js代码进行解码的 找到对应的解析代码 先找到视

  • Python 利用scrapy爬虫通过短短50行代码下载整站短视频

    Python 利用scrapy爬虫通过短短50行代码下载整站短视频

    近日,有朋友向我求助一件小事儿,他在一个短视频app上看到一个好玩儿的段子,想下载下来,可死活找不到下载的方法.这忙我得帮,少不得就抓包分析了一下这个app,找到了视频的下载链接,帮他解决了这个小问题. 因为这个事儿,勾起了我另一个念头,这不最近一直想把python爬虫方面的知识梳理梳理吗,干脆借机行事,正凑着短视频火热的势头,做一个短视频的爬虫好了,中间用到什么知识就理一理. 我喜欢把事情说得很直白,如果恰好有初入门的朋友想了解爬虫的技术,可以将就看看,或许对你的认识会有提升.如果有高手路过,

  • Python 短视频爬虫教程

    Python 短视频爬虫教程

    好难受,上次发了做游戏的居然没人看,每天为了给你们写啥,老夫心都操碎了~ 真的是,今天来给大家爬一波短视频网站吧,都是些很养眼的~ 网站地址在代码里面,大家用心一下就能看到了. 使用的软件 python 3.8 pycharm 2021.2 模块 requests parsel re concurrent.futures time warnings 不会安装模块看这篇:python模块的安装以及安装失败的解决方法 知道你们不想看那些步骤,我直接上代码吧 import requests impor

  • 详解Python之Scrapy爬虫教程NBA球员数据存放到Mysql数据库

    详解Python之Scrapy爬虫教程NBA球员数据存放到Mysql数据库

    获取要爬取的URL 爬虫前期工作 用Pycharm打开项目开始写爬虫文件 字段文件items # Define here the models for your scraped items # # See documentation in: # https://docs.scrapy.org/en/latest/topics/items.html import scrapy class NbaprojectItem(scrapy.Item): # define the fields for yo

  • Python视频爬虫实现下载头条视频功能示例

    Python视频爬虫实现下载头条视频功能示例

    本文实例讲述了Python视频爬虫实现下载头条视频功能.分享给大家供大家参考,具体如下: 一.需求分析 抓取头条短视频 思路: 分析网页源码,查找解析出视频资源url(查看源代码,搜mp4) 对该url发起请求,返回二进制数据 将二进制数据保存为视频格式 视频链接: http://video.eastday.com/a/170612170956054127565.html 二.代码实现 # encoding: utf-8 import sys reload(sys) sys.setdefault

  • Python 音视频剪辑快速入门教程

    目录 一.引言 二.Moviepy 简介 三.Moviepy 安装 四.音视频的加载和保存 五.音视频数据的访问 六.音视频变换 1.Clip 的 fl 方法 2.Clip 的 fl_time 方法 3.剪辑颜色变换 4.剪辑大小变换 5.剪辑内容变换 七.剪辑合成 1.概述 2.将多个剪辑拼接 3.多个剪辑同屏播放 4.将一系列图像构造成视频 5.其他几种生成视频方法简介 八.小结 一.引言 在这个短视频和自媒体大行其道的年代,音视频剪辑成为了大佬们的必备工具,现在有很多音视频剪辑的软件,如剪

  • Python骚操作完美实现短视频伪原创

    1. 场景 大家好,我是J哥. 前段时间有人私信我,说自己辛辛苦苦剪辑的短视频,上传到某平台后,由于播放量太大,收到 降权 的通知,直接导致这个账号废掉了! 其实,各大视频平台都有自己的一套鉴别算法,针对视频的 二次创作,如果直接搬运,都会面临着一些未知风险 本篇将带大家用 Python 对短视频做一些特殊处理, 保证视频的 原创性 和 唯一性. 2. 实现 下面将从 MD5.光线.色彩 3 个方面来进行说明 第 1 步, 修改视频的 MD5 值 MD5 是一种密码散列函数,文件的 MD5 值可

  • Python+Selenium实现短视频热点爬取

    Python+Selenium实现短视频热点爬取

    目录 涉及知识点 目标分析 1. 分析热榜目录 2.分析视频播放页面 3. 分析弹出框 核心代码 1. 遍历热点目录 2. 获取真实短视频url 3. 下载视频 4. 关闭弹出的登录窗口 5. 保存日志 示例截图 总结 随着短视频的大火,不仅可以给人们带来娱乐,还有热点新闻时事以及各种知识,刷短视频也逐渐成为了日常生活的一部分.本文以一个简单的小例子,简述如何通过Pyhton依托Selenium来爬取短视频,仅供学习分享使用,如有不足之处,还请指正. 涉及知识点 1.selenium,作为浏览器

  • Python爬虫教程知识点总结

    一.为什么使用Python进行网络爬虫? 由于Python语言十分简洁,使用起来又非常简单.易学,通过Python 进行编写就像使用英语进行写作一样.另外Python 在使用中十分方便,并不需要IDE,而仅仅通过sublime text 就能够对大部分的中小应用进行开发:除此之外Python 爬虫的框架功能十分强大,它的框架能够对网络数据进行爬取,还能对结构性的数据进行提取,经常用在数据的挖掘.历史数据的存储和信息的处理等程序内:Python网络的支持库和html的解析器功能十分强大,借助网络的

随机推荐