python爬取bilibili网页排名,视频,播放量,点赞量,链接等内容并存储csv文件中

首先要了解html标签,标签有主有次,大致了解以一下,主标签是根标签,也是所有要爬取的标签的结合体

先了解一下待会要使用代码属性:

#获取属性
a.attrs  获取a所有的属性和属性值,返回一个字典
a.attrs['href']   获取href属性
a['href']   也可简写为这种形式
 
#获取内容
a.string      获取a标签的直系文本
注意:如果标签还有标签,那么string获取到的结果为None,而其它两个,可以获取文本内容
a.text     这是属性,获取a子类的所有文本
a.get_text()  这是方法,获取a标签子类的所有文本
 
#find   主要用于找到第一个符合要求的标签
a.find('a')              找到第一个符合要求的
a.find('a', title="xxx") 具有title=a属性的
a.find('a', alt="xxx")
a.find('a', class_="xxx")
a.find('a', id="xxx")
 
#find_all  用于找到所有符合要求的标签
a.find_all('a')
a.find_all(['a','b']) 找到所有的a和b标签
a.find_all('a', limit=2)  限制前两个
 
#根据选择器选择指定的内容
a.select('#feng')

我们今天要爬取的是bilibili网站,主要是作为一个练习,也没有太主要的作用,爬取的内容分别是

排名、视频名、视频集数、播放量、点赞量及视频链接,爬取完后要存储到csv文件内

 直接上代码:

# -*- coding: utf-8 -*-
import requests
from bs4 import BeautifulSoup
 
r = requests.get('https://www.bilibili.com/v/popular/rank/guochan')   #要爬取的网站链接
html = r.content
soup = BeautifulSoup(html,'html.parser')    #html.parser是解析器
div_people_list = soup.find('div', attrs={'class': 'rank-list-wrap'})
div_people_list_list = div_people_list.find('ul', attrs={'class': 'rank-list pgc-list'})
a_s = div_people_list.find_all('li', attrs={'class': 'rank-item'})
for a in a_s:    #排名
    for b in a.find_all('div', attrs={'class': 'info'}):
        for c in b.find_all('a', attrs={'target': '_blank'}):     #名称及链接
            for d in b.find('span', attrs={'class': 'data-box'}):   #获取视频集
                for e in b.find_all('span', attrs={'class': 'data-box'})[1:][:1]:  #循环播放数
                    for f in b.find_all('span', attrs={'class': 'data-box'})[2:][:2]:  # 循环点赞量
                        web = a['data-rank']  # 排名
 
                        name = c.string  # 名称
 
                        name_2 = d.string  # 全集
                        name_2_1 = name_2.replace(" ", "").replace("\t", "").strip()  # 去除多余空格
 
                        name_3 = e.get_text()  # 播放量
                        data_1 = name_3.replace(" ", "").replace("\n", "").replace("\t", "")
 
                        name_4 = f.get_text()  # 点赞量
                        data_2 = name_4.replace(" ", "").replace("\n", "").replace("\t", "")
 
                        url = c['href']  # 链接
                        print(web + '\t' + name + '\t\t\t' + name_2_1 + '\t\t\t\t' + data_1 + '\t\t\t\t'+ data_2+'\t\t\t\t' + f'http:{url}')

效果如下:

其实我在做一个爬虫的时候遇到很多的错误,就是html里的标签重复,需要使用[1:][:1]来选择标签,有的时候不是难,就是项目做的少

 我们现在来加上这个代码,把爬取的内容保存下来:

import csv
f = open('爬取文件.csv','w',encoding='gbk',newline='')  #写入文件
#基于文件对象构建 csv写入对象
csv_writer = csv.writer(f)
csv_writer.writerow(['排行','影片', '篇集','播放量','点赞量','视频链接'])
csv_writer.writerow([web, name, n,d,g,f'http:{url}'])

可以看到内容都存储到了csv文件内了,不是很乱,和刚刚dos窗口里的相比好了很多

完整代码如下:

# -*- coding: utf-8 -*-
import requests
from bs4 import BeautifulSoup
import csv
 
f = open('爬取文件.csv','w',encoding='gbk',newline='')  #写入文件
#基于文件对象构建 csv写入对象
csv_writer = csv.writer(f)
csv_writer.writerow(['排行','影片', '篇集','播放量','点赞量','视频链接'])
 
r = requests.get('https://www.bilibili.com/v/popular/rank/guochan')   #要爬取的网站链接
html = r.content
soup = BeautifulSoup(html,'html.parser')    #html.parser是解析器
div_people_list = soup.find('div', attrs={'class': 'rank-list-wrap'})
div_people_list_list = div_people_list.find('ul', attrs={'class': 'rank-list pgc-list'})
 
a_s = div_people_list.find_all('li', attrs={'class': 'rank-item'})
#a_s_2 = a_s.find_all('div', attrs={'class': 'info'})
for a in a_s:    #排名
    for b in a.find_all('div', attrs={'class': 'info'}):
        for c in b.find_all('a', attrs={'target': '_blank'}):     #名称及链接
            for d in b.find('span', attrs={'class': 'data-box'}):   #获取视频集
                for e in b.find_all('span', attrs={'class': 'data-box'})[1:][:1]:  #循环播放数
                    for f in b.find_all('span', attrs={'class': 'data-box'})[2:][:2]:  # 循环点赞量
                        web = a['data-rank']  # 排名
 
                        name = c.string  # 名称
 
                        name_2 = d.string  # 全集
                        name_2_1 = name_2.replace(" ", "").replace("\t", "").strip()  # 去除多余空格
 
                        name_3 = e.get_text()  # 播放量
                        data_1 = name_3.replace(" ", "").replace("\n", "").replace("\t", "")
 
                        name_4 = f.get_text()  # 点赞量
                        data_2 = name_4.replace(" ", "").replace("\n", "").replace("\t", "")
 
                        url = c['href']  # 链接
 
 
                        n = name_2.replace(" ", "").replace("\t", "").strip()  # 去除多余空格
 
                        d = name_3.replace(" ", "").replace("\t", "")
 
                        g = name_4.replace(" ", "").replace("\t", "")
                        #构建列表头
                        csv_writer.writerow([web, name, n,d,g,f'http:{url}'])

到此这篇关于python爬取bilibili网页排名,视频,播放量,点赞量,链接等内容并存储csv文件中的文章就介绍到这了,更多相关python爬取bilibili内容并存储csv文件中内容请搜索我们以前的文章或继续浏览下面的相关文章希望大家以后多多支持我们!

(0)

相关推荐

  • python爬虫爬取bilibili网页基本内容

    用爬虫爬取bilibili网站排行榜游戏类的所有名称及链接: 导入requests.BeautifulSoup import requests from bs4 import BeautifulSoup 然后我们需要插入网站链接并且要解析网站并打印出来: e = requests.get('https://www.bilibili.com/v/popular/rank/game')   #当前网站链接 html = e.content soup = BeautifulSoup(html,'htm

  • python爬取bilibili网页排名,视频,播放量,点赞量,链接等内容并存储csv文件中

    首先要了解html标签,标签有主有次,大致了解以一下,主标签是根标签,也是所有要爬取的标签的结合体 先了解一下待会要使用代码属性: #获取属性 a.attrs  获取a所有的属性和属性值,返回一个字典 a.attrs['href']   获取href属性 a['href']   也可简写为这种形式   #获取内容 a.string      获取a标签的直系文本 注意:如果标签还有标签,那么string获取到的结果为None,而其它两个,可以获取文本内容 a.text  这是属性,获取a子类的所

  • python 爬取B站原视频的实例代码

    B站原视频爬取,我就不多说直接上代码.直接运行就好. B站是把视频和音频分开.要把2个合并起来使用.这个需要分析才能看出来.然后就是登陆这块是比较难的. import os import re import argparse import subprocess import prettytable from DecryptLogin import login '''B站类''' class Bilibili(): def __init__(self, username, password, **

  • python爬取m3u8连接的视频

    本文为大家分享了python爬取m3u8连接的视频方法,供大家参考,具体内容如下 要求:输入m3u8所在url,且ts视频与其在同一路径下 #!/usr/bin/env/python #_*_coding:utf-8_*_ #Data:17-10-08 #Auther:苏莫 #Link:http://blog.csdn.net/lingluofengzang #PythonVersion:python2.7 #filename:download_movie.py import os import

  • Python爬取某平台短视频的方法

    前言 本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理. 基本开发环境 Python 3.6 Pycharm 相关模块的使用 import os import requests 安装Python并添加到环境变量,pip安装需要的相关模块即可. 一.确定需求 爬取搞笑趣味栏目的视频内容. 二.网站数据分析 首先需要明确一点,好看视频网站加载方式是懒加载的方式,需要你下滑网页才会加载出新的内容 加载出来的内容里面有音频播放地址以及标题. 内容比较简单

  • Python爬取某拍短视频

    一.抓取目标 目标网址:美拍视频 二.工具使用 开发环境:win10.python3.7 开发工具:pycharm.Chrome 工具包:requests.xpath.base64 三.重点学习内容 爬虫采集数据的解析过程 js代码调试技巧 js逆向解析代码 Python代码的转换 四.项目思路解析 进入到网站的首页 挑选你感兴趣的分类 根据首页地址获取到进入详情页面的超链接的跳转地址 找到对应加密的视频播放地址数据 这个数据是静态的网页数据,通过js代码进行解码的 找到对应的解析代码 先找到视

  • 使用python爬取抖音app视频的实例代码

    记录一下如何用python爬取app数据,本文以爬取抖音视频app为例. 编程工具:pycharm app抓包工具:mitmproxy app自动化工具:appium 运行环境:windows10 思路: 假设已经配置好我们所需要的工具 1.使用mitmproxy对手机app抓包获取我们想要的内容 2.利用appium自动化测试工具,驱动app模拟人的动作(滑动.点击等) 3.将1和2相结合达到自动化爬虫的效果 一.mitmproxy/mitmdump抓包 确保已经安装好了mitmproxy,并

  • 详解使用python爬取抖音app视频(appium可以操控手机)

    记录一下如何用python爬取app数据,本文以爬取抖音视频app为例. 编程工具:pycharm app抓包工具:mitmproxy app自动化工具:appium 运行环境:windows10 思路: 假设已经配置好我们所需要的工具 1.使用mitmproxy对手机app抓包获取我们想要的内容 2.利用appium自动化测试工具,驱动app模拟人的动作(滑动.点击等) 3.将1和2相结合达到自动化爬虫的效果 一.mitmproxy/mitmdump抓包 确保已经安装好了mitmproxy,并

  • python 爬取豆瓣网页的示例

    python作为一种已经广泛传播且相对易学的解释型语言,现如今在各方面都有着广泛的应用.而爬虫则是其最为我们耳熟能详的应用,今天笔者就着重针对这一方面进行介绍. python 语法简要介绍 python 的基础语法大体与c语言相差不大,由于省去了c语言中的指针等较复杂的结构,所以python更被戏称为最适合初学者的语言.而在基础语法之外,python由其庞大的第三方库组成,而其中包含多种模块,而通过模块中包含的各种函数与方法能够帮助我们实现各种各样的功能. 而在python爬虫中,我们需要用到的

  • Python爬取动态网页中图片的完整实例

    动态网页爬取是爬虫学习中的一个难点.本文将以知名插画网站pixiv为例,简要介绍动态网页爬取的方法. 写在前面 本代码的功能是输入画师的pixiv id,下载画师的所有插画.由于本人水平所限,所以代码不能实现自动登录pixiv,需要在运行时手动输入网站的cookie值. 重点:请求头的构造,json文件网址的查找,json中信息的提取 分析 创建文件夹 根据画师的id创建文件夹(相关路径需要自行调整). def makefolder(id): # 根据画师的id创建对应的文件夹 try: fol

随机推荐