Python实现微博动态图片爬取详解

由于微博的网页端有反爬虫,需要登录,所以我们换个思路,曲线救国。

我们找到微博在浏览器上面用于手机端的调试的APL,如何找到呢?

我这边直接附上微博的手机端的地址:https://m.weibo.cn/

1.模拟搜索用户

搜索一个用户获取到的api:

https://m.weibo.cn/api/container/getIndex?containerid=100103type=1&q=半半子&page_type=searchall

1.1 对api内参数进行处理

containerid=100103type=1&q=半半子 ——> containerid=100103type%3D1%26q%3D%E5%8D%8A%E5%8D%8A%E5%AD%90_

这个参数需要提前转码,否则无法获取数据

1.2 对用户名进行判断,通过后提取uid

2.获取more参数

GET

api : https://m.weibo.cn/profile/info?uid=2830125342

2.1 提取并处理more参数

3.循环提取图片id

GET

api : https://m.weibo.cn/api/container/getIndex?containerid=2304132830125342_-_WEIBO_SECOND_PROFILE_WEIBO&page_type=03&page=1

3.1 提取图片id——>pic_id

3.2 获取发送图片用户

3.3 根据动态创建时间生成用户唯一识别码

4.下载图片

我们从浏览器抓包中就会获取到后台服务器发给浏览器的图片链接

https://wx2.sinaimg.cn/large/pic_id.jpg

浏览器打开这个链接就可以直接下载图片

爬取完整代码:

import os
import sys
import time
from urllib.parse import quote

import requests

headers = {
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/95.0.4638.69 Safari/537.36'
}

def time_to_str(c_at):
    ti = time.strptime(c_at, '%a %b %d %H:%M:%S +0800 %Y')
    time_str = time.strftime('%Y%m%d%H%M%S', ti)
    return time_str

# 1. 搜索用户,获取uid
# 2. 通过uid获取空间动态关键参数
# 3. 获取动态内容
# 4. 提取图片参数
# 5. 下载图片

# 1. 搜索用户,获取uid
# ========= 用户名 =========
# 输入不同的用户名可切换下载的用户图片
# 用户名需要完全匹配
name = '半半子_'
# =========================

con_id = f'100103type=1&q={name}'
# 这个条件需要转码
con_id = quote(con_id, 'utf-8')
user_url = f'https://m.weibo.cn/api/container/getIndex?containerid={con_id}&page_type=searchall'
user_json = requests.get(url=user_url, headers=headers).json()
user_cards = user_json['data']['cards']
for card_num in range(len(user_cards)):
    if 'mblog' in user_cards[card_num]:
        if user_cards[card_num]['mblog']['user']['screen_name'] == name:
            print(f'正在获取{name}的空间')
            # 2. 通过uid获取空间动态关键参数
            user_id = user_cards[card_num]['mblog']['user']['id']
            info_url = f'https://m.weibo.cn/profile/info?uid={user_id}'
            info_json = requests.get(url=info_url, headers=headers).json()
            more_card = info_json['data']['more'].split("/")[-1]
            break
file_name = 'weibo'
if not os.path.exists(file_name):
    os.mkdir(file_name)

if len(more_card) == 0:
    sys.exit()
page_type = '03'
page = 0
while True:
    # 3. 获取动态内容
    page += 1
    url = f'https://m.weibo.cn/api/container/getIndex?containerid={more_card}&page_type={page_type}&page={page}'
    param = requests.get(url=url, headers=headers).json()
    cards = param['data']['cards']
    print(f'第 {page} 页')
    for i in range(len(cards)):
        card = cards[i]
        if card['card_type'] != 9:
            continue
        mb_log = card['mblog']
        # 4. 提取图片参数
        # 获取本人的图片
        pic_ids = mb_log['pic_ids']
        user_name = mb_log['user']['screen_name']
        created_at = mb_log['created_at']
        if len(pic_ids) == 0:
            # 获取转发的图片
            if 'retweeted_status' not in mb_log:
                continue
            if 'pic_ids' not in mb_log['retweeted_status']:
                continue
            pic_ids = mb_log['retweeted_status']['pic_ids']
            user_name = mb_log['retweeted_status']['user']['screen_name']
            created_at = mb_log['retweeted_status']['created_at']
        time_name = time_to_str(created_at)
        pic_num = 1
        print(f'======== {user_name} ========')
        # 5. 下载图片
        for pic_id in pic_ids:
            pic_url = f'https://wx2.sinaimg.cn/large/{pic_id}.jpg'
            pic_data = requests.get(pic_url, headers)
            # 文件名 用户名_日期(年月日时分秒)_编号.jpg
            # 例:半半子__20220212120146_1.jpg
            with open(f'{file_name}/{user_name}_{time_name}_{pic_num}.jpg', mode='wb') as f:
                f.write(pic_data.content)
                print(f'    正在下载:{pic_id}.jpg')
            pic_num += 1
        time.sleep(2)

到此这篇关于Python实现微博动态图片爬取详解的文章就介绍到这了,更多相关Python微博图片爬取内容请搜索我们以前的文章或继续浏览下面的相关文章希望大家以后多多支持我们!

(0)

相关推荐

  • 如何用Python实现自动发送微博

    目录 一.软件准备 1.安装Python 环境 2.安装selenium库 二.实现方法 2.1 使用 Selenium 工具自动化模拟浏览器,当前重点是了解对元素的定位 2.2 对元素进行的操作包括 2.3 注意 2.4 如何定位元素 三.完整代码 3.1 目前自动输入账号可能会弹出登录保护需扫二维码验证 通过cookie进行登录可跳过扫码登录,cookie过期后重新获取下cookie就可以了. 拓展:检测cookies有效性 拓展:定时每日自动发送 总结 一.软件准备 1.安装Python

  • Python爬虫采集微博视频数据

    目录 前言 知识点 开发环境 爬虫原理  案例实现 前言 随时随地发现新鲜事!微博带你欣赏世界上每一个精彩瞬间,了解每一个幕后故事.分享你想表达的,让全世界都能听到你的心声!今天我们通过python去采集微博当中好看的视频! 没错,今天的目标是微博数据采集,爬的是那些好看的小姐姐视频 知识点 requests pprint 开发环境 版 本:python 3.8 -编辑器:pycharm 2021.2 爬虫原理 作用:批量获取互联网数据(文本, 图片, 音频, 视频) 本质:一次次的请求与响应

  • Python模拟登录微博并爬取表情包

    一.开发工具 **Python****版本:**3.6.4 相关模块: DecryptLogin模块: argparse模块: requests模块: prettytable模块: tqdm模块: lxml模块: fake_useragent模块: 以及一些Python自带的模块. 二.环境搭建 安装Python并添加到环境变量,pip安装需要的相关模块即可. 三.原理简介 本来这个爬虫是想作为讲python异步爬虫的一个例子的,昨天代码写完测试了一下,结果是我微博账号和ip都直接被封了(并发数

  • python爬取微博评论的实例讲解

    python爬虫是程序员们一定会掌握的知识,练习python爬虫时,很多人会选择爬取微博练手.python爬虫微博根据微博存在于不同媒介上,所爬取的难度有差异,无论是python新入手的小白,还是已经熟练掌握的程序员,可以拿来练手.本文介绍python爬取微博评论的代码实例. 一.爬虫微博 与QQ空间爬虫类似,可以爬取新浪微博用户的个人信息.微博信息.粉丝.关注和评论等. 爬虫抓取微博的速度可以达到 1300万/天 以上,具体要视网络情况. 难度程度排序:网页端>手机端>移动端.微博端就是最好

  • python制作微博图片爬取工具

    有小半个月没有发博客了,因为一直在研究python的GUI,买了一本书学习了一些基础,用我所学做了我的第一款GUI--微博图片爬取工具.本软件源代码已经放在了博客中,另外软件已经打包好上传到网盘中以供下载学习. 一.准备工作 本次要用到以下依赖库:re json os random tkinter threading requests PIL 其中后两个需要安装后使用 二.预览 1.启动 2.运行中 3.结果 这里只将拿一张图片作为展示. 三.设计流程 设计流程分为总体设计和详细设计,这里我会使

  • Python 爬取微博热搜页面

    前期准备: fiddler 抓包工具Python3.6谷歌浏览器 分析: 1.清理浏览器缓存cookie以至于看到整个请求过程,因为Python代码开始请求的时候不带任何缓存.2.不考虑过多的header参数,先请求一次,看看返回结果 图中第一个链接是无缓存cookie直接访问的,状态码为302进行了重定向,用返回值.url会得到该url后面会用到(headers里的Referer参数值)2 ,3 链接没有用太大用处为第 4 个链接做铺垫但是都可以用固定参数可以不用访问 cb 和fp参数都是前两

  • Python实现微博动态图片爬取详解

    由于微博的网页端有反爬虫,需要登录,所以我们换个思路,曲线救国. 我们找到微博在浏览器上面用于手机端的调试的APL,如何找到呢? 我这边直接附上微博的手机端的地址:https://m.weibo.cn/ 1.模拟搜索用户 搜索一个用户获取到的api: https://m.weibo.cn/api/container/getIndex?containerid=100103type=1&q=半半子&page_type=searchall 1.1 对api内参数进行处理 containerid=

  • Python批量生成字幕图片的方法详解

    目录 说明 前提 放码 说明 视频剪辑时需要为视频添加字幕,添加字幕方法之一:根据字幕文本文件批量生成透明底只有字幕内容的图片文件,如下图,然后将这些图片文件添加到视频剪辑软件轨道中. 于是用pillow这Python图片工具库执行本次批量生成工作. 前提 pip intall pillow 放码 from PIL import Image, ImageDraw, ImageFont import os imageWidth, imageHeight = 1920, 1080 fontsFold

  • Python使用xpath实现图片爬取

    高性能异步爬虫 目的:在爬虫中使用异步实现高性能的数据爬取操作 异步爬虫的方式: - 多线程.多进程(不建议): 好处:可以为相关阻塞的操作单独开启多线程或进程,阻塞操作就可以异步执行; 弊端:无法无限制的开启多线程或多进程. - 线程池.进程池(适当的使用): 好处:我们可以降低系统对进程或线程创建和销毁的一个频率,从而很好的降低系统的开销: 弊端:池中线程或进程的数据是有上限的. 代码如下 # _*_ coding:utf-8 _*_ """ @FileName :6.4

  • python爬虫系列Selenium定向爬取虎扑篮球图片详解

    前言: 作为一名从小就看篮球的球迷,会经常逛虎扑篮球及湿乎乎等论坛,在论坛里面会存在很多精美图片,包括NBA球队.CBA明星.花边新闻.球鞋美女等等,如果一张张右键另存为的话真是手都点疼了.作为程序员还是写个程序来进行吧! 所以我通过Python+Selenium+正则表达式+urllib2进行海量图片爬取. 运行效果: http://photo.hupu.com/nba/tag/马刺 http://photo.hupu.com/nba/tag/陈露 源代码: # -*- coding: utf

  • python根据用户需求输入想爬取的内容及页数爬取图片方法详解

    本次小编向大家介绍的是根据用户的需求输入想爬取的内容及页数. 主要步骤: 1.提示用户输入爬取的内容及页码. 2.根据用户输入,获取网址列表. 3.模拟浏览器向服务器发送请求,获取响应. 4.利用xpath方法找到图片的标签. 5.保存数据. 代码用面向过程的形式编写的. 关键字:requests库,xpath,面向过程 现在就来讲解代码书写的过程: 1.导入模块 import parsel # 该模块主要用来将请求后的字符串格式解析成re,xpath,css进行内容的匹配 import req

  • python爬虫实战项目之爬取pixiv图片

    自从接触python以后就想着爬pixiv,之前因为梯子有点问题就一直搁置,最近换了个梯子就迫不及待试了下. 爬虫无非request获取html页面然后用正则表达式或者beautifulsoup之类现成工具截取我们想要的页面,pixiv也不例外. 首先我们来实现模拟登陆,虽然大多数情况不需要我们实现模拟登录,但如果你是会员之类的,登录和不登录网页就有区别.思路是登录时抓包抓到post请求,看pixiv构建的post的数据表格是什么格式,我们根据这个格式构建form,然后调用post方法去请求,再

  • 基于Python的Post请求数据爬取的方法详解

    为什么做这个 和同学聊天,他想爬取一个网站的post请求 观察 该网站的post请求参数有两种类型:(1)参数体放在了query中,即url拼接参数(2)body中要加入一个空的json对象,关于为什么要加入空的json对象,猜测原因为反爬虫.既有query参数又有空对象体的body参数是一件脑洞很大的事情. 一开始先在apizza网站 上了做了相关实验才发现上面这个规律的,并发现该网站的请求参数要为raw形式,要是直接写代码找规律不是一件容易的事情. 源码 import requests im

  • Python实现简单网页图片抓取完整代码实例

    利用python抓取网络图片的步骤是: 1.根据给定的网址获取网页源代码 2.利用正则表达式把源代码中的图片地址过滤出来 3.根据过滤出来的图片地址下载网络图片 以下是比较简单的一个抓取某一个百度贴吧网页的图片的实现: # -*- coding: utf-8 -*- # feimengjuan import re import urllib import urllib2 #抓取网页图片 #根据给定的网址来获取网页详细信息,得到的html就是网页的源代码 def getHtml(url): pag

  • Python爬虫之网页图片抓取的方法

    一.引入 这段时间一直在学习Python的东西,以前就听说Python爬虫多厉害,正好现在学到这里,跟着小甲鱼的Python视频写了一个爬虫程序,能实现简单的网页图片下载. 二.代码 __author__ = "JentZhang" import urllib.request import os import random import re def url_open(url): ''' 打开网页 :param url: :return: ''' req = urllib.reques

随机推荐