利用Python抓取阿里云盘资源
目录
- 网页分析
- 抓取与解析
- 模板
- 完整代码
- 总结
前阵子阿里云盘大火，送了好多的容量空间。而且阿里云盘下载是不限速，这点比百度网盘好太多了。这两天看到一个第三方网站可以搜索阿里云盘上的资源，但是它的资源顺序不是按时间排序的。这种情况会造成排在前面时间久远的资源是一个已经失效的资源。小编这里用 python 抓取后重新排序。
网页分析
这个网站有两个搜索路线：搜索线路一和搜索线路二，本文章使用的是搜索线路二。
打开控制面板下的网络，一眼就看到一个 seach.html 的 get 请求。
上面带了好几个参数，四个关键参数：
- page：页数，
- keyword：搜索的关键字
- category：文件分类，all(全部)，video(视频)，image(图片)，doc(文档)，audio(音频)，zip(压缩文件)，others(其他)，脚本中默认写 all
- search_model：搜索的线路
也是在控制面板中，看出这个网页跳转到阿里云盘获取真实的的链接是在标题上面的。用 bs4 解析页面上的 div(class=resource-item border-dashed-eee) 标签下的 a 标签就能得到跳转网盘的地址，解析 div 下的 p 标签获取资源日期。
抓取与解析
首先安装需要的 bs4 第三方库用于解析页面。
pip3 install bs4
下面是抓取解析网页的脚本代码，最后按日期降序排序。
import requests
from bs4 import BeautifulSoup
import string
word = input('请输入要搜索的资源名称：')
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.45 Safari/537.36'
}
result_list = []
for i in range(1, 11):
print('正在搜索第 {} 页'.format(i))
params = {
'page': i,
'keyword': word,
'search_folder_or_file': 0,
'is_search_folder_content': 0,
'is_search_path_title': 0,
'category': 'all',
'file_extension': 'all',
'search_model': 0
}
response_html = requests.get('https://www.alipanso.com/search.html', headers = headers,params=params)
response_data = response_html.content.decode()
soup = BeautifulSoup(response_data, "html.parser");
divs = soup.find_all('div', class_='resource-item border-dashed-eee')
if len(divs) <= 0:
break
for div in divs[1:]:
p = div.find('p',class_='em')
if p == None:
break
download_url = 'https://www.alipanso.com/' + div.a['href']
date = p.text.strip();
name = div.a.text.strip();
result_list.append({'date':date, 'name':name, 'url':download_url})
if len(result_list) == 0:
break
result_list.sort(key=lambda k: k.get('date'),reverse=True)
示例结果：
模板
上面抓取完内容后，还需要将内容一个个复制到 google 浏览器中访问，有点太麻烦了。要是直接点击一下能访问就好了。小编在这里就用 Python 的模板方式写一个 html 文件。
模板文件小编是用 elements-ui 做的，下面是关键的代码：
<body>
<div id="app">
<el-table :data="table" style="width: 100%" :row-class-name="tableRowClassName">
<el-table-column prop="date" label="日期" width="180"> </el-table-column>
<el-table-column prop="name" label="名称" width="600"> </el-table-column>
<el-table-column label="链接">
<template slot-scope="scope">
<a :href="'http://'+scope.row.url" rel="external nofollow"
target="_blank"
class="buttonText">{{scope.row.url}}</a>
</template>
</el-table>
</div>
<script>
const App = {
data() {
return {
table: ${elements}
};
}
};
const app = Vue.createApp(App);
app.use(ElementPlus);
app.mount("#app");
</script>
</body>
在 python 中读取这个模板文件，并将 ${elements} 关键词替换为上面的解析结果。最后生成一个 report.html 文件。
with open("aliso.html", encoding='utf-8') as t:
template = string.Template(t.read())
final_output = template.substitute(elements=result_list)
with open("report.html", "w", encoding='utf-8') as output:
output.write(final_output)
示例结果：
跳转到阿里云盘界面
完整代码
aliso.html
<html>
<head>
<meta charset="UTF-8" />
<meta name="viewport" content="width=device-width,initial-scale=1.0" />
<script src="https://unpkg.com/vue@next"></script>
<!-- import CSS -->
<link rel="stylesheet" href="https://unpkg.com/element-plus/dist/index.css">
<!-- import JavaScript -->
<script src="https://unpkg.com/element-plus"></script>
<title>阿里云盘资源</title>
</head>
<body>
<div id="app">
<el-table :data="table" style="width: 100%" :row-class-name="tableRowClassName">
<el-table-column prop="date" label="日期" width="180"> </el-table-column>
<el-table-column prop="name" label="名称" width="600"> </el-table-column>
<el-table-column label="链接">
<template v-slot="scope">
<a :href="scope.row.url"
target="_blank"
class="buttonText">{{scope.row.url}}</a>
</template>
</el-table>
</div>
<script>
const App = {
data() {
return {
table: ${elements}
};
}
};
const app = Vue.createApp(App);
app.use(ElementPlus);
app.mount("#app");
</script>
</body>
</html>
aliso.py
# -*- coding: UTF-8 -*-
import requests
from bs4 import BeautifulSoup
import string
word = input('请输入要搜索的资源名称：')
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.45 Safari/537.36'
}
result_list = []
for i in range(1, 11):
print('正在搜索第 {} 页'.format(i))
params = {
'page': i,
'keyword': word,
'search_folder_or_file': 0,
'is_search_folder_content': 0,
'is_search_path_title': 0,
'category': 'all',
'file_extension': 'all',
'search_model': 2
}
response_html = requests.get('https://www.alipanso.com/search.html', headers = headers,params=params)
response_data = response_html.content.decode()
soup = BeautifulSoup(response_data, "html.parser");
divs = soup.find_all('div', class_='resource-item border-dashed-eee')
if len(divs) <= 0:
break
for div in divs[1:]:
p = div.find('p',class_='em')
if p == None:
break
download_url = 'https://www.alipanso.com/' + div.a['href']
date = p.text.strip();
name = div.a.text.strip();
result_list.append({'date':date, 'name':name, 'url':download_url})
if len(result_list) == 0:
break
result_list.sort(key=lambda k: k.get('date'),reverse=True)
print(result_list)
with open("aliso.html", encoding='utf-8') as t:
template = string.Template(t.read())
final_output = template.substitute(elements=result_list)
with open("report.html", "w", encoding='utf-8') as output:
output.write(final_output)
总结
用 python 做一些小爬虫，不仅去掉网站上烦人的广告，也更加的便利了。
以上就是利用Python抓取阿里云盘资源的详细内容，更多关于Python抓取云盘资源的资料请关注我们其它相关文章！
相关推荐
-
使用Python编写简单网络爬虫抓取视频下载资源
我第一次接触爬虫这东西是在今年的5月份,当时写了一个博客搜索引擎,所用到的爬虫也挺智能的,起码比电影来了这个站用到的爬虫水平高多了! 回到用Python写爬虫的话题. Python一直是我主要使用的脚本语言,没有之一.Python的语言简洁灵活,标准库功能强大,平常可以用作计算器,文本编码转换,图片处理,批量下载,批量处理文本等.总之我很喜欢,也越用越上手,这么好用的一个工具,一般人我不告诉他... 因为其强大的字符串处理能力,以及urllib2,cookielib,re,threading这些
-
Python 一键获取百度网盘提取码的方法
该 GIF 图来自于官网,文末有给出链接. 描述 依托于百度网盘巨大的的云存储空间,绝大数人会习惯性的将一些资料什么的存储到上面,但是有的私密链接需要提取码,但是让每个想下载私密资源的人记住每一个提取码显然是不现实的.这个时候,云盘万能钥匙 诞生了,我们通过安装相应的浏览器插件就可以自动获获取相应链接的提取码.我在 Github 上看了一下,有 Web JS 版的, python 版的貌似还没有找到,所以我参照了JS 版本和官网的请求接口写了两种方式的获取脚本. 实现 下述两种方式的具体实现就不
-
Python实现115网盘自动下载的方法
本文实例讲述了Python实现115网盘自动下载的方法.分享给大家供大家参考.具体实现方法如下: 实例中的1.txt,是网页http://bbs.pediy.com/showthread.php?t=144788另存为1.txt 通过每3秒钟复制一个下载链接到粘贴板,复制时会自动调用115客户端下载,每下载10个文件会手工输入一个字符,防止一下下载太多,卡死机器 具体代码如下: import re, os, time import webbrowser import urllib if __na
-
python3实现抓取网页资源的 N 种方法
这两天学习了python3实现抓取网页资源的方法,发现了很多种方法,所以,今天添加一点小笔记. 1.最简单 import urllib.request response = urllib.request.urlopen('http://python.org/') html = response.read() 2.使用 Request import urllib.request req = urllib.request.Request('http://python.org/') response
-
基于Python爬取爱奇艺资源过程解析
像iqiyi这种视频网站,现在下载视频都需要下载相应的客户端.那么如何不用下载客户端,直接下载非vip视频? 选择你想要爬取的内容 该安装的程序以及运行环境都配置好 下面这段代码就是我在爱奇艺里搜素"英文名",然后出来的视频,共有20页,那么我们便从第一页开始,解析网页,然后分析 分析每一页网址,找出规律就可以直接得到所有页面 然后根据每一个视频的URL的标签,如'class' 'div' 'href'......通过bs4库进行爬取 而其他的信息则是直接循环所爬取到的URL,在每一个
-
使用Python多线程爬虫爬取电影天堂资源
最近花些时间学习了一下Python,并写了一个多线程的爬虫程序来获取电影天堂上资源的迅雷下载地址,代码已经上传到GitHub上了,需要的同学可以自行下载.刚开始学习python希望可以获得宝贵的意见. 先来简单介绍一下,网络爬虫的基本实现原理吧.一个爬虫首先要给它一个起点,所以需要精心选取一些URL作为起点,然后我们的爬虫从这些起点出发,抓取并解析所抓取到的页面,将所需要的信息提取出来,同时获得的新的URL插入到队列中作为下一次爬取的起点.这样不断地循环,一直到获得你想得到的所有的信息爬虫的任务
-
利用Python抓取阿里云盘资源
目录 网页分析 抓取与解析 模板 完整代码 总结 前阵子阿里云盘大火,送了好多的容量空间.而且阿里云盘下载是不限速,这点比百度网盘好太多了.这两天看到一个第三方网站可以搜索阿里云盘上的资源,但是它的资源顺序不是按时间排序的.这种情况会造成排在前面时间久远的资源是一个已经失效的资源.小编这里用 python 抓取后重新排序. 网页分析 这个网站有两个搜索路线:搜索线路一和搜索线路二,本文章使用的是搜索线路二. 打开控制面板下的网络,一眼就看到一个 seach.html 的 get 请求. 上面带了
-
利用Python抓取行政区划码的方法
前言 国家统计局网站上有相对比较齐的行政区划码,对于一些网站来说这是非常基础的数据,所以写了个Python程序将这部分数据抓取下来. 注意:抓取下来以后还要进行简单的人工的整理 示例代码: # -*- coding:utf-8 -*- ''' 获取国家统计局上的行政区划码 ''' import requests,re base_url = 'http://www.stats.gov.cn/tjsj/tjbz/xzqhdm/201504/t20150415_712722.html' def get
-
Python抓取手机号归属地信息示例代码
前言 本文给大家介绍的是利用Python抓取手机归属地信息,文中给出了详细的示例代码,相信对大家的理解和学习很有帮助,以下为Python代码,较为简单,供参考. 示例代码 # -*- coding:utf-8 -*- import requests,re o = open('data.txt','a') e = open('error.txt','a') baseUrl = 'http://www.iluohe.com/' r = requests.get('http://www.iluohe.
-
如何用python抓取B站数据
概述 可以获取的数据包括: video-视频模块 user-用户模块 dynamic-动态模块 这次用"Running Man"十周年特辑的视频,来做个获取弹幕的Demo. 我是对比 没有对比,就没有伤害,就像最近的"哈工大"某学生和"浙大"某学生一样. 这是之前获取弹幕的过程: 1.弹幕数据接口 https://comment.bilibili.com/123072475.xml (一个固定的url地址 + 视频的cid + .xml) 2.利
-
python抓取需要扫微信登陆页面
一,抓取情况描述 1.抓取的页面需要登陆,以公司网页为例,登陆网址https://app-ticketsys.hezongyun.com/index.php ,(该网页登陆方式微信扫码登陆) 2.需要抓取的内容如下图所示: 需要提取 工单对应编号,如TK-2960 工单发起时间,如2018-08-17 11:12:13 工单标题内容,如设备故障 工单正文内容,如最红框所示 二,网页分析 1.按按Ctrl + Shift + I或者鼠标右键点击检查进入开发人员工具. 可以看到页面显示如下: 主
-
利用python-pypcap抓取带VLAN标签的数据包方法
1.背景介绍 在采用通常的socket抓包方式下,操作系统会自动将收到包的VLAN信息剥离,导致上层应用收到的包不会含有VLAN标签信息.而libpcap虽然是基于socket实现抓包,但在收到数据包后,会进一步恢复出剥离的VLAN信息,能够满足需要抓取带VLAN标签信息的数据包的需求场景. python-pypcap包是对libpcap库的python语言封装,本文主要介绍如果利用python-pypcap在网络接口抓取带VLAN标签的数据包. 2.环境准备 libpcap-0.9.4 pyt
-
python抓取网页内容并进行语音播报的方法
python2.7,下面是跑在window上的,稍作修改就可以跑在linux上. 实测win7和raspbian均可,且raspbian可以直接调用omxplayer命令进行播放. 利用百度的语音合成api进行语音播报,抓取的页面是北大未名BBS的十大. 先放抓取模块BDWM.py的代码: # -*- coding: utf-8 -*- import urllib2 import HTMLParser class MyParser(HTMLParser.HTMLParser): def __in
-
python实现监控阿里云账户余额功能
背景 由于阿里云oss,cdn消耗钱的速度比较快,在不知道的情况下,服务就被停了,影响比较大.所以想做个监控.百度一下阿里云账户余额 api 还真有:于是开启了踩坑之路. 查阅资料创建accessKeyId和accessKeySecret 官方文档(感觉并不细致) https://help.aliyun.com/document_detail/87997.html?spm=a2c6h.13066369.0.0.59e4581eaxXH1O sdk https://developer.aliyun
-
阿里云盘邀请码(内测码)真实可用免费分享每日限量激活，另附阿里云盘申请与下载地址
阿里云盘自8月份被首次爆料后已经引起相当多的网友关注,能引起关注主要是阿里云盘标榜的是不限下载速度. 而某度网盘虽然前期提供的空间容量非常大,但现在某度网盘对非超级会员用户限速严重几乎无法正常下载文件. 在这种情况下标榜不限制下载速度的阿里云盘自然让用户期待,阿里云盘对普通用户提供的免费容量空间为1TB. 但具体下载速度方面阿里云盘从未明说过,在阿里云盘官网也只是速度更快,那么阿里云盘的速度到底有多快呢? 注:本文主要说的是阿里云盘,阿里云还有个产品是 Teambition 网盘,但该网盘与阿里
-
再分享6个可无限激活阿里云盘邀请码，不信你不能激活阿里云盘
阿里云盘距离上次更新已过去不少时间了,据网友反应已经有部分前期参加"个人种子"活动的用户使用上了阿里云盘. 上次小编为大家分享了2个阿里云盘邀请码,小编与身边同事都成功激活阿里云盘.小编是晚上激活成功的,而小编的同事是在中午激活成功,下面是小编激活成功的阿里云盘APP主界面 使用阿里云盘邀请码激活界面 使用阿里云盘邀请码成功激活后的阿里云盘APP主界面 这次再为大家分享6个无限激活阿里云盘邀请码,一个一个试小编就不信你激活不了阿里云盘APP,这些阿里云盘邀请码都可以重复使用,如果这次没