Python爬虫获取国外大桥排行榜数据清单

目录
  • 目标站点分析
  • 编码时间

前言：

本例开始学习 PyQuery 解析框架，该解析对从前端转 Python 的朋友非常友好，因为它模拟的是 JQuery 操作。

正式开始前，先安装 pyquery 到本地开发环境中。命令如下：pip install pyquery ，我使用的版本为 1.4.3。

基本使用如下所示，看懂也就掌握了 5 成了，就这么简单。

from pyquery import PyQuery as pq
s = '<html><title>橡皮擦的PyQuery小课堂</title></html>'
doc = pq(s)
print(doc('title'))

输出如下内容：

<title>橡皮擦的PyQuery小课堂</title>

也可以直接将要解析的网址 URL 传递给 pyquery 对象，代码如下所示：

from pyquery import PyQuery as pq
url = "https://www.bilibili.com/"
doc = pq(url=url,encoding="utf-8")
print(doc('title')) # <title>哔哩哔哩 (゜-゜)つロ 干杯~-bilibili</title>

相同的思路，还可以通过文件初始化 pyquery 对象，只需要修改参数为 filename 即可。

基础铺垫过后，就可以进入到实操环节，下面是本次要抓取的目标案例分析。

目标站点分析

本次要采集的为 ：List of Highest International Bridges（最高国际桥梁名单），

页面呈现的数据如下所示：

在翻阅过程中发现多数都是中国设计的，果然我们基建世界第一。

翻页规则如下所示：

http://www.highestbridges.com/wiki/index.php?title=List_of_Highest_International_Bridges/Page_1
http://www.highestbridges.com/wiki/index.php?title=List_of_Highest_International_Bridges/Page_2
# 实测翻到第 13 页数据就空了，大概1200座桥梁
http://www.highestbridges.com/wiki/index.php?title=List_of_Highest_International_Bridges/Page_13

由于目标数据以表格形式存在，故直接按照表头提取数据即可。 Rank，Name，Height (meters / feet)，Main Span Length，Completed，Location，Country

编码时间

正式编码前，先拿第一页进行练手：

from pyquery import PyQuery as pq
url = "http://www.highestbridges.com/wiki/index.php?title=List_of_Highest_International_Bridges/Page_1"
doc = pq(url=url, encoding='utf-8')
print(doc('title'))
def remove(str):
    return str.replace("
", "").replace("\n", "")
# 获取所有数据所在的行，下面使用的是 css 选择器，称作 jquery 选择器也没啥问题
items = doc.find('table.wikitable.sortable tr').items()
for item in items:
    td_list = item.find('td')
    rank = td_list.eq(1).find("span.sorttext").text()
    name = td_list.eq(2).find("a").text()
    height = remove(td_list.eq(3).text())
    length = remove(td_list.eq(4).text())
    completed = td_list.eq(5).text()
    location = td_list.eq(6).text()
    country = td_list.eq(7).text()
    print(rank, name, height, length, completed, location, country)

代码整体写下来，发现依旧是对于选择器的依赖比较大，也就是需要熟练的操作选择器，选中目标元素，方便获取最终的数据。

将上述代码扩大到全部数据，修改成迭代采集：

from pyquery import PyQuery as pq
import time
def remove(str):
    return str.replace("
", "").replace("\n", "").replace(",", "，")
def get_data(page):
    url = "http://www.highestbridges.com/wiki/index.php?title=List_of_Highest_International_Bridges/Page_{}".format(
        page)
    print(url)
    doc = pq(url=url, encoding='utf-8')
    print(doc('title'))
    # 获取所有数据所在的行，下面使用的是 css 选择器，称作 jquery 选择器也没啥问题
    items = doc.find('table.wikitable.sortable tr').items()
    for item in items:
        td_list = item.find('td')
        rank = td_list.eq(1).find("span.sorttext").text()
        name = remove(td_list.eq(2).find("a").text())
        height = remove(td_list.eq(3).text())
        length = remove(td_list.eq(4).text())
        completed = remove(td_list.eq(5).text())
        location = remove(td_list.eq(6).text())
        country = remove(td_list.eq(7).text())
        data_tuple = (rank, name, height, length, completed, location, country)
        save(data_tuple)
def save(data_tuple):
    try:
        my_str = ",".join(data_tuple) + "\n"
        # print(my_str)
        with open(f"./data.csv", "a+", encoding="utf-8") as f:
            f.write(my_str)
            print("写入完毕")
    except Exception as e:
        pass
if __name__ == '__main__':
    for page in range(1, 14):
        get_data(page)
        time.sleep(3)

其中发现存在英文的逗号，统一进行修改，即 remove(str) 函数的应用。

到此这篇关于Python爬虫获取国外大桥排行榜数据清单的文章就介绍到这了,更多相关Python数据清单内容请搜索我们以前的文章或继续浏览下面的相关文章希望大家以后多多支持我们！

赞 (0)

相关推荐

  • 浅谈Python如何获取excel数据

    浅谈Python如何获取excel数据

    目录 一.列操作 二.行操作 总结 准备导入的excel为: 可以采用pandas的read_excel功能,具体代码如下: import pandas as pd getdata=pd.read_excel(r'C:/文件夹索引/文件名.xlsx', sheet_name='工作表sheet的名字') sheet_name不设置参数,就默认第一个工作表,同时也可设置工作表的位置,读取第5个工作表可以设置为=4. 一.列操作 如果对获取工作表其中的某列或者多列,可以使用usecols参数,比如读

  • Python Flask 请求数据获取响应详解

    目录 一,请求数据及其获取 1.1请求相关数据 1.2固定参数与转换器 1.3查询参数获取 1.4表单数据获取 1.5文件上传 1.6其他请求参数 二,响应数据之新书三件套 2.1字符串响应形式 2.2模板响应格式 2.3重定向响应形式 三,响应json数据与元组数据 3.1json数据响应 3.2元组数据响应 四,make_response()自定义响应 总结 一,请求数据及其获取 1.1请求相关数据 #请求参数 客户端的请求参数一般存在于三个地方 1,请求体 2,请求头 3,URL参数 1)

  • python获取http请求响应头headers中的数据的示例

    python获取http请求响应头headers中的数据的示例

    例如我要测试一个创建网络的接口,需要先拿token值,而获取token的接口请求成功后,将token存在了响应头headers,postman调接口如下,现在想要通过python获取下图中 X-Subject-Token的值,供后续接口使用 方法:仅需要python的requests库就可以实现 示例: #!/usr/bin/env python # -*- coding: utf-8 -*- # @File : 1.py # @Author: ttwang # @Date : 2022/2/1

  • Python利用PyQt5制作一个获取网络实时数据NBA数据播报GUI功能

    Python利用PyQt5制作一个获取网络实时数据NBA数据播报GUI功能

    制作NBA数据爬虫 捋顺思路 我们在这里选择的是百度体育带来的数据,我们在百度当中直接搜索NBA跳转到网页,我们可以看到,百度已经为我们提供了相关的数据 我们点击进去后,可以发现这是一个非常简洁的网址 我们看一下这个地址栏,发现毫无规律https://tiyu.baidu.com/live/detail/576O5Zu955S35a2Q6IGM5Lia56%2Bu55CD6IGU6LWbI2Jhc2tldGJhbGwjMjAyMS0wNi0xMyPniLXlo6t2c%2BWspritq%2Bi

  • Python Django获取URL中的数据详解

    Python Django获取URL中的数据详解

    目录 Django获取URL中的数据 URL路径参数 使用path函数 使用re_path函数 URL关键字形式 总结 Django获取URL中的数据 URL中的参数一般有两种形式.如下所示: 1. https://zy010101.blog.csdn.net/article/details/120816954 2. https://so.csdn.net/so/search?q=Django&t=blog&u=zy010101 我们将第一种形式称为"URL路径参数":

  • Python获取网页数据详解流程

    Python获取网页数据详解流程

    Requests 库是 Python 中发起 HTTP 请求的库,使用非常方便简单. 发送 GET 请求 当我们用浏览器打开东旭蓝天股票首页时,发送的最原始的请求就是 GET 请求,并传入url参数. import requests url='http://push2his.eastmoney.com/api/qt/stock/fflow/daykline/get' 用Python requests库的get函数得到数据并设置requests的请求头. header={ 'User-Agent'

  • Python爬虫获取国外大桥排行榜数据清单

    Python爬虫获取国外大桥排行榜数据清单

    目录 目标站点分析 编码时间 前言: 本例开始学习 PyQuery 解析框架,该解析对从前端转 Python 的朋友非常友好,因为它模拟的是 JQuery 操作. 正式开始前,先安装 pyquery 到本地开发环境中.命令如下:pip install pyquery ,我使用的版本为 1.4.3. 基本使用如下所示,看懂也就掌握了 5 成了,就这么简单. from pyquery import PyQuery as pq s = '<html><title>橡皮擦的PyQuery小

  • Python爬虫获取数据保存到数据库中的超详细教程(一看就会)

    Python爬虫获取数据保存到数据库中的超详细教程(一看就会)

    目录 1.简介介绍 2.Xpath获取页面信息 3.通过Xpath爬虫实操 3-1.获取xpath 完整代码展示: 总结 1.简介介绍 -网络爬虫(又称为网页蜘蛛,网络机器人,在FOAF社区中间,更经常的称为网页追逐者),是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本.另外一些不常使用的名字还有蚂蚁.自动索引.模拟程序或者蠕虫.-一般在浏览器上可以获取到的,通过爬虫也可以获取到,常见的爬虫语言有PHP,JAVA,C#,C++,Python,为啥我们经常听到说的都是Python爬虫,这是

  • python爬虫获取淘宝天猫商品详细参数

    首先我是从淘宝进去,爬取了按销量排序的所有(100页)女装的列表信息按综合.销量分别爬取淘宝女装列表信息,然后导出前100商品的 link,爬取其详细信息.这些商品有淘宝的,也有天猫的,这两个平台有些区别,处理的时候要注意.比如,有的说"面料".有的说"材质成分",其实是一个意思,等等.可以取不同的链接做一下测试. import re from collections import OrderedDict from bs4 import BeautifulSoup

  • python爬虫获取新浪新闻教学

    一提到python,大家经常会提到爬虫,爬虫近来兴起的原因我觉得主要还是因为大数据的原因,大数据导致了我们的数据不在只存在于自己的服务器,而python语言的简便也成了爬虫工具的首要语言,我们这篇文章来讲下爬虫,爬取新浪新闻 1. 大家知道,爬虫实际上就是模拟浏览器请求,然后把请求到的数据,经过我们的分析,提取出我们想要的内容,这也就是爬虫的实现 大家知道,爬虫实际上就是模拟浏览器请求,然后把请求到的数据,经过我们的分析,提取出我们想要的内容,这也就是爬虫的实现 2.首先,我们要写爬虫,可以借鉴

  • 使用python爬虫获取黄金价格的核心代码

    使用python爬虫获取黄金价格的核心代码

    继续练手,根据之前获取汽油价格的方式获取了金价,暂时没钱投资,看看而已 #!/usr/bin/env python # -*- coding: utf-8 -*- """ 获取每天黄金价格 @author: yufei @site: http://www.antuan.com 2017-05-11 """ import re import urllib2,urllib import random import threading import t

  • Python爬虫爬取、解析数据操作示例

    本文实例讲述了Python爬虫爬取.解析数据操作.分享给大家供大家参考,具体如下: 爬虫 当当网 http://search.dangdang.com/?key=python&act=input&page_index=1 获取书籍相关信息 面向对象思想 利用不同解析方式和存储方式 引用相关库 import requests import re import csv import pymysql from bs4 import BeautifulSoup from lxml import e

  • Python爬虫爬取电影票房数据及图表展示操作示例

    本文实例讲述了Python爬虫爬取电影票房数据及图表展示操作.分享给大家供大家参考,具体如下: 爬虫电影历史票房排行榜 http://www.cbooo.cn/BoxOffice/getInland?pIndex=1&t=0 Python爬取历史电影票房纪录 解析Json数据 横向条形图展示 面向对象思想 导入相关库 import requests import re from matplotlib import pyplot as plt from matplotlib import font

  • Python爬虫获取页面所有URL链接过程详解

    如何获取一个页面内所有URL链接?在Python中可以使用urllib对网页进行爬取,然后利用Beautiful Soup对爬取的页面进行解析,提取出所有的URL. 什么是Beautiful Soup? Beautiful Soup提供一些简单的.python式的函数用来处理导航.搜索.修改分析树等功能.它是一个工具箱,通过解析文档为用户提供需要抓取的数据,因为简单,所以不需要多少代码就可以写出一个完整的应用程序. Beautiful Soup自动将输入文档转换为Unicode编码,输出文档转换

  • 详解用Python爬虫获取百度企业信用中企业基本信息

    一.背景 希望根据企业名称查询其经纬度,所在的省份.城市等信息.直接将企业名称传给百度地图提供的API,得到的经纬度是非常不准确的,因此希望获取企业完整的地理位置,这样传给API后结果会更加准确. 百度企业信用提供了企业基本信息查询的功能.希望通过Python爬虫获取企业基本信息.目前已基本实现了这一需求. 本文最后会提供具体的代码.代码仅供学习参考,希望不要恶意爬取数据! 二.分析 以苏宁为例.输入"江苏苏宁"后,查询结果如下: 经过分析,这里列示的企业信息是用JavaScript动

  • Python爬虫获取op.gg英雄联盟英雄对位胜率的源码

    Python爬虫获取op.gg英雄联盟英雄对位胜率的源码

    通过第三方BeautifulSoup库来爬取op.gg网页静态数据 主要思路 op.gg网站 网站以出场率高低排名,并且列出对位胜率,在高出场率的前提下,胜率有很大的参考意义,在counter位很有帮助 通过开发者工具找到对应部位源码,发现数据就在源码中,证明这是一个静态数据,确定使用BeautifulSoup库. 源码 import requests from bs4 import BeautifulSoup championname={'阿卡丽 ':'akali','牛头':'alistar

随机推荐