python采集天气数据并做数据可视化

前言

最近天气好像有了点小脾气,总是在万分晴朗得时候耍点小性子~

阴会天,下上一会的雨~提醒我们时刻记得带伞哦,不然会被雨淋或者被太阳公公晒到

那么今天我就来分享一下采集天气数据 并做数据可视化的代码吧~

知识点:

动态数据抓包

requests发送请求

结构化+非结构化数据解析

开发环境:

  • python 3.8 运行代码
  • pycharm 2021.2 辅助敲代码
  • requests

如果安装python第三方模块:

  • win + R 输入 cmd 点击确定, 输入安装命令 pip install 模块名 (pip install requests) 回车
  • 在pycharm中点击Terminal(终端) 输入安装命令

代码实现:

  • 发送请求
  • 获取数据
  • 解析数据
  • 保存数据

采集天气数据代码

导入模块

import requests     # 第三方模块 提前安装  发送请求 (Python里面浏览器)  爆红是因为你没有安装模块
# 如果安装了 但还是爆红是因为什么呢? 解释器在pycharm里面配置的不对
import parsel
import csv
# 翻译插件
with open('天气.csv', mode='a', encoding='utf-8', newline='') as f:
    csv_writer = csv.writer(f)
    csv_writer.writerow(["日期", "最高温度", "最低温度", "天气", "风向", "城市"])
city_list = [54511, 58362, 59287, 59493]
for city in city_list:
    for year in range(2011, 2022):
        for month in range(1, 13):
            url = f'https://tianqi.2345.com/Pc/GetHistory?areaInfo%5BareaId%5D={city}&areaInfo%5BareaType%5D=2&date%5Byear%5D={year}&date%5Bmonth%5D={month}'

1. 发送请求

            response = requests.get(url=url)
            # <Response [200]>: 请求成功

2. 获取数据

            # json数据传输格式
            json_data = response.json()
            # 字典类型数据

3. 解析数据

            # 结构化数据解析
            html_data = json_data['data']
            selector = parsel.Selector(html_data)
            # 正则 css xpath json字典数据解析
            tr_list = selector.css('.history-table tr')
            # tr_list[1:] 从列表的第二个元素开始取
            for tr in tr_list[1:]:
                # <X>fhwaeuifhwiuf</X>
                td = tr.css('td::text').getall()
                if td[2] == '°':
                    td[2] = td[1]
                if city == 54511:
                    td.append("北京")
                elif city == 58362:
                    td.append("上海")
                elif city == 59287:
                    td.append("广州")
                elif city == 59493:
                    td.append("深圳")
                print(td)
                # 文件名 写入方式 追加写入  编码方式 utf-8  数据空行
                with open('天气.csv', mode='a', encoding='utf-8', newline='') as f:
                    csv_writer = csv.writer(f)
                    csv_writer.writerow(td)

数据分析代码

导入包

import pandas as pd
import datetime
from pyecharts import options as opts
from pyecharts.charts import *
from pyecharts.commons.utils import JsCode

读入数据

data = pd.read_csv('天气.csv')
data

数据预览

data.sample(5)

data.info()

分割日期/星期

data[['日期','星期']] = data['日期'].str.split(' ',expand=True,n=1)
data

去除多余字符

data[['最高温度','最低温度']] = data[['最高温度','最低温度']].apply(lambda x: x.str.replace('°',''))
data.head()

计算下雪天气

代码如下:

data.loc[data['天气'].str.contains('雪'),'下雪吗']='是'data.fillna('否',inplace=True)

分割日期时间

代码如下:

data['日期'] = pd.to_datetime(data['日期'])data[['最高温度','最低温度']] = data[['最高温度','最低温度']].astype('int')data['年份'] = data['日期'].dt.yeardata['月份'] = data['日期'].dt.monthdata['日'] = data['日期'].dt.day# 预览data.sample(5)

各城市初雪的时间

代码如下:

s_data = data[data['下雪吗']=='是']s_data[(s_data['月份']>=9)].groupby('年份').first().reset_index()

各城市下雪天气分布

代码如下:

s_data.groupby(['城市','年份'])['日期'].count().to_frame('下雪天数').reset_index()

做透视表

代码如下:

data_bj = data[(data['年份'] == 2021) & (data['城市'] == '北京')]data_bj = data_bj.groupby(['月份','天气'], as_index=False)['日期'].count()data_pivot = pd.pivot(data_bj, values='日期', index='月份', columns='天气')data_pivot = data_pivot.astype('float')# 按照 索引年月倒序排序data_pivot.sort_index(ascending=False,inplace=True)# 资料、解答、教程可加Q :261823976免费领 data_pivot

北上广深2021年10月份天气热力图分布

代码如下:

import matplotlib.pyplot as pltimport matplotlib.colors as mcolorsimport seaborn as sns#设置全局默认字体 为 雅黑plt.rcParams['font.family'] = ['Microsoft YaHei'] # 设置全局轴标签字典大小plt.rcParams["axes.labelsize"] = 14 # 设置背景sns.set_style("darkgrid",{"font.family":['Microsoft YaHei', 'SimHei']}) # 设置画布长宽 和 dpiplt.figure(figsize=(18,8),dpi=100)# 自定义色卡cmap = mcolors.LinearSegmentedColormap.from_list("n",['#95B359','#D3CF63','#E0991D','#D96161','#A257D0','#7B1216']) # 绘制热力图ax = sns.heatmap(data_pivot, cmap=cmap, vmax=30, annot=True, # 热力图上显示数值 linewidths=0.5, ) # 将x轴刻度放在最上面ax.xaxis.set_ticks_position('top') plt.title('北京最近10个月天气分布',fontsize=16) #图片标题文本和字体大小plt.show()data_gz= data[(data['年份'] == 2021) & (data['城市'] == '广州')]data_gz = data_gz.groupby(['月份','天气'], as_index=False)['日期'].count()data_sz= data[(data['年份'] == 2021) & (data['城市'] == '深圳')]data_sz = data_sz.groupby(['月份','天气'], as_index=False)['日期'].count()data_sh= data[(data['年份'] == 2021) & (data['城市'] == '上海')]data_sh = data_sh.groupby(['月份','天气'], as_index=False)['日期'].count()data_pivot_sz = pd.pivot(data_sz, values='日期', index='月份', columns='天气')data_pivot_sz = data_pivot_sz.astype('float')# 按照 索引年月倒序排序data_pivot_sz.sort_index(ascending=False,inplace=True)#设置全局默认字体 为 雅黑plt.rcParams['font.family'] = ['Microsoft YaHei'] # 设置全局轴标签字典大小plt.rcParams["axes.labelsize"] = 14 # 设置背景sns.set_style("darkgrid",{"font.family":['Microsoft YaHei', 'SimHei']}) # 设置画布长宽 和 dpiplt.figure(figsize=(18,8),dpi=100)# 自定义色卡cmap = mcolors.LinearSegmentedColormap.from_list("n",['#95B359','#D3CF63','#E0991D','#D96161','#A257D0','#7B1216']) # 绘制热力图ax_sz = sns.heatmap(data_pivot_sz, cmap=cmap, vmax=31, annot=True, # 热力图上显示数值 linewidths=0.5, ) # 将x轴刻度放在最上面ax_sz.xaxis.set_ticks_position('top') plt.title('深圳最近10个月天气分布',fontsize=16) #图片标题文本和字体大小plt.show()data_pivot_gz = pd.pivot(data_gz, values='日期', index='月份', columns='天气')data_pivot_gz = data_pivot_gz.astype('float')# 按照 索引年月倒序排序data_pivot_gz.sort_index(ascending=False,inplace=True)#设置全局默认字体 为 雅黑plt.rcParams['font.family'] = ['Microsoft YaHei'] # 设置全局轴标签字典大小plt.rcParams["axes.labelsize"] = 14 # 设置背景sns.set_style("darkgrid",{"font.family":['Microsoft YaHei', 'SimHei']}) # 设置画布长宽 和 dpiplt.figure(figsize=(18,8),dpi=100)# 自定义色卡cmap = mcolors.LinearSegmentedColormap.from_list("n",['#95B359','#D3CF63','#E0991D','#D96161','#A257D0','#7B1216']) # 绘制热力图ax_sz = sns.heatmap(data_pivot_gz, cmap=cmap, vmax=31, annot=True, # 热力图上显示数值 linewidths=0.5, ) # 将x轴刻度放在最上面ax_sz.xaxis.set_ticks_position('top') plt.title('广州最近10个月天气分布',fontsize=16) #图片标题文本和字体大小plt.show()# 资料、解答、教程可加Q :261823976免费领 data_pivot_sh = pd.pivot(data_sh, values='日期', index='月份', columns='天气')data_pivot_sh = data_pivot_sh.astype('float')# 按照 索引年月倒序排序data_pivot_sh.sort_index(ascending=False,inplace=True)#设置全局默认字体 为 雅黑plt.rcParams['font.family'] = ['Microsoft YaHei'] # 设置全局轴标签字典大小plt.rcParams["axes.labelsize"] = 14 # 设置背景sns.set_style("darkgrid",{"font.family":['Microsoft YaHei', 'SimHei']}) # 设置画布长宽 和 dpiplt.figure(figsize=(18,8),dpi=100)# 自定义色卡cmap = mcolors.LinearSegmentedColormap.from_list("n",['#95B359','#D3CF63','#E0991D','#D96161','#A257D0','#7B1216']) # 绘制热力图ax_sz = sns.heatmap(data_pivot_sh, cmap=cmap, vmax=31, annot=True, # 热力图上显示数值 linewidths=0.5, ) # 将x轴刻度放在最上面ax_sz.xaxis.set_ticks_position('top') plt.title('上海最近10个月天气分布',fontsize=16) #图片标题文本和字体大小plt.show()data_bj = data[(data['城市']=='北京') & (data['年份'] == 2021)]data_bj['日期'] = pd.to_datetime(data_bj.日期,format="%Y年%m月%d日")data_bj = data_bj.sort_values(by='日期',ascending=True)

北京2021年每日最高最低温度变化

代码如下:

color0 = ['#FF76A2','#24ACE6']color_js0 = """new echarts.graphic.LinearGradient(0, 1, 0, 0, [{offset: 0, color: '#FFC0CB'}, {offset: 1, color: '#ed1941'}], false)"""color_js1 = """new echarts.graphic.LinearGradient(0, 1, 0, 0, [{offset: 0, color: '#FFFFFF'}, {offset: 1, color: '#009ad6'}], false)"""tl = Timeline()for i in range(0,len(data_bj)): coordy_high = list(data_bj['最高温度'])[i] coordx = list(data_bj['日期'])[i] coordy_low = list(data_bj['最低温度'])[i] x_max = list(data_bj['日期'])[i]+datetime.timedelta(days=10) y_max = int(max(list(data_bj['最高温度'])[0:i+1]))+3 y_min = int(min(list(data_bj['最低温度'])[0:i+1]))-3 title_date = list(data_bj['日期'])[i].strftime('%Y-%m-%d') c = ( Line( init_opts=opts.InitOpts( theme='dark', #设置动画 animation_opts=opts.AnimationOpts(animation_delay_update=800),#(animation_delay=1000, animation_easing="elasticOut"), #设置宽度、高度 width='1500px', height='900px', ) ) .add_xaxis(list(data_bj['日期'])[0:i]) .add_yaxis( series_name="", y_axis=list(data_bj['最高温度'])[0:i], is_smooth=True,is_symbol_show=False, linestyle_opts={ 'normal': { 'width': 3, 'shadowColor': 'rgba(0, 0, 0, 0.5)', 'shadowBlur': 5, 'shadowOffsetY': 10, 'shadowOffsetX': 10, 'curve': 0.5, 'color': JsCode(color_js0) } }, itemstyle_opts={ "normal": { "color": JsCode( """new echarts.graphic.LinearGradient(0, 0, 0, 1, [{ offset: 0, color: '#ed1941' }, { offset: 1, color: '#009ad6' }], false)""" ), "barBorderRadius": [45, 45, 45, 45], "shadowColor": "rgb(0, 160, 221)", } }, ) .add_yaxis( series_name="", y_axis=list(data_bj['最低温度'])[0:i], is_smooth=True,is_symbol_show=False,# linestyle_opts=opts.LineStyleOpts(color=color0[1],width=3), itemstyle_opts=opts.ItemStyleOpts(color=JsCode(color_js1)), linestyle_opts={ 'normal': { 'width': 3, 'shadowColor': 'rgba(0, 0, 0, 0.5)', 'shadowBlur': 5, 'shadowOffsetY': 10, 'shadowOffsetX': 10, 'curve': 0.5, 'color': JsCode(color_js1) } }, ) .set_global_opts( title_opts=opts.TitleOpts("北京2021年每日最高最低温度变化\n\n{}".format(title_date),pos_left=330,padding=[30,20]), xaxis_opts=opts.AxisOpts(type_="time",max_=x_max),#, interval=10,min_=i-5,split_number=20,axistick_opts=opts.AxisTickOpts(length=2500),axisline_opts=opts.AxisLineOpts(linestyle_opts=opts.LineStyleOpts(color="grey")) yaxis_opts=opts.AxisOpts(min_=y_min,max_=y_max),#坐标轴颜色,axisline_opts=opts.AxisLineOpts(linestyle_opts=opts.LineStyleOpts(color="grey")) ) ) tl.add(c, "{}".format(list(data_bj['日期'])[i])) tl.add_schema( axis_type='time', play_interval=100, # 表示播放的速度 pos_bottom="-29px", is_loop_play=False, # 是否循环播放 width="780px", pos_left='30px', is_auto_play=True, # 是否自动播放。 is_timeline_show=False)tl.render_notebook()# 资料、解答、教程可加Q :261823976免费领 data_10 = data[(data['年份'] == 2021) & ( data['月份'] == 10)]data_10.head()

北上广深10月份每日最高气温变化

代码如下:

# 背景色background_color_js = ( "new echarts.graphic.LinearGradient(0, 0, 0, 1, " "[{offset: 0, color: '#c86589'}, {offset: 1, color: '#06a7ff'}], false)")# 线条样式linestyle_dic = { 'normal': { 'width': 4, 'shadowColor': '#696969', 'shadowBlur': 10, 'shadowOffsetY': 10, 'shadowOffsetX': 10, } } timeline = Timeline(init_opts=opts.InitOpts(bg_color=JsCode(background_color_js), width='980px',height='600px'))bj, gz, sh, sz= [], [], [], []all_max = []x_data = data_10[data_10['城市'] == '北京']['日'].tolist()for d_time in range(len(x_data)): bj.append(data_10[(data_10['日'] == x_data[d_time]) & (data_10['城市']=='北京')]["最高温度"].values.tolist()[0]) gz.append(data_10[(data_10['日'] == x_data[d_time]) & (data_10['城市']=='广州')]["最高温度"].values.tolist()[0]) sh.append(data_10[(data_10['日'] == x_data[d_time]) & (data_10['城市']=='上海')]["最高温度"].values.tolist()[0]) sz.append(data_10[(data_10['日'] == x_data[d_time]) & (data_10['城市']=='深圳')]["最高温度"].values.tolist()[0]) line = ( Line(init_opts=opts.InitOpts(bg_color=JsCode(background_color_js), width='980px',height='600px')) .add_xaxis( x_data, ) .add_yaxis( '北京', bj, symbol_size=5, is_smooth=True, is_hover_animation=True, label_opts=opts.LabelOpts(is_show=False), ) .add_yaxis( '广州', gz, symbol_size=5, is_smooth=True, is_hover_animation=True, label_opts=opts.LabelOpts(is_show=False), ) .add_yaxis( '上海', sh, symbol_size=5, is_smooth=True, is_hover_animation=True, label_opts=opts.LabelOpts(is_show=False), ) .add_yaxis( '深圳', sz, symbol_size=5, is_smooth=True, is_hover_animation=True, label_opts=opts.LabelOpts(is_show=False), ) .set_series_opts(linestyle_opts=linestyle_dic) .set_global_opts( title_opts=opts.TitleOpts( title='北上广深10月份最高气温变化趋势', pos_left='center', pos_top='2%', title_textstyle_opts=opts.TextStyleOpts(color='#DC143C', font_size=20)), tooltip_opts=opts.TooltipOpts( trigger="axis", axis_pointer_type="cross", background_color="rgba(245, 245, 245, 0.8)", border_width=1, border_color="#ccc", textstyle_opts=opts.TextStyleOpts(color="#000"), ), xaxis_opts=opts.AxisOpts(# axislabel_opts=opts.LabelOpts(font_size=14, color='red'),# axisline_opts=opts.AxisLineOpts(is_show=True,# linestyle_opts=opts.LineStyleOpts(width=2, color='#DB7093')) is_show = False ), # 资料、解答、教程可加Q :261823976免费领 yaxis_opts=opts.AxisOpts( name='最高气温', is_scale=True,# min_= int(min([gz[d_time],sh[d_time],sz[d_time],bj[d_time]])) - 10, max_= int(max([gz[d_time],sh[d_time],sz[d_time],bj[d_time]])) + 10, name_textstyle_opts=opts.TextStyleOpts(font_size=16,font_weight='bold',color='#5470c6'), axislabel_opts=opts.LabelOpts(font_size=13,color='#5470c6'), splitline_opts=opts.SplitLineOpts(is_show=True, linestyle_opts=opts.LineStyleOpts(type_='dashed')), axisline_opts=opts.AxisLineOpts(is_show=True, linestyle_opts=opts.LineStyleOpts(width=2, color='#5470c6')) ), legend_opts=opts.LegendOpts(is_show=True, pos_right='1%', pos_top='2%', legend_icon='roundRect',orient = 'vertical'), )) timeline.add(line, '{}'.format(x_data[d_time]))timeline.add_schema( play_interval=1000, # 轮播速度 is_timeline_show=True, # 是否显示 timeline 组件 is_auto_play=True, # 是否自动播放 pos_left="0", pos_right="0")timeline.render_notebook()

效果展示(部分)


尾语

成功没有快车道,幸福没有高速路。

所有的成功,都来自不倦地努力和奔跑,所有的幸福都来自平凡的奋斗和坚持

——励志语录

本文章就写完啦~感兴趣的小伙伴可以复制代码去试试

你们的支持是我最大的动力!!记得三连哦~ 欢迎大家阅读往期的文章呀~

(0)

相关推荐

  • python采集天气数据并做数据可视化

    前言 最近天气好像有了点小脾气,总是在万分晴朗得时候耍点小性子~ 阴会天,下上一会的雨~提醒我们时刻记得带伞哦,不然会被雨淋或者被太阳公公晒到 那么今天我就来分享一下采集天气数据 并做数据可视化的代码吧~ 知识点: 动态数据抓包 requests发送请求 结构化+非结构化数据解析 开发环境: python 3.8 运行代码 pycharm 2021.2 辅助敲代码 requests 如果安装python第三方模块: win + R 输入 cmd 点击确定, 输入安装命令 pip install

  • 浅谈哪个Python库才最适合做数据可视化

    数据可视化是任何探索性数据分析或报告的关键步骤,它可以让我们一眼就能洞察数据集.目前有许多非常好的商业智能工具,比如Tableau.googledatastudio和PowerBI,它们可以让我们轻松地创建图形. 然而,数据分析师或数据科学家还是习惯使用 Python 在 Jupyter notebook 上创建可视化效果.目前最流行的用于数据可视化的 Python 库:Matplotlib.Seaborn.plotlyexpress和Altair.每个可视化库都有自己的特点,没有完美的可视化库

  • Python采集猫眼两万条数据 对《无名之辈》影评进行分析

    一.说明 本文主要讲述采集猫眼电影用户评论进行分析,相关爬虫采集程序可以爬取多个电影评论. 运行环境:Win10/Python3.5. 分析工具:jieba.wordcloud.pyecharts.matplotlib. 基本流程:下载内容 ---> 分析获取关键数据 ---> 保存本地文件 ---> 分析本地文件制作图表 注意:本文所有图文和源码仅供学习,请勿他用,转发请注明出处! 本文主要参考:https://mp.weixin.qq.com/s/mTxxkwRZPgBiKC3Sv-

  • Python爬虫实战演练之采集拉钩网招聘信息数据

    目录 本文要点: 环境介绍 本次目标 爬虫块使用 内置模块: 第三方模块: 代码实现步骤: (爬虫代码基本步骤) 开始代码 导入模块 发送请求 解析数据 加翻页 保存数据 运行代码,得到数据 本文要点: 爬虫的基本流程 requests模块的使用 保存csv 可视化分析展示 环境介绍 python 3.8 pycharm 2021专业版 激活码 Jupyter Notebook pycharm 是编辑器 >> 用来写代码的 (更方便写代码, 写代码更加舒适) python 是解释器 >&

  • Python采集股票数据并制作可视化柱状图

    目录 前言 模块使用 开发环境 代码实现步骤 代码 数据可视化 前言 嗨喽!大家好呀,这里是魔王~ 雪球,聪明的投资者都在这里 - 4300万投资者都在用的投资社区, 沪深港美全球市场实时行情,股票基金债券免费资讯,与投资高手实战交流. 模块使用 requests >>> pip install requests (数据请求 第三方模块) re # 正则表达式 去匹配提取数据 json pandas pyecharts 开发环境 Python 3.8 解释器 Pycharm 2021.2

  • python如何爬取网站数据并进行数据可视化

    前言 爬取拉勾网关于python职位相关的数据信息,并将爬取的数据已csv各式存入文件,然后对csv文件相关字段的数据进行清洗,并对数据可视化展示,包括柱状图展示.直方图展示.词云展示等并根据可视化的数据做进一步的分析,其余分析和展示读者可自行发挥和扩展包括各种分析和不同的存储方式等..... 一.爬取和分析相关依赖包 Python版本: Python3.6 requests: 下载网页 math: 向上取整 time: 暂停进程 pandas:数据分析并保存为csv文件 matplotlib:

  • Python使用psutil库对系统数据进行采集监控的方法

    大家好,我是辰哥- 今天给大家介绍一个可以获取当前系统信息的库--psutil 利用psutil库可以获取系统的一些信息,如cpu,内存等使用率,从而可以查看当前系统的使用情况,实时采集这些信息可以达到实时监控系统的目的. psutil库 psutil的安装很简单 pip install psutil psutil库可以获取哪些系统信息? psutil有哪些作用 1.内存使用情况 2.磁盘使用情况 3.cpu使用率 4.网络接口发送接收流量 5.获取当前网速 6.系统当前进程 ... 下面通过具

  • 用Python实现网易云音乐的数据进行数据清洗和可视化分析

    目录 Python实现对网易云音乐的数据进行一个数据清洗和可视化分析 对音乐数据进行数据清洗与可视化分析 对音乐数据进行数据清洗与可视化分析 歌词文本分析 总结 Python实现对网易云音乐的数据进行一个数据清洗和可视化分析 对音乐数据进行数据清洗与可视化分析 关于数据的清洗,实际上在上一一篇文章关于抓取数据的过程中已经做了一部分,后面我又做了一下用户数据的抓取 歌曲评论: 包括后台返回的空用户信息.重复数据的去重等.除此之外,还要进行一些清洗:用户年龄错误.用户城市编码转换等. 关于数据的去重

  • Python读取CSV文件并进行数据可视化绘图

    介绍:文件 sitka_weather_07-2018_simple.csv是阿拉斯加州锡特卡2018年1月1日的天气数据,其中包含当天的最高温度和最低温度.数据文件存储与data文件夹下,接下来用Python读取该文件数据,再基于数据进行可视化绘图.(详细细节请看代码注释) sitka_highs.py import csv # 导入csv模块 from datetime import datetime import matplotlib.pyplot as plt filename = 'd

  • 通过python的matplotlib包将Tensorflow数据进行可视化的方法

    使用matplotlib中的一些函数将tensorflow中的数据可视化,更加便于分析 import tensorflow as tf import numpy as np import matplotlib.pyplot as plt def add_layer(inputs, in_size, out_size, activation_function=None): Weights = tf.Variable(tf.random_normal([in_size, out_size])) bi

随机推荐