python获取全国最新省市区数据并存入表实例代码

本文通过调取高德行政区划查询接口,获取最新的数据信息(省、市、区、经纬度、行政级别、城市编码、行政编码等),并通过mysql.connector存入mysql数据库

表结构设计如下:

CREATE TABLE `districts` (
  `districtId` int(11) NOT NULL AUTO_INCREMENT,
  `districtPid` int(11) DEFAULT NULL COMMENT '上级ID',
  `name` varchar(32) DEFAULT NULL COMMENT '行政区名称',
  `citycode` varchar(6) DEFAULT NULL COMMENT '城市编码',
  `adcode` varchar(6) DEFAULT NULL COMMENT '城市区域编码',
  `lng` float(13,10) DEFAULT NULL COMMENT '经度',
  `lat` float(13,10) DEFAULT NULL COMMENT '纬度',
  `level` varchar(10) DEFAULT NULL COMMENT '行政区划级别',
  `createTime` timestamp NULL DEFAULT CURRENT_TIMESTAMP,
  `updateTime` timestamp NULL DEFAULT NULL ON UPDATE CURRENT_TIMESTAMP,
  PRIMARY KEY (`districtId`)
) ENGINE=InnoDB AUTO_INCREMENT=1 DEFAULT CHARSET=utf8mb4

python代码如下:(需替换成自己的数据库地址帐号密码、及换入自己的高德key值)

# coding = utf-8
"""
@autor: linuxdba
"""
import json
import mysql.connector
import requests

header = {
    'User-Agent': 'Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.107 Mobile Safari/537.36'
}

mydb = mysql.connector.connect(host='ip.....', user='username.....', password='pwd.....', port=3306,
                               database='test')
mycursor = mydb.cursor()

insert_sql = "INSERT INTO `districts` ( `districtpid`,`name`, `adcode`, `lng`, `lat`, `level`) VALUES (%s,%s, %s, %s, %s, %s);"
insert_city_sql = "INSERT INTO `districts` ( `districtpid`,`name`, `citycode`,`adcode`, `lng`, `lat`, `level`) VALUES (%s, %s, %s, %s, %s, %s, %s);"

select_sql = 'select districtId from districts where adcode = %s'

def updatedb(sql, *args):
    try:
        mycursor.execute(sql, args)
        mydb.commit()
    except Exception as e:
        print(e)

def selectdb(sql, *args):
    mycursor.execute(sql, args)
    return mycursor

updatedb(insert_sql, 0, '中华人民共和国', '100000', '116.3683244', '39.915085', 'country')
provinces = ['北京市', '天津市', '河北省', '山西省', '内蒙古自治区', '辽宁省', '吉林省', '黑龙江省', '上海市', '江苏省', '浙江省', '安徽省', '福建省', '江西省',
             '山东省', '河南省', '湖北省', '湖南省', '广东省', '广西壮族自治区', '海南省', '重庆市', '四川省', '贵州省', '云南省', '西藏自治区', '陕西省', '甘肃省',
             '青海省', '宁夏回族自治区', '新疆维吾尔自治区', '台湾省', '香港特别行政区', '澳门特别行政区']
for i in provinces:
    code_url = 'https://restapi.amap.com/v3/config/district?key=d6efa016ea883e15a0782f939d6a805e&keywords={}&subdistrict=2'.format(
        i)
    res = requests.get(code_url, headers=header)
    print(code_url)
    print(res.text)
    province = json.loads(res.text)['districts']
    adcode = province[0]['adcode']
    pname = province[0]['name']
    center = province[0]['center']
    pcitycode = province[0]['citycode']
    level = province[0]['level']
    lng = province[0]['center'].split(',')[0]
    lat = province[0]['center'].split(',')[1]
    city_list = province[0]['districts']

    # print(pname, pcitycode, adcode, lng, lat, level)
    updatedb(insert_sql, 1, pname, adcode, lng, lat, level)
    districtpid = selectdb(select_sql, adcode).fetchone()[0]
    # print(city_list)
    for city in city_list:
        citycode = city['citycode']
        adcode = city['adcode']
        name = city['name']
        level = city['level']
        lng = city['center'].split(',')[0]
        lat = city['center'].split(',')[1]
        district_list = city['districts']
        # print(name, citycode, adcode, lng, lat, level)
        updatedb(insert_city_sql, districtpid, name, citycode, adcode, lng, lat, level)
        citypid = selectdb(select_sql, adcode).fetchone()[0]
        for district in district_list:
            citycode = district['citycode']
            adcode = district['adcode']
            name = district['name']
            level = district['level']
            lng = district['center'].split(',')[0]
            lat = district['center'].split(',')[1]
            district_list = district['districts']
            if level in ['district']:
                updatedb(insert_city_sql, citypid, name, citycode, adcode, lng, lat, level)
            print(name, citycode, adcode, lng, lat, level)

结果如下:

表数据文件链接:

http://linuxdba.ltd/files/districts.sql  或者点击这里本地下载

总结

到此这篇关于python获取全国最新省市区数据并存入表的文章就介绍到这了,更多相关python获取省市区数据内容请搜索我们以前的文章或继续浏览下面的相关文章希望大家以后多多支持我们!

(0)

相关推荐

  • 详解python 利用echarts画地图(热力图)(世界地图,省市地图,区县地图)

    首先安装对应的python模块 $ pip install pyecharts==0.5.10 $ pip install echarts-countries-pypkg $ pip install echarts-china-provinces-pypkg $ pip install echarts-china-cities-pypkg $ pip install echarts-china-counties-pypkg 世界地图 from pyecharts import Map value

  • 使用python实现省市三级菜单效果

    地区分三层结构例如: 大中华地区一级划分: 华东 华中 华北 西南 特别行政区 华南 ------------------------------------------------- 请输入你要查看的大中华地区名字:华中 ------------------包含的省名字二级:----------------- 湖北 湖南 河南 ------------------------------------------------- 请输入你要查看的省名字:湖北 --------------包含的城市

  • Python版中国省市经纬度

    一级行政区经纬度 一级行政区(省级行政区):34个(23个省.5个自治区.4个直辖市.2个特别行政区) provinces = { '吉林省': [125.326800, 43.896160], '黑龙江省': [126.662850, 45.742080], '辽宁省': [123.429250, 41.835710], '内蒙古自治区': [111.765220, 40.817330], '新疆维吾尔自治区': [87.627100, 43.793430], '青海省': [101.7801

  • python获取全国最新省市区数据并存入表实例代码

    本文通过调取高德行政区划查询接口,获取最新的数据信息(省.市.区.经纬度.行政级别.城市编码.行政编码等),并通过mysql.connector存入mysql数据库 表结构设计如下: CREATE TABLE `districts` ( `districtId` int(11) NOT NULL AUTO_INCREMENT, `districtPid` int(11) DEFAULT NULL COMMENT '上级ID', `name` varchar(32) DEFAULT NULL CO

  • Python获取江苏疫情实时数据及爬虫分析

    目录 1.引言 2.获取目标网站 3.爬取目标网站 4.解析爬取内容 4.1. 解析全国今日总况 4.2. 解析全国各省份疫情情况 4.3. 解析江苏各地级市疫情情况 5.结果可视化 6. 代码 7. 参考 1.引言 最近江苏南京.湖南张家界陆续爆发疫情,目前已波及8省22市,全国共有2个高风险地区,52个中风险地区.身在南京,作为兢兢业业的打工人,默默地成为了"苏打绿".为了关注疫情状况,今天我们用python来爬一爬疫情的实时数据. 2.获取目标网站 为了使用python来获取疫情

  • Python获取时光网电影数据的实例代码

    目录 一.前言 二.准备 2.1 安装库 2.2 原理介绍 三.实例 3.1 完整代码 一.前言 有时候觉得电影真是人类有史以来最伟大的发明,我喜欢看电影,看电影可以让我们增长见闻,学习知识.从某种角度上而言,电影凭借自身独有的魅力大大延长了人类的”寿命”.一部电影如同一本故事书,我可以沉迷到其中,来的一个新的世界,跟着电影主角去经历去感悟.而好的电影是需要慢慢品尝的,不仅提供了各种视觉刺激和情感体验,更能带来思考点,也让我可以懂得在现实生活中穷尽一生也无法明白的道理.电影比书本更直接.更有趣.

  • python将字典内容存入mysql实例代码

    本文主要研究的是python将字典内容存入mysql,分享了实现代码,具体介绍如下. 1.背景 项目需要,用python实现了将字典内容存入本地的mysql数据库.比如说有个字典dic={"a":"b","c":"d"},存入数据库效果图如下: 2.代码 ''''' Insert items into database @author: hakuri ''' import MySQLdb def InsertData(Tabl

  • Python获取好友地区分布及好友性别分布情况代码详解

    利用Python + wxpy 可以快速的查询自己好友的地区分布情况,以及好友的性别分布数量.还可以批量下载好友的头像,拼接成大图. 本次教程是基于上次机器人后的,所有依赖模块都可以复用上次的,还不知道的小伙伴可以戳这里. python + wxpy 机器人 准备工作 编辑器 一个注册一年以上的微信号 公共部分代码 from wxpy import * // wxpy 依赖 from PIL import Image // 二维码登录依赖 import os // 本地下载依赖 import m

  • python使用pandas抽样训练数据中某个类别实例

    废话真的一句也不想多说,直接看代码吧! # -*- coding: utf-8 -*- import numpy from sklearn import metrics from sklearn.svm import LinearSVC from sklearn.naive_bayes import MultinomialNB from sklearn import linear_model from sklearn.datasets import load_iris from sklearn.

  • python数据处理——对pandas进行数据变频或插值实例

    这里首先要介绍官方文档,对python有了进一步深度的学习的大家们应该会发现,网上不管csdn或者简书上还是什么地方,教程来源基本就是官方文档,所以英语只要还过的去,推荐看官方文档,就算不够好,也可以只看它里面的sample就够了 好了,不说废话,看我的代码: import pandas as pd import numpy as np rng = pd.date_range('20180101', periods=40) ts = pd.Series(np.arange(1,41), inde

  • python爬取网易云音乐热歌榜实例代码

    首先找到要下载的歌曲排行榜的链接,这里用的是: https://music.163.com/discover/toplist?id=3778678 然后更改你要保存的目录,目录要先建立好文件夹,例如我的是保存在D盘-360下载-网易云热歌榜文件夹内,就可以完成下载. 如果文件夹没有提前建好,会报错[Errno 2] No such file or directory. 代码实现: from urllib import request from bs4 import BeautifulSoup i

  • asp.net 获取客户端浏览器访问的IP地址的实例代码

    本文介绍了asp.net 获取客户端浏览器访问的IP地址的实例代码,分享给大家,自己也留个笔记 1.js方法 <!DOCTYPE html> <html> <head> <meta charset="UTF-8" /> <title>Document</title> <script src="http://pv.sohu.com/cityjson?ie=utf-8"></scr

  • Python操作Redis之设置key的过期时间实例代码

    Expire 命令用于设置 key 的过期时间.key 过期后将不再可用. r.set('2', '4028b2883d3f5a8b013d57228d760a93') #成功就返回True 失败就返回False,下面的20表示是20秒 print r.expire('2',20) #如果时间没事失效我们能得到键为2的值,否者是None print r.get('2') 对于一个已经存在的key,我们可以设置其过期时间,到了那个时间后,当你再去访问时,key就不存在了 有两种方式可以设置过期时间

随机推荐