python基于爬虫+django，打造个性化API接口

2024-10-24 18:27:47

简述

今天也是同事在做微信小程序的开发，需要音乐接口的测试，可是用网易云的开放接口比较麻烦，也不能进行测试，这里也是和我说了一下，所以就用爬虫写了个简单网易云歌曲URL的爬虫，把数据存入mysql数据库，再利用django封装装了一个简单的API接口，给同事测试使用。

原理

创建django项目，做好基础的配置，在views里写两个方法，一个是从mysql数据库中查数据然后封装成API，一个是爬虫方法，数据扒下来以后，通过django的ORM把数据插入到mysql数据库中。
这里的路由也是对应两个，一个是爬虫的请求路由（就是运行路由），一个是接口路由，MODEL层里也是为了方便，就设了两个字段，一个是歌曲名称，一个是URL地址。

代码如下

views文件代码

from django.shortcuts import render,HttpResponse
import requests
from lxml import etree
from .models import Api
# Create your views here.
def api_wy(request):
  api = Api.objects.all()
  return render(request, "index.html",locals())

def pc(request):
  url = 'https://music.163.com/discover/toplist?id=3779629'
  headers = {
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3861.400 QQBrowser/10.7.4313.400'
  }
  data = requests.get(url=url, headers=headers)
  html = etree.HTML(data.text)
  music_list = html.xpath('//ul[@class="f-hide"]/li/a')

  music_lis = [] # 存放歌曲信息
  for music in music_list:
    music_name = music.xpath('./text()')[0] # 获取歌曲名称
    music_id_all = music.xpath('./@href')[0] # 获取a标签内容
    music_id = music_id_all.split('=')[-1] # 将a标签内容进行数据清洗,提取歌曲的id
    download_music = music_name + ' ' + f'http://music.163.com/song/media/outer/url?id={music_id}.mp3' # 将歌曲名称和url进行拼接
    music_lis.append(download_music)
    print(download_music)

  for url in music_lis:
    try:
      url_name = url.split(' ')[0] # 获取名称
      url_music = url.split(' ')[1] # 获取url
      Api.objects.create(name=url_name,url=url_music)
      print("正在插入数据")
    except:
      print("charushibai")
  return HttpResponse("正在下载")

URL路由文件

from django.contrib import admin
from django.urls import path
from api.views import api_wy,pc

urlpatterns = [
  path('admin/', admin.site.urls),
  path('api/',api_wy),
  path("pc/",pc),
]

Models层面

from django.db import models

# Create your models here.
class Api(models.Model):
  name = models.CharField('歌曲名称', max_length=100)
  url = models.CharField("歌曲地址",max_length=300)

  class Meta:
    verbose_name = '歌曲API'
    verbose_name_plural = verbose_name

  def __str__(self):
    return self.name

其他的也就没什么可说的了，也是一个比较简单的测试需求，就是为了省点事情才弄得
好了，今天就到这了，拜拜

以上就是python基于爬虫+django，打造个性化API接口的详细内容，更多关于python api接口的资料请关注我们其它相关文章！

python 调用API接口获取和解析 Json数据

任务背景: 调用API接口数据,抽取我们所需类型的数据,并写入指定mysql数据库. 先从宏观上看这个任务,并对任务进行分解: step1:需要学习python下的通过url读取数据的方式: step2:数据解析,也是核心部分,数据格式从python角度去理解,是字典?列表?还是各种嵌套? step3:连接mysql数据库,将数据写入. 从功能上看,该数据获取程序可以分为3个方法,即step1对应方法request_data(),step2对应方法parse_data(),step3对应data
Python利用Django如何写restful api接口详解

前言用Python如何写一个接口呢,首先得要有数据,可以用我们在网站上爬的数据,在上一篇文章中写了如何用Python爬虫,有兴趣的可以看看://www.jb51.net/article/141661.htm 大量的数据保存到数据库比较方便.我用的pymsql,pymsql是Python中操作MySQL的模块,其使用方法和MySQLdb几乎相同.但目前在python3.x中,PyMySQL取代了MySQLdb. 1.连接数据库 # 连接数据库,需指定charset否则可能会报错 db = pym
Python多线程爬取豆瓣影评API接口

爬虫库使用简单的requests库,这是一个阻塞的库,速度比较慢. 解析使用XPATH表达式总体采用类的形式多线程使用concurrent.future并发模块,建立线程池,把future对象扔进去执行即可实现并发爬取效果数据存储使用Python ORM sqlalchemy保存到数据库,也可以使用自带的csv模块存在CSV中. API接口因为API接口存在数据保护情况,一个电影的每一个分类只能抓取前25页,全部评论.好评.中评.差评所有分类能爬100页,每页有20个数据,即最多为
python+requests+unittest API接口测试实例(详解)

我在网上查找了下接口测试相关的资料,大都重点是以数据驱动的形式,将用例维护在文本或表格中,而没有说明怎么样去生成想要的用例, 问题: 测试接口时,比如参数a,b,c,我要先测a参数,有(不传,为空,整形,浮点,字符串,object,过短,超长,sql注入)这些情况,其中一种情况就是一条用例,同时要保证b,c的正确,确保a的测试不受b,c参数的错误影响解决思路: 符合接口规范的参数可以手动去填写,或者准备在代码库中.那些不符合规范的参数(不传,为空,整形,浮点,字符串,object,过短,超长,
Python调用REST API接口的几种方式汇总

相信做过自动化运维的同学都用过REST API接口来完成某些动作.API是一套成熟系统所必需的接口,可以被其他系统或脚本来调用,这也是自动化运维的必修课. 本文主要介绍python中调用REST API的几种方式,下面是python中会用到的库. - urllib2 - httplib2 - pycurl - requests urllib2 - Sample1 import urllib2, urllib github_url = 'https://api.github.com/user/re
python 调用有道api接口的方法

初学python ,研究了几天,写了一个python 调用有道api接口程序效果看下图: 申明:代码仅供和我一样的初学者学习交流有道api申请地址http://fanyi.youdao.com/openapi?path=data-mode 申请很简单的 ps:审核不用花时间的,请勿滥用!! #-*- coding: UTF-8 -*- import urllib import urllib2 import requests import json import sys reload(sys
python调用API接口实现登陆短信验证

API说明调用地址:http://yzxyzm.market.alicloudapi.com/yzx/verifySms 请求方式:POST 返回类型:JSON 请求参数(Query) 名称类型是否必选描述 phone STRING 必选需要发送的手机号码 templateId STRING 必选模板id,联系客服人员申请成功的模板ID variable STRING 可选模板中变量参数名,参数值有多个时使用","隔开,例如"num:1234,money:888
Python中Flask-RESTful编写API接口(小白入门)

1.API接口:hello world 案例 from flask import Flask from flask_restful import Api, Resource app = Flask(__name__) api = Api(app) class HelloWorld(Resource): def get(self): return {'hello': 'world'} api.add_resource(HelloWorld, '/') if __name__ == '__main_
对Python实现简单的API接口实例讲解

get方法代码实现 # coding:utf-8 import json from urlparse import parse_qs from wsgiref.simple_server import make_server # 定义函数,参数是函数的两个参数,都是python本身定义的,默认就行了. def application(environ, start_response): # 定义文件请求的类型和当前请求成功的code start_response('200 OK', [('Con
python基于爬虫+django，打造个性化API接口

简述今天也是同事在做微信小程序的开发,需要音乐接口的测试,可是用网易云的开放接口比较麻烦,也不能进行测试,这里也是和我说了一下,所以就用爬虫写了个简单网易云歌曲URL的爬虫,把数据存入mysql数据库,再利用django封装装了一个简单的API接口,给同事测试使用. 原理创建django项目,做好基础的配置,在views里写两个方法,一个是从mysql数据库中查数据然后封装成API,一个是爬虫方法,数据扒下来以后,通过django的ORM把数据插入到mysql数据库中. 这里的路由也是对应两
Django 自动生成api接口文档教程

最近在写测试平台,需要实现一个节点服务器的api,正好在用django,准备使用djangorestframework插件实现. 需求实现一个接口,在调用时,通过传递的参数,直接运行对应项目的自动化测试环境 Python3.6 ,PyCharm,W7 项目结构功能实现流程我们要做的就是实现以上流程安装 pip install djangorestframework pip install markdown pip install django-filter # Filtering s
Python基于爬虫实现全网搜索并下载音乐

现在写一篇博客总是喜欢先谈需求或者本内容的应用场景,是的,如果写出来的东西没有任何应用价值,确实也没有实际意义.今天的最早的需求是来自于如何免费[白嫖]下载全网优质音乐,我去b站上面搜索到了一个大牛做过的一个歌曲搜素神器,界面是这样的: 确实很好用的,而且涵盖了互联网上面大多数主流的音乐网站,涉及到的版本也很多,可谓大而全,但是一个技术人的追求远远不会如此,于是我就想去了解其中背后的原理,因为做过网络爬虫的人都知道,爬虫只能爬取某一页或者某些页的网站资源,所以我很好奇它背后是怎么实现的? 笔者一
Python基于百度云文字识别API

本文实例为大家分享了Python实现最简单的文字识别的具体代码,供大家参考,具体内容如下 Python版本:3.6.5 百度云提供的文字识别技术,准确率还是非常高的,而且每天还有5w次免费的调用量,对于用来学习或者偶尔拿来用用,已经完全足够了.文章提供一个模板,稍加修改就可以直接套用.注释中提到必须输入的地方,你都正确地输入了的话,就可以完成一次简单的文字识别了. # -*- coding: utf-8 -*- import requests import base64 class Orc_ma
Django使用AJAX调用自己写的API接口的方法

在这个例子中,我们将使用Django编写饿了么高校外卖商家查询API接口,并且使用AJAX技术来实现API接口的使用,包括使用ajax get方法加载更多数据,使用ajax方法来更新.修改.新增.删除数据.利用API可以做到前后端分离,为开发web应用提供了便利. 安装rest framework 首先使用Pycharm新建一个Django项目,并且使用virtualenv或者pipenv虚拟环境创建成功会自动安装Django2.1和所需依赖,restframework框架需要自己手动安装 /
Django开发RESTful API实现增删改查(入门级)

数据库中有user表如下: 新建一个Django项目: django-admin.py startproject myDjango<project_name> 目录介绍 myDjango/ ├── manage.py # 管理文件 └── myDjango # 项目目录 ├── __ init __.py ├── settings.py # 配置文件 ├── urls.py # 路由 --> URL和函数的对应关系 └── wsgi.py # runserver命令就使用wsgiref模
.Net RabbitMQ实现HTTP API接口调用

RabbitMQ Management插件还提供了基于RESTful风格的HTTP API接口来方便调用.一共涉及4种HTTP方法:GET.PUT.DELETE和POST.GET方法一般用来获取如集群.节点.队列.交换器等信息.PUT方法用来创建资源,如交换器.队列之类的.DELETE方法用来删除资源.POST方法也是用来创建资源的,与PUT不同的是,POST创建的是无法用具体名称的资源.比如绑定关系(bindings)和发布消息(publish)无法指定一个具体的名称. 点击Web管理界面左下
python网络爬虫实现个性化音乐播放器示例解析

目录前言开发组件功能流程分析基于python的个性化音乐下载器模块详细 (一)前端模块 (二)后端模块前言当前很多人在闲暇时喜欢听音乐,那么基于这种现象,我也是肝了几个小时完成了基于python的个性化音乐播放器,现在分享给你们. 开发组件 python3.5 以上版本就行tkinter (python 自带的用于图形用户界面开发的模块)requests(爬虫模块)Chrome 浏览器等等功能音乐下载器功能: (1).用户输入想要下载的歌曲或关键字名称 (2).程序获取用户所输
Django+RestFramework API接口及接口文档并返回json数据操作

系统:ubuntu18.04 x64 GitHub:https://github.com/xingjidemimi/DjangoAPI.git 安装 pip install django==2.1.5 pip install djangorestframework # rest api pip install coreapi pygments markdown # 自动化接口文档 API示例创建django项目 django-admin startproject DjangoAPI 创建应用

python基于爬虫+django，打造个性化API接口

简述

原理

代码如下

相关推荐

随机推荐