服务端nodejs抓取jsonp接口数据实现示例

目录
  • 前言
  • 方法思路
  • Node环境动态执行脚本
    • eval()
    • Function
    • vm.runInThisContext (推荐)
  • 完整代码实现

前言

众所周知,jsonp 接口返回的是一段 js 脚本,在浏览器中使用 script 标签引入、加载成功后,会直接执行其中的 callback 方法,以参数的形象直接返回真正有用的接口数据,以此达到跨域请求的目的。但是如果在非浏览器环境(node执行环境)中怎么来抓取呢,本文就主要介绍一下,服务端nodejs抓取jsonp接口数据 的思路方法和踩过的坑。

出于好奇,最近在研究使用 node 程序分析股票的数据,看看能不能找到一些规律。
但前提是要获取一批数据,所以查看了几个相关的网站平台,通过开发者工具的 network 查看,其中接口数据基本都是使用 jsonp 格式的。

温馨提示: 不要过度频繁爬取数据,可能涉及网络安全问题。

方法思路

  • node 服务端使用 axios 获取 jsonp 返回的内容
  • 使用 typeof 查看返回内容的类型
  • 解析 jsonp 返回的内容、执行其中的 callback 方法

关键在于这第三步,在 node 环境中如何动态的执行这一段 String 类型的代码。

Node环境动态执行脚本

eval()

直接调用,使用本地作用域。

function test() {
  let x = 10, y = 20;
  let sum = eval('x + y')
  console.log(sum);  // 30
}

Function

eval 不同的是,Function 创建的函数只能在全局作用域中运行。
test() 执行会报错:ReferenceError: x is not defined

// 报错
function test() {
  let x = 10, y = 20;
  let fn = new Function('return x + y')
  let sum = fn()
  console.log(sum) // ReferenceError: x is not defined
}
// 正常执行
global.x = 10
global.y = 20
function test() {
  let fn = new Function('return x + y')
  let sum = fn()
  console.log(sum) // 30
}

vm.runInThisContext (推荐)

vm 是 node 的核心模块,vm 可以使用 v8 的 Virtual Machine contexts 动态地编译和执行代码,而代码的执行上下文与当前进程隔离。

被执行的代码无法获取本地作用域,只能在当前的 global 对象的上下文中编译并执行 code 。

const vm = require('vm')
global.x = 10
global.y = 20
function test() {
  let sum = vm.runInThisContext('x + y')
  console.log(sum) // 30
}

完整代码实现

// index.js
const vm = require('vm')
const axios = require('axios')
// 在 global 对象上挂载对应的 callback 方法
global.jQuery11230971606670044967_1649312313646 = function(res) {
  // jsonp 接口返回的数据
  console.log(res)
  // do something
}
async function getData() {
  let { data } = await axios({
    url: 'https://push2.eastmoney.com/api/qt/clist/get?cb=jQuery11230971606670044967_1649312313646&fid=f62&po=1&pz=10&pn=1&np=1&fltt=2&invt=2&fs=m%3A90+t%3A3&stat=1&fields=f12%2Cf14%2Cf2%2Cf3%2Cf62%2Cf184%2Cf66%2Cf69%2Cf72%2Cf75%2Cf78%2Cf81%2Cf84%2Cf87%2Cf204%2Cf205%2Cf124&ut=b2884a393a59ad64002292a3e90d46a5'
  })
  // 查看返回内容的类型
  console.log(typeof data)
  // 执行 callback
  vm.runInThisContext(data)
}
// 调用抓取数据的方法
getData()

特别提醒:浏览器环境与 Node 执行环境挂载全局对象是有区别的。

在浏览器环境中,全局作用域可以使用 var 来声明一个变量或方法,会自动挂载到 window 对象上;

但是在 Node 环境中,每个文件或者模块,都会被封闭在一个单独的作用域,因此不管在哪里声明的变量,相对于当前模块或文件,都是在局部作用域,不会自动挂载到全局 global 对象中,如果要使用必须手动去挂载。

以上就是服务端nodejs抓取jsonp接口数据实现示例的详细内容,更多关于nodejs抓取jsonp接口数据的资料请关注我们其它相关文章!

(0)

相关推荐

  • nodejs实现登陆验证功能

    本文实例为大家分享了nodejs实现登陆验证的具体代码,供大家参考,具体内容如下 登陆验证需要提交数据,一种使用form表单提交数据,另一种使用原生js提交数据 form表单提交 搭建后台服务器 const express = require('express') const app = express() const bodyparser = require('body-parser') //挂载参数处理的中间件 //extended:false 表示使用系统模块querystring来处理

  • Vue+NodeJS实现大文件上传的示例代码

    目录 整体思路 项目演示 前端界面 文件切片 hash计算 查询切片状态 切片上传(断点续传) 文件总体上传进度 合并文件 优化 请求并发数控制 hash值计算优化 常见的文件上传方式可能就是new一个FormData,把文件append进去以后post给后端就可以了.但如果采用这种方式来上传大文件就很容易产生上传超时的问题,而且一旦失败还得从新开始,在漫长的等待过程中用户还不能刷新浏览器,不然前功尽弃.因此这类问题一般都是通过切片上传. 整体思路 将文件切成多个小文件 hash计算,需要计算一

  • 用nodejs实现json和jsonp服务的方法

    一.JSON和JSONP JSONP的全称是JSON with Padding,由于同源策略的限制,XmlHttpRequest只允许请求当前源(协议,域名,端口)的资源.如果要进行跨域请求,我们可以通过使用html的script标记来进行跨域请求,并在相应中返回要执行的script代码,其中可以直接使用JSON传递javascript对象.这种跨域的通讯方式成为JSONP. 由此我们可以看出两者的区别: json: 一种轻量级的数据格式. jsonp:为实现跨域,而采用的一种脚本注入方法. 备

  • nodejs使用Express框架写后端接口的全过程

    目录 路由和接口 接口传参 GET接口 POST接口-普通键值对 POST接口-JSON POST接口-form-data文件上传 总结 在写接口前,我们要明白什么是接口,在前端我们叫接口,而后端就叫路由,这其实是指同一个东西. 路由和接口 路由(Routing)是由一个URL(或者叫路径标识)和一个特定的HTTP方法(GET.POST等)组成的,涉及到应用如何处理响应客户端请求.每一个路由都可以有一个或多个处理器函数,当匹配到路由时,这些个函数将被执行. // 引入express const

  • NodeJS实现单点登录原理解析

    目录 什么是单点登录 单点登录原理 NodeJS 演示 三个不同的服务 首次访问跳转至登录页 应用A判断登录态,跳转到SSO认证服务器 认证服务器判断登录态,渲染登录页 校验用户信息,创建令牌 从认证服务器携带令牌跳转回应用A 令牌校验 返回资源 访问应用B 带cookie跳转至SSO认证服务器 从认证服务器携带令牌跳转回应用B 令牌校验 返回资源 什么是单点登录 随着公司业务的增多,必然会产生各个不同的系统,如果每个系统都需要单独登录的话就会很不方便.因此产生了单点登录这样的解决方案,单点登录

  • 服务端nodejs抓取jsonp接口数据实现示例

    目录 前言 方法思路 Node环境动态执行脚本 eval() Function vm.runInThisContext (推荐) 完整代码实现 前言 众所周知,jsonp 接口返回的是一段 js 脚本,在浏览器中使用 script 标签引入.加载成功后,会直接执行其中的 callback 方法,以参数的形象直接返回真正有用的接口数据,以此达到跨域请求的目的.但是如果在非浏览器环境(node执行环境)中怎么来抓取呢,本文就主要介绍一下,服务端nodejs抓取jsonp接口数据 的思路方法和踩过的坑

  • vue使用jsonp抓取qq音乐数据的方法

    1.安装jsonp npm install jsonp 2.创建jsonp.js文件,内容如下: import originJSONP from 'jsonp' /** * 封装jsonp * @param {*} url 原始的jsonp第一个参数是url,第二个参数是option,这里为了比较好写参数做了下封装 * @param {obj} data 参数 * @param {*} option jsonp的option */ export default function jsonp (u

  • Vue项目中使用jsonp抓取跨域数据的方法

    下载jsonp npm install jsonp 在js文件夹下新增一个jsonp.js,来封装一个jsonp() 如何封装一个jsonp() 在下载的jsopn中,jsonp(url,options,callback)这个是原生jsonp方法中的参数: 引入下载的jsonp import originJsonp from 'jsonp': 导出自己定义的jsonp函数 //这个jsonp函数是我们自己定义的,与上面的originJsonp不是同一个,originJsonp是一个可以直接引用的

  • Python抓取移动App数据使用mitmweb监听请求与响应

    mitmproxy有3中监听请求与响应的方式: mitmproxy控制台方式 mitmdump与Python对接的方式 mitmweb可视化方式 前2种都是基于控制台的方式,尽管第2种通过与Python对接的方式可以利用Python编写一个可视化工具,但还需要进行大量的编码,如果要想直接用可视化的方式监听请求与响应数据,就需要使用第3种方式:mitmweb.这是一个Web版的可视化监听工具,执行mitmweb命令即可启动mitmweb服务,默认端口号是8081.启动mitmweb服务后,会在默认

  • 如何用python抓取B站数据

    概述 可以获取的数据包括: video-视频模块 user-用户模块 dynamic-动态模块 这次用"Running Man"十周年特辑的视频,来做个获取弹幕的Demo. 我是对比 没有对比,就没有伤害,就像最近的"哈工大"某学生和"浙大"某学生一样. 这是之前获取弹幕的过程: 1.弹幕数据接口 https://comment.bilibili.com/123072475.xml (一个固定的url地址 + 视频的cid + .xml) 2.利

  • jQuery通过Ajax向PHP服务端发送请求并返回JSON数据

    JSON(JavaScript Object Notation) 是一种轻量级的数据交换格式.易于人阅读和编写,同时也易于机器解析和生成.JSON在前后台交互的过程中发挥着相当出色的作用. 服务端PHP读取MYSQL数据,并转换成JSON数据,传递给前端Javascript,并操作JSON数据.本文将通过实例演示了jQuery通过Ajax向PHP服务端发送请求并返回JSON数据.阅读本文的读者应该具备jQuery.Ajax.PHP相关知识,并能熟练运用. XHTML <ul id="use

  • Jsoup 抓取页面的数据实例详解

    Jsoup 抓取页面的数据 需要使用的是jsoup-1.7.3.jar包   如果需要看文档我下载请借一步到官网:http://jsoup.org/ 这里贴一下我用到的 Java工程的测试代码 package com.javen.Jsoup; import java.io.IOException; import org.jsoup.Jsoup; import org.jsoup.nodes.Document; import org.jsoup.nodes.Element; import org.

  • Nodejs抓取html页面内容(推荐)

    废话不多说,直接给大家贴node.js抓取html页面内容的核心代码了. 具体代码如下所示: var http = require("http"); var iconv = require('iconv-lite'); var option = { hostname: "stockdata.stock.hexun.com", path: "/gszl/s601398.shtml" }; var req = http.request(option,

  • CentOS Rsync服务端与Windows cwRsync客户端实现数据同步配置方法

    说明: 1.Rsync服务端 系统:CentOS 5.5 IP地址:192.168.21.160 数据存放目录:/data/osyunwei 2.cwRsync客户端 系统:Windows Server 2003 IP地址:192.168.21.130 同步的目录:D:\osyunwei 实现目的: cwRsync客户端每天凌晨3:00钟自动同步Rsync服务端/data/osyunwei目录中的数据到D:\osyunwei目录 一.Rsync服务端配置 1.关闭SELINUX vi /etc/

  • python 3利用BeautifulSoup抓取div标签的方法示例

    前言 本文主要介绍的是关于python 3用BeautifulSoup抓取div标签的方法示例,分享出来供大家参考学习,下面来看看详细的介绍: 示例代码: # -*- coding:utf-8 -*- #python 2.7 #XiaoDeng #http://tieba.baidu.com/p/2460150866 #标签操作 from bs4 import BeautifulSoup import urllib.request import re #如果是网址,可以用这个办法来读取网页 #h

随机推荐