golang爬虫colly 发送post请求

继续还是工作中使用colly，不管是官网，还是网上的一些文章(其实90%就是把官网的案例抄过去)，都是一样的格式，没有讲到post，测试了几次，记录一下post的使用

    c := colly.NewCollector()
    type data struct {
        Phone string `json:"phone" binding:"required"`
    }
    d:=&data{
        Phone:"18190897361",
    }
    da,err:=json.Marshal(d)

    if err!=nil{
        fmt.Println(err)
    }
    c.OnResponse(func(response *colly.Response) {
        fmt.Println(string(response.Body))
    })
    c.OnRequest(func(r *colly.Request) {
        fmt.Println(r)
        fmt.Println(r.Method)
        r.Headers.Set("Content-Type", "application/json;charset=UTF-8")
        r.Headers.Set("User-Agent","Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.113 Safari/537.36")
    })
    c.OnError(func(response *colly.Response, e error) {
        fmt.Println(e)
    })
    c.PostRaw("http://www.××××.com:×××/baseDevice/getUserInfo",da)
    //c.Visit("http://www.××××.com:×××/baseDevice/getUserInfo")

其实也没多少不一样，首先准备你要发送的json格式的数据(现在90%都是json格式请求了)，

type data struct {
        Phone string `json:"phone" binding:"required"`
    }
    d:=&data{
        Phone:"18190897361",
    }
    da,err:=json.Marshal(d)

这里只发送一个电话号码，第二部就是最后的发送了

c.PostRaw("http://www.××××.com:×××/baseDevice/getUserInfo",da)

1：这句话一定要写到最后

c.Visit(“http://www.××××.com:×××/baseDevice/getUserInfo”)

Visit方法，点进去源码可以看到默认走的是get模式，我们这里发送post，就不需要写了
就这么简单—结束

到此这篇关于golang爬虫colly 发送post请求的文章就介绍到这了,更多相关golang colly 发送post请求内容请搜索我们以前的文章或继续浏览下面的相关文章希望大家以后多多支持我们！

赞 (0)

相关推荐

  • Golang爬虫框架 colly的使用

    Golang爬虫框架 colly的使用

    目录 项目特性 安装colly 实例 colly 的配置 colly页面爬取和解析 colly框架重构爬虫 Golang爬虫框架 colly 简介 colly是一个采用Go语言编写的Web爬虫框架,旨在提供一个能够些任何爬虫/采集器/蜘蛛的简介模板,通过Colly.你可以轻松的从网站提取结构化数据,然后进行数据挖掘,处理或归档 项目特性 清晰明了的API 速度快(每个内核上的请求数大于1K) 管理每个域的请求延迟和最大并发数 自动cookie和会话处理 同步/异步/ 并行抓取 高速缓存 自动处理

  • golang爬虫colly 发送post请求

    继续还是工作中使用colly,不管是官网,还是网上的一些文章(其实90%就是把官网的案例抄过去),都是一样的格式,没有讲到post,测试了几次,记录一下post的使用     c := colly.NewCollector()     type data struct {         Phone string `json:"phone" binding:"required"`     }     d:=&data{         Phone:"

  • python爬虫使用requests发送post请求示例详解

    简介 HTTP协议规定post提交的数据必须放在消息主体中,但是协议并没有规定必须使用什么编码方式.服务端通过是根据请求头中的Content-Type字段来获知请求中的消息主体是用何种方式进行编码,再对消息主体进行解析.具体的编码方式包括: application/x-www-form-urlencoded 最常见post提交数据的方式,以form表单形式提交数据. application/json 以json串提交数据. multipart/form-data 一般使用来上传文件. 一. 以f

  • 详解golang中发送http请求的几种常见情况

    方式一 使用http.Newrequest 先生成http.client -> 再生成 http.request -> 之后提交请求:client.Do(request) -> 处理返回结果,每一步的过程都可以设置一些具体的参数,下面是一个最朴素最基本的例子: //question ???将stdout重定向为response信息??? package main import ( "fmt" "io" "net/http" &q

  • Python使用requests发送POST请求实例代码

    本文研究的主要是Python使用requests发送POST请求的相关内容,具体介绍如下. 一个http请求包括三个部分,为别为请求行,请求报头,消息主体,类似以下这样: 请求行 请求报头 消息主体 HTTP协议规定post提交的数据必须放在消息主体中,但是协议并没有规定必须使用什么编码方式.服务端通过是根据请求头中的Content-Type字段来获知请求中的消息主体是用何种方式进行编码,再对消息主体进行解析.具体的编码方式包括: application/x-www-form-urlencode

  • scrapy-redis源码分析之发送POST请求详解

    1 引言 这段时间在研究美团爬虫,用的是scrapy-redis分布式爬虫框架,奈何scrapy-redis与scrapy框架不同,默认只发送GET请求,换句话说,不能直接发送POST请求,而美团的数据请求方式是POST,网上找了一圈,发现关于scrapy-redis发送POST的资料寥寥无几,只能自己刚源码了. 2 美团POST需求说明 先来说一说需求,也就是说美团POST请求形式.我们以获取某个地理坐标下,所有店铺类别列表请求为例.获取所有店铺类别列表时,我们需要构造一个包含位置坐标经纬度等

  • Python 使用指定的网卡发送HTTP请求的实例

    需求: 一台机器上有多个网卡, 如何访问指定的 URL 时使用指定的网卡发送数据呢? $ curl --interface eth0 www.baidu.com # curl interface 可以指定网卡 阅读 urllib.py 的源码, 追述到 open_http –> httplib.HTTP –> httplib.HTTP._connection_class = HTTPConnection HTTPConnection 在创建的时候会指定一个 source_address. HT

  • Python requests发送post请求的一些疑点

    前言 在Python爬虫中,使用requests发送请求,访问指定网站,是常见的做法.一般是发送GET请求或者POST请求,对于GET请求没有什么好说的,而发送POST请求,有很多朋友不是很清楚,主要是因为容易混淆 POST提交的方式 .今天在微信交流群里,就有朋友遇到了这种问题,特地讲解一下. 在HTTP协议中,post提交的数据必须放在消息主体中,但是协议中并没有规定必须使用什么编码方式,从而导致了 提交方式 的不同.服务端根据请求头中的 Content-Type 字段来获知请求中的消息主体

  • python网络爬虫实现发送短信验证码的方法

    python网络爬虫实现发送短信验证码的方法

    前言:今天要总结的是如何用程序来实现短信发送功能.但是呢,可能需要我们调用一些api接口,我会详细介绍.都是自己学到的,害怕忘记,所以要总结一下,让写博客成为一种坚持的信仰.废话不多说,我们开始吧! 网络爬虫实现发送短信验证码 在实现我们目标的功能之前,我们要有自己的思路,否则你没有方向,又如何实现自己的代码功能呢? 我们要发送短信,那么我们其实是需要分析的.我们可以去分析一个可以发送短信的网站页面. 我们来到这里如下: 可以看到这是一个注册界面,我们在注册时会被要求需要填写手机号码的·,其实还

  • Python爬虫基础讲解之请求

    Python爬虫基础讲解之请求

    一.请求目标(URL) URL又叫作统一资源定位符,是用于完整地描述Internet上网页和其他资源的地址的一种方法.类似于windows的文件路径. 二.网址的组成: 1.http://:这个是协议,也就是HTTP超文本传输协议,也就是网页在网上传输的协议. 2.mail:这个是服务器名,代表着是一个邮箱服务器,所以是mail. 3.163.com:这个是域名,是用来定位网站的独一无二的名字. 4.mail.163.com:这个是网站名,由服务器名+域名组成. 5./:这个是根目录,也就是说,

随机推荐