python爬虫之生活常识解答机器人

一、前言

今天教大家如何用Python爬虫去搭建一个「生活常识解答」机器人。

思路：这个机器人主要是依托于“阿里达摩院发布的语言模型PLUG”，通过爬虫的方式，发送post请求（提问），然后返回json数据（回答）

二、问答平台

这个「生活常识解答」机器人采用的是：阿里达摩院发布的语言模型PLUG（最近刚发布的，目前是测试阶段）

该模型参数规模达270亿，采用1TB以上高质量中文文本训练数据，包括了新闻、小说、诗歌、常识问答等类型。

三、原页面效果

这里是需要登录阿里云账号，登录之后可以在网页进行测试问答！

因此我们下面将通过抓包方式获取这个问答的请求链接，然后在python代码中requests发送post请求去进行提问，然后返回结果（答案）。

四、抓包

在浏览器里面F12，点击network，然后点击一下提问，获取链接。

首先是发送的参数（提问）

然后是返回的json数据

因此这个数据包的相关信息（请求链接，参数，返回结果）我们已经知道了，下面开始编写python代码

五、编写代码

首先是导入python库和请求头

import requests
import json
header={
    'content-type':'application/json',
    'cookie':'上面页面中你自己的cookie',

    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3947.100 Safari/537.36',
}

经过测试，有用的请求头参数是上面三个（content-type、cookie、User-Agent），缺一不可。

参数（其中q是问题，length是返回答案长度，type是对应常识问题）

q = "程序员脱发用什么洗发水好？"
data = {
    'length':'128',
    'type':'2',
    'passage':q,
}

发送请求

url = "https://nlp.aliyun.com/otherApi/yymx/cdgmwbsc"
text = requests.post(url,data = json.dumps(data),headers=header).json()
print(text['res'])

返回结果

下面为了能够多轮提问，将请求部分代码放到循环中（如果输入是exit则退出循环）

六、总结

今天小编主要就教大家用Python爬虫去搭建一个「生活常识解答」机器人。

这个机器人主要是依托于“阿里达摩院发布的语言模型PLUG”，通过爬虫的方式，发送post请求（提问），然后返回json数据（回答）。轻松实现多轮提问。

到此这篇关于python爬虫之生活常识解答机器人的文章就介绍到这了,更多相关python机器人内容请搜索我们以前的文章或继续浏览下面的相关文章希望大家以后多多支持我们！

赞 (0)

相关推荐

  • python通过Seq2Seq实现闲聊机器人

    python通过Seq2Seq实现闲聊机器人

    一.准备训练数据 主要的数据有两个: 1.小黄鸡的聊天语料:噪声很大 2.微博的标题和评论:质量相对较高 二.数据的处理和保存 由于数据中存到大量的噪声,可以对其进行基础的处理,然后分别把input和target使用两个文件保存,即input中的第N行尾问,target的第N行为答 后续可能会把单个字作为特征(存放在input_word.txt),也可能会把词语作为特征(input.txt) 2.1 小黄鸡的语料的处理 def format_xiaohuangji_corpus(word=Fal

  • python操作微信自动发消息的实现(微信聊天机器人)

    前言 最近在学习python,发现一个微信自动发消息的小demo感觉很有意思,试了一下,不成功,因为demo中用的是itchat这个库来操作微信,而这个库是通过微信网页版来操作微信的,现在微信网页版已经不能登录了所以失败,我又试了第二种方法,我试图找到微信界面上的搜索框控件,使用搜索框控件找到想法消息的人,然后发送消息,结果就是又失败了,为啥呢?经过我翻翻翻,找找找,发现微信的界面是使用duilib实现的,界面都是画上去的,控件只是逻辑上存在,而实际没有,我们根本获取不到,然后我只能通过手动移动

  • Python实现发票自动校核微信机器人的方法

    Python实现发票自动校核微信机器人的方法

    制作初衷: 外地开了票到公司后发现信息有错误,无法报销: 公司的行政和财务经常在工作日被问及公司开票信息,影响心情和工作: 引入相应的专业APP来解决发票问题对于一般公司成本较高: 看到朋友孟要早睡写过脚本来解决这个问题,但因为公司场景不相同,无法复用,所以新写了一个 本代码使用简单的封装方法,并做了比较走心的注释,希望能给初学Python的小伙伴提供一些灵感,也能让有实际需求的人可以快速修改.使用. 源码地址:https://github.com/yc2code/WechatInvoicePa

  • Python如何实现机器人聊天

    今天午休的时候,无意之中看了一篇博客,名字叫Python实现机器人,感觉挺有的意思的. 于是用其写了一个简单的Python聊天,源码如下所示: # -*- coding: utf-8 -*- import aiml import sys import os def get_module_dir(name): print("module", sys.modules[name]) path = getattr(sys.modules[name], '__file__', None) pri

  • Python实战整活之聊天机器人

    Python实战整活之聊天机器人

    一.前言 刚刚学了一些python文件读写的内容,先跑过来整活了.顺便复习一下之前学的东西. import time doc_local='D:\learning_folder\interaction.txt' def iRead(): fr = open(doc_local, 'r') message=fr.read() return message def iWrite(message): fw = open(doc_local, 'w') fw.write(message) fw.clos

  • python使用自定义钉钉机器人的示例代码

    1.添加自定义机器人 2.编写python代码请求钉钉机器人所给的webhook 钉钉自定义机器人官方文档 安全方式使用加签的方式: 第一步,把timestamp+"\n"+密钥当做签名字符串,使用HmacSHA256算法计算签名,然后进行Base64 encode,最后再把签名参数再进行urlEncode,得到最终的签名(需要使用UTF-8字符集). 参数 说明 timestamp 当前时间戳,单位是毫秒,与请求调用时间误差不能超过1小时 secret 密钥,机器人安全设置页面,加签

  • Python模拟简易版淘宝客服机器人的示例代码

    Python模拟简易版淘宝客服机器人的示例代码

    对于用Python制作一个简易版的淘宝客服机器人,大概思路是:首先从数据库中用sql语句获取相关数据信息并将其封装成函数,然后定义机器问答的主体函数,对于问题的识别可以利用正则表达式来进行分析,结合现实情况选择答案,最后在执行时可以设置循环语句,并且在每次回答间隔1s方便进一步做并发处理作为未来优化方向.从以下几个方面分别实现: 1.货物信息储存到MySQL数据库中 在现实情景中,购物信息的数据一般会储存到数据库中,方便在进行问答时才访问数据库获取相关信息,可以用Python中的sqlalche

  • Python第三方包之DingDingBot钉钉机器人

    这个是作者自己封装的一个钉钉机器人的包,目前只支持发文本格式.链接格式.markdown格式的消息,我们可以在很多场景用到这个,比如告警通知等 安装 pip install DingDingBot 使用方法 from DingDingBot.DDBOT import DingDing # 初始话DingDingBOt webhook是钉钉机器人所必须的 dd = DingDing(webhook='https://oapi.dingtalk.com/robot/send?access_token

  • Python使用20行代码实现微信聊天机器人

    近来,打开微信群发消息,就会秒收到一些活跃分子的回复,有的时候感觉对方回答很在理,但是有的时候发现对方的回答其实是驴唇不对马嘴,仔细深究发现,原来对方是机器人.今天,小编就带大家用20行代码,带你一起打造一个微信聊天机器人,让你的微信群一直嗨不停~~ 首先我们需要安装一个微信相关的第三方库,itchat,在Windows上通过命令:pip install itchat,就可以将其安装. 其二,我们需要去图灵机器人官网:http://www.tuling123.com,注册一下,即可获得一个机器人

  • python爬虫之生活常识解答机器人

    python爬虫之生活常识解答机器人

    一.前言 今天教大家如何用Python爬虫去搭建一个「生活常识解答」机器人. 思路:这个机器人主要是依托于"阿里达摩院发布的语言模型PLUG",通过爬虫的方式,发送post请求(提问),然后返回json数据(回答) 二.问答平台 这个「生活常识解答」机器人采用的是:阿里达摩院发布的语言模型PLUG(最近刚发布的,目前是测试阶段) 该模型参数规模达270亿,采用1TB以上高质量中文文本训练数据,包括了新闻.小说.诗歌.常识问答等类型. 三.原页面效果 这里是需要登录阿里云账号,登录之后可

  • Python实现生活常识解答机器人

    Python实现生活常识解答机器人

    一.问答平台 这个「生活常识解答」机器人采用的是:阿里达摩院发布的语言模型PLUG(最近刚发布的,目前是测试阶段),地址链接如下: https://nlp.aliyun.com/portal#/BigText_chinese 该模型参数规模达270亿,采用1TB以上高质量中文文本训练数据,包括了新闻.小说.诗歌.常识问答等类型. 先来看一下原页面效果 这里是需要登录阿里云账号,登录之后可以在网页进行测试问答! 因此我们下面将通过抓包方式获取这个问答的请求链接,然后在python代码中reques

  • 零基础学习Python爬虫

    零基础学习Python爬虫

    目录 爬虫 为什么我们要使用爬虫 爬虫准备工作 爬虫项目讲解 代码分析 1.爬取网页 2.逐一解析数据 3.保存数据 讲解我们的爬虫之前,先概述关于爬虫的简单概念(毕竟是零基础教程) 爬虫 网络爬虫(又被称为网页蜘蛛,网络机器人)就是模拟浏览器发送网络请求,接收请求响应,一种按照一定的规则,自动地抓取互联网信息的程序. 原则上,只要是浏览器(客户端)能做的事情,爬虫都能够做. 为什么我们要使用爬虫 互联网大数据时代,给予我们的是生活的便利以及海量数据爆炸式的出现在网络中. 过去,我们通过书籍.报

  • Python爬虫之对CSDN榜单进行分析

    前言 本篇文章的主要内容是利用Python对CSDN热榜变冷榜的指标数据进行分析的爬虫 分析一下各指标 开始爬取热榜,请稍候...耗时:2.199401808s [Top100指标统计] 浏览为0的:        3评论为0的:       76收藏为0的:       51浏览评论0的:    3三指标都0的:    2 浏览个位数的:    25评论个位数的:    98收藏个位数的:    86无封面题图的:    74 浏览>=100的:    18评论>=10的:      1收藏

  • python爬虫实战之最简单的网页爬虫教程

    python爬虫实战之最简单的网页爬虫教程

    前言 网络爬虫(又被称为网页蜘蛛,网络机器人,在FOAF社区中间,更经常的称为网页追逐者),是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本.最近对python爬虫有了强烈地兴趣,在此分享自己的学习路径,欢迎大家提出建议.我们相互交流,共同进步.话不多说了,来一起看看详细的介绍: 1.开发工具 笔者使用的工具是sublime text3,它的短小精悍(可能男人们都不喜欢这个词)使我十分着迷.推荐大家使用,当然如果你的电脑配置不错,pycharm可能更加适合你. sublime text3

  • Python爬虫实例爬取网站搞笑段子

    众所周知,python是写爬虫的利器,今天作者用python写一个小爬虫爬下一个段子网站的众多段子. 目标段子网站为"http://ishuo.cn/",我们先分析其下段子的所在子页的url特点,可以轻易发现发现为"http://ishuo.cn/subject/"+数字, 经过测试发现,该网站的反扒机制薄弱,可以轻易地爬遍其所有站点. 现在利用python的re及urllib库将其所有段子扒下 import sys import re import urllib

  • python使用itchat库实现微信机器人(好友聊天、群聊天)

    itchat是一个开源的微信个人号接口,可以使用该库进行微信网页版中的所有操作,比如:所有好友.添加好友.拉好友群聊.微信机器人等等.详细用户请看文档介绍,在这里. 本文主要使用该库完成一个能够处理微信消息的的图灵机器人,包括好友聊天.群聊天. 1.itchat库的安装 pip install itchat 安装完成后运行以下代码,会出现出现一张二维码,扫码登陆之后将会登陆微信网页. 2.登陆 import itchat # 登陆 itchat.auto_login() # 可设置hotRelo

  • python爬虫基本知识

    爬虫简介 根据百度百科定义:网络爬虫(又被称为网页蜘蛛,网络机器人,在FOAF社区中间,更经常的称为网页追逐者),是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本.另外一些不常使用的名字还有蚂蚁.自动索引.模拟程序或者蠕虫. 随着大数据的不断发展,爬虫这个技术慢慢走入人们的视野,可以说爬虫是大数据应运而生的产物,至少我解除了大数据才了解到爬虫这一技术 随着数据的海量增长,我们需要在互联网上选取所需要的数据进行自己研究的分析和实验.这就用到了爬虫这一技术,下面就跟着小编一起初遇python

  • Python爬虫实现“盗取”微信好友信息的方法分析

    本文实例讲述了Python爬虫实现"盗取"微信好友信息的方法.分享给大家供大家参考,具体如下: 刚起床,闲来无聊,找点事做,看了朋友圈一篇爬取微信好友信息的文章,突发奇想,偷偷看看女朋友微信有些啥....于是就下手了....[阴险] 1.准备工作: 运行平台:Windows Python版本:Python3.6 IDE:Sublime Text Python库:wxpy, 2.开发流程:(电脑没电了,要撑不住了啦~之后具体分析) 3.直接上代码: # 微信好友信息爬取+数据可视化 #

  • python爬虫容易学吗

    随着大数据时代的到来,数据将如同煤电气油一样,成为我们最重要的能源之一,然而这种能源是可以源源不断产生.可再生的.而Python爬虫作为获取数据的关键一环,在大数据时代有着极为重要的作用.于是许多同学就前来咨询:Python爬虫好学吗? 什么是爬虫? 网络爬虫,又被称为网页蜘蛛,网络机器人,是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本. 数据从何而来? 要想学Python首先请问:我们所爬的数据,是从哪里来的呢? 企业产生的用户数据:百度指数.阿里指数.TBI腾讯浏览指数.新浪微博指

随机推荐