python爬虫之爬取百度翻译

破解百度翻译

翻译是一件麻烦的事情，如果可以写一个爬虫程序直接爬取百度翻译的翻译结果就好了，可当我打开百度翻译的页面，输入要翻译的词时突然发现不管我要翻译什么，网址都没有任何变化，那么百度翻译要怎么爬取呢？

爬取百度翻译之前，我们先要明白百度翻译是怎么在不改变网址的情况下实现翻译的。百度做到这一点是用 AJAX 实现的，简单地说，AJAX的作用是在不重新加载网页的情况下进行局部的刷新。

了解了这一点，那么我们要怎么得到 AJAX 工作时请求的URL呢？老规矩，使用抓包工具。

爬虫步骤

在 “百度翻译” 页面右键，选择“Notework”选择 “ XHR ”

如果画面没有任何数据，可以试着输入要翻译的词，比如说我输入“dog”时，就发生了如下的变化

我们看到此时的 kw 是我要翻译的词，说明这是我们要找的东西。

（注意：我们发现其中有三个 sug ，我选的只是其中一个。如果我们全都带点开看，就会发现，他们的 kw 分别是：d 和 do。这是因为我打 dog 时一个单词一个单词打的，而 AJAX 是时时刷新。如果输入中文就不会出现这种情况。翻译中文时，我们找的也不是 sug 了，具体是什么，就看哪个包的 data 的值是我们要翻译的词。）

然后我们在回到上面，找到我们需要指定的 URL 、我们要选择的请求命令以及爬取到的数据的类型。

欧克，做到这里我们的前期准备就完成了，下面就可以开始着手写代码了。

import requests

if __name__ == "__main__":
    # 指定 url
    url = "https://fanyi.baidu.com/sug"

    # 要翻译的词
    keyword = input("需要翻译的词：")

    data = {
        "kw": keyword
        }

    # UA 伪装
    header = {
        "user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.90 Safari/537.36"
        }

    # 发送请求
    response = requests.post(url = url, data = data, headers = header).json()

    print(response)

我们运行程序发现结果是这样的：

因为请求到的数据比较短，所以我们比较容易地看出数据的结构是字典里有列表，列表里又有字典结构。如果比较长，我们可以使用在线 json 转换,转换后的数据是这样的

我们只需要 dog 的释义，所以我们还可以对我们代码进行优化

print(response["data"][0]["v"])

注意

关于 data 的字典，并不是说只需要 “ kw ”: dog, data 的字典里要存储的是抓包工具里 from data 里所有的值，如果没有值，那么相对应的值就是空字符串。

如果学会了，你试着自己写一个破解有道翻译的爬虫程序吧!

到此这篇关于python爬虫之爬取百度翻译的文章就介绍到这了,更多相关python爬取百度翻译内容请搜索我们以前的文章或继续浏览下面的相关文章希望大家以后多多支持我们！

赞 (0)

相关推荐

  • Python爬虫实现百度翻译功能过程详解

    首先,需要简单的了解一下爬虫,尽可能简单快速的上手,其次,需要了解的是百度的API的接口,搞定这个之后,最后,按照官方给出的demo,然后写自己的一个小程序 打开浏览器 F12 打开百度翻译网页源代码: 我们可以轻松的找到百度翻译的请求接口为:http://fanyi.baidu.com/sug 然后我们可以从方法为POST的请求中找到参数为:kw:job(job是输入翻译的内容) 下面是代码部分: from urllib import request,parse import json def

  • Python使用requests模块爬取百度翻译

    requests模块: python中原生的一款基于网络请求的模块,功能非常强大,简单便捷,效率极高. 作用:模拟浏览器发请求. 提示:老版使用 urllib模块,但requests比urllib模块要简单好用,现在学习requests模块即可! requests模块编码流程 指定url 1.1 UA伪装 1.2 请求参数的处理 2.发起请求 3.获取响应数据 4.持久化存储 环境安装: pip install requests 案例一:破解百度翻译(post请求) 1.代码如下: #爬取百度翻

  • Python使用百度翻译开发平台实现英文翻译为中文功能示例

    本文实例讲述了Python使用百度翻译开发平台实现英文翻译为中文功能.分享给大家供大家参考,具体如下: #coding=utf8 import random import requests import hashlib appid = 'xxxxxx' secretKey = 'xxxxx' def get_md5(string):#返回字符串md5加密 hl = hashlib.md5() hl.update(string.encode('utf-8')) return hl.hexdiges

  • python使用百度翻译进行中翻英示例

    利用百度词典进行中翻英 复制代码 代码如下: import urllib2import reimport sys reload(sys)sys.setdefaultencoding('utf-8')def tran(word):    url='http://dict.baidu.com/s?wd={0}&tn=dict'.format(word)    print url    req=urllib2.Request(url)    resp=urllib2.urlopen(req)    r

  • Python结合百度语音识别实现实时翻译软件的实现

    Python结合百度语音识别实现实时翻译软件的实现

    一.所需库安装 pip install PyAudio pip install SpeechRecognition pip install baidu-aip pip install Wave pip install Wheel pip install Pyinstaller 二.百度官网申请服务 三.源代码分享 import pyaudio import wave from aip import AipSpeech import time # 用Pyaudio库录制音频 # out_file:

  • python3调用百度翻译API实现实时翻译

    今天需要做一个翻译的工具,找到之前写过的有道翻译,已经不能用了,最后看到百度翻译还不错,不过官方版本是Python2,我需要Python3,就自己写了一个: # coding: utf8 ''' @Author: LCY @Contact: lchuanyong@126.com @blog: http://http://blog.csdn.net/lcyong_ @Date: 2018-01-15 @Time: 19:19 说明: appid和secretKey为百度翻译文档中自带的,需要切换为

  • python 爬虫如何实现百度翻译

    环境 python版本号 系统 游览器 python 3.7.2 win7 google chrome 关于本文 本文将会通过爬虫的方式实现简单的百度翻译.本文中的代码只供学习,不允许作为于商务作用.商务作用请前往api.fanyi.baidu.com购买付费的api.若有侵犯,立即删文! 实现思路 在网站文件中找到隐藏的免费api.传入api所需要的参数并对其发出请求.在返回的json结果里找到相应的翻译结果. 百度翻译的反爬机制 由js算法生成的sign cookie检测 token暗号 在

  • 基于python实现百度翻译功能

    基于python实现百度翻译功能

    运行环境: python 3.6.0 今天处于练习的目的,就用 python 写了一个百度翻译,是如何做到的呢,其实呢就是拿到接口,通过这个接口去访问,不过中间确实是出现了点问题,不过都解决掉了 先晾图后晾代码 运行结果: 代码: # -*- coding: utf-8 -*- """ 功能:百度翻译 注意事项:中英文自动切换 """ import requests import re class Baidu_Translate(object):

  • 用python实现百度翻译的示例代码

    用python实现百度翻译的示例代码

    用python实现百度翻译,分享给大家,具体如下: 首先,需要简单的了解一下爬虫,尽可能简单快速的上手,其次,需要了解的是百度的API的接口,搞定这个之后,最后,按照官方给出的demo,然后写自己的一个小程序 打开浏览器 F12 打开百度翻译网页源代码: 我们可以轻松的找到百度翻译的请求接口为:http://fanyi.baidu.com/sug 然后我们可以从方法为POST的请求中找到参数为:kw:job(job是输入翻译的内容) 下面是代码部分: from urllib import req

  • Python如何通过百度翻译API实现翻译功能

    本人英语不好,很多词组不认识,只能借助工具:百度翻译和谷歌翻译都不错,近期自学Python,就想能否自己设计一个百度翻译软件呢? 百度翻译开放平台:http://api.fanyi.baidu.com/api/trans/product/index 百度翻译开放平台是百度翻译面向广大开发者提供开放服务的平台. 服务涵盖:通用翻译API.定制化翻译API.语音翻译SDK.拍照翻译SDK等,并持续更新中.自己用通用的即可. 通用翻译API采用全流程自助申请的模式.点击网站上方的"登录"按钮

随机推荐