selenium.chrome写扩展拦截或转发请求功能

目录
  • Selenium.WebDriver
    • nuget
    • 开始coding
    • 写selenium.chrome插件
    • 使用方法
    • 实现效果

Selenium.WebDriver

Selenium WebDriver 是一组开源 API,用于自动测试 Web 应用程序,利用它可以通过代码来控制chrome浏览器!

有时候我们需要mock接口的返回,或者拦截和转发请求,今天就来实现这个功能

代码已开源: https://github.com/yuzd/OpenQA.Selenium.Chrome.Fiddler

nuget

OpenQA.Selenium.Chrome.Fiddler

开始coding

我们新创建一个功能:OpenQA.Selenium.Chrome.Fiddler

一个chrome扩展 最起码有2个文件

manifest.json

background.js

稍微解释一下:

manifest.json 是来描述chrome扩展的
{
    "version": "1.0.0",
    "manifest_version": 2,
    "name": "Chrome Fiddler",
    "permissions": [
        "proxy",
        "tabs",
        "unlimitedStorage",
        "storage",
        "<all_urls>",
        "webRequest",
        "webRequestBlocking"
    ],
    "background": {
        "scripts": ["background.js"]
 },
    "minimum_chrome_version":"22.0.0"
}
background.js 是逻辑处理模块

因为拦截api 或者 转发 需要用的chrome的api

chrome.webRequest.onBeforeRequest.addListener(
   function(details) {
      //逻辑处理
   },
   { urls: ['<all_urls>']},
   ['blocking', 'extraHeaders', 'requestBody']
);

这个api的函数 接收的details参数

  • details.url 是api的接口

函数的返回

  • {cancel:true} 拦截请求
  • {redirectUrl:''} 转发到指定url

写selenium.chrome插件

  • 新建一个netstand工程,然后引用

Selenium.WebDriver

复制以下代码

/// <summary>
/// Add Fiddler extention
/// </summary>
/// <param name="options">Chrome options</param>
/// <param name="fiddlerOption">Proxy host</param>
public static void AddFiddler(this ChromeOptions options, FiddlerOption fiddlerOption)
{
    var backgroundProxyJs = ReplaceTemplates(background_js, fiddlerOption);

    if (!Directory.Exists("Plugins"))
        Directory.CreateDirectory("Plugins");

    var guid = Guid.NewGuid().ToString();

    var manifestPath = $"Plugins/manifest_{guid}.json";
    var backgroundPath = $"Plugins/background_{guid}.js";
    var archiveFilePath = $"Plugins/proxy_auth_plugin_{guid}.zip";

    File.WriteAllText(manifestPath, manifest_json);
    File.WriteAllText(backgroundPath, backgroundProxyJs);

    using (var zip = ZipFile.Open(archiveFilePath, ZipArchiveMode.Create))
    {
        zip.CreateEntryFromFile(manifestPath, "manifest.json");
        zip.CreateEntryFromFile(backgroundPath, "background.js");
    }

    File.Delete(manifestPath);
    File.Delete(backgroundPath);

    options.AddExtension(archiveFilePath);
}

private static string ReplaceTemplates(string str, FiddlerOption fiddlerOption)
{
    if (fiddlerOption.OnBeforeRequestOptions != null)
    {
        var beforeConfigs = Newtonsoft.Json.JsonConvert.SerializeObject(fiddlerOption.OnBeforeRequestOptions);
        str = str.Replace("{before_configs}", beforeConfigs);
    }
    return str;
}

上面的代码主要是创建一个chrome扩展zip包

然后再selenium.chrome启动的时候传进去这个zip包的地址

使用方法

var driverBinary = @"D:\soft\chrome\chrome2\Chrome-bin\";
ChromeOptions options = new ChromeOptions
{
    BinaryLocation = Path.Combine(driverBinary, "chrome.exe")
};
Environment.SetEnvironmentVariable("webdriver.chrome.driver", driverBinary);
options.AddArgument("--disable-blink-features=AutomationControlled");
options.AddArguments("--disable-infobars");
List<string> ls = new List<string> { "enable-automation" };
options.AddExcludedArguments(ls);
#region Fillder
options.AddFiddler(new FiddlerOption
{
    OnBeforeRequestOptions = new List<FiddlerOnBeforeRequestOptions>
    {
        // 配置转发
        new FiddlerOnBeforeRequestOptions
        {
            Match = "https://www.cnblogs.com/yudongdong/ajax/GetPostStat",//正则
            RedirectUrl = "http://localhost:5000/GetPostStat",//如果匹配成功则将requestBody转发到这个url中去
            Cancel = false//如果配置了cancel=true那么转发将无效,true的意思是直接拦截这次的请求,不去发送了
        },
        // 配置拦截
        new FiddlerOnBeforeRequestOptions
        {
            Match = "https://www.cnblogs.com/yudongdong/ajax/blogStats",
            Cancel = true//true的意思是直接拦截这次的请求,不去发送了
        },
    }
});
#endregion
var chrome = new ChromeDriver(driverBinary, options);

实现效果

到此这篇关于selenium.chrome写扩展拦截或转发请求的文章就介绍到这了,更多相关selenium chrome写扩展拦截或转发请求内容请搜索我们以前的文章或继续浏览下面的相关文章希望大家以后多多支持我们!

(0)

相关推荐

  • selenium+headless chrome爬虫的实现示例

    python爬虫写起来非常快,虽然也可以用java,但是没有python来的简洁迅速 selenium在前面总结过,是一个自动化测试库.headless chrome是无界面的浏览器模式,和PHANTOMJS类似.但是PHANTOMJS往往会出现莫名的错误,而且速度没有headless chrome快 from selenium.webdriver.chrome.options import Options global DRIVER chrome_options = Options() chr

  • 解决selenium+Headless Chrome实现不弹出浏览器自动化登录的问题

    目前由于phantomjs已经不维护了,而新版的Chrome(59+)推出了Headless模式,对爬虫来说尤其是定时任务的爬虫截屏之类的是一大好事. 不过按照网络上的一些方法来写的话,会报下面的错误: 后来经过分析,他们运行python是在mac或者linux下进行的,win下由于高版本的chromedriver只能通过路径进行指定,所以会出现这类找不到驱动程序的错误. 经过比对常识网络上的各种代码,后来得出了win下可顺畅执行的driver的写法如下: from selenium impor

  • 使用Selenium控制当前已经打开的chrome浏览器窗口

    目录 前言 应用场景(理论上) 1. 打开浏览器 2. 编写 Python程序获取控制 浏览器 3. 总结 后话 前言 有过几个小伙伴问过我如何利用 Selenium 获取已经打开的浏览器窗口,正巧近日看到有文章写到,我就很不要脸的拿来过拼凑到一起了. 这里使用 chrome浏览器 来做示例. 整个下来主要有两个步骤, 手动打开浏览器, 使用 Python程序 去获取到手动打开的 chrome浏览器. 应用场景(理论上) 登录账号并且需要输入手机验证码的网站: 登录账号并且需要人机验证的网站(如

  • Selenium启动Chrome时配置选项详解

    Selenium操作浏览器是不加载任何配置的,网上找了半天,关于Firefox加载配置的多点,Chrome资料很少,下面是关于加载Chrome配置的方法: 一.加载所有Chrome配置 用Chrome地址栏输入chrome://version/,查看自己的"个人资料路径",然后在浏览器启动时,调用这个配置文件,代码如下: #coding=utf-8 from selenium import webdriver option = webdriver.ChromeOptions() opt

  • selenium.chrome写扩展拦截或转发请求功能

    目录 Selenium.WebDriver nuget 开始coding 写selenium.chrome插件 使用方法 实现效果 Selenium.WebDriver Selenium WebDriver 是一组开源 API,用于自动测试 Web 应用程序,利用它可以通过代码来控制chrome浏览器! 有时候我们需要mock接口的返回,或者拦截和转发请求,今天就来实现这个功能 代码已开源: https://github.com/yuzd/OpenQA.Selenium.Chrome.Fiddl

  • python+selenium+Chrome options参数的使用

    Chrome Options常用的行为一般有以下几种: 禁止图片和视频的加载:提升网页加载速度. 添加代理:用于翻墙访问某些页面,或者应对IP访问频率限制的反爬技术. 使用移动头:访问移动端的站点,一般这种站点的反爬技术比较薄弱. 添加扩展:像正常使用浏览器一样的功能. 设置编码:应对中文站,防止乱码. 阻止JavaScript执行 ... Chrome Options是一个配置chrome启动时属性的类,通过这个参数我们可以为Chrome添加如下参数: 设置 chrome 二进制文件位置 (b

  • python+selenium+chrome实现淘宝购物车秒杀自动结算

    之前总是想要买aj,但是淘宝店铺每次发售手动抢的时候一般都会被黄牛抢走...最近毕业设计学习了一下python的东西,所以写了这么一个抢购的东西算是解决自己一个小小的愿望,这可是aj啊. 我会把内容写的尽量面向初学者,从头至尾的过程都会有所提及.代码也放在了后面 一.所需环境 Selenium Selenium是一个开源的自动化测试工具.原理是通过模拟浏览器操作,还支持java,python,c#,php等主流的编程语言. 一般爬虫也支持Selenium,一些经过js渲染的内容和数据和ajax异

  • Chrome插件(扩展)开发全攻略(完整demo)

    写在前面 我花了将近一个多月的时间断断续续写下这篇博文,并精心写下完整demo,写博客的辛苦大家懂的,所以转载务必保留出处.本文所有涉及到的大部分代码均在这个demo里面:https://github.com/sxei/chrome-plugin-demo ,大家可以直接下载下来运行. 另外,本文图片较多,且图片服务器带宽有限,右下角的目录滚动监听必须等到图片全部加载完毕之后才会触发,所以请耐心等待加载完毕. 本文目录: demo部分截图: 前言 什么是Chrome插件 严格来讲,我们正在说的东

  • JS 拦截全局ajax请求实例解析

    你是否有过下面的需求:需要给所有ajax请求添加统一签名.需要统计某个接口被请求的次数.需要限制http请求的方法必须为get或post.需要分析别人网络协议等等,那么如何做?想想,如果能够拦截所有ajax请求,那么问题就会变的很简单!

  • 谷歌Chrome浏览器扩展程序开发小记

    根据公司的规定,每月八小时,弹性工作制.所以大家平时来的不太准时,如果有事,下班也就早些回去了.所以一个月下来工作时间可能不够,但是公司的考勤日历是这样的: 除了请假和法定节假日外,其他样式显示都是一样的,每次都要一个个估算这个月的大概工作时间,十分不方便.后来看到公司有人在用一个Chrome扩展程序,可以计算出一个月的工作时间,但是我觉得还是没有看到我想看的东西,因为除了每个月的累计工作时间外,我还想看到:平均每天工作时长.每一天的工作时长.20点以后的天数(20点以后下班的可以报销晚饭的,哈

  • 如何利用nginx通过正则拦截指定url请求详解

    nginx服务器 nginx是非常出色web服务器,对于静态文件的处理非常高效,同时它的代理转发功能和其它后台服务器搭配起来也非常的简单高效. location 我们知道nginx会对请求进行解析,然后回得到关于请求的url等信息,我们只需要对url进行匹配,然后拦截即可. 匹配规则 location / { if ($request_uri ~* ^/\?http(.*)$) { return 404; } } 经过这样的匹配,我们就可以拦截所有请求根目录的网址并且参数为?httpxxx类似的

  • SpringCloud Feign转发请求头(防止session失效)的解决方案

    微服务开发中经常有这样的需求,公司自定义了通用的请求头,需要在微服务的调用链中转发,比如在请求头中加入了token,或者某个自定义的信息uniqueId,总之就是自定义的一个键值对的东东,A服务调用B服务,B服务调用C服务,这样通用的东西如何让他在一个调用链中不断地传递下去呢?以A服务为例: 方案1 最傻的办法,在程序中获取,调用B的时候再转发,怎么获取在Controller中国通过注解获取,或者通过request对象获取,这个不难,在请求B服务的时候,通过注解将值放进去即可:简代码如下: 获取

  • ASP.NET Core扩展库之Http请求模拟功能的使用

    如今,完全独立的业务应用几乎不存在,不管是在企业内部微服务之间的调用,还是与外部第三方服务的调用,Http的API交互是常见的场景,这些实际情况给我们的开发带来了比较大的挑战,一是第三方服务可能会牵制我们的开发进度,特别是在多团队开发的情况下,由于依赖于其他团队的服务,有时候需要等待其他团队的进度,导致自己团队的无效等待.有时因为其他团队的延期,导致团队的被动延期.二是第三方服务的质量问题或开发过程中的频繁更新导致的部署问题,将严重拖累自己团队的开发进度,同时让你无法专心的开发自己的服务.三是单

  • 解决selenium模块利用performance获取network日志请求报错的问题(亲测有效)

    目录 报错翻译 报错原因 解决方法 已解决selenium模块利用performance获取network日志请求,抛出异常selenium.common.exceptions.InvalidArgumentException: Message: invalid argument: log type ‘performance’ not found 报错问题 一个小伙伴遇到问题跑来私信我,想用selenium模块利用performance获取network日志请求,但是发生了报错(当时他心里瞬间凉

随机推荐