详解pytest分布式执行插件 pytest-xdist 的高级用法
想要使用多个CPU核心来进行测试，可以使用 -n 参数( 或者 --numprocesses)
(使用8个核心来跑测试用例)
pytest -n 8
使用 -n auto 参数可以利用电脑的所有核心来跑测试用例
测试时使用的算法可以根据--dist命令参数定制：
--dist load(默认选项)：给每个CPU核心随机分配用例，不保证执行顺序。--dist loadscope：对于测试函数，测试按模块分组，对于测试方法，测试按类分组。每组作为一个整体分配给可用的worker。这保证了组中的所有测试都在同一进程中运行。如果的模块级或类级fixtures，这将非常有用。按类分组优先于按模块分组。--dist loadfile: 测试用例按其所在文件分组。每组作为一个整体分配给可用的worker。这保证了文件中的所有测试都在同一个辅助进程中运行。--dist loadgroup: 测试按xdist_group标记分组。每组作为一个整体分配给可用的执行器。这保证了具有相同xdist_ group名称的所有测试都在同一个worker中运行。
@pytest.mark.xdist_group(name="group1")
def test1():
pass
class TestA:
@pytest.mark.xdist_group("group1")
def test2():
pass-
这将确保test1和TestA:：test2将在同一个worker中运行。没有xdist_ group标记的测试在--dist=load模式下正常运行。
--dist no：正常的pytest执行模式，一次运行一个测试（完全没有分发）。
例子：
项目目录结构
xdist_test.py
import logging
import pytest
class TestXdist(object):
@pytest.mark.xdist_group("group1")
def test_one(self):
logging.info("1")
assert True
@pytest.mark.xdist_group("group1")
def test_two(self):
logging.info("2")
assert True
@pytest.mark.xdist_group("group2")
def test_three(self):
logging.info("3")
assert True
@pytest.mark.xdist_group("group2")
def test_four(self):
logging.info("4")
assert True
xdist_dummy_test.py
import logging
import pytest
class TestXdist(object):
@pytest.mark.run(order=1)
@pytest.mark.xdist_group("group1")
def test_dummy_one(self):
logging.info("d1")
assert True
@pytest.mark.xdist_group("group1")
@pytest.mark.run(order=2)
def test_dummy_two(self):
logging.info("d2")
assert True
@pytest.mark.run(order=3)
@pytest.mark.xdist_group("group2")
def test_dummy_three(self):
logging.info("d3")
assert True
@pytest.mark.xdist_group("group2")
@pytest.mark.run(order=4)
def test_dummy_four(self):
logging.info("d4")
assert True
(venv) ➜ pytest pytest -n auto --dist loadscope =========================================================================== test session starts =========================================================================== platform darwin -- Python 3.8.9, pytest-7.1.2, pluggy-1.0.0 rootdir: /Users/spock/PycharmProjects/pytest, configfile: pytest.ini plugins: xdist-2.5.0, forked-1.4.0, ordering-0.6 [gw0] Python 3.8.9 (default, May 17 2022, 12:55:41) -- [Clang 13.1.6 (clang-1316.0.21.2.5)] [gw1] Python 3.8.9 (default, May 17 2022, 12:55:41) -- [Clang 13.1.6 (clang-1316.0.21.2.5)] [gw2] Python 3.8.9 (default, May 17 2022, 12:55:41) -- [Clang 13.1.6 (clang-1316.0.21.2.5)] [gw3] Python 3.8.9 (default, May 17 2022, 12:55:41) -- [Clang 13.1.6 (clang-1316.0.21.2.5)] [gw4] Python 3.8.9 (default, May 17 2022, 12:55:41) -- [Clang 13.1.6 (clang-1316.0.21.2.5)] [gw5] Python 3.8.9 (default, May 17 2022, 12:55:41) -- [Clang 13.1.6 (clang-1316.0.21.2.5)] [gw6] Python 3.8.9 (default, May 17 2022, 12:55:41) -- [Clang 13.1.6 (clang-1316.0.21.2.5)] [gw7] Python 3.8.9 (default, May 17 2022, 12:55:41) -- [Clang 13.1.6 (clang-1316.0.21.2.5)] gw0 [8] / gw1 [8] / gw2 [8] / gw3 [8] / gw4 [8] / gw5 [8] / gw6 [8] / gw7 [8] scheduling tests via LoadScopeScheduling test2/xdist_dummy_test.py::TestXdist::test_dummy_one test/xdist_test.py::TestXdist::test_one [gw0] [ 12%] PASSED test2/xdist_dummy_test.py::TestXdist::test_dummy_one [gw1] [ 25%] PASSED test/xdist_test.py::TestXdist::test_one test2/xdist_dummy_test.py::TestXdist::test_dummy_two test/xdist_test.py::TestXdist::test_two [gw1] [ 37%] PASSED test/xdist_test.py::TestXdist::test_two test/xdist_test.py::TestXdist::test_three [gw0] [ 50%] PASSED test2/xdist_dummy_test.py::TestXdist::test_dummy_two test2/xdist_dummy_test.py::TestXdist::test_dummy_three [gw1] [ 62%] PASSED test/xdist_test.py::TestXdist::test_three test/xdist_test.py::TestXdist::test_four [gw0] [ 75%] PASSED test2/xdist_dummy_test.py::TestXdist::test_dummy_three test2/xdist_dummy_test.py::TestXdist::test_dummy_four [gw1] [ 87%] PASSED test/xdist_test.py::TestXdist::test_four [gw0] [100%] PASSED test2/xdist_dummy_test.py::TestXdist::test_dummy_four ============================================================================ 8 passed in 0.40s ============================================================================
(venv) ➜ pytest pytest -n auto --dist loadfile =========================================================================== test session starts =========================================================================== platform darwin -- Python 3.8.9, pytest-7.1.2, pluggy-1.0.0 rootdir: /Users/spock/PycharmProjects/pytest, configfile: pytest.ini plugins: xdist-2.5.0, forked-1.4.0, ordering-0.6 [gw0] Python 3.8.9 (default, May 17 2022, 12:55:41) -- [Clang 13.1.6 (clang-1316.0.21.2.5)] [gw1] Python 3.8.9 (default, May 17 2022, 12:55:41) -- [Clang 13.1.6 (clang-1316.0.21.2.5)] [gw2] Python 3.8.9 (default, May 17 2022, 12:55:41) -- [Clang 13.1.6 (clang-1316.0.21.2.5)] [gw3] Python 3.8.9 (default, May 17 2022, 12:55:41) -- [Clang 13.1.6 (clang-1316.0.21.2.5)] [gw4] Python 3.8.9 (default, May 17 2022, 12:55:41) -- [Clang 13.1.6 (clang-1316.0.21.2.5)] [gw5] Python 3.8.9 (default, May 17 2022, 12:55:41) -- [Clang 13.1.6 (clang-1316.0.21.2.5)] [gw6] Python 3.8.9 (default, May 17 2022, 12:55:41) -- [Clang 13.1.6 (clang-1316.0.21.2.5)] [gw7] Python 3.8.9 (default, May 17 2022, 12:55:41) -- [Clang 13.1.6 (clang-1316.0.21.2.5)] gw0 [8] / gw1 [8] / gw2 [8] / gw3 [8] / gw4 [8] / gw5 [8] / gw6 [8] / gw7 [8] scheduling tests via LoadFileScheduling test/xdist_test.py::TestXdist::test_one test2/xdist_dummy_test.py::TestXdist::test_dummy_one [gw1] [ 12%] PASSED test/xdist_test.py::TestXdist::test_one [gw0] [ 25%] PASSED test2/xdist_dummy_test.py::TestXdist::test_dummy_one test/xdist_test.py::TestXdist::test_two test2/xdist_dummy_test.py::TestXdist::test_dummy_two [gw1] [ 37%] PASSED test/xdist_test.py::TestXdist::test_two [gw0] [ 50%] PASSED test2/xdist_dummy_test.py::TestXdist::test_dummy_two test2/xdist_dummy_test.py::TestXdist::test_dummy_three test/xdist_test.py::TestXdist::test_three [gw1] [ 62%] PASSED test/xdist_test.py::TestXdist::test_three [gw0] [ 75%] PASSED test2/xdist_dummy_test.py::TestXdist::test_dummy_three test2/xdist_dummy_test.py::TestXdist::test_dummy_four test/xdist_test.py::TestXdist::test_four [gw1] [ 87%] PASSED test/xdist_test.py::TestXdist::test_four [gw0] [100%] PASSED test2/xdist_dummy_test.py::TestXdist::test_dummy_four ============================================================================ 8 passed in 0.38s ============================================================================
(venv) ➜ pytest pytest -n auto --dist loadgroup =========================================================================== test session starts =========================================================================== platform darwin -- Python 3.8.9, pytest-7.1.2, pluggy-1.0.0 rootdir: /Users/spock/PycharmProjects/pytest, configfile: pytest.ini plugins: xdist-2.5.0, forked-1.4.0, ordering-0.6 [gw0] Python 3.8.9 (default, May 17 2022, 12:55:41) -- [Clang 13.1.6 (clang-1316.0.21.2.5)] [gw1] Python 3.8.9 (default, May 17 2022, 12:55:41) -- [Clang 13.1.6 (clang-1316.0.21.2.5)] [gw2] Python 3.8.9 (default, May 17 2022, 12:55:41) -- [Clang 13.1.6 (clang-1316.0.21.2.5)] [gw3] Python 3.8.9 (default, May 17 2022, 12:55:41) -- [Clang 13.1.6 (clang-1316.0.21.2.5)] [gw4] Python 3.8.9 (default, May 17 2022, 12:55:41) -- [Clang 13.1.6 (clang-1316.0.21.2.5)] [gw5] Python 3.8.9 (default, May 17 2022, 12:55:41) -- [Clang 13.1.6 (clang-1316.0.21.2.5)] [gw6] Python 3.8.9 (default, May 17 2022, 12:55:41) -- [Clang 13.1.6 (clang-1316.0.21.2.5)] [gw7] Python 3.8.9 (default, May 17 2022, 12:55:41) -- [Clang 13.1.6 (clang-1316.0.21.2.5)] gw0 [8] / gw1 [8] / gw2 [8] / gw3 [8] / gw4 [8] / gw5 [8] / gw6 [8] / gw7 [8] scheduling tests via LoadGroupScheduling test2/xdist_dummy_test.py::TestXdist::test_dummy_three@group2 test2/xdist_dummy_test.py::TestXdist::test_dummy_one@group1 [gw1] [ 12%] PASSED test2/xdist_dummy_test.py::TestXdist::test_dummy_three@group2 test2/xdist_dummy_test.py::TestXdist::test_dummy_four@group2 [gw0] [ 25%] PASSED test2/xdist_dummy_test.py::TestXdist::test_dummy_one@group1 [gw1] [ 37%] PASSED test2/xdist_dummy_test.py::TestXdist::test_dummy_four@group2 test2/xdist_dummy_test.py::TestXdist::test_dummy_two@group1 [gw0] [ 50%] PASSED test2/xdist_dummy_test.py::TestXdist::test_dummy_two@group1 test/xdist_test.py::TestXdist::test_three@group2 [gw1] [ 62%] PASSED test/xdist_test.py::TestXdist::test_three@group2 test/xdist_test.py::TestXdist::test_four@group2 [gw1] [ 75%] PASSED test/xdist_test.py::TestXdist::test_four@group2 test/xdist_test.py::TestXdist::test_one@group1 [gw0] [ 87%] PASSED test/xdist_test.py::TestXdist::test_one@group1 test/xdist_test.py::TestXdist::test_two@group1 [gw0] [100%] PASSED test/xdist_test.py::TestXdist::test_two@group1 ============================================================================ 8 passed in 0.40s ============================================================================
到此这篇关于pytest分布式执行插件 pytest-xdist 的高级用法的文章就介绍到这了,更多相关pytest分布式执行插件 pytest-xdist内容请搜索我们以前的文章或继续浏览下面的相关文章希望大家以后多多支持我们！
相关推荐
-
详解pytest分布式执行插件 pytest-xdist 的高级用法
想要使用多个CPU核心来进行测试,可以使用 -n 参数( 或者 --numprocesses)(使用8个核心来跑测试用例) pytest -n 8 使用 -n auto 参数可以利用电脑的所有核心来跑测试用例测试时使用的算法可以根据--dist命令参数定制: --dist load(默认选项):给每个CPU核心随机分配用例,不保证执行顺序. --dist loadscope:对于测试函数,测试按模块分组,对于测试方法,测试按类分组.每组作为一个整体分配给可用的worker.这保证了组中的所有测试
-
详解Python进阶之切片的误区与高级用法
众所周知,我们可以通过索引值(或称下标)来查找序列类型(如字符串.列表.元组...)中的单个元素,那么,如果要获取一个索引区间的元素该怎么办呢? 切片(slice)就是一种截取索引片段的技术,借助切片技术,我们可以十分灵活地处理序列类型的对象.通常来说,切片的作用就是截取序列对象,然而,它还有一些使用误区与高级用法,都值得我们注意.所以,本文将主要跟大家一起来探讨这些内容,希望你能学有所获. 事先声明,切片并非列表的专属操作,但因为列表最具有代表性,所以,本文仅以列表为例作探讨. 1.切片的基础
-
详解Java分布式IP限流和防止恶意IP攻击方案
前言 限流是分布式系统设计中经常提到的概念,在某些要求不严格的场景下,使用Guava RateLimiter就可以满足.但是Guava RateLimiter只能应用于单进程,多进程间协同控制便无能为力.本文介绍一种简单的处理方式,用于分布式环境下接口调用频次管控. 如何防止恶意IP攻击某些暴露的接口呢(比如某些场景下短信验证码服务)?本文介绍一种本地缓存和分布式缓存集成方式判断远程IP是否为恶意调用接口的IP. 分布式IP限流 思路是使用redis incr命令,完成一段时间内接口请求次数的统
-
详解webpack的clean-webpack-plugin插件报错
1.出错代码 const path = require('path') const CleanWebpackPlugin = require('clean-webpack-plugin') // const { CleanWebpackPlugin } = require('clean-webpack-plugin') module.exports = { entry: './input.js', output: { path: path.resolve(__dirname, 'dist'),
-
详解redis分布式锁的这些坑
一.白话分布式 什么是分布式,用最简单的话来说,就是为了较低单个服务器的压力,将功能分布在不同的机器上面,本来一个程序员可以完成一个项目:需求->设计->编码->测试 但是项目多的时候,一个人也扛不住,这就需要不同的人进行分工合作了 这就是一个简单的分布式协同工作了: 二.分布式锁 首先看一个问题,如果说某个环节被终止或者别侵占,就会发生不可知的事情 这就会出现,设计好的或者设计的半成品会被破坏,导致后面环节出错: 这时候,我们就需要引入分布式锁的概念: 何为分布式锁 当在分布式模型下,
-
详解Java分布式事务的 6 种解决方案
介绍 在分布式系统.微服务架构大行其道的今天,服务间互相调用出现失败已经成为常态.如何处理异常,如何保证数据一致性,成为微服务设计过程中,绕不开的一个难题. 在不同的业务场景下,解决方案会有所差异,常见的方式有: 阻塞式重试: 2PC.3PC 传统事务: 使用队列,后台异步处理: TCC 补偿事务: 本地消息表(异步确保): MQ 事务. 本文侧重于其他几项,关于 2PC.3PC 传统事务,网上资料已经非常多了,这里不多做重复. 阻塞式重试 在微服务架构中,阻塞式重试是比较常见的一种方式.伪代码
-
详解Java分布式缓存系统中必须解决的四大问题
目录 缓存穿透 缓存击穿 缓存雪崩 缓存一致性 分布式缓存系统是三高架构中不可或缺的部分,极大地提高了整个项目的并发量.响应速度,但它也带来了新的需要解决的问题,分别是: 缓存穿透.缓存击穿.缓存雪崩和缓存一致性问题. 缓存穿透 第一个比较大的问题就是缓存穿透.这个概念比较好理解,和命中率有关.如果命中率很低,那么压力就会集中在数据库持久层. 假如能找到相关数据,我们就可以把它缓存起来.但问题是,本次请求,在缓存和持久层都没有命中,这种情况就叫缓存的穿透. 举个例子,如上图,在一个登录系统中,有
-
详解win7 cmd执行vue不是内部命令的解决方法
详解win7 cmd执行vue不是内部命令的解决方法 通过全局安装vue-cli npm install --global vue-cli 在cmd中运行vue提示不是内部命令,原因是环境变量没有加上 找到npm的位置:(不在这个位置的全局搜索vue.cmd即可) C:\Users\Administrator\AppData\Roaming\npm 打开我的电脑-->右键属性-->高级系统设置-->环境变量-->Path-->添加获得npm的位置,保存,重启cmd命令工具即可
-
详解Java分布式Session共享解决方案
分布式Session一致性? 说白了就是服务器集群Session共享的问题 Session的作用? Session 是客户端与服务器通讯会话跟踪技术,服务器与客户端保持整个通讯的会话基本信息. 客户端在第一次访问服务端的时候,服务端会响应一个sessionId并且将它存入到本地cookie中,在之后的访问会将cookie中的sessionId放入到请求头中去访问服务器,如果通过这个sessionid没有找到对应的数据那么服务器会创建一个新的sessionid并且响应给客户端. 分布式Sessio
-
详解vuejs中执行npm run dev出现页面cannot GET/问题
1.问题描述 最近用vue-cli搭建了一个小项目,其中在对项目进行打包测试时修改了webpack.base.conf.js中的配置信息,之后再用npm run dev之后出现如下的情况: 1.浏览器中无法呈现已有页面,并且在浏览器控制台中报404错误 2.命令窗口中并没有报错 其中有人说是路由等问题,后来通过创建新的项目对比配置文件信息,发现是配置信息导致: 注释部分是打包时需要修改的地方(根据打包时网站根目录,这个没处理好可能会出现图片路径加载失败问题),而上面才是在开发环境下需要的配置信息