Python性能分析工具py-spy原理用法解析

Py-Spy介绍

引用官方的介绍：

Py-Spy是Python程序的抽样分析器。 它允许您可视化查看Python程序在哪些地方花了更多时间，整个监控方式无需重新启动程序或以任何方式修改工程代码。 Py-Spy的开销非常低：它是用Rust编写的，速度与编译的Python程序不在同一个进程中运行。 这意味着Py-Spy可以安全地用于生成生产环境中的Python应用调优分析。

github：https://github.com/benfred/py-spy

安装

pip install py-spy

安装后使用py-spy - h可以验证安装，并查看使用帮助。

py-spy从命令行工作，并获取要从中采样的程序的PID或要运行的python程序的命令行。py-spy具有三个子命令record，top和dump：

  • record生成火焰图
  • top实时查看每个函数运行时间并统计
  • dump显示每个python线程的当前调用堆栈

使用py-spy 生成火焰图

​ py-spy是一个非常好用而且简单的库，看完他的readme 介绍文档基本就可以入手使用spy。这个工具一是可以生成profile 火焰图，二是可以定位到程序中最耗时间的代码的位置。它的优点在于完全不用修改代码，相比较其他的一些性能调查工具，py-spy这一点非常棒，当你debug 一个线上正在运行的程序的时候，只需要提供进程id，py-spy 就可以直接生成火焰图。

py-spy record -o profile.svg --pid 12345

或者

py-spy record -o profile.svg-python myprogram.py

"12345" 为程序运行的pid，当运行这行命令的时候，py-spy 开始抽样的程序simlple 并且生成火焰图，我们可以等待1分钟左右 ctrl+c 结束，这时候会在运行这行命令的当前目录下生成 profile.svg 火焰图, 如下图:

火焰图的分析非常简单直观，主要是看"平顶"，看图中最下方那个峰顶是平的，那么程序的性能问题就可以从这里入手去解决，这里不详细介绍火焰图看法，不明白的同学可以自行百度。

​ 通过生成火焰图分析程序瓶颈大概率可以找到并解决80%的程序性能问题，但是还有一种问题，如果我的火焰图没有平顶，但是程序依旧很慢，该如何定位问题？

没有平顶情况下，定位程序中耗时最多函数/代码

如下图，通过火焰图并没有发现程序中的平顶

Top功能

这时候要用到py-spy 提供的 top 命令，Top显示了在python程序中花费最多时间的功能的实时视图，类似于unix top命令。

py-spy top --pid 12345

或

py-spy top-python myprogram.py

​ 输入上述命令后，在控制台会显示程序实时的运行状态，这里可以介绍一下图中4个参数的含义, 然后可以通过按1，2，3，4 四个按键，让程序按照下图所述排序。

  • 按％Own排序（当前在该函数中花费的时间的百分比）
  • 按％Total排序（函数及其子级中当前的时间百分比）
  • 按OwnTime排序（函数中花费的总时间）
  • 按TotalTime排序（该函数及其子项花费的总时间）

比较直观的 使用3 , 可以比较直接的看出程序运行中，所占比消耗时间最多的函数，然后从函数如图进行分析，如下图，可以看出 是wrap 装饰器函数消耗的时间最长，我们用wrapt 这个c写的装饰器进行替换后效率有了明显的提升。

​

总结 ： 使用py-spy 相对于其他一些python性能分析工具，优势在于使用非常简单，而且无须对代码做任何改动，并且可以在保护现场情况下，直接生成火焰图，还可查看实时程序运行状态。

火焰图怎么看

首先你需要知道：

X方向是采样时间。

Y方向是函数调用栈。

如果给你一个这样的火焰图，你应该得出什么信息：

1.a()是开始的执行函数，但没有消耗cpu，在这个函数里执行了b(),h()。

2.a()的两个分支b()和h()，这表明a()里面可能有一个条件语句，继续可以看到b()分支消耗的 CPU 大大高于h()。

3.h()函数没有消耗cpu，cpu全被i()函数占有。

4.b()函数这条支路继续往上，一直到d()，由d()函数的子函数e()消耗一部分cpu,f()下的g()消耗一部分cpu,你会发现d()的最右边往上缺了一块，这块就是d()执行消耗的cpu。

结论：

消耗cpu的函数为e(),g(),d(),i()。

因此，如果要调查性能问题，首先应该调查g()，其次是i()。

以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持我们。

赞 (0)

相关推荐

  • 解决Spyder中图片显示太小的问题

    最近在做机器学习的作业,需要画决策树.在Spyder中把代码跑了一遍,发现决策树出现在了Spyder的console中,而且图片很小,那些字体都叠在一起.网上搜了一圈好像也没找到解决方案. 但不要紧啊,Anaconda中不是还有Ipython和Jupyter Notebook吗.这两个都可以弹出窗口显示图片.cd到相应路径,在这两个中跑一下之前保存过的python代码就可以了. run XXX.py 以上这篇解决Spyder中图片显示太小的问题就是小编分享给大家的全部内容了,希望能给大家一个参考

  • python Spyder界面无法打开的解决方法

    Spyder本来还用得好好的,能正常使用,后来再关闭打开时,出现下面的蜘蛛网界面后,就无法显示操作界面了: 后来在网上搜索了多种方法,甚至还将Adaconda2重装了都没有用. 后来找到一个方法,说删除C:\Users\Administrator路径下的.spyder文件夹(你的有可能是.spyder2或.spyder3),再重启spyder即可. 不过我尝试了一下,没什么用,后来结合了之前的搜索方法,将.matplotlib和.spyder一起删掉再重启,就能正常显示了. 以上这篇python

  • python分布式计算dispy的使用详解

    dispy,是用asyncoro实现的分布式并行计算框架. 框架也是非常精简,只有4个组件,在其源码文件夹下可以找到: dispy.py (client) provides two ways of creating "clusters": JobCluster when only one instance of dispy may run and SharedJobCluster when multiple instances may run (in separate processe

  • 在spyder IPython console中,运行代码加入参数的实例

    在路径后面加入args = '参数1,[参数,]',如下 runfile('/home/liuxiaodong/image_stream/image.py', args = '0', wdir='/home/liuxiaodong/image_stream') 或者直接在ipython中输入要执行的脚本加参数 补充知识:ipython 下命令行参数如何传入 1:问题描述 使用spyder运行Python程序时,有时会遇到程序本身需要有命令行参数(程序内有arg[])传入才能运行的情况.我之前一般

  • 解决Python spyder显示不全df列和行的问题

    python中有的df列比较长head的时候会出现省略号,现在数据分析常用的就是基于anaconda的notebook和sypder,在spyder下head的时候就会比较明显的遇到显示不全.这时候我们就需要用到pandas下的一个函数set_option 我们直接来看代码: 这是正常情况spyder下head()的样子 import numpy as np import pandas as pd df=pd.DataFrame(np.random.rand(2,10)) #创建一个2行10列的

  • 解决安装pyqt5之后无法打开spyder的问题

    运行某demo时候按照提示安装了pyqt5,然后通过命令行去打开spyder时就报这个错: 错误的说法分别有: 1.anaconda里面已经装了pyqt5,在通过pip install 安装会导致混乱 2.pyqt5版本太高不匹配 经过: pip uninstall pyqt5 pip install pyqt5==5.10.1 后修复了不能打开spyder的问题 更新: anconda里面的qt版本管理感觉相对混乱,并且比最新的qt版本要稍微落后一些,涉及的qt库又不止一个,什么pyqt5,q

  • spyder常用快捷键(分享)

    最近在学习tensorflow框架,在ubuntu下用到python的一个ide --spyder,以下是常用快捷键 Ctrl+1:注释/撤销注释 Ctrl+4/5:块注释/撤销块注释 Ctrl+L:跳转到行号 F5:运行 F11:全屏 Tab:空行前是代码缩进:在输入一个字母后,按Tab健会自动补全或者代码提示. Shift+Tab:撤销代码缩进 ps:Tools-->Preferences-->Keyboard Shortcut  可以查看所有快捷键 以上这篇spyder常用快捷键(分享)

  • spyder 在控制台(console)执行python文件,debug python程序方式

    执行: 在IPython console里先cd到test.py所在的文件夹,再run test.py.注意使用的是命令run 而不是命令python. debug: 栗子: debugfile('/home/1/tensor2tensor/tensor2tensor/bin/t2t-datagen', args='--problem=image_mnist --data_dir=~/t2t_data --tmp_dir=~/t2t_data/tmp',wdir='/home/1/tensor2

  • Python性能分析工具py-spy原理用法解析

    Py-Spy介绍 引用官方的介绍: Py-Spy是Python程序的抽样分析器. 它允许您可视化查看Python程序在哪些地方花了更多时间,整个监控方式无需重新启动程序或以任何方式修改工程代码. Py-Spy的开销非常低:它是用Rust编写的,速度与编译的Python程序不在同一个进程中运行. 这意味着Py-Spy可以安全地用于生成生产环境中的Python应用调优分析. github:https://github.com/benfred/py-spy 安装 pip install py-spy

  • Python性能分析工具pyinstrument提高代码效率

    Python性能分析工具pyinstrument提高代码效率

    目录 安装 简单的使用 分析 Flask 代码 分析 Django 代码 分析异步代码 工作原理 最后的话 天下武功,唯快不破. 编程也不例外,你的代码跑的快,你能快速找出代码慢的原因,你的码功就高. 安装 pip install pyinstrument 简单的使用 在程序的开始,启动 pyinstrument 的 Profiler,结束时关闭 Profiler 并打印分析结果如下: from pyinstrument import Profiler profiler = Profiler()

  • Python性能分析工具Profile使用实例

    这篇文章主要介绍了Python性能分析工具Profile使用实例,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下 代码优化的前提是需要了解性能瓶颈在什么地方,程序运行的主要时间是消耗在哪里,对于比较复杂的代码可以借助一些工具来定位,python 内置了丰富的性能分析工具,如 profile,cProfile 与 hotshot 等.其中 Profiler 是 python 自带的一组程序,能够描述程序运行时候的性能,并提供各种统计帮助用户定位程序

  • cProfile Python性能分析工具使用详解

    cProfile Python性能分析工具使用详解

    前言 Python自带了几个性能分析的模块:profile.cProfile和hotshot,使用方法基本都差不多,无非模块是纯Python还是用C写的.本文介绍cProfile. 例子 import time def func1(): sum = 0 for i in range(1000000): sum += i def func2(): time.sleep(10) func1() func2() 运行 python -m cProfile del.py 运行结果 结果分析 执行了6个函

  • Python包，__init__.py功能与用法分析

    Python包，__init__.py功能与用法分析

    本文实例讲述了Python包,__init__.py功能与用法.分享给大家供大家参考,具体如下: 包: 为了组织好模块,将多个模块组合为一个包,所以包用于存放python模块 包通常是一个文件夹,当文件夹当作包使用时,文件夹需要包含__init__.py文件 __init__.py的内容可以为空,一般用来进行包的某些初始化工作或者设置__all__值,__all__是在from ... import * 语句使用的,__all__中定义的模块将在from ... import * 中全部导入 目

  • php轻量级的性能分析工具xhprof的安装使用

    一.前言 有用的东西还是记录下来吧,也方便以后的查询:这次记录一下xhprof的安装使用: xhprof是facebook开源出来的一个php轻量级的性能分析工具,跟Xdebug类似,但性能开销更低, 还可以用在生产环境中,也可以由程序开 关来控制是否进行profile. 二.安装 wget http://pecl.php.net/get/xhprof-0.9.3.tgz tar zxf xhprof-0.9.3.tgz cd xhprof-0.9.3/extension /usr/bin/ph

  • Python伪代码分析点赞器实现原理及代码

    Python伪代码分析点赞器实现原理及代码

    目录 前言 一.简介 1.适用场景 2.核心逻辑 二.代码实现 1.模拟登录 2.点赞接口分析 3.点赞器伪代码实现 三.总结 前言 许多社区类平台都具备点赞功能,应运而生的就是自动点赞器,今天用Python写一款点赞机器人,最简单易理解的核心逻辑.全文涉及的伪代码,使用 Python 编写,由于是伪代码的原因,不懂Python,你也能看懂. 一.简介 1.适用场景 本次点赞机器人,主要面向电脑上的 Web 站点,不涉及 APP 端. 2.核心逻辑 模拟点击操作,触发点赞,喜欢等操作.实现点赞操

  • .NET Visual Studio 代码性能分析工具

    .NET Visual Studio 代码性能分析工具

    下面通过图文并茂的方式给大家介绍下,具体内容如下: 软件开发中的性能优化对程序员来说是一个非常重要的问题.一个小问题可能成为一个大的系统的瓶颈.但是对于程序员来说,通过自身去优化代码是十分困难的.幸运的是,有一些非常棒的工具可以帮助程序员进行代码分析和性能测试,从而大大简化程序员进行代码性能优化的过程.MSDN杂志2011年7月份曾发布主题为".NET代码分析工具和技术"的那一期,让广大程序员收获颇丰.四年过去之后,这些工具又进一步做出了很多改进,同时也出现了更多的选择.本文对当前主流

  • Python中文分词工具之结巴分词用法实例总结【经典案例】

    Python中文分词工具之结巴分词用法实例总结【经典案例】

    本文实例讲述了Python中文分词工具之结巴分词用法.分享给大家供大家参考,具体如下: 结巴分词工具的安装及基本用法,前面的文章<Python结巴中文分词工具使用过程中遇到的问题及解决方法>中已经有所描述.这里要说的内容与实际应用更贴近--从文本中读取中文信息,利用结巴分词工具进行分词及词性标注. 示例代码如下: #coding=utf-8 import jieba import jieba.posseg as pseg import time t1=time.time() f=open(&q

  • PHP调试及性能分析工具Xdebug详解

    程序开发过程中,一般用得最多的调试方法就是用echo.print_r().var_dump().printf()等将语句打印出来.对PHP脚本的执行效率,通常是脚本执行时间.对数据库SQL的效率,通常是数据库Query时间,但这样并不能真正定位和分析脚本执行和数据库查询的瓶颈所在?对此,有一个叫Xdebug(www.xdebug.org)的PHP程序调试器(即一个Debug工具),可以用来跟踪,调试和分析PHP程序的运行状况. 一.以windows平台对此模块的安装做简单的介绍: 1. 下载PH

随机推荐