python多线程对多核cpu的利用解析

目录
  • 引言

引言

我们经常听到"因为GIL的存在，python的多线程不能利用多核CPU"，现在我们暂且不提GIL，python能不能利用多核cpu，今天我做了一个实验，代码很简单如下所示

while 1:
    pass

没有运行这段代码前，cpu状态如下

下面两张图是运行之后的状态，当然这只是两张比较有代表性的图，截图间隔有十几秒的样子

根据第一张图我们发现cpu1、cpu3的负载有明显增长，我们可以得出python线程是可以利用多核cpu的结论，之前一直以为python运行后会绑定cpu其中的一个核心现在看来并不是这个样子。第二张图就比较有意思了cpu2满载了，这又是为什么呢？

想来想去应该是linux中cpu对进程的亲和性导致的，这种亲和性是软性的并不是强制的，这也就解释了为什么第一张图中是多cpu在负载。

ok为了更直观的看出python线程能够利用多核cpu，我们改下代码，换一种方式再来看下

import os
while 1:
    print os.getpid() # 输出进程号

运行代码结果如下

一目了然，线程的确在不同的核心上切换。

现在我们回过头看下那句经典的话"因为GIL的存在，python的多线程不能利用多核CPU"，这句话很容易让人理解成GIL会让python在一个核心上运行，有了今天的例子我们再来重新理解这句话，GIL的存在让python在同一时刻只能有一个线程在运行，这毋庸置疑，但是它并没有给线程锁死或者说指定只能在某个cpu上运行，另外我需要说明一点的是GIL是与进程对应的，每个进程都有一个GIL。

python线程的执行流程我的理解是这样的

线程 ——>抢GIL——>CPU

这种执行流程导致了CPU密集型的多线程程序虽然能够利用多核cpu时跟单核cpu是差不多的，并且由于多个线程抢GIL这个环节导致运行效率<=单线程。

看到这可能会让人产生一种错觉，有了GIL后python是线程安全的，好像根本不需要线程锁，而实际情况是线程拿到CPU资源后并不是一直执行的，python解释器在执行了该线程100条字节码(注意是字节码不是代码)时会释放掉该线程的GIL，如果这时候没有加锁那么其他线程就可能修改该线程用到的资源;

另外一个问题是遇到IO也会释放GIL，下面是这两种情况的例子

import threading
a = []
def m1():
    for _ in range(100000):
        a.append(1)
def m2():
    for _ in range(100000):
        a.append(2)
def check():
    """
    检查a是否有序
    """
    for i in range(len(a)):
        if i != 0:
            if a[i] &lt; a[i-1]:
                print a[i-1], a[i]
                return False
    return True
t1 = threading.Thread(target=m1)
t2 = threading.Thread(target=m2)
t1.start()
t2.start()
t1.join()
t2.join()
print check()

预期1111...22222...，截图显示跟预期的不同

import threading
text1 = '1' * 10000
text2 = '2' * 10000
def write(text):
    with open('test.txt', 'a') as f:
        f.write(text)
def m1():
    write(text1)
def m2():
    write(text2)
t1 = threading.Thread(target=m1)
t2 = threading.Thread(target=m2)
t1.start()
t2.start()
t1.join()
t2.join()

test.txt截图

最后结论是，因为GIL的存在，python的多线程虽然可以利用多核CPU，但并不能让多个核同时工作。

以上就是python多线程对多核cpu的利用解析的详细内容，更多关于python多线程利用多核cpu的资料请关注我们其它相关文章！

赞 (0)

相关推荐

  • python如何给内存和cpu使用量设置限制

    目录 给内存和cpu使用量设置限制 限制Python进程cpu使用时间的样例如下 要限制内存的使用可以使用如下函数 查询windows的cpu.内存使用率 给内存和cpu使用量设置限制 在linux系统中,使用Python对内存和cpu使用量设置限制需要通过resource模块来完成. resource文档地址:resource — Resource usage information 限制Python进程cpu使用时间的样例如下 import signal import resource im

  • 详解Python的多线程定时器threading.Timer

    threading.Timer 一次timer只生效一次,不会反复循环,如果实现循环触发,代码如下: import time import threading def createTimer(): t = threading.Timer(2, repeat) t.start() def repeat(): print('Now:', time.strftime('%H:%M:%S',time.localtime())) createTimer() createTimer() 这段代码的功能就是每

  • Python如何获取多线程返回结果

    目录 Python获取多线程返回结果 Python多线程实现 Python获取多线程返回结果 在 Python 的多线程中,有时候我们会需要每一个线程中返回的结果. 然而,在经过我的多番尝试.以及网上各种博客显示,在 Python3 中是无法获得单个线程中返回的结果的,因此我们需要定义一个类来实现这个过程 这个类的定义如下: class MyThread(threading.Thread):     def __init__(self, func, args = ()):         sup

  • 用python监控服务器的cpu,磁盘空间,内存,超过邮件报警

    监控Linux服务器嘛,脚本逻辑基本上是用os.popen模块,然后把获取到的结果通过split切分成一个list,再拿目标list值和我阈值对比,超过就邮件报警: 邮件是通过Linux的mailx发出去的,可自行搜索安装该模块,关键字:"Linux使用mailx发邮件",脚本如下: 一.cpu ideal值,不小于20% #!/usr/bin/python # -*- coding: utf-8 -*-   import datetime import os     f = os.p

  • Python 多核并行计算的示例代码

    Python 多核并行计算的示例代码

    以前写点小程序其实根本不在乎并行,单核跑跑也没什么问题,而且我的电脑也只有双核四个超线程(下面就统称核好了),觉得去折腾并行没啥意义(除非在做IO密集型任务).然后自从用上了32核128GB内存,看到 htop 里面一堆空载的核,很自然地就会想这个并行必须去折腾一下.后面发现,其实 Python 的并行真的非常简单. multiprocessing vs threading Python 自带的库又全又好用,这是我特别喜欢 Python 的原因之一.Python 里面有 multiprocess

  • python 查看cpu的核数实现

    python 查看cpu的核数实现

    目录 如何查看cpu的核数 查看cpu的核心数.线程数 方法一 方法二 如何查看cpu的核数 代码: from multiprocessing import cpu_count  print("CPU的核数为:{}".format(cpu_count())) print(type(cpu_count())) 结果: CPU的核数为:4<class 'int'> 查看cpu的核心数.线程数 方法一 进入系统的任务管理器:点击“性能”标签,找到CPU项,如下图所示: 注意:设备

  • python多线程对多核cpu的利用解析

    目录 引言 引言 我们经常听到"因为GIL的存在,python的多线程不能利用多核CPU",现在我们暂且不提GIL,python能不能利用多核cpu,今天我做了一个实验,代码很简单如下所示 while 1: pass 没有运行这段代码前,cpu状态如下 下面两张图是运行之后的状态,当然这只是两张比较有代表性的图,截图间隔有十几秒的样子 根据第一张图我们发现cpu1.cpu3的负载有明显增长,我们可以得出python线程是可以利用多核cpu的结论,之前一直以为python运行后会绑定cp

  • Python多线程threading和multiprocessing模块实例解析

    Python多线程threading和multiprocessing模块实例解析

    本文研究的主要是Python多线程threading和multiprocessing模块的相关内容,具体介绍如下. 线程是一个进程的实体,是由表示程序运行状态的寄存器(如程序计数器.栈指针)以及堆栈组成,它是比进程更小的单位. 线程是程序中的一个执行流.一个执行流是由CPU运行程序代码并操作程序的数据所形成的.因此,线程被认为是以CPU为主体的行为. 线程不包含进程地址空间中的代码和数据,线程是计算过程在某一时刻的状态.所以,系统在产生一个线程或各个线程之间切换时,负担要比进程小得多. 线程是一

  • Python多线程实现支付模拟请求过程解析

    思路: 队列使用说明: multiprocessing.Queue()#用于进程间通信,单主进程与子进程无法通信(使用进程池时尽量不要使用这个) multiprocessing.Manager().Queue()#用于主子进程通信,通过进程池(pool)创建的进程可以数据共享 queue.Queue()#用于线程间通信,同一进程内的数据可以共享 1.从数据库里获取待支付的订单 2.将获取出来的数据添加至队列(queue.Queue()),并在函数中返回消息队列的长度 3.根据队列长度创建对应的线

  • Python多线程threading创建及使用方法解析

    一.线程创建方法 1. 普通创建 import threading def run(name): for i in range(3): print(name) if __name__ == '__main__': t1 = threading.Thread(target=run, args=("t1",)) t2 = threading.Thread(target=run, args=("t2",)) t1.start() t2.start() ----------

  • Python多线程实例教程

    本文以实例形式较为详细的讲解了Python的多线程,是Python程序设计中非常重要的知识点.分享给大家供大家参考之用.具体方法如下: 用过Python的人都会觉得Python的多线程很类似于Java的多线程机制,但是比JAVA的多线程更灵活.在早期的Python多线程实现中,采用了thread模块.例如: from time import ctime,sleep from thread import start_new_thread def loop1(): print "enter loop

  • node.js如何充分利用多核cpu

    node.js如何充分利用多核cpu

    概述 Nodejs是基于chrome浏览器的V8引擎构建的,也就说明它的模型与浏览器是类似的.我们的JavaScript会运行在单个进程的单个线程上. 但是V8引擎的单进程单线程并不是完美的结构,现如今CPU基本上都是多核的.真正的服务器往往有好几个CPU(像我们的线上物理机有12个核),所以,这就将抛出Nodejs实际应用中的一个问题:"如何充分利用多核CPU服务器?" 从严格意义上来讲,Node其实并不是真正的单线程架构,因为Node自身还有I/O线程存在(网络I/O.磁盘I/O)

  • 如何利用python多线程爬取天气网站图片并保存

    如何利用python多线程爬取天气网站图片并保存

    目录 1.1 题目 1.2 思路 1.2.1 发送请求 1.2.2 解析网页 1.2.3 获取结点 1.2.4 数据保存 (单线程) 1.2.4 数据保存 (多线程) 总结 1.1 题目 指定一个网站,爬取这个网站中的所有的所有图片,例如中国气象网(www.weather.com.cn),分别使用单线程和多线程的方式爬取.(限定爬取图片数量为学号后3位) 输出信息: 将下载的Url信息在控制台输出,并将下载的图片存储在images子文件中,并给出截图. 1.2 思路 1.2.1 发送请求 构造请

  • Nginx服务器进程数设置和利用多核CPU的方法

    Nginx 配置文件 nginx.conf 首先需要找到 Nginx 的配置文件 nginx.conf 才能进行下面的操作,在LNMP一键安装包默认配置下,nginx.conf 存放在 /usr/local/nginx/conf/nginx.conf 至于其他环境下安装 Nginx 可以用 find / -name nginx.conf 来查找配置文件的存放路径. Nginx worker_processes进程数设置 Nginx 的配置文档 nginx.conf 中可以设置 worker_pr

  • Python多线程中阻塞(join)与锁(Lock)使用误区解析

    关于阻塞主线程 join的错误用法 Thread.join() 作用为阻塞主线程,即在子线程未返回的时候,主线程等待其返回然后再继续执行. join不能与start在循环里连用 以下为错误代码,代码创建了5个线程,然后用一个循环激活线程,激活之后令其阻塞主线程. threads = [Thread() for i in range(5)] for thread in threads: thread.start() thread.join() 执行过程: 1. 第一次循环中,主线程通过start函

  • 利用Python多线程实现图片下载器

    利用Python多线程实现图片下载器

    目录 导语 开发工具 环境搭建 原理简介 效果展示 导语 之前有很多小伙伴说想学习一下多线程图片下载器,虽然好像已经过去很久了,不过还是上来安排一波吧.至于题目为什么说是构建一个小型数据集,因为公众号之后的文章应该还会用到它来构建一些简单的图像分类数据集,换句话说,后续一段时间,公众号会主要写一些深度学习机器学习相关的文章,下期文章揭晓具体内容. 废话不多说,让我们愉快地开始近期最后一篇爬虫文章~ 开发工具 Python版本:3.7.8 相关模块: requests模块: alive-progr

随机推荐