Python多线程实例教程

本文以实例形式较为详细的讲解了Python的多线程,是Python程序设计中非常重要的知识点。分享给大家供大家参考之用。具体方法如下:

用过Python的人都会觉得Python的多线程很类似于Java的多线程机制,但是比JAVA的多线程更灵活。在早期的Python多线程实现中,采用了thread模块。例如:

from time import ctime,sleep
from thread import start_new_thread
def loop1():
  print "enter loop1:",ctime();
  sleep(3);
  print "leave loop1:",ctime(); 

def loop2():
  print "enter loop2:",ctime();
  sleep(5);
  print "leave loop2:",ctime(); 

def main():
  print "main begin:",ctime();
  start_new_thread(loop1, ());
  start_new_thread(loop2,());
  sleep(8);
  print "main end:",ctime(); 

if __name__=="__main__":
  main();

简单介绍下这个代码块中的函数功能,sleep是线程睡眠时间,几乎等价于JAVA中的Thread.sleep(millionseconds)

start_new_thread是实例化一个线程并运行的方法,方法的第一个参数接受一个线程运行时所执行的函数对象,第二个参数是方法执行时所需要的参数,以一个元组的形式传入。

这大概是最早期的Python多线程实现了,注意代码中的main线程里的sleep(8)。这里的睡眠时间只能比3+5大,而不能小。如果小于这个时间,那么main主线程会提前退出,导致无论其子线程是否是后台线程,都将会中断,从而抛出线程中断异常,类似于Java的ThreadInterruptException。这个致命的影响几乎就是这个模块后期被抛弃的罪魁祸首。

当然在早期的Python多线程中,你可以利用加锁的机制来避免出现这个情况。稍微改动下以上代码:

import thread;
from time import sleep,ctime;
from random import choice
#The first param means the thread number
#The second param means how long it sleep
#The third param means the Lock
def loop(nloop,sec,lock):
  print "Thread ",nloop," start and will sleep ",sec;
  sleep(sec);
  print "Thread ",nloop," end ",sec;
  lock.release(); 

def main():
  seconds=[4,2];
  locks=[];
  for i in range(len(seconds)) :
    lock=thread.allocate_lock();
    lock.acquire();
    locks.append(lock); 

  print "main Thread begins:",ctime();
  for i,lock in enumerate(locks):
    thread.start_new_thread(loop,(i,choice(seconds),lock));
  for lock in locks :
    while lock.locked() :
      pass;
  print "main Thread ends:",ctime(); 

if __name__=="__main__" :
  main();

这里对Python线程运行时加入了锁监控机制,介绍下红色字体标志的几个方法(其实红色字体中的lock实质是thread.lockType实例。

从以上介绍可以看出这个Lock类非常类似于JDK5.0中的java.util.concurrent.locks.Lock。不知道Doug Lea有没有参与这个模块的开发,只是比JAVA中的LOCK类多了一个方法locked,用于检测Lock对象是否还处于加锁的状态。

所以上一个例子的工作原理就是在启动线程的时候,给每个线程都加了一把锁,直到线程运行介绍,再释放这个锁。同时在Python的main线程中用一个while循环来不停的判断每个线程锁已释放。这个方法虽然避免了最开始的例子中人为的时间控制,但是还不方便,高效。

所以在较新的Python版本中,都推荐使用threading模块。

看下threading模块的API,有过JAVA开发经验的会发现它和java.lang.Thread类非常接近。这里需要说的一点就是threading的run方法可以返回函数值,这点在用于跟踪和判断线程运行正常与否非常有作用。

threading模块支持三种方法来创建线程。而前两种方式都与其Thread类有关。看下它的简要说明:

class Thread(_Verbose) :
   __init__(self, group=None, target=None, name=None, args=(), kwargs=None, verbose=None)

其中target指的是一个具体的函数,或者可调用的类实例(这里指实现了__call__方法的类实例)

第一种方法:指定线程运行的时候调用的函数。举例如下:

from time import ctime,sleep
import threading;
from random import choice 

def loop(number,sec):
  print "Thread ",number," begins and will sleep ",sec," at ",ctime();
  sleep(sec);
  print "Thread ",number,"ends at ",ctime(); 

def main():
  seconds=[2,4];
  threads=[];
  array=range(len(seconds));
  for i in array :
    t=threading.Thread(target=loop,args=(i,choice(seconds)));
    threads.append(t);
  print "main Thread begins at ",ctime();
  for t in threads :
    t.start();
  for t in threads :
    t.join();
  print "main Thread ends at ",ctime(); 

if __name__=="__main__" :
  main();
 

这里target指向了一个具体的函数对象,而args传入了该方法调用时所必须的参数。这里传入了一个随即的睡眠时间。其中thread.join表示要等待该线程终止,和java中的Thread.join(long millionseconds)作用一样,如果不指定具体的时间的话,将会一直等待下去。

第二种方法就是指定一个可调用的类实例,实际上与前面一种非常的接近。如下所示:

from time import ctime,sleep
import threading;
from random import choice 

class ThreadFunc(object):
  def __init__(self,func,args,name):
    self.func=func;
    self.args=args;
    self.name=name; 

  def __call__(self):
    self.func(*self.args); 

def loop(number,sec):
  print "Thread ",number," begins and will sleep ",sec," at ",ctime();
  sleep(sec);
  print "Thread ",number,"ends at ",ctime(); 

def main():
  seconds=[2,4];
  threads=[];
  array=range(len(seconds));
  for i in array :
    t=threading.Thread(target=ThreadFunc(loop,(i,choice(seconds)),loop.__name__));
    threads.append(t);
  print "main Thread begins at ",ctime();
  for t in threads :
    t.start();
  for t in threads :
    t.join();
  print "main Thread ends at ",ctime(); 

if __name__=="__main__" :
  main();

这里只是将target指向从一个函数对象变成了一个可调用的类实例。

重点推荐下第三种方式,用继承threading.Thread的方式来实现线程,有过Java多线程应用的朋友一定会对下面的例子非常熟悉。

from time import ctime,sleep
import threading;
from random import choice 

class MyThread(threading.Thread):
  def __init__(self,func,args,name):
    super(MyThread,self).__init__();
    self.func=func;
    self.args=args;
    self.name=name; 

  def run(self):
    self.result=self.func(*self.args); 

  def getResult(self):
    return self.result; 

def loop(number,sec):
  print "Thread ",number," begins and will sleep ",sec," at ",ctime();
  sleep(sec);
  print "Thread ",number,"ends at ",ctime(); 

def main():
  seconds=[2,4];
  threads=[];
  array=range(len(seconds));
  for i in array :
    t=MyThread(loop,(i,choice(seconds)),loop.__name__);
    threads.append(t);
  print "main Thread begins at ",ctime();
  for t in threads :
    t.start();
  for t in threads :
    t.join();
  print "main Thread ends at ",ctime(); 

if __name__=="__main__" :
  main();
  

从上面可以看出MyThread继承了threading.Thread类,并在初始化方法中执行了必要的参数赋值。值得注意的是在Java类的继承中,如果不显示的指定调用父类的构造方法,那么默认将调用父类的无参构造方法。而在Python中,就不会主动去调用。所以这里需要显示的调用父类的初始化方法。

希望本文所述对大家的Python程序设计有所帮助。

(0)

相关推荐

  • Python实现多线程下载文件的代码实例

    实现简单的多线程下载,需要关注如下几点:1.文件的大小:可以从reponse header中提取,如"Content-Length:911"表示大小是911字节2.任务拆分:指定各个线程下载的文件的哪一块,可以通过request header中添加"Range: bytes=300-400"(表示下载300~400byte的内容),注意可以请求的文件的range是[0, size-1]字节的.3.下载文件的聚合:各个线程将自己下载的文件块保存为临时文件,所有线程都完

  • python多线程操作实例

    一.python多线程 因为CPython的实现使用了Global Interpereter Lock(GIL),使得python中同一时刻只有一个线程在执行,从而简化了python解释器的实现,且python对象模型天然地线程安全.如果你想你的应用程序在多核的机器上使用更好的资源,建议使用multiprocessing或concurrent.futures.processpoolexecutor.但是如果你的程序是IO密集型,则使用线程仍然是很好的选择. 二.python多线程使用的两种方法

  • 理解python多线程(python多线程简明教程)

    对于python 多线程的理解,我花了很长时间,搜索的大部份文章都不够通俗易懂.所以,这里力图用简单的例子,让你对多线程有个初步的认识. 单线程 在好些年前的MS-DOS时代,操作系统处理问题都是单任务的,我想做听音乐和看电影两件事儿,那么一定要先排一下顺序. (好吧!我们不纠结在DOS时代是否有听音乐和看影的应用.^_^) 复制代码 代码如下: from time import ctime,sleep def music():    for i in range(2):        prin

  • python多线程threading.Lock锁用法实例

    本文实例讲述了python多线程threading.Lock锁的用法实例,分享给大家供大家参考.具体分析如下: python的锁可以独立提取出来 复制代码 代码如下: mutex = threading.Lock() #锁的使用 #创建锁 mutex = threading.Lock() #锁定 mutex.acquire([timeout]) #释放 mutex.release() 锁定方法acquire可以有一个超时时间的可选参数timeout.如果设定了timeout,则在超时后通过返回值

  • python多线程抓取天涯帖子内容示例

    使用re, urllib, threading 多线程抓取天涯帖子内容,设置url为需抓取的天涯帖子的第一页,设置file_name为下载后的文件名 复制代码 代码如下: #coding:utf-8 import urllibimport reimport threadingimport os, time class Down_Tianya(threading.Thread):    """多线程下载"""    def __init__(sel

  • Python threading多线程编程实例

    Python 的多线程有两种实现方法: 函数,线程类 1.函数 调用 thread 模块中的 start_new_thread() 函数来创建线程,以线程函数的形式告诉线程该做什么 复制代码 代码如下: # -*- coding: utf-8 -*- import thread def f(name):   #定义线程函数   print "this is " + name   if __name__ == '__main__':   thread.start_new_thread(f

  • python中的多线程实例教程

    本文以实例形式较为详细的讲述了Python中多线程的用法,在Python程序设计中有着比较广泛的应用.分享给大家供大家参考之用.具体分析如下: python中关于多线程的操作可以使用thread和threading模块来实现,其中thread模块在Py3中已经改名为_thread,不再推荐使用.而threading模块是在thread之上进行了封装,也是推荐使用的多线程模块,本文主要基于threading模块进行介绍.在某些版本中thread模块可能不存在,要使用dump_threading来代

  • python多线程用法实例详解

    本文实例分析了python多线程用法.分享给大家供大家参考.具体如下: 今天在学习尝试学习python多线程的时候,突然发现自己一直对super的用法不是很清楚,所以先总结一些遇到的问题.当我尝试编写下面的代码的时候: 复制代码 代码如下: class A():     def __init__( self ):         print "A" class B( A ):     def __init__( self ):         super( B, self ).__in

  • python实现多线程采集的2个代码例子

    代码一: #!/usr/bin/python # -*- coding: utf-8 -*- #encoding=utf-8   import threading import Queue import sys import urllib2 import re import MySQLdb   # # 数据库变量设置 # DB_HOST = '127.0.0.1' DB_USER = "XXXX" DB_PASSWD = "XXXXXXXX" DB_NAME = &

  • Python多线程同步Lock、RLock、Semaphore、Event实例

    一.多线程同步 由于CPython的python解释器在单线程模式下执行,所以导致python的多线程在很多的时候并不能很好地发挥多核cpu的资源.大部分情况都推荐使用多进程. python的多线程的同步与其他语言基本相同,主要包含: Lock & RLock :用来确保多线程多共享资源的访问. Semaphore : 用来确保一定资源多线程访问时的上限,例如资源池.  Event : 是最简单的线程间通信的方式,一个线程可以发送信号,其他的线程接收到信号后执行操作. 二.实例 1)Lock &a

随机推荐