Python编程scoketServer实现多线程同步实例代码
本文研究的主要是Python编程scoketServer实现多线程同步的相关内容，具体介绍如下。
开发过程中，为了实现不同的客户端同一时刻只能有一个使用共同数据。
虽说用Python编写简单的网络程序很方便，但复杂一点的网络程序还是用现成的框架比较好。这样就可以专心事务逻辑，而不是套接字的各种细节。SocketServer模块简化了编写网络服务程序的任务。同时SocketServer模块也是Python标准库中很多服务器框架的基础。
网络服务类：
SocketServer提供了4个基本的服务类：
TCPServer针对TCP套接字流
UDPServer针对UDP数据报套接字
UnixStreamServer和UnixDatagramServer针对UNIX域套接字，不常用。
首先，明确一点，在scoketServer中，每当有一个客户端连接成功后都会为每个客户端创建一个线程。
为了让这些多线程之间能够同步执行，我的做法是：再创建一个线程类，这个线程类中做一些我的项目需要做的事情，，当某个客户端想成使用到这个线程时，给当前线程加锁，运行完成后释放锁。
请指教
详细步骤请看注释：
#coding=gbk
__author__ = 'kaikai'
import Queue
import threading
import time
import SocketServer
#全局线程锁
threadLock = threading.Lock()#全局数据队列
data = Queue.Queue()
#工作线程类，
class testThead(threading.Thread):
global data
def __init__(self):
threading.Thread.__init__(self)
def begin_test(self):
self.start()
def run(self):
global threadLock
threadLock.acquire()
# 从队列中取出连接和数据
if data.qsize()>0:
this_receive = data.get()
else:
print "data size is empty !"
return
# 解析数据，获得连接和数据
# 使用当前数据的conn
this_conn = this_receive.keys()[0]
this_data = this_receive[this_conn]
# 释放锁
threadLock.release()
def send_msg(self,conn,msg):
try:
conn.sendall(msg)
except Exception as e:
print "send " + str(msg) +"fail !!!!!!!!!!!!!!"
def recv_msg(self,conn):
try:
recv_msg = conn.recv(2048)
return recv_msg
except Exception as e:
print " recv msg fail !!!!!!!!!!"
return None
# 每有一个客户端生成一个线程。所有线程调用同一个测试线程，如果测试线程在锁定中，则进入等待。
class MyServer(SocketServer.BaseRequestHandler):
def send_msg(self,conn,msg):
try:
conn.sendall(msg)
except Exception as e:
print "send " + str(msg) +"fail !!!!!!!!!!!!!!"
def recv_msg(self,conn):
try:
recv_msg = conn.recv(2048)
return recv_msg
except Exception as e:
print " recv msg fail !!!!!!!!!!"
def handle(self):
global data
# 获得连接
conn = self.request
print "client connect!"
# 循环接受客户端数据
while True:
# 接受客户端发送过来的参数
receive_data = self.recv_msg(conn)
print receive_data
# 如果参数为空，返回报错 结束循环
if not receive_data:
print "can not get data form client ! "
break
print "data size put before: " + str(data.qsize())
# 将连接和数据添加到队列中 放入连接可以保证在另一个线程中直接使用连接给相应客户端发送或者接受数据。同时保证数据与客户端的一一对应
data.put({conn:receive_data})
print "data size put aftter: " + str(data.qsize())
# 初始化测试线程
testThead_this = testThead()
# 开始测试线程
testThead_this.begin_test()
# testThead_this.start()
# 等待测试线程执行结束
testThead_this.join()
print "this test end "
if __name__ == "__main__" :
try:
server = SocketServer.ThreadingTCPServer(('192.168.100.100',56780),MyServer)
server.timeout = 100
print "Server run success !!!! "
server.serve_forever()
except Exception as e:
print "Server run failed !!!!\n error: " + str(e)
总结
以上就是本文关于Python编程scoketServer实现多线程同步实例代码的全部内容，希望对大家有所帮助。感兴趣的朋友可以继续参阅本站其他相关专题，如有不足之处，欢迎留言指出。感谢朋友们对本站的支持！
您可能感兴趣的文章:
- Python实现可设置持续运行时间、线程数及时间间隔的多线程异步post请求功能
- Python基于ThreadingTCPServer创建多线程代理的方法示例
- Python之多线程爬虫抓取网页图片的示例代码
- Python3多线程爬虫实例讲解代码
- Python多线程爬虫实战_爬取糗事百科段子的实例
- Python实现的多线程同步与互斥锁功能示例
- python获取多线程及子线程的返回值
- Python实现模拟分割大文件及多线程处理的方法
相关推荐
-
python获取多线程及子线程的返回值
最近有个需求,用多线程比较合适,但是我需要每个线程的返回值,这就需要我在threading.Thread的基础上进行封装 import threading class MyThread(threading.Thread): def __init__(self,func,args=()): super(MyThread,self).__init__() self.func = func self.args = args def run(self): self.result = self.func(
-
Python实现模拟分割大文件及多线程处理的方法
本文实例讲述了Python实现模拟分割大文件及多线程处理的方法.分享给大家供大家参考,具体如下: #!/usr/bin/env python #--*-- coding:utf-8 --*-- from random import randint from time import ctime from time import sleep import queue import threading class MyTask(object): """具体的任务类"&qu
-
Python3多线程爬虫实例讲解代码
多线程概述 多线程使得程序内部可以分出多个线程来做多件事情,充分利用CPU空闲时间,提升处理效率.python提供了两个模块来实现多线程thread 和threading ,thread 有一些缺点,在threading 得到了弥补.并且在Python3中废弃了thread模块,保留了更强大的threading模块. 使用场景 在python的原始解释器CPython中存在着GIL(Global Interpreter Lock,全局解释器锁),因此在解释执行python代码时,会产生互斥锁来限
-
Python实现的多线程同步与互斥锁功能示例
本文实例讲述了Python实现的多线程同步与互斥锁功能.分享给大家供大家参考,具体如下: #! /usr/bin/env python #coding=utf-8 import threading import time ''' #1.不加锁 num = 0 class MyThread(threading.Thread): def run(self): global num time.sleep(1) #一定要sleep!!! num = num + 1 msg = self.name + '
-
Python多线程爬虫实战_爬取糗事百科段子的实例
多线程爬虫:即程序中的某些程序段并行执行, 合理地设置多线程,可以让爬虫效率更高 糗事百科段子普通爬虫和多线程爬虫 分析该网址链接得出: https://www.qiushibaike.com/8hr/page/页码/ 多线程爬虫也就和JAVA的多线程差不多,直接上代码 ''' #此处代码为普通爬虫 import urllib.request import urllib.error import re headers = ("User-Agent","Mozilla/5.0
-
Python基于ThreadingTCPServer创建多线程代理的方法示例
本文实例讲述了Python基于ThreadingTCPServer创建多线程代理的方法.分享给大家供大家参考,具体如下: #coding=utf8 from BaseHTTPServer import BaseHTTPRequestHandler from SocketServer import ThreadingTCPServer import gzip from StringIO import StringIO import logging logging.basicConfig(level
-
Python实现可设置持续运行时间、线程数及时间间隔的多线程异步post请求功能
本文实例讲述了Python实现可设置持续运行时间.线程数及时间间隔的多线程异步post请求功能.分享给大家供大家参考,具体如下: #coding=utf8 ''' random.randint(a, b):用于生成一个指定范围内的整数. 其中参数a是下限,参数b是上限,生成的随机数n: a <= n <= b random.choice(sequence):从序列中获取一个随机元素 参数sequence表示一个有序类型(列表,元组,字符串) ''' import httplib,json im
-
Python之多线程爬虫抓取网页图片的示例代码
目标 嗯,我们知道搜索或浏览网站时会有很多精美.漂亮的图片. 我们下载的时候,得鼠标一个个下载,而且还翻页. 那么,有没有一种方法,可以使用非人工方式自动识别并下载图片.美美哒. 那么请使用python语言,构建一个抓取和下载网页图片的爬虫. 当然为了提高效率,我们同时采用多线程并行方式. 思路分析 Python有很多的第三方库,可以帮助我们实现各种各样的功能.问题在于,我们弄清楚我们需要什么: 1)http请求库,根据网站地址可以获取网页源代码.甚至可以下载图片写入磁盘. 2)解析网页源代码,
-
Python编程scoketServer实现多线程同步实例代码
本文研究的主要是Python编程scoketServer实现多线程同步的相关内容,具体介绍如下. 开发过程中,为了实现不同的客户端同一时刻只能有一个使用共同数据. 虽说用Python编写简单的网络程序很方便,但复杂一点的网络程序还是用现成的框架比较好.这样就可以专心事务逻辑,而不是套接字的各种细节.SocketServer模块简化了编写网络服务程序的任务.同时SocketServer模块也是Python标准库中很多服务器框架的基础. 网络服务类: SocketServer提供了4个基本的服务类:
-
java多线程编程技术详解和实例代码
java多线程编程技术详解和实例代码 1. Java和他的API都可以使用并发. 可以指定程序包含不同的执行线程,每个线程都具有自己的方法调用堆栈和程序计数器,使得线程在与其他线程并发地执行能够共享程序范围内的资源,比如共享内存,这种能力被称为多线程编程(multithreading),在核心的C和C++语言中并不具备这种能力,尽管他们影响了JAVA的设计. 2. 线程的生命周期 新线程的生命周期从"新生"状态开始.程序启动线程前,线程一直是"新生"状态:
-
Java编程一道多线程问题实例代码
前面几篇博文基本上总结了一下java并发里的一些内容,这篇博文主要从一个问题入手,看看都能用到前面总结的哪些并发技术去解决. 题目描述: 模拟一个场景:处理16条日志记录,每条日志记录打印时间需要1秒,正常情况下如果将这16条记录去部打完需要16秒,现在为了提高效率,准备开启4个线程去打印,4秒钟打印完,实现这个demo. 先来分析一下这个题目,关于这16条日志记录,我们可以在主线程中产生出来,这没用什么难度,关键是开启4个线程去执行,现在有两种思路:一种是日志的产生和打印日志的线程在逻辑上分开
-
Python FTP两个文件夹间的同步实例代码
具体代码如下所示: # -*- coding: utf-8 -*- ''''''' ftp自动检测源文件夹的更新,将源文件夹更新的内容拷贝到目标文件夹中 使用树的层序遍历算法,支持深度目录拷贝 ''' import os from ftplib import FTP import os,sys,string,datetime,time import shutil import socket class MyUpdateMonitor(object): def __init__(self, hos
-
Python并发之多进程的方法实例代码
一,进程的理论基础 一个应用程序,归根结底是一堆代码,是静态的,而进程才是执行中的程序,在一个程序运行的时候会有多个进程并发执行. 进程和线程的区别: 进程是系统资源分配的基本单位. 一个进程内可以包含多个线程,属于一对多的关系,进程内的资源,被其内的线程共享 线程是进程运行的最小单位,如果说进程是完成一个功能,那么其线程就是完成这个功能的基本单位 进程间资源不共享,多进程切换资源开销,难度大,同一进程内的线程资源共享,多线程切换资源开销,难度小 进程与线程的共同点: 都是为了提高程序运行效率,
-
Python编程二分法实现冒泡算法+快速排序代码示例
本文分享的实例主要是Python编程二分法实现冒泡算法+快速排序,具体如下. 冒泡算法: #-*- coding: UTF-8 -*- #冒泡排序 def func(lt): if type(lt).__name__ !='list' and type(lt).__name__ !='tuple': return if type(lt).__name__ == 'tuple': return list(lt) for i in range(1,len(lt)-1): for j in range
-
基于Python socket的端口扫描程序实例代码
本文研究的主要是Python的端口扫描程序,具体实例代码如下. 先来看看第一个端口扫描程序代码,获取本机的IP和端口号: import socket def get_my_ip(): try: csock = socket.socket(socket.AF_INET, socket.SOCK_DGRAM) csock.connect(('8.8.8.8', 80)) (addr, port) = csock.getsockname() csock.close() return addr,port
-
python 通过 socket 发送文件的实例代码
目录结构: client: #!/usr/bin/env python # -*-coding:utf-8 -*- import socket, struct, json download_dir = r'D:\Python\python_learning\gd\code\part3\02网络编程\文件传输\client\download' gd_client=socket.socket(socket.AF_INET,socket.SOCK_STREAM) gd_client.connect((
-
python使用pandas实现数据分割实例代码
本文研究的主要是Python编程通过pandas将数据分割成时间跨度相等的数据块的相关内容,具体如下. 先上数据,有如下dataframe格式的数据,列名分别为date.ip,我需要统计每5s内出现的ip,以及这些ip出现的频数. ip date 0 127.0.0.21 15/Jul/2017:18:22:16 1 127.0.0.13 15/Jul/2017:18:22:16 2 127.0.0.11 15/Jul/2017:18:22:17 3 127.0.0.11 15/Jul/2017
-
Python编程不要再使用print调试代码了
目录 1. 快速安装 2. 简单案例 3. 详细使用 3.1 重定向到日志文件 3.2 跟踪非局部变量值 3.3 设置跟踪函数的深度 3.4 设置调试日志的前缀 3.5 设置最大的输出长度 3.6 支持多线程调试模式 3.7 自定义对象的格式输出 给大家推荐本我自己写的电子书<PyCharm中文指南>,把各种 PyCharm 的高效的使用技巧用GIF动态图的形式展示出来.有兴趣的可以看它的在线文档: http://pycharm.iswbm.com 对于每个程序开发者来说,调试几乎是必备技能.