Python bsonrpc源码解读

bsonrpc 是python中⼀个基于json或bson的远程过程调⽤的库，提供了服务端与客户端实现，其底层采⽤的是基于TCP连接的通信。

程序结构

bsonrpc主要包括以下⽂件：

  1. concurrent.py：针对两种并发⽅式（threading线程对象、gevent协程对象）涉及的相应组件（Queue，Event，Lock等）提供统⼀的对外的⽣成接⼝：spawn()，new_promise()，new_queue()， new_lock()等；
  2. definitions.py：定义rpc的消息结构和错误编码；
  3. dispatcher.py：rpc的处理调度，路由处理（消息对应的处理函数）；
  4. exceptions.py：异常定义；
  5. framing.py：定义不同类实现JSON RPC 2.0标准中的不同消息结构；
  6. interfaces.py：定义提供服务的装饰器；
  7. misc.py：该⽂件中定义了⼀个id⽣成器，从1开始累加。
  8. options.py：定义配置选项。
  9. rpc.py：主要为BSONRpc和JSONRpc类的实现；
  10. socket_queue.py：主要为消息的拆包组包部分；
  11. util.py：系统⼯具。

本⽂主要描述库包中对于不同协议的分包组包的处理，涉及到socket_queue.py和framing.py⽂件，主要采⽤的是对象组合的技术。

解读

socket_queue.py中的SocketQueue类是⽤来处理从socket接收数据，主要的⽅法为_receiver()和put()⽅法，分别对应分包和组包，分包的主要内容如下：

def _receiver(self):
  bbuffer = b''
  while True:
    try:
      chunk = self.socket.recv(self.BUFSIZE) # 从socket上接收数据
      bbuffer = self._to_queue(bbuffer + chunk) # 数据分包
    except DecodingError as e:
      self._queue.put(e)
    # 后⾯省略...
def _to_queue(self, bbuffer):
  b_msg, bbuffer = self.codec.extract_message(bbuffer) # 解码器提取完整的信息
  while b_msg is not None:
    self._queue.put(self.codec.loads(b_msg)) # 解码后的消息放⼊消息队列中等待处理
    b_msg, bbuffer = self.codec.extract_message(bbuffer)
  return bbuffer

组包的主要内容如下：

def put(self, item):
  if self._closed:
    raise BsonRpcError('Attempt to put items to closed queue.')
  msg_bytes = self.codec.into_frame(self.codec.dumps(item)) # 组包
  with self._lock:
    self.socket.sendall(msg_bytes)

如上图所示，程序采⽤的是对象组合的⽅式实现消息分包处理的。对象组合是继承之外的另⼀种选择，对象组合要求被组合的对象具有良好定义的接⼝，通过接⼝的⽅式调⽤其他对象的功能，这个也被“⿊箱复⽤”，因为对象的内部细节是不可⻅的。SocketQueue中依赖Codec的extract_message()接⼝⽅法，不⽤关⼼其具体的实现⽅法。具体实现由JSONCodec和BSONCode进⾏实现。JSONCodec中依赖JSONFrame中的extract_message()接⼝⽅法，该接⼝⽅法的实现由JSONFramingNone、JSONFramingNetstring、JSONFramingRFC7464进⾏实现。SocketQueue消息组包过程依赖于into_frame()⽅法，也是通过对象组合实现的。

注：图中的接⼝为了⼤家容易理解才加上了，源码⾥⾯并没有。

以上就是Python bsonrpc源码解读的详细内容，更多关于Python bsonrpc源码的资料请关注我们其它相关文章！

赞 (0)

相关推荐

  • python3 googletrans超时报错问题及翻译工具优化方案 附源码

    python3 googletrans超时报错问题及翻译工具优化方案 附源码

    一. 问题: 在写调用谷歌翻译接口的脚本时,老是报错,我使用的的是googletrans这个模块中Translator的translate方法,程序运行以后会报访问超时错误: Traceback (most recent call last): File "E:/PycharmProjects/MyProject/Translate/translate_test.py", line 3, in <module> result=translator.translate('안녕

  • Python爬虫获取op.gg英雄联盟英雄对位胜率的源码

    Python爬虫获取op.gg英雄联盟英雄对位胜率的源码

    通过第三方BeautifulSoup库来爬取op.gg网页静态数据 主要思路 op.gg网站 网站以出场率高低排名,并且列出对位胜率,在高出场率的前提下,胜率有很大的参考意义,在counter位很有帮助 通过开发者工具找到对应部位源码,发现数据就在源码中,证明这是一个静态数据,确定使用BeautifulSoup库. 源码 import requests from bs4 import BeautifulSoup championname={'阿卡丽 ':'akali','牛头':'alistar

  • python实现学生信息管理系统源码

    python实现学生信息管理系统源码

    本文实例为大家分享了python实现学生信息管理系统的具体代码,供大家参考,具体内容如下 代码如下: Project.py文件内容: class Student(object): # 建立学生信息储存的列表(嵌套的方式) studentInformation = [] # 对学生对象的数据进行说明 studentShow = ["学号:", "姓名:", "年龄:"] # 录入学生 def addstudent(self): sno = inpu

  • python抢购软件/插件/脚本附完整源码

    距上篇关于淘宝抢购源码的文章已经过去五个月了,五个月来我通过不停的学习,掌握了更深层的抢购技术及原理,而上篇文章中我仅分享了关于加入购物车的商品的抢购源码,且有部分不足. 博主不提供任何服务器端程序,也不提供任何收费抢购软件.该文章仅作为学习selenium框架及GUI开发的一个示例代码.该思路可运用到其他任何网站,京东,天猫,淘宝均可使用,且不属于外挂或者软件之类,只属于一个自动化点击工具,如有侵犯到任何公司的合法权益,请私信联系,会第一时间将相关代码给予删除. 本篇文章我将附上完整源码,及其

  • Python日志打印里logging.getLogger源码分析详解

    实践环境 WIN 10 Python 3.6.5 函数说明 logging.getLogger(name=None) getLogger函数位于logging/__init__.py脚本 源码分析 _loggerClass = Logger # ...略 root = RootLogger(WARNING) Logger.root = root Logger.manager = Manager(Logger.root) # ...略 def getLogger(name=None): "&quo

  • python绕过图片滑动验证码实现爬取PTA所有题目功能 附源码

    python绕过图片滑动验证码实现爬取PTA所有题目功能 附源码

    最近学了python爬虫,本着学以致用的态度去应用在生活中.突然发现算法的考试要来了,范围就是PTA刷过的题.让我一个个复制粘贴?不可能,必须爬它! 先开页面,人傻了,PTA的题目是异步加载的,爬了个寂寞(空数据).AJAX我又不熟,突然想到了selenium. selenium可以模拟人的操作让浏览器自动执行动作,具体的自己去了解,不多说了.干货来了: 登录界面有个图片的滑动验证码 破解它的最好方式就是用opencv,opencv巨强,自己了解. 思路开始: 1.将背景图片和可滑动的图片下载

  • python matplotlib工具栏源码探析三之添加、删除自定义工具项的案例详解

    python matplotlib工具栏源码探析三之添加、删除自定义工具项的案例详解

    matplotlib工具栏源码探析二(添加.删除内置工具项)探讨了工具栏内置工具项的管理,除了内置工具项,很多场景中需要自定义工具项,官方给出了案例https://matplotlib.org/gallery/user_interfaces/toolmanager_sgskip.html,主要基于matplotlib.backend_managers.ToolManager类实现,即使用工具栏管理器模式. 官方案例解析 下面对官方案例关键点做注释说明. import matplotlib.pyp

  • python opencv实现直线检测并测出倾斜角度(附源码+注释)

    python opencv实现直线检测并测出倾斜角度(附源码+注释)

    由于学习需要,我想要检测出图片中的直线,并且得到这些直线的角度.于是我在网上搜了好多直线检测的代码,但是没有搜到附有计算直线倾斜角度的代码,所以我花了一点时间,自己写了一份直线检测并测出倾斜角度的代码,希望能够帮助到大家! 注:这份代码只能够检测简单结构图片的直线,复杂结构的图片还需要设置合理的参数 下面展示 源码. import cv2 import numpy as np def line_detect(image): # 将图片转换为HSV hsv = cv2.cvtColor(image

  • 基于Python-turtle库绘制路飞的草帽骷髅旗、美国队长的盾牌、高达的源码

    基于Python-turtle库绘制路飞的草帽骷髅旗、美国队长的盾牌、高达的源码

    源码: #路飞骷髅 import turtle as t #黄底帽子 t.pu() t.goto(0,200) t.circle(-130,-80) t.pd() t.colormode(255) t.pensize(5) t.color(242,232,184) #帽子黄底RGB t.begin_fill() t.pencolor(0,0,0) t.circle(-130,160) t.seth(180) t.fd(255) t.end_fill() #红色线条 t.begin_fill()

  • Python爬虫爬取微博热搜保存为 Markdown 文件的源码

    Python爬虫爬取微博热搜保存为 Markdown 文件的源码

    什么是爬虫? 网络爬虫(又被称为网页蜘蛛,网络机器人,在FOAF社区中间,更经常的称为网页追逐者),是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本.另外一些不常使用的名字还有蚂蚁.自动索引.模拟程序或者蠕虫. 其实通俗的讲就是通过程序去获取web页面上自己想要的数据,也就是自动抓取数据 爬虫可以做什么? 你可以爬取小姐姐的图片,爬取自己有兴趣的岛国视频,或者其他任何你想要的东西,前提是,你想要的资源必须可以通过浏览器访问的到. 爬虫的本质是什么? 上面关于爬虫可以做什么,定义了一个前提

  • python获取整个网页源码的方法

    1.Python中获取整个页面的代码: import requests res = requests.get('https://blog.csdn.net/yirexiao/article/details/79092355') res.encoding = 'utf-8' print(res.text) 2.运行结果 实例扩展: from bs4 import BeautifulSoup import time,re,urllib2 t=time.time() websiteurls={} de

  • python matplotlib工具栏源码探析二之添加、删除内置工具项的案例

    python matplotlib工具栏源码探析二之添加、删除内置工具项的案例

    从matplotlib工具栏源码探析一(禁用工具栏.默认工具栏和工具栏管理器三种模式的差异)一文可知matplotlib内置实现了多个工具项的实现,而默认工具栏中的工具项只是其中的一部分,有没有方法直接管理工具栏,添加.删除内置工具项? matplotlib内置的工具项 由源码可知,matplotlib.backend_tools.default_tools变量为字典类型,实例化了基于matplotlib.backend_tools.ToolBase类定义的内置工具项. 源码 default_t

随机推荐