java开发分布式服务框架Dubbo原理机制详解

目录
  • 前言
  • Dubbo框架有以下部件
    • Consumer
    • Provider
    • Registry
    • Monitor
    • Container
  • 架构
  • 高可用性
  • 框架设计
  • 服务暴露过程
  • 服务消费过程

前言

在介绍Dubbo之前先了解一下基本概念:

Dubbo是一个RPC框架,RPC,即Remote Procedure Call(远程过程调用),相对的就是本地过程调用,在分布式架构之前的单体应用架构和垂直应用架构运用的都是本地过程调用。它允许程序调用另外一个地址空间(通常是网络共享的另外一台机器)的过程或函数,并且不用程序员显式编码这个远程调用的细节。

而分布式架构应用与应用之间的远程调用就需要RPC框架来做,目的就是为了让远程调用像本地调用一样简单。

Dubbo框架有以下部件

Consumer

即调用远程服务的服务消费方,消费者需要面向接口编程,知道了哪些接口可以调用了,具体实现需要框架提供一个代理类来为接口提供具体实现,让消费者只管调用什么接口,而具体实现的获取由代理类来处理。

消费者还需要提供调用方法名以及方法的参数值。

但是代理类此时还不知道需要调用哪个服务器上的远程方法,此时需要一个注册中心,通过注册中心获取可以调用的远程服务列表。

远程服务器一般都是集群部署,那么调用哪个服务器则需要通过负载均衡来选择一个最合适的服务器来调用。

同时还需要有集群容错机制,因为各种原因,可能远程调用会失败,此时需要容错机制来重试调用,保证远程调用的稳定性。

同时与服务提供方约定好通信协议和序列化格式,方便通信以及数据传输。

Provider

即暴露服务的服务提供方,服务提供方内部实现具体的接口,然后将接口暴露出去,再将服务注册到注册中心,服务消费方调用服务,提供者接收到调用请求后,通过约定好的通信协议来处理该请求,然后做反序列化,完成后,将请求放入线程池中处理,某个线程接收到这个请求然后找到对应的接口实现进行调用,然后将调用结果原路返回。

Registry

即服务注册与发现的注册中心,注册中心负责服务地址的注册与查找,相当于服务目录,服务提供者和消费者只会再启动时与注册中心交互,注册中心不转发请求,压力小。

注册中心还可以集中化处理配置以及动态地将变更通知订阅方。

但是为什么需要注册中心呢?没有注册中心不可以吗?

在没有注册中心,各服务之间的调用关系是这样的:

当服务越来越多时,服务URL配置管理变得非常困难,硬件负载均衡器的单点压力也越来越大,而有了注册中心之后,就可以实现服务的统一管理,并且实现软负载均衡,降低硬件成本,以下为注册中心示意图:

Monitor

即统计服务调用次数和调用时间的监控中心,面对众多服务,精细化的监控和方便的运维是不可或缺的,对后期维护相当重要。

Container

即服务运行的容器。

架构

图中的各个节点充当的角色已经介绍过了,以下是各节点之间调用关系:

Container服务容器负责启动,加载以及运行

Provider服务提供者Provider服务提供者启动时,需要将自身暴露出去让远程服务器可以发现,同时向Registry注册中心注册自己提供的服务

Consumer服务消费者启动时,向Registry注册中心订阅所需要的服务

Registry注册中心返回服务提供者列表给消费者,同时如果发生变更,注册中心将基于长连接推送实时数据给消费者

服务消费者需要调用远程服务时,会从提供者的地址列表中,基于负载均衡算法选出一台提供者服务器进行调用,如果调用失败,会基于集群容错策略进行调用重试

服务消费者与提供者会在内存中统计调用次数和调用时间,然后通过定时任务将数据发送给Monitor监控中心

高可用性

  • 监控中心宕机后不会对服务造成影响,只是丢失部分统计数据
  • 注册中心集群后,任意一台宕机后,将自动切换到其他注册中心
  • 当所有注册中心均宕机后,服务提供者和消费者之间仍然能通过本地记录了彼此信息的缓存进行通讯,但是如果一方产生变更,另外一方无法感知
  • 服务提供者无状态,任意一台服务器宕机后不影响使用,会有其他服务提供者提供服务
  • 当所有服务提供者宕机后,服务消费者无法正常使用,将进行无限次重连等待服务提供者重新连线恢复

框架设计

大的分层为Business(业务逻辑层)、RPC层和Remoting层。

再细分下来,Dubbo一共有十层架构,作用分别如下:

Service,业务层,即日常开发中的业务逻辑层

Config,配置层,对外配置接口,以ServiceConfigReferenceConfig为中心,可以直接初始化配置类,也可以通过Spring解析配置生成配置类

Proxy,服务代理层,服务接口透明代理,生成服务的客户端Stub和客户端Skeleton,负责远程调用和返回结果

Registry,注册中心层,封装服务地址的注册与发现,以服务URL为中心,拓展接口为RegistryFactoryRegistryRegistryService

Cluster路由和集群容错层,封装了多个提供者的路由、负载均衡以及集群容错,并桥接注册中心,负责通过负载均衡选取调用具体的节点,处理特殊调用请求和负责远程调用失败的容错措施

Monitor,监控层,负责监控统计RPC调用次数和调用时间

Portocol,远程调用层,主要封装RPC远程调用方法

Exchange,信息交换层,用于封装请求响应模型

Transport,网络传输层,抽象化网络传输统一接口,有MinaNetty可供使用

Serialize,序列化层,将数据序列化成二进制流进行传输,也可以反序列化接收数据

服务暴露过程

首先Provider启动,Protocal通过Proxy代理将需要暴露的接口封装成Invoker,是一个可执行体,然后通过Exporter包装并发送到注册中心完成注册,至此服务就暴露完成。

服务消费过程

注:上图中蓝色部分为服务消费者,绿色部分为服务提供者。

服务消费者启动时会向注册中心订阅并拉取所需服务提供者的信息,并保存到本地缓存,由此即使所有注册中心宕机后,服务提供者和服务消费者也可以通过本地缓存进行通讯,只是一方出现了信息变更,另一方无法感知,但并不影响服务的进行。

之后整个服务消费流程从图中的Proxy开始,由代理类完成处理,以此到达透明无感知。

ProxyFactory生成一个Proxy代理类,Proxy持有一个Invoker可执行对象,调用invoke之后需要通过ClusterDirectory中获取所有可调用的远程服务Invoker列表,如果配置了某些路由规则,还需要再过滤一遍Invoker列表。

剩下的Invoker再通过LoadBalance做负载均衡选取一个,还需要再通过Filter进行一些数据统计,之后将这些数据保存下来,定时发送给Monitor

接下来用Client做数据传输,一般用Netty进行传输。

传输需要通过Codec接口进行协议构造,然后再通过Serialization进行序列化,最后将序列化后的二进制流发送至给对应的服务提供者。

服务提供者接收到二进制流后也会进行Codec协议处理,然后进行反序列化(此处的处理与传输之前的处理是呈对称的)后将请求放入线程池中处理,某个线程会根据请求找到对应的Exporter,然后再通过Filter进行层层过滤得到Invoker,最终调用对应的实现类然后将结果原路返回。

如有错误或不足欢迎评论指正。

以上就是java开发分布式服务框架Dubbo原理机制详解的详细内容,更多关于Dubbo分布式服务框架原理机制的资料请关注我们其它相关文章!

(0)

相关推荐

  • java开发Dubbo负载均衡与集群容错示例详解

    目录 负载均衡与集群容错 Invoker 服务目录 RegistryDirectory 获取Invoker列表 监听注册中心 刷新Invoker列表 StaticDirectory 服务路由 Cluster FailoverClusterInvoker FailfastClusterInvoker FailsafeClusterInvoker FailbackClusterInvoker ForkingClusterInvoker BroadcastClusterInvoker Abstract

  • 解析Apache Dubbo的SPI实现机制

    一.SPI 在Java中,SPI体现了面向接口编程的思想,满足开闭设计原则. 1.1.JDK自带SPI实现 从JDK1.6开始引入SPI机制后,可以看到很多使用SPI的案例,比如最常见的数据库驱动实现,在JDK中只定义了java.sql.Driver的接口,具体实现由各数据库厂商来提供.下面一个简单的例子来快速了解下Java SPI的使用方式: 1)定义一个接口 package com.vivo.study public interface Car { void getPrice(); } 2)

  • java开发分布式服务框架Dubbo服务引用过程详解

    目录 大致流程 服务引用策略 服务引用的三种方式 服务引入流程解析 总结 大致流程 Provider将服务暴露出来并且注册到注册中心,而Consumer通过注册中心获取Provider的信息,之后将自己封装成一个调用类去与Provider进行交互. 首先需要将所有调用转化为Dubbo中我们熟悉的Invoker,再通过代理类去远程获取服务. 大致流程如下: 服务引用策略 服务的引用和服务的暴露原理相似,都是Spring自定义标签机制解析生成对应的Bean,在之前服务暴露使用到的Provider S

  • java开发分布式服务框架Dubbo调用过程

    目录 大致流程 调用请求的具体信息 协议 Dubbo协议 序列化器 调用流程图 调用流程源码分析--客户端 模板方法模式 路由和负载均衡 调用的三种方式 调用流程源码分析--服务端 总结 大致流程 客户端根据远程服务的地址,客户端发送请求至服务端,服务端解析信息并找到对应的实现类,进行方法调用,之后将调用结果原路返回,客户端解析响应之后再返回. 调用请求的具体信息 客户端发送给服务端的请求中应该包含哪些具体信息呢? 首先肯定要说明调用的是服务端的哪个接口.方法名.方法参数类型.以及版本号等,将上

  • Java和Dubbo的SPI机制原理解析

    SPI: 简单理解就是,你一个接口有多种实现,然后在代码运行时候,具体选用那个实现,这时候我们就可以通过一些特定的方式来告诉程序寻用那个实现类,这就是SPI. JAVA的SPI 全称为 Service Provider Interface,是一种服务发现机制.它是约定在 Classpath 下的 META-INF/services/ 目录里创建一个以服务接口命名的文件,然后文件里面记录的是此 jar 包提供的具体实现类的全限定名. 这样当我们引用了某个 jar 包的时候就可以去找这个 jar 包

  • java开发分布式服务框架Dubbo暴露服务过程详解

    目录 Dubbo服务暴露机制 前言 服务暴露流程 源码解析 本地暴露 远程暴露 Dubbo服务暴露机制 前言 在进行服务暴露机制的分析之前,必须谈谈什么是URL,在Dubbo服务暴露过程中URL是无处不在的,贯穿了整个过程. 一般情况下,URL指的是统一资源定位符,标准格式如下: protocol://host:port/path?key1=value1&key2=value2 Dubbo就是用这种URL的方式来作为约定的参数类型,服务之间也是用URL来进行交互. Dubbo用URL作为配置总线

  • java开发分布式服务框架Dubbo原理机制详解

    目录 前言 Dubbo框架有以下部件 Consumer Provider Registry Monitor Container 架构 高可用性 框架设计 服务暴露过程 服务消费过程 前言 在介绍Dubbo之前先了解一下基本概念: Dubbo是一个RPC框架,RPC,即Remote Procedure Call(远程过程调用),相对的就是本地过程调用,在分布式架构之前的单体应用架构和垂直应用架构运用的都是本地过程调用.它允许程序调用另外一个地址空间(通常是网络共享的另外一台机器)的过程或函数,并且

  • Java分布式服务框架Dubbo介绍

    目录 1.什么是Dubbo? 2.Dubbo核心组件是? 3.Dubbo的工作原理是? 4.介绍一下Dubbo框架分层? 5.Dubbo支持哪些协议? 1.dubbo默认协议: 2.rmi协议: 3.hessian协议: 4.http协议: 5.webservice协议: 6.thrift协议: 7.redis协议: 8.memcached协议: 6.Dubbo核心配置有哪些? 7.Dubbo有哪几种集群容错方案.哪几种负载均衡策略? 8.Dubbo用到哪些设计模式,简要介绍? 9.Dubbo有

  • java开发主流定时任务解决方案全横评详解

    目录 引言 Crontab 目标定位 使用方式 实现原理 方案分析 Spring Task 目标定位 使用方式 实现原理 方案分析 ElasticJob 目标定位 使用方式 实现原理 方案分析 XXLJob 目标定位 使用方式 实现原理 方案分析 Serverless Job 目标定位 使用方式 实现原理 方案分析 总结 引言 定时任务作为一种按照约定时间执行预期逻辑的通用模式,在企业级开发中承载着丰富的业务场景,诸如后台定时同步数据生成报表,定时清理磁盘日志文件,定时扫描超时订单进行补偿回调等

  • Java开发中synchronized的定义及用法详解

    概念 是利用锁的机制来实现同步的. 互斥性:即在同一时间只允许一个线程持有某个对象锁,通过这种特性来实现多线程中的协调机制,这样在同一时间只有一个线程对需同步的代码块(复合操作)进行访问.互斥性我们也往往称为操作的原子性. 可见性:必须确保在锁被释放之前,对共享变量所做的修改,对于随后获得该锁的另一个线程是可见的(即在获得锁时应获得最新共享变量的值),否则另一个线程可能是在本地缓存的某个副本上继续操作从而引起不一致. 用法 修饰静态方法: //同步静态方法 public synchronized

  • Java开发学习之Bean的生命周期详解

    目录 一.什么是生命周期 二.环境准备 三.生命周期设置 步骤1:添加初始化和销毁方法 步骤2:配置生命周期 步骤3:运行程序 四.close关闭容器 五.注册钩子关闭容器 六.bean生命周期总结 一.什么是生命周期 首先理解下什么是生命周期? 从创建到消亡的完整过程,例如人从出生到死亡的整个过程就是一个生命周期. bean生命周期是什么? bean对象从创建到销毁的整体过程. bean生命周期控制是什么? 在bean创建后到销毁前做一些事情. 二.环境准备 环境搭建: 创建一个Maven项目

  • java开发ShardingSphere的路由引擎类型示例详解

    目录 ShardingSphere的路由引擎类型 路由引擎类型 标准路由 路由逻辑 总结 ShardingSphere的路由引擎类型 本篇文章源码基于4.0.1版本 上篇文章我们了解到了ShardingSphere在路由流程过程中,根据不同类型的SQL会现在不同的路由引擎,而ShardingSphere支持的路由规则也很多了,包括广播(broadcast)路由.混合(complex)路由.默认数据库(defaultdb)路由.无效(ignore)路由.标准(standard)路由以及单播(uni

  • Android开发App启动流程与消息机制详解

    目录 引言 1.第一步了解 ThreadLocal 2.App的启动流程 3.Activity中创建Handler 引言 相信很多人对这个问题不陌生,但是大家回答的都比较简单,如谈到app启动流程有人就会是app的生命周期去了,谈到消息机制有人就会说looper循环消息进行分发,如果是面试可能面试官不会满意,今天我们搞一篇完善的源码解析来进行阐述上面的问题 1.第一步了解 ThreadLocal 什么是ThreadLocal呢,专业的来讲,ThreadLocal 是一个线程内部的数据存储类,通过

随机推荐