.NET Core实现分表分库、读写分离的通用 Repository功能

首先声明这篇文章不是标题党,我说的这个类库是 FreeSql.Repository,它作为扩展库现实了通用仓储层功能,接口规范参考 abp vnext 定义,实现了基础的仓储层(CURD)。

安装

dotnet add package FreeSql.Repository

可用于:.net framework 4.6+、.net core 2.1+

定义
var fsql = new FreeSql.FreeSqlBuilder()
 .UseConnectionString(FreeSql.DataType.Sqlite, @"Data Source=|DataDirectory|\document.db;Pooling=true;Max Pool Size=10")
 .UseLogger(loggerFactory.CreateLogger<IFreeSql>())
 .UseAutoSyncStructure(true) //自动迁移实体的结构到数据库
 .Build();
过滤与验证

假设我们有User(用户)、Topic(主题)两个实体,在某领域类中定义了两个仓储:

var userRepository = fsql.GetGuidRepository<User>();
var topicRepository = fsql.GetGuidRepository<Topic>();

开发过程中,我总会担心 topicRepository 的数据安全问题,即有可能查询或操作到其他用户的主题。因此在v0.0.7版本进行了改进,增加了 filter lambad 表达式参数。

var userRepository = fsql.GetGuidRepository<User>(a => a.Id == 1);
var topicRepository = fsql.GetGuidRepository<Topic>(a => a.UserId == 1);
  • 在查询/修改/删除时附加此条件,从而达到不会修改其他用户的数据;
  • 在添加时,使用表达式验证数据的合法性,若不合法则抛出异常;

有朋友说这个功能像 abp 的租户,但这是更小单位的过滤+验证,确保数据安全。
有朋友说这个功能省事,但我觉得是省心。

分表与分库

GuidRepository 作为分存式仓储将实现了分表与分库(不支持跨服务器分库)的封装类。

var logRepository = fsql.GetGuidRepository<Log>(null, oldname => $"{oldname}_{DateTime.Now.ToString("YYYYMM")}");

上面我们得到一个日志仓储实例按年月分表,使用它 CURD 最终会操作 Log_201903 表。

注意:虽然 FreeSql 支持 CodeFirst 迁移,但不提供迁移分表,开发环境中仍然可以迁移 Log 表。

读写分离

FreeSql 支持数据库读写分离,本功能是客户端的读写分离行为,数据库服务器该怎么配置仍然那样配置,不受本功能影响,为了方便描术后面讲到的【读写分离】都是指客户端的功能支持。

各种数据库的读写方案不一,数据库端开启读写分离功能后,读写分离的实现大致分为以下几种:

1、nginx代理,配置繁琐且容易出错;

2、中件间,如MySql可以使用MyCat,但是其他数据库怎么办?

3、在client端支持;

FreeSql 实现了第3种方案,支持一个【主库】多个【从库】,【从库】的查询策略为随机方式。

若某【从库】发生故障,将切换到其他可用【从库】,若已全部不可用则使用【主库】查询。

出现故障【从库】被隔离起来间隔性的检查可用状态,以待恢复。以 mysql 为例:

var connstr = "Data Source=127.0.0.1;Port=3306;User ID=root;Password=root;" +
 "Initial Catalog=cccddd;Charset=utf8;SslMode=none;Max pool size=10";

IFreeSql fsql = new FreeSql.FreeSqlBuilder()
 .UseConnectionString(FreeSql.DataType.MySql, connstr)
 .UseSlave("connectionString1", "connectionString2") //使用从数据库,支持多个
 .Build();

select.Where(a => a.Id == 1).ToOne(); //读【从库】(默认)
select.Master().WhereId(a => a.Id == 1).ToOne(); //强制读【主库】
其他特性
  • [x] 支持 CodeFirst 迁移;
  • [x] 支持 DbFirst 从数据库导入实体类,支持三种模板生成器;
  • [x] 采用 ExpressionTree 高性能读取数据;
  • [x] 支持深入的类型映射,比如pgsql的数组类型;
  • [x] 支持丰富的表达式函数;
  • [x] 支持导航属性查询,和延时加载;
  • [x] 支持同步/异步数据库操作方法,丰富多彩的链式查询方法;
  • [x] 支持读写分离、分表分库;
  • [x] 支持多种数据库,MySql/SqlServer/PostgreSQL/Oracle/Sqlite;
结束语

以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,谢谢大家对我们的支持。

(0)

相关推荐

  • .NetCore获取Json和Xml格式的配置信息

    本篇将和大家分享的是:如何获取Json和Xml格式的配置信息,主要介绍的是Configuration扩展方法的使用,因为netcore的web应用在Startup中已经默认嵌入appsettings.json文件的配置信息,故而我把测试点放在在了netcore的控制台应用上:控制台上使用配置文件也是常用的事情,并且官网实例主要讲解的是json格式,对xml格式直接带过了,因此有了本篇的分享,希望能给你好的帮助: 获取Json配置信息 获取Xml配置信息 获取xml节点属性值 配置文件能否不和应用

  • .netcore 使用surging框架发布到docker

    demo运行在windows的docker中,系统是win10,所以需要先下载Docker for Windows,安装完毕后系统会重启,然后桌面上可以找到Docker for Windows的快捷图标,右下角有个鲸鱼小图标 单击右键,选择菜单中的Kitematic 会提示你下载Kitematic,自行下载后解压即可,将Kitematic快捷到桌面: 打开Kitematic,在搜索栏中下载好RabbitMQ.redis.consul相关镜像,因为这些是surging运行的先决条件. 接着去Git

  • .NET Core实现分表分库、读写分离的通用 Repository功能

    首先声明这篇文章不是标题党,我说的这个类库是 FreeSql.Repository,它作为扩展库现实了通用仓储层功能,接口规范参考 abp vnext 定义,实现了基础的仓储层(CURD). 安装 dotnet add package FreeSql.Repository 可用于:.net framework 4.6+..net core 2.1+ 定义 var fsql = new FreeSql.FreeSqlBuilder() .UseConnectionString(FreeSql.Da

  • SpringBoot整合sharding-jdbc实现分库分表与读写分离的示例

    目录 一.前言 二.数据库表准备 三.整合 四.docker-compose部署mysql主从 五.本文案例demo源码 一.前言 本文将基于以下环境整合sharding-jdbc实现分库分表与读写分离 springboot2.4.0 mybatis-plus3.4.3.1 mysql5.7主从 https://github.com/apache/shardingsphere 二.数据库表准备 温馨小提示:此sql执行时,如果之前有存在相应库和表会进行自动删除后再创建! DROP DATABAS

  • Docker实现Mariadb分库分表及读写分离功能

    一.简介 本文使用docker实现mysql主从配置,读写分离.分库分表等功能. 二.环境准备 1.基础环境 java java version "1.8.0_111" Java(TM) SE Runtime Environment (build 1.8.0_111-b14) Java HotSpot(TM) 64-Bit Server VM (build 25.111-b14, mixed mode) docker Client: Version: 18.03.0-ce API ve

  • .Net使用分表分库框架ShardingCore实现多字段分片

    目录 介绍 项目地址 背景 原理 直接开始 添加依赖 创建一个订单对象 创建DbContext 创建分片路由 ShardingCore启动配置 测试 默认配置下的测试 测试无路由返回默认值 总结 介绍 本期主角:ShardingCore 一款ef-core下高性能.轻量级针对分表分库读写分离的解决方案,具有零依赖.零学习成本.零业务代码入侵 dotnet下唯一一款全自动分表,多字段分表框架,拥有高性能,零依赖.零学习成本.零业务代码入侵,并且支持读写分离动态分表分库,同一种路由可以完全自定义的新

  • mysql 中的备份恢复,分区分表,主从复制,读写分离

    目录 mysql 的备份和恢复 mysql 的分区分表 mysql 的主从复制读写分离 mysql 的备份和恢复 创建备份管理员 创建备份管理员,并授予管理员相应的权限 备份所需权限:select,reload,lock tables,replication client,show view,event,process # 创建管理员 create user 'backup'@'localhost' identified by '123456'; # 给管理员授权 grant select,re

  • MySQL 分表分库怎么进行数据切分

    关系型数据库本身比较容易成为系统瓶颈,单机存储容量.连接数.处理能力都有限.当单表的数据量达到1000W或100G以后,由于查询维度较多,即使添加从库.优化索引,做很多操作时性能仍下降严重.此时就要考虑对其进行切分了,切分的目的就在于减少数据库的负担,缩短查询时间. 数据库分布式核心内容无非就是数据切分(Sharding)以及切分后对数据的定位.整合.数据切分就是将数据分散存储到多个数据库中,使得单一数据库中的数据量变小,通过扩充主机的数量缓解单一数据库的性能问题,从而达到提升数据库操作性能的目

  • .Net极限生产力之分表分库全自动化Migrations Code-First

    目录 开始 移除静态容器 原生efcore 启动程序 添加todo字段并迁移 集成AbpVNext 新建两个接口用于赋值创建时间和guid AbpDbContext抽象类 新增分库分表路由 编写sqlserver分片迁移脚本生成 abp的efcore模块注入 启动abp迁移项目 集成Furion 新增todoitem 新增分表分库路由 新增分表路由 编写迁移文件 启动注入 添加迁移文件 集成WTM 添加依赖 新增分表分库路由 创建DbContextCreator 静态构造IShardingRun

  • 超大数据量存储常用数据库分表分库算法总结

    当一个应用的数据量大的时候,我们用单表和单库来存储会严重影响操作速度,如mysql的myisam存储,我们经过测试,200w以下的时候,mysql的访问速度都很快,但是如果超过200w以上的数据,他的访问速度会急剧下降,影响到我们webapp的访问速度,而且数据量太大的话,如果用单表存储,就会使得系统相当的不稳定,mysql服务很容易挂掉.所以当数据量超过200w的时候,建议系统工程师还是考虑分表. 以下是几种常见的分表算法. 1.按自然时间来分表/分库; 如一个应用的数据在一年后数据量会达到2

  • MySQL数据库优化之分表分库操作实例详解

    本文实例讲述了MySQL数据库优化之分表分库操作.分享给大家供大家参考,具体如下: 分表分库 垂直拆分 垂直拆分就是要把表按模块划分到不同数据库表中(当然原则还是不破坏第三范式),这种拆分在大型网站的演变过程中是很常见的.当一个网站还在很小的时候,只有小量的人来开发和维护,各模块和表都在一起,当网站不断丰富和壮大的时候,也会变成多个子系统来支撑,这时就有按模块和功能把表划分出来的需求.其实,相对于垂直切分更进一步的是服务化改造,说得简单就是要把原来强耦合的系统拆分成多个弱耦合的服务,通过服务间的

  • 使用ShardingSphere-Proxy实现分表分库

    目录 1.环境准备 2.数据库脚本准备 3.配置ShardingSphere-Proxy 分表原理解析 参考:Sharding-Proxy的基本功能使用 1. 环境准备 MySql 5.7 apache-shardingsphere-4.1.1-sharding-proxy-bin.tar.gz jdk 1.8 mysql-connector-java-5.1.49.jar 2. 数据库脚本准备 # 创建商品数据库 CREATE DATABASE IF NOT EXISTS `products`

随机推荐