EFCore.Sharding

by Coldairarrow

Coldairarrow / EFCore.Sharding

Database Sharding For EFCore

324 Stars 78 Forks Last release: about 1 month ago (3.1.8.1) Apache License 2.0 112 Commits 6 Releases

Available items

No Items, yet!

The developer of this repository has not created any items for sale yet. Need a bug fixed? Help with integration? A different license? Create a request here:

简介

本框架旨在为EF Core提供Sharding(即读写分离分库分表)支持,不仅提供了一套强大的普通数据操作接口,并且降低了分表难度,支持按时间自动分表扩容,提供的操作接口简洁统一.

源码地址:EFCore.SHarding

引言

读写分离分库分表一直是数据库领域中的重难点,当数据规模达到单库极限的时候,就不得不考虑分表方案。EF Core作为.NET Core中最为主流的ORM,用起来十分方便快捷,但是官方并没有相应的Sharding支持,鄙人不才,经过一番摸索之后终于完成这个框架.

开始

准备

首先根据需要安装对应的Nuget包

| 包名 | 说明 | |--|--| | EFCore.Sharding | 必装包,3.x版本对应EF Core3.x,2.x版本对应EF Core2.x | | EFCore.Sharding.MySql | MySql支持 | | EFCore.Sharding.PostgreSql | PostgreSql支持 | | EFCore.Sharding.SQLite | SQLite支持 | | EFCore.Sharding.SqlServer | SqlServer支持(3.x版本需要SqlServer2012+,若要用低版本则用2.x版本) | | EFCore.Sharding.Oracle | Oracle支持(暂不支持3.x) |

配置

ServiceCollection services = new ServiceCollection();
//配置初始化
services.AddEFCoreSharding(config =>
{
    //添加数据源
    config.AddDataSource(Config.CONSTRING1, ReadWriteType.Read | ReadWriteType.Write, DatabaseType.SqlServer);

//对3取模分表
config.SetHashModSharding<base_unittest>(nameof(Base_UnitTest.Id), 3);

});

上述代码中完成了Sharding配置 - AddEFCoreSharding注入EFCoreSharding - AddDataSource添加分表数据源 - SetHashModSharding是采用哈希取模的分表规则,分表字段为Id,取模值为3,会自动生成表BaseUnitTest0,BaseUnitTest1,BaseUnitTest2

使用

配置完成,下面开始使用,使用方式非常简单,与平常使用基本一致
首先通过注入获取到IShardingDbAccessor

var db=ServiceProvider.GetService();

然后即可进行数据操作:

Base_UnitTest _newData  = new Base_UnitTest
{
    Id = Guid.NewGuid().ToString(),
    UserId = "Admin",
    UserName = "超级管理员",
    Age = 22
};
List _insertList = new List
{
    new Base_UnitTest
    {
        Id = Guid.NewGuid().ToString(),
        UserId = "Admin1",
        UserName = "超级管理员1",
        Age = 22
    },
    new Base_UnitTest
    {
        Id = Guid.NewGuid().ToString(),
        UserId = "Admin2",
        UserName = "超级管理员2",
        Age = 22
    }
};
//添加单条数据
_db.Insert(_newData);
//添加多条数据
_db.Insert(_insertList);
//清空表
_db.DeleteAll();
//删除单条数据
_db.Delete(_newData);
//删除多条数据
_db.Delete(_insertList);
//删除指定数据
_db.Delete(x => x.UserId == "Admin2");
//更新单条数据
_db.Update(_newData);
//更新多条数据
_db.Update(_insertList);
//更新单条数据指定属性
_db.Update(_newData, new List { "UserName", "Age" });
//更新多条数据指定属性
_db.Update(_insertList, new List { "UserName", "Age" });
//更新指定条件数据
_db.Update(x => x.UserId == "Admin", x =>
{
    x.UserId = "Admin2";
});
//GetList获取表的所有数据
var list=_db.GetList();
//Max
var max=_db.GetIShardingQueryable().Max(x => x.Age);
//Min
var min=_db.GetIShardingQueryable().Min(x => x.Age);
//Average
var min=_db.GetIShardingQueryable().Average(x => x.Age);
//Count
var min=_db.GetIShardingQueryable().Count();
//事务,使用方式与普通事务一致
bool succcess = _db.RunTransaction(() =>
{
    _db.Insert(_newData);
    var newData2 = _newData.DeepClone();
    _db.Insert(newData2);
}).Success;
Assert.AreEqual(succcess, false);

上述操作中表面上是操作BaseUnitTest表,实际上却在按照一定规则使用BaseUnitTest_0~2三张表,使分片对业务操作透明,极大提高开发效率
具体使用方式请参考单元测试源码:连接

按时间自动分表

上面的哈希取模的方式虽然简单,但是却十分不实用,因为当3张分表到达瓶颈时,将会面临扩容的问题,这种方式扩容需要进行大量的数据迁移,这无疑是十分麻烦的。因此需要一种方式能够系统自动建表扩容,并且无需人工干预,这就是按时间自动分表.

using EFCore.Sharding;
using EFCore.Sharding.Tests;
using Microsoft.Extensions.DependencyInjection;
using Microsoft.Extensions.Logging;
using System;
using System.Threading.Tasks;

namespace Demo.DateSharding { class Program { static async Task Main(string[] args) { DateTime startTime = DateTime.Now.AddMinutes(-5); ServiceCollection services = new ServiceCollection(); services.AddLogging(config => { config.AddConsole(); }); //配置初始化 services.AddEFCoreSharding(config => { //添加数据源 config.AddDataSource(Config.CONSTRING1, ReadWriteType.Read | ReadWriteType.Write, DatabaseType.SqlServer);

            //按分钟分表
            config.SetDateSharding<base_unittest>(nameof(Base_UnitTest.CreateTime), ExpandByDateMode.PerMinute, startTime);
        });
        var serviceProvider = services.BuildServiceProvider();

        using var scop = serviceProvider.CreateScope();

        var db = scop.ServiceProvider.GetService<ishardingdbaccessor>();
        var logger = scop.ServiceProvider.GetService<ilogger>&gt;();

        while (true)
        {
            try
            {
                await db.InsertAsync(new Base_UnitTest
                {
                    Id = Guid.NewGuid().ToString(),
                    Age = 1,
                    UserName = Guid.NewGuid().ToString(),
                    CreateTime = DateTime.Now
                });

                DateTime time = DateTime.Now.AddMinutes(-2);
                var count = await db.GetIShardingQueryable<base_unittest>()
                    .Where(x =&gt; x.CreateTime &gt;= time)
                    .CountAsync();
                logger.LogWarning("当前数据量:{Count}", count);
            }
            catch (Exception ex)
            {
                Console.WriteLine(ex.Message);
            }

            await Task.Delay(1000);
        }
    }
}

}

上面Demo都在源码中

上面的代码实现了将Base_UnitTest表按照时间自动分表,每分钟创建一张表,实际使用中根据业务需求设置ExpandByDateMode参数,常用按天、按月分表

自动分表效果 JKxE8K.png 全程无需人工干预,系统会自动定时创建分表,十分简单好用

性能测试

using EFCore.Sharding;
using EFCore.Sharding.Tests;
using Microsoft.EntityFrameworkCore;
using Microsoft.Extensions.DependencyInjection;
using System;
using System.Diagnostics;
using System.Linq;
using System.Linq.Expressions;

namespace Demo.Performance { class Program { static void Main(string[] args) { ServiceCollection services = new ServiceCollection(); services.AddEFCoreSharding(config => { config.UseDatabase(Config.CONSTRING1, DatabaseType.SqlServer);

            //添加数据源
            config.AddDataSource(Config.CONSTRING1, ReadWriteType.Read | ReadWriteType.Write, DatabaseType.SqlServer);

            //对3取模分表
            config.SetHashModSharding<base_unittest>(nameof(Base_UnitTest.Id), 3);
        });
        var serviceProvider = services.BuildServiceProvider();

        var db = serviceProvider.GetService<idbaccessor>();
        var shardingDb = serviceProvider.GetService<ishardingdbaccessor>();
        Stopwatch watch = new Stopwatch();

        Expression<func bool>&gt; where = x =&gt; EF.Functions.Like(x.UserName, $"%00001C22-8DD2-4D47-B500-407554B099AB%");

        var q = db.GetIQueryable<base_unittest>()
            .Where(where)
            .OrderByDescending(x =&gt; x.Id)
            .Skip(0)
            .Take(30);
        var shardingQ = shardingDb.GetIShardingQueryable<base_unittest>()
            .Where(where)
            .OrderByDescending(x =&gt; x.Id)
            .Skip(0)
            .Take(30);

        //先执行一次预热
        q.ToList();
        shardingQ.ToList();

        watch.Restart();
        var list1 = q.ToList();
        watch.Stop();
        Console.WriteLine($"未分表耗时:{watch.ElapsedMilliseconds}ms");
        watch.Restart();
        var list2 = shardingQ.ToList();
        watch.Stop();
        Console.WriteLine($"分表后耗时:{watch.ElapsedMilliseconds}ms");

        Console.WriteLine("完成");
        Console.ReadLine();
    }
}

}

分表BaseUnitTest0-2各有100万数据,然后将这三张表的数据导入BaseUnitTest中(即BaseUnitTest表的数据与BaseUnitTest0-2三张表总合数据一致)

分表与不分表测试结果如下

JMSJBQ.png

这里仅仅分了3张表,其效果立杆见影,若分表几十张,那效果想想就很棒

其它简单操作(非Sharing)

框架不仅支持Sharing,而且封装了常用数据库操作,使用比较简单
详细使用方式参考 链接

高级配置

多主键等配置

多主键、索引等高级配置请使用IEntityTypeConfiguration 参考fluentApi

读写分离

数据库读写分离在大型项目中十分常见,通常在数据库层完成自动读写分离
- MySQL可以使用ProxySQL完成全自动读写分离集群
- PostgreSQL可以使用Pgool完成全自动读写分离集群
- SQLServer可以使用AlwaysOn,但是需要在连接字符串中加上 ApplicationIntent=ReadOnly,因此只是半自动
本框架支持将半自动读写分离升级成全自动,即在代码层无需感知读写分离切换,代码层只需跟普通一样使用IDbAccessor即可
代码如下(链接)
```c# using EFCore.Sharding; using EFCore.Sharding.Tests; using Microsoft.EntityFrameworkCore; using Microsoft.Extensions.DependencyInjection; using Microsoft.Extensions.Logging; using System; using System.Threading.Tasks;

namespace Demo.ReadWrite { class Program { static async Task Main(string[] args) { ServiceCollection services = new ServiceCollection(); services.AddLogging(config => { config.AddConsole(); }); services.AddEFCoreSharding(config => { config.SetEntityAssembly("EFCore.Sharding");

            //SQLITE1作为主库(写库)
            //SQLITE2作为从库(读库)
            config.UseDatabase(new (string, ReadWriteType)[]
            {
                (Config.SQLITE1, ReadWriteType.Write),
                (Config.SQLITE2, ReadWriteType.Read)
            }, DatabaseType.SQLite);
        });
        var serviceProvider = services.BuildServiceProvider();

    using var scop = serviceProvider.CreateScope();
    //拿到注入的IDbAccessor即可进行所有数据库操作
    var db = scop.ServiceProvider.GetService<idbaccessor>();
    var logger = scop.ServiceProvider.GetService<ilogger>&gt;();
    while (true)
    {
        await db.InsertAsync(new Base_UnitTest
        {
            Age = 100,
            CreateTime = DateTime.Now,
            Id = Guid.NewGuid().ToString(),
            UserId = Guid.NewGuid().ToString(),
            UserName = Guid.NewGuid().ToString()
        });
        var count = await db.GetIQueryable<base_unittest>().CountAsync();

        //注意:这里数量始终为0,因为SQLITE1与SQLITE2没有开启主从复制
        //在实际使用中应在数据库层开启主从复制
        logger.LogWarning("当前数量:{Count}", count);

        await Task.Delay(1000);
    }
}

}

}

# 注意事项

  • 查询尽量使用分表字段进行筛选,避免全表扫描

总结

这个简单实用强大的框架希望能够帮助到大家,力求为.NET生态贡献一份力,大家一起壮大.NET生态

欢迎使用本框架,若觉得不错,请比心

Github欢迎星星:https:

博客园欢迎点赞:https:

QQ群3:940069478
个人QQ:862520575(欢迎技术支持及商务合作

本人将会对这个快速开发框架不断完善与维护,希望能够帮助到各位
若遇到任何问题或需要技术支持,请联系我
------学习永无止境,技术永无上限,代码就是艺术------

We use cookies. If you continue to browse the site, you agree to the use of cookies. For more information on our use of cookies please see our Privacy Policy.