1 前言
本文致力于将一种动态数据过滤的方案描述出来(基于 EF Core 官方的数据筛选器),实现自动注册,多个条件过滤,单条件禁用(实际上是参考ABP的源码),并尽量让代码保持 EF Core 的原使用风格。
1.1 本文的脉络
会在一开始,讲述数据过滤的场景以及基本的实现思路。
随后列出 EF Core 官方的数据查询筛选器例子。
最后将笔者的方案按功能(自动注册,多个条件过滤,单条件禁用)逐一实现出来。
1.2 数据过滤的场景
一般我们会有这样的场景,可能需要数据过滤:
- 软删
- 多租户
- 通用数据权限(数据过滤)
如软删,我们一般会希望,我们查询出来的数据,是过滤掉被删除数据的,可能我们会这样写:
var users = db.User.Where(u => !u.IsDeleted).ToList();
但是如果数据过滤全靠人工编写,那会是一件很烦的事,有时候甚至会忘记写。而且如果以后发生了什么需求变化,需要修改数据过滤的代码,到时候是到处修改,也是很烦的一件事。
如果能把数据过滤统一管理起来,这样不但不用重复无意义的工作,而且以后需要修改的时候,改一处地方即可。
2 EF Core 查询筛选器
2.1 介绍
EF Core 官方提供的查询筛选器(Query Filter)能满足我们过滤数据的基本需求,下面介绍一下这种筛选器。
EF Core 官方的查询筛选器,是在 DbContext 的 OnModelCreating 中定义的,且每个实体只能拥有一个筛选器(如定义了多个筛选器,则只会生效最后一个)。
筛选器默认是启用的,如要禁用,需要在查询过程中使用 IgnoreQueryFilters 方法,如:
var users = db.User.IgnoreQueryFilters().ToList();
2.2 基本使用
具体可以自行翻查官方文档:全局查询筛选器
(1)定义带有软删字段的实体
public class TestDelete { public int Id { get; set; } public string? Name { get; set; } public bool IsDeleted { get; set; } = false; }
(2)注册筛选器
使用 HasQueryFilter
API 在 OnModelCreating
中配置查询筛选器。
protected override void OnModelCreating(ModelBuilder builder) { builder.Entity<TestDelete>().HasQueryFilter(e => !e.IsDeleted); }
(3)查询中使用
直接查询:
var deletes = _context.Set<TestDelete>().ToList();
将生成如下SQL:
SELECT [t].[Id], [t].[IsDeleted], [t].[Name] FROM [TestDelete] AS [t] WHERE [t].[IsDeleted] = CAST(0 AS bit)
查询结果将会过滤掉已删除的数据。
(4)禁用筛选器
使用 IgnoreQueryFilters
API 禁用筛选器:
var deletes = _context.Set<TestDelete>()IgnoreQueryFilters().ToList();
将生成如下SQL:
SELECT [t].[Id], [t].[IsDeleted], [t].[Name] FROM [TestDelete] AS [t]
将不会过滤数据。
2.3 限制
EF Core 查询筛选器的限制很明显:
- 只能生效最后一个
- 一旦禁用,将禁用所有过滤条件
只能生效最后一个这个,可以通过拼凑多个条件的 Expression 来解决。
禁用过滤器这个,只能通过特定的手段来实现单个条件的禁用了。
3 自定义数据过滤
3.1 目标
将实现这些功能:
-
自动注册实体、筛选器等
-
多个条件过滤
-
单条件禁用
3.2 自动注册实体
完成这个功能以后,将不需要自己一个一个去注册实体,不需要重复以下这句代码:
builder.Entity<TestDelete>();
(1)基础实体准备
准备一个 EntityBase 作为所有实体的父类,所有继承该类的非 abstract 类都将被注册为实体。
public abstract class EntityBase {} public abstract class EntityBase<TKey> : EntityBase where TKey : struct { public TKey Id { get; set; } }
(2)自动注册实体实现
笔者自定义的 DbContext 名为 EDbContext,下面将多次使用到这个上下文。
在 OnModelCreating
中编写如下代码:
// 获取程序集 Assembly assembly = typeof(EDbContext).Assembly; // 获取所有继承自 EntityBase 的非 abstract 类 List<Type> entityTypes = assembly.GetTypes() .Where(t => t.IsSubclassOf(typeof(EntityBase)) && !t.IsAbstract) .ToList(); // 注册实体 foreach(Type entityType in entityTypes) { builder.Entity(entityType); }
3.3 自定注册筛选器
完成这个功能以后,将不需要自己一个一个去注册一些筛选器,如:不需要重复以下这句代码:
builder.Entity<TestDelete>().HasQueryFilter(e => !e.IsDeleted);
(1)基础实体准备
定义一个软删的 interface,所有需要软删功能的实体,都去实现这个接口:
// 定义软删接口 interface ISoftDelete { public bool IsDeleted { get; set; } } // TestDelete 相应修改为 public class TestDelete : EntityBase<int>, ISoftDelete { public string? Name { get; set; } public bool IsDeleted { get; set; } = false; }
(2)自动注册实现
EDbContext 的代码变为如下(增加了一个 ConfigureFilters
方法):
因为 ConfigureFilters
是一个泛型方法,需要做一些特殊处理。
protected override void OnModelCreating(ModelBuilder builder) { Assembly assembly = Assembly.GetExecutingAssembly(); List<Type> entityTypes = assembly.GetTypes() .Where(t => t.IsSubclassOf(typeof(EntityBase)) && !t.IsAbstract) .ToList(); // 特殊处理:获取 ConfigureFilters MethodInfo? configureFilters = typeof(EDbContext).GetMethod( nameof(ConfigureFilters), BindingFlags.Instance | BindingFlags.NonPublic ); if (configureFilters == null) throw new ArgumentNullException(nameof(configureFilters)); foreach(Type entityType in entityTypes) { builder.Entity(entityType); // 如果实体实现了 ISoftDelete 接口,则自动注册软删筛选器 if (typeof(ISoftDelete).IsAssignableFrom(entityType)) { // 特殊处理:调用 ConfigureFilters configureFilters .MakeGenericMethod(entityType) .Invoke(this, new object[] { builder }); } } } // 自定义配置筛选器方法 protected virtual void ConfigureFilters<TEntity>(ModelBuilder builder) where TEntity : class { Expression<Func<TEntity, bool>> expression = e => !EF.Property<bool>(e, "IsDeleted"); builder.Entity<TEntity>().HasQueryFilter(expression); }
(3) 测试:自动注册功能的测试
完成自动注册以后,运行程序,看看过滤器是否有效果:
直接查询:
var deletes = _context.Set<TestDelete>().ToList();
将生成如下SQL:
SELECT [t].[Id], [t].[IsDeleted], [t].[Name] FROM [TestDelete] AS [t] WHERE [t].[IsDeleted] = CAST(0 AS bit)
查询结果将会过滤掉已删除的数据。
可以看到,自动注册是成功的!
3.4 实现:多个条件过滤
在这一小节中,将会实现多个条件过滤。
一般我们的程序中,除了软删,还可能有其他的需要统一管理的数据过滤,如:多租户。
(1)基础实体准备
准备一个多租户的 interface,命名为 ITenant,所有需要多租户控制的,都实现该接口。
并准备一个 TestTenant 同时实现 ITenant 和 ISoftDelete。
为简单处理,将 TenantId 默认值设置为 1
// 多租户接口 public interface ITenant { public int TenantId { get; set; } } public class TestTenant : EntityBase<int>, ITenant, ISoftDelete { public string? Name { get; set; } public int TenantId { get; set; } = 1; public bool IsDeleted { get; set; } = false; }
(2)合并表达式树代码准备
因为涉及到两个表达式树(Expression)的合并,这里准备了合并的代码(摘自ABP框架),放在 EDbContext 中即可:
关于表达式树,个人也是不会,就不在这里误人子弟啦。
protected virtual Expression<Func<T, bool>> CombineExpressions<T>(Expression<Func<T, bool>> expression1, Expression<Func<T, bool>> expression2) { var parameter = Expression.Parameter(typeof(T)); var leftVisitor = new ReplaceExpressionVisitor(expression1.Parameters[0], parameter); var left = leftVisitor.Visit(expression1.Body); var rightVisitor = new ReplaceExpressionVisitor(expression2.Parameters[0], parameter); var right = rightVisitor.Visit(expression2.Body); return Expression.Lambda<Func<T, bool>>(Expression.AndAlso(left, right), parameter); } class ReplaceExpressionVisitor : ExpressionVisitor { private readonly Expression _oldValue; private readonly Expression _newValue; public ReplaceExpressionVisitor(Expression oldValue, Expression newValue) { _oldValue = oldValue; _newValue = newValue; } public override Expression Visit(Expression? node) { if (node == _oldValue) { return _newValue; } return base.Visit(node)!; } }
(3)实现多个条件过滤
EDbContext 的代码变为如下:
修改了 OnModelCreating
和 ConfigureFilters
的大部分代码:
注:为简单处理,租户的过滤条件设置为 TenantId == 1
protected override void OnModelCreating(ModelBuilder builder) { Assembly assembly = typeof(EDbContext).Assembly; List<Type> entityTypes = assembly.GetTypes() .Where(t => t.IsSubclassOf(typeof(EntityBase)) && !t.IsAbstract) .ToList(); MethodInfo? configureFilters = typeof(EDbContext).GetMethod( nameof(ConfigureFilters), BindingFlags.Instance | BindingFlags.NonPublic ); if (configureFilters == null) throw new ArgumentNullException(nameof(configureFilters)); foreach(Type entityType in entityTypes) { // 注册实体 builder.Entity(entityType); // 注册筛选器 configureFilters .MakeGenericMethod(entityType) .Invoke(this, new object[] { builder, entityType }); } } protected virtual void ConfigureFilters<TEntity>(ModelBuilder builder, Type entityType) where TEntity : class { Expression<Func<TEntity, bool>>? expression = null; if (typeof(ISoftDelete).IsAssignableFrom(entityType)) { expression = e => !EF.Property<bool>(e, "IsDeleted"); } if (typeof(ITenant).IsAssignableFrom(entityType)) { Expression<Func<TEntity, bool>> tenantExpression = e => EF.Property<int>(e, "TenantId") == 1; expression = expression == null ? tenantExpression : CombineExpressions(expression, tenantExpression); } if (expression == null) return; builder.Entity<TEntity>().HasQueryFilter(expression); }
(4)测试:多条件过滤
直接查询:
var tenants = _context.Set<TestTenant>().ToList();
将生成如下SQL:
SELECT [t].[Id], [t].[IsDeleted], [t].[Name], [t].[TenantId] FROM [TestTenant] AS [t] WHERE ([t].[IsDeleted] = CAST(0 AS bit)) AND ([t].[TenantId] = 1)
查询结果将会过滤掉已删除,且租户Id=1的数据。
3.5 实现:单条件禁用
直接使用 IgnoreQueryFilters
将会禁用筛选器,这里希望有个控制,可以单个条件控制:
下面实现禁用软删筛选器:
(1)DbContext 变量控制
在 EDbContext 中新增一个属性:
public class EDbContext : DbContext { public bool IgnoreDeleteFilter { get; set; } = false; // 其他代码忽略 }
(2)修改筛选器
修改了 ConfigureFilters
的代码:
if (typeof(ISoftDelete).IsAssignableFrom(entityType)) { // 如果 IgnoreDeleteFilter 为 true,将跳过 expression = e => IgnoreDeleteFilter || !EF.Property<bool>(e, "IsDeleted"); }
(3)测试:单条件禁用
测试语句如下:
_context.IgnoreDeleteFilter = true; var tenants = _context.Set<TestTenant>().ToList();
生成如下SQL:
Executed DbCommand (1ms) [Parameters=[@__ef_filter__IgnoreDeleteFilter_0='?' (DbType = Boolean)], CommandType='Text', CommandTimeout='30'] SELECT [t].[Id], [t].[IsDeleted], [t].[Name], [t].[TenantId] FROM [TestTenant] AS [t] WHERE ((@__ef_filter__IgnoreDeleteFilter_0 = CAST(1 AS bit)) OR ([t].[IsDeleted] = CAST(0 AS bit))) AND ([t].[TenantId] = 1)
可以看到,原先的软删条件:
([t].[IsDeleted] = CAST(0 AS bit))
变成了:
((@__ef_filter__IgnoreDeleteFilter_0 = CAST(1 AS bit)) OR ([t].[IsDeleted] = CAST(0 AS bit)))
当 IgnoreDeleteFilter
为 true 时,将会禁用软件的筛选条件。
查询的数据,也确实将软删的数据给查了出来。
4 完整代码
第3节中,完整的代码如下:
Models
namespace EFCoreTest.Models; public abstract class EntityBase { } public abstract class EntityBase<TKey> : EntityBase where TKey : struct { public TKey Id { get; set; } } interface ISoftDelete { public bool IsDeleted { get; set; } } public class TestDelete : EntityBase<int>, ISoftDelete { public string? Name { get; set; } public bool IsDeleted { get; set; } = false; } public interface ITenant { public int TenantId { get; set; } } public class TestTenant : EntityBase<int>, ITenant, ISoftDelete { public string? Name { get; set; } public int TenantId { get; set; } public bool IsDeleted { get; set; } = false; }
EDbContext
using EFCoreTest.Models; using Microsoft.EntityFrameworkCore; using System.Linq.Expressions; using System.Reflection; namespace EFCoreTest; public class EDbContext : DbContext { public bool IgnoreDeleteFilter { get; set; } = false; public EDbContext(DbContextOptions<EDbContext> options) : base(options) { } protected override void OnConfiguring(DbContextOptionsBuilder options) { base.OnConfiguring(options); } protected override void OnModelCreating(ModelBuilder builder) { //// 基本注册 //builder.Entity<TestDelete>().HasQueryFilter(e => !e.IsDeleted); Assembly assembly = typeof(EDbContext).Assembly; //Assembly assembly = Assembly.GetExecutingAssembly(); List<Type> entityTypes = assembly.GetTypes() .Where(t => t.IsSubclassOf(typeof(EntityBase)) && !t.IsAbstract) .ToList(); MethodInfo? configureFilters = typeof(EDbContext).GetMethod( nameof(ConfigureFilters), BindingFlags.Instance | BindingFlags.NonPublic ); if (configureFilters == null) throw new ArgumentNullException(nameof(configureFilters)); foreach(Type entityType in entityTypes) { // 注册实体 builder.Entity(entityType); // 注册筛选器 configureFilters .MakeGenericMethod(entityType) .Invoke(this, new object[] { builder, entityType }); } } protected virtual void ConfigureFilters<TEntity>(ModelBuilder builder, Type entityType) where TEntity : class { Expression<Func<TEntity, bool>>? expression = null; if (typeof(ISoftDelete).IsAssignableFrom(entityType)) { expression = e => IgnoreDeleteFilter || !EF.Property<bool>(e, "IsDeleted"); } if (typeof(ITenant).IsAssignableFrom(entityType)) { Expression<Func<TEntity, bool>> tenantExpression = e => EF.Property<int>(e, "TenantId") == 1; expression = expression == null ? tenantExpression : CombineExpressions(expression, tenantExpression); } if (expression == null) return; builder.Entity<TEntity>().HasQueryFilter(expression); } protected virtual Expression<Func<T, bool>> CombineExpressions<T>(Expression<Func<T, bool>> expression1, Expression<Func<T, bool>> expression2) { var parameter = Expression.Parameter(typeof(T)); var leftVisitor = new ReplaceExpressionVisitor(expression1.Parameters[0], parameter); var left = leftVisitor.Visit(expression1.Body); var rightVisitor = new ReplaceExpressionVisitor(expression2.Parameters[0], parameter); var right = rightVisitor.Visit(expression2.Body); return Expression.Lambda<Func<T, bool>>(Expression.AndAlso(left, right), parameter); } class ReplaceExpressionVisitor : ExpressionVisitor { private readonly Expression _oldValue; private readonly Expression _newValue; public ReplaceExpressionVisitor(Expression oldValue, Expression newValue) { _oldValue = oldValue; _newValue = newValue; } public override Expression Visit(Expression? node) { if (node == _oldValue) { return _newValue; } return base.Visit(node)!; } } }
测试 Controller
using EFCoreTest; using EFCoreTest.Models; using Microsoft.AspNetCore.Mvc; using Microsoft.EntityFrameworkCore; namespace QueryFilterTest.Controllers; [ApiController] [Route("[controller]/[action]")] public class TestController : ControllerBase { private readonly EDbContext _context; private readonly ILogger<TestController> _logger; public TestController(ILogger<TestController> logger, EDbContext context) { _logger = logger; _context = context; } [HttpGet] public List<TestDelete> GetDeleteBase() { // 过滤 IsDeleted == true 的数据 var deletes = _context.Set<TestDelete>().ToList(); // 忽略筛选器,不过滤数据 var allDeletes = _context.Set<TestDelete>().IgnoreQueryFilters().ToList(); return allDeletes; } [HttpGet] public List<TestTenant> GetTenant() { // 软删、多租户 筛选器同时作用 var tenants = _context.Set<TestTenant>().ToList(); // 禁用所有的筛选器 var allTenants = _context.Set<TestTenant>().IgnoreQueryFilters().ToList(); return allTenants; } [HttpGet] public List<TestTenant> GetTenantIgnoreDelete() { // 禁用软件筛选器 _context.IgnoreDeleteFilter = true; var tenants = _context.Set<TestTenant>().ToList(); return tenants; } }
完整项目代码:
Gitee:https://gitee.com/lisheng741/testnetcore/tree/master/EFCore/QueryFilterTest
Github:https://github.com/lisheng741/testnetcore/tree/master/EFCore/QueryFilterTest
参考来源
ABP 源码