数据库加密字段进行模糊查询详解
目录
- 需求
- 服务器端解密
- 数据库端解密
- 字符串分片
- 代价
- 密文长度较长
- 分片长度不能太短
- 可能有多余结果
需求
对于一些敏感字段，比如手机号码、身份证、地址、银行卡号等，我们在存放进数据库前，可能需要对其进行加密。
大部分情况下，我们只需要支持等值查询。但是如果需要支持模糊查询，那么整段内容整体加密就不具备这个能力。
下面是几种解决办法，场景是我们需要根据手机号码的前缀进行匹配。
服务器端解密
因为服务器肯定是具备解密密文的能力的，因此最简单的方式就是把整个表的密文字段数据拉下来，在服务器端进行解密，然后再在服务器端进行匹配。
findRecords(prefix) {
records = getAllRecords()
finds = []
for (record : records) {
phone = decrypt(record.phone)
if (phone.hasPrefix(prefix)) {
finds.push(record)
}
}
return finds
}
如果数据量很小，那么这种做法也许还能够接受。但是只要数据量上去，那么效率就会很低，而且还需要通过网络IO把整个表的数据传输到服务器端。
数据库端解密
上面的做法需要把整个表的数据传输到服务器端，那么我们只需要能够在数据库进行匹配，就不需要传输整个表了。因此我们也可以在数据库实现解密算法，在匹配的时候用解密算法解密密文，就能够进行模糊匹配了。
findRecords(prefix) {
return query("select * from table where decrypt(phone) like '?%'", prefix)
}
这个做法也是需要遍历整个数据库，因此只适合数据量比较小的情况下；而且需要把密钥传给数据库，增加了密钥泄露的风险。
字符串分片
上面的做法我们都没有用到数据库的索引能力，正常情况下，前缀匹配我们是可以使用到索引的，比如where phone like 'prefix%'。如果加密后的密文，也能够走索引，那么我们就不需要遍历整个数据表了。
比如我们可以根据4位作为一个检索条件，将手机号码拆分位多个分片：比如手机号012345678901，我们可以拆分并对分片进行加密：
| 分片 | 密文 |
|---|---|
| 0123 | /egpaR5G9sMQUUWWz+3CLg |
| 1234 | eHCMZqxNSLx/B37koArx/w |
| 2345 | 9w1Pv8ik2H41s1KORLfPHA |
| 3456 | vcFFFvi0mwAgIjdSQjcmSw |
| 4567 | Tr/WaYfVySyMJhcZ78RFlA |
| 5678 | 2wFeC6sgdXX7wmo0YcYY/Q |
| 6789 | FfO9qD9XPx/lnJJuTfTfaA |
| 7890 | Wufth7zOBLEy2LmepG5Taw |
| 8901 | 1xR5MHRmlqOac5X6Cmn3kA |
这些密文拼接起来的串为：
/egpaR5G9sMQUUWWz+3CLgeHCMZqxNSLx/B37koArx/w9w1Pv8ik2H41s1KORLfPHAvcFFFvi0mwAgIjdSQjcmSwTr/WaYfVySyMJhcZ78RFlA2wFeC6sgdXX7wmo0YcYY/QFfO9qD9XPx/lnJJuTfTfaAWufth7zOBLEy2LmepG5Taw1xR5MHRmlqOac5X6Cmn3kA
然后就可以支持前缀查询了（最少4位），比如前缀01234，我们可以按照上面的分片方式先分片，再拼接为查询串：
| 分片 | 密文 |
|---|---|
| 0123 | /egpaR5G9sMQUUWWz+3CLg |
| 1234 | eHCMZqxNSLx/B37koArx/w |
查询串：
/egpaR5G9sMQUUWWz+3CLgeHCMZqxNSLx/B37koArx/w
可以看到查询串为上面的前缀，因此可以进行前缀查询！
代价
这种方式也是会有一定的代价的：
密文长度较长
比如手机号码是明文长度是11，但是按照4位分片的密文长度是198
分片长度不能太短
分片太短有安全问题，因此没办法支持过短的查询。
主要是因为切片过短，会很容易被猜出来每一位对应的密文。比如0-9的密文切片长度1切分：
| 分片 | 密文 |
|---|---|
| 0 | hHjJXA0e+haw/+WZ1mFITA |
| 1 | y7qHn2nn3Ne/6wNRiwl/Lg |
| 2 | h0dmfkO5SUolFFLp8J2Y5A |
| 3 | ma/XrJjPv2MXSXE7Y4xs8w |
| 4 | Q9V4PXXPjJgdR7UChUMY1g |
| 5 | Wo57z24UXLoBdQ7QzxlOqA |
| 6 | fC+zrF4ga5TCb5Zu36KVrQ |
| 7 | z+XqHaWmlAsCnIP6NnD3lg |
| 8 | olm8cPYmLHCeD1jegauiWw |
| 9 | hJS77tLMd2Ol5SU4dIbbpw |
只有10种分片类型，如果对应的是手机号码字段，很容易根据统计每个数字的概率分布猜出每个数字对应的密文。
可能有多余结果
可能有两个不同分片对应相同密文，这时候就需要在服务器再过滤一遍。
参考
实现
Golang实现基于AES+CBC+PKCS5Padding的可模糊查询加密
以上就是数据库加密字段进行模糊查询详解的详细内容，更多关于数据库加密字段模糊查询的资料请关注我们其它相关文章！
相关推荐
-
MongoDB模糊查询操作案例详解(类关系型数据库的 like 和 not like)
1.作用与语法描述 作用: 正则表达式是使用指定字符串来描述.匹配一系列符合某个句法规则的字符串.许多程序设计语言都支持利用正则表达式进行字符串操作.MongoDB 使用 $regex 操作符来设置匹配字符串的正则表达式. 语法一 { <field>: { $regex: /pattern/, $options: '<options>' } } { <field>: { $regex: 'pattern', $options: '<options>' } }
-
java实现的连接数据库及模糊查询功能示例
本文实例讲述了java实现的连接数据库及模糊查询功能.分享给大家供大家参考,具体如下: 模糊查询是比较常见的一种查询方式,例如在订单表中,包含有订单的具体日期.如果要查询某年某月的订单信息,最好的方式就是使用模糊查询.进行模糊查询需要使用关键字LIKE.在使用LIKE关键字进行模糊查询时,可以使用通配符"%",来代替0个或者多个字符,使用下划线_来代表一个字符. 注释:需要注意的是在使用LIKE的时候,后面的查询条件需要加 ' ',英文状态下的单引号引起来,不然报错如下 You ha
-
mybatis自定义参数类型转换器数据库字段加密脱敏
目录 1 问题背景 2 解决方案 2.1 使用数据库加密算法 2.2 使用mybatis的自定义参数类型转换器 3 一般web项目使用 3.1 创建自定义Java类型 3.2 自定义类的转换处理器 3.3 配置自定义类型和类型转换器 3.4 查询使用 3.5 新增修改使用 4. springboot项目使用 4.1 配置自定义类型和类型转换器 4.2 mybatis-plus的使用 1 问题背景 在数据库存储人员的信息时,有一些信息是敏感数据,如身份证号.出生地等.为了防止信息泄漏,这些信息不允
-
MySQL 数据库 like 语句通配符模糊查询小结
MySQL 报错:Parameter index out of range (1 > number of parameters, which is 0)--MySQL 数据库 like 语句通配符模糊查询小结 前言 今天在使用MySQL语句执行增删改查操作时,控制台报出了以下错误:Parameter index out of range (1 > number of parameters, which is 0).翻译过来意思就是:查到结果数据为1,真实值应为0,参数越界,产生错误.如此也就明
-
数据库加密字段进行模糊查询详解
目录 需求 服务器端解密 数据库端解密 字符串分片 代价 密文长度较长 分片长度不能太短 可能有多余结果 需求 对于一些敏感字段,比如手机号码.身份证.地址.银行卡号等,我们在存放进数据库前,可能需要对其进行加密. 大部分情况下,我们只需要支持等值查询.但是如果需要支持模糊查询,那么整段内容整体加密就不具备这个能力. 下面是几种解决办法,场景是我们需要根据手机号码的前缀进行匹配. 服务器端解密 因为服务器肯定是具备解密密文的能力的,因此最简单的方式就是把整个表的密文字段数据拉下来,在服务器端进行
-
mysql如何对已经加密的字段进行模糊查询详解
目录 问题:但是加密之后我们怎么来查询呢? 1.了解HEX 函数与UNHEX 函数 2.了解AES_ENCRYPT函数与AES_DECRYPT函数 java工具类AES加解密同步使用 总结 场景:在模糊查询电话号码的时候,发现电话号码是进行加密过的,而传进来的参数却是明文的 PS:作为一个合格的程序员对用户的一些敏感数据都要进行加密处理操作 比如:姓名.手机号.身份证号等等. 问题:但是加密之后我们怎么来查询呢? 1.客户端一般是这样的 1.了解HEX 函数与UNHEX 函数 HEX 函数:将一
-
Mysql| 使用通配符进行模糊查询详解(like,%,_)
通配符的分类: %百分号通配符: 表示任何字符出现任意次数 (可以是0次). _下划线通配符:表示只能匹配单个字符,不能多也不能少,就是一个字符. like操作符: LIKE作用是指示mysql后面的搜索模式是利用通配符而不是直接相等匹配进行比较. 注意: 如果在使用like操作符时,后面的没有使用通用匹配符效果是和=一致的,SELECT * FROM products WHERE products.prod_name like '1000';只能匹配的结果为1000,而不能匹配像JetPack
-
MySQL数据库学习之去重与连接查询详解
目录 1.去重 2.连接查询 使用where进行多表连接查询 内连接 - 等值连接 内连接 - 非等值连接 内连接 - 自连接 外连接 - 左右外连接 三表连接 1.去重 示例表内容参考此文章 有些 MySQL 数据表中可能存在重复的记录,有些情况我们允许重复数据的存在,但有时候我们也需要删除这些重复的数据. 例如:去重显示岗位信息: mysql> select distinct job from emp; +-----------+ | job | +-----------+ | CLERK
-
java 查询oracle数据库所有表DatabaseMetaData的用法(详解)
一 . 得到这个对象的实例 Connection con ; con = DriverManager.getConnection(url,userName,password); DatabaseMetaData dbmd = con.getMetaData(); 二. 方法getTables的用法 原型: ResultSet DatabaseMetaData.getTables(String catalog,String schema,String tableName,String []type
-
python更新数据库中某个字段的数据(方法详解)
连接数据库基本操作,我把每一步的操作是为什么给大家注释一下,老手自行快进. 请注意这是连接数据库操作,还不是更新. import pymysql #导包 #连接数据库 db = pymysql.connect(host='localhost', user='用户名', password='数据库密码', port=3306, db='你的数据库名字') #定义游标 cursor = db.cursor() #sql语句 sql = 'select * from students;' cursor
-
MySQL数据库之union,limit和子查询详解
目录 1.where中的子查询 2.from子句后的子查询 3.union 4.limit查询 5.分页 1.where中的子查询 示例数据参见此文章 案例:查询比最低工资高的员工姓名和薪资 子查询,先查询子查询括号里的,再向上级进行查询 mysql> select ename,sal from emp where sal -> > -> (select min(sal) from emp); +--------+---------+ | ename | sal | +------
-
IOS 数据库升级数据迁移的实例详解
IOS 数据库升级数据迁移的实例详解 概要: 很久以前就遇到过数据库版本升级的引用场景,当时的做法是简单的删除旧的数据库文件,重建数据库和表结构,这种暴力升级的方式会导致旧的数据的丢失,现在看来这并不不是一个优雅的解决方案,现在一个新的项目中又使用到了数据库,我不得不重新考虑这个问题,我希望用一种比较优雅的方式去解决这个问题,以后我们还会遇到类似的场景,我们都想做的更好不是吗? 理想的情况是:数据库升级,表结构.主键和约束有变化,新的表结构建立之后会自动的从旧的表检索数据,相同的字段进行映射迁移
-
MySql学习day03：数据表之间的连接、查询详解
主键: 关键字:primary key 特点:不能为null,并且唯一. 主键分类: 逻辑主键:例如ID,不代表实际的业务意义,只是用来唯一标识一条记录(推荐) 业务主键:例如username,参与实际的业务逻辑. 主键使用方式: 方式一: Create table t1( Id int primary key, Name varchar(100) ); Insert into t1 values(1,'zs'); Insert into t1 values(
-
微信小程序实现分页查询详解
目录 创建自定义连接器 云开发介绍 分页实现思路 使用连接器 为什么要自定义分页功能 日常小程序经常需要分页查询的功能,本篇我们讲解一下低代码中如何实现分页查询的功能.要自己开发分页功能,可以先参考官方的方法 分页查询我们一般是需要有入参和出参,入参分别需要页码.每页大小.排序字段名称.排序方式.查询条件. 出参分别需要记录总条数.页码.每页大小.记录列表. 入参和出参知道之后,那在哪写代码呢?像分页这种功能一般属于后端的能力,低码工具中是在自定义连接器里写后端代码的. 创建自定义连接器 登录低