mysql通过INSERT IGNORE INTO插入拼音字符无效问题及解决

目录
  • 前言
  • 一、准备工作
  • 二、场景复现
  • 三、解决问题
  • 总结

前言

在做一个批量导入关键词的功能时，发现关键词如果带有像é这样的拼音字符时，存入数据库时会识别为e，造成部分关键词没有被导入，且与原来部分关键词可能重复的情况，因此记录下来避免以后再踩坑。

提示：以下是本篇文章正文内容，下面案例可供参考

一、准备工作

准备一份批量导入关键词excel，其中包含2个关键词

1.pokemon

2.pokémon

注意：这2个关键词中一个是普通的e，一个是带音节的é

准备数据库表sql脚本

-- 导入关键词表
CREATE TABLE `keyword_lexicon` (
  `id` int(10) NOT NULL AUTO_INCREMENT,
  `keyword` varchar(128) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NOT NULL DEFAULT '' COMMENT '搜索关键词',
  PRIMARY KEY ("id"),
  UNIQUE KEY "idx_keyword" ("keyword") USING BTREE COMMENT '关键词'
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COMMENT='导入关键词表';

二、场景复现

简单写一个导入接口，代码就不附上了，需要注意的是导入sql用的是INSERT IGNORE INTO的方式，如果表中已经有该关键词了则不会写入表中。（keyword字段设为唯一索引）

导入sql例子如下

INSERT IGNORE INTO keyword_lexicon (`keyword`) VALUES ('pokemon'),('pokémon')

调接口完成导入后，查看数据库表，发现只有一条pokemon的数据。

三、解决问题

查看表结构发现，keyword字段的排序规则为

  • utf8mb4_general_ci

这种排序规则在识别é这种带有音节的字符时，会识别为e，导致2个关键词在通过INSERT IGNORE INTO导入后只会有一条记录，只要将排序规则改为

  • utf8mb4_bin

然后再重新导入，查看结果可发现2条数据都已经插入表中，问题解决。

总结

  • utf8mb4_bin是区分大小写的，也区分e和é这类字符的
  • utf8_genera_ci是不区分大小写的，也不区分e和é这类字符

注：utf8_general_cs是区分大小写的，但不区分e和é这类字符

如果需要区分带有音节的字符，又不想要区分大小写，可在sql查询对应字段时用LOWER()函数

以上为个人经验，希望能给大家一个参考，也希望大家多多支持我们。

赞 (0)

相关推荐

  • MySQL中的insert ignore into使用

    MySQL中的insert ignore into使用

    目录 MySQL中的insert ignore into 1.插入的数据是主键冲突时 2.没有主键冲突时,直接插入数据 insert ignore into--跳坑 MySQL中的insert ignore into 最近工作中,使用到了insert ignore into语法,感觉这个语法还是挺有用的,就记录下来做个总结. insert ignore into : 忽略重复的记录,直接插入数据. 包括两种场景: 1.插入的数据是主键冲突时 insert ignore into会给出warnin

  • mysql insert的几点操作(DELAYED,IGNORE,ON DUPLICATE KEY UPDATE )

    INSERT语法 INSERT [LOW_PRIORITY | DELAYED | HIGH_PRIORITY] [IGNORE] [INTO] tbl_name [(col_name,...)] VALUES ({expr | DEFAULT},...),(...),... [ ON DUPLICATE KEY UPDATE col_name=expr, ... ] 或: INSERT [LOW_PRIORITY | DELAYED | HIGH_PRIORITY] [IGNORE] [INT

  • 关于mysql 8.x 中insert ignore的性能问题

    目录 mysql 8.x中insert ignore性能问题 mysql insert ignore()函数 INSERT IGNORE语句 mysql 8.x中insert ignore性能问题 mysql中replace into效率很差,多进程并发一下就会锁表,所以应该用on duplicate 来做更新,这是众所周知的了.没想到insert ignore也有性能坑,记录下遇到的问题. 为了往一张表中插入初始化数据,我开了10个进程并发向数据库中使用insert ignore插入数据,每条

  • mysql通过INSERT IGNORE INTO插入拼音字符无效问题及解决

    mysql通过INSERT IGNORE INTO插入拼音字符无效问题及解决

    目录 前言 一.准备工作 二.场景复现 三.解决问题 总结 前言 在做一个批量导入关键词的功能时,发现关键词如果带有像é这样的拼音字符时,存入数据库时会识别为e,造成部分关键词没有被导入,且与原来部分关键词可能重复的情况,因此记录下来避免以后再踩坑. 提示:以下是本篇文章正文内容,下面案例可供参考 一.准备工作 准备一份批量导入关键词excel,其中包含2个关键词 1.pokemon 2.pokémon 注意:这2个关键词中一个是普通的e,一个是带音节的é 准备数据库表sql脚本 -- 导入关键

  • mysql中insert ignore、insert和replace的区别及说明

    目录 insert ignore.insert和replace的区别 测试代码 insert replace insert ignore insert ignore.insert和replace的区别 指令 已存在 不存在 举例 insert 报错 插入 insert into names(name, age) values(“小明”, 23); insert ignore 忽略 插入 insert ignore into names(name, age) values(“小明”, 24); r

  • PHP+MySQL之Insert Into数据插入用法分析

    本文实例讲述了PHP+MySQL之Insert Into数据插入用法.分享给大家供大家参考.具体如下: INSERT INTO 语句用于向数据库表中插入新纪录. 向数据库表插入数据 INSERT INTO 语句用于向数据库表添加新纪录. 语法: INSERT INTO table_name VALUES (value1, value2,....) 您还可以规定希望在其中插入数据的列: INSERT INTO table_name (column1, column2,...) VALUES (va

  • Mysql使用insert插入多条记录 批量新增数据

    如果要向table1中插入5条记录,下面写法是错误的: INSERT INTO table1 (id,name) VALUES(1,小明,2,小强,3,小杜,4,小李,5,小白); MySQL将会抛出下面的错误 ERROR 1136: Column count doesn't match value count at row 1 而正确的写法应该是这样: INSERT INTO t able1(i,name) VALUES(1,'小明'),(2,'小强'),(3,'小杜'),(4,'小李'),(

  • MySQL Innodb关键特性之插入缓冲(insert buffer)

    什么是insert buffer? 插入缓冲,也称之为insert buffer,它是innodb存储引擎的关键特性之一,我们经常会理解插入缓冲时缓冲池的一个部分,这样的理解是片面的,insert buffer的信息一部分在内存中,另外一部分像数据页一样,存在于物理页中. 在innodb中,我们知道,如果一个表有自增主键,那么对于这个表的默认插入是非常快的,注意,这里的主键是自增的,如果不是自增的,那么这个插入将会变成随机的,就可能带来数据页分裂的开销,这样,插入就不是顺序的,就会变慢.还有一种

  • MySQL中insert语句的使用与优化教程

    MySQL 表中使用 INSERT INTO SQL语句来插入数据. 你可以通过 mysql> 命令提示窗口中向数据表中插入数据,或者通过PHP脚本来插入数据. 语法 以下为向MySQL数据表插入数据通用的 INSERT INTO SQL语法: INSERT INTO table_name ( field1, field2,...fieldN ) VALUES ( value1, value2,...valueN ); 如果数据是字符型,必须使用单引号或者双引号,如:"value"

  • MySql三种避免重复插入数据的方法

    前言 MySql 在存在主键冲突或唯一键冲突的情况下,根据插入方式,一般有以下三种插入方式避免错误. insert ignore. replace into insert on duplicate key update insert ignore insert ignore 会忽视数据库中已经存在的数据,根据主键或者唯一索引判断,如果数据库没有数据,就会插入新的数据,如果有数据的话就跳过这条数据 小case 表结构 root:test> show create table t3G *******

  • MySQL数据库INSERT、UPDATE、DELETE以及REPLACE语句的用法详解

    MySQL数据库insert和update语句引:用于操作数据库的SQL一般分为两种,一种是查询语句,也就是我们所说的SELECT语句,另外一种就是更新语句,也叫做数据操作语句.言外之意,就是对数据进行修改.在标准的SQL中有3个语句,它们是INSERT.UPDATE以及DELETE. 用于操作数据库的SQL一般分为两种,一种是查询语句,也就是我们所说的SELECT语句,另外一种就是更新语句,也叫做数据操作语句.言外之意,就 是对数据进行修改.在标准的SQL中有3个语句,它们是INSERT.UP

随机推荐