利用SQL脚本导入数据到不同数据库避免重复的3种方法

前言

相信大家都有所体会，无论何种语言，一旦看见代码中有重复性的代码则想到封装来复用，在SQL同样如此，若我们没有界面来维护而且需要经常进行的操作，我们会写脚本避免下次又得重新写一遍，但是这其中就涉及到一个问题，这个问题我开始也没太在意，直到某时某刻，老大看到我写的脚本后笑着问了一句，你的脚本可否重复执行，我懵逼了，很显然不能，如果不能避免这种情况发生，比如进行插入操作，当下次其他同事来执行其脚本时可能会插入重复数据，如果是在线上那就傻逼了，所以老大又给我上了一课，从此之后每次写脚本都加逻辑判断，是的，也就是可重复执行。

接下来讲讲最近项目中遇到的场景。

话题引入

在国民成年人体质测试中需要计算成年年纪且体侧年龄为20-59岁，若当前日期未超过成年人出生日期则岁数减一，否则不减，例如一个成年人出生日期为1991-11-01，此时该成年人的体侧年龄为25岁，若为1991-10-01则体侧年龄为26岁，此为第一步。第二步则是分组，每个年龄阶段的人测试的项目不一样，即需要根据年龄进行分组，在体侧文档中分为3组，一组为男性20-39岁，一组为女性20-39，最后一组不分男女为40-59。最后我们需要做的是根据不同的年龄阶段和性别进行分组。

我们建立如下表。

由上我们可以看出有20-39岁的男性，也有20-39岁的女性。也有40-59岁的男性等，关键在于我们怎么利用SQL根据国民成年人体质测试文档计算出上述成年人的实际年龄呢。

SELECT Id ,
  DATEDIFF(YEAR, Birthday, GETDATE()) AS age ,
  Name
FROM dbo.t1

看到上述查询明显不正确，未到出生日期的人年龄并未减掉1，此时我们可以利用DATEPART函数，第一个参数指定为dayofyear，此参数表明指定日期到在这一年的天数，例如我们想要获取当前已经过了多少天。

SELECT DATEPART(dayofyear, GETDATE())

SELECT DATEPART(dayofyear, '2017-12-31')

我们通过出生日期的天数和当前日期的天数，若大于当前日期天数则说明生日还未到，否则减掉1。

SELECT Id ,
  DATEDIFF(YEAR, Birthday, GETDATE())
  - CASE WHEN DATEPART(DAYOFYEAR, Birthday) > DATEPART(DAYOFYEAR,
                GETDATE()) THEN 1
    ELSE 0
   END Age ,
  Name
FROM dbo.t1

此时我们完成了年龄阶段的区分，下面我们再插入到另外一个数据库它test2中。 这里我能想到的是两种种方式，若还有其他欢迎补充。

LEFT JOIN ....IS NULL

我们利用左连接来进行插入，同时若重复的话则另外需要插入的表主键必定不为NULL，所以我们外加NULL判断则可以去除重复插入问题。

INSERT INTO test2.dbo.t2
  ( UserId ,
   Birthday ,
   Gender ,
   Name
  )
  SELECT t1.Id ,
    t1.Birthday ,
    t1.Gender ,
    t1.Name
  FROM dbo.t1 AS t1
    LEFT JOIN test2.dbo.t2 AS t2 ON t1.Id = t2.UserId
  WHERE t2.Id IS NULL

当再次执行时则返回受影响行数为0

NOT EXISTS/NOT IN

INSERT INTO test2.dbo.t2
  ( UserId ,
   Birthday ,
   Gender ,
   Name
  )
  SELECT t1.Id ,
    t1.Birthday ,
    t1.Gender ,
    t1.Name
  FROM dbo.t1 AS t1
  WHERE NOT EXISTS(SELECT t2.UserId
     FROM test2.dbo.t2 t2
     WHERE t2.UserId = t1.Id)

总结

本节我们讲述了利用写SQL脚本避免重复插入问题，同时来讲述了如何根据出生日期查询实际年龄。

好了，以上就是这篇文章的全部内容了，希望本文的内容对大家的学习或者工作具有一定的参考学习价值，如果有疑问大家可以留言交流，谢谢大家对我们的支持。

赞 (0)

相关推荐

  • 关于sql脚本导入Oracle时重复生成check约束的问题解决

    关于sql脚本导入Oracle时重复生成check约束的问题解决

    前言 最近在工作中一位细心的同事发现产品的全量sql脚本中有一些重复的check约束检查,就像下图这样的 重复脚本 怪异之处还在于,每次执行一遍该脚本,然后导出脚本,在导出脚本中重复的次数就会增加一遍.通过navicat,最终确认每导入一次就会新增加一条重复的check约束,如下图所示 navicat 这个全量脚本是直接从数据库中导出的,为了方便导入其他的Oracle数据库中,从产品的出货库导出时手动去掉了服务名.双引号. 通过如下步骤可复现该问题: 1.创建表 CREATE TABLE PD_

  • MySQL导入sql脚本错误：2006 解决方法

    MySQL导入sql脚本错误：2006 解决方法

    MySQL导入sql脚本错误:2006 - MySQL server has gone away 到如一些小脚本很少报错,但最近导入一个10+M的SQL脚本,却重复报错: Error occured at:2014-03-24 11:42:24 Line no.:85 Error Code: 2006 - MySQL server has gone away 最终找到原因,原来是MySQL导入大批量数据的时候超出了默认允许最大的数据包所以就提示2006 - MySQL server has go

  • MySQL从命令行导入SQL脚本时出现中文乱码的解决方法

    本文实例讲述了MySQL从命令行导入SQL脚本时出现中文乱码的解决方法.分享给大家供大家参考,具体如下: 在图形界面管理工具 MySql Query Browser中打开脚本(脚本包括建库.建表.添加数据),并执行,不会有任何问题:但是使用mysql命令行工具执行建库脚本时,添加数据中如果包含中文,存入的数据就是乱码或是???... 解决方法1:在MySql安装目录下找到my.ini,将[mysql]下的default-character-set=latin1改为default-characte

  • C#创建数据库及导入sql脚本的方法

    本文实例讲述了C#创建数据库及导入sql脚本的方法.分享给大家供大家参考,具体如下: C#创建数据库: /// <summary> /// 创建数据库 /// </summary> /// <param name="connStr">连接字符串</param> /// <param name="_strDBName">数据库名称</param> /// <returns></r

  • PHP处理SQL脚本文件导入到MySQL的代码实例

    复制代码 代码如下: <?php // Name of the file$filename = 'churc.sql';// MySQL host$mysql_host = 'localhost';// MySQL username$mysql_username = 'root';// MySQL password$mysql_password = '';// Database name$mysql_database = 'dump'; // Connect to MySQL servermys

  • t-sql/mssql用命令行导入数据脚本的SQL语句示例

    osql简单用法:用来将本地脚本执行,适合sql脚本比较大点的情况,执行起来比较方便 复制代码 代码如下: osql -S serverIP -U sa -P 123 -i C:\script.sql serverIP数据库实例所在ip地址或服务器名称 sa是用户 123是密码 c:\script.sql是要导入的脚本

  • Excel导入Sqlserver数据库脚本

    受以前旧同事之托,在博客里发这段脚本: exec sp_configure 'show advanced options',1 reconfigure exec sp_configure 'Ad Hoc Distributed Queries',1 reconfigure SELECT * INTO tmp_asset FROM OPENROWSET('Microsoft.Jet.OLEDB.4.0', 'Excel 8.0;Database=d:\Excel数据源\资产印章.xls', 'SE

  • 利用SQL脚本导入数据到不同数据库避免重复的3种方法

    利用SQL脚本导入数据到不同数据库避免重复的3种方法

    前言 相信大家都有所体会,无论何种语言,一旦看见代码中有重复性的代码则想到封装来复用,在SQL同样如此,若我们没有界面来维护而且需要经常进行的操作,我们会写脚本避免下次又得重新写一遍,但是这其中就涉及到一个问题,这个问题我开始也没太在意,直到某时某刻,老大看到我写的脚本后笑着问了一句,你的脚本可否重复执行,我懵逼了,很显然不能,如果不能避免这种情况发生,比如进行插入操作,当下次其他同事来执行其脚本时可能会插入重复数据,如果是在线上那就傻逼了,所以老大又给我上了一课,从此之后每次写脚本都加逻辑判断

  • Navicat运行sql文件导入数据不全或导入失败的解决方案

    目录 前言: 解决问题办法: 第一: 第二: 第三: 第四: 第五: 第六: 第七: 一.window环境 A. 导出.sql B. 导入.sql 二.linux环境 A. 导出.sql B. 导入.sql 第八: 总结 前言: 我们平时想把数据从一个数据库中导入另外一个数据库中的时候 一般都是把所需的数据表进行转储sql文件 然后再运行sql文件 导入新的数据库中 这么做 数据少的时候一般不会出现什么错 但是如果数据量比较大 表比较多 就会出现缺少数据表 或者缺少数据 解决问题办法: 查询网上

  • 解决MySQL主从数据库没有同步的两种方法

    目录 解决MySQL主从数据库没有同步的两种方法 一.不同步情况 二.解决方案 1.先进入主库,进行锁表,防止数据写入 2.进行数据备份 3.查看master 状态 4.把mysql备份文件传到从库机器,进行数据恢复 5.停止从库的状态 6.然后到从库执行mysql命令,导入数据备份 7.设置从库同步 8.重新开启从同步 9.查看同步状态 10.回到主库并执行如下命令解除表锁定. 解决MySQL主从数据库没有同步的两种方法 工作的过程中发现Mysql的主从数据库没有同步 一.不同步情况 Mast

  • lnmp重置mysql数据库root密码的两种方法

    第一种方法:用军哥的一键修改LNMP环境下MYSQL数据库密码脚本 一键脚本肯定是非常方便.具体执行以下命令: wget http://soft.vpser.net/lnmp/ext/reset_mysql_root_password.sh sh reset_mysql_root_password.sh 方便吧! 第二种方法:通过命令修改,具体如下: a.停止MySQL服务 执行:/etc/init.d/mysql stop b.跳过验证启动MySQL /usr/local/mysql/bin/

  • 详解mysql插入数据后返回自增ID的七种方法

    详解mysql插入数据后返回自增ID的七种方法

    引言 mysql 和 oracle 插入的时候有一个很大的区别是: oracle 支持序列做 id: mysql 本身有一个列可以做自增长字段. mysql 在插入一条数据后,如何能获得到这个自增 id 的值呢? 一:使用 last_insert_id() SELECT LAST_INSERT_ID(); 1. 每次 mysql 的 query 操作在 mysql 服务器上可以理解为一次"原子"操作, 写操作常常需要锁表, 这里的锁表是 mysql 应用服务器锁表不是我们的应用程序锁表

  • PHP上传Excel文件导入数据到MySQL数据库示例

    PHP上传Excel文件导入数据到MySQL数据库示例

    最近在做Excel文件导入数据到数据库.网站如果想支持批量插入数据,可以制作一个上传Excel文件,导入里面的数据内容到MySQL数据库的小程序. 要用到的工具: ThinkPHP:轻量级国产PHP开发框架.可在ThinkPHP官网下载. PHPExcel:Office Excel 文档的一个PHP类库,它基于微软的OpenXML标准和PHP语言.可在CodePlex官网下载.. 1.设计MySQL数据库product 创建product数据库 CREATE DATABASE product D

  • Oracle数据库数据丢失恢复的几种方法总结

    Oracle数据库数据丢失恢复的几种方法总结

    根据oracle数据库的特点和提供的工具,主要方法有以下几种方法: 利用逻辑备份使用import工具丢失数据的表 利用物理备份来通过还原数据文件并进行不完全恢复 利用dbms_logmnr包从redo log文件中恢复 利用flashback特性恢复数据 前提 为了方便使用方法的介绍,上述恢复方法都将基于以下场景进行:系统管理员在前一天晚上11点用export对数据库做了全库逻辑备份,然后对所有数据文件进行了热备份.第二天上午10点,系统管理员在修改表TFUNDASSET的数据时,由于修改语句的

  • VS中C#读取app.config数据库配置字符串的三种方法

    关于VS2008或VS2005中数据库配置字符串的三种取法 VS2008建立Form程序时,如果添加数据源会在配置文件 app.config中自动写入连接字符串,这个字符串将会在你利用DataSet,SqlDataAparter,SqlConnection等控件时如影随行地提示你让去选择,或者是新建字符串.如果要用代码的方式取得这个字符串则有三种方式: app.config内容: <?xml version="1.0" encoding="utf-8" ?&g

  • django中使用jquery ajax post数据出现403错误的解决办法(两种方法)

    在django中,使用jquery ajax post数据,会出现403的错误 方法一: 如果用jQuery来处理ajax的话,Django直接送了一段解决问题的代码.把它放在一个独立的js文件中,在html页面中都引入即可.注意这个js文件必须在jquery的js文件引入之后,再引入即可 $(document).ajaxSend(function(event, xhr, settings) { function getCookie(name) { var cookieValue = null;

随机推荐