Oracle和MySQL的数据导入为何差别这么大

经常会有一些朋友咨询我一些数据库的问题，我注意到一个很有意思的现象，凡是数据导入的问题，基本上都是Oracle类的，MySQL类的问题脑子里想了下竟然一次都没有。

我禁不住开始思考这个未曾注意的问题：

为什么Oracle导入数据会碰到很多的问题？

我们来梳理一下这个问题，分别从导出导入的方式来聊聊。

首先Oracle导出的文件格式就没打算让你拿来即用，导出文件叫做dump,换句话说可以理解这是一个二进制文件。当然实际上这个文件还是有很多的方式去抓取一些关键的信息，比如dump头部的信息可以通过strings来解析得到，我甚至在多年前碰到一个比较棘手的问题，DBA直接vim修改dump文件，这个操作风险和成本是比较高的。

导出有哪些工具呢，主要有exp，expdp这两个工具，expdp的导出性能相对来说可以更加充分利用系统资源，导出的效率更高。exp相对来说对于一些小表还是比较省事的，expdp的导出是基于服务端模式的，也就是你需要做一些数据库层的配置才可以，这无疑增加了一些技术门槛。

不知道大家注意到一个问题没有，那就是Oracle提供了SQL*Loader的工具导入，但是却没有一直提供一种简单有效的导出csv的工具，在导出的时候算是各路英雄汉使尽各种技艺，结合数据字典，结合文本过滤来完成。

MySQL的导出方法相对比较简单，设计思路很有意思，导出的文件就是可以直接打开，可以直接修改的SQL文件。这个设计在很多应用场景中简直绝了,对于开发同学是非常友好的。

导出工具原生的有mysqldump，新版本的是mysqlpump（总体感觉性价比不是很高），当然还有一些补充的第三方工具，比如mydumper之类的。

所以导出这件事情，对于开发同学本身是有一个门槛的，而且在隔行如隔山的情况下，很多同学使用expdp导出的时候都一头雾水。从安全性来看，这个二进制文件是原汁原味的，从灵活性来看，MySQL基于SQL文本的方式是比较便捷。

导出的部分其实不是最主要的，产生隔阂最大的是导入的部分，也是提出问题最多的。

MySQL有什么数据导入工具，可以理解没有，就是SQL文本，你想怎么执行都可以。包括工具mysqldump,mysqlpump导出的文件都是如此，mydump有个配套的myloader算是一个小小的例外。

Oracle有什么导入工具，有，而且是配套的，exp对应imp,expdp对应impdp

常见的数据导入问题有：

1）提示用户创建失败，导入失败

2）提示表空间不存在，导入失败

3）导入时如果创建的数据文件空间不足，导入失败

4）导入时的用户权限不足，导入失败

所以我要导入一个dump文件，如果是exp导出的，解析成本还算低一些。

而如果是expdp导出的，通常很多开发同学都会一脸懵逼。

1）导入要输入一个目录，什么是目录，不是系统目录吗？

2）如果数据库用户已经存在，已经存在10张表，导入的时候默认会直接忽略这10章表，除非你手工删除或者选择额外的选项，比如replace或者truncate等。

3）表空间源端和目标端环境不一致，要想知道到底有哪些表空间不一致，解析dump文件实话说不是很方便，有一个高级选项是remap_tablespaces

4）数据导入之后，业务同学发现有些表还是访问不了，不好，需要重新分配下权限。

通常来说，如果要导入一个dump，在Oracle侧其实是一件很严肃的事情，我们需要创建目录：

create directory dump_data as '/data/dump_data';

grant read,write on directory dump_data to xxxx;

配置表空间存储，有哪些表空间，哪些表空间需要映射，在数据导入之前，这些信息其实是不好提取的。我通常采用的方式是做下预导入，就是找个干净的环境，然后默认选项导入，看看哪些表空间报错，哪些用户报错，把这些信息提取出来，然后重新拼接一个导入命令。

在这个基础上我去构建相关的表空间和数据文件的细节。

对于数据文件，我不大喜欢自动扩展的方式，而是喜欢预创建出来，然后加上自动扩展。

最后就是文件导入

impdp system/xxxx directory=dump_data dumpfile=test.DMP logfile=impdp_test.log remap_tablespace=TEST_DATA1:DATA,TEST_DATA2:DATA,TEST_INDEX1:IDX,TEST_INDEX2:IDX

对于Oracle DBA来说，这应该是再正常不过的事情了，而且有很多地方要做到细致周到的多，但是这样一个过程对于一个外行来说，成本就很高了。

总是有一种感觉，Oracle就像汽车里面的宝马一样，操控性很好，提供了很多专业有效的管理方式。

而Oracle的角色通常都是百GB起，TB上下，这样的数据量管理，就得适配出各种工具特点和特性。我觉得这些工具一直在追求的是更加高效和安全，可能从这个角度理解，Oracle的维护管理模式是需要专人来完成的。

MySQL的管理方式很适合互联网这种变化快，而且数据量相对要小一些的环境。在易用性和学习门槛方便简直是做到了极致，比如你要到处一些有特色的insert语句（比如按照主键排序，显示完全列名等），都可以通过mysqldump很容易实现。

以上就是Oracle和MySQL的数据导入为何差别这么大的详细内容，更多关于Oracle和MySQL的数据导入的资料请关注我们其它相关文章！

赞 (0)

相关推荐

  • LINUX下Oracle数据导入导出的方法详解

    本文讲述了LINUX下Oracle数据导入导出的方法.分享给大家供大家参考,具体如下: 一. 导出工具 exp 1. 它是操作系统下一个可执行的文件 存放目录/ORACLE_HOME/bin exp导出工具将数据库中数据备份压缩成一个二进制系统文件.可以在不同OS间迁移   它有三种模式: a.  用户模式: 导出用户所有对象以及对象中的数据: b.  表模式: 导出用户所有表或者指定的表: c.  整个数据库: 导出数据库中所有对象. 2. 导出工具exp交互式命令行方式的使用的例子: $ex

  • 浅谈入门级oracle数据库数据导入导出步骤

    oracle数据库数据导入导出步骤(入门) 说明: 1.数据库数据导入导出方法有多种,可以通过exp/imp命令导入导出,也可以用第三方工具导出,如:PLSQL 2.如果熟悉命令,建议用exp/imp命令导入导出,避免第三方工具版本差异引起的问题,同时效率更高,但特别注意:采用命令时要注意所使用的用户及其权限等细节. 3.在目标数据库导入时需要创建与导出时相同的用户名(尽量一致),并赋予不低于导出时用户的权限:同时还需创建与原数据库相同的表空间名,若本地数据库已存在相同的表空间,则只能进行表空间

  • Oracle和MySQL的数据导入为何差别这么大

    经常会有一些朋友咨询我一些数据库的问题,我注意到一个很有意思的现象,凡是数据导入的问题,基本上都是Oracle类的,MySQL类的问题脑子里想了下竟然一次都没有. 我禁不住开始思考这个未曾注意的问题: 为什么Oracle导入数据会碰到很多的问题? 我们来梳理一下这个问题,分别从导出导入的方式来聊聊. 首先Oracle导出的文件格式就没打算让你拿来即用,导出文件叫做dump,换句话说可以理解这是一个二进制文件.当然实际上这个文件还是有很多的方式去抓取一些关键的信息,比如dump头部的信息可以通过s

  • 分析Mysql大量数据导入遇到的问题以及解决方案

    在项目中,经常会碰到往数据库中导入大量数据,以便利用sql进行数据分析.在导入数据的过程中会碰到一些需要解决的问题,这里结合导入一个大约4G的txt数据的实践,把碰到的问题以及解决方法展现出来,一方面自己做个总结记录,另一方面希望对那些碰到相同问题的朋友有个参考. 我导入的数据是百科的txt文件,文件大小有4G多,数据有6500万余条,每条数据通过换行符分隔.每条数据包含三个字段,字段之间通过Tab分隔.将数据取出来的方法我采用的是用一个TripleData类来存放这三个字段,字段都用Strin

  • MySQL中数据导入恢复的简单教程

    有两个简单的方法MySQL中的数据加载到MySQL数据库从先前备份的文件. LOAD DATA导入数据: MySQL提供了LOAD DATA语句,作为一个大容量数据加载.下面是一个例子声明中,读取一个文件dump.txt,,从当前目录加载到当前数据库中的表mytbl: mysql> LOAD DATA LOCAL INFILE 'dump.txt' INTO TABLE mytbl; 如果本地的关键字是不存在的,MySQL的外观使用绝对路径名寻找到完全指定位置的文件在服务器主机上的数据文件,从文

  • MySQL Shell import_table数据导入的实现

    MySQL Shell import_table数据导入的实现

    目录 1. import_table介绍 2. Load Data 与 import table功能示例 2.1 用Load Data方式导入数据 2.2 用import_table方式导入数据 3. import_table特定功能 3.1 多文件导入(模糊匹配) 3.2 并发导入 3.3 导入速率控制 3.4 自定义chunk大小 4. Load Data vs import_table性能对比 5. 技术总结 1. import_table介绍 上期技术分享我们介绍了MySQL Load

  • C++开发的Redis数据导入工具优化

    背景 使用C++开发了一个Redis数据导入工具 从oracle中将所有表数据导入到redis中: 不是单纯的数据导入,每条oracle中的原有记录,需要经过业务逻辑处理, 并添加索引(redis集合): 工具完成后,性能是个瓶颈: 优化效果 使用了2个样本数据测试: 样本数据a表8763 条记录: b表940279 条记录: 优化前,a表耗时11.417s: 优化后,a表耗时1.883s: 用到的工具 gprof, pstrace,time 使用time工具查看每次执行的耗时,分别包含用户时间

  • 将sqlite3中数据导入到mysql中的实战教程

    前言 sqlite3只小巧轻便,但是并不支持并发访问,当网站并发量较大时候,数据库请求队列边长,有可能导致队列末尾去数据库操作超时,从而操作失败.因此需要切换到支持并发访问的数据库.切换数据库需要将老的数据导出,再导入到新的数据库中,但是sqlite3和mysql的数据库并不完全兼容,需要做部分调整才能正常导入到mysql中.我最近工作中就遇到了这个问题. 最近一个项目中使用magenetico抓取磁力链接,由于它使用的是sqlite3, 文件会越来越大,而且不支持分布式:所以需要将其改造成My

  • PHP把MSSQL数据导入到MYSQL的方法

    本文实例讲述了PHP把MSSQL数据导入到MYSQL的方法.分享给大家供大家参考.具体分析如下: 最近需要把一个以前的asp网站转换成php的,但php是与mysql而我的asp与mssql的,结果就需要把mssql数据导入到mysql数据库了,下面我自己写了一个实例还抄了一个实例都不错. 实例一,代码如下: 复制代码 代码如下: <?php  //国内的PNR码连接 $hostname="127.0.0.1"; //MSSQL服务器的IP地址 或 服务器的名字  $dbuser

  • Excel数据导入Mysql数据库的实现代码

    首先做一下说明,为什么我要用Navicat,第一个原因,因为它是个不错的Mysql GUI工具,更重要的是,它可以将一些外部数据源导入Mysql数据库中.因为我的数据源是excel数据,所以想借助Navicat将其导入Mysql. 第一次运行,首先创建连接,主机名填写:localhost,端口为3306,然后填写用户名密码,OK.顺利的话,大家就可以看到名为localhost的连接图标了.双击点开它,一般Mysql默认有两个数据库,分别为mysql与test. 不用管它们,右键localhost

  • 解析csv数据导入mysql的方法

    mysql自己有个csv引擎,可以通过这个引擎来实现将csv中的数据导入到mysql数据库中,并且速度比通过php或是python写的批处理程序快的多.具体的实现代码示例: 复制代码 代码如下: load data infile '/tmp/file.csv' into table _tablename (set character utf8) fields terminated by ','enclosed by '"'lines terminated by '\r\n'; 这段代码中涉及的一

随机推荐