用SQL语句解决mysql导入大数据文件的问题

对于经常使用MYSQL的人来说，phpmyadmin是一个必备的工具。这个工具非常强大，几乎可以完成所有的数据库操作，但是它也有一个弱点，对于往远程服务器上导入较大的数据文件的时候会速度奇慢，甚至出现长期没有响应的情况。

为什么会出现这样的情况呢？当我们选择一个sql数据文件并提交的时候，服务器首先要先把文件上传到服务器，然后才会执行导入代码把数据导入到数据库。我们知道phpmyadmin是通过web方式上传的数据文件，而web方式上传是很不稳定的，尤其是网速慢的时候，这就是为什么我们会有那么多次在电脑前面苦苦等待而最终却没有结果的原因。

通过上面的分析，我们知道这个问题是出在web上传而非导入程序，所以如果能避免通过web上传这个问题就好办了。我们可能会想到那功能强大的ftp上传工具，可是phpmyadmin无法选择远程路服务器上的文件，这是很郁闷的。

这里我们要放弃phpmysqladmin，通过mysql语句来导入数据库。很多人会纳闷怎么来执行SQL语句，这是一个关键的问题，这需要你的空间支持SSH（Secure Shell Protocol），并且你还得会一些linux命令。

首先通过SSH登录到服务器（我用putty登录工具），通过一些简单的linux命令找到我们的sql文件，然后运行下面的代码：

mysql db_name < data_file.sql

执行完命令之后如果没有任何提示，则说明我们的数据已经导入成功了(注意文件格式是date_file.sql, sql.gz在中文下会出错) 。

———————–2008.12.9 update———————-

有些时候你可能会遇到错误信息，说你的权限不够，那我们就需要加一些参数了。

mysql -hlocalhost -uusername -p db_name < data_file.sql

这样回车之后，就会有输入密码的提示，然后输入你的数据库密码就可以导入了。

参数-h是指定导入的服务器，-u是数据库的用户名，-p是登录数据库的密码，这三个参数后面不用加空格。

———————–2008.12.9 update———————-

这是一个很好的办法，但是也不是所有的人都可以用这个方法的，因为前提是你的空间必须支持SSH登录，而支持SSH登录的空间还是比较少的，这真是挺让人遗憾的。

还有一个办法就是把phpmyadmin里面的import那个功能模块提取出来，稍微改动一下也可以达到相同的效果。当然如果你是一个PHP高手，也可以自己写一个导入的程序，可以直接选择一个服务器的路径，期待ing。。。

赞 (0)

相关推荐

  • 大数据量，海量数据处理方法总结

    下面的方法是我对海量数据的处理方法进行了一个一般性的总结,当然这些方法可能并不能完全覆盖所有的问题,但是这样的一些方法也基本可以处理绝大多数遇到的问题.下面的一些问题基本直接来源于公司的面试笔试题目,方法不一定最优,如果你有更好的处理方法,欢迎与我讨论. 1.Bloom filter 适用范围:可以用来实现数据字典,进行数据的判重,或者集合求交集 基本原理及要点: 对于原理来说很简单,位数组+k个独立hash函数.将hash函数对应的值的位数组置1,查找时如果发现所有hash函数对应位都是1说明

  • Python利用多进程将大量数据放入有限内存的教程

    Python利用多进程将大量数据放入有限内存的教程

    简介 这是一篇有关如何将大量的数据放入有限的内存中的简略教程. 与客户工作时,有时会发现他们的数据库实际上只是一个csv或Excel文件仓库,你只能将就着用,经常需要在不更新他们的数据仓库的情况下完成工作.大部分情况下,如果将这些文件存储在一个简单的数据库框架中或许更好,但时间可能不允许.这种方法对时间.机器硬件和所处环境都有要求. 下面介绍一个很好的例子:假设有一堆表格(没有使用Neo4j.MongoDB或其他类型的数据库,仅仅使用csvs.tsvs等格式存储的表格),如果将所有表格组合在一起

  • 把大数据数字口语化（python与js）两种实现

    python 复制代码 代码如下: def fn(num):    '''    把数字口语化    ''' ret = ''    num = int(num)    if num/10000 == 0:        ret = str(num)    else:        if num/10**8 == 0:            if num%10000 != 0:                ret = str(num/10000) + '万' + str(num % 10000

  • 用SQL语句解决mysql导入大数据文件的问题

    对于经常使用MYSQL的人来说,phpmyadmin是一个必备的工具.这个工具非常强大,几乎可以完成所有的数据库操作,但是它也有一个弱点,对于往远程服务器上导入较大的数据文件的时候会速度奇慢,甚至出现长期没有响应的情况. 为什么会出现这样的情况呢?当我们选择一个sql数据文件并提交的时候,服务器首先要先把文件上传到服务器,然后才会执行导入代码把数据导入到数据库.我们知道phpmyadmin是通过web方式上传的数据文件,而web方式上传是很不稳定的,尤其是网速慢的时候,这就是为什么我们会有那么多

  • mysql导入导出数据中文乱码解决方法小结

    linux系统中 linux默认的是utf8编码,而windows是gbk编码,所以会出现上面的乱码问题. 解决mysql导入导出数据乱码问题 首先要做的是要确定你导出数据的编码格式,使用mysqldump的时候需要加上--default-character-set=utf8, 例如下面的代码: 复制代码 代码如下: mysqldump -uroot -p --default-character-set=utf8 dbname tablename > bak.sql 那么导入数据的时候也要使用-

  • Python3实现将本地JSON大数据文件写入MySQL数据库的方法

    本文实例讲述了Python3实现将本地JSON大数据文件写入MySQL数据库的方法.分享给大家供大家参考,具体如下: 最近导师给了一个yelp上的评论数据,数据量达到3.55个G,如果进行分析时直接使用本地文件,选择python来分析,那么效率是非常低的:另一方面使用SQL来储存文本文件最为安全,之前使用CSV,txt存储的文本文件最后莫名其妙地出现一些奇怪字符,导致读取数据分割时出现错乱.下面给出一个简单的代码,将本地JSON文件内容存入数据库. 说明:python版本为3.5,使用第三方库为

  • 使用用SQL语句从电脑导入图片到数据库的方法

    使用SQL语句从电脑导入图片到数据库的方法,具体代码如下所示: --创建图片表 CREATE TABLE W_PIC ( ID INT, --编号 WPATH VARCHAR(80), --完整路径 PIC VARCHAR(80), --图片名称,不带后缀 img image --图片内容 ) --图片表中插入数据 INSERT INTO W_PIC(ID,WPATH,PIC) SELECT 1, 'C:\Users\w\Desktop\产品图片\2#加工图34-C专用.jpg','2#加工图3

  • 详解一条sql语句在mysql中是如何执行的

    详解一条sql语句在mysql中是如何执行的

    概览 最近开始在学习mysql相关知识,自己根据学到的知识点,根据自己的理解整理分享出来,本篇文章会分析下一个sql语句在mysql中的执行流程,包括sql的查询在mysql内部会怎么流转,sql语句的更新是怎么完成的. 一.mysql架构分析 下面是mysql的一个简要架构图: mysql主要分为Server层和存储引擎层 Server层:主要包括连接器.查询缓存.分析器.优化器.执行器等,所有跨存储引擎的功能都在这一层实现,比如存储过程.触发器.视图,函数等,还有一个通用的日志模块 bing

  • 一条SQL语句在MySQL中是如何执行的

    一条SQL语句在MySQL中是如何执行的

    目录 一.mysql架构分析 1.1 连接器 1.2 查询缓存 1.3 分析器 1.4 优化器 1.5 执行器 二.语句分析 2.1 查询语句 2.2 更新语句 三.总结 一.mysql架构分析 下面是mysql的一个简要架构图: mysql主要分为Server层和存储引擎层 Server层:主要包括连接器.查询缓存.分析器.优化器.执行器等,所有跨存储引擎的功能都在这一层实现,比如存储过程.触发器.视图,函数等,还有一个通用的日志模块 binglog日志模块. 存储引擎: 主要负责数据的存储和

  • Mysql提升大数据表拷贝效率的解决方案

    Mysql提升大数据表拷贝效率的解决方案

    前言 本文主要给大家介绍了关于Mysql提升大数据表拷贝效率的相关内容,分享出来供大家参考学习,我们大家在工作上会经常遇到量级比较大的数据表  : 场景: 该数据表需要进行alter操作 比如增加一个字段,减少一个字段. 这个在一个几万级别数据量的数据表可以直接进行alter表操作,但是要在一个接近1000W的数据表进行操作,不是一件容易的事: 可能情况: 1.导致数据库崩溃或者卡死 2.导致其他进程 进行数据库读写I/O变慢 3.还有一个可能就是数据格式不一致 导致数据无法写入(比如一个var

  • Shell脚本中执行sql语句操作mysql的5种方法

    对于自动化运维,诸如备份恢复之类的,DBA经常需要将SQL语句封装到shell脚本.本文描述了在Linux环境下mysql数据库中,shell脚本下调用sql语句的几种方法,供大家参考.对于脚本输出的结果美化,需要进一步完善和调整.以下为具体的示例及其方法. 1.将SQL语句直接嵌入到shell脚本文件中 复制代码 代码如下: --演示环境  [root@SZDB ~]# more /etc/issue  CentOS release 5.9 (Final)  Kernel \r on an \

  • 解决Mysql数据库插入数据出现问号（？）的解决办法

    解决Mysql数据库插入数据出现问号（？）的解决办法

    首先,我用的mysql数据库是5.7.12版本. 出现的问题: 1.插入数据显示错误,插入不成功,出现:Incorrect string value: '\xCD\xF5\xD5\xBC\xBE\xA9' for column 'Sname' at row 1 2.插入中文,虽然插入成功,但是显示:?? 解决方法: 在my.ini文件中的 [mysqld] 中加入 #character-set-server=utf8 如图所示,必须在蓝圈的上方,就是说,蓝圈内的内容必须在[mysqld]的最下面

  • 使用SQL语句查询MySQL,SQLServer,Oracle所有数据库名和表名,字段名

    MySQL中查询所有数据库名和表名 查询所有数据库 show databases; 查询指定数据库中所有表名 select table_name from information_schema.tables where table_schema='database_name' and table_type='base table'; 查询指定表中的所有字段名 select column_name from information_schema.columns where table_schema

随机推荐