mysql技巧:提高插入数据(添加记录)的速度
问题描述:
普通台式机,采集数据,表中已经有>1000万数据量。
采集回来的数据插入表中的时候很慢,每条约100毫秒。
解决方法:
1、加大mysql配置中的bulk_insert_buffer_size,这个参数默认为8M
bulk_insert_buffer_size=100M
2、改写所有insert语句为insert delayed
这个insert delayed不同之处在于:立即返回结果,后台进行处理插入。
还有一个技巧是在一跳insert中插入多条数据,类似insert into tablename values('xxx','xxx'),('yyy','yyy'),('zzz','zzz')...;但是在我采集程序中改sql比较麻烦,故未采用
我们小编提醒:
说实话一般主要用于数据的采集入库操作,成熟的cms不建议修改,dedecms是由于本人的系统设计问题,建议使用商业版或自行建立索引等,现在大数据首选帝国cms或phpcms。
相关推荐
-
解析MySQL数据库性能优化的六大技巧
数据库表表面上存在索引和防错机制,然而一个简单的查询就会耗费很长时间.Web应用程序或许在开发环境中运行良好,但在产品环境中表现同样糟糕.如果你是个数据库管理员,你很有可能已经在某个阶段遇到上述情况.因此,本文将介绍对MySQL进行性能优化的技巧和窍门. 1.存储引擎的选择如果数据表需要事务处理,应该考虑使用InnoDB,因为它完全符合ACID特性.如果不需要事务处理,使用默认存储引擎MyISAM是比较明智的.并且不要尝试同时使用这两个存储引擎.思考一下:在一个事务处理中,一些数据表使用Inno
-
MySQL索引类型总结和使用技巧以及注意事项
在数据库表中,对字段建立索引可以大大提高查询速度.假如我们创建了一个 mytable表: 复制代码 代码如下: CREATE TABLE mytable( ID INT NOT NULL, username VARCHAR(16) NOT NULL ); 我们随机向里面插入了10000条记录,其中有一条:5555, admin. 在查找username="admin"的记录 SELECT * FROM mytable WHERE username='admin';时,如果在
-
php导入大量数据到mysql性能优化技巧
本文实例讲述了php导入大量数据到mysql性能优化技巧.分享给大家供大家参考.具体分析如下: 在mysql中我们结合php把一些文件导入到mysql中,这里就来分享一下我对15000条记录进行导入时分析与优化,需要的朋友可以参考一下. 之前有几篇文章,说了最近tiandi在帮朋友做一个小项目,用于统计电话号码的,每次按需求从数据库里随机生成打包的电话号码,然后不停地让人打这些电话号码推销产品(小小鄙视一下这样的行为).但是朋友要求帮忙,咱也不能不帮啊,是吧.程序两个星期前已经做好,测试完毕交工
-
教你如何快捷的使用cmd访问mysql小技巧
以window7为例,右击"计算机" - 单击"属性" - 单击"高级系统设置" - 单击"环境变量",剩下看图: <图1> 右下角"环境变量". <图2>选择"PATH", 编辑. <图3>变量值是你所安装开发环境里mysql的命令目录所在地址, 确定. OK,到此配置结束,进入cmd后,可以方便使用mysql命令了: mysql -u用户 -p密
-
MySQL中的binlog相关命令和恢复技巧
操作命令: 复制代码 代码如下: show binlog events in 'mysql-bin.000016' limit 10; reset master 删除所有的二进制日志flush logs 产生一个新的binlog日志文件 show master logs; 或者 show binary logs; 查看二进制文件列表和文件大小 复制代码 代码如下: ./mysqlbinlog --start-datetime="2012-05-21 15:30:00" --stop-
-
日常收集整理常见的mysql sql技巧
废话不多说了,直接给大家贴代码了. 1,数字辅助表 //创建表 create table test(id int unsigned not null primary key); delimiter // create procedure pnum(cnt int unsigned) begin declare i int unsigned default 1; insert into num select i; while i*2 < cnt do insert into num select
-
分析MySQL中优化distinct的技巧
有这样的一个需求:select count(distinct nick) from user_access_xx_xx; 这条sql用于统计用户访问的uv,由于单表的数据量在10G以上,即使在user_access_xx_xx上加上nick的索引, 通过查看执行计划,也为全索引扫描,sql在执行的时候,会对整个服务器带来抖动: root@db 09:00:12>select count(distinct nick) from user_access; +--------+ | count(dis
-
mysql技巧之select count的区别分析
1.测试环境 OS:LinuxDB:mysql-5.5.18table:innodb存储引擎 表定义如下: 2. 测试场景与分析[统计表group_message的记录数目] (1)select count(*)方式 (2)select count(1)方式 (3)select count(col_name)方式 分别使用 select count(group_id) select count(user_id) select count(col_null) 通过上述测试结果可以看到,select
-
101个MySQL优化技巧和提示
MySQL是一个功能强大的开源数据库.随着越来越多的数据库驱动的应用程序,人们一直在推动MySQL发展到它的极限.这里是101条调节和优化MySQL安装的技巧.一些技巧是针对特定的安装环境的,但这些思路是通用的.我已经把他们分成几类,来帮助你掌握更多MySQL的调节和优化技巧. MySQL 服务器硬件和操作系统调节: 1. 拥有足够的物理内存来把整个InnoDB文件加载到内存中--在内存中访问文件时的速度要比在硬盘中访问时快的多. 2. 不惜一切代价避免使用Swap交换分区 – 交换时是从硬盘读
-
MySQL中视图的使用及多表INNER JOIN的技巧分享
创建视图 Sql代码 CREATE VIEW view_name AS SELECT t1.xxx, t2.xxx, t3.xxx FROM (table1 t1 INNER JOIN table2 t2 ON t1.fid = t2.fid) INNER JOIN table3 t3 ON t1.mid = t3.mid; 这里使用了3表关联,对于多表关联的 INNER JOIN 写法有一个技巧 1. 先写最简单的2表关联 INNER JOIN 2. 然后使用 () 从 FROM 之后到语
随机推荐
- mysql登录遇到ERROR 1045问题解决方法
- vue2.X组件学习心得(新手必看篇)
- web压力测试工具_动力节点Java 学院整理
- Android实现二维码扫描和生成的简单方法
- Asp.net GridView使用大全(分页实现)
- aspnet_regsql.exe 工具注册数据库的图文方法
- C#中遍历各类数据集合的方法总结
- php加密之discuz内容经典加密方式实例详解
- Android项目实战手把手教你画圆形水波纹loadingview
- 使用phpQuery采集网页的方法
- jQuery html()方法使用不了无法显示内容的问题
- php与XML、XSLT、Mysql的结合运用实现代码
- jQuery实现隔行变色的方法分析(对比原生JS)
- Node.js 文件夹目录结构创建实例代码
- asp.net微信开发(消息应答)
- JS图片浏览组件PhotoLook的公开属性方法介绍和进阶实例代码
- jQuery编写widget的一些技巧分享
- js select 标签选定项的值获取代码
- 基于javascript显示当前时间以及倒计时功能
- win2003系统服务备份与保护