c# 插入数据效率测试(mongodb)

mongodb的数据插入速度是其一个亮点,同样的10000条数据,插入的速度要比Mysql和sqlserver都要快,当然这也是要看使用者怎么个使用法,你代码如果10000次写入使用10000次连接,那也是比不过其他数据库使用事务一次性提交的速度的。

同样,mongo也提供的一次性插入巨量数据的方法,因为mongodb没有事务这回事,所以在在C#驱动里,具体方法是InsertManyAsync()一次性插入多个文档。与之对应的是InsertOneAsync,这个是一次插入一个文档;

InsertManyAsync()这个方法带入的参数只要是实现了IEnumerable接口的类型就可以,所以可是list<>,这样的数据类型;

同样的10000次插入,两个方法时间差别很大。如图:

使用一次性插入多个文档方法,插入10000条耗时仅1.3秒,分成10000次插入,耗时19.9秒。区别大了个去。同样,前面我做过使用mysql插入10000条记录,要用4秒多,可见,这mongodb插入速度不是吹 的。

具体的代码如下,贴上:

using System;
using System.Collections.Generic;
using System.Linq;
using System.Text;
using System.Threading.Tasks;
using MongoDB.Bson;
using MongoDB.Driver;
using System.Diagnostics;
namespace sqltomongo
{
  public  class MongoHelp
  {
    private static IMongoClient client
    {
      get
      {
        if (null == _client)
        {
          _client = new MongoClient("mongodb://127.0.0.1:27017");
        }
        return _client;
      }
    }
    public  static IMongoDatabase database
    {
      get {
         _database = client.GetDatabase("HotelPersonInfo");
         return _database;
      }
      set {
        _database = value;
      }
    } 

    public  static IMongoCollection<BsonDocument> collection
    {
      get {
        return _collection;
      }
      set {
        _collection = value;
      }
    } 

    protected static IMongoClient _client;
    protected static IMongoDatabase _database;
    protected static IMongoCollection<BsonDocument> _collection;
     //测试效率,两个方法用时比较
    public async static void TestMongo()
    {
      //自定义的对象
      RoomInfo roomdata = new RoomInfo();
      List<BsonDocument> docunemts = new List<BsonDocument>();
      collection = database.GetCollection<BsonDocument>("HotelPersonInfo");
      Stopwatch sw = new Stopwatch();
      sw.Start();
      for (int i = 1; i < 10000; i++)
      {
         //mongo对用户自定义的对象扩展了tobasonDocument这个方法,可直接用
        var roomdatadocument = new BsonDocument(roomdata.ToBsonDocument());
        docunemts.Add(roomdatadocument);
      }
      //一次10000条
       //这方法 查看api手册,只要实现了IEnumerable借口的类型就都行
      await collection.InsertManyAsync(docunemts);
      sw.Stop();
       TimeSpan ts2 =sw.Elapsed;
       Console.WriteLine("total is " + ts2.TotalMilliseconds); 

      ///一次次插 10000次
       Stopwatch sw2 = new Stopwatch();
       sw2.Start();
       for (int i = 1; i < 10000; i++)
       {
         var roomdatadocument = new BsonDocument(roomdata.ToBsonDocument());
         await collection.InsertOneAsync(roomdatadocument);
       }
       sw2.Stop();
       TimeSpan ts22 = sw2.Elapsed;
       Console.WriteLine("total is " + ts22.TotalMilliseconds); 

     // await collection.InsertOneAsync(roomdatadocument); 

      //collection = database.GetCollection<BsonDocument>("HotelPersonInfo");
      // collection.InsertOneAsync(roomdatadocument);
    }
  }
} 

里面使用了一个自定义的对象:

代码如下:

using System;
using System.Collections.Generic;
using System.Linq;
using System.Text;
using System.Threading.Tasks;
using MongoDB.Bson;
namespace sqltomongo
{ 

  public class RoomInfo
  {
    public RoomInfo()
    {
     // id = "test";
      Name = "nafd"; Moblie = "123456"; EMail = "dd@qq.com"; Tel = "010123"; Fax = "0755-001";
      IdentityId = "616112323231"; RegisterType = "tid"; CardNo = "cardno"; Sex = "男"; Birthday = "1999";
      Address = "china beijing"; ZipCode = "519000"; RegisterDate = "2015-03-03";
      District2 = "District2";
      District3 = "District3";
      District4 = "District4";
    }
   // public string id { get; set; }
    /// <summary>
    /// 名字
    /// </summary>
    public string Name { get; set; }
     /// <summary>
    /// 手机号码
    /// </summary>
    public string Moblie { get; set; }
    /// <summary>
    /// 邮箱
    /// </summary>
    public string EMail {get;set;}
    /// <summary>
    /// 座机
    /// </summary>
    public string Tel { get; set; }
    /// <summary>
    /// 传真
    /// </summary>
    public string Fax { get; set; }
    /// <summary>
    /// 身份证
    /// </summary>
    public string IdentityId { get; set; }
     /// <summary>
    /// 使用什么注册的
    /// ID --身份证 (只需要id身份证的信息)
    /// </summary>
    public string RegisterType { get; set; }
      /// <summary>
    /// 会员卡号
    /// </summary>
    public string CardNo { get; set; }
    /// <summary>
    /// 性别
    /// </summary>
    public string Sex { get; set; }
    /// <summary>
    /// 生日
    /// </summary>
    public string Birthday { get; set; }
    /// <summary>
    /// 地址
    /// </summary>
    public string Address { get; set; }
    /// <summary>
    /// 邮编
    /// </summary>
    public string ZipCode { get; set; } 

    public string District2 { get; set; }
    public string District3 { get; set; }
    public string District4 { get; set; }
    /// <summary>
    /// 注册时间
    /// </summary>
    public string RegisterDate { get; set; } 

  }
}

mongodb的一些小总结

mongodb的安装,官网下载想要的版本,可视化工具mongovue(注意不支持mongodb3.0以上的版本)

下载mis安装,解压后bin,。。。

1.配置环境变量,将H:\mongodb\mongodbInstall\bin bin目录加入环境变量的path里面
2.bin目录同级目录创建data文件夹,data文件夹内新建db、log文件夹log文件夹下再创建mongodb.log
3.输入如下的命令启动mongodb服务:(定位到bin下面)
H:/mongodb/mongodbInstall/bin>mongod --dbpath H:\mongodb\mongodbInstall\data\db
http://localhost:27017 测试是否连接成功
4.data同级目录创建mongodb.config 记事本打开mongodb.config
dbpath=H:\mongodb\mongodbInstall\data\db
logpath=H:\mongodb\mongodbInstall\data\log\mongodb.log
5.用管理员身份打开cmd命令行,进入H:/mongodb/mongodbInstall/bin目录,输入如下的命令:
mongod --config H:\mongodb\mongodbInstall\mongo.config --install --serviceName "MongoDB"
services.msc可以看到mongodb的服务已经启动

mongodb安装配置完成后,cmd直接录入mongo可进入mongo的命令行,show dbs可以看到现有的数据库(我把之前数据库备份的ns文件放入db文件夹内,show dbs的时候并没有显示出来)

然后安装mongovue(只有mysql可以免费导入到mongodb,因为有sqlserver的对应数据库,,,所以转化通过sqlserver转化为mysql再导入到mongovue)
sqlserver->mysql:mysql中导入向导-》选择ODBC-》选择sql server native client 、设置连接(服务器名(本机127.0.0.1)然后sqlserver用户名,密码)下一步-》下一步。。。。结束。
mysql->mongodb:add 一个数据库-》右键RDBMS Import 然后填写连接。

(0)

相关推荐

  • c# 插入数据效率测试(mongodb)

    mongodb的数据插入速度是其一个亮点,同样的10000条数据,插入的速度要比Mysql和sqlserver都要快,当然这也是要看使用者怎么个使用法,你代码如果10000次写入使用10000次连接,那也是比不过其他数据库使用事务一次性提交的速度的. 同样,mongo也提供的一次性插入巨量数据的方法,因为mongodb没有事务这回事,所以在在C#驱动里,具体方法是InsertManyAsync()一次性插入多个文档.与之对应的是InsertOneAsync,这个是一次插入一个文档: Insert

  • c#操作mongodb插入数据效率

    mongodb的数据插入速度是其一个亮点,同样的10000条数据,插入的速度要比Mysql和sqlserver都要快,当然这也是要看使用者怎么个使用法,你代码如果10000次写入使用10000次连接,那也是比不过其他数据库使用事务一次性提交的速度的. 同样,mongo也提供的一次性插入巨量数据的方法,因为mongodb没有事务这回事,所以在在C#驱动里,具体方法是InsertManyAsync()一次性插入多个文档.与之对应的是InsertOneAsync,这个是一次插入一个文档: Insert

  • 大数据量分页存储过程效率测试附测试代码与结果

    测试环境 硬件:CPU 酷睿双核T5750 内存:2G 软件:Windows server 2003 + sql server 2005 OK,我们首先创建一数据库:data_Test,并在此数据库中创建一表:tb_TestTable 复制代码 代码如下: create database data_Test --创建数据库 data_Test  GO use data_Test GO create table tb_TestTable --创建表 (id int identity(1,1) pr

  • MongoDB副本集丢失数据的测试实例教程

    在MongoDB副本集的测试中发现了一个丢数据的案例. 1. 概要描述 测试场景为:一主一从一验证 测试案例 step1 :关闭从副本: step 2 :向主副本中插入那条数据: step 3 :关闭主副本: step 4 :开启辅助副本,此副本升级为主副本,这是后会看到新的主副本没有刚才插入的几笔数据. ----测试时,请注意测试步骤. step 5 :原主节点 再次加入到集群中后,会变成新的辅助副本.测试插入的数据会产生回滚. 2. 具体的测试步骤 (1)测试服务器,原测试环境 主Serve

  • Python MongoDB 插入数据时已存在则不执行,不存在则插入的解决方法

    本文实例讲述了Python MongoDB 插入数据时已存在则不执行,不存在则插入的解决方法.分享给大家供大家参考,具体如下: 前言: 想把QQ日志爬虫(Python)爬下来的日志保存到 MongoDB 里面. 但 insert 的时候报错: E11000 duplicate key error collection: QQ.Blog index: _id_ dup key: { : "965464518_1301232446" } 后来知道错误的原因是:插入的数据和已有数据的 ID

  • Springboot使用Junit测试没有插入数据的原因

    从写Junit开始笔者就有一个疑问,为什么执行插入测试方法成功了但是数据库里却没有对应数据,那怎么测试的呢?今天查阅了资料找到了原因 1.Junit测试原理 springboot中使用junit编写单元测试默认是事物回滚的,这样测试的脏数据不影响数据库,即实际上是执行了对应的插入操作,但是完成操作后执行了事务回滚操作,从而数据库中没有对应数据. 2.关闭自动事务回滚 在对应的测试方法上添加@Rollback(false)关闭回滚. 补充知识:Spring Boot Junit无法执行问题汇总 S

  • SQL批量插入数据几种方案的性能详细对比

    公司技术背景:数据库访问类(xxx.DataBase.Dll)调用存储过程实现数据库的访问. 技术方案一: 压缩时间下程序员写出的第一个版本,仅仅为了完成任务,没有从程序上做任何优化,实现方式是利用数据库访问类调用存储过程,利用循环逐条插入.很明显,这种方式效率并不高,于是有了前面的两位同事讨论效率低的问题. 技术方案二: 由于是考虑到大数据量的批量插入,于是我想到了ADO.NET2.0的一个新的特性:SqlBulkCopy.有关这个的性能,很早之前我是亲自做过性能测试的,效率非常高.这也是我向

  • C#批量插入数据到Sqlserver中的三种方式

    本篇,我将来讲解一下在Sqlserver中批量插入数据. 先创建一个用来测试的数据库和表,为了让插入数据更快,表中主键采用的是GUID,表中没有创建任何索引.GUID必然是比自增长要快的,因为你生成一个GUID算法所花的时间肯定比你从数据表中重新查询上一条记录的ID的值然后再进行加1运算要少.而如果存在索引的情况下,每次插入记录都会进行索引重建,这是非常耗性能的.如果表中无可避免的存在索引,我们可以通过先删除索引,然后批量插入,最后再重建索引的方式来提高效率. create database C

  • 详解C#批量插入数据到Sqlserver中的四种方式

    本篇,我将来讲解一下在Sqlserver中批量插入数据. 先创建一个用来测试的数据库和表,为了让插入数据更快,表中主键采用的是GUID,表中没有创建任何索引.GUID必然是比自增长要快的,因为你生成一个GUID算法所花的时间肯定比你从数据表中重新查询上一条记录的ID的值然后再进行加1运算要少.而如果存在索引的情况下,每次插入记录都会进行索引重建,这是非常耗性能的.如果表中无可避免的存在索引,我们可以通过先删除索引,然后批量插入,最后再重建索引的方式来提高效率. create database C

  • SQL Server 批量插入数据的完美解决方案

    一.Sql Server插入方案介绍 关于 SqlServer 批量插入的方式,有三种比较常用的插入方式,Insert.BatchInsert.SqlBulkCopy,下面我们对比以下三种方案的速度 1.普通的Insert插入方法 public static void Insert(IEnumerable<Person> persons) { using (var con = new SqlConnection("Server=.;Database=DemoDataBase;User

随机推荐