SqlCommandBuilder类批量更新excel或者CSV数据的方法

当你批量操作数据的时候,常常会使用到update table1 from table2的这种方式,这种方式是最简洁的。
但当你从excel或者CSV文件更新海量数据时,再使用这种方法,那性能是不是好?字符串拼接又何其之多,大数据是不是需要分组更新?
我不想去检测各种方法的速度,因为我个人比较认可以下方式,欢迎大家批评与指正。
我需要使用到的类主要是SqlCommandBuilder

/// <param name="table">准备更新的DataTable新数据</param>
  /// <param name="TableName">对应要更新的数据库表名</param>
  /// <param name="primaryKeyName">对应要更新的数据库表的主键名</param>
  /// <param name="columnsName">对应要更新的列的列名集合</param>
  /// <param name="limitColumns">需要在SQL的WHERE条件中限定的条件字符串,可为空。</param>
  /// <param name="onceUpdateNumber">每次往返处理的行数</param>
  /// <returns>返回更新的行数</returns>
  public static int Update(DataTable table, string TableName, string primaryKeyName, string[] columnsName, string limitWhere,int onceUpdateNumber)
  {
    if (string.IsNullOrEmpty(TableName)) return 0;
    if (string.IsNullOrEmpty(primaryKeyName)) return 0;
    if (columnsName == null || columnsName.Length <= 0) return 0;
    DataSet ds = new DataSet();
    ds.Tables.Add(table);
    int result = 0;
    using (SqlConnection sqlconn = new SqlConnection(SqlHelper.ConnString))
    {
      sqlconn.Open();

      //使用加强读写锁事务
      SqlTransaction tran = sqlconn.BeginTransaction(IsolationLevel.ReadCommitted);
      try
      {
        foreach (DataRow dr in ds.Tables[0].Rows)
        {
          //所有行设为修改状态
          dr.SetModified();
        }
        //为Adapter定位目标表
        SqlCommand cmd = new SqlCommand(string.Format("select * from {0} where {1}", TableName,limitWhere), sqlconn, tran);
        SqlDataAdapter da = new SqlDataAdapter(cmd);
        SqlCommandBuilder sqlCmdBuilder = new SqlCommandBuilder(da);
        da.AcceptChangesDuringUpdate = false;
        string columnsUpdateSql = "";
        SqlParameter[] paras = new SqlParameter[columnsName.Length];
        //需要更新的列设置参数是,参数名为"@+列名"
        for (int i = 0; i < columnsName.Length; i++)
        {
          //此处拼接要更新的列名及其参数值
          columnsUpdateSql += ("[" + columnsName[i] + "]" + "=@" + columnsName[i] + ",");
          paras[i] = new SqlParameter("@" + columnsName[i], columnsName[i]);
        }
        if (!string.IsNullOrEmpty(columnsUpdateSql))
        {
          //此处去掉拼接处最后一个","
          columnsUpdateSql = columnsUpdateSql.Remove(columnsUpdateSql.Length - 1);
        }
        //此处生成where条件语句
        string limitSql = ("[" + primaryKeyName + "]" + "=@" + primaryKeyName);
        SqlCommand updateCmd = new SqlCommand(string.Format(" UPDATE [{0}] SET {1} WHERE {2} ", TableName, columnsUpdateSql, limitSql));
        //不修改源DataTable
        updateCmd.UpdatedRowSource = UpdateRowSource.None;
        da.UpdateCommand = updateCmd;
        da.UpdateCommand.Parameters.AddRange(paras);
        da.UpdateCommand.Parameters.Add("@" + primaryKeyName, primaryKeyName);
        //每次往返处理的行数
        da.UpdateBatchSize = onceUpdateNumber;
        result = da.Update(ds,TableName);
        ds.AcceptChanges();
        tran.Commit();

      }
      catch
      {
        tran.Rollback();
      }
      finally
      {
        sqlconn.Dispose();
        sqlconn.Close();
      }

    }
    return result;
  }

注: 此方法调用时要传入的参数,包括主键名和列名都应与数据库实际的名称相对应。
你可以不传入限定的where条件,如果传入,只需传入:Name="chamy" or Name="jundy",不需加入“where”等字符,不可以在此处传入主键的限定,你只需要在主键名这个参数上传入名称即可。

以上就是为大家分享的SqlCommandBuilder类批量更新excel或者CSV数据的方法,希望对大家的学习有所帮助。

(0)

相关推荐

  • 解析csv数据导入mysql的方法

    mysql自己有个csv引擎,可以通过这个引擎来实现将csv中的数据导入到mysql数据库中,并且速度比通过php或是python写的批处理程序快的多.具体的实现代码示例: 复制代码 代码如下: load data infile '/tmp/file.csv' into table _tablename (set character utf8) fields terminated by ','enclosed by '"'lines terminated by '\r\n'; 这段代码中涉及的一

  • Mysql 导入导出csv 中文乱码问题的解决方法

    导入csv: 复制代码 代码如下: load data infile '/test.csv' into table table_name fields terminated by ','  optionally enclosed by '"' escaped by '"' lines terminated by '\r\n' ignore 1 lines; 导csv: 复制代码 代码如下: SELECT * INTO OUTFILE '/test.csv'  FIELDS TERMIN

  • MySQL如何导入csv格式数据文件解决方案

    给自己做备份的,高手们请忽略. 数据太大,用数据库客户端软件直接导入非常卡,还是直接执行SQL吧. 1.指定文件路径. 2.字段之间以逗号分隔,数据行之间以\r\n分隔(我这里文件是以\n分隔的). 3.字符串以半角双引号包围,字符串本身的双引号用两个双引号表示. Sql代码 复制代码 代码如下: load data infile 'D:\\top-1m.csv' into table `site` fields terminated by ',' optionally enclosed by

  • MySQL 导出数据为csv格式的方法

    方案有很多种,我这里简单说一下: 1.  into outfile 复制代码 代码如下: SELECT * FROM mytable   INTO OUTFILE '/tmp/mytable.csv'   FIELDS TERMINATED BY ','   OPTIONALLY ENCLOSED BY '"'   LINES TERMINATED BY '\n'; 在我使用过程中发现一个特别严重问题,这里面不能插入查询条件,比如where这些,也就是说只能整表导出,不知道是不是我的写法有问题,

  • 把CSV文件导入到SQL Server表中的方法

    有时候我们可能会把CSV中的数据导入到某个数据库的表中,比如做报表分析的时候. 对于这个问题,我想一点也难不倒程序人员吧!但是要是SQL Server能够完成这个任务,岂不是更好! 对,SQL Server确实有这个功能. 首先先让我们看一下CSV文件,该文件保存在我的D:盘下,名为csv.txt,内容是: 现在就是SQL Server的关键部分了: 我们使用的是SQL Server的BULK INSERT命令,关于该命令的详细解释,请点击此处: 我们先在SQL Server中建立用于保存该信息

  • oracle使用sql脚本生成csv文件案例学习

    脚本内容如下: 复制代码 代码如下: set linesize 3000; set heading off; set feedback off; set term off; set pagesize 0; set trimspool on; spool a.csv; select c1_name||','||c2_name from dual; select c1||','||c2 from tbtest spool off;

  • php将csv文件导入到mysql数据库的方法

    本文实例讲述了php将csv文件导入到mysql数据库的方法.分享给大家供大家参考.具体分析如下: 本程序实现数据导入原理是先把csv文件上传到服务器,然后再通过php的fopen与fgetcsv文件把数据保存到数组,然后再用while把数据一条条插入到mysql数据库,代码如下: 复制代码 代码如下: <?php $fname = $_files['myfile']['name']; $do = copy($_files['myfile']['tmp_name'],$fname); if ($

  • mysql使用SQLyog导入csv数据不成功的解决方法

    今天给mysql导入数据,使用的软件是SQLyog,相信直接导大家也都会,选中某个表选择导入--导入使用本地csv数据即可,单有的时候不知道什么问题导入不成功,可以使用命令,以此记录,以后用到便于查: (我的是windows系统) LOAD DATA LOCAL INFILE 'C:\\Users\\zl\\Desktop\\zhishu.csv' INTO TABLE 库名.表名 CHARACTER SET gbk FIELDS TERMINATED BY ',' OPTIONALLY ENC

  • php使用指定编码导出mysql数据到csv文件的方法

    本文实例讲述了php使用指定编码导出mysql数据到csv文件的方法.分享给大家供大家参考.具体实现方法如下: <?php /* * PHP code to export MySQL data to CSV * * Sends the result of a MySQL query as a CSV file for download * Easy to convert to UTF-8. */ /* * establish database connection */ $conn = mysq

  • PHP导出MySQL数据到Excel文件(fputcsv)

    这里的方法是利用fputcsv写CSV文件的方法,直接向浏览器输出Excel文件. 复制代码 代码如下: // 输出Excel文件头,可把user.csv换成你要的文件名 header('Content-Type: application/vnd.ms-excel'); header('Content-Disposition: attachment;filename="user.csv"'); header('Cache-Control: max-age=0'); // 从数据库中获取

随机推荐