C#去除DataTable重复数据的三种方法

业务需求

最近做一个把源数据库的数据批次导出到目标数据库。源数据库是采集程序采集而来的原始数据库，所以需要对其进行一些处理（过滤一些为空，长度太短或太长，非法字符，重复数据）然后在进行入库。

其中要避免目标库插入重复数据。这重复数据可能是源数据库本身就有重复数据，还有就是已经插入避免重复插入。

过滤自身重复数据解决方案

第一种：采用DataView.ToTable()方法

  • DataView.ToTable 方法
  • .NET Framework 2.0

其根据现有 DataView中的行，创建并返回一个新的DataTable。

重载列表

名称 说明
DataView.ToTable () 根据现有 DataView 中的行，创建并返回一个新的 DataTable。

由 .NET Compact Framework 支持。
DataView.ToTable (String) 根据现有 DataView 中的行，创建并返回一个新的 DataTable。

由 .NET Compact Framework 支持。
DataView.ToTable (Boolean, String[]) 根据现有 DataView 中的行，创建并返回一个新的 DataTable。

由 .NET Compact Framework 支持。
DataView.ToTable (String, Boolean, String[]) 根据现有 DataView 中的行，创建并返回一个新的 DataTable。

由 .NET Compact Framework 支持。

实例代码

 public static DataTable Distinct(DataTable dt, string[] filedNames)
  {
   DataView dv = dt.DefaultView;
   DataTable DistTable = dv.ToTable("Dist", true, filedNames);
   return DistTable;
  }

第二种方法：循环遍历+DataTable.Select()

利用for循环遍历DataTable的数据行，利用DataTable.Select 方法判断是否重复，如果重复，则利用DataTable.Rows.RemoveAt(Index)删除重复的那一行。

具体看代码。

代码示例

 public DataTable GetDistinctSelf(DataTable SourceDt, string filedName)
  {
 for (int i = SourceDt.Rows.Count - 2; i > 0; i--)
   {
    DataRow[] rows = SourceDt.Select(string.Format("{0}='{1}'", filedName, SourceDt.Rows[i][filedName]));
    if (rows.Length > 1)
    {
     SourceDt.Rows.RemoveAt(i);
    }
   }
   return SourceDt;
  }

第三种方法

利用双循环遍历（不推荐）

 public DataTable GetDistinctSelf(DataTable SourceDt, string filedName)
  {
   for (int i = SourceDt.Rows.Count - 2; i > 0; i--)
   {
    string title = SourceDt.Rows[0][filedName].ToString();
    for (int j = i + 1; j > 0; i--)
    {
     if (SourceDt.Rows[j][filedName].ToString() == title)
     {
      SourceDt.Rows.RemoveAt(i);

     }
    }

   }
   return SourceDt;
   }

到此这篇关于C#去除DataTable重复数据的三种方法的文章就介绍到这了,更多相关C#去除DataTable重复数据内容请搜索我们以前的文章或继续浏览下面的相关文章希望大家以后多多支持我们！

赞 (0)

相关推荐

  • C#过滤DataTable中空数据和重复数据的示例代码

    C#过滤DataTable中的空数据和重复数据 string sql = "select name,age from user"; DataTable data = DB.ExecuteDataTable(string.Format(sql)); //得到DataTable // ------------start 去重------------------- string[] distinctcols = new string[(data.Columns.Count)]; foreac

  • C#去除DataTable重复数据的三种方法

    业务需求 最近做一个把源数据库的数据批次导出到目标数据库.源数据库是采集程序采集而来的原始数据库,所以需要对其进行一些处理(过滤一些为空,长度太短或太长,非法字符,重复数据)然后在进行入库. 其中要避免目标库插入重复数据.这重复数据可能是源数据库本身就有重复数据,还有就是已经插入避免重复插入. 过滤自身重复数据解决方案 第一种:采用DataView.ToTable()方法 DataView.ToTable 方法 .NET Framework 2.0 其根据现有 DataView中的行,创建并返回

  • 防止MySQL重复插入数据的三种方法

    新建表格 CREATE TABLE `person` ( `id` int NOT NULL COMMENT '主键', `name` varchar(64) CHARACTER SET utf8 COLLATE utf8_bin NULL DEFAULT NULL COMMENT '姓名', `age` int NULL DEFAULT NULL COMMENT '年龄', `address` varchar(512) CHARACTER SET utf8 COLLATE utf8_bin N

  • JavaScript中解析JSON数据的三种方法

    概述 现在JSON格式在web开发中越来越受重视,特别是在使用ajax开发项目的过程中,经常需要将json格式的字符串返回到前端,前端解析成JS对象(JSON ). ECMA-262(E3)中没有将JSON概念写到标准中,还好在 ECMA-262(E5)中JSON的概念被正式引入了,包括全局的JSON对象和Date的toJSON方法. 解析JSON数据的三种方法 eval()方法 解析JSON数据的最常用方法是使用javascript的eval()方法,代码如下: 复制代码 代码如下: func

  • php获取POST数据的三种方法实例详解

    php获取POST数据的三种方法 方法一,$_POST $_POST或$_REQUEST存放的是PHP以key=>value的形式格式化以后的数据. 方法二,使用file_get_contents("php://input") 对于未指定 Content-Type 的POST数据,则可以使用file_get_contents("php://input");来获取原始数据. 事实上,用PHP接收POST的任何数据均使用本方法.而不用考虑Content-Type,

  • jQuery使用JSONP实现跨域获取数据的三种方法详解

    本文实例讲述了jQuery使用JSONP实现跨域获取数据的三种方法.分享给大家供大家参考,具体如下: 第一种方法是在ajax函数中设置dataType为'jsonp' $.ajax({ dataType: 'jsonp', url: 'http://www.a.com/user?id=123', success: function(data){ //处理data数据 } }); 第二种方法是利用getJSON来实现,只要在地址中加上callback=?参数即可 $.getJSON('http:/

  • Python 中导入csv数据的三种方法

    Python 中导入csv数据的三种方法,具体内容如下所示: 1.通过标准的Python库导入CSV文件: Python提供了一个标准的类库CSV文件.这个类库中的reader()函数用来导入CSV文件.当CSV文件被读入后,可以利用这些数据生成一个NumPy数组,用来训练算法模型.: from csv importreader import numpy as np filename=input("请输入文件名: ") withopen(filename,'rt',encoding='

  • c++ 防止头文件重复引入的三种方法

    在之前我们详细介绍了 C 语言中如何使用宏定义(#ifndef / #define / #endif)来有效避免头文件被重复 #include,此方式在 C++ 多文件编程中也很常用. 举个例子,如下是一个 C++ 项目,其内部含有 school.h 和 student.h 这 2 个头文件以及 main.cpp 源文件,其各自包含的代码为: //student.h class Student {     //...... }; //school.h #include "student.h&qu

  • MyBatis批量插入数据的三种方法实例

    MyBatis批量插入数据的三种方法实例

    目录 前言 准备工作 1.循环单次插入 2.MP 批量插入 ① 控制器实现 ② 业务逻辑层实现 ③ 数据持久层实现 MP 性能测试 MP 源码分析 3.原生批量插入 ① 业务逻辑层扩展 ② 数据持久层扩展 ③ 添加 UserMapper.xml 原生批量插入性能测试 缺点分析 解决方案 总结 前言 批量插入功能是我们日常工作中比较常见的业务功能之一,之前我也写过一篇关于<MyBatis Plus 批量数据插入功能,yyds!>的文章,但评论区的反馈不是很好,主要有两个问题:第一,对 MyBat

  • java去除数组重复元素的四种方法

    java去除数组重复元素的四种方法

    方法1: 需要一个存储去重后元素的数组,然后两层循环,外层遍历原数组,内容逐个判断是否和之后的元素重复,然后再提出来存入新的数组.方法System.arraycopy(被复制的数组,起始下标,接收的新数组,起始下标,结束下标);可以直接复制数组,既然这样,我就没必要纠结新数组的长度了,直接声明一个跟原数组长度一样的临时数组,只要记录下去重后的元素个数,然后就可以确定去重后数组长度再去将临时数组拷贝到新数组就行了. package testPro.test; public class testDi

  • vue项目退出登录清除store数据的三种方法

    vue项目退出登录清除store数据的三种方法

    目录 方法一:(不友好,页面会白屏,不推荐使用) 方法二 : (不会出现白屏,推荐使用) 方法三 : vuex清除token (不会出现白屏,推荐使用) 总结 方法一:(不友好,页面会白屏,不推荐使用) 在退出登录的loginOut 方法里面: window.location.reload() 方法二 : (不会出现白屏,推荐使用) 利用v-if控制router-view,在根组件APP.vue中实现一个刷新方法 <template> <router-view v-if="is

随机推荐