C#文件流读写和进度回调示例详解

前言

前不久遇到一个问题，是公司早期的基础库遇到的，其实很低级，但是还是记录下来。出错点是一个 IO 流的写入bug，我们项目会有一种专有的数据格式，这个格式的奇葩点在于如果设置 IO 读缓冲区为 2014 字节的时候，整个文件刚好能读完，也就是说其 length 刚好是 1024 的倍数。后来在一次升级中增加了更多的文件格式，并且新的文件格式使用了新的自定义写入流，具有加密和压缩的作用，这样一来，文件的长度就不一定是 1024 的倍数了。

后来通过查看这个基础类的源代码发现因为是 .NET 2.0 时代的东西，也没有 Stream.Copy 的方法，于是当时的程序员手动写了个 Stream.Copy 的方法，我稍作改动为了更直观将输出流改为输出到文件，代码大概如下：

var fs_in = System.IO.File.OpenRead(@"C:\3.0.6.apk");
var fs_out = System.IO.File.OpenWrite(@"C:\3.0.6.apk.copy");
byte[] buffer = new byte[1024];
while (fs_in.Read(buffer,0,buffer.Length)>0)
{
 fs_out.Write(buffer, 0, buffer.Length);
}
Console.WriteLine("复制完成");

所以一眼就能看出这个方法简直有天大的 bug ，假设文件长度不为 1024 的倍数，永远会在文件尾部多补充上一段的冗余数据。

这里整整多出了 878 字节的数据，导致整个文件都不对了，明显是基础知识都没学好。

增加一个变量保存实际读取到的字节数，改为如下：

var fs_in = System.IO.File.OpenRead(@"C:\迅雷下载\3.0.6.apk");
var fs_out = System.IO.File.OpenWrite(@"C:\迅雷下载\3.0.6.apk.copy");
byte[] buffer = new byte[1024];
int readBytes = 0;
while ((readBytes= fs_in.Read(buffer, 0, buffer.Length)) >0)
{
 fs_out.Write(buffer, 0, readBytes);
}
Console.WriteLine("复制完成");

对于处理大型文件，一般都有进度指示，比如处理压缩了百分多少之类的，这里我们也可以加上，比如专门写一个方法用于文件读取并返回 byte[] 和百分比。

static void ReadFile(string filename,int bufferLength, Action<byte[],int> callback)
{
 if (!System.IO.File.Exists(filename)) return;
 if (callback == null) return;
 System.IO.FileInfo finfo = new System.IO.FileInfo(filename);
 long fileLength = finfo.Length;
 long totalReadBytes = 0;
 var fs_in = System.IO.File.OpenRead(filename);
 byte[] buffer = new byte[bufferLength];
 int readBytes = 0;
 while ((readBytes = fs_in.Read(buffer, 0, buffer.Length)) > 0)
 {
  byte[] data = new byte[readBytes];
  Array.Copy(buffer, data, readBytes);
  totalReadBytes += readBytes;
  int percent = (int)((totalReadBytes / (double)fileLength) * 100);
  callback(data, percent);
 }
}

调用就很简单了：

static void Main(string[] args)
{
 string filename = @"C:\3.0.6.apk";
 var fs_in = System.IO.File.OpenRead(filename);
 long ttc = 0;
 ReadFile(filename, 1024, (byte[] data, int percent) =>
 {
  ttc += data.Length;
  Console.SetCursorPosition(0, 0);
  Console.Write(percent+"%");
 });
 Console.WriteLine("len:"+ttc);
 Console.ReadKey();
}

这是基于文件读取的，稍微改一下就可以改成输入流输出流的，这里就不贴出来了。文件读写非常耗时，特别是大文件，IO 和 网络请求都是 “重操作”，所以建议大家 IO 都放在单独的线程去执行。C# 中可以使用 Task、Thread、如果同时有多个线程需要执行就用 ThreadPool 或 Task，Java 或 Android 中用 Thread 或线程池，以及非常流行的 RxJava 等等 ...

总结

以上就是这篇文章的全部内容了，希望本文的内容对大家的学习或者工作具有一定的参考学习价值，如果有疑问大家可以留言交流，谢谢大家对我们的支持。

您可能感兴趣的文章:

  • C#文件流进行压缩和解压缩的方法
  • C#使用文件流读取文件的方法
  • C#从文件流读取xml文件到DataSet并显示的方法
  • C#生成PDF文件流
  • C#的回调机制浅析
赞 (0)

相关推荐

  • C#文件流进行压缩和解压缩的方法

    本文实例讲述了C#文件流进行压缩和解压缩的方法.分享给大家供大家参考.具体实现方法如下: using System; using System.Collections.Generic; using System.ComponentModel; using System.Data; using System.Drawing; using System.IO; using System.IO.Compression; using System.Linq; using System.Text; usi

  • C#从文件流读取xml文件到DataSet并显示的方法

    本文实例讲述了C#从文件流读取xml文件到DataSet并显示的方法.分享给大家供大家参考.具体实现方法如下: 复制代码 代码如下: DataSet ds= new DataSet (); FileStream fs = new FileStream (Server.MapPath=("somexml.xml"),FileMode.Open,FileAccess.Read); ds.ReadXml (fs); DataGrid1.DataSource = ds; DataGrid1.D

  • C#使用文件流读取文件的方法

    本文实例讲述了C#使用文件流读取文件的方法.分享给大家供大家参考.具体如下: using System; using System.IO; namespace Client.Chapter_11___File_and_Streams { public class OpenExistingFile { static void Main(string[] args) { FileInfo MyFile = new FileInfo(@"c:\Projects\Testing.txt");

  • C#生成PDF文件流

    本文实例为大家分享了C#生成PDF文件流的具体代码,供大家参考,具体内容如下 1.设置字体 static BaseFont FontBase = BaseFont.CreateFont("C:\\WINDOWS\\FONTS\\STSONG.TTF", BaseFont.IDENTITY_H, BaseFont.EMBEDDED); static iTextSharp.text.Font bodyFont = new iTextSharp.text.Font(FontBase, 12)

  • C#的回调机制浅析

    本文简要分析了C#的回调机制.分享给大家供大家参考.具体分析如下: 1.回调听起来高大上,实际上本质就是委托,回调是委托的一种应用,其本质就是委托. 2.一般回调多用在线程,因此多声明为类级变量.(和类在同一级,不是在某个方法内部的局部变量). 3.设置: 复制代码 代码如下: Form1.CheckForIllegalCrossThreadCalls = false; 将检查合法跨线程调用设置为 false 表示不检查 项目开发中不允许这样使用,因此会导致非线程安全而出现奇葩BUG. 4.初始

  • C#文件流读写和进度回调示例详解

    前言 前不久遇到一个问题,是公司早期的基础库遇到的,其实很低级,但是还是记录下来.出错点是一个 IO 流的写入bug,我们项目会有一种专有的数据格式,这个格式的奇葩点在于如果设置 IO 读缓冲区为 2014 字节的时候,整个文件刚好能读完,也就是说其 length 刚好是 1024 的倍数.后来在一次升级中增加了更多的文件格式,并且新的文件格式使用了新的自定义写入流,具有加密和压缩的作用,这样一来,文件的长度就不一定是 1024 的倍数了. 后来通过查看这个基础类的源代码发现因为是 .NET 2

  • C++基于文件流与armadillo读取mnist示例详解

    C++基于文件流与armadillo读取mnist示例详解

    前言 发现网上大把都是用python读取mnist的,用C++大都是用opencv读取的,但我不怎么用opencv,因此自己摸索了个使用文件流读取mnist的方法,armadillo仅作为储存矩阵的一种方式. 1. mnist文件 首先避坑,这些文件要解压. 官网截图可知,文件头很简单,只有若干个32位整数,MSB,像素和标签均是无符号字节(即unsigned char)可以先读取文件头,再读取剩下的部分. 2. 读取文件头 我觉得没什么必要啊,直接跳过不行吗 文件头都是32位,那就整四个uns

  • springboot启动过程中常用的回调示例详解

    目录 1.介绍 2.常用的拓展接口 3.实例: 4.其他拓展接口: 1.介绍 springboot提供非常丰富回调接口,利用这些接口可以做非常多的事情,对于一些常用的回调接口进行介绍 2.常用的拓展接口 1.ApplicationContextInitializer2.ApplicationListener3.ApplicationRunner4.CommandLineRunner 3.实例: 1.ApplicationContextInitializer接口是在spring容器初初始化之前调用

  • Java使用FileInputStream流读取文件示例详解

    一.File流概念 JAVA中针对文件的读写操作设置了一系列的流,其中主要有FileInputStream,FileOutputStream,FileReader,FileWriter四种最为常用的流 二.FileInputStream 1)FileInputStream概念  FileInputStream流被称为文件字节输入流,意思指对文件数据以字节的形式进行读取操作如读取图片视频等 2)构造方法 2.1)通过打开与File类对象代表的实际文件的链接来创建FileInputStream流对象

  • Go语言基础Json序列化反序列化及文件读写示例详解

    Go语言基础Json序列化反序列化及文件读写示例详解

    目录 概述 JSON序列化 结构体转JSON map转JSON 切片转JSON JSON反序列化 JSON转map JSON转结构体 JSON转切片 写JSON文件 map写入JSON文件 切片写入JSON文件 结构体写入JSON文件 读JSON文件 解码JSON文件为map 解码JSON文件为切片 解码JSON文件为结构体 示例 概述 JSON(JavaScript Object Notation,JavaScript对象表示法)是一种轻量级的.键值对的数据交换格式.结构由大括号'{}',中括

  • C++文件流读写操作详解

    目录 1.打开文件 1.1 fstream类型 1.2 open()的函数原型 1.3 打开方式 1.4 打开文件的属性 1.5 示例代码 2.文本文件的读写 2.1 写文件示例 2.2 读文件示例 2.3 逐字符读取和逐行读取 2.4 统计文本行数及读取某一行内容 2.5 读取数据到数组当中 3.状态标志符的验证(Verification of state flags) 4.获得和设置流指针(get and put stream pointers) 5.二进制文件 6.缓存和同步(Buffer

  • Python文件的读写和异常代码示例

    一.从文件中读取数据 #!/usr/bin/env python with open('pi') as file_object: contents = file_object.read() print(contents) =================================== 3.1415926 5212533 2324255 1.逐行读取 #!/usr/bin/env python filename = 'pi' with open(filename) as file_obje

  • .NetCore实现上传多文件的示例详解

    .NetCore实现上传多文件的示例详解

    本章和大家分享的是.NetCore的MVC框架上传文件的示例,主要讲的内容有:form方式提交上传,ajax上传,ajax提交+上传进度效果,Task并行处理+ajax提交+上传进度,相信当你读完文章内容后能后好的收获,如果可以不妨点个赞:由于昨天电脑没电了,快要写完的内容没有保存,今天早上提前来公司从头开始重新,断电这情况的确让人很头痛啊,不过为了社区的分享环境,这也是值得的,不多说了来进入今天的正篇环节吧: form方式上传一组图片 先来看看咋们html的代码,这里先简单说下要上传文件必须要

  • C++语言io流处理基本操作教程示例详解

    C++语言io流处理基本操作教程示例详解

    目录 一.输入输出流对象 流对象常用的处理函数 流控制字符 二.字符流操作 sstream 三. 文件流流类 四.文件指针定位 一.输入输出流对象 cout:标准输出流 cerr:标准出凑  和cout(只是用于如果是错误时要输出的) cin  :   标准输入 流对象常用的处理函数 输出字符 put() 输入字符:get() 输出字符串:write() 输入字符串getline() char ch; cin.get(ch); cout << ch<<endl; cout.put(

  • GO文件创建及读写操作示例详解

    目录 三种文件操作比较 ioutil ioutil.ReadFile读 ioutil.WriteFile 写 ioutil.ReadAll 读 ioutil.ReadDir 查看路径下目录信息 ioutil.TempDir 创建临时目录 ioutil.TempFile 创建临时文件 os.file 方法 os.OpenFile() 创建文件 写入数据三种方式 第一种-WriteString( )函数 第二种-Write( )函数 第三种-WriteAt( )函数 读取文件 Read 读取文件 按

随机推荐