利用mmap实现文件拷贝功能

利用mmap实现的一个文件拷贝例子,供大家参考,具体内容如下

/*
 * gcc -Wall -O3 -o copy_mmap copy_mmap.c
 */
#include < stdio.h >
#include < stdlib.h >
#include < string .h > /* for memcpy */
#include < strings.h >
#include < sys / mman.h >
#include < sys / types.h >
#include < sys / stat.h >
#include < fcntl.h >
#include < unistd.h > 

#define PERMS 0600 

int main ( int argc, char * argv[] )
{
  int   src, dst;
  void   * sm, * dm;
  struct stat statbuf;

  if ( argc != 3 )
 {
  fprintf( stderr, " Usage: %s \n " , argv[ 0 ] );
  exit( EXIT_FAILURE );
 }
  if ( ( src = open( argv[ 1 ], O_RDONLY ) ) < 0 )
 {
  perror( " open source " );
  exit( EXIT_FAILURE );
 }
  /* 为了完成复制,必须包含读打开,否则mmap()失败 */
  if ( ( dst = open( argv[ 2 ], O_RDWR | O_CREAT | O_TRUNC, PERMS ) ) < 0 )
 {
  perror( " open target " );
  exit( EXIT_FAILURE );
 }
  if ( fstat( src, & statbuf ) < 0 )
 {
  perror( " fstat source " );
  exit( EXIT_FAILURE );
 }
  /*
  * 参看前面man手册中的说明,mmap()不能用于扩展文件长度。所以这里必须事
  * 先扩大目标文件长度,准备一个空架子等待复制。
  */
  if ( lseek( dst, statbuf.st_size - 1 , SEEK_SET ) < 0 )
 {
  perror( " lseek target " );
  exit( EXIT_FAILURE );
 }
  if ( write( dst, & statbuf, 1 ) != 1 )
 {
  perror( " write target " );
  exit( EXIT_FAILURE );
 } 

  /* 读的时候指定 MAP_PRIVATE 即可 */
 sm = mmap( 0 , ( size_t )statbuf.st_size, PROT_READ,
    MAP_PRIVATE | MAP_NORESERVE, src, 0 );
  if ( MAP_FAILED == sm )
 {
  perror( " mmap source " );
  exit( EXIT_FAILURE );
 }
  /* 这里必须指定 MAP_SHARED 才可能真正改变静态文件 */
 dm = mmap( 0 , ( size_t )statbuf.st_size, PROT_WRITE,
    MAP_SHARED, dst, 0 );
  if ( MAP_FAILED == dm )
 {
  perror( " mmap target " );
  exit( EXIT_FAILURE );
 }
 memcpy( dm, sm, ( size_t )statbuf.st_size );
  /*
  * 可以不要这行代码
  *
  * msync( dm, ( size_t )statbuf.st_size, MS_SYNC );
  */
  return ( EXIT_SUCCESS );
}

mmap()好处是处理大文件时速度明显快于标准文件I/O,无论读写,都少了一次用户空间与内核空间之间的复制过程。操作内存还便于设计、优化算法。

文件I/O操作/proc/self/mem不存在页边界对齐的问题,但至少Linux的mmap()的最后一个形参offset并未强制要求页边界对齐,如果提供的值未对齐,系统自动向上舍入到页边界上。malloc()分配得到的地址不见得对齐在页边界上。

/proc/self/mem和/dev/kmem不同。root用户打开/dev/kmem就可以在用户空间访问到内核空间的数据,包括偏移0处的数据,系统提供了这样的支持。显然代码段经过/proc/self/mem可写映射后已经可写,无须mprotect()介入。

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持我们。

(0)

相关推荐

  • 使用mmap实现大文件的复制(单进程和多进程)

    使用mmap实现大文件的复制,供大家参考,具体内容如下 典型的文件复制的流程是: 1.读取(fread)被复制的文件的内容. 2.写入(fwrite)到新的文件中去. 使用mmap进行文件复制的流程则是: 1.为被复制的文件已经新文件分别进行mmap映射. 2.将被复制的文件映射的内存的内容复制到新文件映射的内存. 在知道了基本原理之后,让我们看看具体的做法,本文只分析使用mmap进行大文件复制的方法 具体的做法 先了解一些使用mmap时,应当注意的细节: 文件的大小必须要大于等于内存映射区的大

  • 使用mmap实现多进程对大文件拷贝

    本文实例为大家分享了mmap实现文件多进程拷贝,供大家参考,具体内容如下 假设有一个超大文件,需对其完成拷贝工作.为提高效率,可采用多进程并行拷贝的方法来实现.假设文件大小为len,共有n个进程对该文件进行拷贝.那每个进程拷贝的字节数应为len/n.但未必一定能整除,我们可以选择让最后一个进程负责剩余部分拷贝工作.可使用len % (len/n)将剩余部分大小求出. 为降低实现复杂度,可选用mmap来实现源.目标文件的映射,通过指针操作内存地址,设置每个进程拷贝的起始.结束位置.借助MAP_SH

  • 利用mmap实现文件拷贝功能

    利用mmap实现的一个文件拷贝例子,供大家参考,具体内容如下 /* * gcc -Wall -O3 -o copy_mmap copy_mmap.c */ #include < stdio.h > #include < stdlib.h > #include < string .h > /* for memcpy */ #include < strings.h > #include < sys / mman.h > #include < s

  • CI框架源码解读之利用Hook.php文件完成功能扩展的方法

    本文实例讲述了CI框架源码解读之利用Hook.php文件完成功能扩展的方法.分享给大家供大家参考,具体如下: 看了hook.php的源码,就知道CI使用hook来进行扩展的原理了. hook的基本知识 http://codeigniter.org.cn/user_guide/general/hooks.html CI中hook的使用经历了一个:开启hook,定义hook,调用hook,执行hook的过程. 手册中已经告知了开启.定义.调用的方法.那么hook的实现原理是啥呢. <?php if

  • 利用Java实现文件锁定功能

    目录 题目描述-文件锁定功能 1.题目 2.解题思路 3.代码详解 多学一个知识点 题目描述-文件锁定功能 1.题目 在操作文件时,有时会遇到一个问题:该文件已经被另一个程序占用,打开失败.这是因为另一个程序在编辑此文件. 实现:对D盘的xiaoxuzhu.txt文件进行锁定1分钟,1分钟后解锁. 2.解题思路 创建一个类:EncryptInput 使用FileChannel类的tryLock()获取文件锁定,如果没获取到文件锁,会返回null.可以通过这个返回值判断是否有没有被锁定. File

  • java高效实现大文件拷贝功能

    在java中,FileChannel类中有一些优化方法可以提高传输的效率,其中transferTo( )和 transferFrom( )方法允许将一个通道交叉连接到另一个通道,而不需要通过一个缓冲区来传递数据.只有FileChannel类有这两个方法,因此 channel-to-channel 传输中通道之一必须是 FileChannel.不能在sock通道之间传输数据,不过socket 通道实现WritableByteChannel 和 ReadableByteChannel 接口,因此文件

  • Spring Boot 利用WebUploader进行文件上传功能

    Web Uploader简介 WebUploader是由Baidu WebFE(FEX)团队开发的一个简单的以HTML5为主,FLASH为辅的现代文件上传组件.在现代的浏览器里面能充分发挥HTML5的优势,同时又不摒弃主流IE浏览器,沿用原来的FLASH运行时,兼容IE6+,iOS 6+, android 4+.两套运行时,同样的调用方式,可供用户任意选用.采用大文件分片并发上传,极大的提高了文件上传效率. 我们这里使用官网的一个例子来实现我们个人头像的上传. 我们的重点是在Spring Boo

  • Java利用文件输入输出流实现文件夹内所有文件拷贝到另一个文件夹

    一.基本目标 使用Java完成如下的操作: 把一个文件夹内的所有文件拷贝的另一的文件夹,例如,在F盘中有a与b两个文件夹: f:/a里面有一堆文件,运行Java程序之后就会全部复制到f:/b,并且完成重命名,在所有文件之前加rename_的前缀,如果里面有文件夹,则文件夹不重命名,里面的文件进行重命名,同样在所有文件之前加rename_的前缀: 二.制作过程 1.首先主函数非常简单,就是调用了上面FileTest类中的copyFolder函数 public class FileCopy { pu

  • NodeJS遍历文件生产文件列表功能示例

    本文实例讲述了NodeJS遍历文件生产文件列表功能.分享给大家供大家参考,具体如下: 功能需求:在工作中我们可能经常需要知道项目中静态文件列表发布,一个一个去检索写,那就太苦逼了. 要想知道里面的文件列表是不是很蛋疼,可能我们也会有dos tree去获取. 这里分享一下,通过node,知道文件路径,并配置远程路径,直接copy,发布. 新建filelist.js 里面都有注释,我就不哆嗦了. var fs = require("fs"); //path模块,可以生产相对和绝对路径 va

  • Node.js本地文件操作之文件拷贝与目录遍历的方法

    文件拷贝 NodeJS 提供了基本的文件操作 API,但是像文件拷贝这种高级功能就没有提供,因此我们先拿文件拷贝程序练手.与 copy 命令类似,我们的程序需要能接受源文件路径与目标文件路径两个参数. 小文件拷贝 我们使用 NodeJS 内置的 fs 模块简单实现这个程序如下. var fs = require('fs'); function copy(src, dst) { fs.writeFileSync(dst, fs.readFileSync(src)); } function main

  • Android利用Sensor(传感器)实现水平仪功能

    这里介绍的水平仪,指的是比较传统的气泡水平仪,在一个透明圆盘内充满液体,液体中留有一个气泡,当一端翘起时,该气泡就会浮向翘起的一端. 利用方向传感器返回的第一个参数,实现了一个指南针小应用. 我的Android进阶之旅------>Android利用Sensor(传感器)实现指南针功能 接下来,我们利用返回的第二.三个参数实现该水平仪.因为第二个参数,反映底部翘起的角度(当顶部翘起时为负值),第三个参数可以反映右侧翘起的角度(当左侧翘起时为负值).根据这两个角度就可以开发水平仪,实现手机哪端翘起

随机推荐