• momerymap mmap 存储映射I/O


    简介
    存储映射I/O使一个磁盘文件与存储空间中的一个缓冲区映射,于是当从缓冲区中取数据,就相当于读文件中的相应字节。于此类似,将数据存入缓冲区,则相应的字节就自动写入文件,这样,就可在不不适用read和write函数的情况下,使用地址(指针)完成I/O操作。

    1、使用场景

    UNIX网络编程第二卷进程间通信对mmap函数进行了说明。该函数主要用途有三个:
    (1) 将一个普通文件映射到内存中,通常在需要对文件进行频繁读写时使用,这样用内存读写取代I/O读写,以获得较高的性能。
     (2)将特殊文件进行匿名内存映射,可以为关联进程提供共享内存空间。
     (3)为无关联的进程提供共享内存空间,一般也是将一个普通文件映射到内存中。

    2.调用函数 介绍

    1. #include
    2. void * mmap(void *addr,size_t length, int prot, int flags, int fd,off_t offset)
    3. 参数:
    4. addr: 指定映射被放置的虚拟地址,如果将addr指定为NULL,那么内核会为映射分配一个合适的地址。如果addr为一个非NULL值,则内核在选择地址映射时会将该参数值作为一个提示信息来处理。不管采用何种方式,内核会选择一个不与任何既有映射冲突的地址。在处理过程中, 内核会将指定的地址舍入到最近的一个分页边界处。
    5. length:参数指定了映射的字节数。尽管length 无需是一个系统分页大小的倍数,但内核会以分页大小为单位来创建映射,因此实际上length会被向上提升为分页大小的下一个倍数。
    6. prot: 参数掩码,用于指定映射上的保护信息:标记有:
    7. 值 描述
    8. PROT_NONE 区域无法访问
    9. PROT_READ 区域内容可读取
    10. PROT_WRITE 区域内容可修改
    11. PROT_EXEC 区域内容可执行
    12. flags:用于指定映射类型
    13. flags 描述
    14. MAP_PRIVATE 创建一个私有映射。映射区域中内存发生变化对使用同一映射 的其他进程不可见。对文件映射来讲,所发生的变更将不会反应在底层文件上。
    15. MAP_SHARED 区域中内容上所发生的变更对使用同一个映射区域的其他进程可见
    16. MAP_ANONYMOUS 创建一个匿名映射
    17. MAP_FIXED 原样解释addr
    18. MAP_LOCKED 将映射分页锁进内存
    19. MAP_HUGETLB 创建一个使用巨页的映射
    20. MAP_HUGE_2MB 与MAP_HUGETLB一起使用,映射的巨页的页大小为2MB
    21. MAP_NORESERVE 控制交换空间预留
    22. MAP_POPULATE 填充一个映射的分页
    23. MAP_UNINITALIZED 防止一个匿名映射被清零
    24. MAP_32BIT 仅在x86-64系统下支持,映射空间位于前2G空间
    25. MAP_STACK 目前在linux中没有实现,映射空间为stack 空间
    26. MAP_SHARED_VALIDATE 与MAP_SHARED功能一样,区别就是MAP_SHARED会忽略未知flag设置,而MAP_SHARED_VALIDATE会对flags进行检查,如果是unknow flags将会返回EONNOTSUPP
    27. MAP_SYNC 只有和MAP_SHARED_VALIDATE一起使用才有效,仅支持DAX 文件,如果是其他类型文件将会返回错误。


     

    匿名映射/文件映射

    mmap按照映射的类型主要可以分为文件映射和匿名映射。

        文件映射:文件映射是将一个文件的一部分直接映射到调用进程的虚拟内存中,一旦一个文件被映射之后就可以通过在相应内存区域中操作字节来访问文件内容了。映射的分页会在需要的时候从文件中(自动)加载。这种映射被称为基于文件映射或内存映射文件。
        匿名映射:一个匿名映射没有相应的文件。相反,这种映射的页面会被初始化为0.

    同时又按照私有映射(MAP_PRIVATE)和共享映射分别将文件映射和匿名映射划分成不同使用用途:
     

    使用方法:

     匿名映射

    匿名映射没有对应文件映射,其创建方法有两种:

        在flags中指定MAP_ANONYMOUS并将fd指定为-1
        打开/dev/zero设备文件并将得到的文件描述符传递给mmap.。/dev/zero是一个虚拟设备,当从中读取数据时它总是会返回0,而写入到这个设备中的数据总是被丢弃。/dev/zero的一个常见用途使用0来组装一个文件。

    文件映射

    文件映射创建需要执行下面的步骤:

        获取文件的一个描述符,通常通过调用open()来完成。
        将文件描述符作为fd参数传入mmap()调用。
    总结:

    内存映射I/O所带来的性能优势在大型文件中执行重复随机访问时最有可能体现出来。如果顺序访问一个文件,并假设执行I/O时使用的缓冲区大小足够大以至于能够避免执行大量的I/O系统调用,那么与read()和write()相比,mmap带来的性能上的提升就非常有限或者说根本就没有带来性能上的提升。性能提升的幅度之所以非常有限的原因是不管使用何种技术,真个文件的内容在磁盘和内存之间只传输一次,效率的提高主要得益于减少了用户空间和内核空间之间得一次数据传输,并且与磁盘I/O所需得时间相比,内存使用量得降低通常是可以忽略的。
     

    使用样例:

    1. #include
    2. #include
    3. #include
    4. #include
    5. #include
    6. #include
    7. #include
    8. #include
    9. #define BUF_SIZE 100
    10. char *mapped creatMMap(const char * filename,struct stat *sb) // failed return nullptr succ mpped;
    11. {
    12. char *mapped=nullptr;
    13. /* 打开文件 */
    14. if ((fd = open(filename, O_RDWR)) < 0) {
    15. perror("open");
    16. return mapped;
    17. }
    18. /* 获取文件的属性 */
    19. if ((fstat(fd, sb)) == -1) {
    20. perror("fstat");
    21. return mapped;
    22. }
    23. /* 将文件映射至进程的地址空间 */
    24. if ((mapped = (char *)mmap(NULL, sb->st_size, PROT_READ |
    25. PROT_WRITE, MAP_SHARED, fd, 0)) == (void *)-1) {
    26. perror("mmap");
    27. return mapped;
    28. }
    29. /* 映射完后, 关闭文件也可以操纵内存 */
    30. close(fd);
    31. return mapped;
    32. }
    33. bool readMMap(char *mapped,char * dest, long start,long length) // start :开始位置,读取长度;
    34. {
    35. memcpy(readmap,mapped+start,length);
    36. printf("read =========================\n");
    37. printf("%s\n",readmap);
    38. }
    39. bool writeMMap(char* mapped ,char* src,long st_size,bool sysn) // src :写入数据,是否同步到本地 sysn;st_size:同步的长度;
    40. {
    41. memcpy(mapped,(void*)newStr,strlen(newStr));
    42. if(sysn)
    43. if ((msync((void *)mapped, st_size, MS_SYNC)) == -1) {
    44. perror("msync");
    45. return false;
    46. }
    47. return true;
    48. }
    49. int main(int argc, char **argv)
    50. {
    51. int fd, nread, i;
    52. struct stat sb;
    53. char *mapped = creatMMap("./data.txt",&sb);
    54. // printf memory map context;
    55. printf("111 %s\n", mapped);
    56. // read memory map
    57. char readmap[128]={0};
    58. readMMap(mapped,readmap, 0,20);
    59. printf("new =========================\n");
    60. /* 修改,同步到磁盘文件 */
    61. void * mpt = &mapped ;
    62. char newStr[128]="====hello===================\n";
    63. writeMMap(mpt,newStr,sb.Size,true);
    64. // printf memory map context;
    65. printf("222 %s", mapped);
    66. while(1)
    67. {
    68. printf("33 %s", mapped);
    69. sleep(2);
    70. }
    71. /* 释放存储映射区 */
    72. if ((munmap((void *)mapped, sb.st_size)) == -1) {
    73. perror("munmap");
    74. }
    75. return 0;
    76. }

  • 相关阅读:
    在执行对 HDFS 中创建用户目录的指令时,回复的命令如下图所示
    Hadoop概述
    添加nfc读卡器测试程序
    Swift团队逼走创始人?本人回应表示团队“有毒”
    同步和异步
    android V2签名三方app预置方法
    springboot系列(二十一):基于AOP实现自定义注解且记录接口日志|超级超级详细,建议收藏
    C++三角函数和反三角函数
    夯实C++基础学习笔记
    npm install失败的分析与解决方案,以及修复完成的代码地址
  • 原文地址:https://blog.csdn.net/q610098308/article/details/126223330