• 深入剖析Buddy 内存管理机制（上）

    Buddy 简介

    内存是计算机系统中最重要的核心资源之一，Buddy 系统是 Linux 最底层的内存管理机制，它使用 Page 粒度来管理内存。通常情况下一个 Page 的大小为 4K，在 Buddy 系统中分配、释放、回收的最小单位都是 Page。

    上图是 Buddy 系统的内部组织结构，本篇文章只关心未分配区域Free区域的管理，下篇文章再来分析可回收区域的管理。

    一个系统的内存总大小动辄几G几十G，不同的内存区域也有不同的特性。Buddy 使用层次化的结构把这些特性给组织起来：

    • 1、Node。在 NUMA 架构下存在多个 Memory 和 CPU 节点，不同 CPU 访问不同 Memory 节点的速度是不一样的，使用 Node 的形式把各个 Memory 节点的内存管理起来。
    • 2、Zone。某些外设只能访问低 16M 的物理地址，某些外设只能访问低 4G 的物理地址，32bit 的内核空间只能直接映射低 896M 物理地址。根据这些地址空间的限制，把同一个 node 内的内存再划分成多个 zone 。
    • 3、Order Freelist。按照空闲内存块的长度，把内存挂载到不同长度的 freelist 链表中。freelist 的长度是以 (2^order x Page) 来递增的，即 1 page、2 page、4 page … 2^n，通常情况下最大 order 为10 对应的空闲内存大小为 4M bytes。在分配时，如果一个空闲块的大小不能被任一长度整除，它就从大到小逐个分解成多个 (2^order x Page) 块来挂载；在释放时，首先把内存释放到对应长度的链表中，随后看看和该内存大小相同、地址相邻的兄弟块(Buddy)是不是free的，如果可以和 buddy 块合并成一个大块挂载到更高一阶的链表，在挂载的时候继续尝试合并。这就是 Buddy 的核心思想，已2的幂个 page 的长度来管理内存方便分配和释放，最核心的目的就是减少内存的碎片化。
    • 4、Migrate Type。为了进一步减少碎片化，系统对内存按照迁移类型进行了分类，最基本的迁移类型有：不可移动(unmovable)、可移动(movable)、可回收(reclaimable)。初始的最大块空闲内存都是 unmovable 的，如果其中一小块分配给了 reclaimable ，那么剩下的内存都变成了 reclaimable。这样坏的类型和坏的类型集中到了一起，避免坏情况的扩散从而造成多个 Free 区域无法合并的情况。
    • 5、PerCPU 1 Page Cache。大于 1 Page 的内存分配大多发生在内核态，而用户态的内存分配使用的是缺页机制所以分配的大小一般是 1 Page。针对大小为 1 Page 的内存分配，系统设计了一个免锁的 PerCPU cache 来支撑。1 Page (Order = 0) 的空闲内存优先释放到 PCP 中，超过了一定 batch 才会释放到 Order Freelist当中；同样 1 Page 的内存也优先在 PCP 中分配。

      资料直通车：Linux内核源码技术学习路线+视频教程内核源码

    学习直通车：Linux内核源码内存调优文件系统进程管理设备驱动/网络协议栈

    Buddy 初始化

    Struct Page 初始化

    以 Page 大小的粒度来管理内存，一个 Page 对应的物理内存称为页框 (Page Frame)。另外为了应对复杂的管理，系统给每个 Page 还分配了一个管理结构 struct page，系统在初始化时会预留这部分的物理内存并且映射到 vmemmap 区域 (参考：内核地址空间布局)，内核根据物理页帧的编号 pfn 就能在 vmemmap 区域中找到对应的 struct page 结构。

    struct page 结构存储了很多信息 (参考：Page 页帧管理详解)。在 sparse_init() 时已经把所有的struct page 结构清零，zone_sizes_init() 初始化时主要初始化两部分信息：

    • 1、初始化 struct page :

    将 page->flags 中保存的 setcion、node、zone 设置成对应的 index，这样后续操作 struct page 结构时就能快速的找到对应的 setcion、node、zone 而不需要重新根据 pfn 来进行计算。page->flags 中的 flag 部分初始化为 0。

    另外给 page->_refcount、_mapcount、_last_cpupid、lru 等成员都进行了初始化。

    1. start_kernel() → setup_arch() → x86_init.paging.pagetable_init() → native_pagetable_init() → paging_init() → zone_sizes_init() → free_area_init_nodes() → free_area_init_node() → free_area_init_core():
    2.  
    3. |→ memmap_init() → memmap_init_zone()
    4.  
    5. void __meminit memmap_init_zone(unsigned long size, int nid, unsigned long zone,
    6.   unsigned long start_pfn, enum memmap_context context)
    7. {
    8.  
    9.  for (pfn = start_pfn; pfn < end_pfn; pfn++) {
    10.  
    11.         /* (2) 当前是一个pageblock的第一个page */
    12.   if (!(pfn & (pageblock_nr_pages - 1))) {
    13.    struct page *page = pfn_to_page(pfn);
    14.  
    15.             /* (2.1) 初始化对应的 struct page 结构 */
    16.    __init_single_page(page, pfn, zone, nid,
    17.      context != MEMMAP_HOTPLUG);
    18.             /* (2.2) 初始化时把所有pageblock的migratetype设置成MIGRATE_MOVABLE */
    19.    set_pageblock_migratetype(page, MIGRATE_MOVABLE);
    20.    cond_resched();
    21.         /* (3) pageblock中的其他page */
    22.   } else {
    23.             /* (3.1) 初始化对应的 struct page 结构 */
    24.    __init_single_pfn(pfn, zone, nid,
    25.      context != MEMMAP_HOTPLUG);
    26.   }
    27.  }
    28. }
    29.  
    30. ↓
    31. __init_single_pfn()
    32. ↓
    33.  
    34. static void __meminit __init_single_page(struct page *page, unsigned long pfn,
    35.     unsigned long zone, int nid, bool zero)
    36. {
    37.     /* (2.1.1) 如果需要，对struct page结构清零 */
    38.  if (zero)
    39.   mm_zero_struct_page(page);
    40.     /* (2.1.2) 设置page->flags中的setcion index、node index、zone index */
    41.  set_page_links(page, zone, nid, pfn);
    42.     /* (2.1.3) 设置page->_refcount = 1 */
    43.  init_page_count(page);
    44.     /* (2.1.4) 设置page->_mapcount = -1 */
    45.  page_mapcount_reset(page);
    46.     /* (2.1.5) 设置page->_last_cpupid = -1 */
    47.  page_cpupid_reset_last(page);
    48.  
    49.     /* (2.1.6) 初始化page->lru */
    50.  INIT_LIST_HEAD(&page->lru);
    51. #ifdef WANT_PAGE_VIRTUAL
    52.  /* The shift won't overflow because ZONE_NORMAL is below 4G. */
    53.  if (!is_highmem_idx(zone))
    54.   set_page_address(page, __va(pfn << PAGE_SHIFT));
    55. #endif
    56. }
    • 2、分配并初始化 zone->pageblock_flags：文章开始时说了 migrate type 的概念。系统把内存划分成多个 pageblock，一个 pageblock 即对应 (2^max_order x Page)，每个 pageblock 拥有自己的 migrate type。

    系统以 zone 为单位分配空间来保存所有 pageblock 的 migrate type：

    1. start_kernel() → setup_arch() → x86_init.paging.pagetable_init() → native_pagetable_init() → paging_init() → zone_sizes_init() → free_area_init_nodes() → free_area_init_node() → free_area_init_core():
    2.  
    3. |→ setup_usemap()
    4.  
    5. static void __init setup_usemap(struct pglist_data *pgdat,
    6.     struct zone *zone,
    7.     unsigned long zone_start_pfn,
    8.     unsigned long zonesize)
    9. {
    10.  unsigned long usemapsize = usemap_size(zone_start_pfn, zonesize);
    11.  zone->pageblock_flags = NULL;
    12.  if (usemapsize)
    13.         /* (1) 分配存储当前zone里所有pageblock的migrate标志 */
    14.   zone->pageblock_flags =
    15.    memblock_virt_alloc_node_nopanic(usemapsize,
    16.         pgdat->node_id);
    17. }

    pageblock 的初始 migrate type 为 MIGRATE_MOVABLE：

    1. void __meminit memmap_init_zone(unsigned long size, int nid, unsigned long zone,
    2.   unsigned long start_pfn, enum memmap_context context)
    3. {
    4.  
    5.  for (pfn = start_pfn; pfn < end_pfn; pfn++) {
    6.  
    7.         /* (2) 当前是一个pageblock的第一个page */
    8.   if (!(pfn & (pageblock_nr_pages - 1))) {
    9.    struct page *page = pfn_to_page(pfn);
    10.  
    11.             /* (2.1) 初始化对应的 struct page 结构 */
    12.    __init_single_page(page, pfn, zone, nid,
    13.      context != MEMMAP_HOTPLUG);
    14.             /* (2.2) 初始化时把所有pageblock的migratetype设置成MIGRATE_MOVABLE */
    15.    set_pageblock_migratetype(page, MIGRATE_MOVABLE);
    16.    cond_resched();
    17.         /* (3) pageblock中的其他page */
    18.   } else {
    19.             /* (3.1) 初始化对应的 struct page 结构 */
    20.    __init_single_pfn(pfn, zone, nid,
    21.      context != MEMMAP_HOTPLUG);
    22.   }
    23.  }
    24. }

    pageblock 中第一个分配的内存的 migrate type 决定了整个 pageblock 的 migrate type。

    Buddy 初始化

    在内核启动过程中在 Buddy 初始化以前，系统使用一个简便的 Memblock 机制来管理内存。在 Buddy 数据结构准备好后，需要把 Memblock 中的内存释放到 Buddy 当中。

    这就是 Buddy 系统初始的状态，除了保留的内存，其他的内存都处于 Free 状态：

    1. start_kernel() → mm_init() → mem_init() → free_all_bootmem():
    2.  
    3. unsigned long __init free_all_bootmem(void)
    4. {
    5.  unsigned long pages;
    6.  
    7.     /* (1) 将每个node每个zone管理的page清零：z->managed_pages = 0 */
    8.  reset_all_zones_managed_pages();
    9.  
    10.     /* (2) 将memblock中的内存转移到buddy系统中 */
    11.  pages = free_low_memory_core_early();
    12.  totalram_pages += pages;
    13.  
    14.  return pages;
    15. }
    16.  
    17. ↓
    18.  
    19. static unsigned long __init free_low_memory_core_early(void)
    20. {
    21.  unsigned long count = 0;
    22.  phys_addr_t start, end;
    23.  u64 i;
    24.  
    25.  memblock_clear_hotplug(0, -1);
    26.  
    27.     /* (2.1) 遍历memblock中的保留内存，将其对应的`struct page`结构page->flags设置PG_reserved标志 */
    28.  for_each_reserved_mem_region(i, &start, &end)
    29.   reserve_bootmem_region(start, end);
    30.  
    31.  /*
    32.   * We need to use NUMA_NO_NODE instead of NODE_DATA(0)->node_id
    33.   *  because in some case like Node0 doesn't have RAM installed
    34.   *  low ram will be on Node1
    35.   */
    36.     /* (2.2) 遍历memblock中尚未分配的内存，将其释放到buddy系统中 */
    37.  for_each_free_mem_range(i, NUMA_NO_NODE, MEMBLOCK_NONE, &start, &end,
    38.     NULL)
    39.   count += __free_memory_core(start, end);
    41.  return count;
    42. }
    44. ↓
    45. __free_memory_core()
    46. ↓
    48. static void __init __free_pages_memory(unsigned long start, unsigned long end)
    49. {
    50.  int order;
    52.     /* (2.2.1) 对需要释放的区域，拆分成尽可能大的 2^order 内存块去释放 */
    53.  while (start < end) {
    54.   order = min(MAX_ORDER - 1UL, __ffs(start));
    56.         /* (2.2.1.1) 计算最大的释放长度(2^order)page */
    57.   while (start + (1UL << order) > end)
    58.    order--;
    60.         /* (2.2.1.2) 继续释放 */
    61.   __free_pages_bootmem(pfn_to_page(start), start, order);
    63.   start += (1UL << order);
    64.  }
    65. }
    67. ↓
    69. __free_pages_bootmem() → __free_pages_boot_core() → __free_pages()

    具体的释放细节 __free_pages() 在下一节中解析。

     

  • 相关阅读:
    WebSocket 入门案例
    django中的跨域问题以及解决策略
    Java基础——final关键字
    element中less，scss，sass穿透设置表格table头的背景色(样式)
    谷粒商城 (二十六) --------- 商品服务 API 新增商品
    labelimg一直闪退怎么解决啊
    [JavaWeb学习] tomcat简介、安装及项目部署
    【技术实战】Vue功能样式实战【一】
    Python习题详解
    【Netty】TCP拆包黏包问题讲解_基础概念介绍
  • 原文地址：https://blog.csdn.net/youzhangjing_/article/details/127854931