Linux物理内存管理：从伙伴系统到性能调优实战指南

在实际 Linux 内核开发与性能调优工作中，物理内存管理是决定系统稳定性和性能的核心模块。无论是驱动开发、内核模块编写，还是系统级性能优化，不理解物理内存的组织方式、分配机制和回收策略，就很难真正掌握 Linux 系统的运行机理。本文将以 Linux 5.10 内核为基础，结合 QEMU 实验环境，深入剖析物理内存从启动探测到伙伴系统分配的全流程，并给出可验证的实验方法和常见问题排查路径。

1. 理解 Linux 物理内存管理的基本框架

物理内存管理在内核启动初期就要完成基础布局，之后才能支持进程调度、文件系统、网络协议栈等高级功能。它的核心任务包括：内存探测、内存映射、物理页面分配与回收。

1.1 为什么需要分层管理物理内存

在 x86_64 架构中，物理内存并不是均匀访问的。NUMA（Non-Uniform Memory Access）架构下，CPU 访问本地内存的速度远快于访问远程内存。即使是在 UMA 架构中，由于 DMA 设备只能访问低端内存，内核也需要区分不同区域的内存用途。

Linux 使用struct zone结构管理不同类型的内存区域：

// 以 Linux 5.10 内核源码为例 enum zone_type { #ifdef CONFIG_ZONE_DMA ZONE_DMA, // 直接内存访问区域（0-16MB） #endif #ifdef CONFIG_ZONE_DMA32 ZONE_DMA32, // 32位设备DMA区域（16MB-4GB） #endif ZONE_NORMAL, // 正常映射区域（4GB-直接映射上限） #ifdef CONFIG_HIGHMEM ZONE_HIGHMEM, // 高端内存（不能直接映射） #endif ZONE_MOVABLE, // 可移动区域（防止内存碎片） __MAX_NR_ZONES };

这种分区管理使得内核能够根据不同的使用场景分配最合适的内存。例如，为 DMA 设备分配 ZONE_DMA 的内存，为普通内核操作分配 ZONE_NORMAL 的内存。

1.2 物理内存的三种组织视角

理解物理内存管理需要掌握三种不同的视角：

1. 节点（Node）视角：在 NUMA 系统中，每个物理 CPU 对应一个内存节点，通过struct pglist_data描述。
2. 区域（Zone）视角：每个节点内按功能划分为不同的内存区域，用struct zone管理。
3. 页面（Page）视角：内存分配的基本单位是页面（通常4KB），通过struct page结构描述每个物理页面。

这种层级关系可以表示为：Node -> Zone -> Page。在 UMA 系统中，只有一个节点（node 0），简化了管理复杂度。

2. 实验环境搭建与内核编译

为了深入理解物理内存管理，我们需要一个可调试的实验环境。QEMU 虚拟机配合自定义编译的内核是最佳选择。

2.1 内核编译配置

首先获取 Linux 5.10 内核源码，并进行基础配置：

# 下载内核源码 wget https://cdn.kernel.org/pub/linux/kernel/v5.x/linux-5.10.tar.xz tar -xvf linux-5.10.tar.xz cd linux-5.10 # 基础配置（针对 x86_64 架构） make x86_64_defconfig # 启用内存调试选项 ./scripts/config -e CONFIG_DEBUG_KERNEL ./scripts/config -e CONFIG_DEBUG_MEMORY_INIT ./scripts/config -e CONFIG_PAGE_EXTENSION ./scripts/config -e CONFIG_DEBUG_VM ./scripts/config -e CONFIG_PAGE_OWNER # 编译内核 make -j$(nproc)

关键配置选项说明：

• CONFIG_DEBUG_VM：开启内存管理子系统的调试检查
• CONFIG_PAGE_EXTENSION：扩展 page 结构，支持更详细的内存跟踪
• CONFIG_PAGE_OWNER：记录每个页面的分配者，用于内存泄漏调试

2.2 QEMU 启动配置

使用 QEMU 启动自定义内核，配置适当的内存大小用于实验：

# 创建一个 1GB 的磁盘镜像（用于根文件系统） qemu-img create -f qcow2 rootfs.qcow2 1G # 启动 QEMU，分配 512MB 内存 qemu-system-x86_64 \ -kernel arch/x86/boot/bzImage \ -append "console=ttyS0 root=/dev/sda rw" \ -hda rootfs.qcow2 \ -m 512M \ -smp 2 \ -nographic \ -serial mon:stdio

-m 512M参数指定虚拟机内存为 512MB，这个大小足够演示内存管理机制，又不会占用过多宿主机资源。

3. 物理内存的启动初始化流程

内核启动过程中，物理内存管理要经历从无到有的建立过程。这个流程决定了后续所有内存操作的基础。

3.1 BIOS/e820 内存探测

x86 架构启动时，BIOS 通过 e820 调用探测物理内存布局。内核在arch/x86/kernel/e820.c中处理这些信息：

// 简化版的 e820 表处理流程 void __init e820__memory_setup(void) { // 从 BIOS 获取原始内存映射 struct boot_e820_entry *entries = boot_params.e820_table; int nr_entries = boot_params.e820_entries; // 处理每个内存区域 for (int i = 0; i < nr_entries; i++) { u64 start = entries[i].addr; u64 size = entries[i].size; u32 type = entries[i].type; switch (type) { case E820_RAM: // 可用内存 memblock_add(start, size); break; case E820_RESERVED: // 保留区域（如 ACPI 表） memblock_reserve(start, size); break; // ... 其他类型处理 } } }

探测完成后，可以通过/proc/iomem查看内存布局：

# 在 QEMU 中查看内存布局 cat /proc/iomem | grep -A 10 "System RAM"

3.2 早期内存分配器：memblock

在完整的伙伴系统建立之前，内核使用 memblock 分配器管理内存。memblock 将内存分为两个区域：

• memory：所有可用物理内存
• reserved：已分配或保留的内存

memblock 操作示例：

// 早期内存分配 phys_addr_t early_mem = memblock_alloc(size, align); // 保留特定区域（如内核代码区） memblock_reserve(kernel_start, kernel_size);

memblock 在setup_arch()函数中被初始化，并在伙伴系统就绪后退役。

3.3 伙伴系统（Buddy System）初始化

伙伴系统是 Linux 物理内存管理的核心，它负责以页面为单位分配和释放物理内存。初始化过程在mm/page_alloc.c的free_area_init()函数中完成：

// 简化版的伙伴系统初始化 void __init free_area_init(unsigned long *zones_size) { // 初始化每个内存区域 for (int i = 0; i < MAX_NR_ZONES; i++) { struct zone *zone = pgdat->node_zones + i; // 初始化每个迁移类型的空闲列表 for (int m = 0; m < MIGRATE_TYPES; m++) { INIT_LIST_HEAD(&zone->free_area[order].free_list[m]); zone->free_area[order].nr_free = 0; } } }

初始化完成后，memblock 分配器将所有权移交给伙伴系统，早期内存分配转换为正式的页面管理。

4. 伙伴系统的工作原理与实操验证

伙伴系统通过维护11个（order 0-10）空闲页面链表来管理内存，每个链表包含2^order个连续页面的块。

4.1 内存分配流程分析

以alloc_pages()函数为例，看伙伴系统如何分配内存：

// 分配 2^order 个连续页面 struct page *alloc_pages(gfp_t gfp_mask, unsigned int order) { // 1. 根据 gfp_mask 确定合适的区域类型 struct zonelist *zonelist = node_zonelist(nid, gfp_mask); // 2. 按区域优先级尝试分配 for_each_zone_zonelist(zone, z, zonelist, ac->highest_zoneidx) { page = rmqueue(zone, order, gfp_mask, alloc_flags); if (page) return page; } // 3. 如果直接分配失败，尝试内存回收后再分配 page = __alloc_pages_slowpath(gfp_mask, order, ac); return page; }

关键参数说明：

• gfp_mask：分配标志，如GFP_KERNEL（内核内存）、GFP_USER（用户内存）
• order：分配阶数，0 表示1页（4KB），10 表示1024页（4MB）

4.2 通过 /proc/buddyinfo 验证伙伴系统状态

伙伴系统的运行状态可以通过 proc 文件系统实时观察：

# 查看伙伴系统状态 cat /proc/buddyinfo # 示例输出： Node 0, zone DMA 1 1 0 1 2 1 1 0 1 1 3 Node 0, zone DMA32 314 252 180 146 89 55 30 15 8 5 380 Node 0, zone Normal 512 256 128 64 32 16 8 4 2 1 1024

输出解释：

• 每行对应一个内存区域（DMA、DMA32、Normal）
• 数字表示对应 order（0-10）的空闲块数量
• 例如 "Normal" 行的第一个数字 "512" 表示有512个单页（order-0）空闲块

4.3 内存分配实战测试

编写一个内核模块来测试不同 order 的内存分配：

#include <linux/module.h> #include <linux/kernel.h> #include <linux/gfp.h> static int __init buddy_test_init(void) { struct page *page; int orders[] = {0, 5, 9}; // 测试 1页、32页、512页 int i; printk("开始伙伴系统分配测试\n"); for (i = 0; i < ARRAY_SIZE(orders); i++) { page = alloc_pages(GFP_KERNEL, orders[i]); if (!page) { printk("order-%d 分配失败\n", orders[i]); continue; } printk("order-%d 分配成功，物理地址: %llx\n", orders[i], (u64)page_to_phys(page)); // 稍后释放，实际项目中需要妥善管理 __free_pages(page, orders[i]); } return 0; } module_init(buddy_test_init); MODULE_LICENSE("GPL");

编译加载这个模块，可以验证伙伴系统在不同 order 下的分配能力。

5. 物理内存管理的常见问题与排查

在实际项目中，物理内存问题往往表现为分配失败、系统卡顿或直接崩溃。掌握排查方法至关重要。

5.1 内存不足（OOM）问题排查

当系统内存严重不足时，OOM killer 会被触发。排查步骤：

1. 查看系统内存状态：

# 查看内存总体使用情况 free -h cat /proc/meminfo # 查看内存区域水位线 cat /proc/zoneinfo | grep -A5 "Node 0"

2. 分析 OOM 日志：

# 查看内核日志中的 OOM 信息 dmesg | grep -i "out of memory\|killed process" # 示例输出： [12345.678] Out of memory: Killed process 1234 (java) total-vm:2048000kB, anon-rss:1024000kB, file-rss:512000kB, UID:1000

3. 检查内存泄漏嫌疑进程：

# 按内存使用排序进程 ps aux --sort=-%mem | head -10 # 查看进程详细内存映射 cat /proc/<pid>/smaps | grep -i "pss\|swap"

5.2 内存碎片化问题

内存碎片化会导致大块连续内存分配失败，即使总体空闲内存充足。检测方法：

# 查看碎片化情况 cat /proc/buddyinfo cat /proc/pagetypeinfo # 查看不可移动页面分布 cat /proc/pagetypeinfo | grep "Unmovable"

解决方案：

• 定期重启内存敏感服务
• 使用CONFIG_COMPACTION启用内存压缩
• 设置/proc/sys/vm/compact_memory手动触发压缩

5.3 性能调优参数

通过 sysctl 调整内存管理参数：

# 降低 swappiness，减少交换倾向 echo 10 > /proc/sys/vm/swappiness # 调整脏页回写阈值 echo 1500 > /proc/sys/vm/dirty_writeback_centisecs # 启用透明大页（根据负载评估） echo always > /sys/kernel/mm/transparent_hugepage/enabled

6. 高级话题与生产环境建议

理解了基础机制后，还需要关注生产环境中的实际考量。

6.1 NUMA 系统优化

在 NUMA 系统中，错误的内存分配会导致严重的性能下降。优化策略：

# 查看 NUMA 内存分布 numastat -m # 绑定进程到特定节点 numactl --cpunodebind=0 --membind=0 ./application # 在代码中指定内存分配策略 // 在特定节点分配内存 page = alloc_pages_node(0, GFP_KERNEL, order);

6.2 大页内存配置

对于需要大量连续内存的应用（如数据库），可以使用大页提升性能：

# 查看大页支持 cat /proc/meminfo | grep Huge # 配置大页池（示例：配置 1024 个 2MB 大页） echo 1024 > /proc/sys/vm/nr_hugepages # 挂载大页文件系统 mount -t hugetlbfs hugetlbfs /dev/hugepages

6.3 内存热插拔支持

在生产环境中，可能需要动态调整内存容量：

# 查看可热插拔内存范围 ls /sys/devices/system/memory/ # 离线内存块（谨慎操作） echo offline > /sys/devices/system/memory/memoryXXX/state # 在线内存块 echo online > /sys/devices/system/memory/memoryXXX/state

7. 调试工具与内存分析实战

掌握正确的工具能够大幅提升内存问题排查效率。

7.1 内核内存调试工具链

启用page_owner进行详细跟踪：

# 编译时启用 CONFIG_PAGE_OWNER # 运行时开启跟踪 echo 1 > /proc/sys/kernel/page_owner # 查看页面分配历史 cat /proc/page_owner > page_owner.txt

7.2 性能分析工具

# 使用 perf 分析内存相关事件 perf record -e page-faults,minor-faults,major-faults -ag perf report # 使用 slabtop 查看 slab 分配情况 slabtop -o # 查看详细内存统计 cat /proc/vmstat | grep -E "pgalloc|pgfree|pgfault"

物理内存管理是 Linux 内核最复杂的子系统之一，但也是理解系统工作原理的关键。通过实验环境搭建、源码分析和工具使用，可以逐步建立起对内存管理的直观认识。在生产环境中，结合监控告警和性能分析，能够有效预防和解决内存相关问题。建议从简单的内存分配测试开始，逐步深入到 NUMA 优化、大页配置等高级话题，在实践中深化理解。