ICS09 虚拟内存

虚拟内存

虚拟内存 (Virtual Memory) 是现代操作系统中一项重要的内存管理机制。它为每个进程提供了一个独立的、线性的虚拟地址空间，并通过地址翻译机制将虚拟地址映射到物理内存。本文将详细介绍虚拟内存的工作原理、优势以及地址翻译的具体过程。

虚拟地址空间 (Address Space)

虚拟内存映射机制

虚拟内存的优势

虚拟内存作为缓存机制

• 缓存策略: 虚拟内存采用全相联 (Fully Associative) 缓存策略，即（磁盘中的）虚拟页可以映射到任意物理页。操作系统需要管理虚拟页到物理页的映射关系，表现为在内核中存放数据结构页表（page table），每个条目（Page Table Entries，PTEs）记录映射关系，存放是否有效（valid）和对应的物理页索引。每个进程均有自己的页表。

• 缺页错误 (Page Fault): 当进程访问一个未缓存的虚拟页时，会触发缺页错误。操作系统会将所需的页面从磁盘加载到物理内存中。

• 按需调页 (Demand Paging): 操作系统仅在需要时才将页面加载到物理内存中，从而提高内存利用率。

VM Caching机制

虚拟地址总共有三种状态：未分配、已分配未缓存、已分配有缓存。进程通过虚拟地址访存时，MMU查找页表中对应该虚拟页的表项，如果找到valid位为1的对应表项，则说明命中（page hit），已经被缓存到物理内存中

如果无法找到，则说明miss，在这里称为页错误（page fault），也即该页还没有被缓存到物理内存中。MMU会触发一个异常，进入内核态处理。内核态的page fault handler在物理内存中选择一个空页/victim页，并将其替换为需要的页。

对于victim页，它会被转移到磁盘上一个特殊的分区（swap，大小约为内存的2倍，按页组织）。同时页表中对应victim页的页表项里，地址被换为磁盘中对应的页编号（SPN）。相当于被“冻结”。

这种机制称为按需调页（demand paging）。

虚拟内存用于内存管理

• 离散内存分配: 操作系统可以将连续的虚拟页映射到不连续的物理页，从而使物理页在物理内存中的组织更灵活（不必连续）。同时，虚拟地址空间的大小可以大于或小于物理内存的大小。

• 共享库: 我们在第七章中提到，操作系统可以只在物理内存中保留一份共享库的副本，而多个进程可以共享这同一个副本，节省内存空间。

• 简化链接和加载: 虚拟内存使得链接和加载过程更加简单，因为每个程序都使用相同的虚拟地址空间布局。加载器使用 execve 加载程序时，只需要重置页表（全部设为invalid）即可，按需调页机制会自动地将程序的数据和代码分时写入物理内存。

虚拟内存用于内存保护

VM地址翻译机制

• 虚拟地址 (VA): 由虚拟页号 (VPN) 和页内偏移 (VPO) 组成。

• 物理地址 (PA): 由物理页号 (PPN) 和页内偏移 (PPO) 组成。PPO 与 VPO 相同。

• 页表基址寄存器 (Page Table Base Register, PTBR / CR3): 存储页表的起始地址。注意，PTBE存储的是物理地址。

1. MMU 根据 VA 中的 VPN 查阅页表。

2. 如果找到有效的 PTE，则提取 PPN，并与 VPO 组合成 PA。

3. 如果未找到有效的 PTE，则触发缺页错误。

快表 (TLB, Translation Lookaside Buffer)

• TLB 命中: MMU 直接从 TLB 中获取 PPN。

• TLB 未命中: MMU 需要访问内存中的页表，并将找到的 PTE 存储到 TLB 中。

多级页表

• 页表项: 在多级页表中，除了最后一级页表，其他级别的页表项存储的是下一级页表的起始物理地址。

• 地址翻译: 地址翻译过程需要多次访问内存来读取页表项，因此 TLB 对于多级页表尤为重要。

多级页表下的地址翻译

• 首先以VPN为索引访问TLB，查询TLB中是否已缓存了该页的PPN；若有（TLB hit），直接将PPN与VPO组合成物理地址即可；若没有（TLB miss），则需要进行四次页表项读取：

• 48位地址拆分为9+9+9+9+12，分别对应一、二、三、四级页表的索引和页偏移（VPO）。

• 通过PTBR访问一级页表，以头9位为索引，找到二级页表的物理起始地址

• 访问二级页表，以次9位为索引，找到三级页表的物理起始地址

• 访问三级页表，以再次9位为索引，找到四级页表的物理起始地址

• 访问四级页表，以最低9位为索引，找到对应页的物理PPN

• PPN加上12位页偏移PPO得到真实物理地址PA

TLB存储的是特定进程的虚拟地址与物理地址的映射关系，与进程相关，因此在切换进程时也需要处理TLB。主要有两种方法：

1. 当进程切换时也切换TLB，此时需要重新写入整个TLB。

2. 将TLB中的表项与进程ID相关联，每个表项标示出它存储的是哪个进程的地址映射（也即下文中的ASID），查表时将VPN与ASID一并查找即可。此时进程切换时不需要重新写入整个TLB。

页表项 (PTE) 格式

符号总结

• VP = VPN (TLB Tag + TLB Index) + VPO

• PP = PPN (Cache Tag) + PPO (Cache Index + Cache Offset)

• VPO = PPO

Linux进程虚拟内存机制

虚拟内存管理是现代操作系统的核心机制之一，它通过抽象化物理内存资源，为每个进程提供独立且受保护的地址空间。本文将从内核空间与用户空间结构、内存映射机制以及关键系统调用三个维度，深入剖析Linux进程虚拟内存的实现原理。

内核空间（Kernel Space）组成

核心组件架构（仅了解）

组件	功能描述
内核代码	实现操作系统核心功能，包括进程调度、内存管理、设备驱动及文件系统等子系统
内核数据	维护内核运行时数据结构，如全局描述符表(GDT)、进程控制块(PCB)队列及内存管理单元(MMU)相关元数据
内存管理结构	进程级内存管理单元，包含： • 多级页表体系实现虚拟-物理地址转换 • mm_struct描述进程完整内存布局 • vm_area_struct链表管理虚拟内存区域
系统调用接口	提供用户态访问内核服务的标准化接口，涵盖文件操作、进程控制、网络通信等关键系统功能
内核堆栈	为每个进程维护独立的内核态执行上下文存储区，保障系统调用和中断处理的安全隔离
中断管理模块	处理硬件中断和软件异常，包含中断描述符表(IDT)和分层式中断服务例程(ISR)体系
设备驱动层	提供硬件设备抽象接口，实现存储设备、网络接口等外设的统一访问控制
动态内核模块	支持运行时加载的可插拔内核组件，实现功能扩展而不影响核心系统稳定性

关键数据结构解析

1. pgd字段指向进程的页全局目录（也即一级页表起始地址），在上下文切换时通过写入PTBR/CR3寄存器完成地址空间切换。

2. mmap链表维护所有虚拟内存区域（vm_area_struct），每个VMA对应特定类型的内存段（如代码段、堆区等）。

3. 边界字段（如start_brk、brk）动态跟踪堆内存扩展状态，支持malloc等内存分配操作。

用户空间（User Space）组成

内存区域分布

内存映射机制

1. 按需加载：虚拟页仅在发生访问时加载至物理内存，未使用的页保持磁盘驻留状态。

2. 存储介质关联：虚拟页的起始值可以是硬盘中存放的code/data，也可以为空白（anonymous page，匿名页）。操作系统开机时，在磁盘开辟一个页全设为空白（zero page）。所有匿名虚拟页在第一次访问时都会被映射到该空白物理页，并写时复制（COW）。

3. 共享内存优化：对于共享的对象（例如动态链接中的共享库），不同进程虚拟内存中的共享库区域，可以映射到物理内存中的相同区域，实现了数据/代码共享。若某个进程需要修改共享库的数据段，采用写时复制（Copy-On-Write，COW）机制，为该进程单独开辟新的物理内存空间，拷贝一份共享库数据由其独享。同时也需要修改该进程的页表（也即映射关系）。

4. 进程创建：当进程fork时，在物理内存中只需要为其新建页表等少量数据结构（复制父进程页表），同时为父子进程虚拟内存中的其他段设为只读、private COW状态。当写时，触发Page Fault - Gerneral Protection Fault，将该页面复制一份并设置为可写。

mmap系统调用

函数接口规范

参数说明

返回值

• 成功：返回映射区域的起始地址。

• 失败：返回 MAP_FAILED（通常值为 (void *)-1），并设置 errno。

典型应用场景

1. 大文件处理：

2. 进程间通信：

动态内存分配

动态内存管理是现代程序设计的核心挑战之一，其效率直接影响系统性能和资源利用率。本节从分配器架构设计、碎片优化策略到常见内存错误，系统解析动态内存管理的关键技术。

动态内存分配器体系架构

• 显式分配器：要求开发者主动管理内存生命周期，典型代表为C标准库的malloc/free函数

• 隐式分配器：通过垃圾回收机制自动识别并回收不可达内存，常见于Java、Python等托管语言环境

核心函数规范

分配器性能评估

核心性能指标

1. 吞吐率(Throughput)
单位时间内完成的malloc/free操作数量，反映分配器响应速度。

2. 内存利用率(Memory Utilization)
定义关键参数：
• 累积有效载荷 ， 前k次请求分配内存的总和
• 堆空间开销 ，分配器维护的堆空间总量（单调非递减）
• 内存开销 ，为了k个请求而必须占用的总开销（包括记录信息、对齐填充等）。

3. 峰值内存压力（Peak）
到目前为止曾经出现的最大的累积负载。

碎片 Fragmentation

实现动态内存分配器

1. 当数据块被 free 时，如何知道应释放多少内存。对此，我们可以在数据块的开头分配一个字存放malloc块的字节数，在这个字后面再存放有效载荷。free(p) 时只需要查看 (char*)p-8 处存放的值，即可知道应释放的字节数。

2. 如何维护现在空闲的内存块，以便在 malloc 时查找空闲块。对此，主要有以下几种方案：

1. 隐式空闲链表
每个内存块开头都存放块的长度和块的状态（是否已分配）。由于长度有对齐要求，块的长度的后几位总是0（例如，16字节对齐，则后4位是0）。因此，可以在块长度字的最后一个bit存放块状态，块头可以表示为（长度&是否已分配），二者通过按位与合并。
在堆的开头/结尾，可以用（8&1）表示（正常情况不会出现（8&1））
分配策略对比：

策略	描述	优缺点	适用场景
First-fit	遍历空闲块链表，选择第一个能满足需求的空闲块	速度较快，空间效率较好	通用场景
Next-fit	从上次 malloc 的块开始，遍历空闲块链表，选择第一个能满足需求的空闲块	速度更快（因为忽略了前面的可能不够分配的内存块）；但产生碎片更严重	流式处理
Best-fit	遍历整个空闲块链表，找到最合适的内存块（大小最接近请求字节数）	碎片最小化，提高内存利用率；但速度慢	内存敏感型应用

响应 malloc 请求时，查找链表并分配，当空闲块大小显著大于请求字节数时，需要进行 split（分割）。改变分配块头和分配块的下一块块头。
响应 free 请求时，需要进行coalescing（合并）。查看释放块的下一个块，如果也是空闲块，就把两个空闲块合并。由于我们只在块头（header）存放块大小，只能获取下一个块的大小，无法合并上一个空闲块。解决方案：改单向块链表为双向块链表，在块尾（footer）也存放（长度&是否已分配）。
然而引入块头和块尾后，使内部碎片现象更严重，需要更多的空间来存储块大小信息。解决方案：只在空闲块中有脚标。最终的方案为：
• 空闲块：头标+脚标，存放（长度&是否已分配）
• 已分配块：头标存放（长度&本块是否已分配&上一个块是否已分配）。被free后需要合并时，即可检索前面的块、后面的块是否已被分配。

2. 显式空闲链表
每个空闲内存块不止存放块大小，还作为空闲块双向链表中的一个结点，存储 prev 和 next 两个指针，分别指向链表中的上一个和下一个空闲块。
malloc 分割时，新的空闲块需要继承旧的空闲块在链表中的位置。
free时，先合并，再把新的空闲块按策略放在链表的头/尾。如果前后有空闲块被本块合并，则需要将其从链表中删除。
• LIFO策略：新空闲块放在链表头
• FIFO策略：放在链表尾
相比隐式空闲块链表的差异：
• 分配时只需遍历所有空闲块而非所有块，速度更快
• 增加了结构性开销
• 分配和释放时需要链表操作，时间开销略微增加

3. 分离式空闲链表(Segregated List)
每种大小的空闲块都有自己的链表。例如，16字节空闲块链表；32-48字节空闲块链表。分配时，从请求字节数对应的链表开始，逐步向上查找合适的空闲块。释放时，先合并，再根据合并后空闲块的大小，将其插入对应的链表中。分配时间代价大幅降低，近似对数复杂度。

内存操作常见错误

典型错误类型

隐式内存管理：垃圾清理

• 使程序员不需要显式地释放内存，由编译器来回收

• 在Python、Java、Ruby等语言中常见

• 对C/C++而言，变量是一个保守的垃圾收集器（作用域结束后回收）

• Mask&Sweep 垃圾收集策略：
• mark/搜索：所有引用关系构成一个图
• sweep/清扫：清扫不在图中的结点