mmap基礎概念

mmap是一種內存映射的方法，這一功能可以用在文件的處理上，即將一個文件或者其它對象映射到進程的地址空間，實現文件磁盤地址和進程虛擬地址空間中一段虛擬地址的一一對映關系。在編程時可以使某個磁盤文件的內容看起來像是內存中的一個數組。如果文件由記錄組成，而這些記錄又能夠用結構體來描述的話，可以通過訪問結構體來更新文件的內容。

實現這樣的映射關系后，進程就可以采用指針的方式讀寫操作這一段內存，而系統會自動回寫到頁面到對應的文件磁盤上，即完成了對文件的操作而不必再調用read,write等系統調用函數。內核空間對這段區域的修改也直接反映用戶空間，從而可以實現不同進程間的文件共享。如圖所示：

進程的虛擬地址空間，由多個虛擬內存區域構成。虛擬內存區域是進程的虛擬地址空間中的一個同質區間，即具有同樣特性的連續地址范圍。上圖中所示的text數據段（代碼段）、初始數據段、BSS數據段、堆、棧和內存映射，都是一個獨立的虛擬內存區域。而為內存映射服務的地址空間處在堆棧之間的空余部分。

內核為系統中的每個進程維護一個單獨的任務結構（task_struct）。任務結構中的元素包含或者指向內核運行該進程所需的所有信息(PID、指向用戶棧的指針、可執行目標文件的名字、程序計數器等)。Linux內核使用vm_area_struct結構來表示一個獨立的虛擬內存區域，由于每個不同質的虛擬內存區域功能和內部機制都不同，因此一個進程使用多個vm_area_struct結構來分別表示不同類型的虛擬內存區域。各個vm_area_struct結構使用鏈表或者樹形結構鏈接，方便進程快速訪問，如下圖所示：

vm_area_struct結構中包含區域起始和終止地址以及其他相關信息，同時也包含一個vm_ops指針，其內部可引出所有針對這個區域可以使用的系統調用函數。這樣，進程對某一虛擬內存區域的任何操作需要用要的信息，都可以從vm_area_struct中獲得。mmap函數就是要創建一個新的vm_area_struct結構，并將其與文件的物理磁盤地址相連。

mm_struct：描述了虛擬內存的當前狀態。pgd指向一級頁表的基址（當內核運行這個進程時，
pgd會被存放在CR3控制寄存器，也就是頁表基址寄存器中），mmap指向一個vm_area_structs
的鏈表，其中每個vm_area_structs都描述了當前虛擬地址空間的一個區域。
vm_starts    指向這個區域的起始處。
vm_end       指向這個區域的結束處。
vm_prot      描述這個區域內包含的所有頁的讀寫許可權限。
vm_flags     描述這個區域內的頁面是與其他進程共享的，還是這個進程私有的以及一些其他信息。
vm_next      指向鏈表的下一個區域結構。

mmap內存映射原理

mmap內存映射的實現過程，總的來說可以分為三個階段：

(一)啟動映射過程，并在虛擬地址空間中為映射創建虛擬映射區域

1. 進程在用戶空間調用庫函數mmap，原型：void *mmap(void *start, size_t length, int prot, int flags, int fd, off_t offset);

2. 在當前進程的虛擬地址空間中，尋找一段空閑的滿足要求的連續的虛擬地址。

3. 為此虛擬區分配一個vm_area_struct結構，接著對這個結構的各個域進行了初始化。

4. 將新建的虛擬區結構（vm_area_struct）插入進程的虛擬地址區域鏈表或樹中。

(二)調用內核空間的系統調用函數mmap（不同于用戶空間函數），實現文件物理地址和進程虛擬地址的一一映射關系

5. 為映射分配了新的虛擬地址區域后，通過待映射的文件指針，在文件描述符表中找到對應的文件描述符，通過文件描述符，鏈接到內核“已打開文件集”中該文件的文件結構體（struct file），每個文件結構體維護者和這個已打開文件相關的各項信息。

6. 通過該文件的文件結構體，鏈接到file_operations模塊，調用內核函數mmap，其原型為：int mmap(struct file *filp, struct vm_area_struct *vma)，不同于用戶空間庫函數。

7. 內核mmap函數通過虛擬文件系統inode模塊定位到文件磁盤物理地址。

8. 通過remap_pfn_range函數建立頁表，即實現了文件地址和虛擬地址區域的映射關系。此時，這片虛擬地址并沒有任何數據關聯到主存中。

(三)進程發起對這片映射空間的訪問，引發缺頁異常，實現文件內容到物理內存（主存）的拷貝

注：前兩個階段僅在于創建虛擬區間并完成地址映射，但是并沒有將任何文件數據的拷貝至主存。真正的文件讀取是當進程發起讀寫操作時。

9. 進程的讀或寫操作訪問虛擬地址空間這一段映射地址，通過查詢頁表，發現這一段地址并不在物理頁面上。因為目前只建立了地址映射，真正的硬盤數據還沒有拷貝到內存中，因此引發缺頁異常。

10. 缺頁異常進行一系列判斷，確定無非法操作后，內核發起請求調頁過程。

11. 調頁過程先在交換緩存空間（swap cache）中尋找需要訪問的內存頁，如果沒有則調用nopage函數把所缺的頁從磁盤裝入到主存中。

12. 之后進程即可對這片主存進行讀或者寫的操作，如果寫操作改變了其內容，一定時間后系統會自動回寫臟頁面到對應磁盤地址，也即完成了寫入到文件的過程。

注意：修改過的臟頁面并不會立即更新回文件中，而是有一段時間的延遲，可以調用msync()來強制同步, 這樣所寫的內容就能立即保存到文件里了。

mmap 示例代碼

mmap (內存映射)函數的作用是建立一段可以被兩個或更多個程序讀寫的內存。一個程序對它所做出的修改可以被其他程序看見。這要通過使用帶有特殊權限集的虛擬內存段來實現。對這類虛擬內存段的讀寫會使操作系統去讀寫磁盤文件中與之對應的部分。mmap 函數創建一個指向一段內存區域的指針，該內存區域與可以通過一個打開的文件描述符訪問的文件的內容相關聯。mmap 函數原型如下：

#include 
void *mmap(void *addr, size_t length, int prot, int flags, int fd, off_t offset);

可以通過傳遞 off 參數來改變共享內存段訪問的文件中數據的起始偏移值。打開的文件描述符由 fildes 參數給出。可以訪問的數據量(即內存段的長度)由 len 參數設置。

可以通過 addr 參數來請求使用某個特定的內存地址。如果它的取值是零，結果指針就將自動分配。這是推薦的做法，否則會降低程序的可移植性，因為不同系統上的可用地址范圍是不一樣的。

prot 參數用于設置內存段的訪問權限。它是下列常數值的按位或的結果：

PROT_READ       內存段可讀。
PROT_WRITE      內存段可寫。
PROT_EXEC       內存段可執行。
PROT_NONE       內存段不能被訪問。

flags 參數控制程序對該內存段的改變所造成的影響：

msync 函數的作用是：把在該內存段的某個部分或整段中的修改寫回到被映射的文件中(或者從被映射文件里讀出)。

#include 
int msync(void *addr, size_t len, int flags);

內存段需要修改的部分由作為參數傳遞過來的起始地址 addr 和長度 len 確定。flags 參數控制著執行修改的具體方式，可以使用的選項如下：

MS_ASYNC                    采用異步寫方式
MS_SYNC                     采用同步寫方式
MS_INVALIDATE               從文件中讀回數據

munmap 函數的作用是釋放內存段：

#include 
int munmap(void *addr, size_t length);

示例代碼：

(1) 定義一個 RECORD 數據結構，然后創建出 NRECORDS 每個記錄，每個記錄中保存著它們各自的編號。然后把這些記錄都追加到文件 records.dat 里去。

(2) 接著，把第 43 記錄中的整數值由 43 修改為 143，并把它寫入第 43 條記錄中的字符串。

(3) 把這些記錄映射到內存中，然后訪問第 43 條記錄，把它的整數值修改為 243 (同時更新該記錄中的字符串)，使用的還是內存映射的方法。

可以將上述 (2) (3) 分別編寫程序驗證結果。

#include 
#include 
#include 
#include 
#include 
typedef struct{
 int integer;
 char string[24];
}RECORD;
#define NRECORDS (100)
int main()
{
RECORD record, *mapped;
 int i, f;
FILE *fp;
fp = fopen("records.dat", "w+");
 for( i = 0; i < NRECORDS; i++)
{
record.integer = i;
 sprintf(record.string, "[RECORD-%d]", i);
 fwrite(&record, sizeof(record), 1, fp);
}
 fclose(fp);
fp = fopen("records.dat", "r+");
 fseek(fp, 43 * sizeof(record), SEEK_SET);
 fread(&record, sizeof(record), 1, fp);
record.integer = 143;
 sprintf(record.string, "[RECORD-%d]", record.integer);
 fseek(fp, 43 * sizeof(record), SEEK_SET);
 fwrite(&record, sizeof(record), 1, fp);
 fclose(fp);
f = open("records.dat", O_RDWR);
mapped = (RECORD*)mmap(0, NRECORDS * sizeof(record), 
                        PROT_READ | PROT_WRITE, MAP_SHARED, f, 0);
 printf("f:[%d]
", f);
 //open是系統調用，返回文件描述符。fopen是庫函數，返回指針。
mapped[43].integer = 243;
 sprintf(mapped[43].string, "[RECORD-%d]", mapped[43].integer);
 msync((void *) mapped, NRECORDS * sizeof(record), MS_ASYNC);
 munmap((void *)mapped, NRECORDS * sizeof(record));
 close(f);
 return 0;
}

mmap 和常規文件操作的區別

使用系統調用，函數的調用過程：

1. 進程發起讀文件請求。

2. 內核通過查找進程文件描述符表，定位到內核已打開文件集上的文件信息，從而找到此文件的inode。

3. inode在address_space上查找要請求的文件頁是否已經緩存在頁緩存中。如果存在，則直接返回這片文件頁的內容。

4. 如果不存在，則通過inode定位到文件磁盤地址，將數據從磁盤復制到頁緩存。之后再次發起讀頁面過程，進而將頁緩存中的數據發給用戶進程。

總結來說，常規文件操作為了提高讀寫效率和保護磁盤，使用了頁緩存機制。這樣造成讀文件時需要先將文件頁從磁盤拷貝到頁緩存中，由于頁緩存處在內核空間，不能被用戶進程直接尋址，所以還需要將頁緩存中數據頁再次拷貝到內存對應的用戶空間中。這樣，通過了兩次數據拷貝過程，才能完成進程對文件內容的獲取任務。寫操作也是一樣，待寫入的buffer在內核空間不能直接訪問，必須要先拷貝至內核空間對應的主存，再寫回磁盤中（延遲寫回），也是需要兩次數據拷貝。

而使用mmap操作文件中，創建新的虛擬內存區域和建立文件磁盤地址和虛擬內存區域映射這兩步，沒有任何文件拷貝操作。而之后訪問數據時發現內存中并無數據而發起的缺頁異常過程，可以通過已經建立好的映射關系，只使用一次數據拷貝，就從磁盤中將數據傳入內存的用戶空間中，供進程使用。

總而言之，常規文件操作需要從磁盤到頁緩存再到用戶主存的兩次數據拷貝。而mmap操控文件，只需要從磁盤到用戶主存的一次數據拷貝過程。說白了，mmap的關鍵點是實現了用戶空間和內核空間的數據直接交互而省去了空間不同、數據不通的繁瑣過程。因此mmap效率更高。

由上文討論可知，mmap優點共有一下幾點：

1. 對文件的讀取操作跨過了頁緩存，減少了數據的拷貝次數，用內存讀寫取代I/O讀寫，提高了文件讀取效率。

2. 實現了用戶空間和內核空間的高效交互方式。兩空間的各自修改操作可以直接反映在映射的區域內，從而被對方空間及時捕捉。

3. 提供進程間共享內存及相互通信的方式。不管是父子進程還是無親緣關系的進程，都可以將自身用戶空間映射到同一個文件或匿名映射到同一片區域。從而通過各自對映射區域的改動，達到進程間通信和進程間共享的目的。

同時，如果進程A和進程B都映射了區域C，當A第一次讀取C時通過缺頁從磁盤復制文件頁到內存中；但當B再讀C的相同頁面時，雖然也會產生缺頁異常，但是不再需要從磁盤中復制文件過來，而可直接使用已經保存在內存中的文件數據。

4. 可用于實現高效的大規模數據傳輸。內存空間不足，是制約大數據操作的一個方面，解決方案往往是借助硬盤空間協助操作，補充內存的不足。但是進一步會造成大量的文件I/O操作，極大影響效率。這個問題可以通過mmap映射很好的解決。換句話說，但凡是需要用磁盤空間代替內存的時候，mmap都可以發揮其功效。

mmap 使用的細節

1. 使用mmap需要注意的一個關鍵點是，mmap映射區域大小必須是物理頁大小(page_size)的整倍數（32位系統中通常是4k字節）。原因是，內存的最小粒度是頁，而進程虛擬地址空間和內存的映射也是以頁為單位。為了匹配內存的操作，mmap從磁盤到虛擬地址空間的映射也必須是頁。

2. 內核可以跟蹤被內存映射的底層對象（文件）的大小，進程可以合法的訪問在當前文件大小以內又在內存映射區以內的那些字節。也就是說，如果文件的大小一直在擴張，只要在映射區域范圍內的數據，進程都可以合法得到，這和映射建立時文件的大小無關。

3. 映射建立之后，即使文件關閉，映射依然存在。因為映射的是磁盤的地址，不是文件本身，和文件句柄無關。同時可用于進程間通信的有效地址空間不完全受限于被映射文件的大小，因為是按頁映射。

作者：極致Linux