為了適應大規模的SoC設計，GIC-600被設計成分布式IP。所謂分布式，GIC-600由幾種組件構成，每個組件可以跟其它相關模塊在物理設計上擺放在一起，并與其擁有共同的電源域；組件之間通過片上網絡（network on chip，簡稱NoC）通信，從而達到更好的時序。

SMMU即system memory management unit，在其他體系結構中對應的是IOMMU。先上圖，此圖節選自SMMU spec文檔，從圖中可以直觀看到SMMU的基本功能，其被放置在device的DMA master的前端，device與其采用AXI相連，SMMU直接連接片上總線。

MMU與SMMU位置相似，只不過MMU后邊的master是CPU。SMMU在此主要作用是將device發起的DMA請求中的IOVA虛擬地址轉換為系統物理地址進行訪存。而MMU是將CPU看到的VA值轉換為系統物理地址，IOVA的值與CPU看到的VA可以相同也可以不同，如果說IOVA值的類型有一萬種選擇，那么使用SMMU的方法就有一萬種。

在ARM體系結構中，SMMU可以承載很多東西，包括：安全，虛擬化，pcie相關功能，SVA等等。

現在捋一下SMMU的基本使用場景：

1）擴大設備DMA尋址范圍，一些legacy設備DMA尋址是32bit，無法訪問高32bit地址，通過SMMU的轉換可以解決這個問題。同樣的，當系統無法提供大塊連續物理內存時，也可以通過SMMU轉換讓設備可以訪問分散物理內存

2）一個SMMU可以有多個master設備，每個設備所看到的物理地址范圍可通過SMMU進行隔離和劃定，硬件提供了這種應用的靈活性，具體策略需要軟件來實現。

3）ARM體系結構中的安全域分為secure和normal域，secure具有更高的權限，理論上normal域的設備DMA無法訪問劃分為secure的物理地址，但是這種訪問控制機制是如何實現的呢？就是通過SMMU，它可以使設備DMA master發出的請求帶有secure域或Normal域的安全屬性。

SMMU之所以能完成上述功能，是因為其內部硬件結構。

如上圖，SMMU大部分功能數據均存在于主存儲器中，在硬件上有基地址寄存器分別指向相應的內存區域，command queue提供了軟件配置SMMU的命令隊列，event queue用來存放SMMU工作產生的事件或錯誤。STE基址寄存器指向了內存中的一系列STE表，該表是用smmu設備master的streamid來索引的，位寬16位，steamid是deviceIP在設計時硬件設定好的，一個streamid唯一對應一個STE表，理論上一個設備可以有多個streamid，因此一個設備可能有多個STE表，在不同的場景下，軟件可以靈活應用，硬件提供了這種靈活性。

每個STE表存在一個指針指向CD表，CD表可以有多個，是通過substreamid來索引的，substreamid位寬20位。CD表中有指針直接指向了SMMU進行地址轉換用的頁表，這個頁表記錄了IOVA到PA的映射。CD表所指的頁表只提供了一級頁表轉換，STE表的其他域提供了二級頁表轉換，這個在后續章節遇到再詳細介紹。

以上是SMMU內部結構的靜態描述，那么它實際工作的過程是怎樣的？設備master發起一筆DMA請求，請求的總線信息中帶有streamid、subtreamid、iova等參數，smmu硬件收到該請求會自動通過streamid檢索到STE表，再通過substreamid檢索到這個STE表指向的CD表，從CD表中找到頁表基地址，開始頁表查找過程，找到IOVA對應的物理地址，再對這個物理地址發起一次DMA請求。

從這個過程可以看出SMMU在做地址轉換時有一定的overhead，因此SMMU硬件也提供了bypass模式，可以不進行任何地址轉換，事實上目前linux kernel在默認情況下的SMMU就是采用這種工作模式的。STE和CD表以及SMMU硬件工作過程中涉及到的參數較多，這里不一一說明，抓大放小，我們期望能夠以最簡捷的方式理解SMMU的工作機理。

為了提高頁表查找效率，SMMU與MMU相同，在其內部設計有TLB緩存，用于緩存頁表項，同時硬件提供了DVM 接口，接收從互聯總線上的TLBI廣播，當CPU對頁表進行更改后，同時需要清除MMU本地的相應的頁表項緩存，該TLBI指令會通過DVM接口進行廣播，ARM架構要求SMMU接收到廣播的前置條件是MMU與SMMU同處于一個Inner shareable domain中，在接受到廣播后，SMMU硬件會自動清除其內部的TLB緩存對應項，達到與MMU同步的作用。該機制是ARM系統結構下SVA（shared virtual addressing）的基礎，即SMMU與MMU共享頁表，設備可以看到和CPU相同的VA，設備也就能“理解”各種進程虛擬內存的語義。

下面分享一個SMMU的實際使用場景的有趣例子。

上圖中engine是一個硬件運算模塊，硬件設定其與SMMU之間的streamid有2個，一個是read steam,另一個是write stream，因此SMMU對應的STE表就有2個，即DMA讀操作對應一份頁表，該頁表與MMU對應頁表相同，通過DVM接口進行硬件同步，DMA寫對應另一份頁表，該頁表指向的物理地址為ARM的secure域內存。Crypto engine通過對normal域的操作系統內存數據進行某種操作后輸出結果到secure域，這種機制既增強了安全性，又增加了系統的效率。步驟如下：

1）normal域軟件發起SMC指令傳遞虛擬內存地址VA和頁表基地址等參數到secure域軟件

2）secure域軟件用上述參數配置engine硬件，啟動DMA

3）DMA通過SMMU read stream抓取normal域地址VA內存數據進行運算

4）結果通過DMA write stream輸出到secure域內存

5）Secure 域軟件返回此次操作狀態信息給normal域軟件

細心的讀者可能會發現上述過程存在一些問題，比如該虛擬地址對應頁面不在內存中，被換出了，這時SMMU在查找相應頁面時就無法進行DMA操作，遇到這樣的頁表整個地址轉換過程會停下，相應的錯誤event會被SMMU硬件寫到event queue中，此時需要secure域軟件處理該event，向normal域軟件請求處理，與處理Page fault過程類似，完成后再重復上述步驟。

審核編輯：劉清