本文來自ATC 22，由于出色的硬件異構管理和資源分解能力，CXL 等新型高速緩存一致性互連協議近來備受關注。本文作者提出了可直接訪問的分離式內存，DirectCXL，并自行設計了CXL內存控制器、支持CXL的處理器及相關軟件運行時以實現DirectCXL。它通過 CXL 的內存協議 (CXL.mem) 直接連接主機處理器復合體和遠程內存資源。 由于 DirectCXL 不需要在主機內存和遠程內存之間進行任何數據復制，因此它可以向用戶展示遠程端分離式內存資源的真實性能，相較于RDMA實現的分離式內存訪問速度提升8.2x，在真實工作負載上提升最大達3.7x。 ?

01?背景

? ? 分離式內存由于可以提升內存利用率而備受關注，現有的分離式內存可以根據它們如何管理數據分為1）page-based和2）object-based。Page-based方法基于虛擬內存技術，當發生缺頁中斷時從遠端交換內存頁，無需修改程序代碼。而object-based方法則需要使用數據庫（如KV數據庫）來管理內存對象，需要大量的源碼級修改。 盡管還有許多變種，但所有現有的方法都需要類似RDMA的方式使用網絡從遠端內存移動數據到主機端內存，數據移動和伴隨而來的操作（如頁面緩存管理）引入了冗余和軟件開銷，這使得分離式內存的延遲比本地DRAM高多個數量級。

CXL（Compute Express Link）是一個行業支持的緩存一致性互聯協議，其下有三個子協議： CXL.io使CXL可運行在標準PCIe物理層之上，PCIe5.0的帶寬已經達到63GB/s，這足以為遠端內存訪問服務。 CXL.cache允許CXL設備緩存主機端的內存。 CXL.mem允許主機使用Load/Store語義像訪問本地內存一樣訪問設備端的內存。 因此CXL在實現分離內存方面表現出巨大的潛力。 02?背景 ? ? 當前工作中基于網絡的數據拷貝嚴重影響了性能，因此DirectCXL直接將遠端內存資源與CPU Compute Complex相連，允許用戶以Load/Store指令訪問遠端內存。

1. 通過CXL連接主機和內存

現有的分離式內存技術仍然需要在遠端內存側設置計算資源，這是因為所有DRAM模塊及其接口都設計為無源外設，需要計算資源控制。相比之下，CXL.mem允許主機計算資源通過 PCIe 總線 （FlexBus） 直接訪問底層內存;它的工作方式類似于本地DRAM，連接到其系統總線。 在當前架構中，設備的 CXL 控制器解析傳入的基于 PCIe 的 CXL 數據包，稱為 CXL flit，將其信息（地址和長度）轉換為 DRAM 請求，并使用 DRAM 控制器從底層 DRAM 為它們提供服務。

具體來說，主機CPU系統總線包括了多個CXL Root Port（RPs），可以將一個或多個CXL設備作為Endpoint（EP）設備連接。作者實現的主機端驅動在啟動時通過查詢其base address register（BAR）寄存器和host-managed memory（HDM）大小來枚舉CXL設備。根據檢索到的大小，內核驅動將BAR和HDM映射到主機的保留內存地址空間中，并通知底層的CXL設備它們被映射到了主機內存。當主機發送Load/Store指令時，請求被送到相應的RP，RP將請求轉換為CXL Flit。最后CXL內存控制器將目標內存地址減去基地址就得到了CXL設備中實際的內存地址，下發到DRAM控制器獲取數據，結果通過CXL Switch和FlexBus返回到主機。由于該過程中沒有數據拷貝和軟件干預，因此DirectCXL可以提供低延遲的遠端內存訪問。 DirectCXL也可以通過交換機實現更廣泛范圍的互連，在CXL標準中CXL Switch作用類似于網絡交換機。

2. DirectCXL的軟件運行時

與 RDMA 相反，在主機和 CXL 設備之間創建虛擬層次結構后，主機上運行的應用進程可以通過引用 HDM 的內存空間直接訪問 CXL 設備。但是，它需要軟件運行時/驅動進程來管理底層 CXL 設備，并在應用進程的內存空間中公開其 HDM。因此，作者提供了DIRECTCXL 運行時，它只是將 HDM 的地址空間拆分為多個段，稱為CXL命名空間。然后，DitectCXL 運行時允許應用進程以內存映射文檔 （mmap） 的形式訪問每個 CXL 命名空間。

03?原型實現 ? ?

由于還沒有已經上市的支持CXL的處理器、設備和OS，因此作者自行實現了DirectCXL。每個CXL設備基于定制的add-in-card（AIC）CXL 內存刀片構建，該刀片采用 16 納米 FPGA 和 8 個不同的 DDR4 DRAM 模塊（64GB）。作者使用FPGA實現了一個CXL控制器和八個DRAM控制器用以管理CXL EP和內部DRAM通道。作者實現使用RISC-V ISAs的內部主機處理器以支持CXL，它采用四個無序內核，其最后一級緩存 （LLC） 實現 CXL RP。每個支持 CXL 的主機處理器都在高性能數據中心加速器卡中實現，充當主機的角色，可以單獨運行 Linux 5.13 和 DIRECTCXL 軟件運行時。通過 PCIe 背板向四個主機公開四個 CXL 設備（32 個 DRAM 模塊）。 04?實驗 ? ? 下圖6展示了RDMA和DirectCXL讀64B數據的延遲劃分。 可以看到RDMA需要兩次DMA操作，InfiniBand網絡開銷占到了總延遲的78.7%。相比之下DirectCXL由于不需要網絡和拷貝，快8.3倍。

圖7a將RDMA訪問延遲劃分為軟件庫、拷貝、內存訪問和網絡，當負載較小時，RDMA庫開銷占比較大，隨著負載增大，拷貝到MR的數據也越來越多，Copy占比逐漸增大。注意網絡開銷并未降低，當負載增大時網絡傳輸和內存訪問可同時進行，重疊部分被劃分到內存訪問；7b將DirectCXL訪問延遲劃分為CPU Cache、PCIe和內存訪問。隨著負載增大，CPU Cache拖慢了訪問延遲，這是由于作者定制的CPU中miss status holding registers（MSHR，用于實現非阻塞式緩存）只能處理16個并發內存miss，因此隨著組成大負載的內存請求（64B）越來越多，會導致CPU停頓。

在真實工作負載上，DirectCXL的性能提升達到了3倍和2.2倍。 05?總結 ? ? 在本文中，作者提出了通過CXL的內存協議（CXL.mem）連接主機處理器復雜和遠程內存資源的DirectCXL。其實際系統評估結果表明，當工作負載可以享受主機處理器的緩存時，DirectCXL 的分離式內存資源可以表現出類似 DRAM 的性能。對于實際應用進程，它的性能平均比基于 RDMA 的方法高 3×。

編輯：黃飛