摘 要

內存解耦被視為解決數據中心內存低效利用問題的強大替代方案。解耦內存具備適應數據中心應用程序（如數據分析、大數據等）內存需求的動態變化能力，這些應用程序需要進行內存內處理。然而，由于互連速度的限制，這些系統可能面臨著高遠程內存訪問延遲的挑戰。

在本文中，我們探討了一種機架級解耦內存架構，并深入討論了各種設計方面的問題。我們設計了一個基于追蹤的模擬器，結合了事件驅動的互連和周期準確的內存模擬器，以評估機架級解耦內存系統的性能。我們的研究表明，遠程內存訪問延遲的問題不僅與互連速度相關，還與遠程內存隊列中的爭用有關。為了降低延遲，我們引入了一種內存分配策略，與傳統策略相比表現出色。我們使用多種不同內存訪問模式的基準進行了實驗，研究結果顯示，我們在機架級內存解耦和平均內存訪問延遲方面取得了令人鼓舞的成果。

引 言

隨著高端服務器級多處理器（例如Xeon Phi和AMD的EPYC）的出現，服務器的計算能力得到了顯著提升，可以同時運行多個應用程序。然而，在高性能計算（HPC）設施和云數據中心中，典型的工作負載，如大數據分析和機器學習應用程序，由于內存低效利用和內存容量壁壘［1］，導致服務器內存不足的問題愈發凸顯。由于對板載內存的不合理使用，內存碎片化成為每個服務器節點內的小片段，從而增加了總體擁有成本［2］。內存的解耦技術為內存管理提供了一種模塊化方法，可以以更精細的方式進行管理，而不需要將內存安裝在與處理器相同的主板上。它允許內存的獨立升級，并延長了數據中心硬件刷新周期［3］。

在本文中，我們研究了一種機架級系統，其中部分內存被解耦，每個計算節點具有一些本地內存以滿足主要需求，而大多數應用程序的內存需求則由遠程內存滿足。遠程內存以多個遠程內存池的形式在同一機架內進行管理，并根據計算節點的需求進行動態分配。

內存的解耦引入了多個設計挑戰。首先，遠程內存的位置應合理，以確保多個計算節點可以同時訪問遠程內存而無明顯擁塞。其次，需要如何公開遠程內存地址空間，以避免系統級瓶頸并降低額外開銷。另一個要求是需要一個集中式內存管理器來負責遠程內存的分配，同時需要平衡內存池的負載。不同類型的遠程內存訪問需要不同的互連設計和協議支持。基于緩存的訪問需要內存綁定的支持以實現更快的訪問速度［4］，［5］，而以較大塊方式訪問遠程內存則需要支持遠程直接內存訪問（RDMA）［6］。我們提出了一個兩級遠程內存分配機制，一個在計算節點級別，另一個在全局內存管理器級別。研究表明，不同的內存分配方法會對基于內存池的遠程內存性能產生影響。

本文的主要貢獻如下：

我們探討了機架級內存解耦的設計，并深入討論了設計空間。

我們確定了影響遠程內存訪問延遲的主要因素，并提出了經濟有效的內存分配策略，以實現負載平衡以減少尾延遲。

我們評估了所提出的內存分配策略在不同工作負載下的性能，以展示內存解耦的整體影響。

相關工作與動機

早期的設計曾針對傳統服務器節點提出機架級內存解耦的方法［7］–［9］。例如，Infiniswap ［10］ 和 FARM ［11］ 推出了虛擬內存解耦系統的優化方案，利用RDMA技術訪問遠程內存，并充分利用其他服務器中的閑置內存。Lim等人 ［1］，［12］ 提出了通用的物理內存解耦設計，其中內存刀片通過PCIe總線連接到計算節點。而Scale-out NUMA ［13］ 提供了一個芯片內硬件模塊，為處理器和遠程內存之間提供低延遲接口。Venice ［4］ 和 DEOI ［5］ 也研究了類似的芯片內模塊，用于遠程內存訪問，具備細粒度和分頁訪問遠程內存的獨立通道。最近，硬件行業領袖共同制定了一項名為Gen-Z的協議標準，類似于芯片內內存一致性互連，其中包括交換機和內存池子系統［14］。Komareddy等人提出了一種面向內存池的共享內存方法，為所有計算節點提供了單一的遠程地址空間［15］。然而，大多數數據中心應用程序可以滿足其CPU需求，只在極少數情況下需要共享內存訪問。在這種情況下，多個計算節點很少需要共享訪問遠程內存。相反，保持單一域內的一致性將有助于減少一致性流量并降低相關成本開銷。我們的研究利用了池化內存系統的非一致性使用，以更好地分配遠程內存。

此外，早期對分散內存系統的評估通常是在小規模環境下進行的，要么在虛擬化環境中［2］，要么在主機操作系統［16］上進行的，其中網絡延遲和地址空間分配通常是固定的。

機架級設計

我們的內存解耦方法專注于機架級的遠程內存訪問，因為超越機架級別將引入更多延遲，這是由于網絡延遲引起的。

A. 池化內存管理

計算節點不僅依賴遠程內存以滿足大部分內存分配需求，還需要支持這些節點對內存的廣泛請求，并確保它們在規定時間內完成。遠程內存在其內存隊列中可能發生爭用，這會顯著增加尾延遲。因此，需要更小的內存池和更多的通信通道，以實現高整體內存帶寬。目前，關于在一個機架內使用多少個內存池尚無共識，因為分散內存設計仍在實驗階段。我們的基本設計涉及將遠程內存劃分為多個遠程池，后續實驗將建立計算節點工作負載需求與內存池數量之間的關系。

B. 遠程內存組織

遠程內存可以對所有計算節點透明，允許節點上的操作系統從任何部分分配內存。然而，所有節點都應該通過全局內存管理器獲得一致的視圖。然而，由于大量共享內存引起的一致性流量問題，這種方法可能存在可擴展性問題。另一種方法是提供對遠程內存的映射訪問，其中任何遠程內存頁面都專屬于單個節點。全局內存管理器可以以較大的塊（幾兆字節）方式保留遠程內存，而不會成為瓶頸。在我們的設計中，我們選擇了分布式內存訪問。

C. 互連需求

盡管快速網絡交換機已顯著減少網絡延遲，但網絡開銷的一大部分仍來自節點深層協議堆棧、低速I/O總線以及在請求卸載時進行的協議轉換。

圖1.基于RMAC的遠程內存訪問

如圖1（a）所示，芯片內網絡接口，如遠程內存訪問控制器（RMAC），對于將遠程內存資源引入數據中心以進行緩存加載/存儲是至關重要的。RMAC是一個可尋址的設備，還負責路由緩存未命中請求到適當的內存池所需的簿記機制。過去，芯片內互連已經在使快速遠程內存訪問成為可能的領域發揮了關鍵作用［4］，［5］，［13］，［17］，［18］，這些方法在數據中心應用程序中非常有效。如圖1（b）所示，RMAC將屬于遠程內存的最后一級緩存（LLC）未命中請求進行轉發，并在硬件上實現了輕量級網絡協議。另一方面，粗粒度的頁訪問可以通過類似DMA通道的通道在相同接口上實現，該通道與用戶或內核空間的守護程序一起工作，用于監視熱門遠程內存頁面并偶爾將它們傳送到本地內存。RDMA互連，如RoCE ［19］ 和 InfiniBand ［20］，允許單邊訪問遠程內存，并已在現有數據中心中得到廣泛應用［21］。

D. 全局內存管理器

全局內存管理器負責管理單個機架內的所有遠程內存。當應用程序在本地內存不足時發生頁面錯誤，它會向全局內存管理器發起請求，以從內存池中分配一個內存塊。該塊將擴展計算節點上的本地內存地址空間。在Linux操作系統中，這一過程可以通過內存熱插拔服務在線升級系統內存來實現。一旦初始化，該服務將向操作系統的頁分配器提供所需的內存塊。為了更細粒度地控制遠程內存，內存應以較小的塊進行分配。如果塊的分配過小，映射表將變得龐大，導致顯著的搜索延遲。然而，如果塊的分配過大，內存將被低效利用，類似于傳統服務器內存的使用方式，這將增加遠程內存回收的復雜性，因為需要大規模的數據遷移。全局內存管理器可以托管在ToR（Top-of-Rack）交換機上，并維護包括已分配和可用遠程內存塊在內的內存表。一旦管理器分配了一個遠程內存塊，它將塊的詳細信息發送給請求節點，以便在遠程內存訪問控制器（RMAC）中添加適當的本地到遠程地址映射，以進行地址轉換。

機架級內存分配

在分散內存系統中，內存分配涉及兩個關鍵方面。首先，計算節點上的頁面分配策略必須決定何時開始使用遠程內存。節點可以選擇首先利用本地內存，或者采用備用的本地-遠程分配方法，以獲取連續的頁面。對于第一種選擇，節點最初可獲得快速本地內存的性能優勢，但一旦本地內存用盡，性能會突然下降。然而，這種方式通常不適用于許多應用程序，因為它們傾向于經歷啟動階段，并且在此方案下無法充分利用快速的本地內存。另一種選擇允許更長時間的更好的平均內存訪問延遲，但不會充分利用快速的本地內存。其次，全局內存管理器需要確定一種內存池選擇策略來分配內存塊。在池化的遠程內存系統中，每個內存池連接到機架頂部交換機的其中一個鏈路。如果沒有負載均衡，一些內存池將吸引更多的請求，從而導致交換機緩沖區擁塞，并增加尾延遲的發生。

A. 隨機內存池選擇

我們首先使用隨機內存池選擇策略分析了工作負載WL-Mix（在第五節中解釋），在這種情況下，全局管理器會根據計算節點操作系統的每個塊分配請求（4MB分配大小），隨機選擇一個內存池，并且頁面分配交替在本地和遠程內存之間。

圖2.隨機內存池選擇與本地-遠程頁面交替分配 如圖2（a）所示，每個基準測試的平均內存訪問延遲都超過了微秒，遠遠超出了應用程序正常執行的可接受限制。造成這種高延遲的唯一重要因素是遠程內存隊列中的爭用，這是盲目地將隨機遠程內存池分配給應用程序內存需求的結果。在圖2（b）中可以觀察到相同的情況，該圖僅顯示了平均遠程內存延遲，不包括網絡延遲。我們對所有內存訪問進行了探測，發現2%的內存訪問（僅遠程）延遲為1000納秒或更長時間，導致了較高的平均延遲（如圖2（c）所示）。在圖2（d）中，我們展示了每150萬個周期內不同內存池的內存訪問次數變化。通過計算在該時期內最大和最小內存訪問之間的差值來計算變化。較大的變化顯示了內存訪問在各個內存池之間的不平衡，導致了較高的尾延遲。

B. 智能空閑內存池選擇

智能空閑內存池選擇策略在兩個不同的步驟中執行最佳內存池選擇。第一步是從所有可用的內存池中選擇一個小的子集，根據最近的內存訪問流量。其基本理念是，當前流量較小的內存池最不可能很快遇到爭用，因此可以當前選擇用于更多的內存分配。第二步是最終選擇一個已分配內存最少的子集中的內存池。背后的原因在于要均衡各個內存池之間的內存塊分配數量。此外，即使某個內存池當前的流量較小，如果在過去已分配了更多的內存，它仍然可能會突然面臨來自先前分配的內存的更多內存請求。因此，選擇已分配內存最少的內存池不太可能面臨這種突然的訪問。為了實施這一策略，我們使用了托管在機架頂部交換機上的全局內存管理器，該管理器跟蹤每個遠程內存池的總內存訪問量。它只需要一小部分32或64字節的計數器。我們使用基于窗口的機制來測量每個池的訪問因子（Af），通過在每個窗口開始時測量每個池的內存訪問次數，并計算如（1）所示的訪問因子。這里，MemAccCount指的是窗口內對內存池的總內存訪問次數。最近的窗口具有更大的權重，以反映內存流量的最新狀態。較低的Af值表示某個池最近面臨較少的內存流量，因此可以選擇用于下一個內存塊的分配。

智能空閑內存池選擇確保了選擇一個當前活躍度較低的池，并且在各個內存池之間均勻分配內存塊。假設內存池的總數為n，智能空閑策略首先選擇一個大小為m的池子集，其中m的計算如下：m = Ceil［log2（n）］。然后，它最終選擇已分配內存最少的內存池。

實驗方法和結果

我們對應用程序的全部主內存訪問進行了模擬，將它們合并以代表在機架內運行的多個節點，并最終用于互連和內存的模擬。一旦準備就緒，任務就是根據引用地址模擬每個節點的主內存訪問，這些訪問可以是本地的，也可以是遠程的。我們使用Intel的PIN ［22］平臺進行應用程序分析的二進制儀器化。我們的工具基于一個功能模擬TLB和緩存層次結構的Allcache pin-tool進行修改。這個基本工具經過修改以支持多線程跟蹤收集，并為TLB/緩存未命中提供了近似時間，同時進行了基于指令級的儀器化。我們以與［23］相同的方式收集LLC未命中數據，將所有核心中的合并緩存未命中的時間戳進行排序以組合跟蹤數據。LLC未命中數據最終提供了主內存訪問，同時保留了應用程序的多線程性質，其中每個記錄都包括LLC未命中的虛擬地址、時間戳、線程ID和讀/寫訪問類型。跟蹤中的虛擬地址經過模擬內存管理單元進行翻譯，該單元跟蹤本地和遠程內存中的頁面。對于每個頁面錯誤，它會在本地或遠程內存中分配一個新頁面。我們還模擬了全局內存管理器，以處理來自節點的遠程內存分配請求。

互連的模擬是一系列離散事件，其中一個事件對應一個CPU周期。我們使用基于隊列的機制來模擬NIC和機架級互連的延遲。為了進行NIC和機架交換機端口的模擬，我們使用了有限大小的隊列，這些隊列具備反壓擁塞控制策略，并在隊列滿時為等待的請求添加適當的排隊延遲。此外，根據線長和鏈路速度，我們在每個數據包中添加了傳播延遲和傳輸延遲。每個遠程內存訪問以網絡數據包的形式發送，適當添加了打包和解包時間。一個交換機仲裁器從輸入端口的虛擬隊列中選擇就緒的數據包，以避免饑餓和頭部阻塞。最后，我們使用DRAMSim2 ［24］來模擬主內存，為此我們部署了多個實例，分別用于計算節點的本地內存和內存池中的遠程內存。來自多核前端的排序內存訪問有助于在代表多線程執行的環境中進行內存模擬。

我們選擇了四個多線程基準測試，如表I所示。每個基準測試在模擬期間的內存訪問總數方面都有很大的變化，代表了數據中心服務器的異構工作負載。在機架規模的實驗中，我們使用了混合工作負載WL-Mix，該工作負載部署在64個計算節點和6個內存池上，每個工作負載中包含了16個節點，每個節點具備256MB的本地內存。我們故意將內存池數量保持較少，因為我們的目標是測試內存池在高工作負載情況下的最大帶寬限制。

表II總結了用于模擬的所有系統參數。我們在本地優先和交替本地-遠程頁面分配策略上執行實驗，并與輪詢和智能空閑池選擇一起運行。

圖3.使用本地-優先頁面分配的平均內存訪問延遲

首先，我們討論了輪詢池選擇的本地優先頁面分配。如圖3（a）所示，該圖展示了不同模擬時間點的累積平均內存訪問延遲，黑色標記表示本地內存不再可用。盡管與隨機池選擇相比，結果顯示平均訪問延遲大幅減少，但仍然很高，特別是對于lbm和fotonik。這是因為這兩個基準測試將大多數內存訪問發送到遠程內存。fft和fmm的平均延遲也不足以維持足夠的應用程序速度。另一方面，如圖3（b）所示，智能空閑策略改善了平均延遲，改進幅度相當大。盡管在epoch4之后在某種程度上出現一些延遲，但沒有一個基準測試在整個過程中都面臨嚴重的遠程內存隊列爭用，盡管如此，智能空閑策略仍然保持了較低的平均延遲。即使使用本地優先分配，延遲對于所有基準測試也只是逐漸增加，這是適當的負載平衡的結果。圖3（c）顯示了輪詢和智能空閑池選擇的內存池的累積平均內存訪問延遲（不包括網絡延遲），這與上述結果完全一致。由于在中間突然爆發了大量內存請求，輪詢無法完美地處理這些請求在內存池之間的平衡。然而，通過智能空閑策略，塊分配被設計成幾乎平均地分配到多個池中，這就是為什么它給出了更好的結果。

（b）智能空閑池選擇

圖4.使用本地-遠程頁面交替分配的平均內存訪問延遲

接下來，我們通過交替的本地-遠程分配來測量性能，如圖4所示。如預期的那樣，一旦本地內存用完，所有基準測試的延遲都會逐漸增加，而不會出現遠程內存訪問的突然激增。令人驚訝的是，輪詢和智能空閑策略的表現相對于本地優先策略而言更好。這并沒有顯示最初沒有專有訪問快速本地內存的太大影響，盡管lbm和fmm具有較大的內存占用量，它們仍能夠獲得足夠好的平均內存延遲。總的來說，我們看到了相同的趨勢，智能空閑策略比輪詢更好。但是，這次的延遲差異較小。這些結果表明，交替的本地-遠程頁面分配與智能空閑池選擇相結合，可以優化整體平均內存延遲，如圖4（b）所示。

圖5.基于訪問時間的遠程內存訪問分布和本地/遠程/網絡時間的延遲分析 深入分析了所有遠程內存訪問的完成時間，如圖5（a）所示。這里的延遲僅包括內存請求到達遠程內存并完成內存訪問所需的時間。不同顏色的條形圖表示根據其訪問延遲完成的內存訪問數量。盡管使用隨機池選擇會導致較高的延遲，但輪詢池選擇策略將其降低。許多內存請求的延遲超過了500納秒（黃色、淺藍色和綠色的條形圖）。輪詢策略未能充分平衡不同內存池之間的內存流量，從而導致了這些高延遲。智能空閑池選擇策略結合了本地-遠程交替頁面分配，相對于簡單的輪詢策略，可以更好地減少尾延遲。圖表顯示，只有很少的訪問需要超過500納秒才能完成。

圖5（b）展示了所有內存訪問的總體延遲分解。智能空閑策略的網絡延遲相對較低，因為內存請求均勻分布在連接內存池的多個鏈路上。然而，不同策略在各個基準測試中的平均遠程內存訪問時間存在很大的差異。

結論與未來工作

在本文中，我們研究了機架規模的內存解耦系統，這些系統提供了更靈活的內存利用方式，但也伴隨一些開銷。通過我們的實驗，我們還研究了遠程內存訪問延遲。當使用傳統池選擇策略時，遠程內存的內存隊列高度爭用成為主要問題。我們提出的智能空閑池選擇策略通過均勻分配內存流量負載到所有內存池中，以抵消高尾延遲，并提供更平衡的本地和遠程內存的平均訪問延遲。此外，我們還討論了一些優化方法，如遠程預取或將頁面從遠程遷移到本地內存，這些方法可以用于掩蓋遠程內存延遲。內存解耦系統需要從共享的遠程內存中策略性地選擇頁面進行遷移，這將成為我們未來工作的一部分。