當系統架構師坐下來設計他們的下一個平臺時，他們首先會查看 CPU、加速器、內存、閃存、網絡接口卡以及 PCI-Express 控制器和交換機供應商提供的一系列路線圖。在混合計算和內存類型的系統設計以及共享加速器和內存等組件的集群中，交換機變得越來越重要。

華為盤古大模型3.0發布，重塑千行百業

問題在于：路線圖并沒有真正協調一致。大多數 CPU 和 GPU 制造商都試圖每兩年進行一次重大的計算引擎升級，并在重大發布之間的一年中進行架構和流程調整，以便他們每年都有新的東西可以銷售。以太網和 InfiniBand 市場中的網絡交換機和接口卡芯片制造商也往往以兩年為周期，并且在英特爾至強 CPU 占據主導地位時，他們過去常常將自己的產品發布與英特爾至強 CPU 的發布節奏緊密聯系在一起。但這種節奏已經被英特爾不斷重新繪制的路線圖、AMD 作為 CPU 供應商的重新崛起以及其他一些 Arm CPU 制造商（包括至少三個超大規模制造商和云構建商）所打破。

然后是 PCI-Express 總線，它在過去二十年里已經無處不在。雖然近年來 PCI-Express 規范以更可預測的方式發布，但 PCI-Express 控制器一直忠實于 PCI-Express 路線圖，但 PCI-Express 交換機在 MicroChip 和 Broadcom 的產品發布方面遠遠落后。

我們認為所有這些路線圖都需要更好地協調一致。具體來說，我們認為控制 PCI-Express 規范并通過與 IT 行業廣泛而深入的合作來實現這一目標的 PCI-SIG 組織需要加快步伐，采用兩年的節奏，而不是平均的節奏在過去的二十年里，它已經展示了三項。雖然我們正在考慮這個問題，但我們認為短節奏地跳躍到 PCI-Express 7.0 會更好地為行業服務，需要盡快推出 PCI-Express 7.0，以使 I/O 帶寬和通道數更好地與高吞吐量計算引擎，我們預計將越來越多地使用 PCI-Express 總線來處理基于 CXL 的分層和共享主內存。

我們調整了 PCI-SIG 的帶寬圖表，該圖表并未顯示 PCI-Express 6.0 規范是在 2022 年發布的，而是在 2021 年發布的，這是不正確的。

別誤會我們的意思。我們很感激 PCI-SIG 組織，這是數據中心和現在邊緣的各類公司之間的合作，自很晚的 PCI-Express 4.0 規范發布以來，已經能夠使 PCI-Express 總線處于可預測的路線圖上。2017 年交付。一些嚴峻的信號和材料挑戰使數據中心在 PCI-Express 3.0 上停滯了七年，我們認為當時主導 CPU 的英特爾在提升 I/O 方面有點拖沓，因為它被“Sandy Bridge”Xeon E5s 使用的芯片組中的 SATA 端口燒毀，該芯片組于 2012 年 3 月發布，比預期晚。從那時起，關于將 PCI-Express 4.0 和 PCI-Express 5.0 控制器集成到處理器中的困難的傳言就很多了。

一般來說，PCI-Express 規范發布后，大約一年左右的時間我們就會看到控制器嵌入到計算引擎和網絡接口芯片中。因此，當 PCI-Express 4.0 在 2017 年問世時，我們看到第一批使用它的系統在 2018 年問世，具體來說，是IBM 基于 Power9 的 Power Systems 機器，隨后在 2019 年 8 月推出的 AMD“Rome”Epyc 7002 中使用了它。英特爾直到2021 年 4 月的“Ice Lake”一代才將 PCI-Express 4.0 控制器納入其 Xeon SP 處理器中。

即使在 2019 年短暫兩年后就達到了 PCI-Express 5.0 規范，但直到2021 年 IBM 在其高端 Power E1080 機器中推出了 Power10 處理器，它才在產品中可用。AMD 直到2022 年 11 月推出“Genoa”Epyc 9004才將 PCI-Express 5.0 集成到服務器芯片中，英特爾直到 2023 年 1 月推出“Sapphire Rapids”Xeon SP 才將 PCI-Express 5.0 集成到服務器芯片中。

因此，正如 CPU 上的控制器所表達的那樣，PCI-Express 4.0 和 5.0產品之間實際上是三年的節奏，即使規范只邁出了兩年的一步。

我們認為規格和產品需要以更短的兩年周期進行，以便計算引擎和互連可以全部排列在一起。其中還包括 PCI-Express 交換機 ASIC，傳統上這些 ASIC 遠遠落后于廣泛使用的 3.0、4.0 和 5.0 代 PCI-Express 規格。

在任何一代中，PCI-Express 端口和 PCI-Express 交換機之間的滯后都是一個問題。這種延遲迫使系統架構師在可組合性（理想情況下在 Pod 級別使用 PCI-Express 交換機）或帶寬（通過直接服務器插槽提供）之間進行選擇。系統和集群的設計需要兼具可組合性和帶寬——我們也會在組合中添加高基數。

目前，只有兩家 PCI-Express 交換機制造商：Broadcom（通過多年前收購 PLX Technologies）和 MicroChip。早在 2021 年 2 月，我們就對 PCI-Express 5.0 級別的 MicroChip Switchtec ASIC 進行了分析，其通道從 28 擴展到 100 個，端口從 16 擴展到 52 個，但據我們所知，它們尚未批量發貨。Broadcom早在 2022 年 2 月就推出了 PCI-Express 5.0 芯片組合，其中包括 ExpressFabric PEX 89100 交換機，該交換機擁有 24 至 144 個通道和 24 至 72 個端口。截至發稿時，我們正在確認這些產品是否正在發貨，但尚未收到博通的回復。

我們的觀點是，PCI-Express交換機必須同時可用，計算服務器、內存服務器和存儲服務器都將使用支持任何給定級別 PCI-Express 的芯片來創建。事實上，在第一天。您必須能夠在服務器中嵌入交換機，并且不會丟失帶寬或端口或犧牲基數來獲得帶寬。因此，我們需要大量供應商，以防其中一個供應商出現失誤。這就是我們最近試圖鼓勵 Rambus 進入 PCI-Express 交換機 ASIC 市場的原因之一。

正如 PCI-SIG 推出 PCI-Express 7.0 規范的 0.3 版本一樣，所有這些都是首要考慮因素。

讓我們看一下一年前 PCI-Express 6.0 規范完成、PCI-Express 7.0 即將出現時我們對 PCI-Express 路線圖所做的預測：

PCI-Express 7.0 規范預計要到 2025 年才會獲得批準，這意味著我們要到 2026 年末或 2027 年初才能看到它出現在系統中。我們認為這個等待時間太長了。我們需要 PCI-Express 7.0 來提供帶寬加速器，以處理運行模擬或訓練 AI 模型所需的大量數據。我們需要它與完全復雜的 CXL 4.0 共享內存和池化內存規范相匹配。

我們知道，加速 PCI-Express 7.0 控制器和交換機的上市是很困難的，所有類型的產品也都必須加速。計算引擎和外圍設備制造商都會猶豫是否要從 PCI-Express 6.0 產品周期中擠出盡可能多的投資。

盡管如此，隨著 PCI-Express 6.0 投入產品并經過嚴格的測試（由于它使用了新的 PAM-4 信號和 FLIT 低延遲編碼，因此需要進行嚴格的測試），我們認為該行業應該開始加速并盡可能與 CPU 和 GPU 路線圖相匹配，并按照兩年的節奏進行。

讓各個組成部分保持平衡，然后同時共同前進。

審核編輯：黃飛

?