本文翻譯轉載于：Cadence blog
作者：Deep Mehta

由于全球數據流量呈指數級增長，PCIe 6.0 交換機的市場需求也出現了激增。PCIe 6.0 交換機在高性能計算（HPC）系統（尤其是數據中心）中為需要大帶寬和超低延遲的應用提供了重要的數據傳輸支持。然而，確保這些交換機嚴格滿足性能、能效和成本等要求是一項艱巨的挑戰。盡管如此，全面的測試和驗證過程還是能夠降低這些交換機設計的復雜性。

傳統的驗證方法仍具有價值，如 PCIe 5.0 交換機采用數據完整性和虛擬通道仲裁測試。盡管如此，PCIe 6.0 要求采用更全面的驗證方法——比基本功能驗證更深入的高階驗證策略，其中包括生成用于識別潛在性能問題并確保交換機在實際場景中以最佳狀態運行的反向壓力流量。只有主動應對這些挑戰，才能設計出滿足高性能計算應用要求的低延遲、高帶寬交換機。

Flit 模式和非Flit 模式的互操作性

PCIe 6.0 新增的 Flit 模式對交換機提出了全新的驗證挑戰。如下圖所示，我們可以將驗證分為幾個關鍵領域來思考。

●共存驗證：交換機必須能夠有效處理通過不同端口的 Flit 模式（FM）和非 Flit 模式（NFM）的混合流量。這種驗證方法確保了交換機的性能不會因為流量模式的異構性而降低。

●事務層數據包（TLP）的數據頭轉換：NFM 和 FM 使用不同的數據頭格式。當入口端和出口端采用不同運行模式時，交換機就需要對不同格式進行轉換，驗證策略的重點是確保該轉換過程的正確性。

●重傳機制差異：FM 和 NFM 使用不同的重傳機制。驗證策略必須考慮這些差異，才能在重傳期間妥善處理傳輸錯誤并確保數據完整性。

●段的可見性和轉換：段信息僅可在 FM 鏈路中直接訪問，這使得 FM 和 NFM 事務層數據包（TLP）之間的路由變得更復雜，尤其是當入口端和出口端采用不同運行模式時。例如，交換機有時會報告 TLP 轉換出口被阻止的錯誤，因此必須根據轉換規則進行驗證。

設備 3 的能力寄存器具有一個“段捕獲”位；交換機在將一項 TLP 從 NFM 轉換為 FM 時，必須遵循段捕獲位的具體規則。

●棄用 NFM 中的 LN 位：PCIe 6.0 棄用了 NFM 中使用的 LN（輕量級通知）位。驗證策略必須針對棄用的 LN 位制定專門的轉換規則。

●14 位標簽支持和轉換：14 位標簽是 FM 獨有的。PCIe 規范規定了將請求從 FM 轉換為 NFM 的具體轉換規則，以解決標簽位數差異的問題。

●中毒機制轉換：如果在 FM TLP 轉換為 NFM TLP 的過程中應用了任一種中毒機制，則必須設置 NFM TLP 的錯誤中毒位（EP位）。相反，從 NFM 轉換到 FM 時，如果在 NFM TLP 中設置了 EP 位，則該 EP 位必須在轉換后的 FM TLP 中保留。驗證策略應確保交換機遵循這些中毒機制的轉換規則。

通過全面驗證這些互操作性，設計人員可確保 PCIe 6.0 交換機有效且穩定地處理 FM 和 NFM 的混合流量。以下拓撲圖展示了交換機端口上混合模式流量（FM 和 NFM）的一個示例場景，其中包含一個上行端口和三個下行端口，分別與根復合體（RC）和各個端點（EP）連接。

應考慮的性能損失

雖然應用這些轉換規則和各種共享或專用信用管理能夠簡化交換機的設計，但在 Flit 模式下添加額外的無操作（NOP）流控單元或NOP TLP 可能增加性能損失，并額外增加非Flit 模式中的邏輯空閑（IDL）雙字節。這也是現在必須在交換機設計的驗證和驗收標準中進行性能測試的原因。

交換機驗證可以通過流量建模、延遲監控和緩沖區分析來識別和糾正性能問題。

●流量建模：通過將大量 Flit 模式流量與非 Flit 模式流量互相轉換，開發模擬真實世界流量模式的測試場景。測試策略需要根據隨機因素評估，如不同的傳輸速度、鏈路寬度，以及生成的不同 TLP 類型的流量，確保所有交換機端口都采用了 Flit 模式和非 Flit 模式進行驗證。

●延遲監控：監控數據包在通過交換機時產生的延遲，并重點關注頻繁轉換模式的路徑，找出可能表明轉換過程效率低下的異常延遲峰值。

●緩沖區分析：分析在流量模擬過程中交換機內部緩沖區的行為。必須識別出任何接近滿載或溢出的緩沖區場景，因為這種情況可能表明過多的轉換負載導致出現潛在的性能問題。換言之，交換機端口必須根據協議標準的規定對 TLP（包括“保留”TLP）進行緩沖和路由。

總 結?

Summary

PCIe 6.0 標準為 PCIe 協議的分層堆棧帶來了革命性的變化，其中最具顛覆性的創新是采用了“Flit”。根據標準的要求，交換機入口端會接收一個包含多目標 TLP 的 Flit 數據包，這些多目標 TLP 需要簡化路由邏輯，才能利用轉換邏輯將數據發送到相應的出口端（反之亦然）。在應用經 OHC 封裝的轉換邏輯時，不同的共享或專用信用管理和 TLP 重傳機制的交換機路由邏輯可能會增加性能損失，僅驗證數據集成測試無法識別出這種性能損失。必須對性能測試策略加以評估，才能確保對所有支持 Flit 模式和非 Flit 模式流量的交換機端口進行全面驗證。此外，性能測試還有助于識別在不同負載條件（即有效負載長度）下可能出現的潛在瓶頸或問題。

關于 Cadence

Cadence 是電子系統設計領域的關鍵領導者，擁有超過 30 年的計算軟件專業積累。基于公司的智能系統設計戰略，Cadence 致力于提供軟件、硬件和 IP 產品，助力電子設計概念成為現實。Cadence 的客戶遍布全球，皆為最具創新能力的企業，他們向超大規模計算、5G 通訊、汽車、移動設備、航空、消費電子、工業和醫療等最具活力的應用市場交付從芯片、電路板到完整系統的卓越電子產品。Cadence 已連續十年名列美國財富雜志評選的 100 家最適合工作的公司。