0 引言

與傳統的 PCI、PCI-X 并行總線相比［1］，PCIe總線采用高速差分串行的方式進行數據傳輸，這種端到端的數據傳送方式使得信號線減少、系統功耗降低，同時還具有非常明顯的帶寬優勢。

目前通過 FPGA 實現 PCIe 接口是一種比較常用的方式，具有硬件成本低、可靠性高、靈活性大、易于升級等優勢。兩大 FPGA 廠商 Xilinx 和 Altera均具有完善的接口 IP 和測試方法。基于此，筆者主要介紹了基于 Xilinx Virtex5 系列 FPGA 的 PCIe 接口的設計和 DMA 功能的實現方法，并在 x4 模式下進行帶寬測試。

1 PCIe 總線簡介

PCIe 系統中使用鏈路（Lane）進行 2 個 PCIe 設備間的物理連接，1 條鏈路相當于 1 條只掛連 1 個設備的總線，每條鏈路都分配有鏈路號。

PCIe 體系結構采用分層設計，分別是：物理層（Physical layer）、數據鏈路層（Data link layer）和事務層（Transaction layer）。物理層是總線的最底層，負責物理接口連接，為數據傳輸提供可靠的物理環境；數據鏈路層保證來自發送端事務層的報文可以可靠、完整地發送到接 收端的數據鏈路層；事務層定義了 PCIe 總線使用的總線事務，這些事務可用于PCIe 系統內各設備間的通信［2］。

目前最新的 PCIe 規范是 V3.0，在這之前有V1.0、V1.1、V2.0、V2.1 等多個版本，不同的規范規定了不同的總線頻率和編碼方式，如表 1。筆者的設計符合 V1.1 規范。

2 IP 核介紹及參數設置

2.1 IP 核簡介

Xilinx PCIe 的 IP 具有高性能、高靈活性、高可靠性等特點，支持 x1、x2、x4、x8 鏈路寬度。支持鏈路和極性的錯序連接，完全符合 PCIe 的層級模型，包含事務層、數據鏈路層和物理層。圖 1 是 IP核的功能框圖及各個接口［3］。

圖 1 IP 核功能框圖及接口

用戶邏輯接口（User logic）：用戶需要根據該接口編寫本地總線邏輯，進而與 IP 核進行通信；

配置接口（Host interface）：主機通過該接口對IP 核進行配置或讀取狀態；

物理層接口（PCI express fabric）：通過高速差分信號與橋或根復合體直接進行連接；

系統接口（System）：包括時鐘和復位信號。

2.2 參數設置

需要設置的參數主要包括：參考時鐘、鏈路寬度、設備 ID、基址寄存器、TLP 大小等。參考時鐘一般選擇 100 MHz，TLP 大小建議選擇最大值

512Byte，鏈路寬度、設備 ID 可根據實際需求情況進行設置。基址寄存器（BAR）包含設備在總線域使用的地址范圍，通常情況下使用 2 到 3 個 BAR 就足夠了。其余設置可采用默認設置。圖 2、圖 3、圖4 是部分參數的設置情況。

圖 2 設置鏈路帶寬和參考時鐘

3 設置基址寄存器（BAR）設置情況

圖4 設置最大載荷

3 DMA 功能設計

PCIe 總線的高帶寬特性需要通過 DMA 功能來實現，有效且穩定的 DMA 功能是實現 PCIe 總線的關鍵。

針對 PCIe 接口 Xilinx 提供了多個參考設計。

表 2 PCIe 各參考設計比較情況

筆者介紹的 DMA 功能主要以 XAPP1052 為基礎進行設計。圖 5 是該參考設計的架構框圖。

圖 5 XAPP1052 設計架構

主要功能模塊說明如下：

目標邏輯（Target logic），用于捕獲上位機發出的單次存儲器讀寫 TLP；如果是寫 TLP 則根據地址和數據更新控制寄存器中的內容，如果是讀 TLP 則根據地址返回控制和狀態寄存器中的數據；

控制和狀態寄存器（Control/Status register）：主要是與 DMA 控制器相關的如 DMA 傳輸長度、啟動 DMA 等寄存器；

初始化邏輯（Initiator logic）：與 PCIe 硬核交互，產生存儲器讀寫 TLP。

參考設計 XAPP1052 主要以測試性能為主，設計中并沒有目標存儲器，無法存儲 DMA 測試數據，筆者在 XAPP1052 的基礎上增加雙口 RAM 存儲器，并完成接口邏輯的設計，最后通過測試程序完成上位機與雙口 RAM 間的 DMA 讀寫操作，形成一個完整的 DMA 功能驗證模塊。

圖 6 是 ISE 工程界面的截圖，其中雙口 RAM的寫邏輯在模塊 BMD_RX_ENGINE 中產生，讀邏輯在模塊 BMD_TX_ENGINE 中產生。在 PCIe 總線中，由于 EP 發出的存儲器讀請求可以超越之前的存儲器讀請求，而且當存儲器完成報文使用的Transaction ID 不同時，存儲器讀完成 TLP 也可能超越之前的存儲器讀完成 TLP，這將造成存儲器讀完成 TLP 的亂序到達 EP［6］。因此在處理 DMA 讀時，要針對這種亂序情況做適當處理，需要檢查存儲器讀完成 TLP 的 Requester ID、Status、Tag、Attr 等字段，最后將數據按正確的順序寫入雙口 RAM 中，在筆者的設計中，模塊 dma_read_reorder 完成的就是這一功能，有效解決了亂序到達的問題。

圖 6 ISE 工程界面截圖

DMA 讀寫的操作流程大致分以下幾個步驟：

1） 對 DMA 控制器復位，進行初始化操作；

2） 填寫 DMA 讀（寫）的目的地址寄存器；

3） 填寫 TLP 大小及數量寄存器，確定傳輸數據量的大小；

4） 啟動 DMA 讀（寫）；

5） 等待并處理 DMA 讀（寫）完成中斷；

6） 回到 1）。

圖 7、圖 8 分別是 DMA 讀和 DMA 寫測試情況。

圖 7 DMA 讀測試情況

8 DMA 寫測試情況

由圖 7 和圖 8 可知，在 X4 模式下 DMA 讀和DMA 寫的帶寬［7］分別達到 554 MB/S 和 881 MB/S。

4 結束語

筆者基于 XAPP1052 參考設計，并增加了用于測試 DMA 數據的存儲器控制接口及存儲器讀完成TLP 檢查模塊，形成了完整的 DMA 測試功能模塊，解決了 DMA 讀時數據亂序到達等關鍵問題，在 X4模式下，DMA 讀和 DMA 寫的帶寬分別達到了 554MB/S 和 881 MB/S，可滿足大多數情況的帶寬要求。