光纖項目系統概述

第一章項目背景

光纖項目是明德揚承接自某研究所的項目。該項目功能是接收4路光纖數據，經過內部DDR3緩存后，通過PCIE接口上送到電腦保存。其中光纖采集到數據后，需要做一定的算法處理，該算法處理由客戶實現，明德揚保留易修改、易插入的模塊接口。

該項目實質就是一個數據采集卡功能：采集到高速數據并保存到電腦本地，具有速率高、數據量大的特點。采集卡項目均可參考此方案實現。

該項目使用到光纖接口，可以學習到光纖IP核的應用。

本項目可以通過PCIE，實現對FPGA的配置。特別是實現了可分別配置和讀取1路接收FPGA、4路發送FPGA寄存器的功能。關于上位機，如DSP、ARM、單片機、電腦 ，如何與FPGA通信交互的，可以參考此方案。(在優化版本中，也提供了通過串口配置的方案，即將PCIE配置改為用串口配置。)

PCIE部分不作講解，要注意。

該項目有對應的視頻專題課，并提供代碼學習。

第二章 系統功能和架構

上圖是本項目整體的簡圖，包括4個發送板、1個接收板和PC電腦。其中本項目主要實現提接收板功能。

接收板包括四片的DDR3、一個PCIE接口、四路光纖接口。當然接收板上還有很多其他接口，但是對于我們的項目來講，主要的就是這三種接口。

接收卡通過PCIE接口，直接插到PC的插槽上，跟PC進行相連。

發送板可以通過光纖口發送數據，從接收板看來，可以認為外部有四路光纖口，接受這四種光纖的數據。

本項目中，四路發送板，每一個發送板其實它是一個AD采集卡。每個發送板它大概有16路的AD的采集，采集好數據匯總通過光纖送到這個接收卡。

接收卡從光纖接受到數據后，把數據匯聚起來，做適當的處理后，將數據保存到DDR3中，等待被讀出送給PCIE接口，然后上送給PC電腦 ，這個就是我們整體的功能。

第三章 FPGA架構

上圖是FPGA的內部實現架構。根據功能，可以大概劃分成光纖功能、存儲控制功能、PCIE功能三大部分。

第1節 光纖功能

本項目通過光纖模塊，實現接收板和發送板的通信，通信速率是2.5Gbps，采用XILINX的官方IP核：7 Series FPGAs Transceivers Wizard(以下簡稱：GTX IP核)。關于該IP核的設置，有興趣的讀者，可以閱讀我們之前發表的文章《XILINX(K7)和CycloneV之間的光纖通信設置》一文。

由于使用到4路光纖，在設置高速收發器IP核 時，注意要生成4路通道。當生成后，每路通道給用戶側的數據發送接口只有兩個：發送數據tx_data和K碼指示tx_kchar。同理，接收方向則是rx_data和rx_kchar。

我們注意到，數據接口只有數據和K碼指示，而不是明德揚常見的包文形式。事實上，兩個較高級的設備之間通信，一般就是采用包文的形式，一次發一組數據，每組數據可以達到幾千字節。為實現分組發送，特自定義了光纖協議層包文格式，如下表。

包文頭數據長度校驗和無效值數據

16位16位16位16位數據長度個數據

上面是光纖協議層的包文格式，其有一個16位的包文頭(固定為0x55d5)，一個16位的長度指示(指示后面數據的長度，單位為字節)，一個16位的校驗碼，一個16位的無效值，以及數據。

在FPGA內部架構圖中的光纖打包模塊，當從上游模塊收到一個包文時，就計算該包文的長度、校驗和，然后產生包文頭+數據長度+校驗和+無效值字段，再加上輸入的包文數據，送給GXT IP核。GTX IP核再通過光纖送給發送板。

同理，發送板那里，也應該有一個打包模塊，其要發送數據給接收卡，就會將包文封裝成上面格式，再通過光纖傳輸到接收板。接收板從GTX IP核接收數據，在光纖解包模塊中，搜索包文頭55D5。如果搜索到包文頭，下一狀態就獲取數據長度和校驗和。根據數據長度，接收后面的數據。邊接收數據邊計數數據的校驗和。當接收數據完畢，校驗和也計算完了。這個時候，就對比收到的校驗和與計算的校驗和，是否相同。如果相同，說明包文是正確的;如果不同，說明包文是錯誤的。

上面就是光纖的基本功能，主要涉及到光纖打包、光纖解包等。

事實上，如果光纖采用的是Aurora協議，那么推薦采用另一個IP核：Aurora 8B10B。這個IP核使用AXI4-stream總線接口，并且已經是包文的格式。因此使用起來更加簡單。

第2節 存儲控制功能

本項目接收光纖數據后，首先會保存到DDR3中，等存夠一定數據時，讀出數據，送到PCIE。

接收板一共有4片DDR3，每片DDR3的數據位寬是16位。要注意的是，雖然有4片DDR4，但這4片DDR3不是各自獨立工作的。在硬件設計時，將DDR3的地址線、控制線共用，數據線分開。也就是說，4片DDR3同時進行讀寫，對FPGA來說，這相當于一片64位的DDR3。

由于光纖數據一共有4路，并且4路數據都同時過來的，但只有一片64位的DDR3，如果不做處理，必須會有沖突。所以必須要做一個調度模塊：4路光纖數據，首先會保存到內部的寫FIFO中;調度模塊判斷4路FIFO的空閑情況，從而決定讀取哪一路數據，存到DDR3中。沒有被讀取的，則繼續保存在FIFO中，直到被調度出來。

在設計調度模塊時，要注意如下幾點：

a.調度的優先級

一共有4路數據，那么調度器的優先級如何選擇，即如果4路中有多于1路均同時有數據，那么該如何選擇哪一路。例如，您可以指定第0~3路優先級依次由高變低，即當第0路有數據，一定選擇0路;當第0路沒有數據了，再決定看下一路。當采用此方式時，就要考慮是否存在如下情況：第0路一直有數據，導致其他路一直無法讀出送到DDR3呢，這是要思考的問題。

b.調度的單位

調度的單位是指：選擇了一路數據后，會讀取多少個數據才結束。可供選擇是1個數據、多個數據，或者是讀到FIFO空為止。這里要思考的是，1個數據最靈活，但是最繁瑣，會出現頻率調度的情況;如果是越多的數據，調度沒有那么繁瑣了，但也意味著寫FIFO要臨時存比較多的數據才行，所以這里要有一個平衡。

c.調度的起啟水線

調度的起啟水線：當FIFO存夠多少個數據，才可以被調度器調度。這個是要考慮DDR的寫速度、光纖的輸入速度、以及調度單位的。例如，如果調度單位為1024個數據，起啟水線100，當DDR寫速度比光纖速度快時，就可能會存在DDR寫到一半時，新的數據還沒有來的情況。

當然，最省事的，就是將起啟水線設置為跟調度單位一樣，這樣就絕對不存在問題，但這會存在一定的浪費。為什么呢?我們設想如下場景，當往DDR寫數據的同時，光纖也會同時有新的數據送到寫FIFO。我們可以計算DDR的寫速度，以及新數據輸入速度，根據速度差，得到起啟水線。最理想的情況，就是當最后一個數據寫到FIFO時，剛好也 要將該數據寫到DDR，然后調度結束。這樣做的好處，就是將FIFO的深度設置為最適合的大小，從而節省資源。

在FPGA領域，貌似還不能理解FIFO深度多一點或者少一點有什么所謂。但在芯片設計領域則是經常考慮的點。筆者在做芯片設計時，經常要花很多精力去計算出最省資源的方案。其實這也說明了FPGA設計和芯片設計的區別，區別是做得更細、設計得更好。

by the way，就如我一直在強調的，FPGA和芯片是一個講究做“細節”的技術，很多人可以做很粗的功能，但很少人可以做很細的功能，例如圖像顯示很多人都會，但用較少資源來實現圖像顯示，那就不會了。

第3節 PCIE功能

PCIE實現FPGA與上位機通信的功能，通信包文有兩種，一種是業務包文，一種是配置包文。

配置包文是用來對接收卡、發送卡內的寄存器讀寫的包文。例如上位機對接收卡通道的開戶和關閉，對發送卡的數據收發控制、上位機讀取接收卡的內部狀態等，均是由配置包文來實現的。

業務包文是指發送卡里的AD采集的數據，是真正上位機要保存的數據。

下面上位機和FPGA的通信格式。

包文類型：用來指示是業務包文還是配置包文。業務包文的包文類型為16'h55AA;配置包文的類型為16'hF8F8。

讀寫屬于：用于上位機指示對FPGA的寄存器進行寫，還是讀其值 。

板卡編號：用來指示當前包文是對哪個板卡進行配置，可以理解為設備地址。例如是對接收卡或具體的一個發送卡進行寄存器讀取。編號為0~3表示發送板0~3，編號4為接收卡。

寄存器地址：這個可以理解 為寄存器地址。

寄存器數據：對寄存器配置的數據，如果是讀的話，則填0。

上位機當要配置或者讀取寄存器時，會按格式產生一個配置包文，通過PCIE傳給FPGA。FPGA的內部有一個PCIE IP核。該IP核支持AXI4并且是包文形式，從PCIE里接收到包文數據，并送往協議解析模塊。

協議解析模塊分析該包文，特別是對包文編號進行識別。根據編號，如果是接收卡配置包文，則直接對內部的寄存器進行讀取;如果是某一路發送板配置包文，則將該包文轉發到該路光纖接口。

如果是讀取寄存器數據，則會將配置包文返回給上位機，具體路徑是：協議解析模塊處理后，將寄存器數據補充到包文的數據域，然后讀該包文轉給6選1 SP調度模塊。在該調度模塊中，從6路包文(1路是業務包文，1路是接收卡返回的配置包文，其他4路是4個光纖返回的配置包文)，選取一路發給PCIE IP核。

上位機從包文類型中，識別出業務包文還是配置包文，做相對應的處理。

審核編輯：湯梓紅