1.前言

個(gè)人覺得易靈思的Trion系列比鈦金系列FPGA，就目前而言，更適合做圖像顯示相關(guān)應(yīng)用，以T35和Ti60為例，主要原因如下表所示：

易靈思如果專注圖像細(xì)分領(lǐng)域，畢竟大部分客戶還是用DDR和MIPI，因此我覺得鈦金系列的架構(gòu)真的腦袋被驢踢了，DDR和MIPI用硬核才是正確的選擇！

另外，鈦金系列FPGA相對(duì)推出時(shí)間不夠，目前IP也不成熟。以T35為例，DDR硬核IP在Efinity Interface中直接可以調(diào)用DDR IP并設(shè)定相關(guān)參數(shù)，但是鈦金系列Ti60還沒有包含到工具鏈中，這讓拿不到一手資源的FPGAer就很尷尬，雖然可以理解不集成到IDE中，可以更快的迭代前提不成熟的版本。

如上圖所示，T35F324的FPGA開發(fā)板，我都做了快半年了，一直沒有做一個(gè)基于視頻圖像的像樣點(diǎn)的Demo，甚是慚愧。為了給當(dāng)下煎熬的大家送點(diǎn)福利，我打算分2步走，如下：

DVP相機(jī)+DDR3+LVDS-LCD實(shí)時(shí)顯示系統(tǒng)

MIPI相機(jī)+DDR3+LVDS-LCD實(shí)時(shí)顯示系統(tǒng)

前者更關(guān)注DDR3硬核、LVDS TX，以及進(jìn)行并口相機(jī)的配置與圖像采集，完成實(shí)時(shí)圖像采集、緩存、顯示系統(tǒng)；后者則借用1）的基礎(chǔ)，更關(guān)注MIPI相機(jī)的開發(fā)，進(jìn)一步把易靈思FPGA進(jìn)行圖像采集的優(yōu)勢(shì)，發(fā)揮一下。

當(dāng)然這過程肯定還是有不少的坑，有些坑只有自己趟過，才有發(fā)言權(quán)。

2.FPGA設(shè)計(jì)詳解

言歸正傳，我們開始干正事：基于T35的攝像頭采集、存儲(chǔ)、顯示系統(tǒng)的介紹。

首先是FPGA時(shí)鐘網(wǎng)絡(luò)

這里涉及到DDR控制器的時(shí)鐘，LVDS TX的快慢時(shí)鐘，系統(tǒng)時(shí)鐘，以及外設(shè)驅(qū)動(dòng)時(shí)鐘等，大致示意圖如下：

由于Trion的PLL是能輸出3個(gè)時(shí)鐘，因此將2個(gè)PLL都用上了，一個(gè)產(chǎn)生100MHz的系統(tǒng)時(shí)鐘，48/168M的LVDS慢/快時(shí)鐘，另一個(gè)PLL產(chǎn)生DDR的驅(qū)動(dòng)時(shí)鐘400MHz，以及外部傳感器的驅(qū)動(dòng)時(shí)鐘27MHz。另外，還有一個(gè)從傳感器輸入的像素時(shí)鐘74.25MHz，作為視頻流的同步時(shí)鐘。

其次是硬核的配置

這里用到了DDR與LVDS TX硬核。關(guān)于DDR硬核的使用，外部使用的是三星的K4B4G1646E-BYMA，4G 16bit容量。

在Interface中配置DDR控制器相關(guān)參數(shù)，如下圖所示：

其實(shí)軟件包含了顆粒的型號(hào)，因此配置還是挺簡(jiǎn)單的，對(duì)于用戶接口，Interface提供的是標(biāo)準(zhǔn)的AXI接口，其他的都是在硬核中，用戶不需要例化，非常的簡(jiǎn)單。

關(guān)于LVDS TX的使用，主要是PORT的配置，以TX0為例，Interface配置如下圖所示：

這里特別需要注意的是，PLL1設(shè)置tx_fastclk時(shí)，需要90度響鈴；另外，Efinity的LVDS是LSB的，也就是先發(fā)LSB，這在Interface的說明文檔中有解釋，如下圖所示：

另外，在1024*600 LVDS手冊(cè)中，LVDS時(shí)鐘有一定的相位關(guān)系，如下所示，在7bit數(shù)據(jù)傳輸時(shí)，時(shí)鐘為1100011：

所以如上這部分代碼，如下所示：

接著是相機(jī)的驅(qū)動(dòng)

目前采用的AR0135是車規(guī)常用的130萬全局曝光黑白相機(jī)，成像質(zhì)量非常好，相關(guān)的參數(shù)如下所示：

我曾在《FPGA設(shè)計(jì)技巧與案例開發(fā)詳解》一書中詳細(xì)介紹了如何使用FPGA驅(qū)動(dòng)CMOS攝像頭，因此這里不再描述細(xì)節(jié)，給出框圖如下：

這里在進(jìn)行相機(jī)的初始化后，捕獲輸入的并行視頻流數(shù)據(jù)；另外為了適配后面1024*600的LVDS LCD，再捕獲數(shù)據(jù)后，直接Crop到1024*600分辨率。接著將數(shù)據(jù)送入AXI讀寫模塊，將DVP轉(zhuǎn)成AXI后寫入DDR。

最后是視頻流的緩存與顯示

這一步其實(shí)和相機(jī)的數(shù)據(jù)緩存比較類似，無非是用一樣的時(shí)序反著走一遍：即采用AXI從DDR中讀取數(shù)據(jù)，轉(zhuǎn)成并口后，送給后續(xù)的LCD驅(qū)動(dòng)模塊，再通過LVDS送給LCD顯示，框圖如下所示：

最后，匯總整個(gè)時(shí)鐘、DDR、相機(jī)、LCD驅(qū)動(dòng)顯示的框圖，基于T35的攝像頭采集、存儲(chǔ)、顯示系統(tǒng)，如下圖所示：

由于該趟的坑，都已經(jīng)趟過一遍了，這里我們不得不再靜下心來再分析討論一下，這個(gè)設(shè)計(jì)中遇到的最大的坑——DDR3的AXI接口竟然是Shared Read/Write Address Channel，配置與接口代碼如下所示：

那就意味著，雖然AXI可以做到讀寫通道獨(dú)立，但我不能同時(shí)發(fā)起讀命令與寫命令。如果AXI讀寫通道是完全獨(dú)立的，則我們可以這樣設(shè)計(jì)，即讀歸讀，寫歸寫，設(shè)計(jì)相對(duì)簡(jiǎn)單。

但是現(xiàn)在竟然AXI的讀寫地址通道是shared，我被驚訝到了，畢竟做了七八年芯片，AXI也是手?jǐn)]過很多遍，Shared地址通過的閹割版，還是有點(diǎn)不適應(yīng)，畢竟當(dāng)讀寫沖突的時(shí)候，必須做仲裁，同時(shí)也需要更大的FIFO，還緩存讀寫通道的數(shù)據(jù)。

3.總結(jié)

花了九牛二虎之力，搞定了1280*720@60Hz的AR0135采集，然后裁剪成1024*600后，與1024*600的LCD顯示數(shù)據(jù)仲裁讀寫DDR（加入讀寫仲裁，且讀數(shù)據(jù)優(yōu)先，），最后得到的效果是這樣的：

這里，我還是不解，易靈思的DDR控制器，如果是買的，那Synopsys應(yīng)該是標(biāo)準(zhǔn)的AXI；或者如果是買的DDR PHY+自研的控制器，那應(yīng)該至少遵循標(biāo)準(zhǔn)，為什么會(huì)出一個(gè)閹割版本的AXI接口呢？

百思不得其解，但這也無法阻礙我們前進(jìn)。在不久的將來，我將寫基于易靈思FPGA的MIPI相機(jī)采集顯示開發(fā)詳解。

編輯：黃飛

?