視頻圖像信號處理(ISP)從模擬信號時代發展而來，已經經歷了很長一段時期。今天，數字信號處理實現了可以在位級進行圖像數據處理，為圖像質量提供了前所未有的控制。數字信號處理顯然不等同于數字信號處理器或DSP.雖然DSP已經被廣泛用于視頻圖像信號處理的數字領域，ISP可以由各種處理器件實現，如DSP、ASIC、ASSP和越來越多的現場可編程門陣列，即FPGA.

　　為什么使用FPGA?

　　有幾個原因推動了FPGA的日益普及。這些原因中的兩個反映了安防攝像機的最新趨勢，大大增加了需要處理的圖像數據量，第三個是經濟方面原因，即攝像機元器件材料成本(BOM)。

　　安防攝像機的趨勢：有兩個主要趨勢正在改變安防攝像機的結構設計方法：

　　1.百萬像素傳感器的問世

　　2.對高(或寬)動態范圍(HDR/WDR)的需要

　　百萬像素傳感器

　　曾經有一段時間，VGA分辨率傳感器對于安防目的的攝像機來說已經足夠了，當時通常由操作人員來監查或者僅是存檔以備日后查看。然而，隨著安防攝像頭在全球范圍內使用的數量急劇增加，沒有足夠的操作人員來監查，所以安防產業已經開始依靠軟件來分析視頻，用以監控是否在“關注的區域”有任何異常發生，無論是實時的或留作日后分析。復雜的視頻分析(VA)算法已發展到可以將異常情況從正常情況中分辨出來;然而，為了更加切實有效，這些算法需要比VGA分辨率的攝像機所能提供的更多的細節信息。

　　攝像機需要更高的分辨率使得VA能夠識別出有限和/或大面積區域內的一般活動，例如：一個停車場。一個攝像機需要約30像素/輸入用于車牌識別，以及約150像素/輸入用于查看更細節的活動，如確定收銀機交易。一百萬像素涵蓋了7英尺X7英尺范圍內的詳細信息，并且4個VGA攝像頭才能抵得上一個一百萬像素的攝像頭。

　　圖像傳感器已經開發出來并且已經商業投產，適用于1百萬、2百萬、5百萬甚至1千萬像素的分辨率。顯然，隨著像素數的增加，因此必須處理的數據量也利用了更高的分辨率這一優勢。

　　高動態范圍(HDR)

　　HDR也稱為寬動態范圍(WDR)，用以測量傳感器和ISP功能是否能夠很好地區分黑暗和明亮區域。我們都對業余拍攝的以太陽為背景的家庭照片非常熟悉。雖然沐浴在陽光下的風景明亮清晰，但是人們的臉上都非常暗。這是因為(通常是自動)相機調整在陽光下的場景的曝光。然而，這個曝光時間太短，以至于無法正確識別較暗的對象。如果手動設定曝光或者使得光圈獲得更多的光線，這樣就能分辨出暗部的細節，但是這樣做的結果是，現在明亮區域的細節已經過度曝光，甚至徹底洗白。這對于操作人員或者VA軟件來說都不是一個好的結果，因為很多關注區域的細節信息都已經丟失。

　　HDR傳感器使用創造性的方式解決了這個問題，根據不同的曝光時間拍攝多張照片，然后通過ISP流水線組合并融合這些圖像，保存并呈現所關注區域的亮部和暗部區域的細節信息。顯然，當對于同一個圖像進行多次曝光，造成了所需處理的數據量增加。例如，當一臺攝像機可以輸出每秒60幀的全高清1080p圖像，帶有HDR傳感器，每幀3次曝光，在其工作時，攝像機內的ISP流水線實際處理的是60×3，即相當于180幀每秒。

　　FPGA和增加的處理負荷

　　一個百萬像素的傳感器和HDR相結合大大提高了ISP流水線的處理負荷。DSP器件本質上是“順序處理引擎”，很難負荷巨大的數據處理負載。它可能仍然可以處理我們上述示例中高端DSP中的1080p60HDR流水線的數據，但成本和功耗高得令人望而卻步，并且在經濟上無法負擔。FPGA由于其固有的并行性，非常適合承擔高清、高動態范圍圖像信號處理所增加的負載。

　　可編程的重要性

　　除了以極低的功耗和成本提供高性能之外，FPGA定義為可編程的，這提供了超越ASIC和ASSP的顯著優點。ASIC的設計和構造都極其昂貴，一旦完成就不能更改。基于ASSP的攝像頭設計可能會受到已經制成的標準件功能的限制，這也就無法再進行修改。事實上，在視頻圖像處理市場中的一些DSP和其它的ASSP器件，需要一個FPGA來橋接傳感器和標準部件，以適應新的傳感器制造商正在使用的新的串行接口，用于接收其傳感器傳輸的百萬像素數據。隨著基于FPGA的實現方法的出現，攝像機制造商可以利用可編程的優勢，迅速在其設計中采用新的傳感器和技術，或迅速改變他們的ISP算法。