一、概述
目前傳統(tǒng)的工業(yè)視覺產(chǎn)品由于其成像光譜單一的缺點,導(dǎo)致在觀察場景及目標(biāo)的過程中僅僅能夠獲得單一光譜下有限的信息,對場景中的多維目標(biāo)信息無法實現(xiàn)廣泛覆蓋。例如,傳統(tǒng)安防過程中受限于可見光成像特性,對暗光環(huán)境表現(xiàn)較差;傳統(tǒng)運維過程中受限于紅外光成像特性,對異常發(fā)熱目標(biāo)形貌無法快速分辨;傳統(tǒng)高壓電弧檢測過程中受限于紫外光成像特性,對發(fā)出電弧的高壓電力設(shè)備的位置無法快速定位。
目前行業(yè)內(nèi)要實現(xiàn)對多種場景的不同光譜特征同時檢測必須攜帶多種光譜設(shè)備,不僅操作繁瑣,也不便于攜帶,更提高了使用成本,帶來了諸多不便。因此,能夠在一次成像過程中融入多種光譜特征并加以分辨的創(chuàng)新型設(shè)備的問世已經(jīng)成為成像視覺領(lǐng)域的重中之重。本作品首創(chuàng)性的設(shè)計并實現(xiàn)了一款多光譜融合智能成像設(shè)備,集合了結(jié)構(gòu)、光學(xué)、系統(tǒng)設(shè)計三個方面,通過自研的像素級融合算法,以及片上操作系統(tǒng)及數(shù)據(jù)調(diào)度架構(gòu)的高度配合,實現(xiàn)了成像譜段橫跨可見光、紅外光及紫外光共10400nm波段,在一次成像過程中的將多種光譜圖像特征同時呈現(xiàn)在同一幀圖像中,清晰完全的揭示被觀察場景的可見及非可見信息,并提供同一視場的不同波段的特征點的準(zhǔn)確的相對位置,從而從根本上克服了傳統(tǒng)多設(shè)備工作方式的效率低下、使用繁雜、準(zhǔn)確度差的缺陷。本作品通過像素級融合效果測試、圖像細節(jié)增強解析度測試、高精度黑體測溫效果測試,證明了本作品在圖像像素級融合能力,圖像細節(jié)及特征解析能力以及溫感探測的高靈敏度與高精度。
本作品使用方便快捷,既減少了現(xiàn)場部署難度和成本,又提高了用戶操作的靈活度,可以廣泛用于安防預(yù)警、邊檢巡查、電力巡維、設(shè)備排障等多個領(lǐng)域。本產(chǎn)品不僅攻克了如像素級多光譜圖像融合、圖像細節(jié)增強、自研片上操作系統(tǒng)及數(shù)據(jù)架構(gòu)等多項技術(shù)難點,更實現(xiàn)了多項國內(nèi)外領(lǐng)先的自主知識產(chǎn)權(quán),具有重要的市場推廣價值和意義。
二 、主要創(chuàng)新點
本作品采用光、電、算集成化技術(shù)(即實現(xiàn)了圖像采集、電路設(shè)計和算法設(shè)計的高度集成),是行業(yè)內(nèi)的新型產(chǎn)品實現(xiàn)了如結(jié)構(gòu)、光學(xué)、系統(tǒng)設(shè)計等多種重大技術(shù)突破。目前已知的多波段圖像融合的類似技術(shù)在國內(nèi)以及國際上有學(xué)者進行了相關(guān)的研究,但是這些研究成果還都只停留在實驗室仿真驗證階段,尚無實際能夠直接轉(zhuǎn)化為生產(chǎn)力的技術(shù)出現(xiàn),這也是限制了多波段融合成像在產(chǎn)業(yè)化進程中推進的重要掣肘問題。在本作品的研發(fā)過程中,本團隊已經(jīng)解決了包括像素級多光譜圖像配準(zhǔn)融合技術(shù)、數(shù)字細節(jié)增強技術(shù)、大數(shù)據(jù)量高速高并發(fā)片上操作系統(tǒng)及數(shù)據(jù)管理架構(gòu)技術(shù)等,從而一舉為該作品產(chǎn)業(yè)化的實施提供了完整的理論和技術(shù)保障。目前在本作品中已經(jīng)實現(xiàn)的技術(shù)突破和技術(shù)創(chuàng)新點主要包括以下4個方面:
(1)像素級多光譜圖像實時融合技術(shù)本作品的核心技術(shù)突破為實現(xiàn)了一種新的像素級多光譜圖像實時融合技術(shù)。該技術(shù)利用雙邊濾波器實現(xiàn)了一種金字塔圖像層析結(jié)構(gòu)來進行多光譜圖像像素級融合,通過雙邊濾波器的細節(jié)及能量分離過程,將系統(tǒng)采集到的實時多光譜圖像進行金字塔多層分層。將每種光譜的圖像分別進行細節(jié)對齊融合以及能量加權(quán)融合后再進行金字塔逆運算得到最終的融合結(jié)果。該技術(shù)突破性的將傳統(tǒng)的雙邊濾波器應(yīng)用到金字塔計算中來,利用雙邊濾波器優(yōu)異的細節(jié)提取能力結(jié)合金字塔分層操作,可以最大程度的得到圖像中的完整細節(jié)領(lǐng)域,使得融合后的圖像具有像素級對準(zhǔn)能力以及優(yōu)異的細節(jié)與能量均衡能力
圖2-1融合圖像效果及像素級對準(zhǔn)效果展示(2)
數(shù)字圖像細節(jié)實時增強技術(shù)該技術(shù)開展基于模糊集的多尺度紅外圖像邊緣增強算法研究,根據(jù)紅外圖像特點分別建立弱邊緣、強邊緣和噪聲三種成分的隸屬度函數(shù)。通過模糊特征平面計算加權(quán)系數(shù)。在處理過程中,減少對噪聲的增強系數(shù),對強邊緣只需進行適當(dāng)?shù)脑鰪姡韵袼攸c的增強程度都由模糊特征平面得到。同時,該技術(shù)開展了基于灰度冗余的動態(tài)范圍自適應(yīng)擴展算法研究,在統(tǒng)計紅外圖像直方圖的基礎(chǔ)上,計算每個灰度的標(biāo)記函數(shù)(所謂標(biāo)記函數(shù)是指,當(dāng)某個灰度級的像素個數(shù)大于設(shè)定的閾值時,該灰度級標(biāo)記函數(shù)值為1,否則為0),利用標(biāo)記函數(shù)求取映射函數(shù),并等間距排列,該方法解決探測器輸出信號溫度動態(tài)范圍寬和顯示系統(tǒng)動態(tài)范圍不夠這一矛盾,在提高圖像對比度的同時極大改善直接均衡帶來的斷層現(xiàn)象,從根本上提高了圖像的可分辨清晰度。
(a)原圖
(b)細節(jié)增強圖圖2-2數(shù)字細節(jié)增強算法效果圖(3)
高速并發(fā)數(shù)據(jù)傳輸RTOS及基于該操作系統(tǒng)的實時數(shù)據(jù)調(diào)度管理架構(gòu)由于本作品系統(tǒng)中要在小型化FPGA架構(gòu)中實現(xiàn)多路高速實時多分辨率視頻信號的采集以及像素級圖像融合算法,同時需要對視頻數(shù)據(jù)進行大量分析操作,為了確保最終視頻60Hz的顯示實時性、傳輸實時性等嚴(yán)格要求,本團隊特別為本項目定制研發(fā)了高速高并發(fā)數(shù)據(jù)傳輸?shù)钠喜僮飨到y(tǒng)以及基于該操作系統(tǒng)的實時數(shù)據(jù)調(diào)度管理架構(gòu)來保證系統(tǒng)的工作在穩(wěn)定、高效率的狀態(tài),目前基于該操作系統(tǒng)及管理架構(gòu)下,已經(jīng)穩(wěn)定實現(xiàn)系統(tǒng)內(nèi)常態(tài)數(shù)據(jù)處理速率為3Gbps,峰值速率高達20Gbps。
圖2-3片上操作系統(tǒng)及數(shù)據(jù)管理架構(gòu)示意圖 三、系統(tǒng)架構(gòu)
1.1 硬件系統(tǒng)總體設(shè)計方案
圖3-1系統(tǒng)總體設(shè)計方案示意圖圖3-1上部分是本系統(tǒng)第一代原理樣機的總體設(shè)計方案示意圖。可見光、紅外光、紫外光作為輸入光源經(jīng)可見光模組、非制冷型紅外熱像儀、紫外光相機模組進入ALTERA、ZYNQ系列芯片進行數(shù)據(jù)處理及融合(預(yù)處理、圖像緩存、細節(jié)融合、彩色融合),之后送到顯示器端輸出顯示(數(shù)據(jù)輸出)。(圖3-1下部分本系統(tǒng)的第二代工程樣機,經(jīng)過先后兩代的研發(fā),在算法、技術(shù)架構(gòu)不斷優(yōu)化、成熟的同時,還實現(xiàn)了體積、功耗的極大優(yōu)化。目前,在保留一代系統(tǒng)所有既定功能和性能的前提下,將第一代系統(tǒng)中的兩塊FPGA芯片縮減至只需要一塊FPGA芯片即可實現(xiàn),同時刪減了第一代系統(tǒng)中的大量外圍芯片,大大降低了基礎(chǔ)成本,同時使得整機體積從高復(fù)雜、體積大下降到集成度高、體積精簡,功耗從12W下降到6W以下,便于本作品以各種形態(tài)出現(xiàn)在行業(yè)中)。硬件系統(tǒng)主要負(fù)責(zé)接收各種不同攝像頭的實時圖像數(shù)據(jù),在片上操作系統(tǒng)中進行算法計算和數(shù)據(jù)調(diào)度、傳輸,并最終向上位機中進行顯示。下面我們對硬件系統(tǒng)進行詳細敘述。
1.2 圖像采集模塊可見光模組+紅外熱像儀+紫外光模組
表3-1 圖像采集模塊參數(shù)表
三個獨立攝像頭分別采集不同波段的圖像送至系統(tǒng)中進行后續(xù)的各種算法計算操作。由于三個攝像頭在安裝過程中需要進行預(yù)先的平行光軸校正工作,使得三個攝像頭的光軸均互相平行并直視被測場景。表中的分辨率參數(shù)和焦距參數(shù)選擇是根據(jù)計算得到,目的是為了使三個攝像頭在觀察同一目標(biāo)時,該目標(biāo)的不同光譜圖像在各自的焦平面上均處在相似的大小,即同一目標(biāo)在不同的焦平面上所占的像素數(shù)幾乎一致,這樣的參數(shù)設(shè)計大大降低了后續(xù)算法的處理壓力。
1.3 硬件核心電路板
圖3-2 壹代
(a)
(b)
(c)
(d) 圖3-3 貳代
圖3-4 硬件數(shù)據(jù)流圖
本作品的研發(fā)經(jīng)過了第一代原理樣機和第二代工程樣機的過程,已經(jīng)實現(xiàn)了小型化的雛形,在第二代工程樣機的基礎(chǔ)上,可以方便的將本作品部署于各種圖像監(jiān)控設(shè)備上,如手持式儀表,工業(yè)巡檢機器人,安防攝像頭等。兩代樣機的硬件組成主要包括如下內(nèi)容:
(1)中央處理單元中央處理單元以FPGA為計算核心,其上運行包括所有算法移植過來的邏輯代碼、自研片上實時操作系統(tǒng)、數(shù)據(jù)采集、數(shù)據(jù)傳輸和圖像送顯示等操作。第一代原理樣機采用兩塊FPGA協(xié)同工作的方式,分別為ALtera和Xilinx ZYNQ各一塊。這樣選擇是考慮到本作品研發(fā)初始階段對部分關(guān)鍵算法的實際資源占用率無法預(yù)估的情況,而形成的穩(wěn)妥解決方案。第二代工程樣機研發(fā)時已經(jīng)對所有的實際資源占用率有了清楚的核算,因此在優(yōu)化了片上操作系統(tǒng)的效率和部分算法的硬件實現(xiàn)方式后,采用了以單Xilinx ZYNQ為計算核心的方案,大大縮減了體積、功耗和基礎(chǔ)成本。
(2)計算資源及數(shù)據(jù)存儲模塊:DDR3內(nèi)存顆粒,512M Flash芯片圖像處理算法、片上操作系統(tǒng)在FPGA中的正確執(zhí)行和工作僅憑借FPGA的內(nèi)部資源是遠遠不夠的。因此,在充分考慮系統(tǒng)功耗,成本,體積等因素的情況下,我們采用了雙DDR3內(nèi)存顆粒形成了1Gb的系統(tǒng)運行內(nèi)存,以及512Mb的Flash芯片作為系統(tǒng)的數(shù)據(jù)存儲介質(zhì)。
(3)供電模塊:12V直流電源系統(tǒng)如圖3-3所示為系統(tǒng)硬件電路中片上操作系統(tǒng)管理和調(diào)度所有數(shù)據(jù)流的流程示意圖。三種不同波段的圖像通過Cameralink接口與硬件電路連接后,在保證平行光軸的結(jié)構(gòu)設(shè)計下觀察到的場景大體上相似,但由于結(jié)構(gòu)件的空間位置阻礙和組裝公差,實際的三路圖像間會存在場景信息出現(xiàn)差異以及輕微的圖像旋轉(zhuǎn)問題。此時,片上操作系統(tǒng)首先對三路圖像進行數(shù)據(jù)清洗,將不同分辨率、旋轉(zhuǎn)誤差以及場景差異從三路圖像中完全校正去除,繼而在系統(tǒng)內(nèi)部通過幀緩存的方式消除不同攝像頭從光電轉(zhuǎn)換到輸出圖像之間的顯示遲滯現(xiàn)象。隨后片上操作系統(tǒng)會根據(jù)本小組設(shè)計的高速高并發(fā)數(shù)據(jù)架構(gòu)進行三路圖像的各種圖像處理算法的片上數(shù)據(jù)流操作,并最終通過USB2.0接口或者千兆網(wǎng)口與后端上位機軟件進行連接,從而將圖像數(shù)據(jù)顯示給用戶進行使用。完整的數(shù)據(jù)操作流程如下圖3-5所示:
圖3-5三光融合流程架構(gòu)
1.預(yù)處理:對三光設(shè)備分別進行棋盤格標(biāo)定,將得到的校正矩陣存儲在flash中,屬于離線校正。預(yù)處理過程包括提取三路圖像中相同的場景、幾何校正圖像中的輕微旋轉(zhuǎn)效應(yīng)、實現(xiàn)不同維度圖像的不同比例縮放以及消除不同攝像頭的顯示幀延遲現(xiàn)象。
2.圖像緩存:由于攝像頭即使標(biāo)稱都以相同幀數(shù)輸出,實際的像素時鐘之間還是會有差異,因此在開始融合過程之前要先進行緩存預(yù)處理,保證每次用相同的時鐘讀取存儲好的三光圖像,并在讀取的同時為每個像素點賦予各自的校正系數(shù)。
3.細節(jié)融合:利用濾波器區(qū)分三光圖像的細節(jié)和基底,分別對基底和細節(jié)做不同的處理。增強細節(jié)、平滑基底,將三光之間的細節(jié)和基底對應(yīng)進行融合。
4.彩色融合:彩色融合時使用偽彩色方式,即將融合后的圖像以偽彩色編碼的形式送到顯示芯片的RGB通道上。
5.圖像輸出:采用VGA接口向顯示器輸出融合圖像,同時通過USB2.0或者千兆網(wǎng)口將圖像送至上位機供PC端使用。傳向上位機的圖像流包括單獨的可見光、紅外光、紫外光和融合圖像共四路數(shù)據(jù),均以60Hz的幀頻進行傳輸,也就是說,傳輸過程的幀頻達到共240Hz,其中融合圖像數(shù)據(jù)可根據(jù)串口命令進行顯示切換,切換成不同的融合組合供用戶使用。
2.1軟件設(shè)計
操作軟件是基于Windows操作系統(tǒng)下C語言圖形用戶界面應(yīng)用程序開發(fā)框架Qt。如下圖所示,軟件系統(tǒng)可大致劃分為軟件啟動、圖像數(shù)據(jù)連接模塊、圖像顯示模塊、以及圖像分析模塊四大模塊。各模塊之間采用靈活的布局管理,其基本職能已在圖中加以簡述。
2.2 軟件啟動及圖像數(shù)據(jù)連接
(a) (b)圖4-1
軟件啟動界面打開軟件時的界面如圖4-1所示,單擊連接選項卡選擇連接電腦選項即可實現(xiàn)硬件系統(tǒng)與上位機的快速連接。
2.3 圖像顯示模塊
用戶可在該選項卡中選擇顯示模式,可一鍵切換顯示模式、彩色成像、彩色融合、DDE(數(shù)字細節(jié)增強),各模式成像結(jié)果可在圖像顯示區(qū)域同步展現(xiàn)。如圖4-2(a)所示,從左上到右下分別為紅外光顯示區(qū)域、可見光顯示區(qū)域、紫外光顯示區(qū)域和融合圖像顯示區(qū)域,需要解釋的是,觀察普通室內(nèi)場景時由于地表處在日盲紫外區(qū),場景中沒有紫外光信息時該部分圖像顯示為黑色,當(dāng)特殊的紫外光成分出現(xiàn)時,在該顯示區(qū)域中即能實時捕獲該種紫外光特征。
圖4-2
圖像顯示界面單擊圖像選項卡中的“顯示切換”功能,可實現(xiàn)融合圖像的不同融合方式;單擊“彩色(紅外)”功能,可為紅外圖像數(shù)據(jù)流添加不同的偽彩色著色;單擊“彩色(融合)”功能,可將最終的融合圖像同步上色;單擊“DDE”功能,可實現(xiàn)為紅外圖像進行數(shù)字細節(jié)增強功能;單擊“保存圖片”功能,可將當(dāng)前觀察的場景圖像捕獲并存至電腦中,一次存儲可記錄可見光、紅外光、紫外光以及融合圖像4張圖片。
2.4 軟件輔助功能及版本介紹
用戶可在軟件頂層工具欄選擇輔助功能,可一鍵切換超聲波測距、遠程控制、測溫(無、單點標(biāo)注、多點標(biāo)注)等功能,各種輔助功能的執(zhí)行效果可在圖像顯示區(qū)域同步展現(xiàn)。如圖4-3所示。
圖4-3
軟件功能顯示例如,單擊圖4-3中的“多點標(biāo)注”功能后,紅外圖像顯示區(qū)和融合圖像顯示區(qū)即開始實現(xiàn)對圖像中不同區(qū)域的分立測溫功能,標(biāo)識框以實時動態(tài)刷新的方式捕獲圖像中不同區(qū)域內(nèi)的異常溫度點并將測溫數(shù)據(jù)顯示在圖像中,使用戶能夠方便快速的對圖像中的異常發(fā)熱情況直觀的做出判斷,不僅如此,由于本作品實現(xiàn)了多光譜圖像融合功能,用戶能夠從融合圖像中快速的定位是何種器件或設(shè)備正在出現(xiàn)異常,及早排障。單擊圖4-3中的“關(guān)于”選項卡,可查看當(dāng)前軟件版本信息,并實現(xiàn)離線軟件更新功能。
3. 算法設(shè)計
3.1 圖像細節(jié)增強算法現(xiàn)代高性能紅外熱像儀能夠輸出動態(tài)范圍很大的紅外原始圖像,原始的探測器數(shù)據(jù)范圍一般在12-14位數(shù)據(jù),這顯然超出了顯示設(shè)備的動態(tài)范圍。一般典型的顯示設(shè)備,如監(jiān)視器,其只能夠接收8位圖像信號。此外一般人眼只能夠分辨128個灰度級。因此,當(dāng)獲得高動態(tài)范圍的原始圖像后,一個必須的過程就是將該高動態(tài)范圍的原始圖像進行重新映射,將其動態(tài)范圍壓縮。這個過程通常需要達到兩個目的:第一:使輸出圖像的動態(tài)范圍能夠與顯示的動態(tài)范圍相匹配。第二:在完成第一點的同時,盡可能保留原始圖像中存在的細節(jié),使觀測者能夠觀察到較好視覺效果的圖像,且能夠盡早區(qū)分隱藏在背景中的微弱目標(biāo)。因此,本作品的研發(fā)過程中,本小組特別針對紅外圖像在顯示場景細節(jié)上的缺陷研究了紅外數(shù)字圖像細節(jié)增強技術(shù),通過非線性濾波器的圖像基頻細節(jié)分離技術(shù)、自適應(yīng)高斯濾波的細節(jié)優(yōu)化技術(shù)、冗余灰度的逆直方圖投影技術(shù)和自適應(yīng)增益控制技術(shù)將普通紅外圖像的顯示效果極大程度的提升,更加便于人眼觀察。
(a)原始圖片
(b)增強圖片
圖4-4
紅外圖像細節(jié)增強圖從圖4-4中可以看出,原始的紅外圖像具有灰度壓縮嚴(yán)重,對比度過大,細節(jié)無法辨識等缺陷,經(jīng)過本小組的數(shù)字細節(jié)增強技術(shù)處理后,圖像整體灰度分布更加適合人眼觀察,圖像明暗對比適中,細節(jié)被全部凸顯出來,整體的觀察效果有了質(zhì)的飛躍。
3.2 多光融合算法的實現(xiàn)多光融合算法是本作品的核心,在進行圖像融合顯示的研究過程中我們發(fā)現(xiàn),融合算法的性能直接決定了最終用戶的體驗。現(xiàn)有的圖像融合算法大多是以金字塔結(jié)構(gòu)對圖像進行分層融合,這樣做的好處在于可以通過逐層遞進的方式將待融合圖像的能量層和細節(jié)層均實現(xiàn)較好的融合效果。但是通過本小組的研究發(fā)現(xiàn),要想實現(xiàn)高精度的像素級融合是一個系統(tǒng)工程,并不僅僅由算法本身決定,而是在更準(zhǔn)確的算法保證下需要硬件的配合。因此,本小組的多光融合算法共包括:確定攝像頭參數(shù)選型以及新的圖像融合算法兩部分。其中,由于不同光譜攝像頭的器件設(shè)計制作難度和材料特性不同,導(dǎo)致不同光譜攝像頭的像元間距各有差別,反應(yīng)到圖像上表現(xiàn)為觀察相同距離處的相同場景及目標(biāo)時,這些場景及目標(biāo)在不同光譜焦平面上的成像尺寸差別明顯,這就給后續(xù)的融合過程帶來了不便性。基于這樣的考慮,本小組首先通過精密的參數(shù)選型,通過不同材料焦平面像元間距、像元陣列大小、鏡頭焦距等關(guān)鍵參數(shù)的特性,確定了攝像頭的選型及平行光軸設(shè)計方案,繼而開始后續(xù)的融合算法操作。在具體的融合算法研究過程中,本小組確定了以像素級融合為核心指導(dǎo)思想的研究方案,研究并實現(xiàn)了基于非線性雙邊濾波器為基礎(chǔ)的金字塔層析方案,首先通過非線性雙邊濾波器將圖像進行高達7層的能量和細節(jié)分離,將每層得到的能量和細節(jié)中間變量繼續(xù)進行非線性雙邊濾波,經(jīng)研究發(fā)現(xiàn),這樣的分離方式能夠以時頻互析的原理在時間域和頻率域?qū)Υ诤蠄D像進行最優(yōu)的能量和細節(jié)組合,最終通過時頻反卷積的方式將每種光譜的分離圖像進行仲裁投票選擇,確定融合后的像素灰度并逆遞歸計算得到融合圖像。最終的融合圖像每個對應(yīng)像素點均一一對齊,保證了融合結(jié)果的高精度。融合過程示意圖如圖4-5所示,最終結(jié)果如圖4-6所示。
圖4-5 三光融合算法基本框圖
圖4-6 金字塔融合過程圖像
四、設(shè)計演示
1.圖像分辨能力測試:像素測試
我們首先對圖像的分辨率進行測試。我們選取正常環(huán)境下的人物場景,檢查圖像的質(zhì)量及色調(diào)范圍。先觀察圖像的直方圖,查看圖像是否有足夠的細節(jié)產(chǎn)生高品質(zhì)的輸出。直方圖的有效灰度范圍越大,細節(jié)就越豐富。我們通過相機拍攝的圖片和實物進行比較計算,獲得兩者之間的數(shù)學(xué)關(guān)系,并通過此關(guān)系來校正圖片,以此消除圖片拍攝時形變產(chǎn)生的誤差。由下圖5-1可見,本項目可以最大程度的得到圖像中的完整細節(jié)領(lǐng)域,使得融合后的圖像具有像素級對準(zhǔn)能力以及優(yōu)異的細節(jié)與能量均衡能力。并且實際測試的多光譜圖像融合像素級誤差≤1個像素。多光譜視覺幀同步率≥95%。
圖5-1融合圖像效果及像素級對準(zhǔn)效果展示
2. 圖像細節(jié)增強測試:RMSC和 DV-BV測試RMSC對比度均方根,公式如下所示:
,
其中代表整個紅外圖像的平均像素值,代表紅外圖像像素每一個點的值,RMSC的值越大,說明整個紅外圖像的信息越豐富,紅外圖像的像素點的梯度越大,對比度越大,細節(jié)越豐富。經(jīng)過計算可知,紅外圖像的細節(jié)增強處理結(jié)果。表5-1 RMSC測試值
DV-BV細節(jié)背景方差比,是細節(jié)方差和背景方差的比值;針對于圖像分層的處理紅外圖像的方法,背景方差即基頻層的像素值求方差,BV是基頻層的像素值求方差的平均值,DV是細節(jié)層的像素值求方差的平均值,若BV的值較大,說明基頻層的噪聲較大,背景的像素值差距越大,視覺效果越不好,若DV的值較小,則細節(jié)的信息較少,那么細節(jié)層和基頻層進行融合時,細節(jié)層的信息增強后,紅外圖像的整體效果欠缺,細節(jié)信息缺失。因此細節(jié)背景方差比值越大,說明紅外圖像的信息越豐富,細節(jié)增強效果明顯,噪聲越小。表5-2 BV-DV測試值
3. 黑體溫度測試
本作品因為使用了紅外熱像儀,因此具備非接觸式視覺測溫功能。在測溫功能中,測溫的準(zhǔn)確性完全由黑體溫度標(biāo)定技術(shù)決定,若標(biāo)定不準(zhǔn),則系統(tǒng)無法正確的向使用者反饋被測目標(biāo)溫度。對此,本小組在樣機的研制過程中,研究提出的寬溫度范圍黑體溫度標(biāo)定技術(shù)。通常情況下,使用非制冷焦平面探測器進行溫度標(biāo)定時,遇到的最大的技術(shù)難點就是探測器焦平面附近的環(huán)境溫度會影響測溫精度。本團隊在標(biāo)定時,首先將探測器置于充填了氮氣的黑體腔室內(nèi),利用高精度的黑體面源逐度上升并采集后端送出的數(shù)字信號,在寬溫度范圍內(nèi)擬合成一條探測器輻射溫度——響應(yīng)曲線,其次將系統(tǒng)置于抽真空的黑體腔室內(nèi)重復(fù)擬合該曲線,最后將本系統(tǒng)置于普通環(huán)境中擬合該曲線。由于這時環(huán)境溫度會對探測器響應(yīng)大小造成一定影響,在擬合的過程中首先要保持室內(nèi)恒溫恒濕,然后對每個測試溫度都需要進行單點補償校正。最后將三條曲線放在一起進行統(tǒng)計修正,得出在各個溫度點下的環(huán)境溫度補償量和標(biāo)準(zhǔn)黑體定標(biāo)溫度值,并將其移植到系統(tǒng)中,這樣就可以保證在寬溫度范圍內(nèi)較高的測溫精確性。本作品最終實現(xiàn)的測溫精度為0.1℃@≤100℃,±1%@100℃~400℃。
圖5-2 高精度測溫功能效果圖
4. 本作品現(xiàn)場使用效果測試
本作品相較于傳統(tǒng)的視覺成像產(chǎn)品最大的優(yōu)勢在于將場景及目標(biāo)的寬譜段光譜信息在一次成像過程中全部呈現(xiàn)給用戶,通過多光譜共同呈現(xiàn)圖像特征的方式能夠及其方便快速的定位故障及隱患發(fā)生位置,實際的使用效果如下圖5-3所示:
(a)
(b)
(c)
圖5-3
室內(nèi)成像效果圖圖5-3(a)為可見光成像效果圖,圖中放置了一塊測試電路板,該電路板經(jīng)過測試處理其上有一個電阻發(fā)熱異常,但是從可見光圖像中無法辨識異常之處,圖5-3(b)為該場景的紅外圖像,可以看出圖中心處有異常發(fā)熱存在,但是無法辨別是哪個電阻出現(xiàn)異常,此兩張圖像即為當(dāng)前行業(yè)中的單光譜器件使用現(xiàn)狀,圖5-3(c)為本作品的成像效果,可以看出,用戶非常快速的就可以定位到是哪個電阻正在異常發(fā)熱,無需在傳統(tǒng)單光譜器件使用中進行二次判斷的過程。
(a)
(b) (c)
圖5-4
室外成像效果圖圖5-4為另一個室外使用效果圖,測試環(huán)境為晴朗的清晨,從圖5-4(a)可以看出,遠處的實驗大樓并無任何異常,而從圖5-4(b)中可以看出,大樓中出現(xiàn)了一個異常熱源,相較大樓的其他房間,該熱源可能是某種隱患,但是從圖5-4(a)和圖5-4(b)中難以判斷是哪個房間里出現(xiàn)的異常熱源,而通過本作品的成像效果呈現(xiàn),可以非常方便快捷的發(fā)現(xiàn)是三樓右起第三個房間中出現(xiàn)了該異常熱源,經(jīng)與大樓物管人員確定,發(fā)現(xiàn)是某個燒制特種材料的鍋爐徹夜未關(guān)。此兩個現(xiàn)場測試使用效果直觀的證明了本作品在對比傳統(tǒng)單光譜成像設(shè)備使用中的功能和性能優(yōu)越性。同時,本作品已經(jīng)與行業(yè)內(nèi)的相關(guān)下游廠商開始了聯(lián)合調(diào)試過程,將其分別應(yīng)用在江蘇飛圖智能控制技術(shù)有限公司的無人機光電吊艙進行地面巡檢以及上海潛新電子科技有限公司的安防領(lǐng)域中,并取得了不錯的效果,得到了廠商的一致好評,下圖為廠商出具的試用報告:
-
圖像采集
+關(guān)注
關(guān)注
2文章
301瀏覽量
41301 -
光譜
+關(guān)注
關(guān)注
4文章
836瀏覽量
35255 -
融合技術(shù)
+關(guān)注
關(guān)注
0文章
9瀏覽量
6505
原文標(biāo)題:多光融合智能成像系統(tǒng)
文章出處:【微信號:HXSLH1010101010,微信公眾號:FPGA技術(shù)江湖】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。
發(fā)布評論請先 登錄
相關(guān)推薦
評論