糖度是衡量蘋果品質的關鍵指標。高光譜成像(由于含有豐富的圖譜信息在糖度無損檢測中有著廣泛的應用前景。光譜超分辨率(SSR)可通過建立映射關系從低光譜維度RGB圖像獲得對應高光譜維度HSI圖像，在HSI圖像的高效獲取上有著極大的優(yōu)勢。

蘋果風味獨特，清脆可口，深受全世界消費者的廣泛喜愛。糖度是衡量蘋果品質的關鍵指標。高光譜成像(HSI)由于含有豐富的圖譜信息在糖度無損檢測中有著廣泛的應用前景,然而仍面臨儀器笨重昂貴、操作耗時等問題。光譜超分辨率(SSR)可通過建立映射關系從低光譜維度RGB圖像獲得對應高光譜維度HSI圖像，在HSI圖像的高效獲取上有著極大的優(yōu)勢。

01實驗部分

HSI圖像采集系統(tǒng)由高光譜相機、RGB相機、照明光源、升降臺、果托和計算機組成，如圖1所示。為避免外部雜散光線的干擾，所有設備均放置于暗箱內部(計算機除外)。

圖1 圖像采集系統(tǒng)

1.1SSR 方法

基于密集連接的SSR方法

在基于卷積神經(jīng)網(wǎng)絡光譜下采樣投影恢復高光譜圖像算法基礎之上，提出了基于密集連接的SSR方法HSCNN-D，在特征提取時利用卷積層替換了頻譜上采樣操作，由此避免了對未知光譜響應函數(shù)的依賴。在特征映射的過程中，利用路徑加寬的融合方案，使用了密集連接塊代替了殘差塊，緩解了殘差網(wǎng)絡增加網(wǎng)絡深度帶來的梯度消失的問題。最后經(jīng)過卷積層融合已處理的特征完成SSR。雖然該方法能夠更適當?shù)貙W習映射關系，但是在圖像空間分辨率特征的應用仍然不足。

基于多尺度層級回歸網(wǎng)絡的SSR方法

基于多尺度層級回歸網(wǎng)絡的SSR方法通過并行多分支網(wǎng)絡提取不同尺度下的特征，然后融合相應特征得到最終特征。基于層級回歸網(wǎng)絡算法為層間交互的四級回歸網(wǎng)絡。首先利用PixelUn-Shuffle層對輸入圖像進行空間下采樣,使圖像空間分辨率降低。根據(jù)分辨率的高低分別從上至下作為層級輸入。下層低分辨率圖像依次經(jīng)過卷積層、殘差密集塊和殘差全局塊提取出特征，再利用PixelShuffle層對特征圖完成上采樣，然后與上層高分辨率圖像特征拼接，再完成當層的特征提取。由于特征在底層較為緊湊，需要在上采樣前利用卷積層進行通道加權，加強映射。殘差密集塊連接方法，有助于去除噪聲和減少偽影。殘差全局塊的應用使得從輸入端跳過連接通過注意力機制來擴大感受野。雖然基于多尺度層級回歸網(wǎng)絡的SSR方法能夠提取不同尺度下的特征，但是會造成運算量過大的問題。

基于Transformer的SSR方法

多級光譜Transformer算法為基于Transfommer的SSR方法，將每一個光譜通道的特征圖輸人光譜多頭注意力層進行計算響應值。光譜注意塊由光譜多頭注意力層和前饋網(wǎng)絡組成。通過在光譜多頭注意力層和前饋網(wǎng)絡組成前面添加歸一化層可以緩解梯度消失的問題，加快網(wǎng)絡的收斂。然后，利用形網(wǎng)絡結構將光譜注意塊構建了一個單級光譜轉換器，由此更好地提取上下文信息。最后，MST十十將由多個單級光譜轉換器級聯(lián)，從粗糙到精細逐步提高SSR質量。基于Trans-former的SSR方法具有優(yōu)異的長距離依賴關系和全局信息捕捉能力。

1.2糖度回歸分析方法

有效波長光譜提取

建立蘋果糖度預測模型時，原始數(shù)據(jù)的全光譜波段數(shù)多并且波段間相關性高，將全光譜輸入模型將導致計算時間長以及預測精度較低。通過有效波長光譜的提取可以減少大量的冗余信息和噪聲，提高建模的準確性和穩(wěn)定性。有效波長提取采用競爭性自適應重加權,將篩選后的有效波長光譜作為模型輸入。

回歸建模方法

偏最小二乘回歸被廣泛應用于化學計量學和光譜定量分析。該方法結合主成分分析、典型關聯(lián)分析和多元線性回歸三種方法，有效地解決多重相關性問題。利用樣本的光譜數(shù)據(jù)作為自變量以及測量參考值作為因變量完成回歸模型建立。

隨機森林是一種機器學習的統(tǒng)計方法，通常應用于處理高維度數(shù)據(jù)。該方法基于決策樹的集成算法，首先對原始樣本隨機選擇樣本子集，然后在不同的樣本子集上訓練每個決策樹，最后對預測取平均以進行整體預測。

極限學習機是一種單隱層前饋神經(jīng)網(wǎng)絡，具有速度快和參數(shù)調整簡單的特點。該方法可以隨機初始化輸入權重和偏移量并利用廣義逆得到相應的輸出權重。在進行回歸預測時，需設置隱層節(jié)點數(shù)，從而得到唯一最優(yōu)解。

02圖像處理

顏料樣本

采集圖像前，對實驗樣本張貼黑色啞光2x2方格膠紙啞光材質可以減少反光。通過人工標定確定ROI，不僅可以增加樣本量而且可以減少ROI配準。采集圖像后，首先對原始RGB圖像以及HSI偽RGB圖像進行閾值化處理得到一值圖像，其中偽RGB圖像為從HSI圖像中抽取三個波段(468、530以及703nm)進行合成的圖像。然后采用二值圖像掩膜至原始圖像確定ROI質心，最后根據(jù)質心位置完成ROI框選并完成裁剪，得到樣本圖像。為避免裁剪ROI區(qū)域內存在黑色區(qū)域，保證裁剪后圖像尺寸均為64x64.圖2為ROI裁剪的過程。經(jīng)過圖像處理后，共生成220個RGB-HSI圖像對作為訓練模型的輸入。

圖2ROI裁剪過程

圖3CARS提取的有效波長光譜分布圖

表1CARS 提取的有效波長

表2利用提取有效波長糖度回歸結果

03實驗結論

結果表明，相比于全光譜，采用有效波長可以提升糖度預測的準確程度。本工作基于圖像SSR完成了蘋果糖度的準確檢測，提供了經(jīng)濟高效的HSI圖像獲取方式。實現(xiàn)了快速便捷的新型糖度檢測，可以提高檢測的準確性和穩(wěn)定性，在蘋果產(chǎn)業(yè)自動化分選和智能化質檢具有重要的實踐意義和推廣價值。

推薦

便攜式高光譜成像

專門用于公安刑偵、物證鑒定、醫(yī)學醫(yī)療、精準農業(yè)、礦物地質勘探等領域的最新產(chǎn)品，主要優(yōu)勢具有體積小、幀率高、高光譜分辨率高、高像質等性價比特點采用了透射光柵內推掃原理高光譜成像，系統(tǒng)集成高性能數(shù)據(jù)采集與分析處理系統(tǒng)，高速USB3.0接口傳輸，全靶面高成像質量光學設計，物鏡接口為標準C-Mount，可根據(jù)用戶需求更換物鏡。

審核編輯 黃宇