基于魯棒特征匹配和彈性變形的高光譜圖像自動拼接

高光譜圖像不僅包含空間信息，還包含豐富的光譜信息，目前已被廣泛應用于農(nóng)業(yè)、城市規(guī)劃等領域。近年來，無人機的快速發(fā)展使高光譜在更多領域成為可能。無人機操控簡單、成本相對較低、使用靈活，航空高光譜拍攝示意圖如圖1所示。但是航空高光譜技術也存在一些限制，當追求高的分辨率時，成像儀的視場角就會變小，從而導致成像區(qū)域變小。單幅圖像很難覆蓋大面積的區(qū)域，需要運用圖像拼接技術得到一幅全景高光譜圖像。

圖1 航空高光譜拍攝示意圖

普通圖像的拼接領域已經(jīng)獲得了較多成果，但高光譜圖像拼接的研究還并不是十分成熟。而且高光譜圖像與普通圖像存在一定的差異，高光譜圖像的拼接目前面臨了一系列的困難。高光譜圖像有幾十上百個波段，數(shù)據(jù)量非常大，直接對高光譜數(shù)據(jù)進行拼接會產(chǎn)生很大的計算量從而導致拼接時間過長，降低效率。其次，用于遙感的高光譜圖像通常由機載設備拍攝，無人機拍攝的條件不穩(wěn)定，飛機振動、曝光時飛機快速運動導致的像點偏移等現(xiàn)象會使拍攝得到的圖像質量下降并且存在非剛性變換。這些情況造成特征點匹配時存在大量的誤匹配。除此之外，無人機的飛行高度并不高，圖像會存在視差，要得到好的高光譜拼接效果，需要解決上述挑戰(zhàn)。在此背景下，迫切需要一種高精度的高光譜圖像拼接方法。

武漢大學梅曉光副教授團隊利用我司推掃式無人機高光譜成像系統(tǒng)（GaiaSky-mini）在300m高度拍攝的一組植物園場景。數(shù)據(jù)包含18 幅圖像，大小為96×1057，光譜范圍是400nm 到1000nm，共176 個波段。圖2以偽彩色圖像的形式展示了18 張高光譜圖像數(shù)據(jù)，選取的三個波段分別為第13 波段(436.5nm)，第47 波段(547.6nm)，第92 波段(700.2nm)，將圖片從左往右，從上往下依次標號為1-18。

圖2 18幅高光譜圖像數(shù)據(jù)

首先，選取一個波段作為參考波段，得到灰度圖像后用SIFT算法提取相鄰兩幅圖像的特征點。本研究對比了SIFT、SURF、SS-SIFT這三種特征點提取的算法。其中SIFT和SURF是針對單個波段的圖像進行特征點的提取，SS-SIFT是針對高光譜的算法，所提取的特征點具有三維信息。實驗選取圖2中的第1、2作為圖片進行測試，實驗記錄了三個算法的幾個衡量指標，實驗結果如表1所示。

表1 特征點提取的算法對比結果

從以上實驗結果可以看出，SS-SIFT相較于SIFT和SURF需要運行大量時間，降低了算法的效率，因此不能采用直接從高光譜圖像數(shù)據(jù)中直接提取特征點的方法。SIFT和SURF算法相比較，SIFT的運行時間為10.012s，雖然沒有SURF運行速度快，但是檢測和匹配的特征點的數(shù)量足夠多，使后續(xù)的圖像配準更加準確。

無人機拍攝的遙感圖像通常存在局部地形變化、尺度變化、旋轉、視差以及其他非剛性變化等情況，在特征點的匹配過程中會造成很多誤匹配現(xiàn)象。為了解決這個問題，本研究采用基于mTopKRP的算法來剔除誤匹配，得到的結果如圖3所示。

圖3 通過mTopKRP算法剔除誤匹配的結果

接下來，為了驗證mTopKRP算法在剔除誤匹配點上的優(yōu)越性，我們對比了mTopKRP和其他誤匹配剔除算法VFC和LPM。我們選擇精確率（precision），召回率（recall）和F-score作為評價特征點匹配算法的指標。得到的特征點匹配算法對比實驗結果如圖4所示。

圖4 特征點匹配算法對比實驗結果

從以上實驗結果中可以看出，無論是在圖像存在剛性變換還是非剛性變換時，本研究特征點匹配算法mTopKRP都得到了更好的F-score，證實了我們的特征點匹配算法的優(yōu)越性。在得到正確的匹配點集之后，我們需要用匹配的特征點來建立圖片對之間的變換關系，即計算圖片對之間的單應性矩陣。為了避免投影變換帶來的失真，本研究采用基于魯棒彈性扭曲的算法。并將本研究采用的圖像變換模型和其他圖像變換模型ANAP，NISwGSP和ELA進行對比，實驗利用線性加權的圖像融合算法，分別在單個波段拼接了18幅高光譜圖像，得到圖5的結果。

圖5 圖像拼接模型對比（從左到右ANAP、NISwGSP、ELA和本研究算法）

從實驗結果中可以看出，算法ANAP，NISwGSP 和ELA 得到結果均在邊處有明顯的形變、不規(guī)則放大或扭曲。而本研究的魯棒彈性變換模型更準確地對齊圖像，在拼接后的非重疊區(qū)域消除了形變、扭曲等問題。本研究所采用的圖像變換模型得到的拼接結果中圖像清晰，沒有明顯模糊、重影的現(xiàn)象。

高光譜圖像拼接的最后一步就是進行全波段的圖像融合。將參考波段的魯棒彈性變換模型參數(shù)運用于其他剩余波段，這樣就可以獲得所有波段的空間信息。在單個波段的重疊部分得到光譜值之后，將融合參數(shù)應用到其他波段，則全波段重疊部分都得到新的光譜值，非重疊部分的光譜值保留本身波段原有的光譜值。此處，將得到的高光譜全景圖像用 RGB 圖像的形式展示如圖6所示。選取的三個波段分別為第 13 波段 （436.5nm），第 47 波段（547.6nm），第 92 波段（700.2nm）。

圖6 以RGB形式展示的高光譜圖像整體拼接結果

對于圖像的光譜進行分析可以實現(xiàn)對地物的分類和識別，所以拼接任務除了關注空間信息外，還應對光譜曲線進行分析。理想情況下拼接后的全景圖在重疊區(qū)域的光譜曲線應該與參考圖像的保持一致。通過計算兩個光譜曲線的光譜角大?。⊿AD），可以判斷它們的相似程度。找出在圖1、2重疊部分的兩對典型地物（土地和植被），分別記錄為A、A′ 和B、B′，如圖7所示。由于圖像1是參考圖像，因此拼接得到的高光譜圖像的光譜曲線應該與圖像1的光譜曲線接近。通過圖8計算得到，對于同名點對A、A′，圖像1和2在此點的光譜角為0.0894。在同名點B、B′，圖1與圖2 光譜角大小為0.0471。因此，可以得出結論，在原始圖像同名點對的光譜值有較大差異的情況下，本研究的算法得到的圖像的光譜接近于參考圖像，保證了光譜信息的一致性。

圖7 同名點對示意圖

圖8 光譜分析曲線

本研究提出了新的高光譜圖像拼接方法，適用于存在旋轉、尺度變化、非剛性變換的圖像集。得到的圖像清晰，無明顯錯誤拼接和接縫，圖像的光譜曲線失真較小，適用于存在大視差的機載高光譜圖像。

通訊作者簡介：

梅曉光，博士，武漢大學電子信息學院副教授，博士生導師。

主要研究方向：高/超光譜應用中的計算機視覺、機器學習等相關問題的研究。

參考文獻：Yujie Zhang, Zhiying Wan, Xingyu Jiang and Xiaoguang Mei, in IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, vol. 13, pp. 3145-3154, 2020, doi: 10.1109/JSTARS.2020. 3001022.