基于光譜信息與圖割模型求解的高光譜圖像拼接方法

發(fā)表文獻(xiàn)：

Zongyi Peng, Yong Ma, Yujie Zhang, Hao Li, Fan Fan, Xiaoguang Mei:

Seamless UAV Hyperspectral Image Stitching Using Optimal Seamline Detection via Graph Cuts. IEEE Trans. Geosci. Remote. Sens. 61: 1-13 (2023)，中科院一區(qū)TOP期刊

關(guān)鍵詞：圖形切割、高光譜圖像 （HSI） 拼接、*佳接縫線檢測(cè)、光譜相似性。

背景：

高光譜遙感圖像因同時(shí)具有空譜信息而得到了廣泛的應(yīng)用?，F(xiàn)有的高光譜圖像傳感器主要分為基于衛(wèi)星載荷與無人機(jī)載荷兩種。然而，衛(wèi)星傳感器載荷成本較高，圖像空間分辨率較低且成像過程中易受到大氣云層的干擾。近年來，無人機(jī)載傳感器由于其靈活便捷性、低成本等優(yōu)勢(shì)而受到了廣泛的關(guān)注。無人機(jī)傳感器所采集的高光譜圖像具有較高的空譜分辨率，但是由于無人機(jī)的成像視場(chǎng)角較小，所采集的單張圖像無法涵蓋大范圍環(huán)境信息，因此，基于高光譜圖像拼接的研究具有重要意義。

普通圖像的拼接領(lǐng)域已經(jīng)獲得了較多成果，但高光譜圖像拼接的研究還并不是十分成熟。用于遙感探測(cè)的高光譜圖像通常由機(jī)載設(shè)備拍攝，無人機(jī)拍攝的條件不穩(wěn)定，飛機(jī)振動(dòng)、曝光時(shí)飛機(jī)快速運(yùn)動(dòng)導(dǎo)致的像點(diǎn)偏移等現(xiàn)象會(huì)使拍攝得到的圖像質(zhì)量下降并且存在非剛性變換。傳統(tǒng)的圖像拼接方法會(huì)雖然能將相鄰圖像的重疊區(qū)域進(jìn)行幾個(gè)對(duì)齊，但在圖像融合過程中會(huì)不可避免地存在諸如模糊、重影等人工痕跡。此外，由于高光譜圖像中的眾多單波段灰度圖像具有不同的空間特征，傳統(tǒng)的基于二維圖像空間信息的*優(yōu)拼縫線探測(cè)手段在處理不同單波段灰度圖像時(shí)會(huì)得到不同的結(jié)果，導(dǎo)致高光譜圖像中眾多波段拼接結(jié)果難以統(tǒng)一，引起光譜失真問題。針對(duì)無人機(jī)所采集的單張高光譜圖像空間范圍小，傳統(tǒng)拼接方法所得到的結(jié)果具有模糊重影、光譜失真等問題，提出基于光譜信息與圖割模型求解的高光譜圖像拼接方法。

實(shí)驗(yàn)設(shè)計(jì)：

本文所進(jìn)行實(shí)驗(yàn)的數(shù)據(jù)集為無人機(jī)拍攝的真實(shí)高光譜數(shù)據(jù)，拍攝場(chǎng)景為四川省某植物園，拍攝高度為300米，相鄰圖像具有較大的重疊區(qū)域，單張圖像空間分辨率為960×1057，光譜范圍覆蓋400-1100nm，每隔4nm獲取一幅單波段灰度圖像，共176個(gè)波段。該數(shù)據(jù)集包含有豐富的地物信息，包括樹林、灌木叢、草地、道路、建筑物等，數(shù)據(jù)在拍攝過程中受到噪聲影響，且相鄰圖像間具有一定視差，因此在該數(shù)據(jù)集上所進(jìn)行的實(shí)驗(yàn)?zāi)芊从潮疚姆椒ㄔ谡鎸?shí)環(huán)境與應(yīng)用中的有效性。所有實(shí)驗(yàn)均在2.8GHZ英特爾酷睿i7-7700HQ的CPU和8GB內(nèi)存的電腦上測(cè)試，方法以Matlab代碼實(shí)現(xiàn)。數(shù)據(jù)集中18幅高光譜源圖像如圖1所示，為了便于觀察，所展示的圖像為數(shù)據(jù)集中第76波段（對(duì)應(yīng)波長700nm）、第38波段（對(duì)應(yīng)波長548nm）及第13波段（對(duì)應(yīng)波長448nm）三個(gè)波段所融合而成的偽彩色圖像形式。

圖1實(shí)驗(yàn)所采用的高光譜圖像數(shù)據(jù)集。

結(jié)論

在拼接圖像空間視覺效果的驗(yàn)證實(shí)驗(yàn)中，將直接對(duì)數(shù)據(jù)集中18幅高光譜圖像拼接而成的全景圖像進(jìn)行性能驗(yàn)證，實(shí)驗(yàn)中將與現(xiàn)有的5個(gè)先進(jìn)拼接算法進(jìn)行對(duì)比，分別為ANAP、SPHP、DHW、NISwGSP與REW。不同拼接算法對(duì)18幅高光譜源圖像進(jìn)行拼接所得到的全景圖像拼接結(jié)果如圖2所示，總體來看，所有拼接算法均成功將18幅源圖像配準(zhǔn)至統(tǒng)一坐標(biāo)系下，得到了一幅完整的全景拼接圖像。為了對(duì)拼接圖像的細(xì)節(jié)效果進(jìn)行評(píng)估，將全景圖像中四處典型地物局部區(qū)域進(jìn)行放大，展示在對(duì)應(yīng)全景圖像右邊的紅、藍(lán)、黃、綠色矩陣方框中。從圖中可以看出，ANAP與SPHP算法拼接結(jié)果中的放大區(qū)域中均存在不同程度的模糊與重影，尤其是在藍(lán)色局部矩形區(qū)域中的白色正方形地物具有明顯的人工拼接痕跡。NISwGSP算法所得到的拼接結(jié)果在具有視覺重影的同時(shí)，其黃色與藍(lán)色矩形區(qū)域局部矩形區(qū)域中出現(xiàn)了明顯的條紋狀幾何錯(cuò)位。相對(duì)于上述結(jié)果，雖然DHW算法所得到的全景圖像更加清晰平滑，但紅色和黃色的局部矩形區(qū)域的地物仍然存在明顯的顏色失真痕跡。由于REW算法與本文配準(zhǔn)方法具有相同的策略，即將圖像局部單應(yīng)變換與全局相似進(jìn)行結(jié)合，因此在圖2（e）與圖2（f）中，所得到的全景拼接圖像具有大體上幾乎一致的幾何形狀，然而通過觀察局部放大區(qū)域可以發(fā)現(xiàn)，REW算法的紅色與黃色矩形區(qū)域內(nèi)，典型地物仍具有明顯重影，而本章所提出方法的局部放大圖像中，所有地物均呈現(xiàn)出清晰的形貌特征，無任何明顯的人工拼接痕跡。因此，通過圖2中所展示的結(jié)果可以得出，本章提出方法所得到的全景拼接圖像具有更加清晰平滑的視覺效果，所有地物均呈現(xiàn)出清晰的形貌特征。此外，通過對(duì)相同局部放大區(qū)域的視覺效果進(jìn)行對(duì)比可以看出，本章方法的拼接圖像克服了對(duì)比算法結(jié)果中的所有缺陷，局部區(qū)域無任何明顯的人工拼接痕跡，具有更加良好的視覺效果。

圖2 不同拼接算法的空間視覺效果對(duì)比圖。（a）ANAP；（b）SPHP；（c）DHW；（d）NISwGSP；（e）REW；（f）本文方法。

本節(jié)實(shí)驗(yàn)將對(duì)本文方法在高光譜圖像中所探測(cè)的最優(yōu)拼縫線性能進(jìn)行評(píng)估，并與現(xiàn)有的5個(gè)先進(jìn)最優(yōu)拼縫線探測(cè)算法進(jìn)行對(duì)比。用于對(duì)比的最優(yōu)拼縫線算法包括有seam-driven、動(dòng)態(tài)規(guī)劃（Dynamic Programming，DP）、一種增強(qiáng)的動(dòng)態(tài)規(guī)劃（Effective Dynamic Programming，EDP）、快速魯棒拼縫評(píng)估（Fast and Robust Seam Estimation，F(xiàn)ARSE）以及基于5/2范數(shù)的拼縫線探測(cè)方法。拼縫線質(zhì)量評(píng)估實(shí)驗(yàn)結(jié)果如圖3所示，其中圖3（a）為本章實(shí)驗(yàn)數(shù)據(jù)集中具有豐富地物背景的相鄰圖像（即數(shù)據(jù)集中的第8和第9幅圖像），圖3（b）為兩幅源圖像經(jīng)配準(zhǔn)后的結(jié)果，圖3（c）至圖3（h）分別為不同算法所得到的拼縫線，此外，除去拼縫線的主觀視覺效果外，為了對(duì)不同方法所得到拼縫線的質(zhì)量進(jìn)行更客觀的評(píng)估，實(shí)驗(yàn)中基于拼縫線的SSIM系數(shù)以進(jìn)行定量評(píng)估。

圖3 本文提出方法與其它拼縫線檢測(cè)方法的拼縫線質(zhì)量比較。利用SSIM指數(shù)對(duì)所有探測(cè)到的拼縫線進(jìn)行了定量對(duì)比。為了便于觀察，圖像同樣以偽彩色形式展示。（a）輸入兩幅高光譜源圖像；（b）配準(zhǔn)圖像；（c）Seam-driven，SSIM = 0.9098；（d）DP，SSIM = 0.8887；（e）EDP，SSIM = 0.8717；（f）Farse，SSIM = 0.9195；（g）5/2 normed，SSIM = 0.9203；（h）本章方法，SSIM = 0.9371。

通過圖3可以看出，最優(yōu)拼縫線探測(cè)策略對(duì)于去除圖像重疊區(qū)域內(nèi)的模糊與重影誤差具有顯著效果，所有拼接圖像均呈現(xiàn)出較為平滑清晰的視覺效果。然而，seam-driven與FARSE算法所得到的拼縫線均穿過了圖中的唯一白色建筑物。通過觀察圖3（f）可以看出，F(xiàn)ARSE算法在路徑規(guī)劃的過程中還容易陷入局部最優(yōu)解，拼縫線中部分位置出現(xiàn)像素大量堆積的現(xiàn)象。圖3（d）與圖3（e）為DP與EDP算法的實(shí)驗(yàn)結(jié)果，由于這兩種方法過度注重于拼縫線中像素點(diǎn)的數(shù)目，導(dǎo)致所提取拼縫線的起止點(diǎn)并不固定，在圖像重疊區(qū)域邊界具有明顯的幾何錯(cuò)位，出現(xiàn)了一條明顯的黑色拼接痕跡。通過圖3（g）和圖3（h）可以看出，本文提出方法和基于5/2范數(shù)方法所得到的最優(yōu)拼縫線均可以在一定程度上消除可見邊界，并且避免了明顯地物，位于具有高度相似紋理信息的位置。在定量上分析中，我們使用SSIM系數(shù)對(duì)所有方法得到的最優(yōu)拼縫線進(jìn)行評(píng)估?？梢园l(fā)現(xiàn)，本章提出方法得到最優(yōu)拼縫線的SSIM指數(shù)為0.9371，在所有方法中具有最高指標(biāo)。因此，本章提出方法能夠很好地選擇符合人類視覺感知的拼縫線，在高光譜圖像拼接任務(wù)中取得最優(yōu)的拼接性能。

本章實(shí)驗(yàn)對(duì)拼接后圖像的光譜性能進(jìn)行拓展分析，將本章所提出方法與幾個(gè)經(jīng)典的圖像融合方法進(jìn)行比較，以進(jìn)一步驗(yàn)證本章方法對(duì)于光譜信息保真的優(yōu)越性。本章實(shí)驗(yàn)中用以對(duì)光譜曲線進(jìn)行定量評(píng)估的指標(biāo)包括：均方根誤差（root mean square error，RMSE），光譜角距離（Spectral Angle Distance，SAD）以及光譜信息散度（Spectral Information Divergence，SID）。本文方法與三個(gè)經(jīng)典融合方法的光譜信息一致性對(duì)比結(jié)果如圖4所示，其中用以對(duì)比的融合方法為平均融合，線性加權(quán)融合以及泊松融合。選取本章實(shí)驗(yàn)所選用數(shù)據(jù)集圖4中具有豐富地物信息的第8、第9幅圖像作為源圖像I1與I2以進(jìn)行實(shí)驗(yàn)，圖4（a）與圖4（b）分別為兩幅源圖像經(jīng)配準(zhǔn)后的結(jié)果圖，圖4（c）為配準(zhǔn)圖像的重疊區(qū)域及所得到的拼縫線，點(diǎn)“A”、“B”、“C”、“D”分別為圖中四個(gè)典型地物所對(duì)應(yīng)的像素，地物類別分別為樹木、道路、建筑物以及白色轎車，圖4（d）至圖4（g）分別為四個(gè)典型地物像素點(diǎn)所對(duì)應(yīng)的光譜曲線結(jié)果。與本文第三章光譜性能實(shí)驗(yàn)中相同，圖4（c）中像素點(diǎn)“A”的光譜信息應(yīng)與源圖像I2中同名像素的光譜進(jìn)行比較，而像素點(diǎn)“B”、“C”、“D”的光譜信息應(yīng)與源圖像I1中的同名像素的光譜進(jìn)行比較。在圖4（d）至圖4（g）中，紅色實(shí)線表示源圖像中像素點(diǎn)的參考光譜曲線，藍(lán)色實(shí)線為本文方法所得到的光譜曲線，綠色、青色及黃色曲線分別表示平均融合、線性加權(quán)融合以及泊松融合所得到的光譜曲線結(jié)果。總體來看，本文方法所得到的藍(lán)色光譜曲線與源圖像中的紅色光譜曲線最為吻合，而基于不同圖像融合方法所得到的光譜均與原始曲線存在不同程度的失真。其中，三種所對(duì)比的圖像融合方法中，平均融合與線性加權(quán)融合方法均對(duì)圖像重疊區(qū)域內(nèi)像素的灰度值進(jìn)行線性賦值，最終所得到的光譜曲線仍能保留與原始曲線大致相同的形狀；泊松融合方法通過求解圖像中梯度域的泊松方程而具有更復(fù)雜的處理過程，雖然在特定場(chǎng)景中具有空間上更好的融合效果，但會(huì)對(duì)高光譜圖像中的光譜維度信息一致性造成更嚴(yán)重的破壞，因此，圖4中代表泊松融合方法的黃色光譜曲線與原始曲線的形狀差異最大，失真情況最為嚴(yán)重。表1至表4展示了本章方法與對(duì)比方法中，四個(gè)典型地物像素點(diǎn)光譜曲線與原始光譜曲線的定量指標(biāo)評(píng)估結(jié)果。結(jié)合圖4與四個(gè)表格中的定量數(shù)據(jù)可以看出，傳統(tǒng)的圖像融合方法對(duì)于像素灰度值的重構(gòu)導(dǎo)致了融合后圖像像素光譜曲線與原始光譜的信息失真，而這種失真隨著融合方法復(fù)雜程度的加深而愈加嚴(yán)重，如圖4中泊松融合方法所得到的光譜曲線與原始光譜的形狀差異最大，而在表1至表4中所得到的定量指標(biāo)同樣具有最差性能。綜上所述，對(duì)于高光譜圖像數(shù)據(jù)集中相鄰圖像不具有明顯色差的情況而言，對(duì)配準(zhǔn)后圖像所進(jìn)行的融合步驟會(huì)導(dǎo)致像素光譜信息的進(jìn)一步失真，融合方法越復(fù)雜，失真情況越嚴(yán)重。而本章所提出的基于最優(yōu)拼縫線探測(cè)的高光譜圖像拼接方法采用對(duì)相鄰圖像重疊區(qū)域進(jìn)行分割以替代傳統(tǒng)圖像融合的策略來獲取全景圖像，保證了拼接后圖像內(nèi)像素光譜信息與原始圖像的盡可能一致，為后續(xù)的光譜信息解譯任務(wù)提供了更有利的數(shù)據(jù)支撐。

圖4 本文方法與三個(gè)傳統(tǒng)融合方法的光譜信息一致性對(duì)比結(jié)果。（a）、（b）兩幅已配準(zhǔn)的源圖像；（c）配準(zhǔn)圖像重疊區(qū)域及所得到的拼縫線，點(diǎn)“A”、“B”、“C”、“D”分別為圖中四個(gè)典型地物“樹木”、“道路”、“建筑物”以及“白色轎車”所對(duì)應(yīng)的像素；（d）“樹木”光譜曲線結(jié)果；（e）“道路”光譜曲線結(jié)果；（f）“建筑物”光譜曲線結(jié)果；（g）“白色轎車”光譜曲線結(jié)果。

表1 像素點(diǎn)“A”（樹木）的光譜曲線定量分析結(jié)果，對(duì)最優(yōu)指標(biāo)進(jìn)行加粗表示

表2 像素點(diǎn)“B”（道路）的光譜曲線定量分析結(jié)果，對(duì)最優(yōu)指標(biāo)進(jìn)行加粗表示

表3 像素點(diǎn)“C”（建筑物）的光譜曲線定量分析結(jié)果，對(duì)最優(yōu)指標(biāo)進(jìn)行加粗表示

表4 像素點(diǎn)“D”（白色轎車）的光譜曲線定量分析結(jié)果，對(duì)最優(yōu)指標(biāo)進(jìn)行加粗表示

作者: 彭宗義武漢大學(xué)理學(xué)院博士,研究方向：遙感圖像處理、計(jì)算機(jī)視覺和圖案識(shí)別

參考文獻(xiàn)：

S. Yang, Z. Shi, and W. Tang, “Robust hyperspectral image target detection using an inequality constraint,” IEEE Trans. Geosci. Remote Sens., vol. 53, no. 6, pp. 3389–3404, Jun. 2015.

[2] F. Li, X. Zhang, L. Zhang, D. Jiang, and Y. Zhang, “Exploiting structured sparsity for hyperspectral anomaly detection,” IEEE Trans. Geosci. Remote Sens., vol. 56, no. 7, pp. 4050–4064, Jul. 2018.

[3] M. Zhang, W. Li, and Q. Du, “Diverse region-based CNN for hyperspectral image classification,” IEEE Trans. Image Process., vol. 27, no. 6, pp. 2623–2634, Jun. 2018.