基于高光譜成像技術(shù)的壁畫文字識別分析報告

基于高光譜成像技術(shù)的壁畫文字識別分析報告

一、測試原理及方法：

 高光譜成像技術(shù)是近二十年來發(fā)展起來的基于非常多窄波段的影像數(shù)據(jù)技術(shù)，其最突出的應(yīng)用是遙感探測領(lǐng)域，并在越來越多的民用領(lǐng)域有著更大的應(yīng)用前景。它集中了光學(xué)、光電子學(xué)、電子學(xué)、信息處理、計算機(jī)科學(xué)等領(lǐng)域的先進(jìn)技術(shù)，是傳統(tǒng)的二維成像技術(shù)和光譜技術(shù)有機(jī)的結(jié)合在一起的一門新興技術(shù)。

 高光譜成像技術(shù)的定義是在多光譜成像的基礎(chǔ)上，在從紫外到近紅外（200-2500nm）的光譜范圍內(nèi)，利用成像光譜儀，在光譜覆蓋范圍內(nèi)的數(shù)十或數(shù)百條光譜波段對目標(biāo)物體連續(xù)成像。在獲得物體空間特征成像的同時，也獲得了被測物體的光譜信息。

目標(biāo)物體-成像物鏡-入射狹縫-準(zhǔn)直透鏡-PGP-聚焦透鏡-CCD棱鏡-光柵-棱鏡：PGP

圖1 成像原理圖

光譜儀的光譜分辨率由狹縫的寬度和光學(xué)光譜儀產(chǎn)生的線性色散確定。最小光譜分辨率是由光學(xué)系統(tǒng)的成像性能確定的（點擴(kuò)展大小）。

成像過程為：每次成一條線上的像后（X方向），在檢測系統(tǒng)輸送帶前進(jìn)的過程中，排列的探測器掃出一條帶狀軌跡從而完成縱向掃描（Y方向）。綜合橫縱掃描信息就可以得到樣品的三維高光譜圖像數(shù)據(jù)。

圖2 像立方體

圖3  Gaia Field高光譜成像儀

高光譜儀配置：鏡頭：22mm鍍膜消色差鏡頭；光譜范圍：400nm-1000nm，光譜分辨率: 4nm@435.8nm（@400-1000nm），像面尺寸（光譜x空間）：6.15 x 14.2 mm，相對孔徑：F/2.4，狹縫長度14.2 mm. 內(nèi)置控制、掃描機(jī)構(gòu)；內(nèi)置電池；

SpecView軟件：控制完成自動曝光、自動對焦、自動掃描速度匹配；數(shù)據(jù)處理：黑白、輻射度、均勻性、鏡頭等校準(zhǔn)；光譜查看。

GaiaField便攜式高光譜系統(tǒng)是雙利合譜自行研制的超便攜式高光譜成像儀器。它的核心由三部分構(gòu)成，分別是：多維運(yùn)動控制器，光譜相機(jī)和成像光譜儀。使用此系統(tǒng)進(jìn)行掃描，在獲得目標(biāo)影像信息的基礎(chǔ)上，還可以獲得數(shù)百甚至上千波段的光譜信息。

GaiaField系統(tǒng)有著輕便靈活，續(xù)航能力出色的特點。廣泛適用于，目標(biāo)識別、偽裝與反偽裝等軍事領(lǐng)域，地面物體與水體遙測、現(xiàn)代精細(xì)農(nóng)業(yè)等生態(tài)環(huán)境監(jiān)測領(lǐng)域，以及刑偵、文物保護(hù)、生物醫(yī)學(xué)等領(lǐng)域。

覆蓋可見光與近紅外全波段可提供超過700個光譜通道，可自由選擇GaiaField便攜式高光譜系統(tǒng)采用了高分辨率的成像光譜儀。在可見光波段，光譜分辨率高達(dá)3nm，即使在短波紅外波段也能達(dá)到10nm。因而全波段內(nèi)可以獲得超過700個的光譜通道，更多的光譜通道意味著更多的信息，有助于研究人員通過對連續(xù)光譜的分析、反演，獲得更多的高價值數(shù)據(jù)細(xì)節(jié)。

圖4  高光譜成像儀采集的影像效果圖

獨(dú)有的軟硬件功能：

輔助攝像頭功能

通過輔助攝像頭觀察目標(biāo)拍攝區(qū)域

當(dāng)前狹縫位置指示

選擇自動曝光與自動調(diào)焦區(qū)域，直觀方便，僅需鼠標(biāo)即可完成操作。

圖 5  輔助攝像頭觀察目標(biāo)拍攝區(qū)域

自動掃描速度匹配、自動曝光：

自動曝光：根據(jù)當(dāng)前光照環(huán)境，進(jìn)行曝光測試，獲得精準(zhǔn)的曝光時間。在得到最佳信噪比的同時，又可避免過度曝光造成數(shù)據(jù)作廢。同時軟件具有實時過度曝光監(jiān)視功能。

自動掃描速度匹配：根據(jù)當(dāng)前的曝光時間等參數(shù)，進(jìn)行測試拍攝，得到實時幀速，進(jìn)而計算出合適的掃描速度。從而避免了掃描圖像的變形（拉伸或壓縮）。

圖 6   采集數(shù)據(jù)自動曝光、速度匹配

二、數(shù)據(jù)分析：

本文以山西壁畫為研究對象，利用江蘇雙利合譜科技有限公司的高光譜成像儀Gaia Field（光譜范圍400 nm - 1000 nm）采集測試對象的高光譜數(shù)據(jù)。

對成像高光譜儀拍攝的原始影像數(shù)據(jù)進(jìn)行數(shù)據(jù)的預(yù)處理，預(yù)處理過程主要包括兩部分。第一部分是輻射定標(biāo)；第二部分為噪聲去除。

首先進(jìn)行輻射定標(biāo)。輻射定標(biāo)的計算公式如1所示。

                       (1)

其中，Ref_target為目標(biāo)物的反射率，Ref_panel為標(biāo)準(zhǔn)參考板的反射率，DN_target為原始影像中目標(biāo)物的的數(shù)值，DN_panel為原始影像中標(biāo)準(zhǔn)參考板的數(shù)值，DN_dark為成像光譜儀系統(tǒng)誤差。

其次是噪聲去除，本文運(yùn)用國外較為常用的最小噪聲分離方法(Minimum Noise Fraction Rotation， MNF)進(jìn)行噪聲去除。最小噪聲分離工具用于判定圖像數(shù)據(jù)內(nèi)在的維數(shù)（即波段數(shù)），分離數(shù)據(jù)中的噪聲，減少隨后處理中的計算需求量。MNF本質(zhì)上是兩次層疊的主成分變換。第一次變換（基于估計的噪聲協(xié)方差矩陣）用于分離和重新調(diào)節(jié)數(shù)據(jù)中的噪聲，這步操作使變換后的噪聲數(shù)據(jù)只有最小的方差且沒有波段間的相關(guān)。第二步是對噪聲白化數(shù)據(jù)（Noise-whitened）的標(biāo)準(zhǔn)主成分變換。為了進(jìn)一步進(jìn)行波譜處理，通過檢查最終特征值和相關(guān)圖像來判定數(shù)據(jù)的內(nèi)在維數(shù)。數(shù)據(jù)空間可被分為兩部分：一部分與較大特征值和相對應(yīng)的特征圖像相關(guān)，其余部分與近似相同的特征值以及噪聲占主導(dǎo)地位的圖像相關(guān)。由于此次采集的高光譜影像沒有白板校正，因此數(shù)據(jù)預(yù)處理的第一步輻射定標(biāo)沒有進(jìn)行分析處理，直接作MNF降噪分析。圖7為MNF降噪前后的成像高光譜數(shù)據(jù)中DN值的變化。

圖7  MNF變換前(左)后(右)高光譜影像DN值的變化

下圖分別為壁畫中不同成分的高光譜影像RGB（640 nm、550 nm、460 nm）真彩色合成數(shù)據(jù)及影像中不同位置的DN變化。從圖8可知，受自然腐蝕的影響，壁畫的字跡變得模糊不清，使原有的光譜信息發(fā)生變化，因此增加了通過光譜信息來識別壁畫中腐蝕字跡的難度。

圖8  壁畫中不同成分的DN值變化

利用SpecView軟件的Analysis-Animate功能，能快速瀏壁畫中的各波段圖像的灰度變化，結(jié)果表明能較為清楚地識別壁畫中字跡等高光譜影像信息的波段主要集中在紅光與近紅外區(qū)域，這與目前國內(nèi)外的研究結(jié)果相同。以730 nm波段影像為例，對壁畫730 nm處影像的灰度圖作密度分割，以期能更清楚地分辨壁畫內(nèi)部成分的變化，如圖9所示。從圖9可知，通過對成像高光譜特定某一波段作密度分割并賦予不同的顏色，不僅在圖像能較為清晰的看到壁畫中各成分的變化，而且也能看到其在數(shù)值上的變化。

圖9  壁畫在730 nm處的灰度圖像的密度分割效果圖

為了客觀地分別壁畫內(nèi)部成分的變化及壁畫字跡的識別，對經(jīng)預(yù)處理后的高光譜數(shù)據(jù)進(jìn)行主成分分析（Principal Component Analysis, PCA），去除波段之間的多余信息、將多波段的圖像信息壓縮到比原波段更有效的少數(shù)幾個轉(zhuǎn)換波段下。一般情況下，第一主成分包含波段中的80%的方差信息，前三個主成分包含了所有波段的中95%以上的信息量。由于各波段之間的不相關(guān)，主成分波段可以生成更多顏色、飽和度更好的彩色合成圖像。圖分別對比分析壁畫高光譜影像在PCA變化前后影像的合成圖。

圖10 壁畫的PCA變化前影像合成圖

（左 R：640 nm,G:550 nm，B：460 nm；右 R：PCA2,G:PCA1，B：PCA3）

從圖8-圖10可知，受自然腐蝕的影響，壁畫上的文字表現(xiàn)出不同的清晰度，被腐蝕的文字，其高光譜影像中的DN值與文字背景的DN值相似，因此很難通過光譜匹配、監(jiān)督分類、非監(jiān)督分類、決策樹、數(shù)學(xué)形態(tài)學(xué)等方法識別出被腐蝕的文字。為了提取壁畫上的文字信息，本文嘗試?yán)弥鞒煞址治?，去除波段之間的多余信息、將多波段的圖像信息壓縮到比原波段更有效的少數(shù)幾個轉(zhuǎn)換波段下，并利用波段組合的方法組合成RGB圖像，如圖10所示，然而從圖中可知，主成分的RGB合成圖像仍無法識別受自然腐蝕的字跡；同樣，利用成像高光譜的單波段作密度分割識別壁畫上的受腐蝕的字跡效果也不理想。

但是，從圖9和圖10可知，通過PCA各主成分的波段組合及單波段的密度分割后，壁畫內(nèi)部成分的變化能較為清晰的展現(xiàn)出來，因此可以利用成像高光譜技術(shù)來分析壁畫的受腐蝕程度。

在自然界中，存在著許多同物異譜，異物同譜的現(xiàn)象，傳統(tǒng)的非成像高光譜，對于異物同譜的現(xiàn)象很難將地物相互區(qū)別開來。但是隨著遙感技術(shù)的發(fā)展，成像高光譜的“圖譜合一”的特點為解決同物異譜，異物同譜的問題提供了技術(shù)支撐，本文壁畫中的字跡與其背景的光譜十分相似，但基于成像高光譜“圖譜合一”的特點，利用馬氏距離法能較好地從背景中提取影像中的字跡，如圖11所示。

圖11  高光譜影像字跡提取