基于成像高光譜技術(shù)的人臉黑痣識(shí)別研究

基于成像高光譜技術(shù)的人臉黑痣識(shí)別研究

一、測(cè)試原理及方法：

 高光譜成像技術(shù)是近二十年來(lái)發(fā)展起來(lái)的基于非常多窄波段的影像數(shù)據(jù)技術(shù)，其最突出的應(yīng)用是遙感探測(cè)領(lǐng)域，并在越來(lái)越多的民用領(lǐng)域有著更大的應(yīng)用前景。它集中了光學(xué)、光電子學(xué)、電子學(xué)、信息處理、計(jì)算機(jī)科學(xué)等領(lǐng)域的先進(jìn)技術(shù)，是傳統(tǒng)的二維成像技術(shù)和光譜技術(shù)有機(jī)的結(jié)合在一起的一門新興技術(shù)。

 高光譜成像技術(shù)的定義是在多光譜成像的基礎(chǔ)上，在從紫外到近紅外（200 -2500nm）的光譜范圍內(nèi)，利用成像光譜儀，在光譜覆蓋范圍內(nèi)的數(shù)十或數(shù)百條光譜波段對(duì)目標(biāo)物體連續(xù)成像。在獲得物體空間特征成像的同時(shí)，也獲得了被測(cè)物體的光譜信息。

目標(biāo)物體-成像物鏡-入射狹縫-準(zhǔn)直透鏡-PGP-聚焦透鏡-CCD棱鏡-光柵-棱鏡：PGP

圖1 成像原理圖

光譜儀的光譜分辨率由狹縫的寬度和光學(xué)光譜儀產(chǎn)生的線性色散確定。最小光譜分辨率是由光學(xué)系統(tǒng)的成像性能確定的（點(diǎn)擴(kuò)展大小）。

成像過(guò)程為：每次成一條線上的像后（X方向），在檢測(cè)系統(tǒng)輸送帶前進(jìn)的過(guò)程中，排列的探測(cè)器掃出一條帶狀軌跡從而完成縱向掃描（Y方向）。綜合橫縱掃描信息就可以得到樣品的三維高光譜圖像數(shù)據(jù)。

圖2 像立方體

圖3  Gaia Field高光譜成像儀

高光譜儀配置：鏡頭：22mm鍍膜消色差鏡頭；光譜范圍：400nm-1000nm，光譜分辨率: 4nm@435.8nm（@400-1000nm），像面尺寸（光譜x空間）：6.15 x 14.2 mm，相對(duì)孔徑：F/2.4，狹縫長(zhǎng)度14.2 mm. 內(nèi)置控制、掃描機(jī)構(gòu)；內(nèi)置電池；

SpecView軟件：控制完成自動(dòng)曝光、自動(dòng)對(duì)焦、自動(dòng)掃描速度匹配；數(shù)據(jù)處理：黑白、輻射度、均勻性、鏡頭等校準(zhǔn)；光譜查看。

GaiaField便攜式高光譜系統(tǒng)是雙利合譜自行研制的超便攜式高光譜成像儀器。它的核心由三部分構(gòu)成，分別是：多維運(yùn)動(dòng)控制器，光譜相機(jī)和成像光譜儀。使用此系統(tǒng)進(jìn)行掃描，在獲得目標(biāo)影像信息的基礎(chǔ)上，還可以獲得數(shù)百甚至上千波段的光譜信息。

GaiaField系統(tǒng)有著輕便靈活，續(xù)航能力出色的特點(diǎn)。廣泛適用于，目標(biāo)識(shí)別、偽裝與反偽裝等軍事領(lǐng)域，地面物體與水體遙測(cè)、現(xiàn)代精細(xì)農(nóng)業(yè)等生態(tài)環(huán)境監(jiān)測(cè)領(lǐng)域，以及刑偵、文物保護(hù)、生物醫(yī)學(xué)等領(lǐng)域。

覆蓋可見光與近紅外全波段可提供超過(guò)700個(gè)光譜通道，可自由選擇GaiaField便攜式高光譜系統(tǒng)采用了高分辨率的成像光譜儀。在可見光波段，光譜分辨率高達(dá)3nm，即使在短波紅外波段也能達(dá)到10nm。因而全波段內(nèi)可以獲得超過(guò)700個(gè)的光譜通道，更多的光譜通道意味著更多的信息，有助于研究人員通過(guò)對(duì)連續(xù)光譜的分析、反演，獲得更多的高價(jià)值數(shù)據(jù)細(xì)節(jié)。

圖4  高光譜成像儀采集的影像效果圖

獨(dú)有的軟硬件功能：

輔助攝像頭功能

通過(guò)輔助攝像頭觀察目標(biāo)拍攝區(qū)域

當(dāng)前狹縫位置指示

選擇自動(dòng)曝光與自動(dòng)調(diào)焦區(qū)域，直觀方便，僅需鼠標(biāo)即可完成操作。

圖 5  輔助攝像頭觀察目標(biāo)拍攝區(qū)域

自動(dòng)掃描速度匹配、自動(dòng)曝光：

自動(dòng)曝光：根據(jù)當(dāng)前光照環(huán)境，進(jìn)行曝光測(cè)試，獲得精準(zhǔn)的曝光時(shí)間。在得到最佳信噪比的同時(shí)，又可避免過(guò)度曝光造成數(shù)據(jù)作廢。同時(shí)軟件具有實(shí)時(shí)過(guò)度曝光監(jiān)視功能。

自動(dòng)掃描速度匹配：根據(jù)當(dāng)前的曝光時(shí)間等參數(shù)，進(jìn)行測(cè)試拍攝，得到實(shí)時(shí)幀速，進(jìn)而計(jì)算出合適的掃描速度。從而避免了掃描圖像的變形（拉伸或壓縮）。

圖6  采集數(shù)據(jù)自動(dòng)曝光、速度匹配

二、數(shù)據(jù)分析：

本文以江蘇雙利合譜科技有限公司自行拍攝的高光譜人臉數(shù)據(jù)為研究對(duì)象，利用江蘇雙利合譜科技有限公司的高光譜成像儀GaiaField（光譜范圍400 nm - 1000 nm）采集測(cè)試對(duì)象的高光譜數(shù)據(jù)，以分析人臉上黑痣的分布情況。圖7為人臉拍攝的現(xiàn)場(chǎng)圖片。

圖 7  基于成像高光技術(shù)人臉拍攝的現(xiàn)場(chǎng)

對(duì)成像高光譜儀拍攝的人臉原始影像數(shù)據(jù)進(jìn)行數(shù)據(jù)的預(yù)處理，預(yù)處理過(guò)程主要包括兩部分。第一部分是輻射定標(biāo)；第二部分為噪聲去除。

首先進(jìn)行輻射定標(biāo)。輻射定標(biāo)的計(jì)算公式如1所示。

                       (1)

其中，Ref_target為目標(biāo)物的反射率，Ref_panel為標(biāo)準(zhǔn)參考板的反射率，DN_target為原始影像中目標(biāo)物的的數(shù)值，DN_panel為原始影像中標(biāo)準(zhǔn)參考板的數(shù)值，DN_dark為成像光譜儀系統(tǒng)誤差。

其次是噪聲去除，本文運(yùn)用國(guó)外較為常用的最小噪聲分離方法(Minimum Noise Fraction Rotation， MNF)進(jìn)行噪聲去除。最小噪聲分離工具用于判定圖像數(shù)據(jù)內(nèi)在的維數(shù)（即波段數(shù)），分離數(shù)據(jù)中的噪聲，減少隨后處理中的計(jì)算需求量。MNF本質(zhì)上是兩次層疊的主成分變換。第一次變換（基于估計(jì)的噪聲協(xié)方差矩陣）用于分離和重新調(diào)節(jié)數(shù)據(jù)中的噪聲，這步操作使變換后的噪聲數(shù)據(jù)只有最小的方差且沒(méi)有波段間的相關(guān)。第二步是對(duì)噪聲白化數(shù)據(jù)（Noise-whitened）的標(biāo)準(zhǔn)主成分變換。為了進(jìn)一步進(jìn)行波譜處理，通過(guò)檢查最終特征值和相關(guān)圖像來(lái)判定數(shù)據(jù)的內(nèi)在維數(shù)。數(shù)據(jù)空間可被分為兩部分：一部分與較大特征值和相對(duì)應(yīng)的特征圖像相關(guān)，其余部分與近似相同的特征值以及噪聲占主導(dǎo)地位的圖像相關(guān)。由于此次采集的高光譜影像沒(méi)有白板校正，因此數(shù)據(jù)預(yù)處理的第一步輻射定標(biāo)沒(méi)有進(jìn)行分析處理，直接作MNF降噪分析。圖8為MNF降噪前后的成像高光譜數(shù)據(jù)中DN值的變化。

圖7  MNF變換前(左)后(右)高光譜影像DN值的變化

由于本研究的高光譜影像數(shù)據(jù)在采集過(guò)程中無(wú)白板數(shù)據(jù)作為參考。圖8分別為高光譜人臉上白眼珠、黑眼珠、黑痣、皮膚、頭發(fā)、嘴唇的DN值變化規(guī)律。從圖8可知，除350-450 nm范圍內(nèi)，嘴唇與黑痣的DN值變化曲線及其相似外，在450-1000 nm范圍內(nèi)，黑痣的DN值變化規(guī)律有白眼珠、黑眼珠、皮膚、頭發(fā)、嘴唇均不相同，這說(shuō)明黑痣的光譜反射率也異于白眼珠、黑眼珠、皮膚、頭發(fā)、嘴唇。

圖8  人臉上各目標(biāo)物在350-1000 nm范圍內(nèi)的DN值變化

利用SpecView軟件的Analysis-Animate功能，能快速地瀏覽高光譜影像各波段的灰度信息變化，本研究通過(guò)快速瀏覽人臉的高光譜影像的各波段灰度信息變化可知，在不同波段范圍內(nèi)，圖像中不同目標(biāo)物的顯示效果并不相同，有些目標(biāo)物只有在特定的波長(zhǎng)即特征波長(zhǎng)才顯示出來(lái)。圖9分別列舉了400 nm、640 nm和800 nm的灰度圖。從圖9可知，400 nm和800 nm處，人臉上的黑痣幾乎無(wú)法用肉眼識(shí)別出來(lái)，而在640 nm處，臉上的黑痣能隱約看到，但效果并不明顯。 

圖9  人臉在400 nm、640 nm和800 nm的灰度圖

在本研究中，由于人臉在不同波長(zhǎng)下成像，得到幾百景人臉圖像，且在不同的波長(zhǎng)下人臉的灰度圖像顯示效果并不同，有的圖像清晰，有的圖像模糊，還有些基本上看不見。如果用計(jì)算機(jī)處理，會(huì)因?yàn)閳D像信息量太大而難以處理，浪費(fèi)時(shí)間過(guò)多。所以，需要經(jīng)過(guò)主成分分析法篩選出特征圖像。主成分分析（Principal Component Analysis, PCA）的作用是去除波段之間的多余信息、將多波段的圖像信息壓縮到比原波段更有效的少數(shù)幾個(gè)轉(zhuǎn)換波段下。圖10分別展示了人臉經(jīng)主成分變換后的15個(gè)主成分圖像，從圖10可知，前2個(gè)主成分雖然包含了較多信息，且圖像較為清晰，但黑痣的顯示效果并不理想。從圖10中我們可以發(fā)現(xiàn)，第4、6和10主成分能較為清晰地人臉黑痣的分布情況。

  圖10  人臉經(jīng)主成分變換后的前15個(gè)主成分

    經(jīng)主成分變換后，各主成分間相關(guān)性較小且包含較多的圖像信息，因此可以通過(guò)波段間的組合更清晰地識(shí)別各目標(biāo)物。圖11為原始圖像的真彩色合成及各主成分變換的假彩色合成。從圖11可知，PCA假彩色合成，并不是主成分越靠前，其合成圖中各目標(biāo)物顯示就越清晰，而是根據(jù)在各主成分中較為清晰地識(shí)別目標(biāo)物的主成分進(jìn)行彩色合成。根據(jù)圖10可知，第4、6和10主成分能較為清晰地人臉黑痣的分布情況，因此運(yùn)用4、6和10三個(gè)主成分構(gòu)建的假彩色合成能較為清晰識(shí)別人臉黑痣的分布范圍。

圖11  人臉經(jīng)主成分變換后的前15個(gè)主成分