本發(fā)明涉及一種基于Sandroid衛(wèi)星平臺(tái)空間清晰成像的方法及系統(tǒng),涉及Sandroid衛(wèi)星平臺(tái)和相機(jī)陣列,屬于圖像處理和天基衛(wèi)星成像領(lǐng)域。
背景技術(shù):
Sandroid衛(wèi)星是以Android手機(jī)集群作為核心處理部件的微小衛(wèi)星。它利用現(xiàn)貨Android手機(jī)作為基本部件,通過(guò)高速互聯(lián)組成集群結(jié)構(gòu),運(yùn)行定制的Android操作系統(tǒng),實(shí)現(xiàn)功能裁減和安全性增強(qiáng),形成可靠和容錯(cuò)的分布式計(jì)算平臺(tái),向上提供完整的應(yīng)用開(kāi)發(fā)工具鏈,支持星務(wù)管理和各種航天應(yīng)用。Sandroid同樣具有體積小、成本低、生產(chǎn)周期短、造價(jià)低廉,運(yùn)算能力和存儲(chǔ)能力非常強(qiáng)大等優(yōu)點(diǎn)。Sandroid衛(wèi)星成像載荷質(zhì)量非常小,大概是傳統(tǒng)成像載荷的幾十分之一乃至幾千分之一,成像效果遠(yuǎn)遠(yuǎn)低于傳統(tǒng)成像載荷。
衛(wèi)星空間成像特別是空間目標(biāo)成像,由于其物理局限性與成像條件的限制,得到的圖像質(zhì)量往往又不盡如人意,獲取的圖像信息中有用的部分很少。會(huì)存在著高動(dòng)態(tài)范圍、模糊、低分辨率等影響圖像質(zhì)量的問(wèn)題,使得成像目標(biāo)的識(shí)別能力低下,難以進(jìn)行識(shí)別。傳統(tǒng)的提高空間成像的方法是提高衛(wèi)星相機(jī)硬件如傳感器,鏡頭等,這產(chǎn)生了昂貴的費(fèi)用(高達(dá)數(shù)億美元),有著很長(zhǎng)的生產(chǎn)周期,這使得清晰的空間成像問(wèn)題成為一個(gè)大的挑戰(zhàn)。
為了能實(shí)現(xiàn)Sandroid衛(wèi)星空間清晰成像,計(jì)算攝影技術(shù)是一個(gè)很好的途徑。計(jì)算攝影學(xué)是一門(mén)將計(jì)算機(jī)視覺(jué)、數(shù)字信號(hào)處理、圖形學(xué)等深度交叉的新興學(xué)科,旨在結(jié)合計(jì)算、數(shù)字傳感器、光學(xué)系統(tǒng)和智能光照等技術(shù),從成像機(jī)理上改進(jìn)傳統(tǒng)相機(jī),并將硬件設(shè)計(jì)與軟件計(jì)算能力有機(jī)結(jié)合,突破經(jīng)典成像模型和數(shù)字相機(jī)的局限性,增強(qiáng)或者擴(kuò)展傳統(tǒng)數(shù)字相機(jī)的數(shù)據(jù)采集能力,全方位地捕捉真實(shí)世界的場(chǎng)景信息。利用計(jì)算攝影學(xué)與Sandroid衛(wèi)星高性能計(jì)算平臺(tái)實(shí)現(xiàn)Sandroid衛(wèi)星空間清晰成像,充分利用Sandroid系統(tǒng)的強(qiáng)大計(jì)算能力和算法來(lái)使得空間成像更好,最終實(shí)現(xiàn)在空間系統(tǒng)下用更小更便宜的相機(jī)獲取更好的圖像。在空間成像的高動(dòng)態(tài)范圍成像、場(chǎng)景中物體運(yùn)動(dòng)而產(chǎn)生的成像模糊和超高分辨率等方向來(lái)提高空間成像的質(zhì)量。
相機(jī)陣列在2004年首次被斯坦福大學(xué)提出,基本思想是利用廉價(jià)的相機(jī)陣列來(lái)獲取和高配置相機(jī)一樣的圖像拍照效果,采用多個(gè)小鏡頭來(lái)代替一個(gè)大鏡頭的拍攝效果,最終實(shí)現(xiàn)用更便宜的相機(jī)設(shè)備獲得高質(zhì)量的圖像。相機(jī)陣列是通過(guò)在空間的一定排布來(lái)同時(shí)抓取一系列視角略有差別的圖像,從而重新融合得到高質(zhì)量的照片。此后,相機(jī)陣列的發(fā)展得到了很大的發(fā)展,比如利用相機(jī)陣列得到廣角照片,利用相機(jī)陣列提高分辨率得到高動(dòng)態(tài)范圍的照片等應(yīng)用。
由于傳統(tǒng)提高空間成像的方法是提高衛(wèi)星相機(jī)硬件如傳感器,鏡頭等,這產(chǎn)生了昂貴的費(fèi)用(高達(dá)數(shù)億美元),有著很長(zhǎng)的生產(chǎn)周期,而本發(fā)明通過(guò)廉價(jià)的手機(jī)相機(jī)結(jié)合軟件處理實(shí)現(xiàn)高質(zhì)量的空間圖像,克服了硬件實(shí)現(xiàn)周期長(zhǎng)、費(fèi)用昂貴等現(xiàn)有技術(shù)的不足。
技術(shù)實(shí)現(xiàn)要素:
有鑒于此,本發(fā)明結(jié)合Sandroid衛(wèi)星平臺(tái)和相機(jī)陣列,提供一種基于Sandroid衛(wèi)星平臺(tái)空間清晰成像的方法及系統(tǒng),旨在從高動(dòng)態(tài)范圍成像、去模糊、超高分辨率成像三個(gè)方面來(lái)實(shí)現(xiàn)空間清晰成像,進(jìn)而克服現(xiàn)有硬件實(shí)現(xiàn)周期長(zhǎng)、費(fèi)用昂貴等現(xiàn)有技術(shù)的不足,實(shí)現(xiàn)用更小更輕更便宜的衛(wèi)星相機(jī)獲得高質(zhì)量的空間圖像。
為此,本發(fā)明的原理:
(一)在Sandroid衛(wèi)星上搭建手機(jī)相機(jī)陣列,將n2個(gè)android手機(jī)相機(jī)按照n*n的陣列結(jié)構(gòu)安裝到mU立方星的一個(gè)面上。在對(duì)天成像的過(guò)程是在太陽(yáng)同步軌道400km到600km之間(太陽(yáng)光可以提供合適的光照條件和合適的太陽(yáng)能力來(lái)給手機(jī)衛(wèi)星充電)使用自旋穩(wěn)定方式控制衛(wèi)星姿態(tài),使得每次使用n2個(gè)手機(jī)相機(jī)同時(shí)對(duì)天拍照,得到同一時(shí)刻目標(biāo)的圖像序列。對(duì)于n2個(gè)手機(jī)拍攝的圖像采用主從式進(jìn)行處理,每次會(huì)通過(guò)Sandroid衛(wèi)星控制中心將一個(gè)手機(jī)作為主手機(jī),另外n2-1個(gè)作為從手機(jī),將從手機(jī)的照片傳到主手機(jī)上進(jìn)行圖像的處理。
(二)對(duì)得到的圖像序列分別進(jìn)行高動(dòng)態(tài)、去模糊分、超高分辨率模塊的處理,最終得到清晰的圖像,具體如下:
(1)高動(dòng)態(tài)范圍圖像處理過(guò)程是首先對(duì)相機(jī)陣列采集到的n2張低動(dòng)態(tài)范圍圖像作對(duì)齊處理,然后根據(jù)對(duì)齊后的圖像以及圖像的曝光值實(shí)時(shí)估算相機(jī)的響應(yīng)函數(shù),并且通過(guò)響應(yīng)函數(shù)的逆函數(shù)將圖像信息由圖像域映射到照度域,最后將照度域圖像按照一定的權(quán)重合成為高動(dòng)態(tài)范圍圖像。高動(dòng)態(tài)范圍圖像指的是圖像所容納場(chǎng)景的動(dòng)態(tài)范圍超過(guò)了傳統(tǒng)相機(jī)單張圖像容納的動(dòng)態(tài)范圍,圖像本身的位寬還是8bit。動(dòng)態(tài)范圍的定義是相機(jī)所能拍攝的最亮點(diǎn)與最暗點(diǎn)之間的比值,所以是與相機(jī)相關(guān)的一個(gè)數(shù)值。
(2)將上一步驟得到的高動(dòng)態(tài)范圍的圖像分別和陣列采集到的n2張圖像組成n2組圖像,作為去模糊的輸入。去模糊具體為輸入兩張圖像,判斷兩張圖像尺寸是否在設(shè)定的閾值尺寸范圍,如果圖像尺寸在閾值尺寸范圍,直接對(duì)這兩張圖像實(shí)施去運(yùn)動(dòng)模糊處理過(guò)程;如果圖像尺寸超過(guò)預(yù)先設(shè)定的閾值尺寸范圍,則分別將兩張圖像調(diào)整到閾值尺寸范圍,然后對(duì)調(diào)整尺寸后的兩張圖像實(shí)施去運(yùn)動(dòng)模糊處理過(guò)程。圖像去運(yùn)動(dòng)模糊處理主要過(guò)程主要包括圖像全局對(duì)齊和色彩映射兩個(gè)處理步驟。最后輸出處理后的圖像。
(3)將去模糊處理的n2張圖像作為一個(gè)低分辨率圖像序列,作為超高分辨率處理過(guò)程的輸入,然后對(duì)得到的圖像序列進(jìn)行歸一化矯正,將不同序號(hào)相機(jī)拍攝的圖像標(biāo)準(zhǔn)化映射到同一個(gè)像平面上,然后針對(duì)具體視差,進(jìn)行一個(gè)視差補(bǔ)償?shù)某C正,最后應(yīng)用適合于空間成像情景的參數(shù)的超高分辨率算法,得到一個(gè)高分辨率(HR)圖像。
本發(fā)明具體技術(shù)解決方案:一種基于Sandroid衛(wèi)星平臺(tái)空間清晰成像的方法,在圖像數(shù)據(jù)的采集上,通過(guò)搭建手機(jī)相機(jī)陣列來(lái)獲取低質(zhì)量圖像序列,具體的搭建過(guò)程是將n2個(gè)android手機(jī)相機(jī)按照n*n的陣列結(jié)構(gòu),其中n是大于等于2的正整數(shù),安裝到mU的立方星的一個(gè)面上,其中m是大于等于1的正整數(shù),1U為10cm*10cm*10cm,從而完成了在Sandroid衛(wèi)星上搭建手機(jī)相機(jī)陣列,在得到低質(zhì)量圖像序列數(shù)據(jù)以后,進(jìn)行圖像數(shù)據(jù)處理,圖像數(shù)據(jù)處理包括依次進(jìn)行高動(dòng)態(tài)范圍處理、去模糊處理和超高分辨率處理,最后得到一個(gè)高質(zhì)量的圖像。
所述獲取質(zhì)量圖像序列過(guò)程為:在對(duì)天成像的過(guò)程中,在太陽(yáng)同步軌道400km到600km之間使用自旋穩(wěn)定方式控制Sandroid衛(wèi)星姿態(tài),使得每次使用n2個(gè)手機(jī)相機(jī)同時(shí)對(duì)天拍照,得到同一時(shí)刻目標(biāo)的圖像序列;對(duì)于n2個(gè)手機(jī)拍攝的圖像采用主從式進(jìn)行處理,每次會(huì)通過(guò)Sandroid衛(wèi)星控制中心將一個(gè)手機(jī)作為主手機(jī),另外n2-1個(gè)作為從手機(jī),將從手機(jī)的照片傳到主手機(jī)上進(jìn)行圖像的處理。
所述依次進(jìn)行高動(dòng)態(tài)范圍處理、去模糊處理、超高分辨率處理,從而得到高質(zhì)量的圖像過(guò)程為:首先設(shè)置手機(jī)相機(jī)陣列中每個(gè)相機(jī)的不同參數(shù),得到圖像序列以后,進(jìn)行高動(dòng)態(tài)范圍處理,得到一張高動(dòng)態(tài)范圍的圖像;將這張高動(dòng)態(tài)的圖像分別和原始n2張圖像組成n2組圖像作為去模糊處理的輸入,進(jìn)行去模糊處理,進(jìn)而得到n2張圖像;n2張圖像作為超高分辨率處理的輸入,進(jìn)行圖像超分處理,從而構(gòu)成超高分辨率處理的輸入圖像序列,最終得到一個(gè)高質(zhì)量的圖像。
所述在高動(dòng)態(tài)范圍處理的過(guò)程為:首先,利用n2個(gè)相機(jī)同時(shí)拍攝照片,得到某個(gè)場(chǎng)景同一時(shí)刻的n2張不同曝光值的圖像;由于同一時(shí)刻的照片,不存在動(dòng)態(tài)場(chǎng)景的問(wèn)題,直接進(jìn)行高動(dòng)態(tài)范圍圖像融合,融合過(guò)程為,首先利用圖像本身的數(shù)據(jù)恢復(fù)n2個(gè)相機(jī)的平均響應(yīng)函數(shù);然后通過(guò)響應(yīng)函數(shù)將圖像轉(zhuǎn)換到照度域作處理,相比于圖像本身數(shù)據(jù)描述的色彩信息,照度域的光照度能夠更好的反映原始場(chǎng)景;最后由帽函數(shù)、圖像對(duì)比度以及噪點(diǎn)預(yù)測(cè)算法共同確定融合過(guò)程中的權(quán)重,并且利用權(quán)重值將照度域圖像融合為高動(dòng)態(tài)范圍圖像。
所述去模糊實(shí)現(xiàn)過(guò)程如下:輸入兩張圖像,一張高動(dòng)態(tài)范圍圖像和一張?jiān)紙D像,判斷兩張圖像尺寸是否在設(shè)定的閾值尺寸范圍,如果第一張圖像和第二張圖像的最大尺寸都處于預(yù)先設(shè)定的閾值尺寸范圍,則無(wú)需調(diào)整圖像尺寸,否則將超過(guò)閾值尺寸范圍的圖像調(diào)整到閾值尺寸范圍內(nèi);對(duì)調(diào)整尺寸后的兩張圖像的曝光度進(jìn)行判斷,計(jì)算兩張輸入圖像的平均灰度值,比較兩個(gè)計(jì)算出來(lái)的灰度平均值,如果第一張圖像的平均灰度值大于第二張圖像的平均灰度值,則第一張圖像為曝光時(shí)間較長(zhǎng)的圖像,否則第二張圖像為曝光時(shí)間較長(zhǎng)的圖像,將兩張圖像進(jìn)行全局對(duì)齊,然后將兩張圖像分割為若干個(gè)小的區(qū)域,再將第二張圖像的每個(gè)小的區(qū)域的色彩通過(guò)色彩映射函數(shù)映射到第一張圖像上,輸出處理后的第一張圖像;對(duì)于n2組兩張圖像,分別是原始的n2張低質(zhì)量清晰度圖像和高動(dòng)態(tài)范圍圖像組合而成n2組圖像,同時(shí)進(jìn)行n2次去模糊處理,從而得到n2張去模糊后的圖像,構(gòu)成超高分辨率處理的輸入圖像序列。
超高分辨率處理在超分辨率(SR)圖像數(shù)據(jù)的過(guò)程中,已經(jīng)進(jìn)行過(guò)高動(dòng)態(tài)和去模糊的處理,不需要再進(jìn)行去模糊的操作,具體過(guò)程為:將去模糊得到的圖像序列作為輸入,然后對(duì)得到的圖像序列進(jìn)行歸一化矯正,將不同序號(hào)相機(jī)拍攝的圖像標(biāo)準(zhǔn)化映射到同一個(gè)像平面上,然后針對(duì)具體視差,進(jìn)行一個(gè)視差補(bǔ)償?shù)某C正,最后應(yīng)用適合于空間成像情景的參數(shù)的超高分辨率算法,最終得到一個(gè)具有超高分辨率的高質(zhì)量圖像。
一種基于Sandroid衛(wèi)星平臺(tái)空間清晰成像的系統(tǒng),包括:手機(jī)相機(jī)陣列、Sandroid衛(wèi)星的控制中心和圖像處理模塊;手機(jī)相機(jī)陣列由上所述的n2個(gè)Android手機(jī)搭建而成,可以拍攝圖像序列,是圖像處理模塊的數(shù)據(jù)來(lái)源;控制中心是可以用來(lái)控制各種相機(jī)陣列的操作參數(shù),使得相機(jī)陣列在不同的情景下設(shè)置不同的參數(shù),同時(shí)控制中心也用來(lái)控制圖像的處理模塊來(lái)發(fā)出圖像的一個(gè)處理命令;圖像處理模塊是處理手機(jī)相機(jī)陣列傳下來(lái)的多張圖像數(shù)據(jù),來(lái)根據(jù)控制中心發(fā)出來(lái)的命令進(jìn)行不同的圖像恢復(fù)處理,包括高動(dòng)態(tài)范圍、去模糊、超高分辨率處理,最后得到一個(gè)高質(zhì)量的圖像。
本發(fā)明與現(xiàn)有技術(shù)相比的優(yōu)點(diǎn)在于:
(1)本發(fā)明利用廉價(jià)的手機(jī)相機(jī),組合手機(jī)相機(jī)陣列,具有造價(jià)低、生產(chǎn)周期短的優(yōu)點(diǎn)。
(2)本發(fā)明充分利用Sandroid衛(wèi)星超強(qiáng)的星上計(jì)算能力,結(jié)合手機(jī)相機(jī)陣列,提出了一種實(shí)現(xiàn)清晰空間成像方案,對(duì)于空間成像存在的成像質(zhì)量問(wèn)題提出了一個(gè)全新的解決方案,并且具有體積小、造價(jià)低、周期短等特點(diǎn),最終實(shí)現(xiàn)用更小更輕更便宜的衛(wèi)星相機(jī)獲得高質(zhì)量的空間圖像。
(3)本發(fā)明能夠從高動(dòng)態(tài)、去模糊、超高分辨率三個(gè)方面進(jìn)行圖像的恢復(fù),對(duì)于空間成像的這三個(gè)方面的嚴(yán)重問(wèn)題得到了充分全面的考慮,恢復(fù)的圖像也將能提供更多的內(nèi)容。
附圖說(shuō)明
圖1為Sandroid衛(wèi)星搭建手機(jī)相機(jī)陣列的平臺(tái);
圖2為手機(jī)相機(jī)建模圖;
圖3為總體系統(tǒng)原理框圖;
圖4為系統(tǒng)總體方案的流程圖;
圖5為高動(dòng)態(tài)處理流程圖;
圖6為去模糊處理流程圖;
圖7為超高分辨率處理流程圖。
具體實(shí)施方式
下面結(jié)合說(shuō)明書(shū)附圖,對(duì)本發(fā)明的具體實(shí)施方式做詳細(xì)描述。
圖1展示的是在mU(2U)的Sandroid衛(wèi)星上安裝n2(這里n=2,即n2=4)個(gè)Android手機(jī)的硬件平臺(tái)示意圖,下邊針對(duì)兩個(gè)主要方面進(jìn)行詳細(xì)介紹。
(1)Sandroid立方體衛(wèi)星基于NanoEye平臺(tái),包括電源模塊、載荷、通信模塊、磁驅(qū)動(dòng)繞桿式天線(xiàn)、太陽(yáng)能電池板、姿態(tài)控制系統(tǒng)和努比亞Z7主板。在Sandroid衛(wèi)星上嵌套4個(gè)2W功率的Android手機(jī),從而實(shí)現(xiàn)了Android手機(jī)的高計(jì)算能力,這也使得它不同于傳統(tǒng)的立方體衛(wèi)星。在Android手機(jī)相機(jī)鏡頭安裝的時(shí)候,將按照2*2的陣列結(jié)構(gòu)進(jìn)行安裝。
(2)在實(shí)際n2=4個(gè)手機(jī)拍攝圖像的時(shí)候,需要在同一時(shí)刻對(duì)同一目標(biāo)進(jìn)行拍攝,得到一系列相同的圖像序列,所以針對(duì)手機(jī)相機(jī)安裝特點(diǎn),使用的操作是:在對(duì)天成像的過(guò)程是在太陽(yáng)同步軌道400km到600km之間(太陽(yáng)光可以提供合適的光照條件和合適的太陽(yáng)能力來(lái)給手機(jī)衛(wèi)星充電)使用自旋穩(wěn)定方式控制衛(wèi)星姿態(tài),使得每次使用n2=4個(gè)手機(jī)同時(shí)對(duì)天拍照,得到同一時(shí)刻目標(biāo)的圖像序列。
圖2展示的是手機(jī)相機(jī)陣列在采集數(shù)據(jù)以及處理數(shù)據(jù)時(shí)的一個(gè)模型框架圖,下面具體陳述:
對(duì)于4個(gè)手機(jī)拍攝的圖像采用主從式進(jìn)行處理,每次會(huì)通過(guò)Sandroid衛(wèi)星控制中心將一個(gè)手機(jī)作為主手機(jī),另外3個(gè)作為從手機(jī),將從手機(jī)的照片傳到主手機(jī)上進(jìn)行圖像的處理。處理模型框架如圖五所示。
圖3展示的是總體成像系統(tǒng)原理框圖,具體描述如下:
總體系統(tǒng)原理框圖展示了空間成像系統(tǒng)由手機(jī)相機(jī)陣列、Sandroid衛(wèi)星控制中心、圖像處理模塊三部分構(gòu)成。手機(jī)相機(jī)陣列由上所述的4個(gè)Android手機(jī)搭建而成,可以拍攝圖像序列,是圖像處理模塊的數(shù)據(jù)來(lái)源。控制中心是可以用來(lái)控制各種相機(jī)陣列的操作參數(shù),使得相機(jī)陣列在不同的情景下設(shè)置不同的參數(shù),同時(shí)控制中心也可以來(lái)控制圖像的處理模塊來(lái)發(fā)出圖像的一個(gè)處理命令。圖像處理模塊是處理手機(jī)相機(jī)陣列傳下來(lái)的多張圖像數(shù)據(jù),來(lái)根據(jù)控制中心發(fā)出來(lái)的命令進(jìn)行不同的圖像恢復(fù)處理:比如高動(dòng)態(tài)范圍、去模糊、超高分辨率等處理。
圖4展示的是系統(tǒng)總體方案的流程圖,下面具體闡述:
根據(jù)設(shè)計(jì)的Sandroid平臺(tái)上的Android手機(jī)相機(jī)陣列,整個(gè)流程圖是首先利用相機(jī)陣列拍攝不同曝光值和參數(shù)的4張圖像,采集同一時(shí)刻同一目標(biāo)的圖像數(shù)據(jù),得到一個(gè)圖像陣列,判斷圖像是否符合要求。然后依次執(zhí)行高動(dòng)態(tài)、去模糊以及超分辨率的算法進(jìn)行圖像的恢復(fù),最終得到高質(zhì)量清晰的圖像。處理的過(guò)程如下:對(duì)輸入的圖像序列,進(jìn)行高動(dòng)態(tài)范圍處理,得到一張高動(dòng)態(tài)范圍的圖像;將這張圖像和原始4張圖像作為4張圖像為去模糊處理的輸入,進(jìn)行去模糊處理,進(jìn)而得到4張圖像;4張圖像作為超高分辨率處理的輸入,進(jìn)行超分辨率處理,最終得到一個(gè)高質(zhì)量的圖像。
圖5展示的是高動(dòng)態(tài)范圍成像程序的流程圖,具體陳述為:
(1)使用4臺(tái)相機(jī)拍攝同一目標(biāo)同一時(shí)刻的四張照片,4張照片的曝光度依次遞增。由于4張照片為同一時(shí)刻拍攝的,所以不存在動(dòng)態(tài)場(chǎng)景問(wèn)題,可以直接作為輸入數(shù)據(jù)進(jìn)行處理。
(2)由(1)拍攝的圖像恢復(fù)平均相機(jī)相應(yīng)函數(shù)?;謴?fù)過(guò)程為一個(gè)曲線(xiàn)擬合的過(guò)程。具體的,由相機(jī)的成像模型以及輸入圖像的像素點(diǎn)和曝光量信息得到最小二乘法目標(biāo)函數(shù)。對(duì)于照片中的每個(gè)像素點(diǎn),目標(biāo)函數(shù)可以轉(zhuǎn)化為一個(gè)超定方程。通過(guò)奇異值分解(SVD)獲得超定方程的解,也就是相機(jī)響應(yīng)函數(shù)。
(3)由(2)中得到的響應(yīng)函數(shù)針對(duì)每幅圖像作處理,得到對(duì)應(yīng)的照度域圖像。具體的,直接將輸入圖像的像素值以及對(duì)應(yīng)的曝光量代入相應(yīng)函數(shù),即可得到照度域圖像。
(4)利用圖像評(píng)價(jià)函數(shù)對(duì)(1)中的圖像做處理,得到對(duì)應(yīng)的權(quán)重映射圖像。具體的,權(quán)重映射圖像反應(yīng)了原始圖像每個(gè)像素點(diǎn)在構(gòu)成高動(dòng)態(tài)圖像的過(guò)程中的重要程度。圖像評(píng)價(jià)函數(shù)包含三個(gè)部分:
(a)帽函數(shù):是一個(gè)中間大兩端小的函數(shù),能夠有效的避免相機(jī)響應(yīng)函數(shù)兩端陡峭引起的誤差。
(b)對(duì)比度:利用拉普拉斯濾波器獲取圖像中的邊緣以及紋理信息,給這些點(diǎn)較高權(quán)重可以有效保留圖像的細(xì)節(jié)。
(c)噪點(diǎn)預(yù)測(cè):通過(guò)噪點(diǎn)預(yù)測(cè)算法判斷像素點(diǎn)是否為噪聲點(diǎn),如果是噪聲點(diǎn)則直接將權(quán)重設(shè)置為零。
(5)由(3)中的照度域圖像與由(4)中的權(quán)重映射圖像相結(jié)合,融合得到高動(dòng)態(tài)范圍圖像。具體的,以權(quán)重映射圖像中每個(gè)像素點(diǎn)的值為權(quán)重,對(duì)照度域圖像的每個(gè)像素點(diǎn)做加權(quán)求和處理,最終得到高動(dòng)態(tài)范圍圖像。
圖6是動(dòng)態(tài)去模糊的流程圖,具體步驟闡述:
(1)將上一步得到的高動(dòng)態(tài)范圍圖像分別和原始4張圖像組成4組圖像,進(jìn)行4次去模糊處理,每一組的兩張圖像作為去模糊的輸入。
(2)判斷兩張圖像尺寸是否在設(shè)定的閾值尺寸范圍,如果第一張圖像和第二張圖像的最大尺寸都處于預(yù)先設(shè)定的閾值尺寸范圍,則無(wú)需調(diào)整圖像尺寸,否則需要將超過(guò)閾值尺寸范圍的圖像調(diào)整到閾值尺寸范圍內(nèi)。
(3)對(duì)調(diào)整尺寸后的圖像的曝光度進(jìn)行判斷,計(jì)算兩張輸入圖像的平均灰度值,比較兩個(gè)計(jì)算出來(lái)的灰度平均值,如果第一張圖像的平均灰度值大于第二張圖像的平均灰度值,則第一張圖像為曝光時(shí)間較長(zhǎng)的圖像,否則第二張圖像為曝光時(shí)間較長(zhǎng)的圖像。
(4)將兩張不同曝光度的圖像進(jìn)行全局對(duì)齊,設(shè)置搜索區(qū)域,搜索偏移和搜索步長(zhǎng),對(duì)兩張圖像進(jìn)行搜索,計(jì)算兩張圖像的灰度絕對(duì)誤差,將絕對(duì)誤差最小的位置設(shè)置為當(dāng)前搜索的最優(yōu)對(duì)齊方式,并將該位置標(biāo)記為下次搜索的起始點(diǎn),從當(dāng)前最優(yōu)對(duì)齊位置加上搜索偏移,繼續(xù)搜索,直到兩張圖像搜索完成。
(5)然后將兩張圖像分割為若干個(gè)小的區(qū)域,依據(jù)如下映射方程設(shè)計(jì)色彩映射表:
其中,g(Ct)為進(jìn)行色彩映射后的第一張圖像的像素色彩,Ct為第二張圖像對(duì)應(yīng)區(qū)域的像素色彩,μs和μt分別代表第一張圖像和第二張圖像的平均灰度值,σs和σt分別代表第一張圖像和第二張圖像的色彩標(biāo)準(zhǔn)差。
(6)將第一張圖像和第二張圖像分別從它們的原始色彩空間轉(zhuǎn)換到1αβ色彩空間,計(jì)算兩張圖像各個(gè)顏色通道的均值和方差,設(shè)計(jì)一個(gè)基于顏色通道均值和方差的映射表,根據(jù)映射表將第二張圖像的色彩映射到第一張圖像上,將第一張圖像從1αβ色彩空間轉(zhuǎn)換到其原始色彩空間。
(7)輸出處理后的第一張圖像。
圖7是超高分辨率處理圖像數(shù)據(jù)的一個(gè)流程圖,具體步驟闡述:
(1)通過(guò)去模糊處理得到的n2張圖像,作為一個(gè)低分辨率(LR)的圖像序列,作為超分辨率處理的輸入。
(2)對(duì)圖像進(jìn)行標(biāo)準(zhǔn)化的處理,把不同的低分辨率(LR)圖像進(jìn)行一個(gè)矯正,歸一化到同一個(gè)像平面上。
(3)通過(guò)超高分辨率SR算法進(jìn)行圖像的融合,在超分算法的迭代融合過(guò)程中,設(shè)置合適的參數(shù),得到一個(gè)比其他單個(gè)圖像分辨率都高的高分辨率(HR)圖像。SR技術(shù)依據(jù)的表達(dá)式為:
yi=DiBiMix+ri,i的范圍為:1≤i≤p
其中的i表示圖像序號(hào),p表示總的圖像張數(shù),Mi表示一個(gè)運(yùn)動(dòng)導(dǎo)致的歪曲矩陣,Bi表示模糊矩陣,Di表示下采樣矩陣,ri表示噪聲向量。通過(guò)不同矩陣的作用于高分辨率(HR)圖像x,可以得到一系列的超低分辨率圖像yi。
總之,本發(fā)明充分利用Sandroid衛(wèi)星超強(qiáng)的星上計(jì)算能力,以及相機(jī)陣列的思想,從高動(dòng)態(tài)范圍、去模糊、超高分辨率三個(gè)方面來(lái)實(shí)現(xiàn)空間清晰成像,該方法是一個(gè)系統(tǒng)的設(shè)計(jì),解決空間清晰成像問(wèn)題,對(duì)于空間成像存在的成像質(zhì)量問(wèn)題提出了一個(gè)全新的解決方案,并且具有體積小、造價(jià)低、周期短等特點(diǎn),最終實(shí)現(xiàn)用更小更輕更便宜的衛(wèi)星相機(jī)獲得高質(zhì)量的空間圖像。
本發(fā)明未詳細(xì)闡述部分屬于本領(lǐng)域技術(shù)人員的公知技術(shù)。
以上所述,僅為本發(fā)明中的具體實(shí)施方式,但本發(fā)明的保護(hù)范圍并不局限于此,任何熟悉該技術(shù)的人在本發(fā)明所揭露的技術(shù)范圍內(nèi),可理解想到的變換或替換,都應(yīng)涵蓋在本發(fā)明的包含范圍之內(nèi),因此,本發(fā)明的保護(hù)范圍應(yīng)該以權(quán)利要求書(shū)的保護(hù)范圍為準(zhǔn)。