專利名稱：一種拼接類全景圖的一致性調(diào)整方法及系統(tǒng)的制作方法
一種拼接類全景圖的一致性調(diào)整方法及系統(tǒng)技術(shù)領(lǐng)域
本發(fā)明屬于圖像處理技術(shù)領(lǐng)域，尤其涉及一種拼接類全景圖的一致性調(diào)整方法及系統(tǒng)。
背景技術(shù)：
全景圖合成技術(shù)被廣泛應(yīng)用于虛擬現(xiàn)實(shí)、醫(yī)學(xué)圖像處理、遙感遙測圖像處理等領(lǐng)域。
一般地，在將拼接圖像合成全景圖時(shí)，由于相機(jī)參數(shù)、成像條件等因素的影響，常常會(huì)出現(xiàn)待拼接的某些圖像的整體亮度/顏色與其視場相鄰圖像的整體亮度/顏色之間出現(xiàn)明顯的不一致，從而使合成后得到的全景圖中存在明顯的補(bǔ)丁痕跡，影響了全景圖的整體效果。例如，目前在由遙感衛(wèi)星獲取的圖像合成的衛(wèi)星全景圖中，在不同時(shí)相得到的地域塊的圖像之間往往就存在這樣的問題。通常地，針對圖像亮度不均的問題，現(xiàn)有技術(shù)存在如下幾種常用的調(diào)整方法
I、同態(tài)濾波法。該方法主要是應(yīng)用高頻提升濾波器來消除在同一幅圖像中由于光照不均勻而造成的圖像亮度不均勻的問題。對不同的圖像需要有不同的高頻提升濾波器， 因此該方法使用不方便，且濾波后的效果往往并不令人特別滿意。
2、Top-hat變換法。該方法是一種形態(tài)學(xué)方法，主要是為了提升在同一幅圖像中由于光照較暗的部分的細(xì)節(jié)信息。由于該方法是用原圖像減去形態(tài)開運(yùn)算以后的圖像，因此會(huì)使圖像的整體亮度變暗，因此不適合在全景圖的合成中使用。
3、參考標(biāo)樣的灰度校正法。該方法是用分布均勻的標(biāo)樣所成的像作為參考，對實(shí)際圖像灰度進(jìn)行相應(yīng)的調(diào)整，主要用于對由同一幅圖像中相機(jī)感光器件光照響應(yīng)差異所引起的亮度不均的調(diào)整。該方法在全景圖合成中的自適應(yīng)效果不好，可能導(dǎo)致所成圖像的灰度不真實(shí)，且在如衛(wèi)星遙感等實(shí)際使用中，往往不易取得在實(shí)際光照條件下均勻標(biāo)樣的像， 實(shí)現(xiàn)較困難。
4、基于重疊區(qū)域亮度均值的調(diào)整方法。該方法適用于對由兩幅圖像拼接而成的全景圖的調(diào)整，包括以下步驟首先，分別求出左右兩幅拼接圖像在相互重疊區(qū)域的子圖的平均亮度，其中左面圖像的子圖的平均亮度記為AL、右面圖像的子圖的平均亮度記為AR;之后，計(jì)算出兩個(gè)子圖的平均亮度的平均值A(chǔ)M= (AL+AR)/2 ;最后，令左面圖像中每個(gè)像素的灰度值加(AM-AL)，右面圖像的每個(gè)像素的灰度值加(AM-AR)。通過以上處理后，可使平均灰度值高的圖像整體亮度向小調(diào)整，平均灰度值低的圖像整體向大調(diào)整。從以上原理可以看出，基于重疊區(qū)域亮度均值調(diào)整算法是對圖像灰度進(jìn)行整體平移，只調(diào)整了圖像的平均亮度，并沒有涉及到對圖像之間對比度的一致性調(diào)整，因此調(diào)整的效果受到較大的限制，并且該方法也未解決在多于兩幅的圖像拼接形成生成全景圖像中，如何進(jìn)行調(diào)整的問題。
綜上所述，現(xiàn)有技術(shù)提供的上述圖像亮度調(diào)整方法在應(yīng)用于拼接類全景圖的調(diào)整時(shí)，均存在由于自身算法的局限性所造成的調(diào)整效果差的問題。發(fā)明內(nèi)容
本發(fā)明實(shí)施例的目的在于提供一種拼接類全景圖的一致性調(diào)整方法，旨在解決應(yīng)用現(xiàn)有的圖像亮度調(diào)整方法調(diào)整拼接類全景圖時(shí)，由于自身算法局限性所造成的調(diào)整效果差的問題。
本發(fā)明實(shí)施例是這樣實(shí)現(xiàn)的，一種拼接類全景圖的一致性調(diào)整方法，所述方法包括以下步驟
接收具有一定視場重合的η幅待拼接圖像，并獲取每一幅待拼接圖像在全景視場中對應(yīng)的鑲嵌圖，η為正整數(shù)且η彡2 ;
建立η幅鑲嵌圖中基準(zhǔn)鑲嵌圖與其它每一鑲嵌圖之間的連通通路；
根據(jù)建立的所述連通通路，利用相鄰視場直方圖三質(zhì)心傳遞算法，計(jì)算所述其它每一鑲嵌圖相對所述基準(zhǔn)鑲嵌圖的灰度伸縮因子和偏移因子，并根據(jù)所述灰度伸縮因子和偏移因子，對相應(yīng)的鑲嵌圖中的每一像素點(diǎn)進(jìn)行亮度調(diào)整。
本發(fā)明實(shí)施例的另一目的在于提供一種拼接類全景圖的一致性調(diào)整系統(tǒng)，所述系統(tǒng)包括
鑲嵌圖獲取單元，用于接收具有一定視場重合的η幅待拼接圖像，并獲取每一幅待拼接圖像在全景視場中對應(yīng)的鑲嵌圖，η為正整數(shù)且η > 2 ;
連通通路建立單元，用于建立所述鑲嵌圖獲取單元獲取的所述η幅鑲嵌圖中基準(zhǔn)鑲嵌圖與其它每一鑲嵌圖之間的連通通路；
調(diào)整單元，用于根據(jù)所述連通通路建立單元建立的所述連通通路，利用相鄰視場直方圖三質(zhì)心傳遞算法，計(jì)算其它每一鑲嵌圖相對所述基準(zhǔn)鑲嵌圖的灰度伸縮因子和偏移因子，并根據(jù)計(jì)算得到的所述灰度伸縮因子和偏移因子，對相應(yīng)的鑲嵌圖中的每一像素點(diǎn)進(jìn)行亮度調(diào)整。
本發(fā)明實(shí)施例提供的拼接類全景圖的一致性調(diào)整方法及系統(tǒng)首先得到每一待拼接圖像在全景視場中的鑲嵌圖，鑲嵌圖中包括有一基準(zhǔn)鑲嵌圖，之后建立其它鑲嵌圖與基準(zhǔn)鑲嵌圖之間的連通通路，計(jì)算每一其它鑲嵌圖相對基準(zhǔn)鑲嵌圖的灰度伸縮因子和偏移因子，進(jìn)而根據(jù)得到的伸縮因子和偏移因子對相應(yīng)鑲嵌圖的每一像素點(diǎn)進(jìn)行亮度調(diào)整，相對于現(xiàn)有的圖像亮度調(diào)整方法，其實(shí)現(xiàn)方式簡單，尤其適用于對具有一定視場重合的拼接類單色灰度全景圖的亮度調(diào)整以及拼接類彩色全景圖的顏色調(diào)整，調(diào)整效果佳，解決了已有的全景圖拼合過程中，由于相機(jī)、成像條件等原因造成的各個(gè)子圖整體亮度/顏色不一致， 導(dǎo)致拼合后的全景圖像中出現(xiàn)局部亮度/顏色不均勻團(tuán)塊現(xiàn)象的問題。


圖I是本發(fā)明實(shí)施例提供的拼接類全景圖的一致性調(diào)整方法的流程圖2a是本發(fā)明實(shí)施例中一鑲嵌圖的示例圖2b是圖2a的直方圖及其三個(gè)質(zhì)心ml、m2和m3的關(guān)系圖3a是本發(fā)明實(shí)施例中，具有相鄰視場公共重疊區(qū)域的兩幅圖鑲嵌的示意圖3b是圖3a中一鑲嵌圖在公共重疊區(qū)域中的第一子圖像、以及另一鑲嵌圖在公共重疊區(qū)域中的第二子圖像的示意圖4是本發(fā)明實(shí)施例提供的拼接類全景圖的一致性調(diào)整系統(tǒng)的結(jié)構(gòu)圖5是圖4中鑲嵌圖獲取單元的結(jié)構(gòu)圖6是圖4中連通通路建立單元的結(jié)構(gòu)圖7是圖4中調(diào)整單元的結(jié)構(gòu)圖。
具體實(shí)施方式
為了使本發(fā)明的目的、技術(shù)方案及優(yōu)點(diǎn)更加清楚明白，以下結(jié)合附圖及實(shí)施例，對本發(fā)明進(jìn)行進(jìn)一步詳細(xì)說明。應(yīng)當(dāng)理解，此處所描述的具體實(shí)施例僅僅用以解釋本發(fā)明，并不用于限定本發(fā)明。
針對現(xiàn)有技術(shù)存在的問題，本發(fā)明實(shí)施例提供的拼接類全景圖的一致性調(diào)整方法首先得到每一待拼接圖像在全景視場中的鑲嵌圖，鑲嵌圖中包括有一基準(zhǔn)鑲嵌圖，之后建立其它鑲嵌圖與基準(zhǔn)鑲嵌圖之間的連通通路，計(jì)算每一其它鑲嵌圖相對基準(zhǔn)鑲嵌圖的灰度伸縮因子和偏移因子，進(jìn)而根據(jù)得到的伸縮因子和偏移因子對相應(yīng)鑲嵌圖的每一像素點(diǎn)進(jìn)行亮度調(diào)整。
圖I示出了本發(fā)明實(shí)施例提供的拼接類全景圖的一致性調(diào)整方法的流程，包括以下步驟
步驟SI :接收具有一定視場重合的η幅待拼接圖像，并獲取每一幅待拼接圖像在全景視場中對應(yīng)的鑲嵌圖，其中，η為正整數(shù)且η > 2。
進(jìn)一步地，獲取每一幅待拼接圖像在全景視場中對應(yīng)的鑲嵌圖的步驟可包括以下步驟
步驟Sll :分別計(jì)算η幅待拼接圖像Al、Α2、…An的直方圖及直方圖對應(yīng)的熵，選取熵最大的待拼接圖像為基準(zhǔn)圖像，為不失一般性，假設(shè)選取的基準(zhǔn)圖像為Αρ，且 I < P < η。其中，直方圖及直方圖的熵的概念為一般圖像處理領(lǐng)域技術(shù)人員所公知，為不致引起歧義，分如下兩種情況對其進(jìn)行定義
一、當(dāng)待拼接圖像為單色灰度圖像時(shí)，假設(shè)待拼接圖像A是一M行、N列的數(shù)字圖像，且圖像灰度級為G，則待拼接圖像A的直方圖H定義為
權(quán)利要求
1.一種拼接類全景圖的一致性調(diào)整方法，其特征在于，所述方法包括以下步驟接收具有一定視場重合的η幅待拼接圖像，并獲取每一幅待拼接圖像在全景視場中對應(yīng)的鑲嵌圖，η為正整數(shù)且η彡2 ;建立η幅鑲嵌圖中基準(zhǔn)鑲嵌圖與其它每一鑲嵌圖之間的連通通路；根據(jù)建立的所述連通通路，利用相鄰視場直方圖三質(zhì)心傳遞算法，計(jì)算所述其它每一鑲嵌圖相對所述基準(zhǔn)鑲嵌圖的灰度伸縮因子和偏移因子，并根據(jù)所述灰度伸縮因子和偏移因子，對相應(yīng)的鑲嵌圖中的每一像素點(diǎn)進(jìn)行亮度調(diào)整。
2.如權(quán)利要求I所述的拼接類全景圖的一致性調(diào)整方法，其特征在于，所述獲取每一幅待拼接圖像在全景視場中對應(yīng)的鑲嵌圖的步驟包括分別計(jì)算所述η幅待拼接圖像的直方圖及所述直方圖對應(yīng)的熵，選取所述熵最大的待拼接圖像為基準(zhǔn)圖像；計(jì)算所述η幅待拼接圖像之間的投影變換矩陣，根據(jù)所述投影變換矩陣計(jì)算所述η幅待拼接圖像到全景視場的投影變換，并利用插值算法得到所述η幅待拼接圖像在全景視場中分別對應(yīng)的鑲嵌圖，得到的所述鑲嵌圖包括所述基準(zhǔn)圖像對應(yīng)的所述基準(zhǔn)鑲嵌圖。
3.如權(quán)利要求I所述的拼接類全景圖的一致性調(diào)整方法，其特征在于，所述建立η幅鑲嵌圖中基準(zhǔn)鑲嵌圖與其它每一鑲嵌圖之間的連通通路的步驟包括計(jì)算所述η幅鑲嵌圖在全景視場中的相鄰視場連通關(guān)系，并根據(jù)計(jì)算得到的所述相鄰視場連通關(guān)系建立所述η幅鑲嵌圖的視場連通關(guān)系圖；根據(jù)建立的所述視場連通關(guān)系圖，建立所述基準(zhǔn)鑲嵌圖與其它每一鑲嵌圖之間的連通通路。
4.如權(quán)利要求3所述的拼接類全景圖的一致性調(diào)整方法，其特征在于，所述計(jì)算所述η 幅鑲嵌圖在全景視場中的相鄰視場連通關(guān)系，并根據(jù)計(jì)算得到的所述相鄰視場連通關(guān)系建立所述η幅鑲嵌圖的視場連通關(guān)系圖的步驟包括計(jì)算在全景視場中所述η幅鑲嵌圖的掩模圖；若兩幅鑲嵌圖的所述掩模圖存在視場公共重疊區(qū)域，且視場公共重疊區(qū)域中的像素點(diǎn)的個(gè)數(shù)超過一閾值，則標(biāo)記相應(yīng)兩幅鑲嵌圖為相鄰視場連通，否則標(biāo)記相應(yīng)兩幅鑲嵌圖為視場不連通；根據(jù)標(biāo)記結(jié)果，建立所述η幅鑲嵌圖的所述視場連通關(guān)系圖，在所述視場連通關(guān)系圖中，所述η幅鑲嵌圖為η個(gè)節(jié)點(diǎn)，相鄰視場連通的兩幅鑲嵌圖之間存在一條公共邊。
5.如權(quán)利要求I所述的拼接類全景圖的一致性調(diào)整方法，其特征在于，若所述待拼接圖像為單色灰度圖像，所述根據(jù)建立的所述連通通路，利用相鄰視場直方圖三質(zhì)心傳遞算法，計(jì)算所述其它每一鑲嵌圖相對所述基準(zhǔn)鑲嵌圖的灰度伸縮因子和偏移因子的步驟包括S31:計(jì)算所述連通通路中，相鄰兩視場的公共重疊區(qū)域，并計(jì)算其中的一個(gè)視場在所述公共重疊區(qū)域中的第一子圖像和其中的另一個(gè)視場在所述公共重疊區(qū)域中的第二子圖S32:計(jì)算所述第一子圖像的第一直方圖和所述第二子圖像的第二直方圖，并計(jì)算出所述第一直方圖的三質(zhì)心，以及所述第二直方圖的三質(zhì)心，之后根據(jù)所述第一直方圖的三質(zhì)心和所述第二直方圖的三質(zhì)心計(jì)算得到所述相鄰兩視場之間的灰度伸縮因子和偏移因子;S33:根據(jù)計(jì)算得到的所述連通通路上，各相鄰兩視場之間的所述灰度伸縮因子和所述偏移因子，計(jì)算得到所述連通通路的尾部的視場相對于所述連通通路的首部的視場的灰度伸縮因子和偏移因子；則所述根據(jù)所述灰度伸縮因子和偏移因子，對相應(yīng)的鑲嵌圖中的每一像素點(diǎn)進(jìn)行亮度調(diào)整的步驟表示為Tq (X，y) =aqTq (X，y) +bq其中，aq表示所述連通通路的尾部的視場相對于所述連通通路的首部的視場的灰度伸縮因子，bq表示所述連通通路的尾部的視場相對于所述連通通路的首部的視場的偏移因子，所述(X，y)是所述鑲嵌圖Tq上像素點(diǎn)的空間位置坐標(biāo)。
6.如權(quán)利要求5所述的拼接類全景圖的一致性調(diào)整方法，其特征在于，若所述待拼接圖像為彩色圖像，則在步驟S31之前，所述方法包括提取出所述η幅鑲嵌圖中，每幅鑲嵌圖的紅色、綠色和藍(lán)色的分量圖像，構(gòu)成紅色分量圖像集合、綠色分量圖像集合、藍(lán)色分量圖像集合；則對所述紅色分量圖像集合、綠色分量圖像集合和藍(lán)色分量圖像集合分別執(zhí)行所述步驟S31至所述步驟S33，并形成紅色分量的全景圖、綠色分量的全景圖和藍(lán)色分量的全景圖。
7.如權(quán)利要求6所述的拼接類全景圖的一致性調(diào)整方法，其特征在于，若所述待拼接圖像為單色灰度圖像，則在所述對相應(yīng)的鑲嵌圖中的每一像素點(diǎn)進(jìn)行亮度調(diào)整的步驟之后，所述方法還包括對經(jīng)亮度調(diào)整后的所述η幅鑲嵌圖之間的視場重疊區(qū)域進(jìn)行亮度漸變調(diào)整和融合，得到由所述η幅鑲嵌圖拼合成的完整全景圖；若所述待拼接圖像為彩色圖像，則在所述對相應(yīng)的鑲嵌圖中的每一像素點(diǎn)進(jìn)行亮度調(diào)整的步驟之后，所述方法還包括將形成的所述紅色分量的全景圖中所述η幅鑲嵌圖之間的視場重疊區(qū)域進(jìn)行亮度漸變調(diào)整和融合，將形成的所述綠色分量的全景圖中所述η幅鑲嵌圖之間的視場重疊區(qū)域進(jìn)行亮度漸變調(diào)整和融合，并將形成的所述藍(lán)色分量的全景圖中所述η幅鑲嵌圖之間的視場重疊區(qū)域進(jìn)行亮度漸變調(diào)整和融合；將經(jīng)亮度漸變調(diào)整和融合后的所述紅色分量的全景圖、綠色分量的全景圖和藍(lán)色分量的全景圖合成為彩色全景圖。
8.一種拼接類全景圖的一致性調(diào)整系統(tǒng)，其特征在于，所述系統(tǒng)包括鑲嵌圖獲取單元，用于接收具有一定視場重合的η幅待拼接圖像，并獲取每一幅待拼接圖像在全景視場中對應(yīng)的鑲嵌圖，η為正整數(shù)且η > 2 ;連通通路建立單元，用于建立所述鑲嵌圖獲取單元獲取的所述η幅鑲嵌圖中基準(zhǔn)鑲嵌圖與其它每一鑲嵌圖之間的連通通路；調(diào)整單元，用于根據(jù)所述連通通路建立單元建立的所述連通通路，利用相鄰視場直方圖三質(zhì)心傳遞算法，計(jì)算其它每一鑲嵌圖相對所述基準(zhǔn)鑲嵌圖的灰度伸縮因子和偏移因子，并根據(jù)計(jì)算得到的所述灰度伸縮因子和偏移因子，對相應(yīng)的鑲嵌圖中的每一像素點(diǎn)進(jìn)行亮度調(diào)整。
9.如權(quán)利要求8所述的拼接類全景圖的一致性調(diào)整系統(tǒng)，其特征在于，所述鑲嵌圖獲取單元包括接收模塊，用于接收具有一定視場重合的η幅待拼接圖像；基準(zhǔn)圖像選取模塊，用于分別計(jì)算所述接收模塊接收到的所述η幅待拼接圖像的直方圖及所述直方圖對應(yīng)的熵，選取所述熵最大的待拼接圖像為基準(zhǔn)圖像；投影模塊，用于計(jì)算所述接收模塊接收到的所述η幅待拼接圖像之間的投影變換矩陣，根據(jù)所述投影變換矩陣計(jì)算所述η幅待拼接圖像到全景視場的投影變換，并利用插值算法得到所述η幅待拼接圖像在全景視場中分別對應(yīng)的鑲嵌圖，得到的所述鑲嵌圖包括所述基準(zhǔn)圖像對應(yīng)的基準(zhǔn)鑲嵌圖。
10.如權(quán)利要求8所述的拼接類全景圖的一致性調(diào)整系統(tǒng)，其特征在于，所述連通通路建立單元包括連通關(guān)系圖建立模塊，用于計(jì)算所述鑲嵌圖獲取單元獲取的所述η幅鑲嵌圖在全景視場中的相鄰視場連通關(guān)系，并根據(jù)計(jì)算得到的所述相鄰視場連通關(guān)系建立所述η幅鑲嵌圖 η的視場連通關(guān)系圖；連通通路建立模塊，用于根據(jù)所述連通關(guān)系圖建立模塊建立的所述視場連通關(guān)系圖， 建立所述基準(zhǔn)鑲嵌圖與其它每一鑲嵌圖之間的連通通路；若所述鑲嵌圖獲取單元接收到的所述η幅待拼接圖像為單色灰度圖像，則所述調(diào)整單元包括第一計(jì)算模塊，用于計(jì)算所述連通通路建立單元建立的所述連通通路中，相鄰兩視場的公共重疊區(qū)域，并計(jì)算其中的一個(gè)視場在所述公共重疊區(qū)域中的第一子圖像和其中的另一個(gè)視場在所述公共重疊區(qū)域中的第二子圖像；第二計(jì)算模塊， 用于計(jì)算所述第一子圖像的第一直方圖和所述第二子圖像的第二直方圖，并計(jì)算出所述第一直方圖的三質(zhì)心以及所述第二直方圖的三質(zhì)心，之后根據(jù)所述第一直方圖的三質(zhì)心和所述第二直方圖的三質(zhì)心計(jì)算得到相鄰兩視場之間的灰度伸縮因子和偏移因子；第三計(jì)算模塊，用于根據(jù)所述第二計(jì)算模塊計(jì)算得到的所述連通通路上，各相鄰兩視場之間的所述灰度伸縮因子和偏移因子，計(jì)算得到所述連通通路的尾部的視場相對于所述連通通路的首部的視場的灰度伸縮因子和偏移因子，并根據(jù)所述連通通路的尾部的視場相對于所述連通通路的首部的視場的灰度伸縮因子和偏移因子，對相應(yīng)的鑲嵌圖中的每一像素點(diǎn)進(jìn)行亮度調(diào)整；若所述鑲嵌圖獲取單元接收到的所述η幅待拼接圖像為彩色圖像，則所述調(diào)整單元還包括提取模塊，用于提取出所述鑲嵌圖獲取單元獲取的所述η幅鑲嵌圖中，每幅鑲嵌圖的紅色、綠色和藍(lán)色的分量圖像，構(gòu)成紅色分量圖像集合、綠色分量圖像集合、藍(lán)色分量圖像集合;則所述第一計(jì)算模塊、所述第二計(jì)算模塊以及所述第三計(jì)算模塊分別對所述紅色分量圖像集合、綠色分量圖像集合和藍(lán)色分量圖像集合計(jì)算后，形成紅色分量的全景圖、綠色分量的全景圖和藍(lán)色分量的全景圖。
全文摘要
本發(fā)明屬于圖像處理技術(shù)領(lǐng)域，提供了一種拼接類全景圖的一致性調(diào)整方法及系統(tǒng)。該方法及系統(tǒng)首先得到待拼接圖像在全景視場中的鑲嵌圖，鑲嵌圖中包括有一基準(zhǔn)鑲嵌圖，之后建立其它鑲嵌圖與基準(zhǔn)鑲嵌圖之間的連通通路，計(jì)算其它鑲嵌圖相對基準(zhǔn)鑲嵌圖的灰度伸縮因子和偏移因子，進(jìn)而根據(jù)得到的伸縮因子和偏移因子對相應(yīng)鑲嵌圖的每一像素點(diǎn)進(jìn)行亮度調(diào)整，相對于現(xiàn)有的圖像亮度調(diào)整方法，其實(shí)現(xiàn)方式簡單，尤其適用于對具有一定視場重合的拼接類單色灰度全景圖的亮度調(diào)整以及拼接類彩色全景圖的顏色調(diào)整，調(diào)整效果佳，解決了全景圖拼合過程中，由于成像條件等原因造成的各個(gè)子圖整體亮度/顏色不一致，導(dǎo)致全景圖像出現(xiàn)局部亮度/顏色不均勻團(tuán)塊的問題。
文檔編號G06T5/50GK102938145SQ20121040708
公開日2013年2月20日 申請日期2012年10月23日 優(yōu)先權(quán)日2012年10月23日
發(fā)明者裴繼紅, 謝維信, 楊烜 申請人:深圳大學(xué)