專利名稱：可視移動(dòng)終端全景視頻的實(shí)現(xiàn)方法及系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及移動(dòng)終端的視頻技術(shù)，具體地說(shuō)，是一種在可視移動(dòng)終端上 實(shí)現(xiàn)全景視頻的方法及系統(tǒng)。
背景技術(shù)：
自從1995年問(wèn)世的第一代數(shù)字手機(jī)開(kāi)始，在短短的十幾年的時(shí)間里移動(dòng) 通信技術(shù)見(jiàn)證了從第一代的語(yǔ)音通信業(yè)務(wù)、第二代增加的無(wú)線數(shù)據(jù)業(yè)務(wù)到無(wú) 線通信與國(guó)際互聯(lián)網(wǎng)等多媒體通信結(jié)合的第三代(3G)移動(dòng)通信。縱觀無(wú)線 通訊技術(shù)，基本規(guī)律是網(wǎng)絡(luò)頻帶越來(lái)越寬、提供更快的數(shù)據(jù)傳輸速率以適應(yīng) 層出不窮的市場(chǎng)新需求。第三代移動(dòng)通信3G網(wǎng)絡(luò)的帶寬已經(jīng)遠(yuǎn)遠(yuǎn)超出語(yǔ)音 通信的要求，具有處理圖像、音樂(lè)、視頻等多種々某體形式，提供包括網(wǎng)頁(yè)瀏 覽、電話會(huì)議、電子商務(wù)等多種信息服務(wù)的優(yōu)勢(shì)。3G技術(shù)最明顯的特征就是 能提供更快的數(shù)據(jù)傳輸速率以及更寬的網(wǎng)絡(luò)頻帶，這為傳輸圖像等大數(shù)據(jù)量 業(yè)務(wù)提供了支持。基于這樣高速的無(wú)線傳輸網(wǎng)絡(luò)環(huán)境，就可實(shí)現(xiàn)在3G手機(jī) 間的可視通話。在不久的將來(lái)，人們打電話時(shí)有望不再只聞其聲不見(jiàn)其面了， 這是3G時(shí)代所帶來(lái)的巨大變化。
人類所獲得的信息的70~80%來(lái)自于視覺(jué)，而圖像是人類獲取視覺(jué)信息 的主要途徑。通常我們能夠很容易的獲取現(xiàn)實(shí)世界中的一系列局部的分離圖 像，然而把這些分離的圖像信息合成為"全景世界"對(duì)我們更為重要。全景 視圖是指以觀察者為中心，繞固定點(diǎn)旋轉(zhuǎn)一周所觀察到的360度的視野場(chǎng)景 的表示技術(shù)，它是一種全新的圖像信息組織模式，可以表達(dá)完整的周圍的環(huán) 境信息。寬視野、高分辨率的圖像或視頻在一些領(lǐng)域顯得越來(lái)越重要，比如 攝影技術(shù)的全景圖像的實(shí)現(xiàn)等。未來(lái)可視化無(wú)線通訊系統(tǒng)的發(fā)展也同樣需要 實(shí)現(xiàn)全景圖像的可視。3G終端設(shè)備通常具有超大的彩色顯示屏，這也為全景 可視化提供了可能。才莫擬真實(shí)的面對(duì)面地對(duì)話環(huán)境是3G可視通話的發(fā)展目
標(biāo)，所以我們追求的不僅僅是看到通話對(duì)方可視范圍內(nèi)的圖像信息，同時(shí)想 了解通話對(duì)方周圍的環(huán)境情況，即模擬出我們與通話者面對(duì)面真實(shí)環(huán)境下對(duì) 話的場(chǎng)景。
實(shí)現(xiàn)移動(dòng)終端設(shè)備全景視頻的可視化技術(shù)是一個(gè)復(fù)雜的過(guò)程，不僅涉及 到無(wú)線網(wǎng)絡(luò)技術(shù)，同時(shí)需要成熟的圖像處理技術(shù)以及壓縮技術(shù)的支持。過(guò)去 的十幾年，也同時(shí)見(jiàn)證了圖像處理技術(shù)以及壓縮技術(shù)的發(fā)展。這些技術(shù)的發(fā) 展將為寬視角甚至全景可視電話技術(shù)創(chuàng)造了必要的條件，相信不久的將來(lái)圖 像處理技術(shù)與移動(dòng)終端設(shè)備技術(shù)相結(jié)合將產(chǎn)生未來(lái)全新的應(yīng)用市場(chǎng)。
全景可視電話技術(shù)的關(guān)鍵點(diǎn)就是在移動(dòng)通信技術(shù)平臺(tái)上實(shí)現(xiàn)圖像的實(shí)時(shí) 攝取、實(shí)時(shí)傳輸和實(shí)時(shí)全景可視。為了獲得視野比較開(kāi)闊的照片或視頻人們 通常使用廣角鏡頭進(jìn)行拍攝，但這種圖像或視頻也只是一定范圍內(nèi)的場(chǎng)景，
而要想獲得360度的全景圖像或視頻，很顯然廣角鏡頭是不能解決問(wèn)題的。 因此圖像拼接技術(shù)應(yīng)運(yùn)而生，它的目的就是把一系列局部真實(shí)世界的圖像或 視頻合成為一個(gè)單一的、更大的、更復(fù)雜的全景圖像，使我們可以更加客觀、 形象地認(rèn)識(shí)和理解真實(shí)世界。
現(xiàn)有技術(shù)中，視頻通話還只能傳送普通的、單個(gè)攝像頭獲取區(qū)域內(nèi)的視 頻圖像，還無(wú)法實(shí)現(xiàn)全景視頻圖像的視頻通話。

發(fā)明內(nèi)容
本發(fā)明要解決的技術(shù)問(wèn)題是提供一種在可視移動(dòng)終端上實(shí)現(xiàn)全景視頻的 方法及系統(tǒng)，使在移動(dòng)終端^殳備間進(jìn)行可視通話時(shí)，通話雙方可以看到對(duì)方 360度范圍內(nèi)的真實(shí)環(huán)境信息，從而可以充分利用3G網(wǎng)絡(luò)提供的可禍L沖支術(shù)實(shí) 現(xiàn)真實(shí)世界里面對(duì)面的對(duì)話場(chǎng)景。
為了解決上述問(wèn)題，本發(fā)明提供了 一種可視移動(dòng)終端全景視頻的實(shí)現(xiàn)方 法，包括以下步驟
在360度范圍內(nèi)采集多路視頻圖像并進(jìn)行緩存；
將所述緩存的視頻圖像的平面坐標(biāo)變換成柱面坐標(biāo)；
對(duì)所述變換成柱面坐標(biāo)的多路視頻圖像提取特征點(diǎn)，并從相鄰的視頻圖像中找出特征點(diǎn)對(duì)，根據(jù)所述特征點(diǎn)對(duì)計(jì)算出相鄰視頻圖像的位置差參數(shù)；
根據(jù)所述特征點(diǎn)對(duì)和位置差參數(shù)將所述多路視頻圖像融合拼接成全景視 頻圖像并緩存；
輸出所述緩存的全景視頻圖像。
進(jìn)一步地，采用環(huán)繞定向視頻采樣器采集所述多路視頻圖像，所述環(huán)繞 定向視頻采樣器定向角度為60度，在360度的周圍環(huán)境采集6路視頻信號(hào)。
進(jìn)一步地，通過(guò)以下方法從所述視頻圖像中提取特征點(diǎn)
計(jì)算圖像像素點(diǎn)水平與垂直方向的梯度；
用水平和垂直方向的梯度分別與高斯窗平滑函數(shù)進(jìn)行巻積運(yùn)算得到一個(gè) 二階實(shí)對(duì)稱矩陣，二階實(shí)對(duì)稱矩陣具有兩個(gè)特征值；
利用所述二階實(shí)對(duì)稱矩陣的兩個(gè)特征值求取該像素點(diǎn)的評(píng)價(jià)函數(shù)，判斷 所得的評(píng)價(jià)函數(shù)值是否大于一設(shè)定的閾值，如果是，該像素點(diǎn)為特征點(diǎn)；如 果否，該像像素點(diǎn)不是特征點(diǎn)。
進(jìn)一步地，找出相鄰兩幅圖像的特征點(diǎn)對(duì)的方法為
以第一幅圖像中的某個(gè)特征點(diǎn)為參考點(diǎn)，和第二幅圖像中的每一個(gè)特征 點(diǎn)分別計(jì)算相關(guān)系數(shù)，從而得到一組相關(guān)系數(shù)；
選擇這組相關(guān)系數(shù)中最大的相關(guān)系數(shù)所對(duì)應(yīng)的第二幅圖像中的特征點(diǎn)為 第 一幅圖像中這個(gè)參考特征點(diǎn)在第二幅圖像中的匹配特征點(diǎn)，所述匹配特征 點(diǎn)與參考特征點(diǎn)組成一個(gè)特征點(diǎn)對(duì)。
進(jìn)一步地，找出兩幅圖像中的特征對(duì)后，還包括去除偽特征對(duì)的步驟
計(jì)算出各特征對(duì)與其它特征對(duì)的水平坐標(biāo)之差和垂直坐標(biāo)之差，該水平 坐標(biāo)之差和垂直坐標(biāo)之差組成差值對(duì)；
從所述差值對(duì)中選出數(shù)目最多的差值對(duì)數(shù)值；
判斷某特征對(duì)其它特征對(duì)的差值對(duì)是否為所述數(shù)目最多的差值對(duì)數(shù)值， 如果是，該特征對(duì)是真實(shí)特征對(duì)，保留；如果不是，該特征對(duì)是偽特征對(duì)， 去除該特征對(duì)。
進(jìn)一步地，所述閾值通過(guò)以下方法設(shè)定
(a) 設(shè)定一較大的初始閾值和一步長(zhǎng)，分別提取出第一幅圖像和第二幅 圖4象中的特征點(diǎn)；
(b) 以第一幅圖像中的特征點(diǎn)為參考點(diǎn)，通過(guò)相關(guān)系數(shù)法在第二幅圖像 中尋找對(duì)應(yīng)的特征點(diǎn)；計(jì)算每個(gè)特征對(duì)所對(duì)應(yīng)的距離對(duì)，并比較各特征對(duì)的 距離對(duì)，得到數(shù)量最多的距離對(duì)；
(c) 以第二幅圖像中的特征點(diǎn)為參考點(diǎn)，通過(guò)相關(guān)系數(shù)法在第一幅圖像 中尋找對(duì)應(yīng)的特征點(diǎn)；計(jì)算每個(gè)特征對(duì)所對(duì)應(yīng)的距離對(duì)，并比較各特征對(duì)的 距離對(duì)，得到數(shù)量最多的距離對(duì)；
(d) 比較兩次得到的距離對(duì)值是否相等，如果相等，將閾值增加一個(gè)步 長(zhǎng)；如果不相等，將閾值減少一個(gè)步長(zhǎng)；
(e) 重復(fù)步驟(a) (d)，并判斷與上次距離對(duì)值的比較結(jié)杲是否相 反，如果是，執(zhí)行下一步驟；如果不是，返回步驟(a);
(f) 將所述步長(zhǎng)減半，判斷兩次的距離對(duì)是否相等，如果是，使閾值增 加一個(gè)步長(zhǎng)；如果不是，使閾值減少一個(gè)步長(zhǎng)；
(g) 重復(fù)步驟(a) ~ (f)直到步長(zhǎng)小于1，所得閾值即為設(shè)定閾值。
為了解決上述技術(shù)問(wèn)題，本發(fā)明還提供了一種可視移動(dòng)終端全景視頻的 實(shí)現(xiàn)系統(tǒng)，包括依次相連的視頻釆樣緩存模塊、柱面坐標(biāo)變換模塊、視頻圖 像融合模塊、視頻輸出緩存模塊和視頻顯示模塊，其中，
所述視頻釆樣緩存才莫塊，用于多路視頻的采樣及對(duì)采樣到的視頻圖像進(jìn) 行緩存；
所述柱面坐標(biāo)變換模塊，用于將所述視頻采樣緩存模塊中緩存的視頻圖 像的平面坐標(biāo)變換成柱面坐標(biāo)；
所述視頻圖像融合模塊，用于將所述變換成柱面坐標(biāo)的多路視頻圖像融 合拼、接成全景視頻圖像；
所述視頻輸出緩存模塊，用于對(duì)融合后待輸出的全景視頻圖像進(jìn)行緩存；
所述視頻顯示模塊，用于顯示緩存在視頻輸出緩存模塊中的融合后的全 景視頻圖像。
進(jìn)一步地，所述視頻采樣緩存才莫塊采用環(huán)繞定向視頻采樣器采集多路視
頻圖像，所述環(huán)繞定向視頻采樣器定向角度為60度，在360度的周圍環(huán)境釆 集6路視頻信號(hào)。
進(jìn)一步地，所迷視頻圖像融合模塊又包括特征點(diǎn)提取單元、視頻圖像配 準(zhǔn)單元和視頻圖像融合單元，其中
所述特征點(diǎn)提取單元，用于提取視頻圖像中的特征點(diǎn)；
所述視頻圖像配準(zhǔn)單元，用于對(duì)相鄰的兩幅視頻圖像的特征點(diǎn)進(jìn)行匹配；
所述視頻圖像融合單元，用于將具有特征點(diǎn)對(duì)的兩幅視頻圖像進(jìn)行融合， 形成一幅大的視頻圖像。
進(jìn)一步地，所述視頻顯示模塊還用于根據(jù)全景視頻圖像大小的判斷來(lái)調(diào) 整顯示器的分辨率參數(shù)。
本發(fā)明通過(guò)將環(huán)繞定向視頻采樣器采集到的多路視頻圖像拼接成全景圖 像進(jìn)行傳輸顯示，可以使通話雙方看到對(duì)方360度范圍內(nèi)的真實(shí)環(huán)境信息， 充分利用了 3G網(wǎng)絡(luò)提供的可視技術(shù)，實(shí)現(xiàn)真實(shí)世界里面對(duì)面的對(duì)話場(chǎng)景。


圖1是本發(fā)明的可視移動(dòng)終端實(shí)現(xiàn)全景視頻的系統(tǒng)的結(jié)構(gòu)原理圖； 圖2是本發(fā)明從視頻圖像中提取特征點(diǎn)的流程圖； 圖3是本發(fā)明對(duì)視頻圖像進(jìn)行配準(zhǔn)的流程圖； 圖4是本發(fā)明視頻全景圖像融合過(guò)程的原理圖。
具體實(shí)施例方式
本發(fā)明的主要構(gòu)思是在3G網(wǎng)絡(luò)通信技術(shù)基礎(chǔ)上，利用圖像拼接處理技 術(shù)，實(shí)現(xiàn)實(shí)時(shí)傳輸通話環(huán)境定向角度攝取的離散圖像幀序列之間的無(wú)縫融合， 從而使得移動(dòng)終端設(shè)備展示出通話對(duì)方360度范圍的真實(shí)環(huán)境信息，達(dá)到模 擬出真實(shí)環(huán)境下的對(duì)話場(chǎng)景。
下面結(jié)合附圖和具體實(shí)施例對(duì)本發(fā)明作進(jìn)一步說(shuō)明，以使本領(lǐng)域的技術(shù) 人員可以更好的理解本發(fā)明并能予以實(shí)施，但所舉實(shí)施例不作為對(duì)本發(fā)明的 限定。
如圖1所示，為移動(dòng)終端設(shè)備全景圖像可視系統(tǒng)的結(jié)構(gòu)示意圖。主叫方
110通過(guò)移動(dòng)3G網(wǎng)絡(luò)120向被叫方130發(fā)起呼叫，被叫方130接收到呼叫后， 接通全景視頻通話。全景視頻通話過(guò)程中，由本發(fā)明的可視移動(dòng)終端全景視 頻系統(tǒng)產(chǎn)生全景視頻圖像。該系統(tǒng)包括依次相連的視頻采樣緩存模塊131、 柱面坐標(biāo)變換模塊132、視頻圖像融合模塊133、視頻輸出緩存模塊134和視 頻顯示模塊135。其中，根據(jù)不同角度視頻釆樣器所采樣的視頻圖像信號(hào)的 不同，在視頻圖像融合模塊133中又設(shè)置了相應(yīng)的特征點(diǎn)提取單元1331、視 頻圖像配準(zhǔn)單元1332和視頻圖像融合單元1333。下面對(duì)各模塊和單元進(jìn)行 說(shuō)明。
視頻采樣緩存模塊131，用于視頻的釆樣及對(duì)采樣到的視頻圖像進(jìn)行緩
這樣360度的周圍環(huán)境就可以采樣到6路視頻信號(hào)。本發(fā)明不限于此，根據(jù) 需要可以采樣其它數(shù)目路視頻信號(hào)。相鄰的兩路視頻圖像之間存在重疊區(qū)域， 正是重疊區(qū)域的存在使得相鄰離散的視頻圖像可以通過(guò)重疊區(qū)域的共同區(qū)實(shí) 現(xiàn)融合。由于視頻圖像是實(shí)時(shí)采樣和傳輸?shù)?，而視頻圖像融合處理存在一定 的時(shí)延性，因此視頻圖像采樣速度和圖像融合就不能保持同步，為了消除兩 者的異步差，可以將6路視頻信號(hào)進(jìn)行緩存以達(dá)到兩者速度的匹配；
柱面坐標(biāo)變換模塊132,用于將視頻采樣緩存模塊131中緩存的視頻圖 像的平面坐標(biāo)變換成柱面坐標(biāo)。環(huán)繞定向視頻采樣器拍攝到的各路視頻圖像 是具有重疊區(qū)域的平面視頻圖像且相鄰視頻圖像之間的相關(guān)性很小，如果對(duì) 拍攝的原始圖像序列直接進(jìn)行拼接，將會(huì)破壞實(shí)際場(chǎng)景的視覺(jué)一致性，無(wú)法 滿足實(shí)際場(chǎng)景中各對(duì)象間的幾何關(guān)系。為了保持實(shí)際場(chǎng)景中的空間約束關(guān)系， 需將拍攝得到的原始圖像序列映射到一個(gè)統(tǒng)一的柱面坐標(biāo)空間上即進(jìn)行柱面 投影，這時(shí)得到的新圖像序列之間只存在水平方向和垂直方向的平移關(guān)系。 對(duì)新的柱面圖像序列進(jìn)行拼接就可以得到360度全景視頻圖像融合才莫塊133，是移動(dòng)終端設(shè)備全景圖像可視系統(tǒng)的核心模塊， 它是將輸入的離散的視頻圖像幀序列進(jìn)行視頻拼接融合的主要器件。根據(jù)不
同角度視頻采樣器所采樣的視頻圖像信號(hào)的不同又進(jìn)一步設(shè)置了相應(yīng)的特征
點(diǎn)提取單元1331、視頻圖像配準(zhǔn)單元1332和視頻圖像融合單元1333,其中
特征點(diǎn)提取單元1331,用于提取視頻圖像中的特征點(diǎn)。視頻圖像融合首 先是要盡可能準(zhǔn)確的提取出圖像的特征點(diǎn)，所以選擇高精度的提取方法至關(guān) 重要。本發(fā)明采用的特征點(diǎn)檢測(cè)器是由Chris Harris (克里斯 哈里斯)所提 出的混合的角和邊檢測(cè)器。根據(jù)大量的試驗(yàn)證明，混合的角和邊檢測(cè)器在一 致性和有效性方面均具有優(yōu)良的性能。所述一致性是指對(duì)所有的角的提取策 略和對(duì)所有邊的提取策略是一致的；所述有效性是指提取的特征點(diǎn)是能充分 表現(xiàn)圖像本身特征的點(diǎn)，即這些點(diǎn)是圖像的固有屬性的特征點(diǎn)。而且這種檢 測(cè)器提取的特征點(diǎn)被證明具有旋轉(zhuǎn)、平移不變性，對(duì)信號(hào)噪聲、數(shù)據(jù)獲取時(shí) 的參數(shù)變化和圖像變換以及圖像光照條件等具有較好的魯棒性，即具有一定 的惰性，指在一定的條件下該方法不會(huì)因?yàn)橥饨缫蛩氐挠绊懚プ约旱墓?能和性質(zhì)，即能適應(yīng)大多數(shù)環(huán)境。所以本發(fā)明可以采用這種混合的角和邊檢 測(cè)器作為特征點(diǎn)的提取工具；
視頻圖像配準(zhǔn)單元1332，用于相鄰的兩幅視頻圖像的特征點(diǎn)進(jìn)行匹配。 對(duì)兩幅視頻圖像提取特征點(diǎn)后，接著要對(duì)他們進(jìn)行匹配即尋找對(duì)應(yīng)的特征點(diǎn) 對(duì)。通過(guò)混合檢測(cè)器提取的特征點(diǎn)中有相當(dāng)多的冗余點(diǎn)，如果不去除這些冗 余的特征點(diǎn)將會(huì)導(dǎo)致配準(zhǔn)參數(shù)的誤差。為了有效的去除冗余特征點(diǎn)的千擾， 本發(fā)明提出 一種雙向最大相關(guān)系數(shù)匹配與空間坐標(biāo)距判別準(zhǔn)則相結(jié)合的匹配 策略，該方法在去除冗余的特征點(diǎn)的同時(shí)能準(zhǔn)確的提取出正確的匹配特征對(duì)。 通過(guò)正確的匹配特征對(duì)可以得到相鄰兩幅視頻圖像在水平和垂直空間上的位 置差參數(shù)，利用這一參數(shù)以一幅視頻圖像為基準(zhǔn)對(duì)另外一幅視頻圖像進(jìn)行水 平空間平移變換處理。這樣在空間上兩幅視頻圖像就被匹配對(duì)準(zhǔn)了，為下一 步融合為更大圖像提供了空間上的位置關(guān)系；
視頻圖像融合單元1333 ，用于將具有特征點(diǎn)對(duì)的兩幅視頻圖像進(jìn)行融合， 形成一幅大的視頻圖像。將兩幅視頻圖像配準(zhǔn)之后，接著就需要選擇合適的 圖像融合策略來(lái)完成圖像的拼接。選擇融合策略應(yīng)當(dāng)滿足兩方面的要求融 合邊界過(guò)渡應(yīng)平滑，消除融合接縫實(shí)現(xiàn)無(wú)縫拼接；盡量保證不因融合處理而 損失原始圖像的信息。用來(lái)融合的原始視頻圖像一般情況下由于采樣時(shí)間和釆樣角度等因素的不同而使重疊部分呈現(xiàn)出明暗強(qiáng)度及變形程度的差異，如 果直接對(duì)這樣的圖像進(jìn)行簡(jiǎn)單的疊加融合，得到的融合圖像在重疊區(qū)域的邊 緣上會(huì)存在明顯的接縫以及重疊區(qū)域的模糊和失真現(xiàn)象。為了能夠使融合后 的圖像具有視覺(jué)一致性而且沒(méi)有明顯的接縫，本發(fā)明采用加權(quán)平均的融合方 法進(jìn)行圖像平滑過(guò)渡。通過(guò)該方法融合的圖像可能由于兩幅視頻圖像重疊部 分中個(gè)別對(duì)應(yīng)像素灰度值存在較大的差異而使融合后的圖像在這些像素處的 灰度值出現(xiàn)跳變。為了使融合后的圖像更加平滑，本發(fā)明還引入閾值來(lái)控制 兩幅圖像重疊區(qū)域?qū)?yīng)像素灰度值的差異。實(shí)驗(yàn)表明針對(duì)差異的大小選擇合 適的閾值，可以明顯改善重疊區(qū)域的平滑效果。
視頻輸出緩存模塊134，用于對(duì)融合后待輸出的視頻圖像進(jìn)行緩存。同 視頻采樣緩存;f莫塊原理一樣，由于可視移動(dòng)終端設(shè)備的顯示是實(shí)時(shí)顯示，這 樣會(huì)給人一種視覺(jué)上連續(xù)的感覺(jué)，但是視頻圖像融合具有時(shí)延性，為了達(dá)到 實(shí)時(shí)顯示的效果，必須先對(duì)融合后的全景視頻序列進(jìn)行緩存達(dá)到在時(shí)間上滿 足融合與顯示的同步；
視頻顯示模塊135,用于顯示緩存在視頻輸出緩存模塊中的融合后的視 頻圖像，并可以根據(jù)全景視頻圖像大小的判斷來(lái)調(diào)整分辨率參數(shù)，可以自動(dòng) 調(diào)整顯示器的分辨率佳_得顯示效果達(dá)到最佳。對(duì)于3G移動(dòng)終端i殳備來(lái)說(shuō)， 一般都具有超大的顯示屏來(lái)顯示通話對(duì)方的視頻圖像。 一般的可視移動(dòng)終端 設(shè)備顯示的只是一定分辨率下通話對(duì)方攝像頭所能拍攝到的有限空間，為了 顯示全景視頻圖像就必須調(diào)整顯示器的分辨率，所以本發(fā)明提供的視頻顯示 才莫塊可以根據(jù)全景視頻圖像大小的判斷來(lái)調(diào)整分辨率a，可以自動(dòng)調(diào)整顯 示器的分辨率使得顯示效果達(dá)到最佳。
如圖2所示，為視頻圖像特征點(diǎn)自動(dòng)提取流程。利用混合的邊和角檢測(cè) 器(以下簡(jiǎn)稱混合檢測(cè)器)提取興趣點(diǎn)的基本原理是使用自相關(guān)函數(shù)來(lái)確定 信號(hào)發(fā)生二維變化的位置。首先計(jì)算圖像像素點(diǎn)水平與垂直方向的梯度，然 后用水平和垂直方向的梯度分別與高斯窗平滑函數(shù)進(jìn)行巻積運(yùn)算而得到一個(gè) 二階實(shí)對(duì)稱矩陣。二階實(shí)對(duì)稱矩陣必然存在兩個(gè)特征值，特征值的大小反映 了圖像像素的特征性，也就是如果某像素點(diǎn)是一特征點(diǎn)，那么關(guān)于這個(gè)點(diǎn)的 二階實(shí)對(duì)稱矩陣的兩個(gè)特征值都是正值，并且它們是以該像素為中心的區(qū)域
中的局部最大值。區(qū)域的大小可以根據(jù)圖像的大小以及需要達(dá)到提取特征點(diǎn)
的精確度來(lái)確定，比如以特征點(diǎn)為中心的4*4、 8*8、 15*15范圍的4象素組成 的范圍大小。利用像素點(diǎn)的兩個(gè)特征值求取該點(diǎn)的評(píng)價(jià)函數(shù)，當(dāng)像素點(diǎn)的評(píng) 價(jià)函數(shù)值大于某一個(gè)閾值時(shí)，這個(gè)點(diǎn)所對(duì)應(yīng)的位置點(diǎn)就是特征點(diǎn)。其中閾值 由特征點(diǎn)的多少?zèng)Q定，而且是與提取特征點(diǎn)的多少成反比的，即閾值越大則 提取的特征點(diǎn)越少，否則反之。
圖3所示，為視頻圖像配準(zhǔn)流程。圖像配準(zhǔn)原理就是尋找兩幅提取特征 點(diǎn)后的視頻圖像的對(duì)應(yīng)特征點(diǎn)對(duì)。首先計(jì)算特征點(diǎn)相關(guān)系數(shù)，以第一幅圖像 中的某個(gè)特征點(diǎn)為參考點(diǎn)，和第二幅圖像中的每一個(gè)特征點(diǎn)分別計(jì)算相關(guān)系 數(shù)，這樣就會(huì)得到一組相關(guān)系數(shù)，此時(shí)選擇這組相關(guān)系數(shù)中最大的相關(guān)系數(shù) 所對(duì)應(yīng)的特征點(diǎn)為第一幅圖像中這個(gè)點(diǎn)(即參考特征點(diǎn))在第二幅圖像中的 匹配特征點(diǎn)。通過(guò)以上方法匹配之后得到的匹配對(duì)中仍存在偽匹配對(duì)，如何 去除這些偽匹配對(duì)是整個(gè)圖像配準(zhǔn)的關(guān)鍵環(huán)節(jié)，所以本發(fā)明采用一種空間坐 標(biāo)距判別準(zhǔn)則。經(jīng)過(guò)分析可以得到如下事實(shí)分別存在于兩幅圖像中的特征 對(duì)，則它們與其它特征對(duì)的水平坐標(biāo)之差和垂直坐標(biāo)之差所組成的一對(duì)值稱 為差值對(duì)(也稱為距離對(duì))。如果一對(duì)特征對(duì)是正確的匹配對(duì)的話，那么它 與其它匹配對(duì)之間的差值對(duì)應(yīng)該是所有匹配對(duì)的差值對(duì)的大多數(shù)，否則不是 正確的匹配對(duì)。
在利用混合檢測(cè)器提取特征點(diǎn)的過(guò)程中，需要確定特征點(diǎn)提取評(píng)價(jià)函數(shù) 的閾值，閾值的確定對(duì)于圖像配準(zhǔn)精度有著很大的影響。如果閾值設(shè)置太小， 將會(huì)增加特征點(diǎn)個(gè)數(shù)而使計(jì)算量增加，閾值設(shè)置過(guò)大將會(huì)增加特征點(diǎn)漏選、 錯(cuò)選的概率。因此為了達(dá)到兩者的折衷，本發(fā)明設(shè)計(jì)了一種自動(dòng)調(diào)整閾值大 小的方法。
綜上所述，雙向最大相關(guān)系數(shù)與空間坐標(biāo)距判別準(zhǔn)則配準(zhǔn)算法具體過(guò)程 描述如下
(1) 首先，設(shè)定一較大的初始閾值和一步長(zhǎng)，通過(guò)混合檢測(cè)器分別提取出 第一幅圖像和第二幅圖^(象中的特征點(diǎn)；
(2) 以第一幅圖像中的特征點(diǎn)為參考點(diǎn)，通過(guò)相關(guān)系數(shù)法在第二幅圖像中 尋找對(duì)應(yīng)的特征點(diǎn)；
(3) 計(jì)算每個(gè)特征對(duì)所對(duì)應(yīng)的距離對(duì)；
(4) 比較各特征對(duì)的距離對(duì)，得到數(shù)量最多的距離對(duì)；
(5) 以第二幅圖像中的特征點(diǎn)為參考點(diǎn)，通過(guò)相關(guān)系數(shù)法在第一幅圖像中 尋找對(duì)應(yīng)的特征點(diǎn)；然后重復(fù)(3) 、 (4)步；
(6) 比較兩次得到的距離對(duì)值是否相等；這時(shí)我們可以通過(guò)以下步驟來(lái)自 動(dòng)調(diào)整閾值
(a) 第一階段將初始閾值設(shè)為初始的節(jié)點(diǎn)，以初始節(jié)點(diǎn)為中心，如果兩 次的距離對(duì)相等，則閾值增加一個(gè)步長(zhǎng)，此時(shí)對(duì)應(yīng)的新閾值設(shè)為新的節(jié)點(diǎn)； 如果兩次的距離對(duì)不相等，則閾值減少一個(gè)步長(zhǎng)，此時(shí)對(duì)應(yīng)的新閾值設(shè)為另 外一個(gè)新節(jié)點(diǎn)；然后將新節(jié)點(diǎn)作為新的初始節(jié)點(diǎn)重復(fù)以上過(guò)程(即步驟(1) ~(6)的過(guò)程)，當(dāng)?shù)谝淮斡龅叫碌墓?jié)點(diǎn)與初始節(jié)點(diǎn)所得到的結(jié)果相反時(shí)(即 兩次的距離對(duì)相等或不相等，即如果初始節(jié)點(diǎn)表示距離對(duì)相等而新節(jié)點(diǎn)表示 距離對(duì)不相等，則表示"結(jié)果相反"，反之則表示"結(jié)果相同")，進(jìn)入第 二階段；否則，步長(zhǎng)保持不變，然后將新節(jié)點(diǎn)對(duì)應(yīng)的閾值(即增加或減少一 個(gè)步長(zhǎng)之后的閾值)作為初始閾值返回第一階段。
(b) 第二階段以新節(jié)點(diǎn)為中心，如杲兩次的距離對(duì)相等，則步長(zhǎng)減半并 且使閾值增加一個(gè)步長(zhǎng)(即增加半個(gè)原步長(zhǎng))；如果兩次的距離對(duì)不相等， 則步長(zhǎng)減半并且使閾值減少一個(gè)步長(zhǎng)(即減少半個(gè)原步長(zhǎng))。
(c) 反復(fù)進(jìn)行第二階段直到步長(zhǎng)的整數(shù)位減為0，同時(shí)保證兩次得到的距 離對(duì)相等。
經(jīng)過(guò)以上魯棒性的算法之后，就獲得了兩幅圖像之間正確匹配對(duì)，最后 利用正確匹配對(duì)的水平和垂直坐標(biāo)差對(duì)，以一幅視頻圖像為基準(zhǔn)對(duì)另外一幅 視頻圖像進(jìn)行水平空間平移變換處理獲得第 一幅圖像的配準(zhǔn)圖像。
圖4所示，為視頻全景圖像融合原理圖。從微觀上講本發(fā)明釆用加權(quán)平 均的融合方法消除了融合圖像在重疊區(qū)域邊緣上存在的明顯的接縫以及重疊 區(qū)域的模糊和失真現(xiàn)象，同時(shí)本發(fā)明還引入閾值來(lái)控制兩幅圖像重疊區(qū)域?qū)?應(yīng)像素灰度值的差異。從宏觀上講，本發(fā)明采用圖像幀到拼接圖像的拼接方 式，即將當(dāng)前圖像幀(被拼接的、越來(lái)越大的那個(gè)圖像)與拼接圖像(攝取
到的基本圖像)進(jìn)行配準(zhǔn)。在拼接圖像與當(dāng)前圖像幀之間存在較大位移的情 況下，可以將前一幀圖像與拼接圖像間的配準(zhǔn)參數(shù)作為初始值進(jìn)行配準(zhǔn)。這 種合成方式也稱為動(dòng)態(tài)圖像拼接凈支術(shù)，即采用增量處理的方式，將當(dāng)前圖像
(攝取到的基本圖像)與當(dāng)前拼接圖像(被拼接的、越來(lái)越大的那個(gè)圖像) 變換到同一坐標(biāo)系上進(jìn)行配準(zhǔn)，以當(dāng)前的圖像內(nèi)容來(lái)更新當(dāng)前的拼"^圖像內(nèi) 容。其中，當(dāng)前拼接圖像由當(dāng)前圖像以前的一段圖像序列拼接而成)。在這 里，因?yàn)閷D像序列中的圖像逐幅變換到當(dāng)前拼接圖像所在的坐標(biāo)系上進(jìn)行 配準(zhǔn)，因此坐標(biāo)系保持固定不變。由于采用增量的拼接方式，當(dāng)場(chǎng)景中存在 運(yùn)動(dòng)目標(biāo)時(shí)，利用動(dòng)態(tài)圖像拼接技術(shù)獲得的拼接圖像不會(huì)出現(xiàn)運(yùn)動(dòng)目標(biāo)消失
的現(xiàn)象。如圖4所示是幀到拼接圖像合成方式示意圖，圖中乂為參考視頻圖 像。
綜上所述，本發(fā)明提供了移動(dòng)終端設(shè)備實(shí)現(xiàn)可視全景圖像的方法及系統(tǒng)。 本發(fā)明可以理想的完成移動(dòng)終端設(shè)備全景圖像可視技術(shù)的功能。
以上所述實(shí)施例僅是為充分說(shuō)明本發(fā)明而所舉的較佳的實(shí)施例，本發(fā)明 的保護(hù)范圍不限于此。本技術(shù)領(lǐng)域的技術(shù)人員在本發(fā)明基礎(chǔ)上所作的等同替 代或變換，均在本發(fā)明的保護(hù)范圍之內(nèi)。本發(fā)明的保護(hù)范圍以權(quán)利要求書為 準(zhǔn)。
權(quán)利要求
1、一種可視移動(dòng)終端全景視頻的實(shí)現(xiàn)方法，其特征在于，包括以下步驟在360度范圍內(nèi)采集多路視頻圖像并進(jìn)行緩存；將所述緩存的視頻圖像的平面坐標(biāo)變換成柱面坐標(biāo)；對(duì)所述變換成柱面坐標(biāo)的多路視頻圖像提取特征點(diǎn)，并從相鄰的視頻圖像中找出特征點(diǎn)對(duì)，根據(jù)所述特征點(diǎn)對(duì)計(jì)算出相鄰視頻圖像的位置差參數(shù)；根據(jù)所述特征點(diǎn)對(duì)和位置差參數(shù)將所述多路視頻圖像融合拼接成全景視頻圖像并緩存；輸出所述緩存的全景視頻圖像。
2、 如權(quán)利要求l所述的方法，其特征在于，采用環(huán)繞定向視頻采樣器采 集所述多路視頻圖像，所述環(huán)繞定向視頻采樣器定向角度為60度，在360度 的周圍環(huán)境釆集6路視頻信號(hào)。
3、 如權(quán)利要求1所述的方法，其特征在于，通過(guò)以下方法從所述視頻圖 像中提取特征點(diǎn)計(jì)算圖《象像素點(diǎn)水平與垂直方向的梯度；用水平和垂直方向的梯度分別與高斯窗平滑函數(shù)進(jìn)行巻積運(yùn)算得到一個(gè) 二階實(shí)對(duì)稱矩陣，二階實(shí)對(duì)稱矩陣具有兩個(gè)特征值；利用所述二階實(shí)對(duì)稱矩陣的兩個(gè)特征值求取該像素點(diǎn)的評(píng)價(jià)函數(shù)，判斷 所得的評(píng)價(jià)函數(shù)值是否大于一設(shè)定的閾值，如果是，該像素點(diǎn)為特征點(diǎn)；如 果否，該像像素點(diǎn)不是特征點(diǎn)。
4、 如權(quán)利要求1或3所述的方法，其特征在于，找出相鄰兩幅圖像的特 征點(diǎn)對(duì)的方法為以第一幅圖像中的某個(gè)特征點(diǎn)為參考點(diǎn)，和第二幅圖像中的每一個(gè)特征 點(diǎn)分別計(jì)算相關(guān)系數(shù)，從而得到一組相關(guān)系數(shù)；選擇這組相關(guān)系數(shù)中最大的相關(guān)系數(shù)所對(duì)應(yīng)的第二幅圖像中的特征點(diǎn)為 第 一幅圖像中這個(gè)參考特征點(diǎn)在第二幅圖像中的匹配特征點(diǎn)，所述匹配特征點(diǎn)與參考特征點(diǎn)組成一個(gè)特征點(diǎn)對(duì)。
5、 如權(quán)利要求4所述的方法，其特征在于，找出兩幅圖像中的特征對(duì)后， 還包括去除偽特征對(duì)的步驟計(jì)算出各特征對(duì)與其它特征對(duì)的水平坐標(biāo)之差和垂直坐標(biāo)之差，該水平 坐標(biāo)之差和垂直坐標(biāo)之差組成差值對(duì)；從所述差值對(duì)中選出數(shù)目最多的差值對(duì)數(shù)值；判斷某特征對(duì)其它特征對(duì)的差值對(duì)是否為所述數(shù)目最多的差值對(duì)數(shù)值， 如果是，該特征對(duì)是真實(shí)特征對(duì)，保留；如果不是，該特征對(duì)是偽特征對(duì)， 去除該特征對(duì)。
6、 如權(quán)利要求3所述的方法，其特征在于，所述閾值通過(guò)以下方法設(shè)定(a) 設(shè)定一較大的初始閾值和一步長(zhǎng)，分別提取出第一幅圖像和第二幅 圖像中的特征點(diǎn)；(b) 以第一幅圖像中的特征點(diǎn)為參考點(diǎn)，通過(guò)相關(guān)系數(shù)法在第二幅圖像 中尋找對(duì)應(yīng)的特征點(diǎn)；計(jì)算每個(gè)特征對(duì)所對(duì)應(yīng)的距離對(duì)，并比較各特征對(duì)的 距離對(duì)，得到數(shù)量最多的距離對(duì)；(c) 以第二幅圖像中的特征點(diǎn)為參考點(diǎn)，通過(guò)相關(guān)系數(shù)法在第一幅圖像 中尋找對(duì)應(yīng)的特征點(diǎn)；計(jì)算每個(gè)特征對(duì)所對(duì)應(yīng)的距離對(duì)，并比較各特征對(duì)的 距離對(duì)，得到數(shù)量最多的距離對(duì)；(d) 比較兩次得到的距離對(duì)值是否相等，如果相等，將閾值增加一個(gè)步 長(zhǎng)；如果不相等，將閾值減少一個(gè)步長(zhǎng)；(e) 重復(fù)步驟(a) ~ (d)，并判斷與上次距離對(duì)值的比較結(jié)果是否相 反，如果是，執(zhí)行下一步驟；如果不是，返回步驟(a);(f) 將所述步長(zhǎng)減半，判斷兩次的距離對(duì)是否相等，如果是，使閾值增 加一個(gè)步長(zhǎng)；如果不是，使閾值減少一個(gè)步長(zhǎng)；(g) 重復(fù)步驟(a) (f)直到步長(zhǎng)小于1，所得閾值即為設(shè)定閾值。
7、 一種可視移動(dòng)終端全景視頻的實(shí)現(xiàn)系統(tǒng)，其特征在于，包括依次相連的視頻采樣緩存才莫塊、柱面坐標(biāo)變換才莫塊、視頻圖像融合才莫塊、視頻輸出緩 存模塊和視頻顯示模塊，其中，所述視頻采樣緩存才莫塊，用于多路視頻的采樣及對(duì)采樣到的視頻圖像進(jìn)行緩存；所述柱面坐標(biāo)變換模塊，用于將所述視頻采樣緩存才莫塊中緩存的視頻圖 像的平面坐標(biāo)變換成柱面坐標(biāo)；所述視頻圖像融合模塊，用于將所述變換成柱面坐標(biāo)的多路視頻圖像融 合拼接成全景視頻圖像；所述視頻輸出緩存模塊，用于對(duì)融合后待輸出的全景視頻圖像進(jìn)行緩存；所述視頻顯示才莫塊，用于顯示緩存在視頻輸出緩存才莫塊中的融合后的全 景視頻圖像。
8、 如權(quán)利要求7所述的系統(tǒng)，其特征在于，所述視頻釆樣緩存模塊采用 環(huán)繞定向視頻釆樣器采集多路視頻圖像，所述環(huán)繞定向視頻采樣器定向角度 為60度，在360度的周圍環(huán)境采集6路視頻信號(hào)。
9、 如權(quán)利要求7所述的系統(tǒng)，其特征在于，所述視頻圖像融合模塊又包 括特征點(diǎn)提取單元、視頻圖像配準(zhǔn)單元和視頻圖像融合單元，其中所述特征點(diǎn)提取單元，用于提取視頻圖像中的特征點(diǎn)；所述視頻圖像配準(zhǔn)單元，用于對(duì)相鄰的兩幅視頻圖像的特征點(diǎn)進(jìn)行匹配；所迷視頻圖像融合單元，用于將具有特征點(diǎn)對(duì)的兩幅視頻圖像進(jìn)行融合， 形成一幅大的視頻圖像。
10、 如權(quán)利要求7所述的系統(tǒng)，其特征在于，所述視頻顯示模塊還用于 根據(jù)全景視頻圖像大小的判斷來(lái)調(diào)整顯示器的分辨率參數(shù):。
全文摘要
本發(fā)明公開(kāi)了一種可視移動(dòng)終端全景視頻的實(shí)現(xiàn)方法及系統(tǒng)。本發(fā)明是在360度范圍內(nèi)采集多路視頻圖像，將圖像進(jìn)行柱面坐標(biāo)變換后，提取圖像中的特征點(diǎn)，根據(jù)特征點(diǎn)對(duì)相鄰的視頻圖像進(jìn)行拼接融合，形成全景視頻圖像，然后將獲得的全景視頻圖像進(jìn)行輸出，從而在可視移動(dòng)終端上實(shí)現(xiàn)全景視頻通話。本發(fā)明可以使通話雙方看到對(duì)方360度范圍內(nèi)的真實(shí)環(huán)境信息，充分利用了3G網(wǎng)絡(luò)提供的可視技術(shù)，實(shí)現(xiàn)真實(shí)世界里面對(duì)面的對(duì)話場(chǎng)景。
文檔編號(hào)G06T5/50GK101345843SQ200810147559
公開(kāi)日2009年1月14日 申請(qǐng)日期2008年8月28日 優(yōu)先權(quán)日2008年8月28日
發(fā)明者仵建寧 申請(qǐng)人:中興通訊股份有限公司