本發(fā)明涉及三維(3D)圖形，特別涉及虛擬現(xiàn)實(shí)(VR)全景圖的生成。

背景技術(shù)：

虛擬現(xiàn)實(shí)(VR)是一種新興的“專業(yè)級應(yīng)用”，其有潛力徹底改變現(xiàn)有處理各種任務(wù)的方式。拍攝一個(gè)360度全景視頻并用于創(chuàng)建一個(gè)計(jì)算機(jī)建模的3D空間。然后，用戶戴上特制的護(hù)目鏡如頭戴式顯示器(HMD)，其能主動(dòng)選擇并改變用戶視角以獲取身臨其境的體驗(yàn)。

隨著VR相機(jī)技術(shù)的進(jìn)步和微型化，各種有趣且有用的應(yīng)用程序應(yīng)運(yùn)而生。頭盔相機(jī)如GoPro相機(jī)可能被一個(gè)VR全景相機(jī)組替換，這樣在參與各種體育活動(dòng)如山地自行車、滑雪、跳傘、旅游等時(shí)能夠進(jìn)行360度全景拍攝。VR相機(jī)也可以安置在無人機(jī)上，從空中觀察建筑工地進(jìn)行VR建模，或用于旅行博客或視頻監(jiān)控。VR相機(jī)也可以用于家庭聚會(huì)上，使用一副VR耳機(jī)就能遠(yuǎn)程感受并沉浸在家庭活動(dòng)中。如果在自動(dòng)駕駛汽車或無人機(jī)上安裝一個(gè)VR相機(jī)，就能夠?yàn)樽詣?dòng)駕駛或自動(dòng)飛行控制系統(tǒng)提供輸入。

如何拍攝并生成360度全景視頻，會(huì)影響VR體驗(yàn)的質(zhì)量。當(dāng)使用多臺(tái)相機(jī)時(shí)，其中兩個(gè)相鄰相機(jī)圖像交叉的區(qū)域往往會(huì)有視覺瑕疵(visual artifacts)和失真，諸如重影(ghosting)，這會(huì)降低用戶體驗(yàn)或甚至使用戶感到頭疼。

圖1顯示一個(gè)現(xiàn)有技術(shù)的VR相機(jī)環(huán)。相機(jī)環(huán)10有多個(gè)相機(jī)12，呈環(huán)狀安排。相機(jī)12的這種安排方法使得可以拍攝360度全景。當(dāng)相機(jī)12是攝錄機(jī)時(shí)，可以拍攝一個(gè)全景視頻。Google Jump就是一個(gè)VR相機(jī)環(huán)的例子。

圖2A-C突出顯示當(dāng)兩個(gè)相鄰相機(jī)的圖像被拼接在一起時(shí)由于視差而產(chǎn)生的重影。在圖2A，相機(jī)12L、12R是圖1相機(jī)環(huán)10中的兩個(gè)相鄰相機(jī)。相機(jī)12L、12R拍攝目標(biāo)物體14。但是，由于目標(biāo)物體14相對每個(gè)相機(jī)12L、12R有不同的距離和角度，所以在圖像幀16上，每個(gè)相機(jī)12L、12R是在不同位置看目標(biāo)物體14的。

在圖2B，目標(biāo)物體14是以兩個(gè)不同目標(biāo)物體14L、14R出現(xiàn)在圖像幀16上的，因?yàn)椴煌嵌鹊膬蓚€(gè)相機(jī)12L、12R的原因。圖像處理軟件會(huì)嘗試估計(jì)目標(biāo)物體14相對每個(gè)相機(jī)12L、12R的深度以糾正視差，但深度估計(jì)是不精確的且極具挑戰(zhàn)性。這種目標(biāo)物體匹配和深度估計(jì)可能會(huì)導(dǎo)致圖像的非線性變形。如圖2C所示，特別是在相鄰圖像18L、18R拼接處，特別容易看到失真。在圖像18L、18R之間的連接處，可以看到測試圖案失真了。在圖像連接處，方形格子被壓扁且變窄。這種重影(ghosting)是不希望有的。

需要一種虛擬現(xiàn)實(shí)(VR)全景生成器，其能夠減少并消除相鄰相機(jī)圖像拼接處的重影。這種不需要深度估計(jì)的全景生成器是令人期待的。希望有一種在低分辨率全景圖像上放置高分辨率圖像的全景生成器，以消除拼接區(qū)域和重影。

【附圖說明】

圖1顯示一個(gè)現(xiàn)有技術(shù)的VR相機(jī)環(huán)。

圖2A-C突出顯示當(dāng)兩個(gè)相鄰相機(jī)的圖像被拼接在一起時(shí)由于視差而產(chǎn)生的重影。

圖3A-B顯示一個(gè)組合LR/HR全景VR相機(jī)設(shè)備。

圖4A-C突出顯示全景相機(jī)圖像的圖像處理。

圖5顯示使用一個(gè)360度LR圖像作為框架以添加HR圖像細(xì)節(jié)。

圖6是一個(gè)混合分辨率全景處理器的模塊示意圖。

圖7顯示為每個(gè)HR圖像搜索多個(gè)單應(yīng)投影。

圖8顯示在通過搜索每個(gè)HR圖像的多個(gè)單應(yīng)投影而找到的多個(gè)最佳匹配圖像塊中間進(jìn)行選擇的模塊示意圖。

圖9是多個(gè)單應(yīng)投影混合分辨率全景處理器的詳細(xì)模塊示意圖。

【具體實(shí)施方式】

本發(fā)明涉及VR全景生成的改進(jìn)。以下描述使本領(lǐng)域技術(shù)人員能夠依照特定應(yīng)用及其要求制作和使用在此提供的本發(fā)明。所屬領(lǐng)域的技術(shù)人員將明了對優(yōu)選實(shí)施例的各種修改，且本文所界定的一般原理可應(yīng)用于其它實(shí)施例。因此，本發(fā)明不希望限于所展示和描述的特定實(shí)施例，而是應(yīng)被賦予與本文所揭示的原理和新穎特征一致的最廣范圍。

圖3A-B顯示一個(gè)組合的低分辨率/高分辨率LR/HR全景VR相機(jī)設(shè)備。組合相機(jī)設(shè)備20有一個(gè)呈圓形排列的一圈高分辨率(HR)相機(jī)22。組合相機(jī)設(shè)備20也有低分辨率(LR)相機(jī)24，其鏡頭指向朝上，朝向那一圈HR相機(jī)22所在平面之外。LR相機(jī)24拍攝全景鏡26反射的圖像。全景鏡26可以是圓錐形、球形、拋物線形、橢圓形、雙曲線形、彎曲的、或其它形狀的反射鏡。全景鏡26的形狀能使LR相機(jī)24比任何一個(gè)HR相機(jī)22都拍攝到一個(gè)更大的視野。

如圖3B的側(cè)視圖所示，全景鏡26接收所有360度的光，并反射這些光，以垂直照射到HR相機(jī)環(huán)22的平面。全景鏡26的反射光由LR相機(jī)24的鏡頭接收。全景鏡26接收全景域的所有角度或弧度的光，而每個(gè)HR相機(jī)22僅接收完整全景域的一小部分的光。但是，LR相機(jī)24生成的圖像分辨率比HR相機(jī)22生成的圖像分辨率更低。

LR相機(jī)24生成完整全景的單個(gè)圖像，但是是低分辨率。由于是單個(gè)圖像，就不存在在相鄰相機(jī)所拍攝的多個(gè)圖像之間有界面。相鄰圖像沒有被縫合在一起，因此，LR相機(jī)24沒有重影發(fā)生。

HR相機(jī)22能提供高分辨率細(xì)節(jié)如紋理，其可以疊加在LR相機(jī)24的單個(gè)圖像上。

圖4A-C突出顯示全景相機(jī)圖像的圖像處理。在圖4A，現(xiàn)有技術(shù)相機(jī)環(huán)有一圈HR相機(jī)，HR相機(jī)產(chǎn)生HR圖像18，每個(gè)HR圖像18只是完整全景域中的其中一小段弧度。HR圖像18互相重疊，兩個(gè)HR圖像18的細(xì)節(jié)在拼接區(qū)域19里以某種方式被合并在一起。盡管HR圖像18的大多數(shù)區(qū)域都能夠獲得好的圖像質(zhì)量，但在拼接區(qū)域19內(nèi)的圖像質(zhì)量變差很多，這是因?yàn)橄鄼C(jī)環(huán)上兩個(gè)相鄰HR相機(jī)之間的視差，導(dǎo)致圖像重影瑕疵。

在圖4B，當(dāng)使用組合相機(jī)設(shè)備20時(shí)，LR相機(jī)24拍攝LR圖像30，其顯示整個(gè)全景圖，但分辨率低。將LR圖像30放大到與HR相機(jī)22的分辨率相同，產(chǎn)生一個(gè)放大的LR圖像32。HR圖像34是由HR相機(jī)22拍攝的一小段弧度的全景圖。將HR圖像34的一小塊圖像塊的HR細(xì)節(jié)映射到那個(gè)放大LR圖像32的對應(yīng)位置上。

在HR圖像34的邊緣，可能有兩個(gè)不同的HR圖像34的重疊細(xì)節(jié)。這些HR細(xì)節(jié)的確切位置由放大LR圖像32提供。圖像處理可以合并這兩個(gè)HR圖像34重疊的細(xì)節(jié)。這些細(xì)節(jié)的位置可以從放大LR圖像32得知。從而消除視差并抑制重影。

圖4C顯示一個(gè)測試圖案，其跨越兩個(gè)相鄰HR相機(jī)22的視野。由于LR相機(jī)24的全景圖像提供了目標(biāo)位置的框架，盡管是低分辨率，但拍攝目標(biāo)的位置已經(jīng)由放大LR圖像32提供了。當(dāng)HR圖像18L和18R的HR細(xì)節(jié)放置在放大LR圖像32的框架上，其只是HR相機(jī)22所提供的細(xì)節(jié)和紋理。目標(biāo)位置由放大LR圖像32提供。因此，不需要計(jì)算目標(biāo)物體的深度，因?yàn)閺腖R圖像已經(jīng)知道目標(biāo)位置。

任何重影或失真都會(huì)受限于在LR和HR之間的差異。例如，當(dāng)HR是LR的4倍時(shí)，對每個(gè)LR像素位置，HR細(xì)節(jié)可以放置在4個(gè)HR像素任一位置上。將不會(huì)發(fā)生比四個(gè)像素位置更大的視差，因?yàn)槟繕?biāo)位置是由LR圖像決定。

圖5顯示使用一個(gè)360度LR圖像作為框架以增強(qiáng)HR圖像細(xì)節(jié)的方法。LR相機(jī)24使用全景鏡26以拍攝全景圖像，其分辨率比使用HR相機(jī)22拍攝的圖像分辨率低，這是因?yàn)榕c每個(gè)HR相機(jī)22相比，LR相機(jī)24的視野更大。360度LR圖像被放大到HR空間，以產(chǎn)生放大的LR圖像62。

組合相機(jī)設(shè)備20的相機(jī)環(huán)上的兩個(gè)相鄰HR相機(jī)22產(chǎn)生HR視圖1(HR圖像64)和HR視圖2(HR圖像66)。

例如通過從左上方到右下方的逐行掃描，識別和處理放大LR圖像62里的圖像塊。圖像塊可以是一個(gè)或多個(gè)宏塊，可以有不同的形狀，如矩形、三角形、梯形、或一部分矩形像素。在HR圖像64里的搜索窗口74，搜索放大LR圖像62里的當(dāng)前查詢圖像塊72，同樣也在HR圖像66的搜索窗口76進(jìn)行搜索。搜索窗口74、76對應(yīng)查詢圖像塊72的位置和一些周圍區(qū)域。對相鄰相機(jī)22，由于HR圖像64和HR圖像66重疊，鄰近圖像拼接處的查詢圖像塊72可能在HR圖像64和HR圖像66里都有匹配。其他不靠近圖像拼接處的查詢圖像塊，可能僅在一個(gè)HR圖像里有匹配，只需要一個(gè)搜索窗口。

例如通過絕對差值和(SAD)，對搜索窗口74里的可能匹配的圖像塊進(jìn)行評估，在搜索窗口74內(nèi)找到最佳匹配圖像塊。這個(gè)最佳匹配圖像塊被收集到最佳匹配圖像塊70內(nèi)。同樣，如通過與查詢圖像塊72的SAD，對HR圖像66里搜索窗口76內(nèi)的多個(gè)可能匹配的圖像塊進(jìn)行評估，從搜索窗口76找到最佳匹配圖像塊，并添加到最佳匹配圖像塊70中。在每個(gè)搜索窗口74、76里，可能找到不止一個(gè)最佳匹配圖像塊。

例如通過使用不同的相似性度量或因子，評估每個(gè)最佳匹配圖像塊70和查詢圖像塊72的相似性，來評估最佳匹配圖像塊70。每個(gè)最佳匹配圖像塊70的相似性參數(shù)，可以被用作為一個(gè)權(quán)重因子，以便將最佳匹配圖像塊70混合在一起，或用于選擇最佳匹配圖像塊70的一個(gè)子集進(jìn)行混合，或用于選擇單個(gè)最佳匹配圖像塊70。比較差的匹配圖像塊可以丟棄。選中的一個(gè)最佳匹配圖像塊或從最佳匹配圖像塊70中產(chǎn)生的混合最佳匹配圖像塊，被輸出作為一個(gè)重建圖像塊78。將重建圖像塊78放置在重建HR全景圖像68內(nèi)查詢圖像塊72的位置上。

重建HR全景圖像68可以是一個(gè)初始空白幀，與放大的LR圖像62具有相同的尺寸和分辨率，其是隨著添加重建圖像塊78時(shí)逐步建立的。重建HR全景圖像68也可以是一個(gè)放大LR圖像62的副本，隨后圖像塊被處理時(shí)，每個(gè)查詢圖像塊72都被重建圖像塊78替換。

圖像塊的尺寸是2N×2N LR像素，因?yàn)樗鼈兪窃贖R空間里。在HR上而不是在LR上進(jìn)行搜索，以獲得更好的匹配，因?yàn)榭s小到LR時(shí)沒有HR像素會(huì)丟失。

重建HR全景圖像68沒有因視差造成的重影，因?yàn)榉糯驦R圖像62充當(dāng)一個(gè)框架以在查詢圖像塊72位置上接收重建圖像塊78。

圖6是一個(gè)混合分辨率全景處理器的模塊示意圖。HR圖像42是由HR相機(jī)22產(chǎn)生，每個(gè)HR相機(jī)22有一個(gè)窄視野，而360度LR圖像40是由LR相機(jī)24使用全景鏡26產(chǎn)生，其視野跨越所有HR圖像42的視野。360度LR圖像40提供一個(gè)沒有重影但分辨率低的全景圖，而HR圖像42則提供HR圖像細(xì)節(jié)和紋理。

圖像放大器46將360度LR圖像40放大到HR圖像42所使用的HR分辨率。放大可以通過各種方法進(jìn)行，如混合或平均化相鄰LR像素以產(chǎn)生額外的HR像素，以填充HR空間里原始LR像素之間的空位。

放大的LR圖像作為一個(gè)圖像框架，輸入到預(yù)處理器44、多個(gè)單應(yīng)矩陣投影器50、圖像塊搜索和選擇器52、聯(lián)合視圖重建器54。來自圖像放大器46的放大LR圖像包含目標(biāo)的確切位置，其對LR相機(jī)24和一個(gè)或多個(gè)HR相機(jī)22是可見的，但沒有視差，因?yàn)?60度LR圖像40是來自單個(gè)相機(jī)。沒有視差，從而避免了重影。

預(yù)處理器44對HR圖像42進(jìn)行預(yù)處理，如銳化邊緣、減少失真、通過校準(zhǔn)和整改去除鏡頭失真、調(diào)整亮度或亮度歸一化。通過單應(yīng)矩陣投影器50，從每個(gè)HR圖像產(chǎn)生多個(gè)單應(yīng)矩陣投影。例如，可以檢測到HR圖像里的目標(biāo)物體，并可以估計(jì)到每個(gè)目標(biāo)物體的距離。選擇其中3個(gè)距離，對3個(gè)距離中每個(gè)距離都產(chǎn)生一個(gè)單應(yīng)矩陣。每個(gè)單應(yīng)矩陣可以用來產(chǎn)生一個(gè)單應(yīng)投影。因此，每個(gè)HR圖像通過單應(yīng)投影器50被擴(kuò)展到3個(gè)投影HR圖像。

來自每個(gè)投影HR圖像的HR圖像塊，如宏塊，被用來在放大LR圖像里搜索最佳匹配圖像塊。圖像塊搜索和選擇器52可以使用由單應(yīng)投影儀50產(chǎn)生的誤差來限制搜索窗口的尺寸，從而降低計(jì)算復(fù)雜度。對3個(gè)單應(yīng)投影HR圖像中的每個(gè)單應(yīng)投影HR圖像，找出一個(gè)最佳匹配圖像塊。

對3個(gè)最佳匹配圖像塊中的每個(gè)最佳匹配圖像塊，產(chǎn)生一個(gè)相似性參數(shù)，例如使用絕對差和(SAD)或使用其它相關(guān)性因子。也可以使用幾何因子和像素加權(quán)因子。幾何加權(quán)是基于單應(yīng)投影誤差(殘余)的。如果單應(yīng)投影誤差(殘余)很大，來自該單應(yīng)投影HR圖像的最佳匹配圖像塊的權(quán)重可以設(shè)置成一個(gè)較小數(shù)值?？梢允褂孟嗨菩詤?shù)以對所述3個(gè)最佳匹配圖像塊進(jìn)行加權(quán)，從而將它們混合在一起獲得一個(gè)合成HR圖像塊，其可以放置在放大LR圖像的搜索圖像塊位置上?；蛘?，合成HR圖像塊可以與放大LR圖像塊合成在一起。

聯(lián)合視圖重建器54從圖像塊搜索和選擇器52獲得最佳匹配圖像塊，并使用相似性參數(shù)進(jìn)行像素混合，以產(chǎn)生合成HR圖像塊，并將這些重建的圖像塊放置在放大LR圖像上(或放置在一個(gè)空白圖像上，位置即放大LR圖像的搜索圖像塊的位置)，以產(chǎn)生一個(gè)重建HR全景圖。

一些靠近HR圖像邊緣的目標(biāo)，在兩個(gè)相鄰HR圖像里都可以看見。合成是在6個(gè)最佳匹配圖像塊上進(jìn)行，而不是只在3個(gè)最佳匹配圖像塊上進(jìn)行，因?yàn)橛袃蓚€(gè)HR圖像源而不是僅僅一個(gè)HR圖像源。

來自聯(lián)合視圖重建器54的重建HR全景圖像被發(fā)送到后處理器56進(jìn)行后處理，如平滑邊緣、增強(qiáng)顏色或調(diào)整對比度或亮度。最終的HR輸出沒有視差重影。最終的HR輸出可以用于建立一個(gè)虛擬現(xiàn)實(shí)(VR)空間，用戶可以使用頭戴式顯示器(HMD)或其他耳機(jī)或VR觀察器進(jìn)行探索。

圖7顯示搜索每個(gè)HR圖像的多個(gè)單應(yīng)投影。單個(gè)HR圖像，如圖5里的HR圖像64，可以有多個(gè)單應(yīng)投影61、63、65。每個(gè)單應(yīng)投影61、63、65都假設(shè)一個(gè)不同的單應(yīng)變量，如到目標(biāo)的不同距離、不同的相機(jī)-到-相機(jī)的距離、或到相鄰相機(jī)或目標(biāo)的不同角度。

在HR圖像64內(nèi)的目標(biāo)物體可以被識別。當(dāng)產(chǎn)生單應(yīng)投影61、63、65時(shí)，目標(biāo)可以被組合在一起。

對每組目標(biāo)，可以產(chǎn)生一個(gè)單應(yīng)矩陣，并且該單應(yīng)矩陣可以用于產(chǎn)生單應(yīng)投影61、63、65。從HR圖像可以提取一些特征點(diǎn)(如矩形角等)，并且這些特征點(diǎn)根據(jù)距離被組合在一起(靠近的點(diǎn)被組合在一起)。每組特征點(diǎn)可以產(chǎn)生一個(gè)單應(yīng)矩陣。每個(gè)單應(yīng)矩陣可以投影一個(gè)HR圖像。

在單個(gè)HR圖像142的每個(gè)單應(yīng)投影61、63、65里，搜索在放大LR圖像64里的查詢圖像塊72。在單應(yīng)投影61、63、65里的3個(gè)搜索窗口74里，搜索查詢圖像塊72，從而產(chǎn)生3個(gè)最佳匹配圖像塊，各自對應(yīng)一個(gè)單應(yīng)投影61、63、65。

同樣，使用3個(gè)單應(yīng)矩陣，投射HR圖像66，以產(chǎn)生單應(yīng)投影71、73、75。在單應(yīng)投影71、73、75里的3個(gè)搜索窗口76里，搜索查詢圖像塊72，從而產(chǎn)生3個(gè)最佳匹配圖像塊，各自對應(yīng)一個(gè)單應(yīng)投影71、73、75。

圖8顯示在通過搜索每個(gè)HR圖像的多個(gè)單應(yīng)投影而找到的多個(gè)最佳匹配圖像塊中間進(jìn)行選擇。搜索放大LR圖像62里的查詢圖像塊72。來自單應(yīng)投影61、63、65里搜索窗口74的最佳匹配圖像塊被收集到最佳匹配圖像塊70內(nèi)，來自單應(yīng)投影71、73、75的搜索窗口76的最佳匹配圖像塊，也被收集到最佳匹配圖像塊70內(nèi)。

對每個(gè)最佳匹配圖像塊70獲得一個(gè)相似性參數(shù)，以定量化查詢圖像塊72的相似性。相似性參數(shù)可以包括傳統(tǒng)圖像塊和像素相似性的因子、幾何相似性因子，如相同比例的形狀。

在位置(x,y)(其是在一個(gè)最佳匹配圖像塊70內(nèi))上的像素權(quán)重，可以通過以下等式進(jìn)行計(jì)算：

其中“圖像塊相似性”可以是圖像塊70和查詢圖像塊72之間的絕對差和(SAD)；其中I(x,y)和I_c(u,v)表示在位置(x,y)和在圖像塊中心(u,v)上一個(gè)像素的亮度(或RGB)值；其中“幾何相似性”跟投影圖像的單應(yīng)投影誤差成正比，圖像塊70就來自所述投影圖像；其中σ_p和σ_I是從實(shí)驗(yàn)獲得的參數(shù)。

相似性參數(shù)用于對每個(gè)最佳匹配圖像塊70進(jìn)行加權(quán)。具有低相似性參數(shù)值的圖像塊可以丟棄，使用相似性參數(shù)作為權(quán)重，將剩下的圖像塊合成在一起。形成的合成圖像塊是一個(gè)重建圖像塊78，其被放置在重建HR全景圖像68上(圖5)。當(dāng)產(chǎn)生重建圖像塊78時(shí)，使用多個(gè)單應(yīng)投影，使得最相關(guān)的信息能夠被利用。

生成單應(yīng)投影61、63、65時(shí)出現(xiàn)的誤差，可以用于限制或減小搜索窗口74的尺寸?？梢栽O(shè)置單應(yīng)投影誤差(殘余)的一個(gè)上限。誤差大于該上限的投影被丟棄。接著，計(jì)算搜索窗口中心的最大偏差。該最大偏差就是搜索窗口74的窗口尺寸。

圖9是多單應(yīng)投影混合分辨率全景處理器的詳細(xì)模塊示意圖。來自多個(gè)HR圖像42的圖像塊被放置在360度LR圖像40里所識別的位置上。

圖像放大器46產(chǎn)生額外的像素以將360度LR圖像40的分辨率提高到HR圖像42的較高分辨率。使用各種圖像放大技術(shù)，額外的像素可以通過混合相鄰LR像素而產(chǎn)生。

將放大的LR圖像作為一個(gè)圖像框提供到預(yù)處理器44、多單應(yīng)投影儀50、圖像塊搜索和選擇器52、和重建器54。來自圖像放大器46的放大LR圖像，包含目標(biāo)物體的確切位置，它們對LR相機(jī)24和一個(gè)或多個(gè)HR相機(jī)22都是可見的，但沒有視差，這是因?yàn)?60度LR圖像40是來自單個(gè)相機(jī)。沒有視差，從而避免了重影。

預(yù)處理器44對HR圖像42進(jìn)行預(yù)處理。去失真單元92去除可能由全景鏡26引起的失真，如由鏡形狀引起的變形，或可能部分阻礙LR相機(jī)24視野的鏡支撐架所引起的變形。圖像邊緣可以通過使用諸如拉普拉斯濾波器來進(jìn)行銳化。亮度單元94調(diào)整在HR圖像42的像素亮度，如通過調(diào)亮黑像素并調(diào)黑亮像素。亮度也可以歸一化。

多個(gè)單應(yīng)投影是通過單應(yīng)投影儀從每個(gè)HR圖像產(chǎn)生。一個(gè)HR圖像里的目標(biāo)被識別，并且特征點(diǎn)被特征匹配器88提取。根據(jù)諸如視深、亮度、形狀等特征，目標(biāo)被組合成3個(gè)子集或組。每個(gè)由特征匹配器88識別出的組都有一個(gè)由單應(yīng)單元90為該組而所產(chǎn)生的單應(yīng)矩陣，然后該單應(yīng)矩陣被施加到整個(gè)HR圖像上以產(chǎn)生一個(gè)HR投影。對每個(gè)由特征匹配器88識別出的組，產(chǎn)生一個(gè)HR投影。對三個(gè)組，單應(yīng)單元90為每個(gè)HR圖像產(chǎn)生三個(gè)單應(yīng)投影。通過單應(yīng)投影儀50，每個(gè)HR圖像被擴(kuò)展成3個(gè)投影HR圖像。

由單應(yīng)投影儀50所產(chǎn)生的3個(gè)單應(yīng)投影被發(fā)送到圖像塊搜索和選擇器52。圖像塊搜索和選擇器52計(jì)算在3個(gè)單應(yīng)投影里最佳匹配圖像塊和查詢圖像塊的相似性，而聯(lián)合視圖重建器54使用來自單應(yīng)投影儀50的3個(gè)單應(yīng)投影和來自圖像塊搜索和選擇器52的相似性進(jìn)行重建。

HR圖像塊，例如來自單應(yīng)投影儀50的每個(gè)投影HR圖像的宏塊，被用于在放大LR圖像里搜索最佳匹配圖像塊。圖像塊搜索和選擇器52可以使用由單應(yīng)投影儀50產(chǎn)生的誤差來限制搜索窗口的尺寸，從而降低計(jì)算復(fù)雜度。

窗口搜索器82比較來自放大LR圖像62的查詢圖像塊72和單應(yīng)投影61、63、65里搜索窗口74內(nèi)的所有可能圖像塊(圖7)。對每個(gè)單應(yīng)投影找出一個(gè)最佳匹配圖像塊。當(dāng)在兩個(gè)相鄰HR圖像里可以找到查詢圖像塊72時(shí)，那么對所述兩個(gè)相鄰HR圖像的每個(gè)HR圖像，都搜索3個(gè)單應(yīng)投影。這些最佳匹配圖像塊70被收集起來，然后被相似性選擇器84評估，其對每個(gè)最佳匹配圖像塊70都產(chǎn)生相似性參數(shù)?？梢允褂脦缀我蜃雍拖袼貦?quán)重因子。

相似性參數(shù)可以被聯(lián)合視圖重建器54里的加權(quán)單元86使用，以對由圖像塊搜索和選擇器52找到的3個(gè)或6個(gè)最佳匹配圖像塊進(jìn)行加權(quán)，以便將它們合成在一起，獲得重建圖像塊78。聯(lián)合視圖重建器54產(chǎn)生重建圖像塊78，并將其放置在放大LR圖像62內(nèi)查詢圖像塊72的位置上，重建HR全景圖像68。

來自聯(lián)合視圖重建器54的重建HR全景圖像，被發(fā)送到后處理器56進(jìn)行后處理。掩膜96使用一個(gè)反銳化掩膜，平滑邊緣。顏色增強(qiáng)器98增強(qiáng)顏色，并調(diào)整對比度和亮度。最終的HR輸出是沒有視差重影的。最終的HR輸出可以用來建立一個(gè)虛擬現(xiàn)實(shí)(VR)空間，用戶可以使用頭戴式顯示器(HMD)或其他耳機(jī)或VR觀察器進(jìn)行探索。

【其它實(shí)施方式】

發(fā)明人補(bǔ)充了一些其它實(shí)施例。例如，全景鏡26可以是圓錐形、球形、拋物線形、橢圓形、雙曲線形、彎曲形、魚眼形、或其他形狀的反射鏡。低分辨率全景相機(jī)，或任何其它180度或部分全景設(shè)置可以替換全景鏡26。圖像可能因?yàn)槿扮R26的形狀而發(fā)生失真，但圖像處理軟件能夠彌補(bǔ)由于反射鏡形狀引起的圖像變形，因?yàn)榉瓷溏R形狀是不變的和已知的。

盡管LR相機(jī)24已經(jīng)被描述成一個(gè)低分辨率相機(jī)，但也可以替換為一個(gè)高分辨率相機(jī)。LR相機(jī)24可以有跟HR相機(jī)22一樣的真實(shí)分辨率，或可以被設(shè)置或編程為拍攝低分辨率圖像。LR相機(jī)24可以是一個(gè)HR相機(jī)，而全景鏡26收集一個(gè)更寬視野的圖像細(xì)節(jié)，從而LR相機(jī)24所觀察到的目標(biāo)的像素密度低于由HR相機(jī)22所觀察到的同一目標(biāo)的像素密度。LR相機(jī)24實(shí)際上可能不是一個(gè)劣質(zhì)相機(jī)，或只是分辨率較低，但其分辨率被散開到一個(gè)更寬的360度，而HR相機(jī)22的全分辨率被固定在全景的一段小弧度上。每個(gè)HR圖像可能包含比360度LR圖像40更少的整體像素，但由于其縮小了視野，仍然會(huì)有一個(gè)更高分辨率的圖像細(xì)節(jié)。

LR相機(jī)24和HR相機(jī)22可以使用相同類型的相機(jī)。而且，全景鏡26可能會(huì)扭曲圖像或模糊圖像細(xì)節(jié)，LR相機(jī)24觀察到的圖像質(zhì)量要低于沒有任何干涉鏡的HR相機(jī)22觀察到的圖像質(zhì)量。

HR圖像可能比360度LR圖像更高或更短。當(dāng)HR圖像更短時(shí)，可能有一些靠近重建HR全景圖68頂部或底部的區(qū)域缺少HR細(xì)節(jié)。當(dāng)HR圖像更高時(shí)，一些HR細(xì)節(jié)可以丟棄，或可以通過一些不太精確的方法放置在重建HR全景圖像68內(nèi)。當(dāng)HR圖像高于360度LR圖像40時(shí)，放大的LR圖像62可能比重建HR全景圖像68要小。

由于LR相機(jī)24提供相關(guān)目標(biāo)位置，精確校準(zhǔn)多個(gè)相機(jī)以及其之間的距離和角度不是必需的。HR相機(jī)22僅僅提供圖像細(xì)節(jié)，如紋理。也可以使用不那么昂貴的相機(jī)設(shè)備。盡管360度LR圖像40已經(jīng)被描述為360度視角，但一部分視角可能被諸如連接全景鏡26到組合相機(jī)設(shè)備20的支撐棒阻擋了。被阻擋的區(qū)域可能很小，可以通過使用各種方法以填充來自HR圖像的細(xì)節(jié)。

圖像塊可以是一個(gè)或多個(gè)宏塊，可以有不同形狀。在一個(gè)圖像內(nèi)，圖像塊的形狀和尺寸可以不同。例如，在平坦或不復(fù)雜的區(qū)域可以使用較大的圖像塊，在細(xì)微區(qū)域如目標(biāo)邊緣，可以使用較小的圖像塊。可以使用各種自適應(yīng)程序。圖像塊可以是非重疊的或重疊的。圖像塊匹配可以比較所有顏色分量如YUV或RGB的差異，或可以僅比較一個(gè)或兩個(gè)分量，如亮度Y。原始輸入相機(jī)數(shù)據(jù)可以使用如MPEG編碼，在處理前需要對其進(jìn)行解壓縮。

盡管已經(jīng)描述了每個(gè)HR圖像64有三個(gè)單應(yīng)投影61、63、65，但也可以替換為其它數(shù)量的單應(yīng)投影。某些HR圖像可以比其它HR圖像有更多的單應(yīng)投影。例如，一個(gè)指向開闊天空的HR圖像可能只需要一個(gè)投影，而一個(gè)指向雜亂辦公桌和窗外有樹木的HR圖像，如果能有三個(gè)以上的單應(yīng)投影61、63、65就更好。

重建HR全景圖像68的分辨率可以不同于HR圖像的分辨率。HR圖像可以向上放大或向下縮小到重建HR全景圖像68的分辨率。重建HR全景圖像68可以自己向上放大或向下縮小其分辨率。也可以有各種其它的預(yù)處理和后處理步驟。重建HR全景圖像68可以有進(jìn)一步的后處理，用于產(chǎn)生由組合相機(jī)設(shè)備20看到的3D模型的VR空間。HR相機(jī)22和LR相機(jī)24可以拍攝視頻或靜止圖像。當(dāng)LR相機(jī)24比HR相機(jī)22更慢時(shí)，每個(gè)HR相機(jī)22的一系列多個(gè)HR圖像可以產(chǎn)生一個(gè)放大的LR圖像62。360度LR圖像40和HR圖像42不必精確地同步，盡管當(dāng)它們同步時(shí)會(huì)有更好的結(jié)果。LR相機(jī)24可以是一個(gè)灰度或黑白相機(jī)，而HR相機(jī)22可以拍攝全彩色(full color)。彩色像素可以轉(zhuǎn)換成灰度，用于搜索窗口74搜索查詢圖像塊72。可以在預(yù)處理或后處理期間轉(zhuǎn)換彩色系統(tǒng)，如在YUV和RGB之間，或在具有不同像素比特的像素之間。可以使用各種像素編碼，可以添加幀頭和音軌。也可以獲取GPS數(shù)據(jù)或相機(jī)朝向數(shù)據(jù)，并連接到視頻流。

雖然已經(jīng)描述了絕對差和(SAD)作為一種評估圖像塊相似性的方法，但也可以使用其它評估方法，如均方誤差(MSE)、平均絕對差分(MAD)、和方差(SSE)等?？梢圆皇褂煤陦K作為圖像塊，而使用更小的塊，特別是在目標(biāo)邊界周圍，或使用更大的塊用于背景或目標(biāo)。也可以使用非塊狀的形狀或區(qū)域。

當(dāng)宏塊作為一個(gè)圖像塊時(shí)，宏塊的尺寸可以是8×8、16×16、或其它數(shù)目的像素。盡管已經(jīng)描述了諸如16×16塊和8×8塊的宏塊，但可以替換為其它塊尺寸，如更大的32×32塊、16×8塊、更小的4×4塊等。也可以使用非方形的塊，其它形狀如三角形、圓形、橢圓形、六邊形等都可以用作為圖像塊或“塊”。自適應(yīng)性圖像塊和塊也不一定要限制于一個(gè)預(yù)設(shè)的幾何形狀。例如，可以使用子塊對應(yīng)于目標(biāo)物體內(nèi)基于內(nèi)容的子目標(biāo)物體。對于非常小的目標(biāo)，可以使用更小的塊尺寸。

像素的大小、格式、類型可以不同，如RGB、YUV、8比特、16比特，或可以包括其它效果如紋理或閃爍。在搜索窗口里查詢圖像塊的搜索范圍可以是固定的或變化的，可以在每個(gè)方向上遞增一個(gè)像素，或遞增2個(gè)或多個(gè)像素，或可以有方向性的偏移。也可以使用自適應(yīng)性的程序。在某些區(qū)域里可以使用較大的圖像塊尺寸，而在靠近目標(biāo)邊界或具有高層次細(xì)節(jié)的區(qū)域里使用較小的圖像塊尺寸。

當(dāng)搜索最佳匹配圖像塊時(shí)，可以使用不同的搜索范圍和方法。例如，一個(gè)鉆石型的搜索圖案或一個(gè)3點(diǎn)圖案可能比窮盡式搜索一個(gè)正方形區(qū)域更加有效。也可以使用不同的搜素策略來進(jìn)一步加快計(jì)算。

可以使用各種組合的硬件、可編程處理器、和固件來實(shí)施功能模塊。可以使用管線(Pipelining)，因?yàn)榭梢云叫刑幚??？梢允褂酶鞣N程序和方法，一些因子諸如搜索范圍也可以發(fā)生變化。

在每個(gè)時(shí)間幀里沒必要完全處理所有圖像塊。例如，可以僅處理每個(gè)幀的一個(gè)子集或有限區(qū)域?？赡茴A(yù)先知道，移動(dòng)目標(biāo)只出現(xiàn)在全景畫面的某個(gè)區(qū)域，如移動(dòng)目標(biāo)可能只出現(xiàn)在相機(jī)拍攝的全景圖的右側(cè)，因?yàn)橛疫呌幸粭l高速公路而左邊是一建筑物?！皫笨梢灾皇窍鄼C(jī)拍攝或存儲(chǔ)或傳輸?shù)撵o止圖像的一個(gè)子集。

本發(fā)明的背景部分可以包括有關(guān)本發(fā)明問題或環(huán)境的背景信息，而不僅僅是描述的現(xiàn)有技術(shù)。因此，在背景部分內(nèi)包含的材料并不是申請者所認(rèn)同的現(xiàn)有技術(shù)。

在此描述的任何方法或過程是機(jī)器實(shí)施的或計(jì)算機(jī)實(shí)施的，并意在由機(jī)器、計(jì)算機(jī)或其它裝置執(zhí)行，而并不是意在僅依靠人而不需要機(jī)器協(xié)助來執(zhí)行。產(chǎn)生的有形結(jié)果可以包括報(bào)告或其它機(jī)器生成的在顯示器上顯示的展示，如計(jì)算機(jī)監(jiān)控器、投影儀裝置、音頻產(chǎn)生裝置和相關(guān)媒體裝置，并可以包括同樣由機(jī)器產(chǎn)生的硬拷貝打印輸出。其它機(jī)器的計(jì)算機(jī)控制是另一個(gè)有形結(jié)果。

描述的任何優(yōu)勢和好處可能不適合本發(fā)明的所有實(shí)施例。通常有一個(gè)或多個(gè)單詞出現(xiàn)在“裝置”之前。在“裝置”之前的單詞是一個(gè)參考權(quán)利要求元素的簡易標(biāo)記，而不是意在表達(dá)一個(gè)結(jié)構(gòu)限制。這種“裝置加功能”的權(quán)利要求意在不僅包括在此所述的用來執(zhí)行此功能的結(jié)構(gòu)及其結(jié)構(gòu)等同物，而且包括等同的結(jié)構(gòu)。例如，盡管釘子和螺絲釘具有不同的結(jié)構(gòu)，但它們是等同的結(jié)構(gòu)，因?yàn)樗鼈兌紙?zhí)行固定的功能。信號通常是電子信號，但也可以是光纖上的光信號。

為了敘述本發(fā)明，前面已經(jīng)描述了本發(fā)明的實(shí)施例。但是，這并不是窮盡性地或限制本發(fā)明的范圍。根據(jù)本發(fā)明的上述教義，許多改進(jìn)和變化是可能的。本發(fā)明的范圍并不受制于詳細(xì)描述，而是受限于所附的權(quán)利要求。