本發(fā)明通常涉及視頻處理，尤其涉及多攝像機(jī)網(wǎng)的廣義視圖變形系統(tǒng)和方法。

背景技術(shù)：

攝像機(jī)網(wǎng)絡(luò)如今幾乎隨處可見，從工廠，停車場(chǎng)，高速公路，銀行的視頻監(jiān)控?cái)z像機(jī)到智慧家庭中用于安全保障以及看護(hù)老人/兒童的攝像機(jī)，再到智能會(huì)議室中實(shí)現(xiàn)智真和增強(qiáng)現(xiàn)實(shí)的攝像機(jī)。為保證充分的覆蓋，每年有數(shù)以千萬(wàn)的此類網(wǎng)絡(luò)化攝像機(jī)被安裝使用，然而盲點(diǎn)依舊是個(gè)問題。

技術(shù)實(shí)現(xiàn)要素：

根據(jù)一實(shí)施例，提供了一種廣義視圖變形方法。所述方法包括：基于與期望虛擬圖像關(guān)聯(lián)的虛擬攝像機(jī)的預(yù)定視點(diǎn)確定攝像機(jī)平面，所述攝像機(jī)平面包括至少三個(gè)真實(shí)攝像機(jī)；預(yù)扭曲至少三個(gè)圖像平面，使得全部圖像平面平行于所述攝像機(jī)平面，且每個(gè)圖像平面與位于所述攝像機(jī)平面的真實(shí)攝像機(jī)之一關(guān)聯(lián)；通過(guò)對(duì)所述至少三個(gè)圖像平面進(jìn)行線性插值變形確定虛擬圖像平面；后扭曲所述虛擬圖像平面至預(yù)定位姿。

根據(jù)另一實(shí)施例，提供了一種廣義視圖變形裝置。所述裝置包括至少一個(gè)存儲(chǔ)器和耦合至所述至少一個(gè)存儲(chǔ)器的至少一個(gè)處理器。所述至少一個(gè)處理器用于：基于與期望虛擬圖像關(guān)聯(lián)的虛擬攝像機(jī)的預(yù)定視點(diǎn)確定攝像機(jī)平面，所述攝像機(jī)平面包括至少三個(gè)真實(shí)攝像機(jī)；預(yù)扭曲至少三個(gè)圖像平面，使得全部圖像平面平行于所述攝像機(jī)平面，且每個(gè)圖像平面與位于所述攝像機(jī)平面的真實(shí)攝像機(jī)之一關(guān)聯(lián)；通過(guò)對(duì)所述至少三個(gè)圖像平面進(jìn)行線性插值變形確定虛擬圖像平面；后扭曲所述虛擬圖像平面至預(yù)定位姿。

根據(jù)又一實(shí)施例，提供了一種體現(xiàn)為計(jì)算機(jī)程序的非瞬時(shí)性計(jì)算機(jī)可讀介質(zhì)。所述計(jì)算機(jī)程序包括計(jì)算機(jī)可讀程序代碼，用于：基于與期望虛擬圖像關(guān)聯(lián)的虛擬攝像機(jī)的預(yù)定視點(diǎn)確定攝像機(jī)平面，所述攝像機(jī)平面包括至少三個(gè)真實(shí)攝像機(jī)；預(yù)扭曲至少三個(gè)圖像平面，使得全部圖像平面平行于所述攝像機(jī)平面，且每個(gè)圖像平面與位于所述攝像機(jī)平面的真實(shí)攝像機(jī)之一關(guān)聯(lián)；通過(guò)對(duì)所述至少三個(gè)圖像平面進(jìn)行線性插值變形確定虛擬圖像平面；后扭曲所述虛擬圖像平面至預(yù)定位姿。

在一示例實(shí)施例中，使用一種用于廣義視圖變形的裝置。所述裝置包括基于與期望虛擬圖像關(guān)聯(lián)的虛擬攝像機(jī)的預(yù)定視點(diǎn)確定攝像機(jī)平面的確定元件，其中，所述攝像機(jī)平面包括至少三個(gè)真實(shí)攝像機(jī)。所述裝置還包括預(yù)扭曲至少三個(gè)圖像平面使得全部圖像平面平行于所述攝像機(jī)平面的預(yù)扭曲元件，其中，每個(gè)圖像平面與位于所述攝像機(jī)平面的真實(shí)攝像機(jī)之一關(guān)聯(lián)；進(jìn)一步地，所述確定元件通過(guò)對(duì)所述至少三個(gè)圖像平面進(jìn)行線性插值變形確定虛擬圖像平面，所述后扭曲元件后扭曲所述虛擬圖像平面至預(yù)定位姿。

附圖說(shuō)明

為了更完整地理解本發(fā)明及其優(yōu)點(diǎn)，現(xiàn)在參考下文結(jié)合附圖進(jìn)行的描述，相同的數(shù)字表示相同的對(duì)象，其中：

圖1a至1c示出了自由視點(diǎn)變形的各種示例圖像；

圖2a至2c示出了自由視點(diǎn)變形技術(shù)的不同例子；

圖3示出了參與變形操作的多個(gè)共面真實(shí)攝像機(jī)和一個(gè)虛擬攝像機(jī)；

圖4示出了本發(fā)明提供的多攝像機(jī)網(wǎng)的廣義視圖變形方法；

圖5a至5d示出了本發(fā)明提供的圖4中廣義視圖變形方法中的操作；

圖6示出了本發(fā)明提供的用于執(zhí)行圖4中廣義視圖變形方法的計(jì)算設(shè)備的例子。

具體實(shí)施方式

以下列出的圖1a至圖6和說(shuō)明以及該專利文檔中的各種實(shí)施例僅通過(guò)舉例說(shuō)明的方式描述本發(fā)明的原理，而不應(yīng)以任何方式理解為對(duì)本發(fā)明范圍的限制。本領(lǐng)域技術(shù)人員可以理解的是，本發(fā)明的原理可通過(guò)任何一種設(shè)置合理的設(shè)備和系統(tǒng)實(shí)現(xiàn)。

以下文檔已并入本發(fā)明，如同在這里已充分闡述：(1)furukawa和ponce，《準(zhǔn)確、密集、穩(wěn)固的多視點(diǎn)立體影像》，ieeetrans。pami，2010(以下稱為“參考1”)；(2)m.levoy，《光場(chǎng)渲染》，siggraph，1996(以下稱為“參考2”)；(3)s.seitz和c.dyer，《視圖變形》，siggraph，1996(以下稱為“參考3”)；(4)t.beier和s.neely，《基于特征的圖像變形》，siggraph，1992(以下稱為“參考4”)；(5)s.lee等人，《蛇模型圖像變形和自由變形》，siggraph，1992(以下稱為“參考5”)。

攝像機(jī)網(wǎng)絡(luò)如今幾乎隨處可見，從工廠，停車場(chǎng)，高速公路，銀行的視頻監(jiān)控?cái)z像機(jī)到智慧家庭中用于安全保障以及看護(hù)老人/兒童的攝像機(jī)，再到智能會(huì)議室中實(shí)現(xiàn)智真和增強(qiáng)現(xiàn)實(shí)的攝像機(jī)。為保證充分的覆蓋，每年有數(shù)以千萬(wàn)的此類網(wǎng)絡(luò)化攝像機(jī)被安裝使用，然而盲點(diǎn)依舊是個(gè)問題。例如，在一天的某些時(shí)候(例如中午)，通過(guò)一些攝像機(jī)捕捉的視圖因日光太強(qiáng)可能不理想，但在當(dāng)天的其他時(shí)候可能就比較適宜。在其他網(wǎng)絡(luò)中，攝像機(jī)放置若有一個(gè)或多個(gè)損壞或故障的攝像機(jī)，可能導(dǎo)致閉塞情況。

為解決這些問題，在針對(duì)攝像機(jī)網(wǎng)絡(luò)的“自由視點(diǎn)”特征上做了大量研究。多個(gè)臨近的攝像機(jī)利用自由視點(diǎn)特征捕捉重疊的視覺信息。然后，重疊的視覺信息用于產(chǎn)生“虛擬圖像”，就像在期望位置和朝向上有虛擬攝像機(jī)一樣。該過(guò)程也被稱為自由視點(diǎn)變形。許多應(yīng)用都迫切需要自由視點(diǎn)變形(即通過(guò)已有攝像機(jī)合成任意虛擬視圖)這一特征，例如視頻監(jiān)控，數(shù)字取證等。

圖1a到1c示出了自由視點(diǎn)變形的各種示例。在圖1a中，三維空間100(例如：會(huì)議室、停車場(chǎng)、辦公室等)配備有一個(gè)網(wǎng)絡(luò)，該網(wǎng)絡(luò)由圍繞在該空間100周圍不同位置和不同朝向的攝像機(jī)101組成。如圖1a所示，攝像機(jī)位于該空間100的較高的點(diǎn)，并且一般直接朝下。然而，可以理解的是另外的或可替代的攝像機(jī)能位于較低的點(diǎn)(包括與地面平行或地面以下)且朝向其他方向(例如：朝上、一般朝上、或水平)。多個(gè)攝像機(jī)101可以捕捉對(duì)象102的局部，但卻沒有攝像機(jī)101能調(diào)整其位置或朝向來(lái)捕捉對(duì)象102的特定期望特征或角度?！疤摂M攝像機(jī)”103示出能夠捕捉對(duì)象102的期望特征或期望角度的攝像機(jī)(如果存在的話)的位置和朝向。

例如，在圖1b和1c中，第一真實(shí)(即現(xiàn)實(shí)的、非虛擬的)攝像機(jī)101捕捉到圖像110a-110b，第二真實(shí)攝像機(jī)101捕捉到圖像112a-112b，攝像機(jī)101捕捉的110a-110b、112a-112b中的每張圖像都缺失了關(guān)鍵期望特征。例如，室內(nèi)有兩個(gè)人，但在圖像110a中只能看到一個(gè)人的臉；在圖像110b中，只能看到一個(gè)人的正臉，另一個(gè)人則是側(cè)臉；在圖像112a中，一只包被擋在門后；在圖像112b中，能看見這只包，但只能看見背著包的人的一部分。

由于信息缺失，攝像機(jī)101捕捉到的圖像110a-110b、112a-112b都不適用于視頻監(jiān)控等應(yīng)用。自由視點(diǎn)變形的目的是合成多個(gè)圖像以生成一個(gè)包括所有期望特征的合成的“虛擬”圖像，就如同有一個(gè)虛擬攝像機(jī)捕捉到了該圖像。例如，使用自由視點(diǎn)變形將圖像110a-110b合成為虛擬圖像110c，將圖像112a-112b合成為虛擬圖像112c。從虛擬圖像110c和112c上看，就像有一個(gè)虛擬攝像機(jī)102在最理想視覺位置用最佳朝向進(jìn)行拍攝而成。此類合成虛擬圖像110c和112c可能更適用于特定應(yīng)用。

圖2a至2c示出了自由視點(diǎn)變形技術(shù)的不同示例。參考1描述了一種技術(shù)，如圖2a所示，通過(guò)一種或多種多視點(diǎn)立體(multi-viewstereo，簡(jiǎn)稱mvs)算法生成目標(biāo)場(chǎng)景的三維(3d)紋理模型。該3d模型能從任意視圖渲染得到。該技術(shù)通常帶來(lái)好的結(jié)果。然而，在有挑戰(zhàn)性的條件下，例如弱紋理區(qū)域、閉塞和反射或透明材質(zhì)，其效果易受影響。此外，此技術(shù)計(jì)算成本高昂，且由于依賴硬件，運(yùn)行較慢。參考2描述了第二種技術(shù)，如圖2b所示，通過(guò)攝像機(jī)陣列進(jìn)行的光場(chǎng)渲染。光場(chǎng)渲染通過(guò)二維(2d)攝像機(jī)陣列從場(chǎng)景捕捉光線，并通過(guò)光線插值來(lái)創(chuàng)建合成視圖。該技術(shù)完全基于圖像，但其通常需要密集的攝像機(jī)陣列配置以及大寬帶來(lái)捕捉、傳輸和存儲(chǔ)數(shù)據(jù)。此外，該技術(shù)的特點(diǎn)通常為低空間分辨率。參考3描述了第三種技術(shù)，如圖2c所示，為視圖變形。視圖變形在兩個(gè)攝像機(jī)之間的一個(gè)或多個(gè)中間視圖中插入多種用戶指定的特征。視圖變形技術(shù)復(fù)雜度低，成本低。視圖變形和光場(chǎng)渲染一樣，不需要3d建模。然而，視圖變形要求對(duì)兩個(gè)攝像機(jī)拍到的圖像中至少少量的匹配特征進(jìn)行手動(dòng)標(biāo)記。此外，視圖變形受針對(duì)僅兩個(gè)攝像機(jī)的插值的限制。

為克服這些自由視點(diǎn)變形技術(shù)的上述缺點(diǎn)，本發(fā)明實(shí)施例提供了一種新型系統(tǒng)和方法來(lái)合成攝像機(jī)網(wǎng)表面的任意虛擬攝像機(jī)拍到的虛擬視圖。在此類多攝像機(jī)網(wǎng)中，每個(gè)攝像機(jī)被視為一個(gè)頂點(diǎn)。公開的實(shí)施例顯著概括和延伸了其他視圖變形技術(shù)，從使用僅兩個(gè)攝像機(jī)演變?yōu)槭褂萌我舛鄶z像機(jī)網(wǎng)?？赏ㄟ^(guò)結(jié)構(gòu)地理或幾何模式(例如，在矩形房間的八個(gè)角上安裝八個(gè)攝像機(jī)來(lái)形成一個(gè)立方體網(wǎng))，或無(wú)結(jié)構(gòu)模式(例如，在不規(guī)則形狀的停車場(chǎng)隨機(jī)放置多個(gè)攝像機(jī)來(lái)構(gòu)成一個(gè)普通網(wǎng))來(lái)設(shè)置多攝像機(jī)網(wǎng)。

此處公開的實(shí)施例基于一些關(guān)鍵概念。第一個(gè)關(guān)鍵概念為：對(duì)于共面攝像機(jī)，若所有的圖像平面與攝像機(jī)平面平行，圖像間的線性插值相當(dāng)于攝像機(jī)插值(即該插值為“保形”的(見參考3))。例如，圖3所示為多個(gè)共面攝像機(jī)301-303，每個(gè)攝像機(jī)301-303在對(duì)應(yīng)圖像平面311-313上捕捉圖像。由于攝像機(jī)301-303朝向同一個(gè)方向，圖像平面311-313相互平行且平行于攝像機(jī)平面(由虛線三角形304表示)。每張圖像301-303中都捕捉到了3d物理對(duì)象(未示出)的p點(diǎn)的圖像。例如，圖像平面311中的p點(diǎn)的圖像示為u0，圖像平面312中的p點(diǎn)的圖像示為u1，圖像平面313中的p點(diǎn)的圖像示為u2。虛擬攝像機(jī)305位于攝像機(jī)平面304，圖像平面311-313能使用線性插值來(lái)確定虛擬圖像平面315，就好像有虛擬攝像機(jī)305來(lái)捕捉其中的圖像。具體地，如圖3所示，p點(diǎn)在虛擬攝像機(jī)305的虛擬圖像平面315上的投影(示為ust)相當(dāng)于其在三個(gè)真實(shí)圖像平面311-313上對(duì)應(yīng)的點(diǎn)u0、u1、u2的重心加權(quán)插值，由以下公式(1)得出：

ust＝kstp＝s·u0+t·u1+(1-s-t)·u2(1)

其中，kst為虛擬攝像機(jī)305的內(nèi)在矩陣，s和t為重心加權(quán)因子。

將以下兩條定義(2)和(3)代入上述公式(1)可證實(shí)上述結(jié)論。

其中，k為給定攝像機(jī)的內(nèi)在矩陣，p為其圖像被拍攝的物理點(diǎn)的位置(由坐標(biāo){x，y，z}得出)，fx和fy為攝像機(jī)在x和y方向的焦距值，a為攝像機(jī)的寬高比，cx和cy為在x和y方向時(shí)圖像平面上的攝像機(jī)中心。

其中，kst為虛擬攝像機(jī)305的內(nèi)在矩陣；k0、k1、k2分別為真實(shí)攝像機(jī)301、302、303的內(nèi)在矩陣；f0x、f0y、f1x、f1y、f2x、f2y分別為攝像機(jī)301、302、303在x和y方向的焦距值；a0、a1、a2分別為攝像機(jī)301、302、303的寬高比；c0x、c0y、c1x、c1y、c2x、c2y分別為在x和y方向時(shí)圖像平面311-313上的攝像機(jī)中心。

第二個(gè)關(guān)鍵概念概括了通過(guò)重心加權(quán)進(jìn)行的從兩張圖片到多張圖片的基于特征的線性圖像變形。具體地，為創(chuàng)建具有一組特征的圖像，該組特征由多個(gè)圖像的特征集通過(guò)重心加權(quán)組合而成，可使用以下公式(4)，公式(4)為公式(1)的廣義版本。

u＝w1*u1+w2*u2+……+wn*un(4)

其中，w1、w2……wn為重心加權(quán)因子，其值為w1、w2……wn≥0，且w1+w2+……+wn＝1。

插值圖像i由以下公式得出：

i＝w1*warp(i1,u1,u)+w2*warp(i2,u2,u)+…+wn*warp(in,un,u)(5)

其中，i1、i2……in為真實(shí)攝像機(jī)捕捉的真實(shí)圖像，warp(.)為針對(duì)任意傳統(tǒng)的基于特征的雙圖扭曲的操作(例如參考4和參考5中描述的操作)。

圖4示出了本發(fā)明提供的多攝像機(jī)網(wǎng)的廣義視圖變形方法。圖4所示的方法400基于上述關(guān)鍵概念。可關(guān)聯(lián)下述圖6的計(jì)算設(shè)備600執(zhí)行方法400。然而，也可借助其他合適的設(shè)備或系統(tǒng)使用方法400。

在方法400中，物理空間中設(shè)置了多個(gè)真實(shí)攝像機(jī)。攝像機(jī)的不同子集能構(gòu)成攝像機(jī)平面(也被稱為“面”)，例如圖3中的攝像機(jī)平面304。作為一個(gè)說(shuō)明性示例，在一個(gè)四面是墻，天花板和地板四角均安裝了攝像機(jī)的矩形房間內(nèi)，全部的八個(gè)攝像機(jī)能構(gòu)成六個(gè)不同的攝像機(jī)平面或面。即地板上的四個(gè)攝像機(jī)能構(gòu)成形狀大致為矩形的第一攝像機(jī)面，天花板上的四個(gè)攝像機(jī)能構(gòu)成大致矩形的第二攝像機(jī)面，與每面墻關(guān)聯(lián)的四個(gè)攝像機(jī)能構(gòu)成第三至第六攝像機(jī)面。當(dāng)然，攝像機(jī)在其他物理空間內(nèi)可以設(shè)置為其他形式。另外，攝像機(jī)面除了可以為矩形外，還可以為三角形或其他形狀。

最初，在操作401中確定了虛擬攝像機(jī)視點(diǎn)c。虛擬攝像機(jī)視點(diǎn)c用位置坐標(biāo)、朝向和內(nèi)在矩陣k來(lái)表示。可以基于用于監(jiān)控或視頻取證的物理對(duì)象的期望視點(diǎn)來(lái)確定虛擬攝像機(jī)視點(diǎn)。例如，在圖5a中，確定具有視點(diǎn)c的虛擬攝像機(jī)505。

在確定虛擬攝像機(jī)視點(diǎn)后，在操作403中確定包含該虛擬攝像機(jī)視點(diǎn)的攝像機(jī)面。例如，在圖5a中，一旦確定了虛擬攝像機(jī)505，就確定了攝像機(jī)面504(真實(shí)攝像機(jī)501-503為該面的頂點(diǎn))包含虛擬攝像機(jī)505。

此后，在操作405中，對(duì)攝像機(jī)面上的每個(gè)攝像機(jī)頂點(diǎn)進(jìn)行預(yù)扭曲操作，使所有圖像平面平行于該攝像機(jī)平面。例如，在圖5b中，對(duì)圖像平面511-513進(jìn)行預(yù)扭曲，使得圖像平面511-513全部平行于攝像機(jī)面504。為進(jìn)行預(yù)扭曲操作，確定每個(gè)攝像機(jī)的單應(yīng)性變換，以便旋轉(zhuǎn)圖像平面至平行于該攝像機(jī)平面。要做到這一點(diǎn)，要確定攝像機(jī)面(例如，三角形的，四邊形的)上經(jīng)過(guò)攝像機(jī)中心的攝像機(jī)平面法線。預(yù)扭曲單應(yīng)性變換由以下公式得出：

hi＝kir(kiri)^-1(6)

其中，hi為攝像機(jī)面(例如攝像機(jī)511-513)上的真實(shí)攝像機(jī)i的單應(yīng)性變換矩陣，ki為真實(shí)攝像機(jī)i的內(nèi)在矩陣，ri為真實(shí)攝像機(jī)i的旋轉(zhuǎn)矩陣。旋轉(zhuǎn)矩陣r由以下定義確定：

r＝[n×y1,(n×y1)×n,n](7)

其中，n為攝像機(jī)平面的法線。

預(yù)扭曲操作405之后，在操作407中對(duì)虛擬攝像機(jī)視點(diǎn)c進(jìn)行重心插值。該操作可包括使用上述公式(1)和針對(duì)每個(gè)真實(shí)攝像機(jī)的攝像機(jī)視點(diǎn)c1、c2……cn進(jìn)行重心插值。該操作也包括計(jì)算每個(gè)真實(shí)攝像機(jī)的重心加權(quán)。

此后，在操作409中，基于攝像機(jī)的重心加權(quán)，對(duì)真實(shí)圖像平面進(jìn)行基于特征的線性變形來(lái)確定虛擬圖像平面。例如，在圖5c中，對(duì)真實(shí)圖像平面511-513進(jìn)行基于特征的線性變形來(lái)確定虛擬圖像平面515。

此后，在操作411中，對(duì)虛擬圖像平面進(jìn)行后扭曲操作，使虛擬圖像旋轉(zhuǎn)至期望位姿獲取虛擬視圖。例如，在圖5d中，通過(guò)后扭曲操作使虛擬圖像515旋轉(zhuǎn)至期望位姿。對(duì)于后扭曲操作，虛擬視圖的期望位姿為內(nèi)插得到，并進(jìn)行單應(yīng)性變換hst。在一些實(shí)施例中，可使用三個(gè)四元數(shù)的球面線性插值來(lái)實(shí)現(xiàn)插值，如下所示：

qst＝spherical_interp(q1,q2,q3,s,t)

rst＝rotation_matrix(qst)(8)

hst＝kstr(kstrst)^-1

其中，qi為攝像機(jī)的對(duì)應(yīng)旋轉(zhuǎn)矩陣的四元數(shù)。

在虛擬圖像平面被后扭曲至期望位姿后，虛擬視圖的合成圖像就能被輸出至顯示設(shè)備。

盡管圖4示出了多攝像機(jī)網(wǎng)的廣義視圖變形方法400的一個(gè)示例，但是圖4可以有各種改變。例如，盡管示出了一系列步驟，但是圖4中的各個(gè)步驟可重疊、可并行發(fā)生、可按不同的順序發(fā)生或發(fā)生多次。另外，一些步驟可以合并或移除，也可根據(jù)特定需要添加額外的步驟。作為一個(gè)特定的例子，方法400還可包括預(yù)計(jì)算的操作，來(lái)對(duì)多個(gè)視圖進(jìn)行特征匹配。該操作可在視圖變形前離線完成。作為另一個(gè)特定的例子，可以使用gpu(圖形處理單元)加速來(lái)提高實(shí)時(shí)性能。

廣義視圖變形方法400也可擴(kuò)展至立體應(yīng)用，用于創(chuàng)建虛擬3d圖像。例如，有可能執(zhí)行方法400兩次來(lái)確定表示兩個(gè)物理分開的視點(diǎn)的兩個(gè)虛擬視圖，而不是僅確定一個(gè)虛擬視圖。然后，可在立體應(yīng)用中整合或合并這兩個(gè)虛擬視圖來(lái)創(chuàng)建虛擬3d圖像。

廣義視圖變形方法400的測(cè)試結(jié)果是有前景的。在執(zhí)行該方法400的原型系統(tǒng)中，通過(guò)gpu加速已經(jīng)可以達(dá)到大于90幀每秒(90fps)的性能。在一些原型系統(tǒng)中，帶有g(shù)pu的并行圖像扭曲通過(guò)統(tǒng)一計(jì)算設(shè)備架構(gòu)(computeuniteddevicearchitecture，簡(jiǎn)稱cuda)平臺(tái)實(shí)現(xiàn)，以達(dá)到實(shí)時(shí)性能。

圖6示出了本發(fā)明提供的用于執(zhí)行圖4中廣義視圖變形方法400的計(jì)算設(shè)備600的例子。如圖6所示，計(jì)算設(shè)備600包括具有處理塊605的計(jì)算塊603和系統(tǒng)存儲(chǔ)器607。處理塊605可以為執(zhí)行軟件指令的任意類型的可編程電子設(shè)備，但傳統(tǒng)上為一個(gè)或多個(gè)微處理器。系統(tǒng)存儲(chǔ)器607可包括只讀存儲(chǔ)器(read-onlymemory，簡(jiǎn)稱rom)609和隨機(jī)存取存儲(chǔ)器(randomaccessmemory，簡(jiǎn)稱ram)611。本領(lǐng)域技術(shù)人員應(yīng)理解，只讀存儲(chǔ)器609和隨機(jī)存取存儲(chǔ)器611可存儲(chǔ)處理塊605執(zhí)行的軟件指令。

該處理塊605和該系統(tǒng)存儲(chǔ)器607通過(guò)總線613或交替的通信結(jié)構(gòu)直接或間接連接至一個(gè)或多個(gè)外部設(shè)備。例如，該處理塊605或該系統(tǒng)存儲(chǔ)器607可直接或間接與一個(gè)或多個(gè)額外的內(nèi)存存儲(chǔ)設(shè)備615相連。內(nèi)存存儲(chǔ)設(shè)備615可包括，例如，“硬”磁盤驅(qū)動(dòng)器、固態(tài)磁盤驅(qū)動(dòng)器、光盤驅(qū)動(dòng)器、可移動(dòng)磁盤驅(qū)動(dòng)器等。該處理塊605或該系統(tǒng)存儲(chǔ)器607還可直接或間接與一個(gè)或多個(gè)輸入設(shè)備617以及一個(gè)或多個(gè)輸出設(shè)備619相連。該輸入設(shè)備617可包括，例如，鍵盤、定點(diǎn)設(shè)備(例如鼠標(biāo)、觸摸板、觸筆、軌跡球、操縱桿等)、觸摸屏、掃描器、攝像機(jī)、麥克風(fēng)等。該輸出設(shè)備619可包括，例如，顯示設(shè)備、打印機(jī)和揚(yáng)聲器等。這類顯示設(shè)備可以用于顯示視頻圖像。由計(jì)算設(shè)備601的各個(gè)例子可知，外部設(shè)備615-619中的一個(gè)或多個(gè)中可以內(nèi)置計(jì)算塊603?；蛘?，外部設(shè)備615-619中的一個(gè)或多個(gè)可以在計(jì)算塊603的外殼的外部并通過(guò)，例如，通用串行總線(universalserialbus，簡(jiǎn)稱usb)連接或數(shù)字視頻接口(digitalvisualinterface，簡(jiǎn)稱dvi)連接與總線613相連。

通過(guò)一些實(shí)施方案，計(jì)算塊603也可以直接或間接連接至一個(gè)或多個(gè)網(wǎng)絡(luò)接口卡(networkinterfacescard，簡(jiǎn)稱nic)621，從而與組成網(wǎng)絡(luò)的其他設(shè)備通信。根據(jù)一個(gè)或多個(gè)通信協(xié)議，如傳輸控制協(xié)議(transmissioncontrolprotocol，簡(jiǎn)稱tcp)和互聯(lián)網(wǎng)協(xié)議(internetprotocol，簡(jiǎn)稱ip)，網(wǎng)絡(luò)接口卡621將來(lái)自計(jì)算塊603的數(shù)據(jù)和控制信號(hào)轉(zhuǎn)化為網(wǎng)絡(luò)消息。并且，網(wǎng)絡(luò)接口卡621可以使用任何合適的連接代理(或代理的組合)連接到網(wǎng)絡(luò)，包括例如無(wú)線收發(fā)器、調(diào)制解調(diào)器或以太網(wǎng)連接。

需要理解的是，計(jì)算設(shè)備600只是作為一個(gè)例子說(shuō)明，而不是為了限定。可以通過(guò)一個(gè)或多個(gè)計(jì)算設(shè)備實(shí)現(xiàn)本發(fā)明各實(shí)施例，該一個(gè)或多個(gè)計(jì)算設(shè)備包括圖6所示的計(jì)算設(shè)備600的組件，或包括組件的交替組合，包括圖6未示出的組件。例如，可以通過(guò)多處理器計(jì)算機(jī)、部署在網(wǎng)絡(luò)中的多個(gè)單和/或多處理器計(jì)算機(jī)或二者的一些組合實(shí)現(xiàn)本發(fā)明各實(shí)施例。

此處公開的實(shí)施例提供了針對(duì)任意多攝像機(jī)網(wǎng)的廣義視圖變形方法，只要真實(shí)攝像機(jī)能覆蓋虛擬視場(chǎng)，就可在攝像機(jī)網(wǎng)表面任意一點(diǎn)上合成虛擬視圖。該公開的方法支持自動(dòng)檢測(cè)匹配特征的視圖變形或手動(dòng)標(biāo)記特征的視圖變形。這些方法在不犧牲分辨率和成本的情況下為多個(gè)攝像機(jī)的虛擬視圖合成提供了開放式框架。該公開的方法容納了許多基于特征的線性變形算法(例如基于點(diǎn)的算法、基于線的算法等等)。在一些實(shí)施例中，gpu可用于實(shí)現(xiàn)實(shí)時(shí)廣義視圖變形(>90fps)。

與圖2a所示的多視點(diǎn)立體技術(shù)相比，該公開的方法是基于圖像的方法且不需要3d重建。因此，該公開的方法足夠穩(wěn)固來(lái)應(yīng)對(duì)弱紋理區(qū)域、閉塞、有挑戰(zhàn)性的材質(zhì)等情況。此外，該公開的方法比多視點(diǎn)立體技術(shù)更快捷且計(jì)算成本更低。

與圖2b所示的光場(chǎng)技術(shù)相比，該公開的方法不需要密集的攝像機(jī)陣列設(shè)置，只需使用一些攝像機(jī)來(lái)進(jìn)行插值。因此，此處描述的方法不需要大帶寬和昂貴的硬件設(shè)置。該方法也支持高空間分辨率的圖像扭曲。與圖2c所示的傳統(tǒng)雙攝像機(jī)視圖變形相比，該公開的方法能在普通多攝像機(jī)網(wǎng)中實(shí)現(xiàn)，因此更加靈活。此處描述的方法也不需要用戶手動(dòng)標(biāo)記不同的特征。

在某些實(shí)施例中，一個(gè)或多個(gè)所述設(shè)備的部分或全部功能或流程由計(jì)算機(jī)可讀程序代碼構(gòu)成的且內(nèi)嵌于計(jì)算機(jī)可讀介質(zhì)中的計(jì)算機(jī)程序來(lái)實(shí)現(xiàn)或提供支持。短語(yǔ)“計(jì)算機(jī)可讀程序代碼”包括任意類型的計(jì)算機(jī)代碼，包括源代碼、目標(biāo)代碼以及可執(zhí)行代碼。短語(yǔ)“計(jì)算機(jī)可讀介質(zhì)”包括任何類型的可以被計(jì)算機(jī)訪問的介質(zhì)，比如，只讀存儲(chǔ)器(readonlymemory，簡(jiǎn)稱rom)、隨機(jī)存取存儲(chǔ)器(randomaccessmemory，簡(jiǎn)稱ram)、硬盤驅(qū)動(dòng)器、光盤(compactdisc，簡(jiǎn)稱cd)、數(shù)字化視頻光盤(digitalvideodisc，簡(jiǎn)稱dvd)或者任何其他類型的存儲(chǔ)器。

為本專利文檔中使用的特定術(shù)語(yǔ)和短語(yǔ)進(jìn)行定義是有幫助的。術(shù)語(yǔ)“包括”和“包含”以及它們的派生詞表示沒有限制的包括。術(shù)語(yǔ)“或者”是包容性的，意為和/或。短語(yǔ)“與……關(guān)聯(lián)”和“與其關(guān)聯(lián)”以及其派生的短語(yǔ)意味著包括，被包括在內(nèi)、與……互連、包含、被包含在內(nèi)、連接到或與……連接、耦合到或與……耦合、可與……通信、與……配合、交織、并列、接近、被綁定到或與……綁定、具有、具有……屬性，等等。

雖然本發(fā)明就某些實(shí)施例和一般相關(guān)方法方面進(jìn)行了描述，但是對(duì)本領(lǐng)域技術(shù)人員而言，對(duì)實(shí)施例和方法的各種更改和變更將是顯而易見的。因此，示例實(shí)施例的上述描述不限定或約束本發(fā)明。正如以下權(quán)利要求定義，其它修改、替代以及變更也是可能的，而不偏離本發(fā)明的精神和范圍。