本公開(kāi)大致涉及三維成像。

背景技術(shù)：

人類(lèi)大腦基于眼睛之間的圖像的差異來(lái)感知三維(3-d)圖像。利用從稍微不同的角度獲取的相同場(chǎng)景的兩個(gè)圖像，以高度精確性對(duì)物體進(jìn)行三角測(cè)量是可能的。每只眼睛觀察到由左眼和右眼看到的物體的稍微不同的角度。3-d成像的使用允許觀看者沉浸在另一環(huán)境中，并且在某些情況下，允許觀看者從不同的視角觀看諸如體育賽事或演唱會(huì)的事件。

一些圖像捕獲系統(tǒng)基于立體2-d圖像的捕獲。作為示例，可通過(guò)利用一對(duì)空間上隔開(kāi)的平行相機(jī)捕獲的2-d圖像來(lái)構(gòu)建3-d圖像。作為另一示例，當(dāng)捕獲到立體圖的瞬間時(shí)，單個(gè)相機(jī)可物理地移動(dòng)以創(chuàng)建空間偏移。在很多情況下，圖像捕獲系統(tǒng)局限于在限定的角度內(nèi)捕獲3-d圖像。

3-d顯示器常常通過(guò)向觀看者的左眼和右眼分別呈現(xiàn)兩個(gè)偏移圖像來(lái)為2-d圖像提供深度感。這些2-d圖像隨后在大腦中結(jié)合以提供3-d深度感。顯示“偏移的”2-d圖像以提供深度感的其他示例性方法包括在觀看者的眼睛上使用上色相反的過(guò)濾器(例如，紅色和青色)、不同的偏振或透鏡的遮光。

技術(shù)實(shí)現(xiàn)要素：

一種方法，包括：從多個(gè)相機(jī)接收多個(gè)圖像，其中，所述多個(gè)相機(jī)包括具有第一定向(orientation)的第一相機(jī)和具有第二定向的第二相機(jī)，其中，所述多個(gè)圖像包括來(lái)自所述第一相機(jī)的第一圖像和來(lái)自所述第二相機(jī)的第二圖像；檢測(cè)所述第一圖像和所述第二圖像內(nèi)的多個(gè)特征點(diǎn)；確定位于所述第一圖像與所述第二圖像之間的重疊區(qū)域內(nèi)的一個(gè)或多個(gè)相應(yīng)特征點(diǎn)對(duì)，其中，所述相應(yīng)特征點(diǎn)對(duì)包括來(lái)自所述第一圖像和所述第二圖像中的每個(gè)的所述特征點(diǎn)中的相應(yīng)的一個(gè)；基于每個(gè)相應(yīng)特征點(diǎn)對(duì)之間所計(jì)算的偏差，空間上調(diào)整所述第一圖像或所述第二圖像；以及基于所述空間調(diào)整，將所述第一圖像和所述第二圖像結(jié)合為合并圖像。

附圖說(shuō)明

圖1示出示例性3-d成像系統(tǒng)架構(gòu)。

圖2示出相機(jī)的示例性立體相機(jī)對(duì)。

圖3示出相機(jī)系統(tǒng)的示例性相機(jī)配置的部分平面圖。

圖4示出示例性相機(jī)系統(tǒng)的平面圖。

圖5示出由相機(jī)系統(tǒng)的相機(jī)捕獲的圖像的示例性集合。

圖6示出示例性相機(jī)系統(tǒng)的側(cè)視圖。

圖7示出由相機(jī)系統(tǒng)的相機(jī)捕獲的重疊圖像的示例性集合。

圖8示出用于拼接離散圖像的示例性方法。

圖9和圖10示出用于拼接離散圖像的其他示例性方法。

圖11示出示例性的圖像分割。

圖12示出示例性的圖像特征點(diǎn)匹配。

圖13示出示例性的頂部圖像和示例性的主拼接圖像。

圖14示出處理后的來(lái)自圖13的示例性頂部圖像。

圖15和圖16示出用于拼接離散圖像的示例性方法。

圖17示出包括多種視頻數(shù)據(jù)成分(component)的內(nèi)容容器。

圖18示出配置為將內(nèi)容容器作為復(fù)合流進(jìn)行廣播的內(nèi)容服務(wù)器。

圖19示出涉及非捆綁流的直接傳輸?shù)氖纠詡鬏敺桨浮?/p>

圖20至圖22分別示出用于視頻流的傳輸?shù)氖纠哉{(diào)解方案。

圖23示出切片的流集合。

圖24示出用于視頻流的傳輸?shù)氖纠越换シ桨浮?/p>

圖25示出用于傳輸3-d360°視頻的示例性方法。

圖26示出基于利用攝影測(cè)量法的混合拼接的示例性重構(gòu)過(guò)程。

圖27示出用于重構(gòu)3-d360°視頻的示例性方法。

圖28示出用于重構(gòu)3-d360°視頻的另一示例性方法。

圖29示出在對(duì)圖像應(yīng)用變形操作之前和之后的單目圖像的示例性集合。

圖30至圖31示出示例性360°立體3-d環(huán)境。

圖32示出用于與3-d視頻交互的示例性方法。

圖33示出示例性頭戴式客戶端計(jì)算設(shè)備的框圖。

圖34示出戴著示例性頭戴式客戶端計(jì)算設(shè)備站在房間中的用戶。

圖35示出由用戶戴著頭戴式客戶端計(jì)算設(shè)備觀察到的示例性場(chǎng)景。

圖36示出具有示例性通知的圖35的示例性場(chǎng)景。

圖37示出圖35的場(chǎng)景上疊加有人的示例性場(chǎng)景。

圖38示出圖35的場(chǎng)景上疊加有狗的示例性場(chǎng)景。

圖39示出分割為兩個(gè)示例性視圖的示例性顯示器。

圖40示出圖35的場(chǎng)景上疊加有桌子的示例性場(chǎng)景。

圖41示出圖35的場(chǎng)景上疊加有彎曲的箭頭的示例性場(chǎng)景。

圖42示出具有示例性示意圖的圖35的示例性場(chǎng)景。

圖43示出具有示例性鳥(niǎo)瞰圖的圖35的示例性場(chǎng)景。

圖44示出示例性計(jì)算機(jī)系統(tǒng)。

實(shí)現(xiàn)本發(fā)明的最佳實(shí)施方式

方法包括：從多個(gè)相機(jī)接收多個(gè)圖像，其中，多個(gè)相機(jī)包括具有第一定向的第一相機(jī)和具有第二定向的第二相機(jī)，多個(gè)圖像包括來(lái)自第一相機(jī)的第一圖像和來(lái)自第二相機(jī)的第二圖像；檢測(cè)第一圖像和第二圖像內(nèi)的多個(gè)特征點(diǎn)；確定位于第一圖像與第二圖像之間的重疊區(qū)域內(nèi)的一個(gè)或多個(gè)相應(yīng)特征點(diǎn)對(duì)，其中，相應(yīng)特征點(diǎn)對(duì)包括來(lái)自第一圖像和第二圖像中的每個(gè)圖像的特征點(diǎn)中的相應(yīng)特征點(diǎn)；基于每個(gè)相應(yīng)特征點(diǎn)對(duì)之間所計(jì)算的偏差，空間上調(diào)整第一圖像或第二圖像；以及

基于空間調(diào)整，將第一圖像和第二圖像結(jié)合為合并圖像。

第一圖像與第二圖像之間的重疊區(qū)域與第一相機(jī)和第二相機(jī)的相應(yīng)的視場(chǎng)中的重疊部(overlap)成比例。

檢測(cè)第一圖像和第二圖像內(nèi)的多個(gè)特征點(diǎn)包括：

基于局部對(duì)比度梯度，檢測(cè)第一圖像和第二圖像的一個(gè)或多個(gè)特征；以及

提取檢測(cè)的特征的一個(gè)或多個(gè)特征點(diǎn)。

提取一個(gè)或多個(gè)特征點(diǎn)包括：利用尺度不變性特征轉(zhuǎn)換(sift，scale-invariantfeaturetransform)、加速魯棒特征(surf，speededuprobustfeatures)或orb(orientedfastandrotatedbrief)特征檢測(cè)算法。

確定所述一個(gè)或多個(gè)相應(yīng)特征點(diǎn)對(duì)包括：

將第一圖像和第二圖像分割為呈預(yù)定柵格的預(yù)定數(shù)量的區(qū)域；

比較位于沿第一圖像的邊緣的每個(gè)區(qū)域內(nèi)的特征點(diǎn)與沿第二圖像的相反邊緣的對(duì)應(yīng)區(qū)域；以及基于邊緣的每個(gè)區(qū)域內(nèi)的特征點(diǎn)的圖案，識(shí)別相應(yīng)特征點(diǎn)對(duì)。

沿邊緣的每個(gè)區(qū)域內(nèi)的比較在每個(gè)特征點(diǎn)周?chē)念A(yù)定區(qū)域上執(zhí)行，其中預(yù)定區(qū)域基于重疊區(qū)域的像素?cái)?shù)量。

確定預(yù)定區(qū)域中的差異的平方和是否小于預(yù)定閾值。

從第三相機(jī)接收第三圖像，其中，第三圖像在與第一圖像和第二圖像相同的時(shí)間周期期間被捕獲，多個(gè)相機(jī)還包括具有第一定向的第三相機(jī)，以及第二相機(jī)位于第一相機(jī)與第三相機(jī)之間。

檢測(cè)第三圖像內(nèi)的多個(gè)特征點(diǎn)；

確定位于第三圖像內(nèi)以及第一圖像與第三圖像之間的重疊區(qū)域內(nèi)的一個(gè)或多個(gè)相應(yīng)特征點(diǎn)對(duì)，其中，第一圖像和第三圖像的相應(yīng)特征點(diǎn)對(duì)包括來(lái)自第一圖像和第三圖像中的每個(gè)圖像的特征點(diǎn)中的相應(yīng)特征點(diǎn)；以及確定位于第二圖像與第三圖像之間的重疊區(qū)域內(nèi)的一個(gè)或多個(gè)相應(yīng)特征點(diǎn)對(duì)，其中，第二圖像和第三圖像的相應(yīng)特征點(diǎn)對(duì)包括來(lái)自第二圖像和第三圖像中的每個(gè)圖像的特征點(diǎn)中的相應(yīng)特征點(diǎn)。

第一相機(jī)和第三相機(jī)包括立體相機(jī)對(duì)。

從第三相機(jī)接收第三圖像，其中，多個(gè)相機(jī)還包括定向?yàn)榕c第一相機(jī)和第二相機(jī)所限定的平面大致正交的第三相機(jī)。

確定位于合并圖像與第三圖像之間的重疊區(qū)域內(nèi)的一個(gè)或多個(gè)相應(yīng)特征點(diǎn)對(duì)，其中，相應(yīng)特征點(diǎn)對(duì)包括來(lái)自合并圖像和第三圖像中的每個(gè)圖像的特征點(diǎn)中的相應(yīng)特征點(diǎn)；以及

圍繞第三圖像的中心應(yīng)用徑向扭曲，使得第三圖像的中心固定。

計(jì)算包括：計(jì)算與每個(gè)相應(yīng)特征點(diǎn)對(duì)之間的空間偏移的絕對(duì)值成比例的成本函數(shù)。

計(jì)算包括：計(jì)算與每個(gè)相應(yīng)特征點(diǎn)對(duì)之間的沿一個(gè)或多個(gè)旋轉(zhuǎn)軸的旋轉(zhuǎn)偏移成比例的成本函數(shù)。

第二定向不同于第一定向，以及每個(gè)圖像在相同的時(shí)間段期間被捕獲。

結(jié)合第一圖像和第二圖像包括：

檢測(cè)重疊區(qū)域中的邊緣；以及

在邊緣上應(yīng)用梯度。

空間上調(diào)整第一圖像或第二圖像包括旋轉(zhuǎn)或平移第一圖像或第二圖像。

一個(gè)或多個(gè)非暫時(shí)性計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，包括指令，所述指令在被執(zhí)行時(shí)可操作為：

從多個(gè)相機(jī)接收多個(gè)圖像，其中，多個(gè)相機(jī)包括具有第一定向的第一相機(jī)和具有第二定向的第二相機(jī)，多個(gè)圖像包括來(lái)自第一相機(jī)的第一圖像和來(lái)自第二相機(jī)的第二圖像；檢測(cè)第一圖像和第二圖像內(nèi)的多個(gè)特征點(diǎn)；確定位于第一圖像與第二圖像之間的重疊區(qū)域內(nèi)的一個(gè)或多個(gè)相應(yīng)特征點(diǎn)對(duì)，其中，相應(yīng)特征點(diǎn)對(duì)包括來(lái)自第一圖像和第二圖像中的每個(gè)圖像的特征點(diǎn)中的相應(yīng)特征點(diǎn)；

基于每個(gè)相應(yīng)特征點(diǎn)對(duì)之間所計(jì)算的偏差，空間上調(diào)整第一圖像或第二圖像；以及

基于空間調(diào)整，將第一圖像和第二圖像結(jié)合為合并圖像。

第一圖像與第二圖像之間的重疊區(qū)域與第一相機(jī)和第二相機(jī)的相應(yīng)視場(chǎng)中的重疊部成比例。

檢測(cè)第一圖像和第二圖像內(nèi)的多個(gè)特征點(diǎn)包括：

基于局部對(duì)比度梯度，檢測(cè)第一圖像和第二圖像的一個(gè)或多個(gè)特征；以及

提取檢測(cè)的特征的一個(gè)或多個(gè)特征點(diǎn)。

確定位于第一圖像與第二圖像之間的重疊區(qū)域內(nèi)的一個(gè)或多個(gè)相應(yīng)特征點(diǎn)對(duì)包括：

將第一圖像和第二圖像分割為呈預(yù)定柵格的預(yù)定數(shù)量的區(qū)域；

比較位于沿第一圖像的邊緣的每個(gè)區(qū)域內(nèi)的特征點(diǎn)與沿第二圖像的相反邊緣的對(duì)應(yīng)區(qū)域；以及基于邊緣的每個(gè)區(qū)域內(nèi)的特征點(diǎn)的圖案，識(shí)別相應(yīng)特征點(diǎn)對(duì)。

所述指令在被執(zhí)行時(shí)還可操作為：從第三相機(jī)接收第三圖像，其中，第三圖像在與第一圖像和第二圖像相同的時(shí)間周期期間被捕獲，多個(gè)相機(jī)還包括具有第一定向的第三相機(jī)，以及第二相機(jī)位于第一相機(jī)與第三相機(jī)之間。

所述指令在被執(zhí)行時(shí)還可操作為：

檢測(cè)位于第三圖像內(nèi)的多個(gè)特征點(diǎn)；

確定位于第三圖像內(nèi)以及第一圖像與第三圖像之間的重疊區(qū)域內(nèi)的一個(gè)或多個(gè)相應(yīng)特征點(diǎn)對(duì)，其中，第一圖像和第三圖像的相應(yīng)特征點(diǎn)對(duì)包括來(lái)自第一圖像和第三圖像中的每個(gè)圖像的特征點(diǎn)中的相應(yīng)特征點(diǎn)；以及確定位于第二圖像與第三圖像之間的重疊區(qū)域內(nèi)的一個(gè)或多個(gè)相應(yīng)特征點(diǎn)對(duì)，其中，第二圖像和第三圖像的相應(yīng)特征點(diǎn)對(duì)包括來(lái)自第二圖像和第三圖像中的每個(gè)圖像的特征點(diǎn)中的相應(yīng)特征點(diǎn)。

每個(gè)相應(yīng)特征點(diǎn)對(duì)之間所計(jì)算的偏差包括與每個(gè)相應(yīng)特征點(diǎn)對(duì)之間的空間偏移的絕對(duì)值成比例的成本函數(shù)。

一種設(shè)備包括：

一個(gè)或多個(gè)非暫時(shí)性計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，包括指令；以及

一個(gè)或多個(gè)處理器，聯(lián)接至存儲(chǔ)介質(zhì)并且配置為執(zhí)行指令以：從多個(gè)相機(jī)接收多個(gè)圖像，其中，多個(gè)相機(jī)包括具有第一定向的第一相機(jī)和具有第二定向的第二相機(jī)，多個(gè)圖像包括來(lái)自第一相機(jī)的第一圖像和來(lái)自第二相機(jī)的第二圖像；檢測(cè)第一圖像和第二圖像內(nèi)的多個(gè)特征點(diǎn)；確定位于第一圖像與第二圖像之間的重疊區(qū)域內(nèi)的一個(gè)或多個(gè)相應(yīng)特征點(diǎn)對(duì)，其中，相應(yīng)特征點(diǎn)對(duì)包括來(lái)自第一圖像和第二圖像中的每個(gè)圖像的特征點(diǎn)中的相應(yīng)特征點(diǎn)；基于每個(gè)相應(yīng)特征點(diǎn)對(duì)之間所計(jì)算的偏差，空間上調(diào)整第一圖像或第二圖像；以及

基于空間調(diào)整，將第一圖像和第二圖像結(jié)合為合并圖像。

第一圖像與第二圖像之間的重疊區(qū)域與第一相機(jī)和第二相機(jī)的相應(yīng)視場(chǎng)中的重疊部成比例。

檢測(cè)第一圖像和第二圖像內(nèi)的多個(gè)特征點(diǎn)包括：基于局部對(duì)比度梯度，檢測(cè)第一圖像和第二圖像的一個(gè)或多個(gè)特征；以及提取檢測(cè)的特征的一個(gè)或多個(gè)特征點(diǎn)。

確定位于第一圖像與第二圖像之間的重疊區(qū)域內(nèi)的一個(gè)或多個(gè)相應(yīng)特征點(diǎn)對(duì)包括：

將第一圖像和第二圖像分割為呈預(yù)定柵格的預(yù)定數(shù)量的區(qū)域；比較位于沿第一圖像的邊緣的每個(gè)區(qū)域內(nèi)的特征點(diǎn)與沿第二圖像的相反邊緣的對(duì)應(yīng)區(qū)域內(nèi)的特征點(diǎn)；以及基于邊緣的每個(gè)區(qū)域內(nèi)的特征點(diǎn)的圖案，識(shí)別相應(yīng)特征點(diǎn)對(duì)。

處理器進(jìn)一步配置為執(zhí)行指令以從第三相機(jī)接收第三圖像，其中，第三圖像在與第一圖像和第二圖像相同的時(shí)間周期期間被捕獲，多個(gè)相機(jī)還包括具有第一定向的第三相機(jī)，第二相機(jī)位于第一相機(jī)與第三相機(jī)之間。

處理器進(jìn)一步配置為執(zhí)行指令以：

檢測(cè)第三圖像內(nèi)的多個(gè)特征點(diǎn)；

確定位于第三圖像內(nèi)以及第一圖像與第三圖像之間的重疊區(qū)域內(nèi)的一個(gè)或多個(gè)相應(yīng)特征點(diǎn)對(duì)，其中，第一圖像和第三圖像的相應(yīng)特征點(diǎn)對(duì)包括來(lái)自第一圖像和第三圖像中的每個(gè)圖像的特征點(diǎn)中的相應(yīng)特征點(diǎn)；以及確定位于第二圖像與第三圖像之間的重疊區(qū)域內(nèi)的一個(gè)或多個(gè)相應(yīng)特征點(diǎn)對(duì)，其中，第二圖像和第三圖像的相應(yīng)特征點(diǎn)對(duì)包括來(lái)自第二圖像和第三圖像中的每個(gè)圖像的特征點(diǎn)中的相應(yīng)特征點(diǎn)。

每個(gè)相應(yīng)特征點(diǎn)對(duì)之間所計(jì)算的偏差包括與每個(gè)相應(yīng)特征點(diǎn)對(duì)之間的空間偏移的絕對(duì)值成比例的成本函數(shù)。

具體實(shí)施方式

捕獲并重構(gòu)3-d視頻的能力在充分地利用游戲系統(tǒng)、電視機(jī)或移動(dòng)設(shè)備的3-d性能中起到顯著的作用。通過(guò)接近地模型化人類(lèi)視覺(jué)感知的各個(gè)方面，經(jīng)由個(gè)人自身的眼睛可能幾乎無(wú)法從自然視圖中辨別生成的3-d視頻，由此創(chuàng)建自然的3-d觀賞體驗(yàn)。

圖1示出示例性3-d成像系統(tǒng)架構(gòu)。在具體實(shí)施方式中，用于捕獲、編碼并渲染360°3-d視頻的系統(tǒng)架構(gòu)100可包括相機(jī)系統(tǒng)110、前端處理器120、拼接服務(wù)器130、內(nèi)容服務(wù)器140和客戶端系統(tǒng)150。盡管本公開(kāi)描述并示出由特定系統(tǒng)構(gòu)成的特定3-d成像系統(tǒng)，但是本公開(kāi)可設(shè)想到由任何適當(dāng)?shù)南到y(tǒng)構(gòu)成的任何適當(dāng)?shù)?-d成像系統(tǒng)。

相機(jī)系統(tǒng)110可包括配置為數(shù)字化所捕獲的圖像的若干對(duì)相機(jī)112。例如但不限于，所捕獲的圖像可對(duì)應(yīng)于實(shí)時(shí)捕獲并處理的360°3-d視頻。相機(jī)系統(tǒng)110的相機(jī)112可連接至(例如，通過(guò)通用串行總線(usb))前端處理器120。前端處理器120可通過(guò)同步來(lái)自各相機(jī)112的圖像的開(kāi)始和停止來(lái)提供相機(jī)112的初始控制。前端處理器120也可確定或設(shè)定相機(jī)參數(shù)，諸如快門(mén)速度或曝光時(shí)間。前端處理器120可對(duì)從相機(jī)系統(tǒng)110傳入的視頻進(jìn)行歸一化、校正變形、壓縮或編碼。在具體實(shí)施方式中，前端處理器120的數(shù)量可基于相機(jī)系統(tǒng)110的相機(jī)112的數(shù)量和傳入的圖像的尺寸(例如，幀頻或幀尺寸)。來(lái)自前端處理器120的圖像數(shù)據(jù)可傳輸至(例如，通過(guò)傳輸控制協(xié)議(tcp)網(wǎng)絡(luò))拼接服務(wù)器130，所述拼接服務(wù)器130對(duì)由相機(jī)系統(tǒng)110捕獲的離散圖像執(zhí)行拼接。

如下所描述，拼接服務(wù)器130可將來(lái)自各相機(jī)的離散數(shù)據(jù)拼接在一起，以生成3-d視頻的完整幀。在具體實(shí)施方式中，拼接服務(wù)器130可計(jì)算離散數(shù)據(jù)的圖像對(duì)齊并且可將完整幀分割為垂直條。拼接服務(wù)器130可以不同的尺寸和碼率(bit-rate)重新壓縮條，以進(jìn)行可變碼率控制。當(dāng)不需要實(shí)時(shí)性能時(shí)，可使用單個(gè)拼接服務(wù)器130，或者當(dāng)高分辨率、高幀頻和3-d視頻的實(shí)時(shí)性能被消耗時(shí)，可使用多達(dá)數(shù)十個(gè)甚至數(shù)百個(gè)拼接服務(wù)器130。3-d視頻的幀可存儲(chǔ)或傳輸至內(nèi)容服務(wù)器140。

內(nèi)容服務(wù)器140可對(duì)客戶端系統(tǒng)150充當(dāng)內(nèi)容分發(fā)網(wǎng)絡(luò)的作用，并且可與客戶端系統(tǒng)150通信以將請(qǐng)求的3-d視頻的適當(dāng)部分串流到觀看者。內(nèi)容服務(wù)器140可以幀為單位將請(qǐng)求的3-d視頻傳輸至客戶端系統(tǒng)150。在具體實(shí)施方式中，內(nèi)容服務(wù)器140的數(shù)量可與接收3-d視頻的客戶端系統(tǒng)150的數(shù)量成比例。

客戶端系統(tǒng)150可充當(dāng)供用戶觀看通過(guò)內(nèi)容服務(wù)器140傳輸?shù)?-d視頻的設(shè)備。此外，從客戶端系統(tǒng)150至內(nèi)容服務(wù)器140的輸入可修改傳輸至客戶端系統(tǒng)150的3-d視頻的部分。作為示例，3-d視頻可基于來(lái)自客戶端系統(tǒng)150的、指示用戶的觀看角度改變的數(shù)據(jù)進(jìn)行調(diào)整。在具體實(shí)施方式中，客戶端系統(tǒng)150可請(qǐng)求與兩側(cè)添加有附加幀的直觀視圖對(duì)應(yīng)的幀。在具體實(shí)施方式中，客戶端系統(tǒng)150可為觀看者請(qǐng)求低分辨率、完整幀圖像并重新構(gòu)建3-d。

圖2示出相機(jī)112的示例性立體相機(jī)對(duì)200。在具體實(shí)施方式中，立體相機(jī)對(duì)200可包括分別被稱為左相機(jī)l和右相機(jī)r的兩個(gè)相機(jī)112。左相機(jī)l和右相機(jī)r可分別捕獲與人的左眼和右眼對(duì)應(yīng)的圖像，并且由左相機(jī)l和右相機(jī)r捕獲的視頻圖像可作為3-d圖像回放給觀看者。在具體實(shí)施方式中，立體相機(jī)對(duì)200可被稱為對(duì)、立體相機(jī)的對(duì)、相機(jī)對(duì)或立體相機(jī)對(duì)。如下所描述，相機(jī)系統(tǒng)110可利用數(shù)字相機(jī)(“相機(jī)”)112的若干相機(jī)對(duì)200捕獲3-d圖像，其中相機(jī)系統(tǒng)110可使用集成數(shù)字相機(jī)或通向一個(gè)或多個(gè)外部數(shù)字相機(jī)的接口。在具體實(shí)施方式中，數(shù)字相機(jī)可指以數(shù)字格式捕獲或存儲(chǔ)圖像或視頻的設(shè)備。在這里，術(shù)語(yǔ)“相機(jī)”可指數(shù)字相機(jī)，并且術(shù)語(yǔ)“視頻”可指數(shù)字視頻或以數(shù)字格式記錄或存儲(chǔ)的視頻。

在具體實(shí)施方式中，相機(jī)112可包括配置為捕獲單獨(dú)的照片圖像或作為視頻的一系列圖像的圖像傳感器。例如但不限于，相機(jī)112可包括電荷耦合設(shè)備(ccd)圖像傳感器或互補(bǔ)型金屬氧化物半導(dǎo)體(cmos)有源像素圖像傳感器。在具體實(shí)施方式中，相機(jī)112的圖像傳感器可具有大約16：9、4：3、3：2的縱橫比(例如，傳感器的寬度對(duì)高度的比例)或任何適當(dāng)?shù)目v橫比。在具體實(shí)施方式中，相機(jī)112的圖像傳感器的寬度可大于圖像傳感器的高度。在具體實(shí)施方式中，圖像傳感器的寬度和高度可以以沿圖像傳感器的兩個(gè)軸的若干像素表示，并且圖像傳感器的寬度可表示圖像傳感器的較長(zhǎng)尺寸。例如但不限于，圖像傳感器可具有500至8000像素之間寬度或高度。作為另一示例而非限制，具有1920像素的寬度和1080像素的高度的圖像傳感器可被稱為具有16：9的縱橫比的圖像傳感器。在具體實(shí)施方式中，相機(jī)112可包括鏡頭或鏡頭組件以將傳入的光收集并聚焦在圖像傳感器的聚焦區(qū)域上。例如但不限于，相機(jī)112可包括魚(yú)眼鏡頭、超廣角鏡頭、廣角鏡頭或常規(guī)鏡頭以將光聚焦在圖像傳感器上。盡管本公開(kāi)描述并示出具有特定圖像傳感器和特定鏡頭的特定相機(jī)，但是本公開(kāi)可設(shè)想到具有任何適當(dāng)?shù)膱D像傳感器和任何適當(dāng)?shù)溺R頭的任何適當(dāng)相機(jī)。

在具體實(shí)施方式中，相機(jī)112可具有視場(chǎng)角(fov)，所述視場(chǎng)角(fov)至少部分地取決于相機(jī)112的鏡頭組件的位置、焦距或放大倍數(shù)以及相機(jī)112的圖像傳感器的位置或尺寸。在具體實(shí)施方式中，相機(jī)112的fov可指通過(guò)相機(jī)112可見(jiàn)的具體場(chǎng)景的水平、垂直或?qū)欠秶?。相機(jī)112的fov內(nèi)的物體可被相機(jī)112的圖像傳感器捕獲，并且fov外的物體可能不會(huì)出現(xiàn)在圖像傳感器上。在具體實(shí)施方式中，fov可被稱為視角(aov)，并且fov或aov可指通過(guò)相機(jī)112捕獲或成像的具體場(chǎng)景的角度范圍。例如但不限于，相機(jī)112可具有處于30°和200°之間的fov。作為另一示例而非限制，具有100°fov的相機(jī)112可表明相機(jī)112可捕獲位于相機(jī)112所指向的方向或定向114的±50°內(nèi)的物體的圖像。

在具體實(shí)施方式中，相機(jī)112可具有兩個(gè)特定的fov，諸如水平視場(chǎng)(fovh)和垂直視場(chǎng)(fovv)，其中兩個(gè)fov定向?yàn)楸舜舜笾抡?。例如但不限于，相機(jī)112可具有處于30°和100°之間的范圍內(nèi)的fovh和處于90°和200°之間的范圍內(nèi)的fovv。在圖2的示例中，相機(jī)112具有大約80°的fovh。在具體實(shí)施方式中，相機(jī)112可具有寬于其fovh的fovv。例如但不限于，相機(jī)112可具有大約45°的fovh和大約150°的fovv。在具體實(shí)施方式中，具有兩個(gè)不相等的fov的相機(jī)112可至少部分地由于相機(jī)112包括具有矩形形狀的圖像傳感器(例如，相機(jī)112可包括具有16：9的縱橫比的圖像傳感器)。在具體實(shí)施方式中，相機(jī)112可定位成使其fovv與相機(jī)112的圖像傳感器的寬度對(duì)齊或?qū)?yīng)，并使其fovh與圖像傳感器的高度對(duì)齊。例如但不限于，圖像傳感器可具有這樣的高度和寬度，其中寬度表示兩個(gè)圖像傳感器尺寸中的較長(zhǎng)的一個(gè)；并且相機(jī)112可定位成使得其圖像傳感器的寬度軸對(duì)應(yīng)于fovv。盡管本公開(kāi)描述并示出具有特定視場(chǎng)的特定相機(jī)，但是本公開(kāi)可設(shè)想到具有任何適當(dāng)?shù)囊晥?chǎng)的任何適當(dāng)相機(jī)。

在具體實(shí)施方式中，相機(jī)112可具有表示相機(jī)112所指向的角度或方向的定向114。在具體實(shí)施方式中，定向114可由沿著相機(jī)112的fov的中心的線或射線表示。在具體實(shí)施方式中，相機(jī)112的定向線114可大致沿著相機(jī)112的縱軸、大致與相機(jī)的鏡頭組件或圖像傳感器的表面正交或大致與軸115正交進(jìn)行指向，其中軸115表示立體相機(jī)對(duì)200的相機(jī)l和相機(jī)r之間的線。在圖2的示例中，定向114-l和定向114-r各自大致與軸115正交，并且定向114-l和定向114-r各自大約沿著相機(jī)112的fovh的相應(yīng)中心進(jìn)行指向。在具體實(shí)施方式中，立體相機(jī)對(duì)200中的每個(gè)相機(jī)112可相對(duì)于彼此具有特定的定向114。在具體實(shí)施方式中，立體相機(jī)對(duì)200的左相機(jī)和右相機(jī)112可各自指向大致相同的方向，并且左相機(jī)和右相機(jī)的定向114可大致平行(例如，定向114之間的角度可約為0°)。在圖2的示例中，左相機(jī)定向114-l大致平行于右相機(jī)定向114-r，這表明相機(jī)l和相機(jī)r指向大致相同的方向。具有平行定向114的左相機(jī)和右相機(jī)112可代表指向相同方向的相機(jī)，并且相機(jī)l和相機(jī)r可被稱為具有相同的定向。在具體實(shí)施方式中，具有相同定向的左相機(jī)l和右相機(jī)r可分別表示在±0.1°、±0.5°、±1°、±2°、±3°范圍內(nèi)或在任何適當(dāng)?shù)慕嵌戎祪?nèi)彼此平行的定向114-l和定向114-r。在具體實(shí)施方式中，立體相機(jī)對(duì)200的定向可由平行的左相機(jī)和右相機(jī)112的定向114表示。例如但不限于，當(dāng)?shù)谝幌鄼C(jī)對(duì)中的每個(gè)相機(jī)相對(duì)于第二相機(jī)對(duì)中的相機(jī)定向在30°度時(shí)，第一立體相機(jī)對(duì)200可被稱為相對(duì)于第二立體相機(jī)對(duì)200具有30°度定向。

在具體實(shí)施方式中，左相機(jī)l和右相機(jī)r可具有定向114-l和定向114-r，并且在兩者之間具有特定的非零角度。例如但不限于，立體相機(jī)對(duì)200中的兩個(gè)相機(jī)可定向成稍微靠近彼此或遠(yuǎn)離彼此，其中兩者之間具有約0.5°、1°、2°或任何適當(dāng)?shù)慕嵌戎?。在具體實(shí)施方式中，立體相機(jī)對(duì)200的定向可由定向114-l和定向114-r表示。盡管本公開(kāi)描述并示出具有特定定向的特定相機(jī)，但是本公開(kāi)可設(shè)想到具有任何適當(dāng)?shù)亩ㄏ虻娜魏芜m當(dāng)相機(jī)。

在具體實(shí)施方式中，一個(gè)相機(jī)對(duì)(例如，l和r)中的相機(jī)112之間的相機(jī)間間距(ics)可表示兩個(gè)相機(jī)彼此相隔的距離。在具體實(shí)施方式中，立體相機(jī)對(duì)200可具有ics處于6cm和11cm之間的相機(jī)112，其中ics可在兩個(gè)相機(jī)112的兩個(gè)對(duì)應(yīng)的點(diǎn)或特征之間測(cè)量出。例如但不限于，ics可對(duì)應(yīng)于兩個(gè)相機(jī)112的中間點(diǎn)之間的距離、兩個(gè)相機(jī)112的縱軸之間的距離或兩個(gè)相機(jī)112的定向線114之間的距離。在具體實(shí)施方式中，立體相機(jī)對(duì)200的相機(jī)l和r可沿著軸115相隔ics的距離，其中軸115表示連接相機(jī)l和r的線，并且相機(jī)定向114-l和114-r大致與軸115正交。在圖2的示例中，ics是在相機(jī)l和r之間沿著分隔軸115測(cè)量的距離。在具體實(shí)施方式中，ics可對(duì)應(yīng)于人眼的瞳孔之間的大致或平均的距離或人眼的瞳孔間距(ipd)。例如但不限于，ics可在6cm與7cm之間，其中6.5cm對(duì)應(yīng)于人類(lèi)的大致的平均ipd值。在具體實(shí)施方式中，立體相機(jī)對(duì)200可具有大于平均ipd值的ics值(例如，ics可為7cm至11cm)，并且向觀看者回放時(shí)，該較高的ics值可提供看起來(lái)具有增強(qiáng)的3-d特性的場(chǎng)景。盡管本公開(kāi)描述并示出具有特定相機(jī)間間距的特定相機(jī)對(duì)，但是本公開(kāi)可設(shè)想到具有任何適當(dāng)相機(jī)間間距的任何適當(dāng)相機(jī)。

圖3示出相機(jī)系統(tǒng)110的示例性相機(jī)配置的部分平面圖。在圖3的示例中，相機(jī)系統(tǒng)110包括由l1和r1構(gòu)成的第一相機(jī)對(duì)200、由l2和r2構(gòu)成的第二相機(jī)對(duì)200和由ln和rn構(gòu)成的第n相機(jī)對(duì)200。在具體實(shí)施方式中，相機(jī)系統(tǒng)110還可包括另外的相機(jī)對(duì)，諸如相機(jī)對(duì)l3-r3(相機(jī)l3未在圖3中示出)或相機(jī)對(duì)ln1-rn1(相機(jī)rn1未在圖3中示出)。盡管本公開(kāi)描述并示出具有特定數(shù)量的相機(jī)對(duì)的特定相機(jī)系統(tǒng)，但是本公開(kāi)可設(shè)想到具有任何適當(dāng)?shù)臄?shù)量的相機(jī)對(duì)的任何適當(dāng)相機(jī)系統(tǒng)。

在具體實(shí)施方式中，相機(jī)系統(tǒng)110的相機(jī)112可沿著直線、曲線、橢圓(或橢圓的一部分)、圓(圓的一部分)布置，或者沿著任何其他適當(dāng)?shù)男螤罨蛉魏芜m當(dāng)?shù)男螤畹囊徊糠植贾?。具有沿著圓布置的相機(jī)112的相機(jī)系統(tǒng)110可配置為記錄360°全景視角的圖像。在圖3的示例中，相機(jī)112沿著如由圖3中的圓形虛線表示的圓的一部分布置。圖3所示的相機(jī)系統(tǒng)110可記錄半圓的圖像，并且提供約180°角度的視野。在具體實(shí)施方式中，相機(jī)系統(tǒng)110的相機(jī)112可各自位于相同的平面中。例如但不限于，相機(jī)系統(tǒng)110的每個(gè)相機(jī)112可位于水平平面中，并且每個(gè)相機(jī)112可使其fovh定向?yàn)檠刂狡矫?，并且可使其fovv定向?yàn)榕c水平面正交。在圖3的示例中，相機(jī)112各自位于相同的平面中，并且每個(gè)相機(jī)112的fovh也定向在上述平面中。在具體實(shí)施方式中，相機(jī)系統(tǒng)110的相機(jī)112可各自定向在相同的平面中，并且各相機(jī)的定向114也可位于該相同的平面中。在圖3的示例中，相機(jī)112各自位于相同的平面中，并且相機(jī)定向(例如，114-l1、114-l2、114-r1和1140-r2)也位于相同的平面中，使得每個(gè)相機(jī)指向位于上述平面中的方向。在具體實(shí)施方式中，相機(jī)112定位成使得相機(jī)112的圖像傳感器的高度維度定向?yàn)檠刂矫?，使得圖像傳感器的高度與fovh對(duì)齊并對(duì)應(yīng)。另外，相機(jī)112可定位成使得相機(jī)112的圖像傳感器的寬度維度定向?yàn)榕c水平面正交，使得圖像傳感器的寬度對(duì)應(yīng)于fovv。在具體實(shí)施方式中，相機(jī)112可捕獲具有使得圖像的縱向范圍大于圖像的水平范圍的縱橫比的圖像。

在具體實(shí)施方式中，相機(jī)系統(tǒng)110可包括相機(jī)112的若干相機(jī)對(duì)200，其中相機(jī)對(duì)200是彼此交錯(cuò)的。在具體實(shí)施方式中，交錯(cuò)的相機(jī)對(duì)200可指如下的相機(jī)配置，即，第一相機(jī)對(duì)的一個(gè)相機(jī)位于相鄰的第二相機(jī)對(duì)的相機(jī)之間。另外，第二相機(jī)對(duì)的一個(gè)相機(jī)也可位于第一相機(jī)對(duì)的相機(jī)之間。在具體實(shí)施方式中，相鄰的或毗鄰的相機(jī)對(duì)200可指彼此鄰接的相機(jī)對(duì)200或者布置成一個(gè)相機(jī)對(duì)200的相機(jī)位于另一相機(jī)對(duì)200的兩個(gè)相機(jī)之間的相機(jī)對(duì)200。在具體實(shí)施方式中，交錯(cuò)的相機(jī)對(duì)200可指具有這樣的第一相機(jī)對(duì)和第二相機(jī)對(duì)的相機(jī)配置：其中，第二相機(jī)對(duì)通過(guò)第一相機(jī)對(duì)的至少一個(gè)相機(jī)彼此分隔開(kāi)。另外，第一相機(jī)對(duì)也可通過(guò)第二相機(jī)對(duì)的至少一個(gè)相機(jī)彼此分隔開(kāi)。在圖3的示例中，相機(jī)對(duì)l2-r2與相機(jī)對(duì)l1-r1相交錯(cuò)；反之，相機(jī)對(duì)l1-r1與相機(jī)對(duì)l2-r2相交錯(cuò)。相機(jī)對(duì)l1-r1和l2-r2相交錯(cuò)，使得相機(jī)r2位于相機(jī)l1和r1之間且相機(jī)l1位于相機(jī)l2和r2之間。類(lèi)似地，相機(jī)對(duì)l1-r1和ln-rn也彼此相交錯(cuò)。相機(jī)對(duì)l1-r1和ln-rn相交錯(cuò)，使得相機(jī)l1和r1至少通過(guò)相機(jī)ln分隔開(kāi)且相機(jī)ln-rn至少通過(guò)相機(jī)r1分隔開(kāi)。在圖3的示例中，相機(jī)對(duì)l1-r1與兩個(gè)毗鄰的相機(jī)對(duì)(相機(jī)對(duì)l2-r2和相機(jī)對(duì)ln-rn)相交錯(cuò)。

在具體實(shí)施方式中，相機(jī)系統(tǒng)110可包括相機(jī)112的第一相機(jī)對(duì)200，其中第一相機(jī)對(duì)的相機(jī)通過(guò)相機(jī)112的第二相機(jī)對(duì)200的至少一個(gè)相機(jī)112彼此分隔開(kāi)。在圖3的示例中，相機(jī)對(duì)l1-r1的相機(jī)l1和r1通過(guò)相機(jī)對(duì)l2-r2的相機(jī)r2彼此分隔開(kāi)。另外，第一相機(jī)對(duì)可具有與第二相機(jī)對(duì)的定向114不同的定向114。在圖3的示例中，相機(jī)對(duì)l1-r1的定向(可由定向114-l1或114-r1表示)不同于相機(jī)對(duì)l2-r2的定向(可由定向114-l2或114-r2表示)。在具體實(shí)施方式中，相機(jī)系統(tǒng)110也可包括第三相機(jī)對(duì)(例如，圖3中的ln-rn)，并且第一相機(jī)對(duì)的相機(jī)(例如，l1-r1)也可通過(guò)第三相機(jī)對(duì)(例如，ln-rn)的相機(jī)(例如，相機(jī)ln)彼此分隔開(kāi)。另外，第三相機(jī)對(duì)可具有與第一相機(jī)對(duì)和第二相機(jī)對(duì)的定向114不同的定向114。盡管本公開(kāi)描述并示出具有以特定配置布置的特定相機(jī)的特定相機(jī)系統(tǒng)，但是本公開(kāi)可設(shè)想到具有以任何適當(dāng)配置布置的任何適當(dāng)相機(jī)的任何適當(dāng)相機(jī)系統(tǒng)。

在具體實(shí)施方式中，相機(jī)系統(tǒng)110可包括多重交錯(cuò)的相機(jī)對(duì)200，其中每個(gè)相機(jī)對(duì)200具有特定的定向114。在具體實(shí)施方式中，每個(gè)相機(jī)對(duì)200的相機(jī)112可均勻地布置，使得每個(gè)相機(jī)對(duì)200相對(duì)于一個(gè)或多個(gè)相鄰相機(jī)對(duì)200定向在角度θ處。在具體實(shí)施方式中，角度θ可對(duì)應(yīng)于相鄰相機(jī)112對(duì)200之間的定向114的角度間隔或差異。在圖3的示例中，相機(jī)l1和r1如由它們各自的大致平行的定向114-l1和114-r1所表示的指向相同的方向。類(lèi)似地，相機(jī)l2和r2分別如由它們各自大致平行的定向114-l2和114-r2(不同于相機(jī)對(duì)l1-r1的定向)所表示的指向一方向。在具體實(shí)施方式中，對(duì)于相機(jī)系統(tǒng)110的每個(gè)相機(jī)對(duì)200，相鄰相機(jī)對(duì)200之間的角度θ可大致相同，使得相機(jī)對(duì)200布置成它們各自的定向114之間具有一致的差異。例如但不限于，相機(jī)系統(tǒng)110的相鄰相機(jī)對(duì)200可各自定向在約26°、30°、36°、45°、60°、90°的角度，或相對(duì)于彼此定向在任何適當(dāng)?shù)慕嵌?。在圖3的示例中，相機(jī)對(duì)l2-r2相對(duì)于相機(jī)對(duì)l1-r1定向在角度θ≈30°。在具體實(shí)施方式中，對(duì)于具有沿著圓布置的n個(gè)均勻隔開(kāi)的相機(jī)對(duì)200(其中，n為正整數(shù))的相機(jī)系統(tǒng)110，每個(gè)相鄰相機(jī)對(duì)之間的角度θ可表示為θ≈360°/n。例如但不限于，對(duì)于具有以均勻地隔開(kāi)的圓形配置分布的n＝12對(duì)相機(jī)的相機(jī)系統(tǒng)110，每個(gè)相鄰相機(jī)對(duì)之間的角度θ為約360°/12＝30°。作為另一示例而不限制，對(duì)于具有以均勻地隔開(kāi)的圓形配置分布的n＝8對(duì)相機(jī)的相機(jī)系統(tǒng)110，每個(gè)相鄰相機(jī)對(duì)之間的角度θ為約360°/8＝45°。

在具體實(shí)施方式中，第一和第二相機(jī)對(duì)200可相交錯(cuò)，使得第二相機(jī)對(duì)的右相機(jī)112與第一相機(jī)對(duì)的左相機(jī)112相鄰，并且第二相機(jī)對(duì)的右相機(jī)112的fovh的中心與第一相機(jī)對(duì)的左相機(jī)112的fovh的中心相交叉。在圖3的示例中，第一相機(jī)對(duì)l1-r1與第二相機(jī)對(duì)l2-r2相交錯(cuò)，使得右相機(jī)r2與左相機(jī)l1相鄰，并且相機(jī)r2的fovh的中心(如由定向114-r2表示)與相機(jī)l1的fovh的中心(如由定向114-l1表示)相交叉。在具體實(shí)施方式中，第一和第三相機(jī)對(duì)200可相交錯(cuò)，使得第三相機(jī)對(duì)的左相機(jī)112與第一相機(jī)對(duì)的右相機(jī)112相鄰，并且第三相機(jī)對(duì)的左相機(jī)112的fovh的中心與第一相機(jī)對(duì)的右相機(jī)112的fovh的中心相交叉。在圖3的示例中，第一相機(jī)對(duì)l1-r1與第n相機(jī)對(duì)ln-rn相交錯(cuò)，使得左相機(jī)ln與右相機(jī)rn相鄰，并且相機(jī)ln的fovh的中心(如由定向114-ln表示)與相機(jī)r1的fovh的中心(如由定向114-r1表示)相交叉。盡管本公開(kāi)描述并示出以特定方式相交錯(cuò)的特定相機(jī)對(duì)，但是本公開(kāi)可設(shè)想到以任何適當(dāng)方式相交錯(cuò)的任何適當(dāng)相機(jī)對(duì)。

在具體實(shí)施方式中，對(duì)于相機(jī)系統(tǒng)110的一個(gè)或多個(gè)相機(jī)對(duì)200，相鄰相機(jī)對(duì)200之間的角度θ可以不相同，使得相機(jī)對(duì)200可具有不均勻的角度間隔。例如但不限于，相機(jī)系統(tǒng)110中的相機(jī)對(duì)200的角度間隔或分布可至少部分地基于每個(gè)相機(jī)112的fovh而改變。例如，相機(jī)系統(tǒng)110的具有窄fovh的某些相機(jī)對(duì)200可具有30°的角度間隔，而具有寬fovh的其他相機(jī)對(duì)200具有50°的角度間隔。盡管本公開(kāi)描述并示出包括具有特定角度間隔的特定相機(jī)對(duì)的特定相機(jī)系統(tǒng)，但是本公開(kāi)可設(shè)想到包括具有任何適當(dāng)?shù)慕嵌乳g隔的任何適當(dāng)相機(jī)對(duì)的任何適當(dāng)相機(jī)系統(tǒng)。

在具體實(shí)施方式中，一組左相機(jī)(例如，對(duì)應(yīng)于人的左眼的相機(jī)l1、l2等)或一組右相機(jī)(例如，對(duì)應(yīng)于人的右眼的相機(jī)r1、r2、r3等)的每個(gè)fovh可與群組中的相鄰相機(jī)具有角度重疊部116。在圖3的示例中，角度重疊部116表示由相鄰相機(jī)r1和r2捕獲的圖像之間的共享部分或重疊部。在圖3中，相機(jī)r2和r3、相機(jī)rn和r1、相機(jī)l1和l2以及相機(jī)ln和ln-1也可共享類(lèi)似的角度重疊部。在具體實(shí)施方式中，具有角度重疊部116的相鄰相機(jī)112可在其水平fov具有10％與30％之間的重疊部。例如但不限于，具有以10-30％重疊的水平fov的相鄰相機(jī)可分別捕獲以10％與30％之間重疊的圖像。作為另一示例而不限制，分別具有fovh≈50°和約10°的角度重疊部116的相鄰相機(jī)可稱為具有約20％(＝10°/50°)的角度重疊部或圖像重疊部。在具體實(shí)施方式中，且如下所描述，角度重疊部116可用于識(shí)別圖像特征以及創(chuàng)建無(wú)縫地呈現(xiàn)如由相機(jī)系統(tǒng)110捕獲的整個(gè)視野的拼接圖像。盡管本公開(kāi)描述并示出具有特定角度重疊部的特定相機(jī)，但是本公開(kāi)可設(shè)想到具有任何適當(dāng)?shù)慕嵌戎丿B部的任何適當(dāng)相機(jī)。

圖4示出示例性相機(jī)系統(tǒng)110的平面圖。如以下所描述，相機(jī)系統(tǒng)110可包括配置為以360度以及立體3-d格式捕獲圖像并記錄或串流實(shí)時(shí)視頻的相機(jī)112的立體相機(jī)對(duì)200的空間布置。在具體實(shí)施方式中，相機(jī)系統(tǒng)110可包括構(gòu)成n個(gè)相機(jī)對(duì)200的2n個(gè)相機(jī)112，其中n為正整數(shù)。在具體實(shí)施方式中，相機(jī)系統(tǒng)110可包括n＝1,2,3,4,6,8,10,12,14,16個(gè)或任何適當(dāng)數(shù)量的相機(jī)對(duì)200。例如但不限于，相機(jī)系統(tǒng)110可包括構(gòu)成n＝4個(gè)相機(jī)對(duì)200的8個(gè)相機(jī)112，或者相機(jī)系統(tǒng)110可包括構(gòu)成n＝8個(gè)相機(jī)對(duì)200的16個(gè)相機(jī)112。在圖4的示例中，n等于12，并且相機(jī)系統(tǒng)110包括構(gòu)成12個(gè)相機(jī)對(duì)200(例如，相機(jī)對(duì)l1-r1至相機(jī)對(duì)l12-r12)的24個(gè)相機(jī)112。如上所述，相機(jī)系統(tǒng)110的相機(jī)對(duì)200可均勻地布置，使得相鄰相機(jī)對(duì)200相對(duì)于彼此定向在θ≈360°/n的角度。在圖4的示例中，n等于12，并且如從相機(jī)系統(tǒng)110的中心畫(huà)至相機(jī)對(duì)200的射線r之間的30°的角度所呈現(xiàn)的，相機(jī)對(duì)200相對(duì)于彼此定向在約30°(＝360°/12)。

在具體實(shí)施方式中，相機(jī)系統(tǒng)110的相機(jī)112可配置為使得相鄰的左相機(jī)的水平fov重疊，類(lèi)似地，相鄰的右相機(jī)的水平fov重疊。在圖4的示例中，相鄰的左相機(jī)(例如，相機(jī)l1和l2、相機(jī)l2和l3等)中的每一對(duì)可就其水平fov具有10％與30％之間的重疊部。類(lèi)似地，每對(duì)相鄰的右相機(jī)(例如，相機(jī)r1和r2、相機(jī)r2和r3等)中的每一對(duì)可就其水平fov具有10％與30％之間的重疊部。在具體實(shí)施方式中，每一組左相機(jī)(例如，圖4中的相機(jī)l1-l12)可定向?yàn)椴东@覆蓋圍繞相機(jī)系統(tǒng)110的完整的360°視角的對(duì)應(yīng)的一組左圖像。類(lèi)似地，每一組右相機(jī)(例如，圖4中的相機(jī)r1-r12)可定向?yàn)椴东@覆蓋圍繞相機(jī)系統(tǒng)110的完整的360°視角的對(duì)應(yīng)的一組右圖像。

在具體實(shí)施方式中，相機(jī)系統(tǒng)110的相機(jī)112可布置成大致的圓形配置，在該配置中，相機(jī)112位于相機(jī)機(jī)身118的外緣或圓周處或附近。在具體實(shí)施方式中，相機(jī)機(jī)身118可代表保持、包含或圍護(hù)相機(jī)系統(tǒng)110的相機(jī)112的機(jī)械結(jié)構(gòu)、圍護(hù)結(jié)構(gòu)或殼體，以及作為相機(jī)系統(tǒng)110的一部分的其他設(shè)備，諸如，一個(gè)或多個(gè)電源或處理器。在圖4的示例中，相機(jī)系統(tǒng)110的24個(gè)相機(jī)112在相機(jī)機(jī)身118的外緣附近布置成具有圓形形狀的圓形配置。在具體實(shí)施方式中，相機(jī)系統(tǒng)110的每個(gè)相機(jī)對(duì)200可對(duì)齊，以使其定向114從共同的中心點(diǎn)117遠(yuǎn)離或徑向向外地指向。在圖4的示例中，中心點(diǎn)117代表相機(jī)系統(tǒng)110的機(jī)身118的中心，并且如由射線r所表示，每個(gè)相機(jī)對(duì)的定向從中心點(diǎn)117徑向向外指向。在具體實(shí)施方式中，相機(jī)系統(tǒng)110的相機(jī)機(jī)身118可具有約為10cm、15cm、20cm、25cm、30cm或任何適當(dāng)?shù)拇笮〉某叽?、寬度或直?19。在圖4的示例中，相機(jī)機(jī)身118可具有直徑119為約20cm的外緣。在具體實(shí)施方式中，相機(jī)系統(tǒng)110可具有與轉(zhuǎn)動(dòng)的人體頭部的尺寸相當(dāng)?shù)某叽?。例如但不限于，相機(jī)機(jī)身118可具有約20cm的直徑，并且相機(jī)對(duì)200可定位成與人轉(zhuǎn)動(dòng)其頭部時(shí)的人眼的位置對(duì)應(yīng)。盡管本公開(kāi)描述并示出具有特定尺寸、寬度或直徑的特定相機(jī)系統(tǒng)，但是本公開(kāi)可設(shè)想到具有任何適當(dāng)?shù)某叽?、寬度或直徑的任何適當(dāng)相機(jī)系統(tǒng)。

在具體實(shí)施方式中，相機(jī)系統(tǒng)110的兩個(gè)或兩個(gè)以上的相機(jī)112可被稱為彼此相鄰。在具體實(shí)施方式中，彼此相鄰的兩個(gè)相機(jī)112可指彼此緊挨著或相鄰且其間不具有其他相機(jī)的兩個(gè)相機(jī)。在圖4的示例中，相機(jī)l1和r3彼此相鄰，相機(jī)l2和r3彼此相鄰。在圖4中，相機(jī)r1與相機(jī)l11和相機(jī)l12相鄰。在具體實(shí)施方式中，相鄰相機(jī)可被識(shí)別為在特定一組相機(jī)內(nèi)，而不認(rèn)為是屬于該群組的其他相機(jī)。例如但不限于，即使存在位于兩個(gè)相機(jī)附近或位于它們之間的右相機(jī)，一組左相機(jī)內(nèi)的兩個(gè)相機(jī)可被識(shí)別為彼此相鄰。在圖4中，對(duì)于所述一組左相機(jī)(相機(jī)l1至l12)，相機(jī)l1與相機(jī)l2和l12相鄰；以及對(duì)于所述一組右相機(jī)(相機(jī)r1至r12)，相機(jī)r1和r2相鄰。

圖5示出由相機(jī)系統(tǒng)110的相機(jī)112捕獲的圖像(i-1至i-8)的示例性集合。例如但不限于，圖像i-1至i-8可分別對(duì)應(yīng)于由相機(jī)系統(tǒng)110的左相機(jī)l-1至l-8捕獲的圖像。圖像i-1至i-8可表示利用與圖3或圖4所示的相機(jī)系統(tǒng)相似的相機(jī)系統(tǒng)110捕獲的圖像。在具體實(shí)施方式中，相機(jī)系統(tǒng)110的一組左相機(jī)或一組右相機(jī)112捕獲的一組圖像可在相鄰的圖像之間具有重疊區(qū)域210，其中，重疊區(qū)域210表示對(duì)應(yīng)于大致相同的場(chǎng)景的相鄰的圖像的部分或區(qū)域。在圖5的示例中，重疊區(qū)域2105-6表示相鄰的圖像i-5與i-6之間的重疊部，并且重疊區(qū)域2105-6中的捕獲的場(chǎng)景包括云朵的右邊部分和橋的一部分。類(lèi)似地，重疊區(qū)域2106-7表示相鄰的圖像i-6與i-7之間的重疊部，并且重疊區(qū)域2106-7中的捕獲的圖像包括橋塔。

在具體實(shí)施方式中，重疊區(qū)域210可對(duì)應(yīng)于相鄰相機(jī)112的水平fov的重疊部。在具體實(shí)施方式中，相機(jī)系統(tǒng)110的左相機(jī)或右相機(jī)112捕獲的相鄰圖像可具有10％與30％之間的重疊部。在具體實(shí)施方式中，重疊的量或百分比對(duì)應(yīng)于重疊區(qū)域210的高度、寬度或面積與對(duì)應(yīng)圖像的高度、寬度或面積的比例。在圖5的示例中，圖像i-5與i-6之間的重疊量等于重疊區(qū)域2105-6的寬度204除以圖像i-5或i-6的寬度206。在具體實(shí)施方式中，重疊區(qū)域210的尺寸或圖像的尺寸可以以距離來(lái)表示(例如，以mm或cm為單位)或以像素?cái)?shù)來(lái)表示。在圖5的示例中，如果重疊區(qū)域?qū)挾?04為162像素且圖像寬度206為1,080像素，則圖像i-5與i-6之間的重疊部為15％(＝162/1080)。盡管本公開(kāi)描述并示出具有特定重疊區(qū)域或重疊量的特定圖像，但是本公開(kāi)可設(shè)想到具有任何適當(dāng)?shù)闹丿B區(qū)域或重疊量的任何適當(dāng)?shù)膱D像。

在具體實(shí)施方式中，相機(jī)112可定位成捕獲具有這樣的縱橫比的圖像，所述縱橫比使得圖像的垂直幅度207大于圖像的水平幅度206。例如但不限于，相機(jī)112可捕獲具有1,920像素的垂直幅度207和1,080像素的水平幅度206的圖像。在圖5的示例中，圖像i-6具有大于水平幅度206的垂直幅度207。

在具體實(shí)施方式中，相鄰圖像或相鄰的圖像可指共享共同的重疊區(qū)域210且定位成彼此相鄰圖像。在圖5的示例中，圖像i-2和i-3相鄰，并且圖像i-6與圖像i-5和i-7相鄰。在具體實(shí)施方式中，相鄰圖像可對(duì)應(yīng)于由相應(yīng)的相鄰相機(jī)捕獲的圖像。在圖5的示例中，圖像i-1至i-8可分別對(duì)應(yīng)于由左相機(jī)l1至l8捕獲的圖像，諸如，圖4的左相機(jī)l1至l8。圖像i-1和i-2為相鄰圖像，并且這些圖像可分別由相鄰的左相機(jī)l1和l2捕獲。

圖6示出示例性相機(jī)系統(tǒng)110的側(cè)視圖。在具體實(shí)施方式中，相機(jī)系統(tǒng)110可包括一個(gè)或多個(gè)頂部相機(jī)112t，頂部相機(jī)112t在由沿著相機(jī)系統(tǒng)110的周邊布置的側(cè)部相機(jī)112捕獲的不同的圓柱面形側(cè)視圖上方創(chuàng)建“蓋(cap)”。在具體實(shí)施方式中，側(cè)部相機(jī)112可指布置成平面配置并且其相應(yīng)定向114位于相同的平面中的相機(jī)112，例如，圖3或圖4所示的相機(jī)112。在具體實(shí)施方式中，頂部相機(jī)112t可提供可與來(lái)自側(cè)部相機(jī)112的圖像結(jié)合的仰視圖，使得在觀看3-d視頻時(shí)用戶能夠向上觀看(也能夠看向其左側(cè)或右側(cè)，或者在fovv的向下的幅度內(nèi)向下觀看)。在具體實(shí)施方式中，相機(jī)系統(tǒng)110可包括指向上方的一個(gè)或多個(gè)頂部相機(jī)112t以及指向下方的一個(gè)或多個(gè)底部相機(jī)(圖6中未示出)。例如但不限于，來(lái)自側(cè)部相機(jī)112的圖像可與來(lái)自頂部相機(jī)112t和底部相機(jī)的圖像結(jié)合，使得用戶能夠在觀看3-d視頻時(shí)向任何方向觀看(例如，左、右、上或下)。在具體實(shí)施方式中，相機(jī)系統(tǒng)110可包括兩個(gè)或兩個(gè)以上的頂部相機(jī)112t(例如，可構(gòu)成立體相機(jī)對(duì)的左頂部相機(jī)和右頂部相機(jī))，并且來(lái)自頂部相機(jī)112t的圖像可結(jié)合以增強(qiáng)用戶在觀看3-d視頻且向上看時(shí)的3-d感知。盡管本公開(kāi)描述并示出具有特定頂部相機(jī)或底部相機(jī)的特定相機(jī)系統(tǒng)，但是本公開(kāi)可設(shè)想到具有任何適當(dāng)?shù)捻敳肯鄼C(jī)或底部相機(jī)的任何適當(dāng)相機(jī)系統(tǒng)。

在具體實(shí)施方式中，頂部相機(jī)112t可具有與一個(gè)或多個(gè)側(cè)部相機(jī)112的垂直視場(chǎng)fovv重疊的視場(chǎng)fovt。例如但不限于，來(lái)自頂部相機(jī)112t的圖像的外緣部分可與來(lái)自相機(jī)112的圖像的上部重疊10-30％。在圖6的示例中，角度重疊部116表示頂部相機(jī)112t的fovt與側(cè)部相機(jī)112的fovv之間的重疊部。在具體實(shí)施方式中，頂部相機(jī)112t可具有相對(duì)高的fovt。例如但不限于，頂部相機(jī)112t可包括魚(yú)眼鏡頭，并且頂部相機(jī)112t的fovt可處于140°至185°的范圍內(nèi)。在具體實(shí)施方式中，相機(jī)系統(tǒng)110可包括一組側(cè)部相機(jī)112并且可不包括頂部相機(jī)112t。例如但不限于，相機(jī)系統(tǒng)110可包括fovv處于140°至185°的范圍內(nèi)的側(cè)部相機(jī)112，并且側(cè)部相機(jī)112可配置為在不使用頂部相機(jī)的情況下捕獲所有或大部分360°全景。在具體實(shí)施方式中且如圖6所示，相機(jī)系統(tǒng)110可包括一組側(cè)部相機(jī)112以及一個(gè)頂部相機(jī)112t。在具體實(shí)施方式中，相對(duì)于不具有頂部相機(jī)的相機(jī)系統(tǒng)110，具有頂部相機(jī)112t的相機(jī)系統(tǒng)110可允許側(cè)部相機(jī)112具有降低的fovv。例如但不限于，相機(jī)系統(tǒng)110可包括fovv處于100°至160°范圍內(nèi)的側(cè)部相機(jī)112，其中fovv與頂部相機(jī)112t的fovt重疊。

在具體實(shí)施方式中，頂部相機(jī)112t可位于相機(jī)系統(tǒng)110的頂表面附近，或者如圖6所示，頂部相機(jī)112t可相對(duì)于相機(jī)系統(tǒng)110的頂表面凹陷或縮進(jìn)。例如但不限于，頂部相機(jī)112t可位于凹陷的位置中，該位置可提供與側(cè)部相機(jī)112的大的重疊量。在具體實(shí)施方式中，相機(jī)系統(tǒng)110的側(cè)部相機(jī)112各自可具有位于相機(jī)系統(tǒng)110的水平面中的定向114，并且頂部相機(jī)112t的定向114t可與定向114大致正交。在圖6的示例中，側(cè)部相機(jī)112水平地定向，且頂部相機(jī)112t具有垂直的定向114t。盡管本公開(kāi)描述并示出包括具有特定布置、定向或視場(chǎng)的特定邊緣相機(jī)和特定頂部相機(jī)的特定相機(jī)系統(tǒng)，但是本公開(kāi)可設(shè)想到包括具有任何適當(dāng)?shù)牟贾?、定向或視?chǎng)的任何適當(dāng)?shù)倪吘壪鄼C(jī)和任何適當(dāng)?shù)捻敳肯鄼C(jī)的任何適當(dāng)相機(jī)系統(tǒng)。

圖7示出由相機(jī)系統(tǒng)110的相機(jī)112捕獲的重疊圖像的示例性集合。在具體實(shí)施方式中，具有n個(gè)相機(jī)對(duì)200和一個(gè)頂部相機(jī)112t的相機(jī)系統(tǒng)110可為視頻的每一幀捕獲2n+1個(gè)圖像。圖7所示的圖像可利用與圖6所示的相機(jī)系統(tǒng)相似的相機(jī)系統(tǒng)110的2n個(gè)側(cè)部相機(jī)112和頂部相機(jī)112t來(lái)捕獲。在具體實(shí)施方式中，n個(gè)左相機(jī)112和n個(gè)右相機(jī)112可如上所述布置成對(duì)且相交錯(cuò)，使得左相機(jī)圖像i-l1至i-ln重疊，并且右相機(jī)圖像i-r1至i-rn重疊。在圖7的示例中，重疊區(qū)域210l表示相鄰的左相機(jī)的圖像的重疊部分，并且重疊區(qū)域210r表示相鄰的右相機(jī)的圖像的重疊部分。例如但不限于，相鄰的左相機(jī)2和3可分別捕獲圖像i-l2和i-l3，其具有對(duì)應(yīng)的重疊區(qū)域210l2-3。在圖7的示例中，圖像i-top表示由頂部相機(jī)112t捕獲的圖像，并且重疊區(qū)域210t表示圖像i-top的、與來(lái)自側(cè)部相機(jī)112的圖像的上部重疊的外緣部分。在具體實(shí)施方式中，重疊區(qū)域210t可利用來(lái)自一個(gè)或多個(gè)側(cè)部相機(jī)112的圖像來(lái)拼接頂部圖像i-top。

在具體實(shí)施方式中，左相機(jī)和右相機(jī)112可布置成使得每個(gè)左相機(jī)重疊區(qū)域210l捕獲在對(duì)應(yīng)的右相機(jī)112的單個(gè)圖像內(nèi)，并且每個(gè)右相機(jī)重疊區(qū)域210r捕獲在對(duì)應(yīng)的左相機(jī)112的單個(gè)圖像內(nèi)。在圖7的示例中，圖像i-l1和i-l2的重疊區(qū)域210l1-2對(duì)應(yīng)于圖像i-r1，使得左相機(jī)l1和l2之間的重疊部被右相機(jī)r1捕獲。類(lèi)似地，圖像i-r2和i-r3的重疊區(qū)域210r2-3對(duì)應(yīng)于圖像i-l3，使得相機(jī)r2和r3之間的重疊部包含在相機(jī)l3的視場(chǎng)內(nèi)。在具體實(shí)施方式中，以及如以下所描述，兩個(gè)圖像之間的重疊區(qū)域210可用于識(shí)別圖像特征以及創(chuàng)建拼接圖像。另外，如由另一相機(jī)捕獲的重疊區(qū)域210也可在拼接過(guò)程中使用。在圖7的示例中，圖像i-r1和i-r2可至少基于位于兩個(gè)圖像的重疊區(qū)域210r1-2中的特征而拼接在一起。另外，由于圖像i-l2捕獲相同的重疊區(qū)域，所以圖像i-l2也可在拼接過(guò)程中使用或用于驗(yàn)證應(yīng)用至圖像i-r1和i-r2的拼接過(guò)程的準(zhǔn)確性。雖然本公開(kāi)描述并示出配置為捕獲具有特定重疊區(qū)域的特定圖像的特定相機(jī)系統(tǒng)，但是本公開(kāi)可設(shè)想到配置為捕獲具有任何適當(dāng)重疊區(qū)域的任何適當(dāng)圖像的任何適當(dāng)相機(jī)系統(tǒng)。

在具體實(shí)施方式中，相機(jī)系統(tǒng)110可包括用于獲取與圖像中的對(duì)象有關(guān)的深度信息的一個(gè)或多個(gè)深度傳感器。例如但不限于，一個(gè)或多個(gè)深度傳感器可位于相機(jī)系統(tǒng)110的相機(jī)112之間或附近。在具體實(shí)施方式中，深度傳感器可用于確定與位于相機(jī)112的fov內(nèi)的對(duì)象有關(guān)的深度或距離信息。例如但不限于，深度傳感器可用于確定處于相機(jī)112的fov內(nèi)的人定位成與相機(jī)系統(tǒng)110相隔約1.5米，而背景中的對(duì)象定位成與相機(jī)系統(tǒng)110相隔約4米。在具體實(shí)施方式中，深度信息可基于三角測(cè)量技術(shù)確定。例如但不限于，可利用三角測(cè)量來(lái)分析由兩個(gè)或兩個(gè)以上的相應(yīng)的相機(jī)112捕獲的兩個(gè)或兩個(gè)以上的圖像，以確定圖像中的對(duì)象相距相機(jī)系統(tǒng)110的距離。在具體實(shí)施方式中，相機(jī)系統(tǒng)110可包括基于結(jié)構(gòu)光掃描技術(shù)進(jìn)行操作的深度傳感器。例如但不限于，結(jié)構(gòu)光3-d掃描儀可照射具有投射的光圖案(例如，來(lái)自諸如激光或發(fā)光二極管的紅外線光源的一片光或平行光帶)的場(chǎng)景；以及從投射的光圖案反射或散射的圖像可被捕獲(例如，通過(guò)作為深度傳感器的一部分的相機(jī))并且可被用于確定場(chǎng)景中的對(duì)象的距離。在具體實(shí)施方式中，相機(jī)系統(tǒng)110可包括基于飛行時(shí)間技術(shù)操作的深度傳感器，其中在飛行時(shí)間技術(shù)中，到對(duì)象的距離由往返于對(duì)象的光脈沖所需的時(shí)間確定。雖然本公開(kāi)描述了以特定方式操作的特定深度傳感器，但是本公開(kāi)可設(shè)想到以任何適當(dāng)方式操作的任何適當(dāng)?shù)纳疃葌鞲衅鳌?/p>

在具體實(shí)施方式中，深度傳感器可提供與位于相機(jī)系統(tǒng)110附近(例如，位于相機(jī)系統(tǒng)110的0.1至10米范圍內(nèi))的對(duì)象有關(guān)的深度信息，并且深度信息可用于加強(qiáng)拼接過(guò)程。如以下所描述，拼接過(guò)程可利用來(lái)自相鄰相機(jī)的重疊圖像之間的對(duì)應(yīng)關(guān)系來(lái)計(jì)算場(chǎng)景的幾何結(jié)構(gòu)。通過(guò)使用深度傳感器，可確定一個(gè)或多個(gè)相機(jī)112的fov內(nèi)的對(duì)象的相對(duì)深度或距離，而不是假定單個(gè)整體的深度。在具體實(shí)施方式中，深度傳感器信息可允許圖像的近的部分與遠(yuǎn)的部分分開(kāi)進(jìn)行拼接。例如但不限于，使近的對(duì)象和遠(yuǎn)的對(duì)象分開(kāi)進(jìn)行拼接之后進(jìn)行結(jié)合場(chǎng)景的分割可通過(guò)考慮相機(jī)系統(tǒng)110與圖像中的對(duì)象之間的距離來(lái)提供改善的拼接結(jié)果。在具體實(shí)施方式中，深度傳感器可能夠?qū)ξ挥谙鄼C(jī)系統(tǒng)110附近的對(duì)象的圖像的部分進(jìn)行拉伸、壓縮或扭曲，其結(jié)果為，拼接圖像中的對(duì)象具有改善的渲染。例如但不限于，當(dāng)對(duì)象靠近相機(jī)系統(tǒng)110時(shí)(例如，人在相機(jī)系統(tǒng)110的0.5米范圍內(nèi)經(jīng)過(guò))，可能因?qū)ο蟮木嚯x而導(dǎo)致拼接圖像的變形量降低。在具體實(shí)施方式中，深度傳感器可提供從視圖中排除位于相機(jī)系統(tǒng)110的閾值距離內(nèi)的對(duì)象的能力。例如但不限于，確定為非?？拷鄼C(jī)系統(tǒng)110的對(duì)象(例如，位于相機(jī)系統(tǒng)110的0.1m內(nèi)的人手)可在圖像處理期間被移除，使得對(duì)象不遮擋場(chǎng)景的視圖。

在具體實(shí)施方式中，相機(jī)系統(tǒng)110可包括一個(gè)或多個(gè)紅外(ir)相機(jī)，其中，ir相機(jī)可指對(duì)ir光(例如，具有約0.8μm與14μm之間的波長(zhǎng)的光)敏感的相機(jī)。在具體實(shí)施方式中，ir相機(jī)可對(duì)熱輻射敏感或可提供在可視相機(jī)(例如，相機(jī)112)可能具有降低的敏感度的光線暗的情況下(例如，昏暗的房間或夜晚的戶外)對(duì)場(chǎng)景進(jìn)行成像的能力。例如但不限于，除了相機(jī)112(可優(yōu)化為可視光感測(cè))以外，相機(jī)系統(tǒng)110也可包括一個(gè)或多個(gè)ir相機(jī)，以及來(lái)自相機(jī)112和ir相機(jī)的信息或圖像可結(jié)合以提升在光線暗的情況下的圖像捕獲或渲染。作為另一示例而不限制，相機(jī)系統(tǒng)110可包括布置成捕獲相機(jī)系統(tǒng)110周?chē)?60°全景中的圖像的一組ir相機(jī)。作為又一示例而不限制，相機(jī)系統(tǒng)110的相機(jī)112可配置為對(duì)可視光和紅外光具有敏感度。盡管本公開(kāi)描述并示出具有特定可視或紅外相機(jī)的特定相機(jī)系統(tǒng)，但是本公開(kāi)可設(shè)想到具有任何適當(dāng)?shù)目梢暬蚣t外相機(jī)的任何適當(dāng)相機(jī)系統(tǒng)。

在具體實(shí)施方式中，相機(jī)系統(tǒng)110可包括配置為相比于相機(jī)112具有更寬的fov或者對(duì)具有不同視圖的場(chǎng)景進(jìn)行成像的一個(gè)或多個(gè)輔助相機(jī)。例如但不限于，相機(jī)系統(tǒng)110可包括如上所述的一組相機(jī)112，并且相機(jī)系統(tǒng)還可包括具有比相機(jī)112的fov更寬的fov的一個(gè)或多個(gè)魚(yú)眼相機(jī)或立體相機(jī)。在具體實(shí)施方式中，具有更寬fov的輔助相機(jī)可允許從相機(jī)112捕獲的圖像即使在觀看統(tǒng)一的顏色或紋理(例如，墻)時(shí)也能夠成功地被拼接。在具體實(shí)施方式中，相機(jī)112可配置為具有高分辨率(可導(dǎo)致相對(duì)窄的fov)，并且具有更寬fov的輔助相機(jī)可提供允許來(lái)自相機(jī)112的高分辨率圖像成功地對(duì)齊并拼接在一起的寬視場(chǎng)參考。

在具體實(shí)施方式中，相機(jī)112可捕獲大于或約等于180度的垂直視場(chǎng)。例如但不限于，相機(jī)系統(tǒng)110可包括具有約185°的fovv的相機(jī)112。在具體實(shí)施方式中，相機(jī)系統(tǒng)110可包括具有大于或等于180°的fovv的一組相機(jī)112，并且由于全景覆蓋可由相機(jī)112提供，所以相機(jī)系統(tǒng)110可以不包括頂部相機(jī)112t。

在具體實(shí)施方式中，相機(jī)系統(tǒng)110可包括一個(gè)或多個(gè)魚(yú)眼相機(jī)，其中魚(yú)眼相機(jī)可指具有寬fov(例如，大于或等于180度的fov)的相機(jī)。例如但不限于，相機(jī)系統(tǒng)110可包括位于相機(jī)機(jī)身118的中心附近的2個(gè)、3個(gè)或4個(gè)魚(yú)眼相機(jī)。作為另一示例而不限制，相機(jī)系統(tǒng)110可包括一對(duì)或多對(duì)魚(yú)眼相機(jī)(例如，配置為兩對(duì)魚(yú)眼相機(jī)的四個(gè)魚(yú)眼相機(jī))。一對(duì)魚(yú)眼相機(jī)可配置為不捕獲3-d圖像，并且可包括相隔ics距離(對(duì)應(yīng)于ipd)的兩個(gè)魚(yú)眼相機(jī)。在具體實(shí)施方式中，具有魚(yú)眼相機(jī)的相機(jī)系統(tǒng)110可配置為模擬3-d立體觀測(cè)(例如，深度或3-d結(jié)構(gòu)的感知)，并且可與位于圖像球形范圍內(nèi)的一個(gè)或多個(gè)虛擬相機(jī)對(duì)應(yīng)。

在具體實(shí)施方式中，相機(jī)系統(tǒng)110可包括具有相對(duì)高的fovv和低的fovh的相機(jī)112。例如但不限于，相機(jī)112可具有提供垂直視場(chǎng)寬于水平視場(chǎng)的鏡頭(例如，像散鏡頭(astigmaticlens))。作為另一示例而不限制，相機(jī)112可具有約180°的fovv和約30°的fovh。在具體實(shí)施方式中，相對(duì)窄的水平fov可提供在水平方向上具有相對(duì)低的變形的捕獲的圖像。在具體實(shí)施方式中，與相對(duì)寬的fovv有關(guān)的豎直方向中的變形可至少部分地基于鏡頭校準(zhǔn)信息通過(guò)捕獲后的處理來(lái)逆轉(zhuǎn)。在具體實(shí)施方式中，去除豎直方向中的變形可能是比去除水平和垂直兩個(gè)方向中的變形更有效的過(guò)程。例如但不限于，由于圖像變形主要沿著一個(gè)軸(例如，豎直軸)，所以具有相對(duì)低的fovh的相機(jī)112可在變形移除方面可提供改進(jìn)。

在具體實(shí)施方式中，相機(jī)系統(tǒng)110可包括兩個(gè)或兩個(gè)以上的適當(dāng)fov相機(jī)112的集合。例如但不限于，相機(jī)112可具有30至90度的垂直和水平fov。在具體實(shí)施方式中，相機(jī)系統(tǒng)110可包括布置成行的兩個(gè)或兩個(gè)以上的相機(jī)112集合(例如，一組或一圈相機(jī)112位于另一組的上方)。每組相機(jī)112可配置為捕獲一圈圖像，每一圈在水平方向上覆蓋360度全景并在豎直方向上覆蓋適度的fov(例如，60度)。例如但不限于，相機(jī)系統(tǒng)110可包括三組相機(jī)112，每個(gè)相機(jī)具有與相鄰組重疊約15度的約65度的fovv。每一組相機(jī)112可捕獲具有高分辨率和相對(duì)低的變形的圖像，并且來(lái)自每個(gè)圈的圖像可結(jié)合而生成覆蓋全景的高分辨率、低變形的圖像。

在具體實(shí)施方式中，相機(jī)系統(tǒng)110可包括多個(gè)相機(jī)112，其中相機(jī)112可以不結(jié)合為立體相機(jī)對(duì)。例如但不限于，相機(jī)系統(tǒng)110可包括以重疊的水平fov布置的12個(gè)相機(jī)，使得相機(jī)捕獲360度全景。在具體實(shí)施方式中，相機(jī)112可對(duì)齊使得其定向114從共同的中心點(diǎn)117(例如，相機(jī)系統(tǒng)110的機(jī)身118的中心)遠(yuǎn)離或徑向向外指向。在具體實(shí)施方式中，相機(jī)112可以不捕獲3-d圖像，并且3-d效果可在圖像捕獲之后在拼接或重構(gòu)過(guò)程期間產(chǎn)生。例如但不限于，捕獲后處理可應(yīng)用至圖像以模擬立體觀測(cè)。

在具體實(shí)施方式中，校準(zhǔn)過(guò)程可應(yīng)用至相機(jī)112或相機(jī)系統(tǒng)110。例如但不限于，相機(jī)112、相機(jī)對(duì)200或相機(jī)系統(tǒng)110可具有由制作公差產(chǎn)生的位置或?qū)R誤差，并且校準(zhǔn)過(guò)程可用于校正或補(bǔ)償這些誤差并允許改善的圖像拼接。在具體實(shí)施方式中，校準(zhǔn)過(guò)程可用于確定相機(jī)112或相機(jī)對(duì)200具有位置或定向誤差或偏移，并且捕獲的圖像中的對(duì)應(yīng)的誤差或偏移可在圖像捕獲或捕獲后處理過(guò)程期間被校正。例如但不限于，相機(jī)對(duì)200可制作為具有6.5mm的ics，并且通過(guò)校準(zhǔn)過(guò)程，它可確定相機(jī)對(duì)200具有7.0mm的ics。相機(jī)對(duì)200的ics與目標(biāo)ics之間的0.5mm的差異可在圖像捕獲或通過(guò)捕獲后校正過(guò)程期間被校正(例如，對(duì)應(yīng)于0.5mm的偏移可應(yīng)用至由相機(jī)112之一捕獲的圖像)。作為另一示例而不限制，相機(jī)對(duì)200可制作為在相鄰相機(jī)對(duì)200之間具有均勻的30°角度間隔，并且通過(guò)校準(zhǔn)過(guò)程，它可確定相機(jī)對(duì)200相對(duì)于相鄰相機(jī)對(duì)200具有29°角度間隔。相機(jī)對(duì)200之間的1°的角度誤差可在圖像被捕獲時(shí)或在捕獲后校正過(guò)程期間被校正(例如，對(duì)應(yīng)于1°旋轉(zhuǎn)的偏移可應(yīng)用至由一個(gè)或多個(gè)相機(jī)112捕獲的圖像)。

在具體實(shí)施方式中，在制造相機(jī)系統(tǒng)110之后，在使用相機(jī)系統(tǒng)110之前可以周期性的間隔(例如，每月每多個(gè)月)或以任何適當(dāng)?shù)臅r(shí)間或時(shí)間間隔將校準(zhǔn)過(guò)程應(yīng)用至相機(jī)系統(tǒng)110。例如但不限于，相機(jī)系統(tǒng)110可在捕獲場(chǎng)景之前應(yīng)用校準(zhǔn)過(guò)程，這可以確保相機(jī)112的位置和定向在圖像捕獲過(guò)程中是已知的，以確保拼接過(guò)程成功。作為另一示例而不限制，可將校準(zhǔn)過(guò)程應(yīng)用至相機(jī)系統(tǒng)110以校正可能由溫度變化、相機(jī)系統(tǒng)110的老化或機(jī)械沖擊導(dǎo)致的相機(jī)的誤對(duì)準(zhǔn)(例如，假如相機(jī)系統(tǒng)110在傳輸過(guò)程中掉落)。在具體實(shí)施方式中，一旦執(zhí)行校準(zhǔn)過(guò)程，有關(guān)相機(jī)112或相機(jī)對(duì)200的校準(zhǔn)的數(shù)據(jù)可存儲(chǔ)至相機(jī)系統(tǒng)110的非易失性存儲(chǔ)器中。雖然本公開(kāi)描述了以特定方式及特定次數(shù)執(zhí)行的特定校準(zhǔn)過(guò)程，但是本公開(kāi)可設(shè)想到以任何適當(dāng)方式和任何適當(dāng)?shù)拇螖?shù)執(zhí)行的任何適當(dāng)?shù)男?zhǔn)過(guò)程。

在具體實(shí)施方式中，相機(jī)系統(tǒng)110的相機(jī)112可利用投射的光進(jìn)行校準(zhǔn)。在具體實(shí)施方式中，可利用將光學(xué)校準(zhǔn)圖案投射至相鄰的表面上的廣角投影儀、燈前罩或激光掃描儀或反射器來(lái)實(shí)現(xiàn)投射光校準(zhǔn)。例如但不限于，激光束可被衍射光柵或機(jī)動(dòng)鏡反射以生成投射至相鄰的表面上的校準(zhǔn)圖案。投射的激光圖案通過(guò)相機(jī)112成像以確定相機(jī)校準(zhǔn)參數(shù)。在具體實(shí)施方式中，用于生成并投射校準(zhǔn)圖案的光學(xué)組件(例如，激光、鏡或光柵)可機(jī)械設(shè)計(jì)為在不使用時(shí)縮進(jìn)相機(jī)系統(tǒng)機(jī)身118中或縮至其下方。在具體實(shí)施方式中，光學(xué)校準(zhǔn)組件可配置為旋轉(zhuǎn)以在不同的方向上投射校準(zhǔn)圖案，使得相機(jī)系統(tǒng)110的不同相機(jī)112可被校準(zhǔn)。在具體實(shí)施方式中，相機(jī)系統(tǒng)110可放置于控制室或球面內(nèi)，以提供改善的校準(zhǔn)準(zhǔn)確度。雖然本公開(kāi)描述了特定的投射光校準(zhǔn)系統(tǒng)，但是本公開(kāi)可設(shè)想到任何適當(dāng)?shù)耐干涔庑?zhǔn)系統(tǒng)。

在具體實(shí)施方式中，可利用物理或機(jī)械過(guò)程或結(jié)構(gòu)來(lái)校準(zhǔn)相機(jī)系統(tǒng)110的相機(jī)112。例如但不限于，諸如扇形或傘狀設(shè)備的機(jī)械校準(zhǔn)結(jié)構(gòu)可存在于相機(jī)112之間或相機(jī)系統(tǒng)機(jī)身118下方或內(nèi)部。在校準(zhǔn)期間，這些物理校準(zhǔn)器可機(jī)械地布置在相對(duì)于相機(jī)系統(tǒng)100已知的位置處。物理校準(zhǔn)器可通過(guò)相機(jī)112成像，并且捕獲的圖像可與已知的幾何結(jié)構(gòu)進(jìn)行比較以確定校準(zhǔn)參數(shù)。在具體實(shí)施方式中，機(jī)械校準(zhǔn)設(shè)備可以是與相機(jī)系統(tǒng)110分開(kāi)的物理設(shè)備。例如但不限于，外部校準(zhǔn)設(shè)備可具有從球形外部機(jī)身向內(nèi)延伸的內(nèi)部輻條以允許相機(jī)系統(tǒng)110保持在對(duì)于校準(zhǔn)設(shè)備已知的精確的位置處。作為另一示例而不限制，外部校準(zhǔn)設(shè)備可包括允許相機(jī)系統(tǒng)110相對(duì)于校準(zhǔn)設(shè)備精確地定位的光學(xué)傳感器。在具體實(shí)施方式中，校準(zhǔn)設(shè)備的內(nèi)表面可具有由相機(jī)112成像的校準(zhǔn)標(biāo)記，并且相機(jī)112或相機(jī)對(duì)200的校準(zhǔn)參數(shù)可基于捕獲的校準(zhǔn)標(biāo)記的圖像來(lái)確定。在具體實(shí)施方式中，相機(jī)系統(tǒng)110可包括將校準(zhǔn)圖案投射至校準(zhǔn)設(shè)備的內(nèi)表面上的光學(xué)組件。雖然本公開(kāi)描述了特定的物理校準(zhǔn)系統(tǒng)，但是本公開(kāi)可設(shè)想到任何適當(dāng)?shù)奈锢硇?zhǔn)系統(tǒng)。

在具體實(shí)施方式中，相機(jī)系統(tǒng)110可包括集成為相機(jī)系統(tǒng)110的一部分的一個(gè)或多個(gè)處理器，或者相機(jī)系統(tǒng)110可聯(lián)接至位于相機(jī)系統(tǒng)110外部的一個(gè)或多個(gè)處理器。例如但不限于，相機(jī)系統(tǒng)110可包括位于相機(jī)系統(tǒng)110的機(jī)身118內(nèi)部的一個(gè)或多個(gè)前端處理器120。作為另一示例而不限制，相機(jī)112可通過(guò)usb連接至一個(gè)或多個(gè)前端前端處理器機(jī)器120的集合。在具體實(shí)施方式中，前端處理器120可實(shí)現(xiàn)相機(jī)112的內(nèi)部控制、相機(jī)變形校正、圖像的裁剪、視頻的編碼、圖像數(shù)據(jù)的壓縮或視頻的傳輸。例如但不限于，相機(jī)系統(tǒng)110可包括連接至相機(jī)112的獨(dú)立的前端處理器120，該前端處理器120實(shí)現(xiàn)初始圖像調(diào)整、相機(jī)參數(shù)控制或相機(jī)數(shù)據(jù)的初始編碼以為傳輸減低視頻載荷。在具體實(shí)施方式中，與相機(jī)系統(tǒng)110相關(guān)的前端處理器的數(shù)量可至少部分地取決于相機(jī)系統(tǒng)110中的相機(jī)112的數(shù)量以及由相機(jī)112捕獲的視頻的尺寸或幀速率。例如但不限于，每個(gè)相機(jī)112可連接至一個(gè)或多個(gè)專(zhuān)用處理器120。盡管本公開(kāi)描述并示出以特定方式聯(lián)接至特定處理器的特定相機(jī)系統(tǒng)，但是本公開(kāi)可設(shè)想到以任何適當(dāng)方式聯(lián)接至任何適當(dāng)?shù)奶幚砥鞯娜魏芜m當(dāng)相機(jī)系統(tǒng)。

在具體實(shí)施方式中，可通過(guò)一個(gè)或多個(gè)處理器120來(lái)對(duì)相機(jī)參數(shù)(例如，亮度、對(duì)比度、增益、曝光、白平衡、飽和、聚焦或光圈設(shè)置)進(jìn)行校準(zhǔn)、控制或匹配。在具體實(shí)施方式中，由于每個(gè)相機(jī)112可不同地看見(jiàn)場(chǎng)景，所以對(duì)于每個(gè)相機(jī)112的白平衡設(shè)置可獨(dú)立于其他相機(jī)而設(shè)置或控制。例如但不限于，定位成挨著窗口的相機(jī)112可看見(jiàn)藍(lán)色的場(chǎng)景，而相鄰相機(jī)112可看見(jiàn)紅色的室內(nèi)照明，并且兩個(gè)相機(jī)可具有不同的白平衡設(shè)置。在具體實(shí)施方式中，可全局地控制一個(gè)或多個(gè)相機(jī)參數(shù)以確保相鄰相機(jī)(例如，相鄰的左相機(jī)112或相鄰的右相機(jī)112)的設(shè)置不會(huì)偏離太遠(yuǎn)。例如但不限于，相機(jī)112的曝光或增益的設(shè)置可至少部分地基于一個(gè)或多個(gè)相鄰相機(jī)112的設(shè)置。作為另一示例而不限制，如果曝光或增益設(shè)置被調(diào)整，則處理器120可保證對(duì)于同一眼睛的相鄰相機(jī)(例如，相鄰的左相機(jī)112或相鄰的右相機(jī)112)的設(shè)置不會(huì)偏離太遠(yuǎn)，以最小化圖像顯帶或不可接受的拼接性能。在具體實(shí)施方式中，相機(jī)112的聚焦設(shè)置可保持為無(wú)窮大以最小化可由相機(jī)聚焦的改變導(dǎo)致的拼接誤差。在具體實(shí)施方式中，相機(jī)112可設(shè)置為具有減小的光圈，以提供可能導(dǎo)致拼接誤差降低的更大的景深(depthoffield)。雖然本公開(kāi)描述了以特定的方式控制的特定的相機(jī)參數(shù)，但是本公開(kāi)可設(shè)想到以任何適當(dāng)方式控制的任何適當(dāng)相機(jī)參數(shù)。

在具體實(shí)施方式中，針對(duì)每個(gè)相機(jī)110編碼過(guò)程可涉及一個(gè)前端處理器120，或者單個(gè)處理器120(具有單個(gè)內(nèi)核或多個(gè)處理器內(nèi)核)可被多個(gè)相機(jī)110共享。前端處理器120可使用加速器、專(zhuān)用集成電路(asic)或子處理器以處理捕獲、修改、壓縮、存儲(chǔ)或傳輸視頻數(shù)據(jù)的任務(wù)中的一部分。每個(gè)處理器120可運(yùn)行通用操作系統(tǒng)，或者可以是以與中央控制處理器完全或接近鎖步(lockstep)的方式操作的asic本身。在具體實(shí)施方式中，中央控制處理器可起到與前端圖像捕獲處理器120通信的分配器或中央控制點(diǎn)的作用。在具體實(shí)施方式中，中央處理器可實(shí)現(xiàn)為單個(gè)大型asic的一部分，其具有連接并控制每個(gè)相機(jī)112的復(fù)制的資源。在這種情況下，相同代碼或基于硬件的算法的多個(gè)線程或副本可運(yùn)行為并行進(jìn)行捕獲過(guò)程。在具體實(shí)施方式中，前端處理器120可使用處理器本地存儲(chǔ)系統(tǒng)或者可立即將數(shù)據(jù)串流至一個(gè)或多個(gè)共享的存儲(chǔ)資源。在具體實(shí)施方式中，可使用分散存儲(chǔ)，并且可將處理器本地存儲(chǔ)器用作拼接系統(tǒng)的緩沖器以實(shí)現(xiàn)系統(tǒng)負(fù)載分布。

在具體實(shí)施方式中，前端處理器120可使用總線或網(wǎng)絡(luò)以進(jìn)行數(shù)據(jù)的傳輸。數(shù)據(jù)傳輸可使用任何適當(dāng)?shù)臄?shù)據(jù)傳輸格式。在具體實(shí)施方式中，可使用保證接收或者另外地向接收者告知包丟失的傳輸方法。在具體實(shí)施方式中，發(fā)送組件可重新傳輸損壞的包，或者可允許接收者將表明發(fā)生包損壞的標(biāo)志插入存儲(chǔ)的數(shù)據(jù)流中。在具體實(shí)施方式中，拼接系統(tǒng)則可根據(jù)需要補(bǔ)償這種損壞的或丟失的包。

在具體實(shí)施方式中，相機(jī)112可相對(duì)于目標(biāo)位置或定向114具有某些鏡頭變形和某些偏差。在具體實(shí)施方式中，這些效應(yīng)的校正可以是靜態(tài)的，并且可利用前端中的查找表對(duì)其進(jìn)行預(yù)校準(zhǔn)和校正。例如但不限于，可將全景校準(zhǔn)、暈光校正、鏡頭變形校正、白平衡校正、曝光校正和匹配或視角調(diào)整直接應(yīng)用至圖像。以這種方式，可在產(chǎn)生任何壓縮引起的顏色或特征移位之前對(duì)圖像進(jìn)行操作，這可以減少可視的校正偽像(artifact)的出現(xiàn)。另外，可應(yīng)用顏色校正以強(qiáng)化邊緣銳度、整體曝光或白平衡。在具體實(shí)施方式中，為了降低圖像的壓縮尺寸，可將降噪應(yīng)用至場(chǎng)景。在具體實(shí)施方式中，前端處理器120可在應(yīng)用一個(gè)或多個(gè)圖像校正或強(qiáng)化步驟之后對(duì)圖像進(jìn)行下采樣。例如但不限于，可對(duì)輸出圖像進(jìn)行下采樣，而不使用處理器密集型子采樣過(guò)程。在具體實(shí)施方式中，可以以比在隨后的拼接中使用的分辨率更高的分辨率捕獲圖像，并且該高分辨率圖像的捕獲可能有助于減輕可能與校正或增強(qiáng)步驟有關(guān)的混疊或偽像。

在具體實(shí)施方式中，一個(gè)或多個(gè)拼接服務(wù)器130可接收經(jīng)相機(jī)系統(tǒng)110的一個(gè)或多個(gè)前端處理器120編碼的圖像。如上所述，圖像可對(duì)應(yīng)于由相機(jī)系統(tǒng)110實(shí)時(shí)捕獲的360°3-d視頻。在圖1的示例中，利用tcp通過(guò)以太網(wǎng)將圖像從前端處理器120發(fā)送至拼接服務(wù)器130。在具體實(shí)施方式中，可以任何適當(dāng)順序從前端處理器120接收?qǐng)D像，或者以任何適當(dāng)順序存儲(chǔ)圖像。例如但不限于，在被傳輸至一個(gè)或多個(gè)拼接服務(wù)器130之前，可以與圖像的空間順序?qū)?yīng)的順序排列圖像(例如，如圖7中所示的圖像i-l1至i-ln)。在具體實(shí)施方式中，當(dāng)不需要實(shí)時(shí)性能時(shí)，例如當(dāng)處理用于稍后傳輸或觀看的圖像時(shí)，拼接系統(tǒng)可包括單個(gè)拼接服務(wù)器130(或者兩個(gè)或兩個(gè)以上的拼接服務(wù)器130)。在具體實(shí)施方式中，當(dāng)需要實(shí)時(shí)性能時(shí)(例如，當(dāng)拼接用于實(shí)時(shí)傳輸或觀看的高分辨率、高幀速率的視頻時(shí))，拼接系統(tǒng)可包括數(shù)十至數(shù)百個(gè)拼接服務(wù)器130。盡管本公開(kāi)描述并示出包括特定數(shù)量的拼接服務(wù)器的特定拼接系統(tǒng)，但是本公開(kāi)可設(shè)想到包括任何適當(dāng)?shù)臄?shù)量的拼接服務(wù)器的任何適當(dāng)?shù)钠唇酉到y(tǒng)。

在具體實(shí)施方式中，一個(gè)或多個(gè)拼接服務(wù)器130可從一個(gè)或多個(gè)前端處理器120接收一組離散圖像，并且拼接服務(wù)器130可將離散圖像“拼接”在一起并生成用于傳輸或顯示的單個(gè)3-d幀。例如但不限于，拼接服務(wù)器130可從左相機(jī)系統(tǒng)110的相機(jī)112接收一組左圖像，并且拼接服務(wù)器130可對(duì)圖像進(jìn)行拼接或結(jié)合以實(shí)時(shí)地生成3-d圖像的左幀。類(lèi)似地，拼接服務(wù)器130拼接來(lái)自右相機(jī)112的一組右圖像以實(shí)時(shí)地生成3-d圖像的右?guī)?，并且左幀和右?guī)黄鹂杀硎締蝹€(gè)實(shí)時(shí)3-d幀。在具體實(shí)施方式中，拼接過(guò)程可通過(guò)扭曲、變形或?qū)R多個(gè)離散圖像來(lái)創(chuàng)建基本無(wú)縫的圖像，以確保重疊圖像的對(duì)應(yīng)點(diǎn)匹配。例如但不限于，拼接過(guò)程可使用來(lái)自相鄰相機(jī)的離散圖像之間的對(duì)應(yīng)關(guān)系來(lái)計(jì)算由拼接的圖像捕獲的場(chǎng)景的幾何結(jié)構(gòu)。作為另一示例而不限制，拼接過(guò)程可扭曲、變形或?qū)R離散圖像，使得一組重疊圖像的對(duì)應(yīng)點(diǎn)匹配且重疊圖像的多余部分被丟棄。然后，拼接過(guò)程可將一批對(duì)齊的圖像混合成合并的無(wú)縫圖像。在具體實(shí)施方式中，為減少眼疲勞，可對(duì)對(duì)應(yīng)于人的左眼和右眼的圖像進(jìn)行操控以確保兩只眼睛看見(jiàn)場(chǎng)景的對(duì)應(yīng)部分。

在具體實(shí)施方式中，一個(gè)或多個(gè)拼接服務(wù)器130可對(duì)由相機(jī)112捕獲的視頻執(zhí)行拼接過(guò)程。例如但不限于，單個(gè)拼接服務(wù)器130(或并行操作的多個(gè)拼接服務(wù)器130)可對(duì)由相機(jī)112捕獲的一系列圖像執(zhí)行拼接。在多相機(jī)系統(tǒng)中，例如，在圖4的示例中示出的相機(jī)系統(tǒng)110中，可在拼接過(guò)程期間對(duì)捕獲的圖像執(zhí)行時(shí)間碼對(duì)齊。在具體實(shí)施方式中，可以鎖步方式捕獲或拼接視頻的一系列圖像，以保持圖像之間的時(shí)間一致性。例如但不限于，前端處理器120可存儲(chǔ)由每個(gè)相機(jī)112捕獲的每個(gè)圖像上的時(shí)間碼或時(shí)間戳(例如，絕對(duì)本地時(shí)間或相對(duì)時(shí)間計(jì)數(shù)器的值)。例如，分別由相機(jī)l1至l12捕獲的圖像il-1至il-12可各自包括與圖像被捕獲的時(shí)間對(duì)應(yīng)的時(shí)間戳。在具體實(shí)施方式中，由相機(jī)112捕獲的圖像可包括與該圖像被捕獲的時(shí)間對(duì)應(yīng)的時(shí)間戳，并且對(duì)于三維視頻的每一幀，拼接服務(wù)器130可將在特定時(shí)間范圍內(nèi)捕獲的圖像拼接在一起。例如，拼接服務(wù)器130可要求待拼接在一起的圖像具有允諾處于10ms、20ms、30ms內(nèi)或處于任何適當(dāng)?shù)臅r(shí)間間隔內(nèi)的時(shí)間戳。作為另一示例，拼接服務(wù)器130可要求待拼接在一起的圖像具有相同地處于特定量的幀周期內(nèi)的時(shí)間戳，其中，幀周期為幀速率的倒數(shù)。例如，視頻可具有對(duì)應(yīng)于40ms的幀周期的25幀每秒(fps)的幀速率，并且拼接服務(wù)器130可要求待拼接在一起的圖像具有相同地處于一個(gè)幀周期內(nèi)(例如，40ms內(nèi))、二分之一幀周期內(nèi)(例如，20ms內(nèi))或處于任何適當(dāng)分量的幀周期內(nèi)的時(shí)間戳。在具體實(shí)施方式中，如果檢測(cè)到一組圖像的時(shí)間戳中的間隙或誤差或圖像幀具有損壞的標(biāo)志，則拼接服務(wù)器130可丟棄整組圖像，并且可重新使用先前拼接的圖像。例如但不限于，如果一組圖像的一個(gè)或多個(gè)圖像具有比平均時(shí)間戳或目標(biāo)時(shí)間戳多出一個(gè)以上的幀周期的時(shí)間戳，則可丟棄該組圖像，可重新使用先前拼接的圖像來(lái)代替丟棄的圖像。

在具體實(shí)施方式中，相機(jī)系統(tǒng)110可在相機(jī)112之間包括獨(dú)立的快門(mén)。例如但不限于，可測(cè)量并存儲(chǔ)發(fā)送捕獲圖像的指令(例如，從控制器發(fā)送至前端處理器120或相機(jī)112的指令)所需的時(shí)間。作為另一示例而不限制，每個(gè)前端處理器可接收指令，以在已基于針對(duì)特定前端處理器的延遲而調(diào)整的未來(lái)時(shí)間處開(kāi)始捕獲圖像，由此確保每個(gè)圖像流在相同的時(shí)間開(kāi)始。在具體實(shí)施方式中，拼接服務(wù)器130可確定初始幀的時(shí)間，并且后續(xù)的幀時(shí)間差異可由該初始時(shí)間點(diǎn)來(lái)計(jì)算，其中初始幀的時(shí)間被認(rèn)為是“時(shí)間零點(diǎn)”。

在具體實(shí)施方式中，拼接服務(wù)器130可確定正在被拼接在一起的離散圖像(例如，圖像i-l1至i-ln)的豎直對(duì)齊和水平對(duì)齊。在具體實(shí)施方式中，來(lái)自多個(gè)相機(jī)的圖像可進(jìn)行比較，使得所有的左圖像與其他的左圖像(例如，i-l1至i-ln)進(jìn)行比較且所有的右圖像與其他的右圖像(例如，i-r1至i-rn)進(jìn)行比較。在圖5的示例中，圖像i-6可與相鄰圖像i-5和i-7進(jìn)行比較。另外，左圖像與右圖像(例如，i-l1和i-r1)進(jìn)行比較，以確保它們相對(duì)于彼此準(zhǔn)確地對(duì)齊。例如但不限于，圖像i-l1至i-l12可對(duì)應(yīng)于分別由圖4的示例中所示的相機(jī)系統(tǒng)110的左相機(jī)l1至l12捕獲的圖像。如上所述，對(duì)應(yīng)于每只眼睛的相機(jī)(例如，l6)的fov與其相鄰者(例如，l5和l7)具有重疊部，使得對(duì)圖像空間對(duì)齊導(dǎo)致相鄰圖像(例如，i-6和i-7)之間產(chǎn)生重疊區(qū)域210。如下所述，相鄰圖像的重疊區(qū)域210可用于識(shí)別用于創(chuàng)建拼接圖像200的圖像特征。在具體實(shí)施方式中，由于相機(jī)系統(tǒng)的幾何結(jié)構(gòu)是已知的，因此可以假定執(zhí)行某些拼接參數(shù)的計(jì)算。

圖8示出用于拼接離散圖像的示例性方法。方法300可在步驟310開(kāi)始：從若干相機(jī)112接收若干圖像。在具體實(shí)施方式中，相機(jī)可包括具有第一定向114的第一相機(jī)112和具有第二定向114的第二相機(jī)112。在具體實(shí)施方式中，圖像可包括來(lái)自第一相機(jī)112的第一圖像和來(lái)自第二相機(jī)112的第二圖像。在步驟320中，檢測(cè)第一圖像和第二圖像內(nèi)的若干特征點(diǎn)。在步驟330中，確定位于第一圖像和第二圖像之間的重疊區(qū)域內(nèi)的一個(gè)或多個(gè)相應(yīng)特征點(diǎn)對(duì)。在具體實(shí)施方式中，上述一個(gè)或多個(gè)相應(yīng)特征點(diǎn)對(duì)包括來(lái)自第一圖像和第二圖像中的每個(gè)圖像的特征點(diǎn)中的相應(yīng)特征點(diǎn)。在步驟340中，基于每個(gè)相應(yīng)特征點(diǎn)對(duì)之間所計(jì)算的偏差，在空間上調(diào)整第一圖像或第二圖像。在步驟350中，基于空間調(diào)整將第一圖像和第二圖像結(jié)合為合并或拼接的圖像。在適當(dāng)?shù)那闆r下，具體的實(shí)施方式可重復(fù)圖8的方法中的一個(gè)或多個(gè)步驟。盡管本公開(kāi)將圖8的方法的特定步驟描述并示出為以特定順序發(fā)生，但是本公開(kāi)可設(shè)想到圖8的方法的以任何適當(dāng)順序發(fā)生的任何適當(dāng)步驟。此外，盡管本公開(kāi)描述并示出包括圖8的方法的特定步驟的、用于拼接離散圖像的示例性方法，但是本公開(kāi)可設(shè)想到包括任何適當(dāng)步驟的用于拼接離散圖像的任何適當(dāng)方法，在適當(dāng)?shù)那闆r下，所述步驟可包括圖8的方法的所有或某些步驟或者不包括其中任一步驟。另外，盡管本公開(kāi)描述并示出實(shí)現(xiàn)圖8的方法的特定步驟的特定部件、設(shè)備或系統(tǒng)，但是本公開(kāi)可設(shè)想到實(shí)現(xiàn)圖8的方法的任何適當(dāng)步驟的任何適當(dāng)?shù)牟考?、設(shè)備或系統(tǒng)的任何適當(dāng)組合。

圖9和圖10分別示出用于拼接離散圖像的示例性方法400和450。在具體實(shí)施方式中，如圖9或圖10分別示出的用于拼接圖像的方法，諸如方法400和450，可提供保留3-d感知并自動(dòng)執(zhí)行的、用于拼接圖像的過(guò)程(例如，需要極少人工干預(yù)或不需要人工干預(yù)的過(guò)程)。盡管本公開(kāi)描述并示出以特定順序執(zhí)行特定步驟以拼接圖像的特定流程，但是本公開(kāi)可設(shè)想到以適當(dāng)順序執(zhí)行任何適當(dāng)步驟的任何適當(dāng)?shù)牧鞒獭?/p>

在具體實(shí)施方式中，可在拼接之前對(duì)從相機(jī)系統(tǒng)110的前端處理器120接收的圖像進(jìn)行調(diào)整大小。以下描述的在確定多個(gè)相應(yīng)特征點(diǎn)對(duì)時(shí)降低圖像分辨率的圖像可加速拼接過(guò)程。另外，如以下描述，分辨率的降低可提高在光線暗的條件下對(duì)噪音的回彈性(resilience)，以及針對(duì)特征檢測(cè)提高對(duì)小規(guī)模紋理的整體敏感度。例如但不限于，2-8兆像素(mp)圖像可調(diào)整大小為對(duì)于實(shí)時(shí)3-d拼接過(guò)程較易于管理的低分辨率。作為另一示例而不限制，由相機(jī)112捕獲的8mp圖像可調(diào)整大小為2mp，并且經(jīng)調(diào)整大小的2-mp圖像可用作拼接過(guò)程的輸入。在具體實(shí)施方式中，經(jīng)調(diào)整大小的圖像可限制為具有最小尺寸(例如，1mp、2mp或任何適當(dāng)?shù)淖钚〕叽?。例如但不限于，4mp和2mp圖像均可調(diào)整大小為1mp。在具體實(shí)施方式中，對(duì)接收的圖像調(diào)整大小可降低圖像中可通過(guò)使用局部對(duì)比度增強(qiáng)影響特征檢測(cè)的噪音。例如但不限于，如lanczos核(lanczoskernel)的尺度核(scalingkernel)可用于最小化可能導(dǎo)致特征檢測(cè)中的誤差的核構(gòu)件(kernelartifact)。在具體實(shí)施方式中，可從相比于原始圖像調(diào)整大小為低分辨率的圖像確定拼接參數(shù)。例如但不限于，在利用一組經(jīng)調(diào)整大小的圖像(例如，2mp圖像)確定拼接參數(shù)之后，可利用確定的拼接參數(shù)將由相機(jī)112捕獲的一組原始的高分辨率圖像(例如，8mp圖像)拼接在一起。

在具體實(shí)施方式中，可對(duì)從相機(jī)系統(tǒng)110接收的圖像進(jìn)行去扭曲(dewarping)以將圖像拼接在矩形平面上。例如但不限于，可對(duì)接收的圖像進(jìn)行超采樣以減少可能阻礙以下描述的特征檢測(cè)的偽像的量。在具體實(shí)施方式中，去扭曲過(guò)程可與縮放(scaling)過(guò)程結(jié)合，這樣可減少對(duì)于超采樣的需求。例如但不限于，接收的圖像可經(jīng)歷結(jié)合的去扭曲和縮放過(guò)程，并且去扭曲和縮放的結(jié)合可減少圖像中的偽像。可替換地，對(duì)接收的圖像去扭曲可用作作為位置函數(shù)的全局變換，并且對(duì)接收的圖像的像素?cái)?shù)據(jù)的訪問(wèn)可經(jīng)過(guò)變換和超采樣以生成適當(dāng)?shù)闹?。在具體實(shí)施方式中，圖像的去扭曲變換可通過(guò)方程(1)來(lái)估計(jì)：

其中，x為沿著投射的3-d空間的緯度(latitude)的位置，y為沿著投射的3-d空間的經(jīng)度(longitude)的位置，a..e為相機(jī)去扭曲參數(shù)，scale′為圖像的縮放因子，translate′為水平或垂直空間平移參數(shù)，并且x′和y′分別為去扭曲變換后的緯度和經(jīng)度位置。在具體實(shí)施方式中，可基于相機(jī)系統(tǒng)的一個(gè)或多個(gè)相機(jī)的特性利用估計(jì)的縮放因子執(zhí)行去扭曲過(guò)程。在具體實(shí)施方式中，可對(duì)一組或多組初始圖像組合執(zhí)行去扭曲過(guò)程，并且可利用去扭曲過(guò)程的抽象化將簡(jiǎn)化版的去扭曲過(guò)程應(yīng)用至隨后的圖像。例如但不限于，對(duì)點(diǎn)和圖像的訪問(wèn)可抽象化，以提供更快的去扭曲過(guò)程。

在步驟305中，如圖10的示例中所示，可檢測(cè)接收的圖像中的構(gòu)成場(chǎng)景的特征。在具體實(shí)施方式中，可在圖像i-6的灰度版上執(zhí)行特征檢測(cè)和匹配，并且可在單獨(dú)的操作中或通過(guò)查找表(lut)對(duì)圖像i-6應(yīng)用特定的對(duì)比度。在具體實(shí)施方式中，可利用局部對(duì)比度增強(qiáng)對(duì)圖像i-6全局地執(zhí)行特征檢測(cè)。局部對(duì)比度增強(qiáng)提升“局部”對(duì)比度，而同時(shí)防止“全局”對(duì)比度的增加，由此保護(hù)大規(guī)模陰影/高亮細(xì)節(jié)。例如但不限于，局部對(duì)比度梯度可表示與特征對(duì)應(yīng)的邊緣、角落或“模糊點(diǎn)(blob)”?？衫锰卣鳈z測(cè)算法檢測(cè)圖像i-6的特征，諸如尺度不變量特征算法(sift)、加速魯棒特征(surf)或orb(orientedfastandrotatedbrief)，其中fast代表“來(lái)自加速的分段測(cè)試”并且brief代表“二進(jìn)制魯棒獨(dú)立的基本特征”。在具體實(shí)施方式中，特征檢測(cè)過(guò)程可檢測(cè)一個(gè)或多個(gè)特征點(diǎn)214。例如但不限于，可通過(guò)取得多重高斯平滑操作來(lái)檢測(cè)特征點(diǎn)214。另外，可針對(duì)每個(gè)搜索區(qū)域212存儲(chǔ)特征點(diǎn)214的位置(例如，柵格內(nèi)或搜索區(qū)域212內(nèi))和每個(gè)特征點(diǎn)214的對(duì)比度值。

圖11示出圖像的示例性分割。在具體實(shí)施方式中，接收的圖像(例如，圖像i-7至i-5)可分割為若干個(gè)搜索區(qū)域212。例如但不限于，如圖7的示例中所示，圖像i-7至i-5可對(duì)應(yīng)于與特定眼睛對(duì)應(yīng)的圖像(例如，所有左圖像或右圖像)。在具體實(shí)施方式中，如圖11的示例中所示，接收的圖像(例如，i-7至i-5)可分割為布置成4x6矩形柵格的24個(gè)搜索區(qū)域。如上所述，來(lái)自與特定眼睛對(duì)應(yīng)的相鄰相機(jī)的(例如，所有左相機(jī))的圖像(例如，i-7至i-5)具有與相應(yīng)的相機(jī)的fov之間的角度重疊部116成比例的重疊區(qū)域2106-7和2105-6。在具體實(shí)施方式中，圖像(例如，i-7至i-5)的重疊區(qū)域2106-7和2105-6可對(duì)應(yīng)于接收的圖像(例如，i-7至i-5)的右邊緣和左邊緣。在具體實(shí)施方式中，特征點(diǎn)檢測(cè)或匹配可限制于相鄰圖像的重疊區(qū)域。在圖11的示例中，對(duì)于相鄰圖像i-6和i-7，特征點(diǎn)檢測(cè)可僅應(yīng)用在重疊區(qū)域2106-7中?？梢圆豢紤]重疊區(qū)域210外部的區(qū)域，這可保證位于重疊區(qū)域外部的無(wú)關(guān)或不必要的點(diǎn)不會(huì)影響拼接過(guò)程。

圖12示出示例性的圖像特征點(diǎn)匹配。在步驟310中，如圖10的示例中所示，可在重疊區(qū)域2106-7的搜索區(qū)域上局部地執(zhí)行特征點(diǎn)匹配，以最小化拼接圖像220上的無(wú)關(guān)點(diǎn)影響。例如但不限于，可對(duì)檢測(cè)的特征點(diǎn)214a-b執(zhí)行特征點(diǎn)計(jì)算，以將圖像i-6的特征點(diǎn)214a匹配至圖像i-7的相應(yīng)特征點(diǎn)214b?？赏ㄟ^(guò)局部地比較重疊區(qū)域2106-7的搜索區(qū)域中的每個(gè)檢測(cè)的特征點(diǎn)214a-b附近的區(qū)域來(lái)檢測(cè)所述對(duì)相應(yīng)特征點(diǎn)214a-b。在具體實(shí)施方式中，相應(yīng)的圖像i-7和i-6中的特征點(diǎn)214a-b的相應(yīng)的對(duì)比度設(shè)置可應(yīng)用為特征點(diǎn)214a-b的匹配的一部分。例如但不限于，圖像i-7和i-6之間的對(duì)比度差異可作為對(duì)比度曲線的偏移補(bǔ)償。在具體實(shí)施方式中，該對(duì)比度曲線的偏移可利用附加的比特(例如，利用符號(hào)化16比特或8比特值)來(lái)計(jì)算，以將其考慮在內(nèi)。偏移的差異可導(dǎo)致最佳匹配具有提前已知的均勻差異。

在具體實(shí)施方式中，用于匹配特征點(diǎn)214的區(qū)域的大小可根據(jù)圖像的尺寸來(lái)設(shè)定。在具體實(shí)施方式中，相機(jī)系統(tǒng)110的幾何結(jié)構(gòu)可以是已知的，并且基于已知的相機(jī)系統(tǒng)幾何結(jié)構(gòu)，相鄰圖像i-6和i-7的搜索區(qū)域和重疊區(qū)域2106-7的像素的大致數(shù)量可以是提前已知的。例如但不限于，由于相機(jī)系統(tǒng)110的相機(jī)112的位置和定向相對(duì)于彼此是固定的，因此相鄰的左相機(jī)(例如，相機(jī)l1和l2)或相鄰的右相機(jī)(例如，相機(jī)r11和r12)之間的重疊部可以是已知的，類(lèi)似地，相鄰的左相機(jī)或右相機(jī)(例如，相機(jī)l1和r1)之間的重疊部也可以是已知的。在具體實(shí)施方式中，可利用最近鄰搜索算法執(zhí)行相應(yīng)特征點(diǎn)對(duì)的確定。例如但不限于，最近鄰搜索算法可識(shí)別圖像i-7的重疊區(qū)域2106-7的每個(gè)搜索區(qū)域內(nèi)的特征點(diǎn)214b，所述特征點(diǎn)214b與圖像i-6的重疊區(qū)域2106-7的每個(gè)搜索區(qū)域內(nèi)的特征點(diǎn)214a的對(duì)應(yīng)圖案匹配。在具體實(shí)施方式中，最近鄰算法可使用每個(gè)特征點(diǎn)214a-b周?chē)乃阉靼霃絹?lái)確定相應(yīng)特征點(diǎn)214a-b的對(duì)。例如但不限于，搜索區(qū)域可具有32像素、64像素的半徑或任何適當(dāng)?shù)陌霃?，或者搜索區(qū)域可具有32像素×32像素、64像素×64像素的尺寸或任何適當(dāng)?shù)某叽?。在具體實(shí)施方式中，在最終單應(yīng)性(homography)計(jì)算之前，可使用二次精細(xì)化步驟來(lái)重新對(duì)齊相應(yīng)特征點(diǎn)對(duì)。

在具體實(shí)施方式中，特征匹配過(guò)程可使用估計(jì)的參數(shù)，并且可在重疊區(qū)域或搜索區(qū)域內(nèi)應(yīng)用某些搜索以優(yōu)化位置。在具體實(shí)施方式中，隨著特征搜索從圖像(例如，圖像i-6或i-7)的中心移動(dòng)至邊緣，搜索半徑可增加。例如但不限于，由于與實(shí)際參數(shù)和估計(jì)的參數(shù)(例如實(shí)際fov對(duì)估計(jì)fov)之間的差異有關(guān)的誤差增加，搜索半徑可能增加。在具體實(shí)施方式中，附加的特征點(diǎn)可以以少于相應(yīng)特征點(diǎn)對(duì)214a-b的預(yù)定數(shù)量(例如3對(duì))的數(shù)量添加至區(qū)域212。例如但不限于，如果特征搜索在特定區(qū)域212中呈現(xiàn)少于3個(gè)的特征點(diǎn)，則來(lái)自備份特征點(diǎn)集合的備份特征點(diǎn)可添加至一組特征。在具體實(shí)施方式中，備份、替代或附加的特征點(diǎn)可基于相機(jī)系統(tǒng)110的特性、每個(gè)相機(jī)112的特性、校準(zhǔn)數(shù)據(jù)或它們的任意組合，并且附加的特征點(diǎn)可在數(shù)據(jù)結(jié)構(gòu)中指出或被標(biāo)記。

在具體實(shí)施方式中，相機(jī)參數(shù)或圖像(例如，i-6和i-7)可試探地優(yōu)化以減少最終優(yōu)化中的自由變量的數(shù)量，以生成拼接圖像220。例如但不限于，試探優(yōu)化可用于優(yōu)化或精細(xì)化一個(gè)或多個(gè)相機(jī)相關(guān)參數(shù)(例如，fov、定向114或豎直或水平相機(jī)中心的位置)。特征匹配過(guò)程可使用至少部分地基于已知的相機(jī)幾何結(jié)構(gòu)(例如，相機(jī)系統(tǒng)110的相機(jī)112的位置或定向)或校準(zhǔn)過(guò)程估計(jì)的相機(jī)參數(shù)。例如，已知相機(jī)112的正常位置和定向可允許對(duì)相機(jī)fov、角度重疊部116、相機(jī)定向114或相機(jī)位置(例如，相機(jī)中心的豎直和水平位置)進(jìn)行估計(jì)。在具體實(shí)施方式中，估計(jì)的相機(jī)參數(shù)可反復(fù)地優(yōu)化或通過(guò)對(duì)多個(gè)非線性值使用組數(shù)字方式(groupnumericapproach)來(lái)優(yōu)化。在具體實(shí)施方式中，對(duì)于每個(gè)圖像(例如，i-6和i-7)，相應(yīng)特征點(diǎn)對(duì)214a-b的位置可彼此進(jìn)行比較并且基于相應(yīng)特征點(diǎn)對(duì)214a-b的位置中的偏移對(duì)相應(yīng)相機(jī)參數(shù)進(jìn)行調(diào)整。例如但不限于，可響應(yīng)于檢測(cè)到特征點(diǎn)214a-b之間的平均的徑向偏移而調(diào)整fov參數(shù)或定向參數(shù)。作為另一示例而不限制，可響應(yīng)于分別檢測(cè)到特征點(diǎn)214a-b之間的平均的豎直或水平偏移來(lái)調(diào)整(平移)豎直或水平相機(jī)位置參數(shù)。

如圖10的示例中所示，在步驟315中，可利用基于匹配的相應(yīng)特征點(diǎn)對(duì)的單應(yīng)性矩陣，來(lái)確定圖像i-6和i-7之間的相機(jī)位移(例如，相機(jī)旋轉(zhuǎn)或平移)的估計(jì)。在具體實(shí)施方式中，對(duì)圖像i-6和i-7的調(diào)整可基于由單應(yīng)性矩陣確定的估計(jì)相機(jī)位移而進(jìn)行。可利用單應(yīng)性矩陣來(lái)計(jì)算用于調(diào)整和對(duì)齊圖像i-6和i-7以形成合并的拼接圖像220的拼接參數(shù)。例如但不限于，可初始地對(duì)圖像i-6和i-7計(jì)算單應(yīng)性矩陣，并且可基于計(jì)算的單應(yīng)性矩陣對(duì)后續(xù)圖像進(jìn)行調(diào)整。

可對(duì)圖像i-7和i-6進(jìn)行調(diào)整以恰當(dāng)?shù)貙D像i-7和i-6結(jié)合為拼接圖像220。在具體實(shí)施方式中，可進(jìn)行調(diào)整以滿足一個(gè)或多個(gè)優(yōu)化標(biāo)準(zhǔn)。例如但不限于，優(yōu)化標(biāo)準(zhǔn)可以是相應(yīng)特征點(diǎn)對(duì)214a-b的豎直或水平偏移應(yīng)為最小化。作為另一示例，優(yōu)化標(biāo)準(zhǔn)可以是在觀看者將看見(jiàn)重影之前，相應(yīng)特征點(diǎn)對(duì)214a-b的水平偏移應(yīng)小于最大水平偏移。作為又一示例，優(yōu)化標(biāo)準(zhǔn)可以是相應(yīng)特征點(diǎn)對(duì)214a-b的豎直偏移應(yīng)小于最大豎直偏移。

在具體實(shí)施方式中，可在假定一個(gè)或多個(gè)初始條件的情況下執(zhí)行對(duì)圖像i-6和i-7的調(diào)整。例如但不限于，初始條件可假定第一相機(jī)對(duì)(例如，圖4中的相機(jī)對(duì)l1-r1)具有限定相機(jī)系統(tǒng)110的主射線(或偏轉(zhuǎn)(yaw))的定向114。作為另一示例，初始條件可假定相對(duì)于y軸的其余的相機(jī)對(duì)(相對(duì)于第一相機(jī)對(duì))的定向114為yi＝(i–1)×360°/n，其中y軸與相機(jī)系統(tǒng)的平面正交，i＝2…n，且n為相機(jī)系統(tǒng)的相機(jī)對(duì)的數(shù)量。例如但不限于，對(duì)于具有n＝8個(gè)相機(jī)對(duì)的相機(jī)系統(tǒng)110，相機(jī)對(duì)200相對(duì)于彼此定向在45度。作為又一示例，初始條件可假定相機(jī)系統(tǒng)110的相機(jī)112與x軸和z軸平行(例如，分別為零滾轉(zhuǎn)(roll)和俯仰(pitch))。

在具體實(shí)施方式中，對(duì)圖像i-6和i-7的調(diào)整可通過(guò)最小化一個(gè)或多個(gè)優(yōu)化成本來(lái)確定。例如但不限于，相應(yīng)特征點(diǎn)對(duì)214a-b之間的距離可表示基本的總優(yōu)化成本(cost)。作為另一示例，沿著軸的旋轉(zhuǎn)調(diào)整可具有與加權(quán)旋轉(zhuǎn)位移(例如，與每個(gè)軸、偏轉(zhuǎn)、俯仰和滾轉(zhuǎn)有關(guān)的kx(x′–x0)²，其中kx為加權(quán)系數(shù))成比例的成本。另外，每個(gè)軸可具有特定加權(quán)系數(shù)，例如，對(duì)于偏轉(zhuǎn)軸的ky、對(duì)于俯仰軸的kp和對(duì)于滾轉(zhuǎn)軸的kr。在具體實(shí)施方式中，針對(duì)每個(gè)軸，圖像i-6和i-7的fov或平移調(diào)整可具有kx|x′–x0|的線性成本。每個(gè)軸可具有特定的加權(quán)系數(shù)，例如對(duì)于fov調(diào)整的kfov、對(duì)于x軸平移的kcx和對(duì)于y軸平移的kcy。在具體實(shí)施方式中，優(yōu)化成本可被函數(shù)化，以使得優(yōu)化成本函數(shù)可修改為處理角落問(wèn)題。

在具體實(shí)施方式中，可通過(guò)利用試探優(yōu)化、初始條件、優(yōu)化成本或其任意組合執(zhí)行全局優(yōu)化，來(lái)將圖像(例如，i-6和i-7)拼接在一起。例如，可利用諸如蒙特卡洛、梯度下降、高斯-牛頓的稀疏版本或其他適當(dāng)?shù)姆蔷€性優(yōu)化求解來(lái)全局地優(yōu)化這些因子。在具體實(shí)施方式中，參數(shù)的系統(tǒng)可通過(guò)由(2)表示的方程的系統(tǒng)來(lái)全局地優(yōu)化：

其中x’和y’為來(lái)自去扭曲操作的坐標(biāo)；如上所述，單應(yīng)性矩陣由相應(yīng)特征點(diǎn)對(duì)來(lái)計(jì)算；ypr為分別沿著偏轉(zhuǎn)軸、俯仰軸和滾轉(zhuǎn)軸的旋轉(zhuǎn)調(diào)整；scale為圖像的縮放；translate為平移調(diào)整；以及x”、y”和z”為經(jīng)優(yōu)化的坐標(biāo)。

由方程(2)描述的方程組可能收斂失敗。如圖10的示例中所示，在步驟325中，多于40％的特征點(diǎn)來(lái)自備份源(例如，校準(zhǔn))的圖像收斂失敗可表明特定圖像太白、太近或缺乏特征。在這種情況下，可根據(jù)上述的初始條件調(diào)整特定圖像。在具體實(shí)施方式中，由方程(2)描述的方程組可能因具有太多空間偏移的替代特征點(diǎn)而失敗。在這種情況下，替代的特征點(diǎn)可使自身的優(yōu)化成本減半并再次執(zhí)行全局優(yōu)化。例如但不限于，優(yōu)化的減少和全局優(yōu)化的執(zhí)行可執(zhí)行預(yù)定次數(shù)(例如，4次循環(huán))。另外，如果方程(2)持續(xù)收斂失敗，則特征點(diǎn)的貢獻(xiàn)可設(shè)定為零。

在具體實(shí)施方式中，除了來(lái)自具有重疊部的、與特定眼睛對(duì)應(yīng)的相鄰相機(jī)的圖像以外，來(lái)自與另一眼睛對(duì)應(yīng)的相鄰相機(jī)的圖像也可與與兩個(gè)圖像都具有重疊部。例如但不限于，來(lái)自相機(jī)l1和l2的圖像可具有重疊區(qū)域，并且相鄰相機(jī)(例如，相機(jī)r1、r2或r3)也可捕獲包括相同的重疊區(qū)域的圖像。如圖7的示例中所示，圖像i-l1和i-l2具有重疊區(qū)域210l1-2，并且圖像i-r1也與上述兩個(gè)圖像重疊。在具體實(shí)施方式中，可檢測(cè)來(lái)自相鄰相機(jī)(例如，相機(jī)r1)的圖像(例如，圖像i-r1)的特征，并且可在相鄰圖像(例如，圖像i-l1和i-l2)的重疊區(qū)域(例如，重疊區(qū)域210l1-2)與來(lái)自相鄰相機(jī)的圖像之間確定相應(yīng)特征點(diǎn)對(duì)。另外，可基于所檢測(cè)的相鄰相機(jī)的重疊區(qū)域的相應(yīng)特征點(diǎn)對(duì)和來(lái)自相鄰相機(jī)的圖像的重疊部分來(lái)計(jì)算單應(yīng)性矩陣。在具體實(shí)施方式中，與相鄰相機(jī)(例如，相機(jī)l1和l2)對(duì)應(yīng)的單應(yīng)性矩陣的結(jié)果可與對(duì)應(yīng)于相鄰相機(jī)(例如，相機(jī)r1)的單應(yīng)性矩陣進(jìn)行比較。此外，確定與左眼視圖對(duì)應(yīng)的拼接圖像和與右眼視圖對(duì)應(yīng)的拼接圖像之間的對(duì)應(yīng)關(guān)系可用于拼接圖像的立體相機(jī)對(duì)之間的垂直偏移。

在具體實(shí)施方式中，如上所述，一旦計(jì)算出拼接參數(shù)或進(jìn)行調(diào)整，即可檢查拼接參數(shù)的準(zhǔn)確性。在具體實(shí)施方式中，可利用由相機(jī)系統(tǒng)110捕獲的已知場(chǎng)景執(zhí)行校準(zhǔn)。已知場(chǎng)景的相應(yīng)特征點(diǎn)對(duì)的檢測(cè)可為拼接圖像提供可用作圖像調(diào)整的基礎(chǔ)的一組特征點(diǎn)。一旦拼接服務(wù)器檢測(cè)到重疊區(qū)域內(nèi)的相應(yīng)特征點(diǎn)對(duì)，便可在每個(gè)檢測(cè)的特征點(diǎn)周?chē)鷧^(qū)域中執(zhí)行誤差計(jì)算(例如，差異的平方和)。如果誤差計(jì)算超過(guò)預(yù)定閾值，則可將檢測(cè)到的相應(yīng)特征點(diǎn)對(duì)標(biāo)記為可疑。如果相應(yīng)特征點(diǎn)對(duì)的數(shù)量降至預(yù)定閾值對(duì)的數(shù)量以下，則可對(duì)離散圖像的拼接進(jìn)行標(biāo)記。在具體實(shí)施方式中，被標(biāo)記的相應(yīng)特征點(diǎn)對(duì)可由校準(zhǔn)數(shù)據(jù)的特征點(diǎn)替換，由此迫使單應(yīng)性計(jì)算認(rèn)為圖像位于校準(zhǔn)的定向上。

在計(jì)算單應(yīng)性矩陣之后，可檢查其準(zhǔn)確性。如圖10的示例中所示，在步驟335中，可檢查連續(xù)單應(yīng)性矩陣的偏轉(zhuǎn)旋轉(zhuǎn)之間的差異。如果差異處于基于校準(zhǔn)數(shù)據(jù)的期望差異的±2-3°范圍內(nèi)，則可認(rèn)為圖像調(diào)整是準(zhǔn)確的。例如但不限于，可計(jì)算每個(gè)相機(jī)相隔30°的12-相機(jī)系統(tǒng)的單應(yīng)性矩陣。如果偏轉(zhuǎn)旋轉(zhuǎn)差異處于期望值的預(yù)定范圍內(nèi)(例如，27°與33°之間)，則計(jì)算出的單應(yīng)性矩陣可認(rèn)為是可接受的。在具體實(shí)施方式中，來(lái)自相機(jī)的圖像用于計(jì)算單應(yīng)性矩陣。如果計(jì)算出的單應(yīng)性矩陣或相機(jī)位置處于期望位置和角度的±2度范圍內(nèi)，則可認(rèn)為拼接是良好的。如圖10的示例中所示，在步驟345中，如果對(duì)于某些圖像拼接失敗，則檢測(cè)到的相應(yīng)特征點(diǎn)對(duì)可由來(lái)自校準(zhǔn)數(shù)據(jù)的替代特征點(diǎn)來(lái)替換，并重新嘗試拼接過(guò)程。如由圖10的示例所示，在步驟355中，如果對(duì)于若干圖像的拼接過(guò)程的失敗超過(guò)預(yù)定閾值數(shù)量，則可拒絕整個(gè)拼接并且可使用來(lái)自上一次成功拼接的幀的單應(yīng)性矩陣。在初始幀發(fā)生拼接失敗的情況下，可替代地使用基于校準(zhǔn)數(shù)據(jù)計(jì)算的單應(yīng)性矩陣。

圖13示出示例性頂部圖像i-top和拼接圖像220。頂部圖像i-top可由頂部相機(jī)112t捕獲，并且拼接圖像220可來(lái)自將左圖像或右圖像(圖像i-r1至i-rn)拼接或結(jié)合在一起的拼接過(guò)程。在圖13的示例中，拼接圖像220包括拼接在一起以形成拼接圖像220的圖像i-1、i-2和i-3。在具體實(shí)施方式中，在來(lái)自相機(jī)112的圖像拼接在一起以形成拼接圖像220之后，來(lái)自頂部相機(jī)112t的頂部圖像i-top可拼接或添加至拼接圖像220的上部210u。類(lèi)似地，在具體實(shí)施方式中，來(lái)自底部相機(jī)的圖像可拼接或添加至拼接圖像220的底部。在具體實(shí)施方式中，向拼接圖像220添加頂部圖像或底部圖像可提供添加的視圖，以調(diào)整可能不覆蓋±90°垂直fov的拼接圖像220。例如但不限于，在圖7的示例中所示的左圖像i-l1至i-ln可拼接在一起以形成具有與相機(jī)112的fovv對(duì)應(yīng)的垂直幅度的拼接圖像220。例如，拼接圖像220可呈現(xiàn)相機(jī)系統(tǒng)110周?chē)?60°水平全景視圖，并且全景視圖可相對(duì)于相機(jī)系統(tǒng)110的水平面覆蓋±70°垂直范圍(對(duì)應(yīng)于fovv＝140°)。在形成拼接圖像220之后，頂部圖像i-top可拼接至拼接圖像220的頂部，由此形成具有約-70°至約+90°范圍的垂直幅度的360°全景視圖的圖像。另外，也可將底部圖像拼接至拼接圖像220的底部，由此形成在所有方向上(例如，覆蓋在約-90°至約+90°范圍內(nèi)垂直延伸的完整的360°水平視圖，其中-90°表示看向正下方，并且+90°表示看向正上方)延伸的圖像。盡管本公開(kāi)描述并示出具有特定的水平幅度和垂直幅度的特定的拼接圖像，但是本公開(kāi)可設(shè)想到具有任何適當(dāng)?shù)乃椒群痛怪狈鹊娜魏芜m當(dāng)拼接圖像。

在具體實(shí)施方式中，頂部圖像i-top的多個(gè)部分可與拼接圖像220的多個(gè)部分重疊或?qū)?yīng)。另外，頂部圖像i-top的特定部分可與基于相機(jī)110的相機(jī)112的已知配置和頂部相機(jī)112t的已知配置的特定圖像(例如，圖像i-1、i-2、i-3等)有關(guān)。例如但不限于，通過(guò)兩個(gè)相鄰的拼接線217鄰接的頂部圖像i-top的每個(gè)區(qū)域(例如，陰影區(qū)域219)可對(duì)應(yīng)于拼接圖像220的特定圖像。在圖13的示例中，圖像i-top的陰影區(qū)域219可對(duì)應(yīng)于由相機(jī)系統(tǒng)110的特定相機(jī)112捕獲的圖像i-2。構(gòu)成拼接圖像220的圖像與頂部圖像i-top的多個(gè)部分之間的對(duì)應(yīng)關(guān)系可基于相機(jī)112的配置或定向114以及頂部相機(jī)112t的配置。在具體實(shí)施方式中，圖像i-top中的拼接線217可對(duì)應(yīng)于拼接圖像220的接縫(seam)217m，其中，接縫217m可表示構(gòu)成拼接圖像220的相鄰離散圖像之間的邊界。作為另一示例而不限制，中心線218可對(duì)應(yīng)于拼接圖像220的離散圖像的大致中心218m。在具體實(shí)施方式中，線217和218可分別表示在頂部圖像i-top為拼接成拼接圖像220而被處理或優(yōu)化之前接縫217m和中心218m的估計(jì)位置。

在具體實(shí)施方式中，拼接圖像220的上部210u可表示拼接圖像220的、與頂部圖像i-top的外圍環(huán)形區(qū)域210t重疊的區(qū)域。例如，拼接圖像220可與相對(duì)于水平定向114覆蓋例如±70°的fovv對(duì)應(yīng)，并且頂部圖像i-top可對(duì)應(yīng)于從豎直方向(例如，+90°維度)延伸至+60°的緯度的圖像。圖像i-top的外圍實(shí)體黑色圓可對(duì)應(yīng)于+60°的緯度，且圖像i-top的較小虛線圓210e可對(duì)應(yīng)于+70°的緯度。重疊區(qū)域210u和210t可對(duì)應(yīng)于圖像i-top與拼接圖像220之間的10°重疊(例如，從緯度+60°至緯度+70°)。在具體實(shí)施方式中，將頂部圖像i-top拼接成拼接圖像220的算法可包括：如上所述，搜索特征從而確定位于重疊區(qū)域210u和210t中的相應(yīng)特征點(diǎn)對(duì)；以及如以下所述，利用那些相應(yīng)特征點(diǎn)對(duì)將圖像i-top’拼接為拼接圖像220。盡管本公開(kāi)描述并示出具有彼此對(duì)應(yīng)或重疊的特定部分的特定頂部圖像和拼接圖像，但是本公開(kāi)可設(shè)想到具有彼此對(duì)應(yīng)或重疊的任何適當(dāng)部分的任何適當(dāng)?shù)捻敳繄D像和拼接圖像。

圖14示出在處理之后圖13中的示例性頂部圖像。在具體實(shí)施方式中，在被添加至拼接圖像220之前，可對(duì)頂部圖像i-top的較小虛線圓210e進(jìn)行處理、轉(zhuǎn)換或優(yōu)化以形成經(jīng)處理的圖像i-top′，然后該圖像i-top′被拼接并添加為拼接圖像220。在具體實(shí)施方式中，應(yīng)用至頂部圖像i-top的較小虛線圓210e的處理步驟可包括：旋轉(zhuǎn)或移動(dòng)線217或218或者扭曲頂部圖像i-top的較小虛線圓210e，使得經(jīng)處理的圖像i-top′與拼接圖像220匹配或混合。在具體實(shí)施方式中，單個(gè)經(jīng)處理的圖像i-top′可與對(duì)應(yīng)于左右視圖或眼睛的相應(yīng)的拼接圖像220一同使用。例如但不限于，頂部圖像i-top的重疊區(qū)域210t可在轉(zhuǎn)換處理之前被剪除。在具體實(shí)施方式中，經(jīng)處理的圖像i-top′可添加至表示左眼視圖的拼接圖像以及表示右眼視圖的拼接圖像。在具體實(shí)施方式中，頂部圖像i-top的較小虛線圓210e可經(jīng)歷兩個(gè)處理過(guò)程以分別基于與左眼視圖和右眼視圖對(duì)應(yīng)的拼接圖像生成分開(kāi)的經(jīng)處理的左側(cè)頂部圖像和經(jīng)處理的右側(cè)頂部圖像。例如但不限于，經(jīng)處理的左側(cè)頂部圖像可添加至表示左眼視圖的拼接圖像，并且經(jīng)處理的右側(cè)頂部圖像可添加至表示右眼視圖的拼接圖像。

在具體實(shí)施方式中，處理頂部圖像i-top的較小虛線圓210e以生成經(jīng)處理的圖像i-top′可包括：如上所述，檢測(cè)重疊區(qū)域210t和210u中的相應(yīng)特征點(diǎn)對(duì)。例如但不限于，可檢測(cè)到位于拼接線217與圖像i-top的外緣相交處附近的特征。檢測(cè)的特征的一個(gè)或多個(gè)特征點(diǎn)可匹配至來(lái)自拼接圖像220的相應(yīng)特征點(diǎn)，并且基于相應(yīng)特征點(diǎn)對(duì)之間的匹配，可計(jì)算圖像i-top的較小虛線圓210e相對(duì)于拼接圖像220的偏移。在具體實(shí)施方式中，在未檢測(cè)到任何相應(yīng)特征點(diǎn)對(duì)的情況下，可基于相機(jī)幾何結(jié)構(gòu)確定特征點(diǎn)，或者可使用相機(jī)校準(zhǔn)來(lái)確定對(duì)頂部圖像i-top的較小虛線圓210e執(zhí)行的處理。

在具體實(shí)施方式中，可確定頂部圖像i-top的中心周?chē)膹较蚺で?，使得頂部圖像i-top的中心位置中心保持固定。另外，基于確定的徑向扭曲，拼接線217可旋轉(zhuǎn)至拼接圖像216的接縫217m結(jié)束的交叉位置，并且中心線218可旋轉(zhuǎn)為匹配在拼接離散圖像以生成拼接圖像220期間執(zhí)行的任何偏轉(zhuǎn)調(diào)整。例如但不限于，如果構(gòu)成拼接圖像220的離散圖像(例如，圖像i-1、i-2或i-3)之一經(jīng)歷+2°的偏轉(zhuǎn)調(diào)整，則可將+2°的旋轉(zhuǎn)應(yīng)用至對(duì)應(yīng)的中心線218。

在具體實(shí)施方式中，可拉出或拉進(jìn)圖像i-top′的較小虛線圓210e的外緣的一個(gè)或多個(gè)部分以匹配拼接圖像220。例如但不限于，可拉出或拉進(jìn)拼接線217或中心線218與圖像i-top的較小虛線圓210e的外緣交叉的位置，以匹配拼接圖像220的對(duì)應(yīng)區(qū)域。例如但不限于，根據(jù)情況，可通過(guò)分別適當(dāng)?shù)卦黾踊驕p小拼接線217或中心線218的長(zhǎng)度來(lái)拉出或拉進(jìn)圖像i-top的較小虛線圓210e的外緣。在具體實(shí)施方式中，經(jīng)處理的圖像i-top′可單獨(dú)地儲(chǔ)存為蓋(cap)圖像，或者可將經(jīng)處理的圖像i-top′合并為拼接圖像220。例如但不限于，可將極點(diǎn)至直線轉(zhuǎn)換應(yīng)用至經(jīng)處理的圖像i-top′，然后如以下所述，可將經(jīng)處理的圖像i-top′混合為拼接圖像220。

在具體實(shí)施方式中，離散圖像拼接在一起以形成拼接圖像220的接縫217m可利用梯度混合進(jìn)行“混合(blend)”。例如但不限于，照度或亮度可具有沿著靠近接縫217m的方向的梯度。例如，亮度可隨著從任一橫向方向朝著接縫217m移動(dòng)而降低。拼接圖像220與經(jīng)處理的圖像i-top’的外緣的相交處可以類(lèi)似的方式混合。例如但不限于，拼接圖像220與經(jīng)處理的圖像i-top’之間的相交處的亮度可具有與拼接圖像220的尺寸成比例的梯度，使得混合在高緯度處平滑。

離散圖像的混合可發(fā)生在圍繞接縫217m的重疊區(qū)域內(nèi)。另外，混合可沿著非線性路徑發(fā)生以降低來(lái)自混合路徑的視覺(jué)不連續(xù)性。在具體實(shí)施方式中，混合算法可尋找多個(gè)候補(bǔ)混合路徑?？稍谙噜彽碾x散圖像周?chē)鷧^(qū)域中執(zhí)行邊緣檢測(cè)算法。如果候補(bǔ)混合路徑匹配任一圖像的側(cè)邊緣，則候補(bǔ)混合路徑可在兩個(gè)方向上跟隨側(cè)邊緣直到候補(bǔ)混合路徑到達(dá)拼接圖像220的下邊緣。如果候補(bǔ)混合路徑交叉，則候補(bǔ)路徑可繼續(xù)沿著它們的現(xiàn)有方向。在具體實(shí)施方式中，從候補(bǔ)混合路徑中選擇混合路徑可選擇到達(dá)拼接圖像220的下邊緣的唯一的候補(bǔ)混合路徑，或者如果多個(gè)候補(bǔ)混合路徑到達(dá)下邊緣則選擇最短候補(bǔ)混合路徑。在具體實(shí)施方式中，相對(duì)于候補(bǔ)混合路徑所在的圖像的中心凹入最少的候補(bǔ)混合路徑開(kāi)啟。對(duì)于“被追蹤”的部分，掩模梯度應(yīng)為50％，直接位于追蹤線上方且具有較小模糊半徑。

在具體實(shí)施方式中，為了空間穩(wěn)定拼接，可使用voronoi型接縫探測(cè)器(finder)。該空間穩(wěn)定性可確保共享的單應(yīng)性矩陣和混合數(shù)據(jù)可重復(fù)使用，這樣可減小混合邊緣的閃爍?？墒褂胿oronoi型接縫探測(cè)器進(jìn)一步為如上所述的特征匹配器精細(xì)化搜索區(qū)域，由此提升限制在最有可能出現(xiàn)在輸出圖像中的區(qū)域(例如，重疊區(qū)域)內(nèi)的特征點(diǎn)的單應(yīng)性矩陣的精確度。該數(shù)據(jù)可實(shí)時(shí)反饋回前端處理器以忽略可能不會(huì)在拼接圖像220的拼接中使用的圖像數(shù)據(jù)。

在具體實(shí)施方式中，在生成拼接圖像220時(shí)，捕獲的圖像中的對(duì)象的近場(chǎng)(near-field)深度中的變化可能成為問(wèn)題。如上所述，可使用深度信息(例如，由深度傳感器或利用立體圖對(duì)對(duì)圖像中的對(duì)象進(jìn)行三角測(cè)量而獲取)來(lái)基于特征點(diǎn)將對(duì)相機(jī)的接近度的特征點(diǎn)匹配分隔開(kāi)。較接近觀看者或相機(jī)的對(duì)象相對(duì)于遠(yuǎn)處的對(duì)象具有不同的拼接幾何結(jié)構(gòu)。在具體實(shí)施方式中，遠(yuǎn)場(chǎng)(far-field)對(duì)象的深度變化對(duì)拼接質(zhì)量的影響可能較小，并因此計(jì)算資源可集中在近場(chǎng)深度變化的計(jì)算上。在具體實(shí)施方式中，拼接服務(wù)器130可基于深度數(shù)據(jù)確定一個(gè)或多個(gè)圖像中的對(duì)象是否位于可采取附加的措施以提高拼接質(zhì)量的區(qū)域內(nèi)。例如但不限于，然后可響應(yīng)于檢測(cè)到位于相機(jī)112或相機(jī)系統(tǒng)110的預(yù)定閾值距離內(nèi)的對(duì)象，而觸發(fā)單應(yīng)性矩陣的計(jì)算(或重新計(jì)算)。

在具體實(shí)施方式中，離散圖像可分割為單獨(dú)地拼接或混合的多個(gè)部分，或者可對(duì)近場(chǎng)對(duì)象進(jìn)行優(yōu)化，因?yàn)檫@些對(duì)象可能具有比遠(yuǎn)場(chǎng)對(duì)象更多的可見(jiàn)拼接誤差。例如但不限于，近場(chǎng)對(duì)象可與遠(yuǎn)場(chǎng)對(duì)象分隔開(kāi)并且單獨(dú)地進(jìn)行拼接。在具體實(shí)施方式中，可通過(guò)利用二進(jìn)制掩碼將近場(chǎng)對(duì)象放置于遠(yuǎn)場(chǎng)對(duì)象上方，將分隔開(kāi)的近場(chǎng)對(duì)象與遠(yuǎn)場(chǎng)對(duì)象一同掩蓋在拼接圖像220上。對(duì)于觀察近場(chǎng)對(duì)象上的相同點(diǎn)的相機(jī)而言，近場(chǎng)對(duì)象可能看起來(lái)非常不同。在具體實(shí)施方式中，拼接服務(wù)器可選擇使用相鄰圖像之一以拼接重疊區(qū)域中的對(duì)象。例如但不限于，可使用縫隙探測(cè)器(例如，voronoi型)拼接來(lái)自包含有大部分近場(chǎng)對(duì)象區(qū)域的圖像的近場(chǎng)對(duì)象。在具體實(shí)施方式中，可使用不均勻的扭曲將近場(chǎng)對(duì)象的單應(yīng)性矩陣與遠(yuǎn)場(chǎng)對(duì)象的單應(yīng)性矩陣結(jié)合?；诰W(wǎng)格的扭曲，例如，可在近場(chǎng)對(duì)象與遠(yuǎn)場(chǎng)對(duì)象之間的邊緣處在兩個(gè)單應(yīng)性矩陣之間轉(zhuǎn)換以將拼接圖像220的前景和背景二者接拼。

當(dāng)對(duì)象從遠(yuǎn)場(chǎng)移動(dòng)至近場(chǎng)時(shí)，單應(yīng)性矩陣可能明顯地改變。在具體實(shí)施方式中，可在與拼接過(guò)程不同的計(jì)算線程上執(zhí)行單應(yīng)性矩陣的計(jì)算。例如但不限于，一個(gè)計(jì)算線程可執(zhí)行離散圖像的拼接，且另一計(jì)算線程可分析離散圖像的單應(yīng)性數(shù)據(jù)并且向共享的儲(chǔ)存器提供更新?？赏ㄟ^(guò)使用校準(zhǔn)數(shù)據(jù)或利用上一個(gè)可用的單應(yīng)性矩陣來(lái)管理其余的情況。在具體實(shí)施方式中，可利用圖形處理單元(gpu)來(lái)加速計(jì)算單應(yīng)性矩陣或拼接過(guò)程。例如但不限于，系統(tǒng)的中央處理單元(cpu)可用于計(jì)算單應(yīng)性矩陣，并且gpu可用于扭曲并混合離散圖像。

在具體實(shí)施方式中，可執(zhí)行專(zhuān)門(mén)用于拼接立體視頻的一個(gè)或多個(gè)調(diào)整。在具體實(shí)施方式中，來(lái)自拼接圖像220的與左眼視圖和右眼視圖對(duì)應(yīng)的相應(yīng)特征點(diǎn)對(duì)可投射在3-d球面投影空間上。在具體實(shí)施方式中，左眼視圖與右眼視圖的起始點(diǎn)之間可能存在差異。該差異可通過(guò)第一相機(jī)位置用作起始位置且第一相機(jī)具有零偏轉(zhuǎn)的初始條件來(lái)校正。其余的相機(jī)可基于這些初始條件進(jìn)行調(diào)整。

在具體實(shí)施方式中，可利用共享的單應(yīng)性矩陣執(zhí)行對(duì)應(yīng)于左眼視圖和右眼視圖的拼接圖像220。對(duì)調(diào)整進(jìn)行計(jì)算以生成與左眼視圖對(duì)應(yīng)的拼接圖像220的拼接過(guò)程可與對(duì)調(diào)整進(jìn)行計(jì)算以生成與右眼視圖對(duì)應(yīng)的拼接圖像220的拼接過(guò)程進(jìn)行通信，以確保整體的單應(yīng)性和圖像調(diào)整在左眼視圖和右眼視圖之間一致。另外，左眼視圖與右眼視圖之間的圖像參數(shù)或曝光校正應(yīng)在合理的范圍內(nèi)一致。在具體實(shí)施方式中，立體視頻可具有在左眼視圖和右眼視圖之間時(shí)間同步的幀。

在具體實(shí)施方式中，生成用于視頻的拼接圖像220可使用預(yù)見(jiàn)性(look-ahead)的方法。例如但不限于，對(duì)于當(dāng)前的幀，可計(jì)算當(dāng)前幀和某些預(yù)定數(shù)量的未來(lái)的后續(xù)幀的拼接調(diào)整(例如，單應(yīng)性矩陣)。在具體實(shí)施方式中，響應(yīng)于檢測(cè)到出現(xiàn)在未來(lái)幀中的一對(duì)相應(yīng)特征點(diǎn)中的實(shí)質(zhì)性的改變(例如，對(duì)象從遠(yuǎn)場(chǎng)至近場(chǎng)的移動(dòng))，計(jì)算一整組拼接參數(shù)。另外，可設(shè)置改變標(biāo)記，該標(biāo)記使得拼接參數(shù)被內(nèi)插(例如，正弦寬松)為新計(jì)算的拼接參數(shù)，使得拼接平滑地切換以處理場(chǎng)景中的變化。預(yù)定數(shù)量的后續(xù)幀的確定應(yīng)結(jié)合計(jì)算新的拼接調(diào)整所需的時(shí)間來(lái)進(jìn)行。

圖15和圖16分別示出用于拼接離散圖像的示例性方法500和550。如圖15的示例中所示，在具體實(shí)施方式中，用于拼接實(shí)時(shí)360°3-d視頻的方法500將獨(dú)立幀的拼接分配在多個(gè)拼接服務(wù)器上?？梢云唇臃?wù)器為單位進(jìn)行單應(yīng)性矩陣管理，或者多個(gè)拼接服務(wù)器可利用中央單應(yīng)性服務(wù)器共享單應(yīng)性矩陣。在具體實(shí)施方式中，中央單應(yīng)性服務(wù)器可向獨(dú)立的服務(wù)器節(jié)點(diǎn)分配任務(wù)以計(jì)算單應(yīng)性矩陣或拼接圖像。用于完成拼接圖像的服務(wù)器的數(shù)量可與期望的幀速率或拼接服務(wù)器的吞吐量成比例。例如但不限于，對(duì)于具有1幀每秒(fps)吞吐量的拼接服務(wù)器，可使用30個(gè)拼接服務(wù)器以產(chǎn)生30fps的拼接視頻。

如圖15的示例中所示，在具體實(shí)施方式中，用于拼接實(shí)時(shí)360°3-d視頻的另一方法550將視頻分段的拼接(例如，視頻塊或多重幀)分配至多個(gè)拼接服務(wù)器。多個(gè)拼接服務(wù)器可并發(fā)地處理視頻的拼接，其中每個(gè)拼接服務(wù)器生成與接收的視頻分段對(duì)應(yīng)的拼接的視頻分段。收集服務(wù)器或視頻組合器可從拼接服務(wù)器接收各個(gè)視頻分段，并且將它們合并以生成拼接視頻。

在具體實(shí)施方式中，可手動(dòng)地拼接離散圖像以生成拼接圖像或視頻?？珊雎蕴卣魈崛『拖鄳?yīng)特征點(diǎn)對(duì)的確定，并提供手動(dòng)選擇的相應(yīng)特征點(diǎn)對(duì)。從這一點(diǎn)來(lái)說(shuō)，可如上所描述地執(zhí)行拼接過(guò)程其余步驟。

360°立體3-d視頻的傳輸可能在內(nèi)容服務(wù)器140與顯示視頻的客戶端設(shè)備150之間要求高帶寬網(wǎng)絡(luò)連接。例如但不限于，360°立體3-d視頻可使用多達(dá)標(biāo)準(zhǔn)視頻的數(shù)據(jù)帶寬的5倍的帶寬。編解碼器是可用于有效地對(duì)與360°立體3-d視頻對(duì)應(yīng)的數(shù)字?jǐn)?shù)據(jù)流進(jìn)行編碼的計(jì)算機(jī)程序。在具體實(shí)施方式中，編解碼器可基于對(duì)先前幀的參考按照時(shí)間順序?qū)?60°立體視頻流的后續(xù)幀進(jìn)行編碼。例如但不限于，編解碼器將初始視頻幀用作正常編碼的主要圖像。確定下一時(shí)序型圖像與主要圖像之間的差異或“增量(delta)”，并通過(guò)編解碼器對(duì)它進(jìn)行編碼以捕獲時(shí)序型偏移。如上所述，與左眼視圖和右眼視圖對(duì)應(yīng)的圖像的立體圖對(duì)相對(duì)于彼此具有空間偏移。在具體實(shí)施方式中，編解碼器可以與時(shí)序型編碼類(lèi)似的方式附加地將立體視頻的圖像空間編碼為主要或次要圖像對(duì)。例如但不限于，用于時(shí)序型編碼的主要圖像可對(duì)應(yīng)于自一只眼睛的視圖，并且被用作用于空間編碼的主要圖像。在具體實(shí)施方式中，可將另一只眼睛的對(duì)應(yīng)圖像編碼為相對(duì)于主要圖像的“增量”或b-圖像。例如但不限于，確定對(duì)應(yīng)于一只眼睛的原始幀與對(duì)應(yīng)于該眼睛的圖像之間的“增量”，并通過(guò)編解碼器對(duì)其進(jìn)行編碼以捕獲空間偏移。在具體實(shí)施方式中，編碼可將左眼視圖和右眼視圖的空間編碼與當(dāng)前圖像和后續(xù)圖像的時(shí)序型編碼相結(jié)合。在具體實(shí)施方式中，在圖像處理期間，左圖像與右圖像之間的相似度或差異的搜索可使用由拼接系統(tǒng)計(jì)算的點(diǎn)偏移的知識(shí)。

在具體實(shí)施方式中，由于大部分的空間信息將是相同的或相似的，所以編解碼器可用于通過(guò)將左眼視圖和右眼視圖結(jié)合成單個(gè)圖像來(lái)壓縮最終的視頻輸出，從而捕獲幀之間的空間冗余。另外，由于大部分的時(shí)序型數(shù)據(jù)將是相同的或相似的，所以編解碼器可用于通過(guò)將左眼視圖和右眼視圖的單個(gè)圖像與左眼視圖和右眼視圖的后續(xù)單個(gè)圖像結(jié)合來(lái)壓縮最終的視頻輸出，從而捕獲幀之間的時(shí)序型冗余。因此，在具體實(shí)施方式中，編解碼器可包括描述以下的信息：均對(duì)應(yīng)于相同的時(shí)序型時(shí)間點(diǎn)的左眼圖像至右眼圖像的增量(或反之亦然)、第一時(shí)間點(diǎn)處的左眼圖像至第二時(shí)間點(diǎn)處的左眼圖像的增量、第一時(shí)間點(diǎn)處的左眼圖像至第二時(shí)間點(diǎn)處的右眼圖像的增量、或它們的任何適當(dāng)組合。編解碼器可用作圖像對(duì)應(yīng)于任何適當(dāng)?shù)囊粋€(gè)或多個(gè)時(shí)間的參考。本公開(kāi)可設(shè)想到，對(duì)于任何給定的相機(jī)對(duì)，編解碼器可使用左圖像或右圖像。在具體實(shí)施方式中，編解碼器可通過(guò)確定一個(gè)或多個(gè)共享變換塊來(lái)壓縮最終視頻，使得潛在的塊數(shù)據(jù)的“字典”可用于實(shí)現(xiàn)壓縮和動(dòng)作補(bǔ)償。變換塊或潛在的字典可在左視頻與右視頻之間共享，從而允許具有兩個(gè)流的視頻共享潛在的壓縮數(shù)據(jù)。在具體實(shí)施方式中，變換塊可用作用于壓縮最終視頻的線性塊變換(例如，離散余弦變換(dct))的輸入。在具體實(shí)施方式中，編解碼器可保持四個(gè)獨(dú)立的動(dòng)作補(bǔ)償流：(1)對(duì)于主要眼的動(dòng)作補(bǔ)償；(2)主要眼的動(dòng)作改變；(3)對(duì)于次要眼的偏移(以及偏移的改變)；以及(4)次要眼的動(dòng)作改變。

在具體實(shí)施方式中，拼接系統(tǒng)可將離散圖像一起拼接成立體3-d360°視頻并且將立體3-d360°視頻存儲(chǔ)為高數(shù)據(jù)視頻幀。對(duì)于高速、高分辨率視頻回放或低延遲的場(chǎng)景，優(yōu)選地，客戶端設(shè)備150利用其gpu或cpu實(shí)現(xiàn)拼接操作。在這種情況下，內(nèi)容服務(wù)器140可為客戶端設(shè)備150存儲(chǔ)參數(shù)或掩模以適當(dāng)?shù)仄唇铀邮盏膱D像，并且客戶端設(shè)備150可基于參數(shù)和掩模實(shí)現(xiàn)變形、合成或混合步驟。掩?？梢缘头直媛蚀鎯?chǔ)為二進(jìn)制圖像，并且二進(jìn)制圖像可利用參數(shù)通過(guò)內(nèi)插被縮放至適當(dāng)?shù)姆直媛剩⑶医邮盏膱D像拼接在一起以重新生成場(chǎng)景。在具體實(shí)施方式中，可能不會(huì)從幀到幀產(chǎn)生掩模，并且可僅在檢測(cè)到改變時(shí)存儲(chǔ)掩模。還可以采取結(jié)合的方法，在所述方法中，低分辨率版本的幀充分地被合成并被保存以用作背景，而高分辨率圖像可以其原始的狀態(tài)被取得，然后在客戶端設(shè)備150上被變形并合成。

圖17示出包括各種視頻數(shù)據(jù)成分的內(nèi)容容器142。在具體實(shí)施方式中，合成流可指包括并入單個(gè)內(nèi)容容器142(或容器流)中的視頻數(shù)據(jù)的成分的視頻流。在具體實(shí)施方式中，視頻數(shù)據(jù)可存儲(chǔ)為單個(gè)容器(內(nèi)容容器142)，其中多個(gè)流或子流在容器142內(nèi)部交錯(cuò)。在具體實(shí)施方式中，內(nèi)容容器142可包括多個(gè)子流，例如，視頻子流(例如，具有多重分辨率的合成視頻、單個(gè)視頻流、操縱相機(jī)流或頂部/底部蓋視頻數(shù)據(jù))、音頻子流(例如，具有或不具有空間重構(gòu)數(shù)據(jù)的音頻、立體音頻或單聲道音頻)、重構(gòu)子流(例如，掩模數(shù)據(jù)、變形數(shù)據(jù)、校正數(shù)據(jù)或投影參數(shù))或它們的任意組合。在圖17的示例中，內(nèi)容容器142包括視頻子流1至n、音頻子流1至m和重構(gòu)信息1至r。在具體實(shí)施方式中，合成流的一個(gè)或多個(gè)音頻子流可與一個(gè)或多個(gè)視頻子流時(shí)間同步。另外，音頻空間重構(gòu)數(shù)據(jù)可包括用于由一個(gè)或多個(gè)音頻子流空間上重構(gòu)360°音頻(“環(huán)繞音效”)的數(shù)據(jù)。在具體實(shí)施方式中，360°立體3-d視頻的視頻流可以是包括整個(gè)圖像數(shù)據(jù)的視頻流，或者可以是用于相機(jī)系統(tǒng)的每個(gè)相機(jī)的視頻流。在具體實(shí)施方式中，客戶端設(shè)備150可以作為單獨(dú)的流接收參數(shù)和掩模，并且根據(jù)需要取得特定圖像幀。盡管本公開(kāi)描述并示出具有特定成分或子流的特定合成流，但是本公開(kāi)可設(shè)想到具有任何適當(dāng)?shù)某煞只蜃恿鞯娜魏芜m當(dāng)?shù)暮铣闪鳌?/p>

圖18示出配置為將內(nèi)容容器142廣播為合成流的示例性內(nèi)容服務(wù)器140。在具體實(shí)施方式中，具有內(nèi)容容器142的合成流可通過(guò)內(nèi)容服務(wù)器140串流(可能以速度有限的方式)至客戶端設(shè)備150，并且客戶端設(shè)備150可解封裝并理解流。例如但不限于，圖18中所示的方法可應(yīng)用至廣播直播流，在廣播直播流中，合成流(例如，接收自拼接服務(wù)器130)可在幾乎或完全不經(jīng)受由內(nèi)容服務(wù)器140施加的附加過(guò)程的情況下通過(guò)內(nèi)容服務(wù)器140直接被廣播。作為另一示例而不限制，圖18中所示的示例性傳輸方法可應(yīng)用至具有最低水平的內(nèi)部冗余的合成流。在具體實(shí)施方式中，內(nèi)容服務(wù)器140可以是超文本傳送協(xié)議(http)服務(wù)器，并且內(nèi)容服務(wù)器140可配置為向客戶端設(shè)備150傳輸內(nèi)容容器142。在具體實(shí)施方式中，可以以較高數(shù)據(jù)率傳遞合成流的初始部分以填充客戶端設(shè)備150的緩存，然后，可以以較低數(shù)據(jù)率傳遞合成流的其余部分。在具體實(shí)施方式中，拼接服務(wù)器130可輸出多個(gè)合成流，每個(gè)合成流具有如由視頻參數(shù)(例如，分辨率、幀速率或壓縮參數(shù))確定的不同的比特率。例如但不限于，內(nèi)容服務(wù)器140或客戶端設(shè)備150可基于可用的或所請(qǐng)求的帶寬選擇適當(dāng)?shù)牧?/p>

圖19示出包括未捆綁的流的直接傳輸?shù)氖纠詡鬏敺桨?。在具體實(shí)施方式中，內(nèi)容服務(wù)器140可以以單獨(dú)的流的形式傳輸視頻數(shù)據(jù)，而不是單個(gè)合成流。例如但不限于，客戶端設(shè)備150可分開(kāi)請(qǐng)求資源(例如，視頻流2、音頻流2和重構(gòu)信息2)，然后，客戶端設(shè)備150分開(kāi)接收這些資源并根據(jù)需要使用它們。在具體實(shí)施方式中，可包括描述符文件或流(例如，具有多種流的元數(shù)據(jù)或位置)以便于訪問(wèn)。

圖20示出用于視頻流的傳輸?shù)氖纠哉{(diào)解方案。在具體實(shí)施方式中，內(nèi)容服務(wù)器140可解碼并理解包括在合成流中的數(shù)據(jù)(例如，原始內(nèi)容容器142)。在具體實(shí)施方式中，客戶端設(shè)備150可傳輸對(duì)特定合成流的請(qǐng)求。例如但不限于，對(duì)視頻流的請(qǐng)求可包括用于包括或省去視頻流的一個(gè)或多個(gè)成分或子流的指令或用于選擇具有特定比特率的成分或子流的指令。例如，成分或子流可對(duì)應(yīng)于包括若干視圖的視頻流的特定視圖。內(nèi)容服務(wù)器140可響應(yīng)于接收來(lái)自客戶端設(shè)備150的請(qǐng)求而訪問(wèn)分流以提取成分流的成分。在具體實(shí)施方式中，內(nèi)容服務(wù)器140可將與由客戶端設(shè)備150請(qǐng)求的成分或子流對(duì)應(yīng)的所請(qǐng)求的成分或子流組合為自定義流。在圖20的示例中，自定義流(“發(fā)送至客戶端的內(nèi)容容器”)包括視頻流i、視頻流j、音頻流m和重構(gòu)信息q。然后，內(nèi)容服務(wù)器140將自定義流傳輸至客戶端設(shè)備150。例如但不限于，不具有揚(yáng)聲器或不具有聲卡的客戶端設(shè)備可包括用于從由內(nèi)容服務(wù)器140傳輸?shù)淖远x流排除任何音頻相關(guān)信息的指令。作為另一示例而不限制，具有高清顯示器的客戶端設(shè)備150可請(qǐng)求高清視頻流。

圖21示出用于視頻流的傳輸?shù)牧硪皇纠哉{(diào)解方案。如上所述，內(nèi)容服務(wù)器140可解碼和理解包括在合成流中的數(shù)據(jù)。另外，客戶端設(shè)備150可向內(nèi)容服務(wù)器140傳輸對(duì)特定視頻饋入的請(qǐng)求，所述請(qǐng)求可包括可包括用于供內(nèi)容服務(wù)器對(duì)一個(gè)或多個(gè)成分或子流執(zhí)行變換的指令。例如但不限于，源自客戶端設(shè)備150的請(qǐng)求可包括用于通過(guò)對(duì)合成流的一個(gè)或多個(gè)成分或子流進(jìn)行轉(zhuǎn)碼或調(diào)整尺寸來(lái)自定義流的指令。例如，包括在自定義流中的一個(gè)或多個(gè)視頻子流可以以如上所述按時(shí)間順序和在空間上被編碼，或者編碼為符合任何適當(dāng)?shù)木幋a格式(例如，運(yùn)動(dòng)圖像專(zhuān)家組(mpeg-4))。作為另一示例，來(lái)自移動(dòng)設(shè)備的請(qǐng)求可包括用于將視頻流調(diào)整尺寸為適合于移動(dòng)設(shè)備的屏幕尺寸和連接的帶寬的分辨率的指令。

圖22示出用于視頻流的傳輸?shù)牧硪皇纠哉{(diào)解方案。在具體實(shí)施方式中，內(nèi)容服務(wù)器140可將合成流的成分和子流存儲(chǔ)為單獨(dú)的流，使得在從客戶端設(shè)備150接收到請(qǐng)求時(shí)不需要內(nèi)容服務(wù)器來(lái)提取合成流的成分。如上所述，客戶端設(shè)備150可向內(nèi)容服務(wù)器140傳輸包括用于選擇合成流的一個(gè)或多個(gè)成分或子流的指令的請(qǐng)求。內(nèi)容服務(wù)器140可檢索所請(qǐng)求的成分或子流并將請(qǐng)求的成分或子流傳輸至客戶端設(shè)備150。在具體實(shí)施方式中，來(lái)自客戶端設(shè)備150的請(qǐng)求可包括用于對(duì)合成流的一個(gè)或多個(gè)成分或子流執(zhí)行變換的指令。如上所述，變換可包括對(duì)一個(gè)或多個(gè)成分或子流進(jìn)行轉(zhuǎn)碼或調(diào)整尺寸。例如但不限于，來(lái)自客戶端設(shè)備150的指令可指揮內(nèi)容服務(wù)器140將一個(gè)或多個(gè)音頻流轉(zhuǎn)碼為環(huán)繞音效格式(例如，空間音頻編碼(sac))。

圖23示出切片流集合144。在圖23的示例中，切片流集合144包括與頂部切片s-top和底部切片s-bottom對(duì)應(yīng)的兩個(gè)流。切片流集合144還包括與呈現(xiàn)由相機(jī)系統(tǒng)110的相機(jī)112提供的360度視圖的切片s-1至s-n對(duì)應(yīng)的n個(gè)流。在本文中，術(shù)語(yǔ)切片可指幀的空間上不同的區(qū)域，該區(qū)域可與相同幀中的其他區(qū)域分開(kāi)地進(jìn)行編碼。另外，在本文中，術(shù)語(yǔ)切片流可指被劃分為多個(gè)獨(dú)立的視頻流的拼接或未拼接視頻流，所述多個(gè)獨(dú)立的視頻流構(gòu)成視頻幀的垂直和/或水平切片，其中每個(gè)視頻流可單獨(dú)地進(jìn)行解碼。在具體實(shí)施方式中，切片流集合144可附加地包括諸如音頻或控制信息的來(lái)自合成流的數(shù)據(jù)。

圖24示出用于視頻流傳輸?shù)氖纠越换シ桨浮Ｔ诰唧w實(shí)施方式中，內(nèi)容服務(wù)器140可將合成流劃分為可單獨(dú)地被訪問(wèn)或被串流的切片。在具體實(shí)施方式中，內(nèi)容服務(wù)器140可基于來(lái)自客戶端設(shè)備150的輸入以交互方式提供對(duì)切片流的訪問(wèn)。例如但不限于，切片流可以是實(shí)時(shí)360°3-d視頻，并且來(lái)自客戶端設(shè)備150的輸入可描述用戶對(duì)于內(nèi)容服務(wù)器140的定向。內(nèi)容服務(wù)器140可動(dòng)態(tài)地提供與用戶正在觀看的區(qū)域?qū)?yīng)的幀。例如但不限于，內(nèi)容服務(wù)器140可選擇與用戶的定向?qū)?yīng)的視頻流的一個(gè)或多個(gè)幀并且將選擇的幀傳輸至客戶端設(shè)備150。在具體實(shí)施方式中，內(nèi)容服務(wù)器140可傳輸在客戶端設(shè)備150上顯示時(shí)用作背景場(chǎng)景的低分辨率、完全拼接的視頻流。當(dāng)在從內(nèi)容服務(wù)器140接收全解析度視頻流時(shí)可能存在延遲時(shí)，可為用戶顯示一段時(shí)間的背景場(chǎng)景。渲染在客戶端設(shè)備150上的視頻的細(xì)節(jié)層次(lod)可隨著從內(nèi)容服務(wù)器140接收到全解析度視頻流而提高。

除了定向數(shù)據(jù)以外，客戶端設(shè)備150可傳輸指令以選擇切片流的一個(gè)或多個(gè)成分或幀。在具體實(shí)施方式中，指令還可指揮內(nèi)容服務(wù)器140轉(zhuǎn)換切片流的成分或幀中的一個(gè)或多個(gè)。例如但不限于，內(nèi)容服務(wù)器140可響應(yīng)于來(lái)自客戶端設(shè)備150的、選擇一個(gè)或多個(gè)成分或幀的指令而訪問(wèn)并服務(wù)來(lái)自多個(gè)流的數(shù)據(jù)。

在具體實(shí)施方式中，客戶端設(shè)備150可基于推理出用戶希望改變視角(perspective)(例如，基于頭戴式顯示器(hmd)的動(dòng)作或遙控)在可見(jiàn)區(qū)域的每一側(cè)上預(yù)見(jiàn)性地請(qǐng)求附加的切片?？蛻舳嗽O(shè)備150可基于推理出的視角的改變來(lái)傳輸用于選擇一個(gè)或多個(gè)成分或幀的指令。在觀看者視角中，在傳輸期間的lod提升是微弱的，但是隨著視角在觀看的方向中變得更加穩(wěn)定，lod可遞增地提升(例如，提升的視頻分辨率)。在具體實(shí)施方式中，隨著用戶視角改變，來(lái)自客戶端設(shè)備150的指令可逐漸選擇更高分辨率的視頻切片。

在具體實(shí)施方式中，內(nèi)容服務(wù)器140或客戶端設(shè)備150可使用延遲感測(cè)或帶寬感測(cè)算法來(lái)動(dòng)態(tài)地調(diào)整視頻流的幀速率，以補(bǔ)償可用帶寬中的改變。例如但不限于，背景完全拼接視頻的傳輸速率可下降以恢復(fù)帶寬。在具體實(shí)施方式中，內(nèi)容服務(wù)器140或客戶端設(shè)備150可根據(jù)客戶端設(shè)備150的性質(zhì)作出附加的決定。例如但不限于，電視上的瀏覽(navigation)可比hmd的瀏覽慢，而hdm的瀏覽可比可容易地在手中移動(dòng)的移動(dòng)電話或平板的瀏覽慢。在具體實(shí)施方式中，內(nèi)容服務(wù)器140可基于客戶端設(shè)備150的設(shè)備配置文件來(lái)調(diào)整一個(gè)或多個(gè)傳輸參數(shù)。

交互式串流可使用再編碼流或僅關(guān)鍵幀編碼流，例如，移動(dòng)連續(xù)圖像專(zhuān)家組(m-jpeg)編碼。在關(guān)鍵幀和中間幀均存在的情況下，內(nèi)容服務(wù)器140可對(duì)所有流進(jìn)行解碼，然后對(duì)請(qǐng)求的切片進(jìn)行再編碼。在具體實(shí)施方式中，內(nèi)容服務(wù)器140可包括加速器asic或加速視頻流的再編碼/解碼/操控的其他能力。例如但不限于，這些能力可實(shí)現(xiàn)為具有專(zhuān)用硬件(例如，加速器asic)的單獨(dú)的處理節(jié)點(diǎn)，其中內(nèi)容服務(wù)器充當(dāng)該處理節(jié)點(diǎn)的代理。

在具體實(shí)施方式中，整個(gè)數(shù)據(jù)流(例如，內(nèi)容容器142)可傳輸至一個(gè)或多個(gè)客戶端設(shè)備150。例如但不限于，內(nèi)容服務(wù)器140可將內(nèi)容容器142傳輸至一個(gè)或多個(gè)客戶端設(shè)備150，然后每個(gè)客戶端設(shè)備150可選擇或提取內(nèi)容容器142的一部分(例如，客戶端設(shè)備150可從內(nèi)容容器142提取特定的視頻子流以顯示在客戶端設(shè)備150上)。客戶端設(shè)備150可基于客戶端設(shè)備150的要求或能力確定需要數(shù)據(jù)流的哪個(gè)部分(例如，如果客戶端設(shè)備150具有顯示高清視頻的能力，則客戶端設(shè)備150可從內(nèi)容容器142提取高清視頻流)。在具體實(shí)施方式中，數(shù)據(jù)流的一個(gè)或多個(gè)部分可被發(fā)送至多個(gè)客戶端設(shè)備150。例如但不限于，內(nèi)容服務(wù)器140可將高清視頻流傳輸至具有顯示高清視頻的能力的一個(gè)或多個(gè)客戶端設(shè)備150，并且內(nèi)容服務(wù)器140可將標(biāo)清視頻流傳輸至具有顯示標(biāo)清視頻的能力的一個(gè)或多個(gè)其他客戶端設(shè)備150。

圖25示出用于傳輸3-d360°視頻的示例性方法600。該方法可起始于步驟610：接收與三維視頻的特定視圖對(duì)應(yīng)的請(qǐng)求。在具體實(shí)施方式中，3-d視頻包括若干視圖。在步驟620中，訪問(wèn)對(duì)應(yīng)于視頻的數(shù)據(jù)流。在步驟630中，基于所述請(qǐng)求選擇所訪問(wèn)的數(shù)據(jù)流的一個(gè)或多個(gè)部分。在具體實(shí)施方式中，所選擇的的部分中的至少一個(gè)對(duì)應(yīng)于所述特定視圖。在步驟640中，將所訪問(wèn)的數(shù)據(jù)流的所選擇的部分傳輸至客戶端設(shè)備。在適當(dāng)?shù)那闆r下，具體的實(shí)施方式可重復(fù)圖25的方法的一個(gè)或多個(gè)步驟。盡管本公開(kāi)描述并示出圖25的方法的特定步驟如以特定順序發(fā)生，但是本公開(kāi)可設(shè)想到圖25的方法的任何適當(dāng)步驟以任何適當(dāng)順序發(fā)生。此外，盡管本公開(kāi)描述并示出包括圖25的方法的特定步驟的用于傳輸3-d360°視頻的示例性方法，但是本公開(kāi)可設(shè)想到包括任何適當(dāng)步驟的用于傳輸3-d360°視頻的任何適當(dāng)方法，在適當(dāng)?shù)那闆r下，所述步驟可包括圖25的方法的所有或某些步驟，或者不包括其中任一步驟。另外，盡管本公開(kāi)描述并示出實(shí)現(xiàn)圖25的方法的特定步驟的特定組件、設(shè)備或系統(tǒng)，但是本公開(kāi)可設(shè)想到實(shí)現(xiàn)圖25的方法的任何適當(dāng)步驟的任何適當(dāng)組件、設(shè)備或系統(tǒng)的任何適當(dāng)組合。

在具體實(shí)施方式中，在3-d360°視頻傳輸至客戶端設(shè)備150之后，可重構(gòu)視頻使得用戶可將由視頻呈現(xiàn)的視圖觀看為3-d場(chǎng)景。例如但不限于，可通過(guò)如下方式重構(gòu)3-d360°視頻，即，正在觀看重構(gòu)視頻的用戶可感知到自然、逼真的或沉浸式3-d環(huán)境，這種環(huán)境提供親臨“現(xiàn)場(chǎng)”的感覺(jué)，而不是僅僅觀看屏幕上的場(chǎng)景的表象。在本文中，術(shù)語(yǔ)重構(gòu)可指將2-d圖像或視頻轉(zhuǎn)換為拼接或另外處理的并校準(zhǔn)的視頻流的動(dòng)作，其可用于以逼真的3-d方式呈現(xiàn)場(chǎng)景。在具體實(shí)施方式中，重構(gòu)可通過(guò)諸如hmd或3-d電視的立體視覺(jué)系統(tǒng)來(lái)執(zhí)行?？蛻舳嗽O(shè)備150(例如，hmd或3-d電視)可從內(nèi)容服務(wù)器140接收離散圖像或流，并且客戶端設(shè)備150可通過(guò)結(jié)合、拼接或處理離散圖像或流來(lái)執(zhí)行重構(gòu)以生成立體3-d360°視頻。在具體實(shí)施方式中，重構(gòu)技術(shù)可允許客戶端設(shè)備150向觀看者無(wú)縫地呈現(xiàn)3-d場(chǎng)景，同時(shí)還為觀看者提供以下中的一個(gè)或多個(gè)：有效的帶寬使用、拼接過(guò)程的優(yōu)化、使用先進(jìn)的網(wǎng)絡(luò)串流技術(shù)的能力，或延遲的優(yōu)化、計(jì)算或其他視覺(jué)參數(shù)。盡管本公開(kāi)描述并示出以特定方式執(zhí)行的特定的重構(gòu)技術(shù)，但是本公開(kāi)可設(shè)想到以任何適當(dāng)方式執(zhí)行的任何適當(dāng)?shù)闹貥?gòu)技術(shù)。

在具體實(shí)施方式中，可將重構(gòu)技術(shù)應(yīng)用至立體圖(例如，利用如上所述的相機(jī)系統(tǒng)110捕獲的圖像)。例如但不限于，可通過(guò)將拼接圖像映射在球面上(例如，利用球面投影映射)來(lái)重構(gòu)立體圖。當(dāng)顯示重構(gòu)的3-d視頻時(shí)，用戶的眼睛或頭部可呈現(xiàn)為好似位于球體的中心，其中，用戶的頭部被允許自由地旋轉(zhuǎn)以觀看3-d視頻的不同的部分。隨著用戶的頭部旋轉(zhuǎn)，客戶端設(shè)備150可以無(wú)縫的方式顯示兩個(gè)重構(gòu)圖像(例如，左圖像和右圖像)。在具體實(shí)施方式中，客戶端設(shè)備150可從內(nèi)容服務(wù)器140接收單獨(dú)的圖像、掩模數(shù)據(jù)和變形參數(shù)?？蛻舳嗽O(shè)備150可使用gpu或cpu對(duì)圖像進(jìn)行變形并應(yīng)用掩?；蚱渌Ｕ齾?shù)來(lái)在存儲(chǔ)器中創(chuàng)建球形結(jié)構(gòu)。在具體實(shí)施方式中，可跳過(guò)或忽略球體的未被用戶觀看的部分，這可降低用于數(shù)據(jù)傳輸?shù)膸挕Ｔ诰唧w實(shí)施方式中，在檢索或處理高分辨率視頻時(shí)，可提供并臨時(shí)使用低分辨率圖像(例如，當(dāng)用戶轉(zhuǎn)動(dòng)他們的頭部以觀看視頻的不同部分時(shí))。

在具體實(shí)施方式中，重構(gòu)過(guò)程可包括攝影測(cè)量技術(shù)。例如但不限于，攝影測(cè)量可基于利用具有重疊fov的一組相機(jī)捕獲的非立體圖。例如但不限于，一組相機(jī)可沿著圓或圓的一部分布置，并且每個(gè)相機(jī)可定向?yàn)檠刂鹗加趫A的共同中心點(diǎn)的輻射線。由布置成圓的一組相機(jī)捕獲的一組圖像可呈現(xiàn)場(chǎng)景的360°視圖，并且該集合的每個(gè)圖像可對(duì)應(yīng)于360°場(chǎng)景的特定角度位置(例如，每個(gè)相機(jī)可具有不同的定向)。相鄰相機(jī)可具有類(lèi)似于如上所述的角度重疊部116的角度重疊部。在具體實(shí)施方式中，攝影測(cè)量可涉及具有高程度的角度重疊部的相鄰相機(jī)(例如，例如，大于或等于水平fov的角度重疊部的50％)，使得場(chǎng)景中的任意點(diǎn)被至少兩個(gè)相機(jī)捕獲。在具體實(shí)施方式中，攝影測(cè)量方法可使用與圖像平面相交的其他圖像來(lái)綜合3-d信息。例如但不限于，相同場(chǎng)景的多個(gè)視圖可用于創(chuàng)建單獨(dú)的左視圖和右視圖，并且向觀看者提供3-d的場(chǎng)景。來(lái)自不同視角的圖像可定位在數(shù)學(xué)上適當(dāng)?shù)奈恢靡灾С峙c捕獲圖像的相機(jī)的定向或fov匹配的重構(gòu)。例如但不限于，一組圖像可映射在對(duì)應(yīng)的一組多邊形上。一旦圖像被定位或?qū)R，則可以選擇重疊圖像的適當(dāng)部分以生成具有3-d外觀的立體視圖(例如，左視圖和右視圖)。在具體實(shí)施方式中，可在不使用混合、拼接或重復(fù)的特征搜索或單應(yīng)性計(jì)算的情況下應(yīng)用攝影測(cè)量技術(shù)。

在具體實(shí)施方式中，攝影測(cè)量技術(shù)可提供相對(duì)快速或有效的方法以處理圖像。例如但不限于，攝影測(cè)量技術(shù)可用于直接處理來(lái)自相機(jī)系統(tǒng)110的圖像，并且提供由相機(jī)系統(tǒng)110捕獲的場(chǎng)景的取景器類(lèi)型的指示(例如，不需要拼接或其他附加的過(guò)程)。為操作而設(shè)置相機(jī)系統(tǒng)110的人可使用利用攝影測(cè)量處理的圖像以快速地觀看由相機(jī)系統(tǒng)110獲取的圖像，以防需要移動(dòng)相機(jī)系統(tǒng)110或調(diào)整其操作參數(shù)。作為另一示例而不限制，如果拼接過(guò)程變得暫時(shí)不可用或無(wú)法實(shí)行，則可將攝影測(cè)量技術(shù)應(yīng)用為備份以處理來(lái)自相機(jī)系統(tǒng)110的圖像或?qū)D像平面置于適當(dāng)?shù)慕咕嗵帯ｋm然本公開(kāi)描述了包括特定過(guò)程的特定攝影測(cè)量技術(shù)，但是本公開(kāi)可設(shè)想到包括任何適當(dāng)?shù)倪^(guò)程的任何適當(dāng)?shù)臄z影測(cè)量技術(shù)。

圖26示出基于利用攝影測(cè)量的混合拼接的示例性重構(gòu)過(guò)程。在具體實(shí)施方式中，重構(gòu)過(guò)程可包括利用攝影測(cè)量的混合拼接，其中攝影測(cè)量技術(shù)與拼接過(guò)程結(jié)合以生成一組3-d圖像。正如上文所描述的攝影測(cè)量技術(shù)，利用攝影測(cè)量的混合拼接可能不需要立體圖捕獲。在具體實(shí)施方式中，可利用具有重疊的fov的一組相機(jī)捕獲一組重疊圖像650，然后可將捕獲的圖像650拼接在一起(例如，利用如上所述的拼接過(guò)程)以形成合成圖像655。在具體實(shí)施方式中，如上所述的拼接過(guò)程可用于將捕獲的圖像650結(jié)合在一起，但是對(duì)于利用攝影測(cè)量的混合拼接，捕獲的圖像650可能不會(huì)被充分地拼接(例如，可對(duì)圖像進(jìn)行拼接但是不進(jìn)行混合或合成)。在具體實(shí)施方式中，在執(zhí)行拼接過(guò)程以生成合成圖像655之后，計(jì)算完整的一組單應(yīng)性。例如但不限于，如上所述，可計(jì)算與相鄰圖像對(duì)的相應(yīng)特征點(diǎn)對(duì)相關(guān)的單應(yīng)性矩陣。在具體實(shí)施方式中，在計(jì)算單應(yīng)性之后，可利用掩模或直接圖像分割將捕獲的圖像650分割為左圖像集合和右圖像集合。在圖26的示例中，捕獲的圖像650用于生成左圖像集合660和右圖像集合670。例如但不限于，捕獲的圖像650中的每個(gè)圖像可具有與一個(gè)相鄰圖像共享的第一重疊區(qū)域210和與另一相鄰圖像共享的重疊區(qū)域210?？赏ㄟ^(guò)從捕獲的圖像650中的每個(gè)圖像提取第一重疊區(qū)域210來(lái)形成一組左圖像660，并且可通過(guò)從捕獲的圖像650中的每個(gè)圖像提取第二重疊區(qū)域210來(lái)形成一組右圖像670。然后，利用計(jì)算出的單應(yīng)性將提取的左圖像660拼接在一起以生成偽立體左圖像665。類(lèi)似地，利用計(jì)算出的單應(yīng)性將提取的右圖像670拼接在一起以生成偽立體右圖像675。在具體實(shí)施方式中，可對(duì)左拼接圖像665和右拼接圖像675執(zhí)行充分的混合及合成過(guò)程。在具體實(shí)施方式中，可由服務(wù)器(例如，拼接服務(wù)器130)執(zhí)行利用攝影測(cè)量的混合拼接，并且可由內(nèi)容服務(wù)器140將拼接圖像665和675傳輸至客戶端設(shè)備150。在具體實(shí)施方式中，基礎(chǔ)視頻或圖像可與單應(yīng)性一同傳輸至(例如，通過(guò)內(nèi)容服務(wù)器140)客戶端設(shè)備150，并且客戶端設(shè)備150可執(zhí)行最終的拼接操作。

圖27示出用于重構(gòu)3-d360°視頻的示例性方法700。該方法可起始于步驟710：訪問(wèn)呈現(xiàn)場(chǎng)景的360°視圖的若干圖像。例如但不限于，可通過(guò)一組相機(jī)(例如，一組非立體相機(jī))捕獲圖像，每個(gè)相機(jī)定向?yàn)椴东@360°場(chǎng)景的特定部分。在具體實(shí)施方式中，每個(gè)圖像可呈現(xiàn)360°場(chǎng)景的一部分，并且每個(gè)圖像可包括第一重疊區(qū)域和第二重疊區(qū)域。第一重疊區(qū)域可對(duì)應(yīng)于與第一相鄰圖像的重疊部，并且第二重疊區(qū)域可對(duì)應(yīng)于與第二相鄰圖像的重疊部。在具體實(shí)施方式中，特定圖像的重疊區(qū)域可包括該特定圖像的區(qū)域的50％或50％以上。例如但不限于，具有在水平方向上延伸的1000像素的圖像可具有包括至少0至500像素的第一重疊區(qū)域，并且可具有包括至少500至1000像素的第二重疊區(qū)域。在步驟720中，計(jì)算一組單應(yīng)性。在具體實(shí)施方式中，可對(duì)每個(gè)重疊區(qū)域計(jì)算一組單應(yīng)性，并且單應(yīng)性可基于重疊區(qū)域中的特征點(diǎn)。例如但不限于，如上所述，可將特征點(diǎn)匹配過(guò)程應(yīng)用至呈現(xiàn)場(chǎng)景的360°視圖的圖像。在步驟730中，由呈現(xiàn)場(chǎng)景的360°視圖的圖像創(chuàng)建一組左圖像。所述一組左圖像可表示場(chǎng)景的第一360°視圖。在步驟740中，由呈現(xiàn)場(chǎng)景的360°視圖的圖像創(chuàng)建一組右圖像。所述一組右圖像可表示場(chǎng)景的第二360°視圖。在具體實(shí)施方式中，所述一組左圖像和一組右圖像的創(chuàng)建可基于攝影測(cè)量技術(shù)。在步驟750中，將左圖像拼接在一起。在具體實(shí)施方式中，可利用先前計(jì)算的單應(yīng)性將所述一組左圖像拼接在一起以生成拼接的360°左圖像。在步驟760中，將右圖像拼接在一起，此時(shí)方法可結(jié)束。在具體實(shí)施方式中，可利用先前計(jì)算的單應(yīng)性將所述一組右圖像拼接在一起以生成拼接的360°右圖像。在適當(dāng)?shù)那闆r下，具體的實(shí)施方式可重復(fù)圖27的方法的一個(gè)或多個(gè)步驟。盡管本公開(kāi)描述并示出圖27的方法的以特定順序發(fā)生的特定步驟，但是本公開(kāi)可設(shè)想到圖27的方法的以任何適當(dāng)順序發(fā)生的任何適當(dāng)步驟。此外，盡管本公開(kāi)描述并示出包括圖27的方法的特定步驟的用于重構(gòu)3-d360°視頻的示例性方法，但是本公開(kāi)可設(shè)想到包括任何適當(dāng)步驟的用于重構(gòu)3-d360°視頻的任何適當(dāng)方法，在適當(dāng)?shù)那闆r下，所述步驟可包括圖27的方法的所有或某些步驟，或者不包括其中任一步驟。另外，盡管本公開(kāi)描述并示出實(shí)現(xiàn)圖27的方法的特定步驟的特定組件、設(shè)備或系統(tǒng)，但是本公開(kāi)可設(shè)想到實(shí)現(xiàn)圖27的方法的任何適當(dāng)步驟的任何適當(dāng)?shù)慕M件、設(shè)備或系統(tǒng)的任何適當(dāng)組合。

圖28示出用于重構(gòu)3-d360°視頻的另一示例性方法900。該方法可起始于步驟710：訪問(wèn)呈現(xiàn)場(chǎng)景的360°視圖的若干圖像。如上所述，可通過(guò)一組相機(jī)(例如，一組非立體相機(jī))捕獲圖像，其中每個(gè)圖像可呈現(xiàn)360°場(chǎng)景的一部分，并且每個(gè)圖像可包括第一重疊區(qū)域和第二重疊區(qū)域。第一重疊區(qū)域可對(duì)應(yīng)于與第一相鄰圖像的重疊部，并且第二重疊區(qū)域可對(duì)應(yīng)于與第二相鄰圖像的重疊部。在步驟950中，可通過(guò)如上所述的相機(jī)系統(tǒng)接收每個(gè)相機(jī)相對(duì)于相鄰相機(jī)的位置、來(lái)自相鄰相機(jī)的圖像之間的重疊量以及圖像邊界。在步驟955中，可拼接來(lái)自相機(jī)系統(tǒng)的圖像以形成單目全景圖像。例如但不限于，如上所述，可將特征點(diǎn)匹配過(guò)程應(yīng)用至呈現(xiàn)場(chǎng)景的360°視圖的拼接圖像。在具體實(shí)施方式中，可分割接收的圖像以生成左虛擬立體相機(jī)(vsc)和右vsc的兩個(gè)圖像邊界。可擴(kuò)大接收的圖像的區(qū)域使得實(shí)現(xiàn)適當(dāng)?shù)钠唇又丿B部。在步驟960中，可計(jì)算虛擬位置。在步驟965中，基于圖像的重疊部的圖像分割可限定軸邊緣邊界。例如但不限于，軸邊緣邊界可對(duì)應(yīng)于左vsc的右邊界和右vsc的左邊界。例如但不限于，左vsc的左邊緣和右vsc的右邊緣通過(guò)不同的單目相機(jī)之間的拼接線(以橙色示出)限定。在步驟970中，可確定分割圖像的非軸向邊界。例如但不限于，非軸向邊界可對(duì)應(yīng)于左vsc的左邊緣和右vsc的右邊緣。在具體實(shí)施方式中，非軸向邊界由不同相機(jī)之間的拼接線或縫限定。

在步驟975中，可生成捕獲接收的圖像的邊界的圖像掩模。在具體實(shí)施方式中，圖像掩模限定單目圖像的哪個(gè)部分屬于對(duì)應(yīng)的vsc。接收的單目圖像可變形以補(bǔ)償用于補(bǔ)償捕獲的場(chǎng)景的虛擬3-d空間中的對(duì)象的各種位置而必須變形的單目圖像。在具體實(shí)施方式中，變形的圖像的邊界可以是相對(duì)任意的并且難以限定為簡(jiǎn)單的線。相反地，這些邊界更容易被捕獲為掩模(例如，左vsc掩模和右vsc掩模)。在步驟750中，將左圖像拼接在一起。在具體實(shí)施方式中，可利用先前對(duì)左圖像計(jì)算的vsc掩模將所述一組左圖像拼接在一起。在步驟760中，右圖像拼接在一起。在具體實(shí)施方式中，可利用先前對(duì)右圖像計(jì)算的vsc掩模將所述一組右圖像拼接在一起。在步驟980中，左拼接圖像和右拼接圖像結(jié)合以形成3-d360°視頻。在適當(dāng)?shù)那闆r下，具體的實(shí)施方式可重復(fù)圖28的方法的一個(gè)或多個(gè)步驟。盡管本公開(kāi)描述并示出圖28的方法的以特定順序發(fā)生的特定步驟，但是本公開(kāi)可設(shè)想到圖28的方法的以任何適當(dāng)順序發(fā)生的任何適當(dāng)步驟。此外，盡管本公開(kāi)描述并示出包括圖28的方法的特定步驟的用于重構(gòu)3-d360°視頻的示例性方法，但是本公開(kāi)可設(shè)想到包括任何適當(dāng)步驟的用于重構(gòu)3-d360°視頻的任何適當(dāng)方法，在適當(dāng)?shù)那闆r下，所述步驟可包括圖28的方法的所有或某些步驟，或者不包括其中任一步驟。另外，盡管本公開(kāi)描述并示出實(shí)現(xiàn)圖28的方法的特定步驟的特定組件、設(shè)備或系統(tǒng)，但是本公開(kāi)可設(shè)想到實(shí)現(xiàn)圖28的方法的任何適當(dāng)步驟的任何適當(dāng)?shù)慕M件、設(shè)備或系統(tǒng)的任何適當(dāng)組合。

圖29示出在對(duì)圖像應(yīng)用變形操作之前和之后的單目圖像的示例性集合。在圖29的示例中，圖像765a、765b和765c對(duì)應(yīng)于應(yīng)用變形操作之前的所捕獲的單目圖像，并且圖像767a、767b和767c對(duì)應(yīng)于應(yīng)用了變形操作之后的圖像。在具體實(shí)施方式中，相機(jī)系統(tǒng)可包括一組單目相機(jī)，其中每個(gè)相機(jī)沿著相機(jī)系統(tǒng)的半徑同軸地對(duì)齊。在具體實(shí)施方式中，來(lái)自單目相機(jī)系統(tǒng)的一組單目圖像可結(jié)合以形成看起來(lái)如通過(guò)一組虛擬立體相機(jī)拍攝的拼接圖像，其中每個(gè)vsc對(duì)(例如，一對(duì)左vsc和右vsc)對(duì)應(yīng)于單目相機(jī)。例如但不限于，可在拼接過(guò)程期間對(duì)一組單目圖像進(jìn)行轉(zhuǎn)換以生成獨(dú)立的左眼輸出和右眼輸出。在具體實(shí)施方式中，如上所述，單目圖像可基于軸邊緣邊界和非軸邊緣被分割。在具體實(shí)施方式中，一組單目圖像可變形為補(bǔ)償場(chǎng)景中的對(duì)象的各種3-d位置。例如但不限于，如圖29中的變形的圖像767a、767b和767c所示，應(yīng)用變形操作之后的一組圖可具有非線性的邊界或跨越兩個(gè)維度變化的邊界。在具體實(shí)施方式中，圖像邊界可形成可以限定單目圖像的哪個(gè)部分屬于哪個(gè)vsc的掩模。盡管本公開(kāi)描述并示出以特定方式分割并變形的特定的單目圖像，但是本公開(kāi)可設(shè)想到以任何適當(dāng)方式分割并變形的任何適當(dāng)?shù)膯文繄D像。

圖30至圖31示出示例性360°立體3-d環(huán)境。在具體實(shí)施方式中，用戶可通過(guò)使用能夠支持3-d的客戶端設(shè)備來(lái)體驗(yàn)沉浸式360°立體3-d環(huán)境240。如圖30的示例中所示，在具體實(shí)施方式中，用戶被360°立體3-d環(huán)境240圍繞，并且用戶可與360°立體3-d環(huán)境240交互。用于觀看360°立體視頻的示例性客戶端設(shè)備150a-c可包括頭戴式顯示器(hmd)、移動(dòng)設(shè)備(例如，電話、平板等)或電視機(jī)。如圖31的示例中所示，在具體實(shí)施方式中，多個(gè)用戶可通過(guò)客戶端設(shè)備150a-c觀看360°立體3-d環(huán)境240，并且從它們獨(dú)特的透視圖(perspective)242a-c獨(dú)立地觀看360°立體3-d環(huán)境240。例如但不限于，每個(gè)用戶可通過(guò)客戶端設(shè)備150a-c實(shí)時(shí)動(dòng)態(tài)地調(diào)整它們各自的360°立體3-d環(huán)境240的透視圖242a-c。另外，選擇的透視圖242a-c可提供為實(shí)時(shí)捕獲并實(shí)時(shí)渲染在客戶端設(shè)備150a-c上的立體3-d視頻。

如上所述，客戶端設(shè)備150a-c可向提供360°立體3-d視頻的內(nèi)容服務(wù)器140描述每個(gè)用戶的定向。在具體實(shí)施方式中，客戶端設(shè)備150a-c可包括可用于旋轉(zhuǎn)或控制透視圖242a-c的慣性測(cè)量單元(imu)。另外，客戶端設(shè)備150a-c可基于慣性測(cè)量來(lái)確定每個(gè)用戶的定向，使得360°立體3-d環(huán)境240可渲染為與每個(gè)用戶的左眼和右眼正確地對(duì)齊。例如但不限于，imu可包括陀螺儀、加速度計(jì)或其組合。在具體實(shí)施方式中，加速度計(jì)可用于確定重力矢量并將360°立體3-d環(huán)境240對(duì)齊至用戶的全球垂直軸。作為另一示例，可基于用戶對(duì)顯示器的相對(duì)位置來(lái)調(diào)整顯示的透視圖242a-c的視差。在具體實(shí)施方式中，慣性測(cè)量傳感器的快速采樣可在計(jì)算客戶端設(shè)備150a-c的動(dòng)作時(shí)實(shí)現(xiàn)更高的準(zhǔn)確度和精確度。在具體實(shí)施方式中，對(duì)imu的自動(dòng)動(dòng)作計(jì)算的使用的控制可進(jìn)行切換。在具體實(shí)施方式中，內(nèi)容服務(wù)器140可基于如上所述的用戶的輸入以交互的方式提供對(duì)360°立體3-d環(huán)境240的訪問(wèn)。例如但不限于，透視圖242a-c可分別對(duì)應(yīng)于由多個(gè)視圖或透視圖組成的360°立體3-d環(huán)境240的具體的視圖或透視圖。因此，如本文中更充分地描述的，客戶端設(shè)備可顯示全景(如360°)場(chǎng)景的具體視圖，并且所述場(chǎng)景可劃分為多個(gè)視圖，每個(gè)視圖可例如隨著用戶轉(zhuǎn)動(dòng)她的頭部而被用戶看見(jiàn)。本公開(kāi)可設(shè)想到視圖可以是連續(xù)的，使得視圖簡(jiǎn)單地為對(duì)用戶顯示的內(nèi)容，并且用戶可例如通過(guò)轉(zhuǎn)動(dòng)她的頭部來(lái)持續(xù)地調(diào)整顯示。在具體實(shí)施方式中，內(nèi)容服務(wù)器140可基于用戶的定向從高分辨率流中選擇幀，并且可將選擇的幀傳輸至客戶端設(shè)備150a-c。內(nèi)容服務(wù)器140可預(yù)測(cè)客戶端設(shè)備150a-c的動(dòng)作方向，并且基于預(yù)測(cè)的動(dòng)作方向傳輸額外的幀。

在具體實(shí)施方式中，客戶端設(shè)備150a-c可以是具有水平或垂直參考平面以圍繞自身的動(dòng)作中心旋轉(zhuǎn)的智能電話或平板。由于用戶可能?chē)@著他自身的動(dòng)作中心旋轉(zhuǎn)，而不是設(shè)備的中心，因此在這種情況下旋轉(zhuǎn)必須將平移納入考慮。平移可與動(dòng)作控制同時(shí)被支持以允許用戶設(shè)置水平或垂直參考平面。替代地，重力矢量感測(cè)可用于自動(dòng)地設(shè)置這些平面。在具體實(shí)施方式中，用戶可手動(dòng)地為360°立體3-d視頻建立垂直平面。例如但不限于，透視圖242a-c可通過(guò)平移客戶端設(shè)備150a-c旋轉(zhuǎn)。在具體實(shí)施方式中，用戶可在電話或平板的觸摸屏上執(zhí)行手勢(shì)以與360°立體3-d視頻交互。例如但不限于，捏的手勢(shì)可增大渲染在客戶端設(shè)備150a-c上的透視圖242a-c的變焦(zoom)。

在具體實(shí)施方式中，外圍設(shè)備可與客戶端設(shè)備150a-c配對(duì)。例如但不限于，外圍設(shè)備可以是遙控設(shè)備、移動(dòng)電話、平板、操縱桿、觸摸板、觸控筆或可穿戴設(shè)備。另外，配對(duì)可通過(guò)射頻(rf)、光傳輸、藍(lán)牙、wi-fi或有線連接來(lái)執(zhí)行。例如但不限于，來(lái)自操縱桿或游戲控制器的輸入可用于平移透視圖242a-c。在具體實(shí)施方式中，外圍設(shè)備可包括位置追蹤系統(tǒng)(例如，playstationmove或wiiremote)，并且位置或旋轉(zhuǎn)追蹤可用于修改透視圖242a-c。作為另一示例，觸摸板或操縱桿可用于輸入上拉可視菜單或?qū)崿F(xiàn)特定功能的“鼠標(biāo)手勢(shì)”。在具體實(shí)施方式中，外圍設(shè)備可以是遙控設(shè)備，并且透視圖242a-c可通過(guò)遙控設(shè)備的移動(dòng)基于加速度計(jì)或陀螺儀的數(shù)據(jù)而改變。作為另一示例，可利用遙控設(shè)備的雙向按鈕來(lái)影響放大或縮小。作為另一示例，用戶可利用遙控設(shè)備的方向鍵來(lái)旋轉(zhuǎn)透視圖242a-c。在具體實(shí)施方式中，外圍設(shè)備可包括特定按鈕，所述特定按鈕可用于將透視圖242a-c返回至已知的安全設(shè)定從而允許用戶容易地自我定位。如果需要變焦或其他控制，則雙向按鈕(如頻道控制)可映射至這些功能。

在具體實(shí)施方式中，外圍設(shè)備可與hmd配對(duì)以調(diào)整透視圖242a-c。例如但不限于，外圍設(shè)備(遙控設(shè)備或游戲控制器)可包括物理紋理以引導(dǎo)用戶至局部按鈕或控制。另外，外圍設(shè)備可包括允許外部相機(jī)定位外圍設(shè)備并在透視圖242a-c中顯示其表象的的標(biāo)簽(主動(dòng)或被動(dòng))。在具體實(shí)施方式中，外圍設(shè)備的虛擬表象可能不是準(zhǔn)確的表象。例如，某些部分(例如，按鈕或開(kāi)關(guān))可被準(zhǔn)確地渲染，而可對(duì)外圍設(shè)備進(jìn)行縮放以為外圍設(shè)備注入附加的功能。作為另一示例，外圍設(shè)備可使用允許外圍設(shè)備在用戶觸摸按鈕時(shí)向客戶端設(shè)備150a-c提供輸入的觸摸感測(cè)。在具體實(shí)施方式中，外圍設(shè)備可以是附接至真實(shí)對(duì)象的一個(gè)或多個(gè)可附接的傳感器粘貼件。例如但不限于，左箭頭功能粘貼件可放置于對(duì)象(例如，紙巾盒)的左側(cè)上，且右箭頭功能粘貼件可放置于對(duì)象的右側(cè)上。在對(duì)象的每一側(cè)上輕敲可瀏覽視頻內(nèi)容。

在具體實(shí)施方式中，外圍設(shè)備可以是與客戶端設(shè)備150a-c配對(duì)的可穿戴設(shè)備。例如但不限于，外圍設(shè)備可以是具有觸覺(jué)反饋的一個(gè)或多個(gè)手套。當(dāng)用戶觸摸虛擬對(duì)象時(shí)，手套發(fā)送與對(duì)象相關(guān)聯(lián)的觸覺(jué)反饋(例如，紋理、感覺(jué)或溫度)。在具體實(shí)施方式中，外圍設(shè)備可以是智能手表，且智能手表的運(yùn)動(dòng)可控制透視圖242a-c的空間瀏覽。動(dòng)作可由imu(例如，加速度計(jì)或陀螺儀)、地磁傳感器或氣壓表檢測(cè)。例如，當(dāng)用戶用手指指示時(shí)，透視圖242a-c可向前移動(dòng)。作為另一示例，旋轉(zhuǎn)或撥動(dòng)智能手表可使360°立體3-d視頻及時(shí)向后或向前移動(dòng)。作為另一示例，智能手表的運(yùn)動(dòng)可使透視圖242a-c移動(dòng)至不同的位置或使360°立體3-d視頻推進(jìn)至下一章節(jié)。在具體實(shí)施方式中，外圍設(shè)備可以是戴在用戶手指上的戒指。例如但不限于，用戶可通過(guò)戒指的側(cè)面上的旋轉(zhuǎn)元件改變透視圖242a-c。作為另一示例，旋轉(zhuǎn)元件可控制360°立體3-d視頻的回放速率。在具體實(shí)施方式中，戒指可包括用于用戶輸入的物理按鈕或電容傳感器。例如但不限于，用戶可按壓按鈕以執(zhí)行選擇操作。作為另一示例，用戶可在電容傳感器上執(zhí)行滑動(dòng)手勢(shì)以控制透視圖242a-c。在具體實(shí)施方式中，戒指可利用加速度計(jì)、氣壓表、陀螺儀或地磁傳感器來(lái)執(zhí)行運(yùn)動(dòng)感測(cè)，并且使用具有戒指的手指來(lái)控制透視圖242a-c的瀏覽。

在具體實(shí)施方式中，智能電話或平板可包括面對(duì)用戶的相機(jī)，并且可通過(guò)追蹤用戶眼睛的運(yùn)動(dòng)來(lái)提供用戶輸入。例如但不限于，用戶可基于眨眼的量或持續(xù)時(shí)間來(lái)瀏覽360°立體3-d視頻或用戶界面(ui)。作為另一示例，可響應(yīng)于用戶將其眼睛指向透視圖242a-c的特定部分并保持其眼睛的位置預(yù)定時(shí)間量來(lái)執(zhí)行特定指令。作為另一示例，ui可基于閉一只眼睜另一只眼的用戶來(lái)執(zhí)行特定動(dòng)作。

在具體實(shí)施方式中，可與平板或智能電話結(jié)合使用觸控筆，以與360°立體3-d視頻交互或控制360°立體3-d視頻。例如但不限于，觸控筆可用于圖畫(huà)、注釋或選擇360°立體3-d環(huán)境240的多個(gè)部分。例如，用戶可通過(guò)利用觸控筆尖追蹤360°立體3-d視頻的對(duì)象的輪廓來(lái)執(zhí)行“套索”選項(xiàng)。作為另一示例，當(dāng)與客戶端設(shè)備150a-c配對(duì)時(shí)，觸控筆可以是“類(lèi)似鼠標(biāo)”的控制器。

在具體實(shí)施方式中，客戶端設(shè)備可提供允許用戶與360°立體3-d視頻交互的ui。在具體實(shí)施方式中，客戶端設(shè)備150a-c的imu可使用用戶頭部的動(dòng)作來(lái)與ui交互(例如，點(diǎn)頭或搖頭以確認(rèn)或拒絕動(dòng)作)。例如但不限于，ui可使用透視圖242a-c的側(cè)面來(lái)顯示菜單項(xiàng)或者激活各種功能。例如，如果透視圖242a-c的中心包括主要視頻內(nèi)容，則透視圖242a-c的側(cè)面或背面可包括用戶可看見(jiàn)以激活的控制。作為另一示例，ui可以水平地組織不同的視頻片段。用戶可通過(guò)水平地旋轉(zhuǎn)頭部來(lái)瀏覽(navigate)視頻片段。另外，通過(guò)向上看或向下看，用戶可逐幀地縮放選擇的片段。作為另一示例，擺動(dòng)用戶的頭部可導(dǎo)致透視圖242a-c的傾斜。作為另一示例，ui可基于檢測(cè)到由用戶執(zhí)行的頭部向下的動(dòng)作來(lái)打開(kāi)動(dòng)作菜單。

在客戶端設(shè)備150a-c為hmd的情況下，用戶的視覺(jué)可能被遮擋且用戶可在手或真實(shí)環(huán)境不可見(jiàn)的情況下與360°立體3-d環(huán)境240交互。在具體實(shí)施方式中，hmd可包括可用于追蹤用戶的手的骨骼以生成手的指針或虛擬圖像的面向外部的相機(jī)。例如但不限于，用戶可利用由面向外部的相機(jī)捕獲的手勢(shì)互動(dòng)與ui交互。在具體實(shí)施方式中，客戶端設(shè)備150a-c可包括與頭部接觸的電極。例如但不限于，一個(gè)或多個(gè)電極可構(gòu)建至hmd設(shè)備的邊緣中以接觸用戶頭部的前側(cè)靠近前額皮質(zhì)區(qū)域。作為示例，ui可包括捕獲大腦中的電活動(dòng)以與360°立體3-d環(huán)境240交互的腦機(jī)接口(bci)。另外，客戶端設(shè)備150a-c可推斷用戶的情緒或指令并相應(yīng)地調(diào)整內(nèi)容或透視圖242a-c。

在具體實(shí)施方式中，客戶端設(shè)備150a-c可包括深度傳感器和圖像傳感器的組合以捕獲用戶的四肢(例如，手或腳)在3-d中的移動(dòng)。例如但不限于，傳感器可以是類(lèi)似kinect的系統(tǒng)的一部分。作為另一示例，客戶端設(shè)備150a-c可使用面向用戶以通過(guò)三角測(cè)量分割用戶的手并確定其3-d位置的相機(jī)對(duì)。在具體實(shí)施方式中，客戶端設(shè)備150a-c的ui可由捕獲到的用戶手的移動(dòng)識(shí)別具體的手勢(shì)。另外，ui可通過(guò)捕獲到的用戶的一只或兩只手的移動(dòng)來(lái)提供對(duì)一組指針的直接控制。例如但不限于，捕獲到的手的移動(dòng)可允許用戶玩游戲、與其他虛擬內(nèi)容交互或?qū)μ摂M風(fēng)景進(jìn)行注釋。作為另一示例，用戶還可利用手勢(shì)進(jìn)行諸如暫?；虿シ?60°立體3-d視頻，訪問(wèn)諸如倒回、快進(jìn)或音量的控制，或者轉(zhuǎn)移至不同的虛擬場(chǎng)景或區(qū)域。例如，ui可允許用戶通過(guò)舉起他們的手來(lái)移動(dòng)或定格360°立體3-d視頻的一部分。在具體實(shí)施方式中，360°立體3-d視頻的控制可通過(guò)由用戶“觸摸”的ui的虛擬控制(例如，虛擬按鈕或滑動(dòng)器)或者在沒(méi)有虛擬控制的情況下利用手勢(shì)來(lái)完成。

例如但不限于，ui可基于識(shí)別到追蹤所顯示的虛擬對(duì)象的輪廓的手指或手的移動(dòng)來(lái)加亮或選擇虛擬項(xiàng)目。例如，ui可提供特殊效果以在透視圖242a-c中將選擇的對(duì)象與其他未選擇的對(duì)象區(qū)分開(kāi)。作為另一示例，ui可將四個(gè)手指的移動(dòng)識(shí)別為對(duì)應(yīng)于虛擬qwerty鍵盤(pán)或控制器面板上的輸入。例如，ui可基于虛擬鍵盤(pán)上的輸入在透視圖242a-c上提供虛擬便箋。作為另一示例，ui可響應(yīng)于檢測(cè)到兩個(gè)拇指的移動(dòng)而執(zhí)行選擇或點(diǎn)擊操作。另外，用戶可通過(guò)輕敲虛擬鍵盤(pán)來(lái)選擇信件，并且相機(jī)追蹤該動(dòng)作。作為另一示例，ui可將指示手勢(shì)聯(lián)系為將360°立體3-d視頻推進(jìn)至下一記錄點(diǎn)的指令。作為另一示例，ui可基于檢測(cè)到用戶的手之間的距離改變而放大或縮小透視圖242a-c。作為另一示例，ui可基于捕獲到形成望遠(yuǎn)鏡形狀的兩只手來(lái)在透視圖242a-c上進(jìn)行放大。

作為另一示例，ui可響應(yīng)于與剝離手勢(shì)對(duì)應(yīng)的、所捕獲的手的移動(dòng)而移除360°立體3-d環(huán)境240的一部分以展現(xiàn)電話相機(jī)饋入。作為另一示例，ui可基于檢測(cè)到手滑動(dòng)手勢(shì)而打開(kāi)操作菜單。作為另一示例，ui可通過(guò)利用滑動(dòng)手勢(shì)將最近的透視圖242a-c擦去來(lái)顯示透明的透視圖242a-c。作為另一示例，ui可支持基于由用戶伸出的手限定的區(qū)域來(lái)限定透視圖242a-c的待剪裁區(qū)域。剪裁的區(qū)域可與來(lái)自360°立體3-d視頻的記錄或直播串流的分段進(jìn)行拼貼。作為另一示例，當(dāng)用戶啟動(dòng)虛擬按鈕或執(zhí)行特定手勢(shì)時(shí)，ui可在串流至相機(jī)饋入的內(nèi)容之間進(jìn)行切換。在具體實(shí)施方式中，ui可根據(jù)用戶的移動(dòng)而基于深度傳感器和圖像傳感器數(shù)據(jù)執(zhí)行動(dòng)作。例如但不限于，用戶的步伐移動(dòng)可打開(kāi)通知，而踢腿動(dòng)作可去除通知。

在具體實(shí)施方式中，相機(jī)或深度相機(jī)可用于將對(duì)象從用戶的“真實(shí)”環(huán)境中拉進(jìn)視圖242a-c中。例如但不限于，用戶可位于其起居室中，并且在仍然在看著他們的沙發(fā)、咖啡桌和咖啡桌上的飲品的同時(shí)，利用hdm虛擬地被送往美麗的海灘。在具體實(shí)施方式中，ui可將增強(qiáng)至透視圖242a-c中的真實(shí)對(duì)象用作透視圖242a-c的虛擬控制。在具體實(shí)施方式中，用戶可通過(guò)連接至客戶端設(shè)備150a-c的外圍設(shè)備與透視圖242a-c交互。在具體實(shí)施方式中，外圍設(shè)備或客戶端設(shè)備150a-c可包括麥克風(fēng)以操縱ui或透視圖242a-c。例如但不限于，用戶可說(shuō)出諸如“打開(kāi)我的郵件”的語(yǔ)句，以供ui將內(nèi)容顯示給用戶。作為另一示例，用戶可說(shuō)出諸如“這是哪里”的語(yǔ)句，且ui可顯示地圖并在地圖上標(biāo)出位置。作為另一示例，用戶可說(shuō)出諸如“暫?！被颉伴_(kāi)始”的語(yǔ)句以操縱360°立體3-d視頻的回放。

如上所述，360°立體3-d視頻可提供沉浸式體驗(yàn)。例如但不限于，用于360°立體3-d視頻的ui可基于用戶與虛擬對(duì)象的交互而執(zhí)行動(dòng)作。例如，用戶可投擲虛擬球以標(biāo)記其在沉浸式環(huán)境中的當(dāng)前位置。作為另一示例，當(dāng)你接收到消息時(shí)，用戶的虛擬口袋中存在球，或者在ui上存在虛信件。作為另一示例，ui可提供虛擬針已標(biāo)記透視圖242a-c的不同部分。在具體實(shí)施方式中，ui可包括人工智能歸檔以組織不同的360°立體3-d視頻。在具體實(shí)施方式中，可基于360°立體3-d視頻的數(shù)據(jù)或元數(shù)據(jù)增強(qiáng)360°立體3-d環(huán)境240以顯示信息。例如但不限于，ui可根據(jù)正在觀看威尼斯的360°立體3-d視頻的用戶而基于視頻的圖像分析或位置數(shù)據(jù)提供威尼斯的歷史摘要。作為另一示例，ui可在透視圖242a-c的對(duì)象上方顯示圖標(biāo)。當(dāng)用戶與圖標(biāo)互動(dòng)時(shí)，ui可顯示更詳細(xì)的視圖或信息。作為另一示例，ui可允許用戶通過(guò)聲音、打字或鍵盤(pán)提供點(diǎn)評(píng)以增強(qiáng)實(shí)時(shí)360°立體3-d視頻。作為另一示例，ui可響應(yīng)于接收到來(lái)電在視圖242a-c內(nèi)部顯示電話菜單。

在具體實(shí)施方式中，ui可允許用戶選擇直播串流的或預(yù)錄制的360°立體3-d視頻上的對(duì)象、人或空間，并且透視圖242a-c可切換至另一透視圖242a-c。例如但不限于，ui可呈現(xiàn)所選擇的對(duì)象、人或空間的更靠近的優(yōu)化透視圖242a-c。在具體實(shí)施方式中，ui可提供具體地點(diǎn)或地標(biāo)的360°立體3-d視頻的時(shí)間重疊。例如但不限于，ui可允許用戶利用來(lái)自更早的時(shí)間的對(duì)象(例如，人或建筑物)的另一360°立體3-d視頻來(lái)增強(qiáng)360°立體3-d環(huán)境240。例如，現(xiàn)今的馬丘比丘(machupicchu)的360°立體3-d視頻可由客戶端設(shè)備150a-c渲染，并且ui可允許用戶利用來(lái)自印加時(shí)代的人和建筑物的360°立體3-d視頻來(lái)增強(qiáng)360°立體3-d環(huán)境240。在具體實(shí)施方式中，ui可以不同的時(shí)間或不同的透視圖242a-c提供360°立體3-d視頻的重疊過(guò)度。例如但不限于，360°立體3-d環(huán)境240可處于美術(shù)館內(nèi)。多個(gè)用戶可在空白的真實(shí)墻壁上展示他們的藝術(shù)品，并且藝術(shù)品可渲染在美術(shù)館的墻壁上。作為另一示例，ui可為用戶提供虛擬購(gòu)物體驗(yàn)，在該體驗(yàn)中，用戶可通過(guò)訪問(wèn)渲染為360°立體3-d環(huán)境240的商店來(lái)檢查實(shí)際情況或商品。

在具體實(shí)施方式中，客戶端設(shè)備150a-c可利用來(lái)自如上所述的內(nèi)容服務(wù)器140的音頻重構(gòu)數(shù)據(jù)來(lái)重構(gòu)與360°3-d視頻相關(guān)聯(lián)的音頻環(huán)境?？蛻舳嗽O(shè)備150a-c可具有提供耳機(jī)輸出的能力或者替代地可使用客戶端設(shè)備的環(huán)繞音效輸出的能力(例如，3-d電視上的環(huán)繞音頻)。例如但不限于，音頻可空間地固定在場(chǎng)景上，使得當(dāng)用戶轉(zhuǎn)動(dòng)他們的頭部時(shí)，音頻具有對(duì)應(yīng)的音調(diào)、音量等的改變。作為另一示例，用戶可控制音頻環(huán)境的特定部分。例如，用戶可對(duì)對(duì)其透視圖242a-c中的對(duì)象(例如，字符)執(zhí)行特定輸入，且與對(duì)象相關(guān)聯(lián)的音頻被靜音或增強(qiáng)。

圖32示出用于與3-d視頻交互的示例性方法3200。該方法可起始于步驟3210：在頭戴式客戶端計(jì)算設(shè)備的顯示器上向用戶呈現(xiàn)包括與用戶的物理環(huán)境相隔遙遠(yuǎn)的真實(shí)場(chǎng)景的圖像的三維視頻。在步驟3220中，在頭戴式客戶端計(jì)算設(shè)備的顯示器上向用戶呈現(xiàn)圖形對(duì)象。在具體實(shí)施方式中，圖形對(duì)象可包括用戶的物理環(huán)境的圖像3230或虛擬圖形對(duì)象3240。例如但不限于，用戶的物理環(huán)境的圖像3230可包括用戶的物理環(huán)境中的對(duì)象(例如，人、動(dòng)物或一件家具)、用戶的物理環(huán)境的示意圖或用戶的物理環(huán)境的鳥(niǎo)瞰視圖。作為另一示例而不限制，虛擬圖形對(duì)象3240可包括通知、虛擬輸入設(shè)備、顯示多重3-d視頻的虛擬表面、3-d視頻中與對(duì)象對(duì)應(yīng)的信息、由用戶創(chuàng)建的內(nèi)容或與真實(shí)場(chǎng)景對(duì)應(yīng)的圖像。在替代的實(shí)施方式中，可在頭戴式客戶端計(jì)算設(shè)備的顯示器上向用戶呈現(xiàn)用戶的物理環(huán)境，也可向用戶呈現(xiàn)包括遠(yuǎn)程的真實(shí)場(chǎng)景的圖像的三維視頻。在又一實(shí)施方式中，可在頭戴式客戶端計(jì)算設(shè)備的顯示器上向用戶呈現(xiàn)包括遠(yuǎn)程的真實(shí)場(chǎng)景的圖像的三維視頻與用戶的物理環(huán)境的任何適當(dāng)組合。在適當(dāng)?shù)那闆r下，具體的實(shí)施方式可重復(fù)圖32中的方法的一個(gè)或多個(gè)步驟。盡管本公開(kāi)描述并示出如以特定順序發(fā)生的圖32中的方法的特定步驟，但是本公開(kāi)可設(shè)想到以任何適當(dāng)順序發(fā)生的圖32中的方法的任何適當(dāng)步驟。此外，盡管本公開(kāi)描述并示出包括圖32中的方法的特定步驟的、用于與3-d視頻交互的示例性方法，但是本公開(kāi)可設(shè)想到包括任何適當(dāng)步驟的、用于與3-d視頻交互的任何適當(dāng)方法，其在適當(dāng)?shù)那闆r下，所述步驟可包括圖32的方法的所有或某些步驟，或者不包括其中任一步驟。另外，盡管本公開(kāi)描述并示出實(shí)現(xiàn)圖32的方法的特定步驟的特定組件、設(shè)備或系統(tǒng)，但是本公開(kāi)可設(shè)想到實(shí)現(xiàn)圖32的方法的任何適當(dāng)步驟的任何適當(dāng)?shù)慕M件、設(shè)備或系統(tǒng)的任何適當(dāng)組合。

圖33示出示例性頭戴式客戶端計(jì)算設(shè)備150的框圖。在具體實(shí)施方式中，頭戴式客戶端計(jì)算設(shè)備150可被稱為客戶端系統(tǒng)150、客戶端設(shè)備150或頭戴式顯示器(hmd)。在具體實(shí)施方式中，客戶端系統(tǒng)150可由用戶戴在用戶的頭部上或頭部周?chē)Ｔ诰唧w實(shí)施方式中，客戶端系統(tǒng)150可包括一個(gè)或多個(gè)顯示器。例如但不限于，客戶端系統(tǒng)150可包括分割為左側(cè)和右側(cè)的單個(gè)顯示器，其中顯示器的左側(cè)和右側(cè)分別用于向穿戴著客戶端系統(tǒng)150的用戶顯示3-d場(chǎng)景的左圖像和右圖像。在圖33的示例中，客戶端系統(tǒng)150包括左顯示器782l和右顯示器782r，并且兩個(gè)顯示器可用于向用戶呈現(xiàn)3-d視頻。在具體實(shí)施方式中，客戶端系統(tǒng)150可包括一個(gè)或多個(gè)相機(jī)。例如但不限于，客戶端系統(tǒng)150可包括從用戶的頭部朝向外側(cè)或遠(yuǎn)離的一個(gè)或多個(gè)相機(jī)，相機(jī)可用于捕獲用戶的物理環(huán)境的一個(gè)或多個(gè)圖像。在圖33的示例中，客戶端系統(tǒng)150包括左相機(jī)784l和右相機(jī)784r。兩個(gè)相機(jī)784l和784r可用于捕獲用戶的物理環(huán)境的立體圖或視頻，并且這些圖像或視頻可在顯示器782l和782r上顯示給用戶。

在具體實(shí)施方式中，客戶端系統(tǒng)150可包括一個(gè)或多個(gè)處理器786。例如但不限于，處理器786可對(duì)由客戶端系統(tǒng)150從內(nèi)容服務(wù)器140接收的圖像執(zhí)行拼接操作。在具體實(shí)施方式中，客戶端系統(tǒng)150可包括用于向客戶端系統(tǒng)150提供電力的電池788(例如，可再充電電池)。在具體實(shí)施方式中，客戶端系統(tǒng)150可包括外部通信模塊790，例如利用wi-fi或藍(lán)牙協(xié)議無(wú)線地通信的模塊。例如但不限于，外部通信模塊790可與內(nèi)容服務(wù)器140無(wú)線地通信，或者可與經(jīng)互聯(lián)網(wǎng)連接的計(jì)算設(shè)備無(wú)線地通信，其中所述計(jì)算設(shè)備與內(nèi)容服務(wù)器140進(jìn)行通信。在具體實(shí)施方式中，客戶端系統(tǒng)150可包括一個(gè)或多個(gè)揚(yáng)聲器792。例如但不限于，揚(yáng)聲器792可直接產(chǎn)生用戶可聽(tīng)見(jiàn)的可聽(tīng)聲音，或者揚(yáng)聲器792可向產(chǎn)生可聽(tīng)聲音的耳機(jī)提供信號(hào)(例如，藍(lán)牙信號(hào))。在具體實(shí)施方式中，客戶端系統(tǒng)150可包括一個(gè)或多個(gè)麥克風(fēng)794。例如但不限于，麥克風(fēng)794可用于接收來(lái)自用戶的口頭命令。作為另一示例而不限制，麥克風(fēng)794可用于接收或檢測(cè)來(lái)自用戶的物理環(huán)境的音頻信號(hào)(例如，正在對(duì)用戶講話的人的聲音、門(mén)鈴的聲音或用戶的狗吠叫的聲音)。在具體實(shí)施方式中，客戶端系統(tǒng)150可包括一個(gè)或多個(gè)慣性測(cè)量單元(imu)796以確定客戶端系統(tǒng)150的定向或移動(dòng)。在具體實(shí)施方式中，客戶端系統(tǒng)150可包括一個(gè)或多個(gè)傳感器798。例如但不限于，客戶端系統(tǒng)150可包括一個(gè)或多個(gè)深度傳感器798以確定或檢測(cè)用戶的物理環(huán)境中的對(duì)象的位置(例如，以檢測(cè)朝著用戶的人的接近)。盡管本公開(kāi)描述并示出包括特定組件的特定的頭戴式客戶端計(jì)算設(shè)備，但是本公開(kāi)可設(shè)想到包括任何適當(dāng)?shù)慕M件的任何適當(dāng)?shù)念^戴式客戶端計(jì)算設(shè)備。

圖34示出穿戴著示例性頭戴式客戶端計(jì)算設(shè)備150站立在房間中的用戶。在具體實(shí)施方式中，用戶可觀看呈現(xiàn)在客戶端系統(tǒng)150上的3-d視頻，其中3-d視頻包括距離用戶的物理環(huán)境遙遠(yuǎn)的真實(shí)場(chǎng)景的圖像。在具體實(shí)施方式中，用戶的物理環(huán)境可包括一個(gè)或多個(gè)對(duì)象(例如，家具、墻、梯子、門(mén))、動(dòng)物、或者位于用戶附近的、與用戶處于同一房間中的或位于用戶的特定距離內(nèi)(例如，1米、3米、5米、10米內(nèi)或處于任何適當(dāng)?shù)木嚯x內(nèi))的人。在圖34的示例中，用戶正站立在房間中觀看呈現(xiàn)在客戶端系統(tǒng)150上的場(chǎng)景，并且用戶的物理環(huán)境包括家具(例如，桌子910和置物架915)、狗920和另一人925。

圖35示出用戶穿戴著頭戴式客戶端計(jì)算設(shè)備150觀看的示例性場(chǎng)景。在具體實(shí)施方式中，由用戶觀看的場(chǎng)景可包括3-d圖像或3-d視頻。在圖35的示例中，在客戶端系統(tǒng)150上向用戶顯示的場(chǎng)景包括城堡、樹(shù)和晴朗的天空。用戶可在家中位于其起居室中，與此同時(shí)穿戴著客戶端系統(tǒng)150以觀看描述歐洲城堡的旅行視頻。

圖36示出具有示例性通知930的圖35的示例性場(chǎng)景。在具體實(shí)施方式中，客戶端系統(tǒng)150可向用戶呈現(xiàn)3-d場(chǎng)景和虛擬圖形對(duì)象。在具體實(shí)施方式中，虛擬圖形對(duì)象可包括通知930、虛擬輸入設(shè)備(例如，虛擬鍵盤(pán)、虛擬筆或虛擬控制面板)、顯示多重3-d視頻的虛擬表面、與3-d視頻中的對(duì)象對(duì)應(yīng)的信息、由用戶創(chuàng)建的內(nèi)容(例如，文字或圖畫(huà))或?qū)?yīng)于真實(shí)場(chǎng)景的圖像。例如但不限于，具有有關(guān)城堡的歷史信息的虛擬圖形對(duì)象可覆加在城堡的3-d視頻上。作為另一示例而不限制，虛擬圖形對(duì)象可包括疊加在歷史遺跡的真實(shí)場(chǎng)景(例如，如現(xiàn)今所呈現(xiàn)的城堡的毀損)上的歷史遺跡的圖像(例如，如可能在幾個(gè)世紀(jì)前所呈現(xiàn)的城堡)。在圖36的示例中，客戶端系統(tǒng)150顯示具有覆加在場(chǎng)景上的通知930的城堡的場(chǎng)景。在具體實(shí)施方式中，通知930可以任何適當(dāng)?shù)母袷斤@示，例如，覆加或疊加在場(chǎng)景的一部分或整體上、靠近場(chǎng)景的中心或分開(kāi)地位于場(chǎng)景的一側(cè)。在具體實(shí)施方式中，通知930可以是不透明的，且可遮蓋位于通知930后方的場(chǎng)景的一部分，或者通知930可以是半透明，其允許位于通知后側(cè)的場(chǎng)景至少部分地被看見(jiàn)。在具體實(shí)施方式中，通知930可包括來(lái)自另一用戶或應(yīng)用的消息。例如但不限于，通知930可包括由另一用戶發(fā)送給用戶的電子郵件、語(yǔ)音郵件或文字消息中的一部分、或表明用戶已收到郵件、電話呼叫或文字消息的指示。作為另一示例而不限制，通知930可包括來(lái)自客戶端系統(tǒng)150或在客戶端系統(tǒng)150上運(yùn)行的應(yīng)用的消息，例如用戶的門(mén)鈴響動(dòng)、人925在接近用戶、用戶的狗920在吠叫、用戶的狗920在接近或電池788即將用盡且需要再充電的消息。盡管本公開(kāi)描述并示出包括以特定格式顯示的特定信息的特定通知，但是本公開(kāi)可設(shè)想到包括以任何任何適當(dāng)?shù)母袷斤@示的任何適當(dāng)?shù)男畔⒌娜魏芜m當(dāng)?shù)耐ㄖ?/p>

圖37示出具有疊加在場(chǎng)景上的人925的圖35的示例性場(chǎng)景。在具體實(shí)施方式中，客戶端系統(tǒng)150可向用戶呈現(xiàn)3-d場(chǎng)景和用戶的物理環(huán)境的圖像。例如但不限于，客戶端系統(tǒng)150可包括圖像傳感器(例如，一個(gè)或多個(gè)相機(jī)，諸如左相機(jī)784l和右相機(jī)784r)，并且由圖像傳感器捕獲的用戶的物理環(huán)境的圖像可與3-d視頻結(jié)合并呈現(xiàn)給用戶。在具體實(shí)施方式中，客戶端系統(tǒng)150可接收表明用戶的物理環(huán)境中發(fā)生事件的指示，且基于該事件，客戶端系統(tǒng)150可向用戶呈現(xiàn)用戶的物理環(huán)境的至少一部分的圖像。例如但不限于，事件可包括用戶的物理環(huán)境的一個(gè)方面，例如用戶與對(duì)象之間的距離、對(duì)象的速度或由用戶或另一人作出的特定姿勢(shì)。在圖37的示例中，人925正面對(duì)著用戶且向用戶招手，且人925的圖像(如由客戶端系統(tǒng)150的相機(jī)捕獲的)疊加在城堡的3-d場(chǎng)景上。從由客戶端系統(tǒng)150的相機(jī)捕獲的圖像中的其余部分提取人925在向用戶招手的圖像，并且僅將提取的部分呈現(xiàn)給用戶。在具體實(shí)施方式中，呈現(xiàn)用戶的物理環(huán)境的圖像可允許用戶在與他們的物理環(huán)境進(jìn)行交互的或知曉他們的物理環(huán)境的同時(shí)，繼續(xù)觀看3-d場(chǎng)景。例如但不限于，用戶可能不需要為了觀看發(fā)生在用戶的物理環(huán)境中的事件而將客戶端系統(tǒng)150從其頭部移除。在圖37的示例中，用戶可以在仍然穿戴著客戶端系統(tǒng)150的同時(shí)能夠與人925交互。

圖38示出具有疊加在場(chǎng)景上的狗920的圖35的示例性場(chǎng)景。在具體實(shí)施方式中，當(dāng)來(lái)自用戶的物理環(huán)境的對(duì)象以特定速度或高于特定速度接近用戶，或者當(dāng)所述對(duì)象位于人的特定距離內(nèi)時(shí)，可向用戶顯示該對(duì)象。在具體實(shí)施方式中，顯示來(lái)自用戶的物理環(huán)境的對(duì)象可允許用戶避免撞到或絆到對(duì)象。在圖38中，狗920可以特定速度或高于特定速度接近用戶，或者狗可能位于相距人的特定距離內(nèi)?？捎煽蛻舳讼到y(tǒng)150的相機(jī)捕獲狗920的圖像，并且可從其環(huán)境提取狗的圖像并將它疊加在3-d視頻上。在具體實(shí)施方式中，可在與對(duì)象在用戶的物理環(huán)境中的位置近似對(duì)應(yīng)的位置中向用戶顯示來(lái)自用戶的物理環(huán)境的對(duì)象。在圖38中，狗920顯示在與狗920在用戶的物理環(huán)境中的位置對(duì)應(yīng)的位置中。

在具體實(shí)施方式中，客戶端系統(tǒng)150可接收表明用戶的物理環(huán)境中發(fā)生事件的指示，其中事件包括聲音。在具體實(shí)施方式中，對(duì)應(yīng)于事件的聲音可包括一個(gè)或多個(gè)可聽(tīng)話語(yǔ)。例如但不限于，穿戴著客戶端系統(tǒng)150的用戶可說(shuō)出由麥克風(fēng)794接收的口頭命令。用戶可說(shuō)出命令“相機(jī)”或“顯示房間”，且作為響應(yīng)，客戶端系統(tǒng)150可顯示用戶的物理環(huán)境的圖像。在圖37的示例中，人925可向用戶說(shuō)“你好”，且響應(yīng)于人925的可聽(tīng)問(wèn)候，客戶端系統(tǒng)150可顯示人925的圖像。在具體實(shí)施方式中，對(duì)應(yīng)于事件的聲音可包括大于閾聲幅的聲幅。在圖38的示例中，狗920可吠叫，并且狗920的聲幅可超過(guò)閾聲幅。響應(yīng)于檢測(cè)到來(lái)自狗920的吠叫，客戶端系統(tǒng)150可顯示狗920的圖像。

圖39示出分成兩個(gè)示例性視圖的示例性顯示器。在具體實(shí)施方式中，在客戶端系統(tǒng)150上向用戶顯示的場(chǎng)景可分割成兩個(gè)或兩個(gè)以上的視圖。在圖39的示例中，城堡場(chǎng)景顯示在用戶視圖的左半邊上，且用戶的物理環(huán)境的圖像顯示在用戶視圖的右半邊上。用戶的物理環(huán)境的圖像可由客戶端系統(tǒng)150的一個(gè)或多個(gè)相機(jī)捕獲。

圖40示出具有疊加在場(chǎng)景上的桌子910的圖35的示例性場(chǎng)景。在具體實(shí)施方式中，當(dāng)對(duì)象位于人的特定距離內(nèi)時(shí)，可向用戶顯示來(lái)自用戶的物理環(huán)境的對(duì)象。例如但不限于，當(dāng)穿戴客戶端系統(tǒng)150的用戶觀看顯示在客戶端系統(tǒng)150上的場(chǎng)景或與該場(chǎng)景互動(dòng)時(shí)，他們可在其物理環(huán)境內(nèi)進(jìn)行轉(zhuǎn)身或移動(dòng)。為了防止用戶撞到或絆到他們的物理環(huán)境中的對(duì)象，客戶端系統(tǒng)150可在用戶相鄰對(duì)象時(shí)提醒他們。在圖40的示例中，用戶可能處于桌子910的閾值距離內(nèi)，為了使用戶知曉該對(duì)象，客戶端系統(tǒng)150可向用戶顯示桌子910的圖像。

圖41示出具有彎曲箭頭935疊加在場(chǎng)景上的圖35的示例性場(chǎng)景。在具體實(shí)施方式中，客戶端系統(tǒng)150可將圖形符號(hào)(例如，箭頭935)疊加在所顯示的場(chǎng)景上，以提醒用戶位于用戶后方或與用戶的側(cè)方隔開(kāi)的對(duì)象或事件。在圖41的示例中，彎曲箭頭935表示用戶應(yīng)知曉位于用戶后方及右側(cè)的置物架915，因此他們不會(huì)碰到置物架915或被置物架915絆倒。當(dāng)穿戴客戶端系統(tǒng)150時(shí)，用戶可能朝著置物架915移動(dòng)，并且客戶端系統(tǒng)150可顯示箭頭935以向用戶指出在用戶的后方或側(cè)方存在對(duì)象。在具體實(shí)施方式中，在向用戶顯示箭頭935之后，如果用戶轉(zhuǎn)入箭頭935的方向，則客戶端系統(tǒng)150可顯示與箭頭935相關(guān)聯(lián)的對(duì)象(例如，置物架915)的圖像。

圖42示出具有示例性示意圖940的圖35的示例性場(chǎng)景。在具體實(shí)施方式中，除了顯示3-d圖像或視頻以外，客戶端系統(tǒng)150可顯示呈現(xiàn)用戶的物理環(huán)境中的對(duì)象的示意圖940。例如但不限于，客戶端系統(tǒng)150的相機(jī)可捕獲用戶的物理環(huán)境的圖像，以及可由相機(jī)圖像生成用戶的物理環(huán)境的示意圖940。在具體實(shí)施方式中，示意圖940可顯示處于相距用戶特定距離內(nèi)(例如，1米、3米或任何適當(dāng)?shù)木嚯x內(nèi))的對(duì)象。在圖42的示例中，示意圖940以用戶的位置為中心，并且示出用戶所處的房間中的對(duì)象。在具體實(shí)施方式中，當(dāng)用戶穿戴著客戶端系統(tǒng)150時(shí)，用戶可使用示意圖940保持對(duì)用戶的物理環(huán)境的認(rèn)識(shí)。例如但不限于，用戶可能能夠基于顯示在客戶端系統(tǒng)150上的示意圖940在其物理環(huán)境中四處移動(dòng)。在具體實(shí)施方式中，用戶可能能夠切換或關(guān)閉示意圖940的顯示。

圖43示出具有示例性鳥(niǎo)瞰視圖945的圖35的示例性場(chǎng)景。在具體實(shí)施方式中，除了顯示3-d圖像或視頻以外，客戶端系統(tǒng)150可顯示用戶的物理環(huán)境的鳥(niǎo)瞰視圖(例如，從上方呈現(xiàn)用戶的物理環(huán)境的視圖)。例如但不限于，客戶端系統(tǒng)150的相機(jī)可捕獲用戶的物理環(huán)境的圖像，并且相機(jī)圖像的各部分可結(jié)合在一起以構(gòu)成鳥(niǎo)瞰視圖945。在圖43的示例中，鳥(niǎo)瞰視圖是圓形的且以用戶的位置為中心。在具體實(shí)施方式中，鳥(niǎo)瞰視圖945可允許用戶在穿戴著客戶端系統(tǒng)150時(shí)保持知曉用戶的物理環(huán)境。

圖44示出示例性計(jì)算機(jī)系統(tǒng)4400。在具體實(shí)施方式中，一個(gè)或多個(gè)計(jì)算機(jī)系統(tǒng)4400執(zhí)行本文所描述或示出的一個(gè)或多個(gè)方法中的一個(gè)或多個(gè)步驟。在具體實(shí)施方式中，一個(gè)或多個(gè)計(jì)算機(jī)系統(tǒng)4400提供如本文中所描述或示出的功能。在具體實(shí)施方式中，在一個(gè)或多個(gè)計(jì)算機(jī)系統(tǒng)4400上運(yùn)行的軟件執(zhí)行本文所描述或示出的一個(gè)或多個(gè)方法中的一個(gè)或多個(gè)步驟，或者提供如本文中所描述或示出的功能。具體的實(shí)施方式包括一個(gè)或多個(gè)計(jì)算機(jī)系統(tǒng)4400的一個(gè)或多個(gè)部分。在本文中，在適當(dāng)?shù)那闆r下，對(duì)計(jì)算機(jī)系統(tǒng)的引用可包括計(jì)算設(shè)備；以及反之，對(duì)計(jì)算設(shè)備的引用可包括計(jì)算機(jī)系統(tǒng)。此外，在適當(dāng)?shù)那闆r下，對(duì)計(jì)算機(jī)系統(tǒng)的引用可包括一個(gè)或多個(gè)計(jì)算機(jī)系統(tǒng)。

本公開(kāi)可設(shè)想到任何適當(dāng)?shù)臄?shù)量的計(jì)算機(jī)系統(tǒng)4400。本公開(kāi)可設(shè)想到具有任何適當(dāng)?shù)奈锢硇问降挠?jì)算機(jī)系統(tǒng)4400。作為示例而不以限制的方式，計(jì)算機(jī)系統(tǒng)4400可以是嵌入式計(jì)算機(jī)系統(tǒng)、片上系統(tǒng)(soc)、單板計(jì)算機(jī)系統(tǒng)(sbc)(例如，模塊上計(jì)算機(jī)(com)或模塊上系統(tǒng)(som))、臺(tái)式計(jì)算機(jī)系統(tǒng)、膝上型或筆記本計(jì)算機(jī)系統(tǒng)、交互式信息亭、大型主機(jī)、計(jì)算機(jī)系統(tǒng)網(wǎng)、移動(dòng)電話、個(gè)人數(shù)字助手(pda)、服務(wù)器、平板計(jì)算機(jī)系統(tǒng)或這些中兩個(gè)或兩個(gè)以上的組合。在適當(dāng)?shù)那闆r下，計(jì)算機(jī)系統(tǒng)4400可包括一個(gè)或多個(gè)計(jì)算機(jī)系統(tǒng)4400；可以是一元化或分布式；可跨越多個(gè)位置；可跨越多個(gè)機(jī)器；可跨越多個(gè)數(shù)據(jù)中心；或者可置于云中，其中云可包括一個(gè)或多個(gè)網(wǎng)絡(luò)中的一個(gè)或多個(gè)云組件。在適當(dāng)?shù)那闆r下，一個(gè)或多個(gè)計(jì)算機(jī)系統(tǒng)4400可在不受實(shí)質(zhì)的空間或時(shí)間限制的情況下執(zhí)行本文所描述或示出的一個(gè)或多個(gè)方法中的一個(gè)或多個(gè)步驟。例如但不限于，一個(gè)或多個(gè)計(jì)算機(jī)系統(tǒng)4400可以實(shí)時(shí)或以批處理模式執(zhí)行本文所描述或示出的一個(gè)或多個(gè)方法中的一個(gè)或多個(gè)步驟。在適當(dāng)?shù)那闆r下，一個(gè)或多個(gè)計(jì)算機(jī)系統(tǒng)4400可在不同的時(shí)間或不同的位置執(zhí)行本文所描述或示出的一個(gè)或多個(gè)方法中的一個(gè)或多個(gè)步驟。

在具體實(shí)施方式中，計(jì)算機(jī)系統(tǒng)4400包括處理器4402、存儲(chǔ)器(memory)4404、儲(chǔ)存器(storage)4406、輸入/輸出(i/o)接口4408、通信接口4410和總線4412。盡管本公開(kāi)描述并示出包括呈特定布置的特定數(shù)量的特定組件的特定計(jì)算機(jī)系統(tǒng)，但是本公開(kāi)可設(shè)想到包括具有呈任何適當(dāng)布置的任何適當(dāng)數(shù)量的任何適當(dāng)組件的任何適當(dāng)?shù)挠?jì)算機(jī)系統(tǒng)。

在具體實(shí)施方式中，處理器4402包括用于運(yùn)行指令(諸如，構(gòu)成計(jì)算機(jī)程序的指令)的硬件。例如但不限于，為運(yùn)行指令，處理器4402可從內(nèi)部寄存器、內(nèi)部緩存、存儲(chǔ)器4404或儲(chǔ)存器4406檢索(或取得)指令；可解碼并運(yùn)行指令；然后將一個(gè)或多個(gè)結(jié)果寫(xiě)入內(nèi)部寄存器、內(nèi)部緩存、存儲(chǔ)器4404或儲(chǔ)存器4406。在具體實(shí)施方式中，處理器4402可包括用于數(shù)據(jù)、指令或地址的一個(gè)或多個(gè)內(nèi)部緩存。在適當(dāng)?shù)那闆r下，本公開(kāi)可設(shè)想到包括任何適當(dāng)?shù)臄?shù)量的任何適當(dāng)?shù)膬?nèi)部緩存的處理器4402。例如但不限于，處理器4402可包括一個(gè)或多個(gè)指令緩存、一個(gè)或多個(gè)數(shù)據(jù)緩存和一個(gè)或多個(gè)轉(zhuǎn)譯后備緩沖器(tlb)。指令緩存中的指令可以是存儲(chǔ)器4404或儲(chǔ)存器4406中的指令的副本，并且指令緩存可加速處理器4402對(duì)那些指令的檢索。數(shù)據(jù)緩存中的數(shù)據(jù)可以是存儲(chǔ)器4404或儲(chǔ)存器4406中的供在處理器4402上運(yùn)行的指令操作的數(shù)據(jù)的副本；可以是在處理器4402上運(yùn)行的先前的指令的結(jié)果，其中所述結(jié)果用于供在處理器4402上運(yùn)行的后續(xù)指令訪問(wèn)或用于寫(xiě)入存儲(chǔ)器4404或儲(chǔ)存器4406；或者可以是其他適當(dāng)?shù)臄?shù)據(jù)。數(shù)據(jù)緩存可加速處理器4402的讀或?qū)懖僮鳌lb可為處理器4402加速虛擬地址轉(zhuǎn)換。在具體實(shí)施方式中，處理器4402可包括用于數(shù)據(jù)、指令或地址的一個(gè)或多個(gè)內(nèi)部寄存器。在適當(dāng)?shù)那闆r下，本公開(kāi)可設(shè)想到包括任何適當(dāng)?shù)臄?shù)量的任何適當(dāng)?shù)膬?nèi)部寄存器的處理器4402。在適當(dāng)?shù)那闆r下，處理器4402可包括一個(gè)或多個(gè)算數(shù)邏輯單元(alu)；可以是多核處理器；或者可包括一個(gè)或多個(gè)處理器4402。盡管本公開(kāi)描述并示出特定的處理器，但是本公開(kāi)可設(shè)想到任何適當(dāng)?shù)奶幚砥鳌?/p>

在具體實(shí)施方式中，存儲(chǔ)器4404包括用于存儲(chǔ)供處理器4402運(yùn)行的指令或供處理器4402操作的數(shù)據(jù)的主存儲(chǔ)器。例如但不限于，計(jì)算機(jī)系統(tǒng)4400可將指令從儲(chǔ)存器4406或其他源(例如，另一計(jì)算機(jī)系統(tǒng)4400)加載至存儲(chǔ)器4404。然后，處理器4402可將指令從存儲(chǔ)器4404加載至內(nèi)部寄存器或內(nèi)部緩存。為執(zhí)行指令，處理器4402從內(nèi)部寄存器或內(nèi)部緩存檢索指令并對(duì)其進(jìn)行解碼。在執(zhí)行指令期間或之后，處理器4402可將一個(gè)或多個(gè)結(jié)果(可以是中間結(jié)果或最終結(jié)果)寫(xiě)入內(nèi)部寄存器或內(nèi)部緩存。然后，處理器4402可將那些結(jié)果中的一個(gè)或多個(gè)寫(xiě)入存儲(chǔ)器4404。在具體實(shí)施方式中，處理器4402僅執(zhí)行一個(gè)或多個(gè)內(nèi)部寄存器或內(nèi)部緩存或存儲(chǔ)器4404(如相對(duì)于儲(chǔ)存器4406或其他)中的指令，并且僅操作一個(gè)或多個(gè)內(nèi)部寄存器或內(nèi)部緩存或存儲(chǔ)器4404(如相對(duì)于儲(chǔ)存器4406或其他)中的數(shù)據(jù)。一個(gè)或多個(gè)存儲(chǔ)器總線(每個(gè)可包括地址總線和數(shù)據(jù)總線)可將處理器4402聯(lián)接至存儲(chǔ)器4404。如以下所描述，總線4412可包括一個(gè)或多個(gè)存儲(chǔ)器總線。在具體實(shí)施方式中，一個(gè)或多個(gè)存儲(chǔ)器管理單元(mmu)置于處理器4402與存儲(chǔ)器4404之間，并且使由處理器4402請(qǐng)求的對(duì)存儲(chǔ)器4404的訪問(wèn)容易。在具體實(shí)施方式中，存儲(chǔ)器4404包括隨機(jī)存取存儲(chǔ)器(ram)。適當(dāng)?shù)那闆r下，該ram可以是易失性存儲(chǔ)器，并且適當(dāng)?shù)那闆r下，該ram可以是動(dòng)態(tài)隨機(jī)存取存儲(chǔ)器(dram)或靜態(tài)隨機(jī)存取存儲(chǔ)器(sram)。此外，在適當(dāng)?shù)那闆r下，該ram可以是單端口或多端口隨機(jī)存取存儲(chǔ)器。本公開(kāi)可設(shè)想到任何適當(dāng)?shù)碾S機(jī)存取存儲(chǔ)器。在適當(dāng)?shù)那闆r下，存儲(chǔ)器4404可包括一個(gè)或多個(gè)存儲(chǔ)器4404。盡管本公開(kāi)描述并示出特定的存儲(chǔ)器，但是本公開(kāi)可設(shè)想到任何適當(dāng)?shù)拇鎯?chǔ)器。

在具體實(shí)施方式中，儲(chǔ)存器4406包括用于數(shù)據(jù)或指令的大容量存儲(chǔ)器。例如但不限于，儲(chǔ)存器4406可包括硬盤(pán)驅(qū)動(dòng)器(hdd)、軟盤(pán)驅(qū)動(dòng)器、閃速存儲(chǔ)器、光盤(pán)、磁光盤(pán)、磁帶或通用串行總線(usb)驅(qū)動(dòng)器或其中兩個(gè)或兩個(gè)以上的組合。在適當(dāng)?shù)那闆r下，儲(chǔ)存器4406可包括可移動(dòng)或不可移動(dòng)的(或者固定的)媒介。在適當(dāng)?shù)那闆r下，儲(chǔ)存器4406可以在計(jì)算機(jī)系統(tǒng)4400的內(nèi)部或外部。在具體實(shí)施方式中，儲(chǔ)存器4406是非易失性的固態(tài)存儲(chǔ)器。在具體實(shí)施方式中，儲(chǔ)存器4406包括只讀存儲(chǔ)器(rom)。在適當(dāng)?shù)那闆r下，該rom可以是掩模編程只讀存儲(chǔ)器、可編程只讀存儲(chǔ)器(prom)、可擦可編程只讀存儲(chǔ)器(eprom)、電可擦可編程只讀存儲(chǔ)器(eeprom)、電可改寫(xiě)只讀存儲(chǔ)器(earom)或閃速存儲(chǔ)器或其中兩個(gè)或兩個(gè)以上的組合。本公開(kāi)可設(shè)想到具有任何適當(dāng)?shù)奈锢硇问降拇笕萘績(jī)?chǔ)存器4406。在適當(dāng)?shù)那闆r下，儲(chǔ)存器4406可包括便于處理器4402與儲(chǔ)存器4406之間的通信的一個(gè)或多個(gè)儲(chǔ)存器控制單元。在適當(dāng)?shù)那闆r下，儲(chǔ)存器4406可包括一個(gè)或多個(gè)儲(chǔ)存器4406。盡管本公開(kāi)描述并示出特定的存儲(chǔ)，但是本公開(kāi)可設(shè)想到任何適當(dāng)?shù)膬?chǔ)存器。

在具體實(shí)施方式中，i/o接口4408包括提供用于計(jì)算機(jī)系統(tǒng)4400與一個(gè)或多個(gè)i/o設(shè)備之間的通信的一個(gè)或多個(gè)接口的硬件、軟件或兩者。在適當(dāng)?shù)那闆r下，計(jì)算機(jī)系統(tǒng)4400可包括這些i/o設(shè)備中的一個(gè)或多個(gè)。這些i/o設(shè)備中的一個(gè)或多個(gè)可使能人與計(jì)算機(jī)系統(tǒng)4400之間的通信。例如但不限于，i/o設(shè)備可包括鍵盤(pán)、小鍵盤(pán)、麥克風(fēng)、顯示器、鼠標(biāo)、打印機(jī)、掃描器、揚(yáng)聲器、靜態(tài)相機(jī)、觸筆、平板、觸屏、軌跡球、攝影機(jī)、其他適當(dāng)?shù)膇/o設(shè)備或其中兩個(gè)或兩個(gè)以上的組合。i/o設(shè)備可包括一個(gè)或多個(gè)傳感器。本公開(kāi)可設(shè)想到任何適當(dāng)?shù)膇/o設(shè)備和用于它的任何適當(dāng)?shù)膇/o接口4408。在適當(dāng)?shù)那闆r下，i/o接口4408可包括使得處理器4402能夠驅(qū)動(dòng)這些i/o設(shè)備中的一個(gè)或多個(gè)的一個(gè)或多個(gè)設(shè)備或軟件驅(qū)動(dòng)器。在適當(dāng)?shù)那闆r下，i/o接口4408可包括一個(gè)或多個(gè)i/o接口4408。盡管本公開(kāi)描述并示出特定的i/o接口，但是本公開(kāi)可設(shè)想到任何適當(dāng)?shù)膇/o接口。

在具體實(shí)施方式中，通信接口4410包括提供用于計(jì)算機(jī)系統(tǒng)4400與一個(gè)或多個(gè)其他計(jì)算機(jī)系統(tǒng)4400或一個(gè)或多個(gè)網(wǎng)絡(luò)之間的通信(例如，基于包的通信)的一個(gè)或多個(gè)接口的硬件、軟件或兩者。例如但不限于，通信接口4410可包括用于與以太網(wǎng)或其他基于有線的網(wǎng)絡(luò)通信的網(wǎng)絡(luò)接口控制器(nic)或網(wǎng)絡(luò)適配器，或者用于與諸如wi-fi網(wǎng)絡(luò)的無(wú)線網(wǎng)絡(luò)通信的無(wú)線nic(wnic)或無(wú)線適配器。本公開(kāi)可設(shè)想到任何適當(dāng)?shù)木W(wǎng)絡(luò)和用于其的任何適當(dāng)?shù)耐ㄐ沤涌?410。例如但不限于，計(jì)算機(jī)系統(tǒng)4400可與專(zhuān)設(shè)網(wǎng)絡(luò)、個(gè)人局域網(wǎng)(pan)、局域網(wǎng)(lan)、廣域網(wǎng)(wan)、城市區(qū)域網(wǎng)(man)、體域網(wǎng)(ban)或互聯(lián)網(wǎng)的一個(gè)或多個(gè)部分或其中兩個(gè)或兩個(gè)以上的組合通信。這些網(wǎng)絡(luò)中的一個(gè)或多個(gè)網(wǎng)絡(luò)的一個(gè)或多個(gè)部分可以是有線的或無(wú)線的。作為示例，計(jì)算機(jī)系統(tǒng)4400可與無(wú)線pan(wpan)(例如，藍(lán)牙wpan)、wi-fi網(wǎng)絡(luò)、wi-max網(wǎng)絡(luò)、蜂窩式電話網(wǎng)絡(luò)(例如，全球移動(dòng)通信系統(tǒng)(gsm)網(wǎng)絡(luò))或其他適當(dāng)?shù)臒o(wú)線網(wǎng)絡(luò)或其中兩個(gè)或兩個(gè)以上的組合通信。在適當(dāng)?shù)那闆r下，計(jì)算機(jī)系統(tǒng)4400可包括用于這些網(wǎng)絡(luò)中的任何網(wǎng)絡(luò)的任何適當(dāng)?shù)耐ㄐ沤涌?410。在適當(dāng)?shù)那闆r下，通信接口4410可包括一個(gè)或多個(gè)通信接口4410。盡管本公開(kāi)描述并示出特定的通信接口，但是本公開(kāi)可設(shè)想到任何適當(dāng)?shù)耐ㄐ沤涌凇?/p>

在具體實(shí)施方式中，總線4412包括使計(jì)算機(jī)系統(tǒng)4400的組件彼此聯(lián)接的硬件、軟件或兩者。例如但不限于，總線4412可包括加速圖形端口(agp)或其他的圖形總線、增強(qiáng)型工業(yè)標(biāo)準(zhǔn)結(jié)構(gòu)(eisa)總線、前端總線(fsb)、超傳輸(ht)互連、工業(yè)標(biāo)準(zhǔn)結(jié)構(gòu)(isa)總線、無(wú)線帶寬互連、低引腳數(shù)(lpc)總線、存儲(chǔ)器總線、微通道結(jié)構(gòu)(mca)總線、外圍組件互連(pci)總線、pci快速(pcie)總線、串行高級(jí)技術(shù)附件(sata)總線、視頻電子標(biāo)準(zhǔn)協(xié)會(huì)本地(vlb)總線或其他適當(dāng)?shù)目偩€或其中兩個(gè)或兩個(gè)以上的組合。在適當(dāng)?shù)那闆r下，總線4412可包括一個(gè)或多個(gè)總線4412。盡管本公開(kāi)描述并示出特定的總線，但是本公開(kāi)可設(shè)想到任何適當(dāng)?shù)目偩€或互連。

在本文中，在適當(dāng)?shù)那闆r下，計(jì)算機(jī)可讀非暫時(shí)性存儲(chǔ)介質(zhì)或媒介可包括一個(gè)或多個(gè)基于半導(dǎo)體的或其他的集成電路(ic)(例如，現(xiàn)場(chǎng)可編程門(mén)陣列(fpga)或?qū)Ｓ胕c(asic))、硬盤(pán)驅(qū)動(dòng)器(hdd)、混合式硬盤(pán)驅(qū)動(dòng)器(hhd)、光盤(pán)、光盤(pán)驅(qū)動(dòng)器(odd)、磁光盤(pán)、磁光盤(pán)驅(qū)動(dòng)器、軟盤(pán)、軟盤(pán)驅(qū)動(dòng)器(fdd)、磁帶、固態(tài)驅(qū)動(dòng)器(sdd)、ram驅(qū)動(dòng)器、安全數(shù)字卡或驅(qū)動(dòng)器、任何其他適當(dāng)?shù)挠?jì)算機(jī)可讀非暫時(shí)性存儲(chǔ)介質(zhì)，或其中兩個(gè)或兩個(gè)以上的任何適當(dāng)組合。在適當(dāng)?shù)那闆r下，計(jì)算機(jī)可讀非暫時(shí)性存儲(chǔ)介質(zhì)可以是易失性的、非易失性的或易失性與非易失性的組合。

在本文中，除非明確地另外指出或由上下文另外指出，否則“或”為包括的而非排除的。因此，在本文中，除非明確地另外指出或由上下文另外指出，否則“a或b”表示“a、b或兩者”。此外，除非明確地另外指出或由上下文另外指出，否則“和”同時(shí)表示結(jié)合的含義和單獨(dú)的含義。因此，在本文中，除非明確地另外指出或由上下文另外指出，否則“a和b”表示“結(jié)合的或單獨(dú)的a和b”。

本公開(kāi)的范圍涵蓋本領(lǐng)域普通技術(shù)人員將理解的對(duì)本文中的示例性實(shí)施方式的所有變型、替代、變型、更換和修改。本公開(kāi)的范圍不限于本文中所描述或示出的示例性實(shí)施方式。盡管本公開(kāi)在本文中將相應(yīng)實(shí)施方式描述或示出為包括特定組件、元件、功能、操作或步驟，但是如本領(lǐng)域技術(shù)人員將理解的，這些實(shí)施方式中的任何實(shí)施方式可包括本文中任意處所描述或示出的任意組件、元件、功能、操作或步驟的任意組合。另外，對(duì)于隨附的權(quán)利要求書(shū)中對(duì)適用于、布置為、有能力、配置為、能夠、可操作為或操作為執(zhí)行特定功能的裝置或系統(tǒng)或者裝置或系統(tǒng)的組件的引用，只要這些裝置、系統(tǒng)或組件如此適用于、布置為、有能力、配置為、能夠、可操作為或操作，則無(wú)論所述特定功能是否被激活、開(kāi)啟或解鎖，所述引用均涵蓋所述裝置、系統(tǒng)、組件。