本公開內(nèi)容涉及立體數(shù)據(jù)處理,其包括深度調(diào)整和焦點(diǎn)調(diào)整。
背景技術(shù):
近年來,用于生成三維視頻(例如,電視,電影等)的三維(立體)成像已經(jīng)變得越來越流行。其中一個(gè)原因是用于創(chuàng)建三維視頻的相機(jī)和后期制作技術(shù)有了重大的改進(jìn)。三維視頻變得流行的另一個(gè)原因是觀看娛樂的公眾似乎愿意為這種特殊效果支付額外的費(fèi)用。
然而,與使用二維(單視場)技術(shù)相比,三維拍攝技術(shù)使得使用三維技術(shù)來拍攝視頻明顯更昂貴。此外,存在數(shù)百萬部已經(jīng)制作好的但不是使用三維技術(shù)拍攝的二維視頻。
因此,許多人一直試圖將二維視頻轉(zhuǎn)換為三維視頻。然而,用于將二維視頻轉(zhuǎn)換為三維觀看的這些方法可能是沒有效果的、是資源密集的和/或未能產(chǎn)生可接受的結(jié)果(例如,產(chǎn)生紙板局部剪裁效果)。
本發(fā)明要求保護(hù)的主題不限于解決任何缺點(diǎn)或僅在諸如上述環(huán)境中操作的實(shí)施方案。相反,此背景僅提供用于闡釋可以實(shí)踐本文所描述的一些實(shí)施方案的一個(gè)示例性的技術(shù)領(lǐng)域。
技術(shù)實(shí)現(xiàn)要素:
根據(jù)實(shí)施方案的一個(gè)方面,一種調(diào)整立體視頻中的深度的方法可以包括生成立體視頻的左眼觀看幀。左眼觀看幀可以包括多個(gè)左眼觀看幀要素。該方法還可以包括生成立體視頻的右眼觀看幀。右眼觀看幀可以對(duì)應(yīng)于左眼觀看幀,并且可以包括多個(gè)右眼觀看幀要素。此外,每個(gè)右眼觀看幀要素可以對(duì)應(yīng)于左眼觀看幀要素中的一個(gè)。該方法可以另外包括確定每個(gè)右眼觀看幀要素與其對(duì)應(yīng)的左眼觀看幀要素之間的偏移。此外,該方法可以包括對(duì)每個(gè)偏移應(yīng)用統(tǒng)一的乘法因子(multiplying factor),使得以基本上統(tǒng)一的尺度調(diào)整與立體視頻相關(guān)聯(lián)的感知深度。
根據(jù)實(shí)施例的另一方面,一種調(diào)整立體視頻中的焦點(diǎn)的方法可以包括生成立體視頻的左眼觀看幀。左眼觀看幀可以包括多個(gè)左眼觀看幀要素。該方法還可以包括生成立體視頻的右眼觀看幀。右眼觀看幀可以對(duì)應(yīng)于左眼觀看幀,并且可以包括多個(gè)右眼觀看幀要素。此外,每個(gè)右眼觀看幀要素可以對(duì)應(yīng)于左眼觀看幀要素中的一個(gè)。該方法可以另外包括確定每個(gè)右眼觀看幀要素與其對(duì)應(yīng)的左眼觀看幀要素之間的偏移。此外,該方法可以包括對(duì)每個(gè)偏移應(yīng)用統(tǒng)一的求和因子,使得每個(gè)右眼觀看幀要素相對(duì)于其對(duì)應(yīng)的左眼觀看幀要素統(tǒng)一地移位基本上相同的量,以調(diào)整與立體視頻相關(guān)聯(lián)的感知焦點(diǎn)。
實(shí)施方案的目的和優(yōu)點(diǎn)將至少通過權(quán)利要求中特別指出的要素,特征和組合來實(shí)現(xiàn)和完成。
應(yīng)當(dāng)理解,前面所述的一般性描述和以下詳細(xì)描述都是示例性和說明性的,并且不限制所要求保護(hù)的本發(fā)明。
附圖說明
將通過使用附圖以額外的特性和細(xì)節(jié)來描述和解釋示例性的實(shí)施方案,附圖中:
圖1示出了用于基于單視場(2-D)視頻生成立體(3-D)視頻的示例性系統(tǒng);
圖2示出了描繪基于要素在單視場視頻的不同幀之間的移動(dòng)來生成與單視場視頻相關(guān)聯(lián)的修改幀的示例性框圖;
圖3示出了描繪生成與單視場視頻相關(guān)聯(lián)的修改幀的示例性框圖,其中可以基于單視場視頻的一個(gè)或多個(gè)推斷幀來生成一個(gè)或多個(gè)修改幀;
圖4示出了描繪基于與單視場視頻相關(guān)聯(lián)的右平移效果生成立體視頻的左眼觀看幀和右眼觀看幀的示例性框圖;
圖5示出了描繪基于與單視場視頻相關(guān)聯(lián)的左平移效果生成立體視頻的左眼觀看幀和右眼觀看幀的示例性框圖;
圖6示出了描繪基于與單視場視頻相關(guān)聯(lián)的縮小相機(jī)效果生成立體視頻的左眼觀看幀和右眼觀看幀的示例性框圖;
圖7示出了描繪基于與單視場視頻相關(guān)聯(lián)的放大相機(jī)效果生成立體視頻的左眼觀看幀和右眼觀看幀的示例性框圖;
圖8示出了單視場視頻的示例性幀,其中該幀包括最快移動(dòng)要素、慢速移動(dòng)要素和主導(dǎo)要素;
圖9是基于與場景相關(guān)聯(lián)的最快移動(dòng)要素、慢速移動(dòng)要素和主導(dǎo)要素中的至少一個(gè)來確定場景的前景和/或背景的示例性方法的流程圖;
圖10示出了用于基于與單視場視頻相關(guān)聯(lián)的前景和/或背景的移動(dòng)從單視場視頻生成立體視頻的左眼觀看幀和右眼觀看幀的示例性框圖;
圖11是基于相機(jī)效果將單視場視頻轉(zhuǎn)換為立體視頻的示例性方法的流程圖;
圖12A示出了可以被左眼和右眼感知的示例性情景;
圖12B描繪了示例性網(wǎng)格,其示出了可能存在于與圖12A的情景相關(guān)聯(lián)的立體視頻的左眼觀看幀和右眼觀看幀內(nèi)的要素之間的示例性偏移;
圖12C描繪了示例性網(wǎng)格,其示出了在將統(tǒng)一的乘法因子應(yīng)用于圖12B的偏移之后,圖12B的要素相對(duì)于其各自的左眼觀看幀和右眼觀看幀的偏移;
圖12D描繪了示例性網(wǎng)格,其示出了在將統(tǒng)一的求和因子應(yīng)用于圖12B的偏移之后,圖12B的要素相對(duì)于其各自的左眼觀看幀和右眼觀看幀的偏移;
圖13是調(diào)整立體視頻的深度的示例性方法的流程圖;以及
圖14是調(diào)整立體視頻的焦點(diǎn)的示例性方法的流程圖,所有這些都根據(jù)本文描述的至少一些實(shí)施方案來安排。
具體實(shí)施方式
人類有一個(gè)雙目視覺系統(tǒng),該雙目視覺系統(tǒng)使用間隔大約兩英寸半(大約6.5厘米)的兩只眼睛。每只眼睛從一個(gè)稍微不同的視角觀看世界。大腦使用這些視角的差異來計(jì)算或測量距離。這種雙目視覺系統(tǒng)部分地具有以相對(duì)良好的精度確定物體距離的能力。也可以在雙眼視覺的幫助下確定視場中的多個(gè)對(duì)象的相對(duì)距離。也可以在雙目視覺的幫助下確定視場中的多個(gè)對(duì)象的相對(duì)距離。
三維(立體)成像利用通過向觀看者呈現(xiàn)兩副圖像而由雙目視覺感知的深度,其中一副圖像呈現(xiàn)給一只眼睛(例如,左眼),而另一副圖像呈現(xiàn)給另一只眼睛(例如,右眼)。呈現(xiàn)給兩只眼睛的圖像可以包括基本上相同的要素,但是兩副圖像中的要素可以彼此偏移,以模仿可由觀看者的眼睛在日常生活中感知的偏移視角。因此,觀看者可以感知由圖像描繪的要素的深度。
傳統(tǒng)上,使用并排安裝的間隔大約三到八英寸的兩個(gè)視頻源(例如,相機(jī))來制作三維視頻,以捕獲可能由兩只不同的眼睛感知到的情景。該距離通常被稱為“軸間”或“兩眼間”距離。因此,兩個(gè)視頻源創(chuàng)建兩個(gè)視頻;一個(gè)用于左眼,一個(gè)用于右眼。兩個(gè)視頻可以被放在一起作為立體(或“3-D”)視頻,其中右眼視頻呈現(xiàn)給觀看者的右眼,而左眼視頻呈現(xiàn)給觀看者的左眼,使得觀看者在三維中感知視頻。相反,根據(jù)本公開內(nèi)容的一些實(shí)施方案,立體視頻可以從通過使用單個(gè)(單視場)視頻源獲得的視頻得到立體視頻。從單視場視頻源得到的這些視頻可以被稱為“2-D”或“單視場視頻”。
術(shù)語“視頻”可以指任何移動(dòng)類型的影像,并且可以包括例如,但不限于電影、電視節(jié)目、記錄的事件(例如,體育賽事、音樂會(huì)等)、家庭電影、互聯(lián)網(wǎng)視頻等。視頻由一系列“幀”(稱為“幀”或“視頻幀”)組成,每一幀均顯示可以包括要素或?qū)ο?統(tǒng)稱為“要素”)的情景的圖像。要素可以是移動(dòng)的或可以是靜止的。例如,幀可以是可以包括諸如山、丘陵、樹木、動(dòng)物、建筑物、飛機(jī)、火車、汽車等要素的風(fēng)景的圖像。
根據(jù)一些實(shí)施方案,要素在單視場視頻的第一幀相對(duì)于單視場視頻的第二幀(例如,第一幀的后續(xù)幀或先前幀)之間的移動(dòng)可以用于生成一個(gè)或多個(gè)修改的第一幀,其對(duì)應(yīng)于第一幀并且可以用于生成立體視頻。在一些實(shí)施方案中,第一幀和第二幀可以是連續(xù)的幀,并且在其他實(shí)施方案中,可以在第一幀和第二幀之間包括一個(gè)或多個(gè)中間幀。第一幀和修改的第一幀可以包括基本上相同的要素,且基于要素在第一幀和第二幀之間的移動(dòng),第一幀和修改的第一幀中的一個(gè)或多個(gè)要素彼此偏移。另外,要素的移動(dòng)可以用于分析相對(duì)于第一幀和第二幀的相機(jī)效果(例如,縮放效果、平移效果、旋轉(zhuǎn)效果和/或靜止效果(stationary effect))。在一些實(shí)施方案中,可以基于分析的相機(jī)效果來生成修改的第一幀。
在一些實(shí)施方案中,可以基于所確定的相機(jī)效果和第一幀和修改的第一幀中的至少一個(gè)生成可以被配置為由觀看者的左眼觀看的左眼觀看幀。類似地,還可以基于所確定的相機(jī)效果和第一幀和修改的第一幀中的至少一個(gè)生成可被配置為由觀看者的右眼觀看的右眼觀看幀??梢詫?duì)單視場視頻的多個(gè)幀重復(fù)該過程,以生成立體視頻的對(duì)應(yīng)的左眼觀看幀和右眼觀看幀。因此,在這樣的實(shí)施方案中,可以基于所分析的相機(jī)效果以及第一幀和與其相關(guān)聯(lián)的第二幀之間的移動(dòng)從單視場視頻生成立體視頻。
另外,在一些實(shí)施方案中,左眼觀看幀和右眼觀看幀的生成可以基于與第一幀和所述第二幀相關(guān)聯(lián)的單視場視頻的場景的前景和背景中的至少一個(gè)的移動(dòng)的確定。在這些或其他實(shí)施方案中,可以基于包括在與第一幀和第二幀相關(guān)聯(lián)的場景中的最快移動(dòng)要素、慢速移動(dòng)要素和/或主導(dǎo)要素來確定前景和/或背景。
另外,可以通過調(diào)整包括在左眼觀看幀和右眼觀看幀中的要素之間的偏移來修改立體視頻中的深度值。此外,也可以通過調(diào)整要素之間的偏移來對(duì)哪些要素可能處在與立體視頻相關(guān)聯(lián)的情景的前景或背景內(nèi)的感知做出修正。
這里描述的右眼觀看幀和左眼觀看幀也可以分別稱為“右眼圖像”和“左眼圖像”。另外,右眼觀看幀和左眼觀看幀可以用于使用任何合適的3D格式諸如上部/下部、左/右、 Hi-Fi 3D、3D或任何其他適用的3D格式來生成立體視頻。
圖1闡釋了根據(jù)本公開內(nèi)容的一些實(shí)施方案的用于基于單視場(2-D)視頻101生成立體(3-D)視頻103的示例性系統(tǒng)100。系統(tǒng)100可以包括三維(立體)視頻生成模塊104(下文稱為“立體視頻模塊104”)。立體視頻模塊104可以包括被配置為接收單視場視頻101并將單視場視頻101轉(zhuǎn)換為立體視頻103的任何合適的系統(tǒng)、裝置或設(shè)備。例如,在一些實(shí)施方案中,立體視頻模塊104可以是包括被配置為使處理器執(zhí)行用于將單視場視頻101轉(zhuǎn)換為立體視頻103的操作的計(jì)算機(jī)可執(zhí)行指令的軟件。
立體視頻模塊104可以被配置為基于一個(gè)或多個(gè)要素在單視場視頻101的幀之間的移動(dòng)來生成立體視頻103。在一些實(shí)施方案中,立體視頻模塊104可以基于移動(dòng)生成修改幀??梢杂闪Ⅲw視頻模塊104執(zhí)行的修改幀的生成將在下面關(guān)于圖2和圖3被進(jìn)一步詳細(xì)討論。在一些實(shí)施方案中,立體視頻模塊104還可以被配置為基于要素在幀之間的移動(dòng)來分析并確定與單視場視頻101相關(guān)聯(lián)的相機(jī)效果。在這些實(shí)施方案中,立體視頻模塊104可以被配置為基于所確定的相機(jī)效果和與其相關(guān)聯(lián)的移動(dòng)來生成用于立體視頻103的修改幀以及左眼觀看幀和右眼觀看幀。此外,在一些實(shí)施方案中,立體視頻模塊104可以被配置為基于對(duì)與單視場視頻101的場景內(nèi)的前景和背景相關(guān)聯(lián)的移動(dòng)的確定來生成修改幀以及左眼觀看幀和右眼觀看幀。相機(jī)效果的分析以及可以基于所分析的相機(jī)效果而由立體視頻模塊104執(zhí)行的修改幀以及左眼觀看幀和右眼觀看幀的生成將參考圖4-7和10被進(jìn)一步詳細(xì)討論。
在一些實(shí)施方案中,立體視頻模塊104還可以被配置為確定單視場視頻101的場景的前景和/或背景。在這些實(shí)施方案的一些中,立體視頻模塊104可以被配置為基于包括在單視場視頻101的場景中的最快移動(dòng)要素、慢速移動(dòng)要素、和/或主導(dǎo)要素來確定前景和/或背景。將關(guān)于圖8進(jìn)一步詳細(xì)描述對(duì)最快移動(dòng)要素、慢速移動(dòng)要素和/或主導(dǎo)要素的確定??捎闪Ⅲw視頻模塊104執(zhí)行的對(duì)前景和/或背景的確定將在下面關(guān)于圖9作進(jìn)一步詳細(xì)描述。
此外,在一些實(shí)施方案中,立體視頻模塊104可以被配置為通過調(diào)整包括在左眼觀看幀和右眼觀看幀中的要素之間的偏移來調(diào)整由觀看立體視頻103的觀看者感知到的深度值。可以由立體視頻模塊104執(zhí)行的對(duì)深度感知的修改將在下面關(guān)于圖12A-12C和13作進(jìn)一步詳細(xì)討論。另外,在一些實(shí)施方案中,立體視頻模塊104還可以被配置為調(diào)整立體視頻103的焦點(diǎn),使得立體視頻模塊104可以對(duì)由觀看者感知到的哪些要素可能處在情景的前景或背景內(nèi)的感知做出修正。下面關(guān)于圖12A、12B、12D以及14進(jìn)一步詳細(xì)討論可以由立體視頻模塊104執(zhí)行的對(duì)焦點(diǎn)的修改。
如上所述,立體視頻模塊104可以被配置為基于一個(gè)或多個(gè)要素在幀之間的移動(dòng)來生成可用于生成立體視頻103的左眼觀看幀和/或右眼觀看幀的修改幀。圖2示出了根據(jù)本發(fā)明的一些實(shí)施方案的基于要素在單視場視頻201的不同幀202之間的移動(dòng)來描繪修改幀202'的生成的示例性框圖200。在一些實(shí)施方案中,關(guān)于圖2給出的實(shí)施例,修改幀202'可以由立體視頻模塊(諸如上面關(guān)于圖1描述的立體視頻模塊104)生成。如圖2所示,單視場視頻201可以基本類似于關(guān)于圖1描述的單視場視頻101,并且可以包括一系列幀202,該幀202可以包括與單視場視頻201相關(guān)聯(lián)的一個(gè)或多個(gè)情景的圖像。根據(jù)本公開內(nèi)容的一些實(shí)施方案,立體視頻模塊可以基于幀202之間的一個(gè)或多個(gè)要素(未明確示出)在幀202之間的水平移動(dòng)來生成修改幀202'。
例如,幀202a和202b中的要素(其中幀202b可以是相對(duì)于幀202a的后續(xù)幀)可以在幀202a和202b之間具有位置變化,使得要素可以在幀202a和202b之間從左向右水平移動(dòng)。因此,立體視頻模塊可以基于要素在幀202a和202b之間的水平移動(dòng)來生成修改幀202a',使得要素在修改幀202a'中相對(duì)于幀202a向右偏移。立體視頻模塊可以類似地基于幀202b和202c(其中幀202c可以是相對(duì)于幀202b的后續(xù)幀)來生成修改幀202b'以及基于幀202c和202d(其中幀202d可以是相對(duì)于幀202c的后續(xù)幀)來生成修改幀202c'。因此,基于要素在幀之間的水平移動(dòng),修改幀202'的要素可以相對(duì)于對(duì)應(yīng)幀202的對(duì)應(yīng)要素水平偏移,以模仿由觀看者的右眼和左眼感知的圖像的水平偏移。
在一些實(shí)施方案中,要素在幀202之間的移動(dòng)也可以在垂直方向(稱為“垂直移動(dòng)”)。然而,因?yàn)橛^看者的眼睛通常在垂直方向上基本不偏移,所以當(dāng)生成修改幀202'時(shí),立體視頻模塊可基本上忽略要素在幀202之間的垂直移動(dòng)。因此,可以生成修改幀202',使得它們的要素基于水平移動(dòng)相對(duì)于其相關(guān)聯(lián)幀202中的對(duì)應(yīng)要素在修改幀202'中水平偏移。然而,即使在幀之間發(fā)生垂直移動(dòng),修改幀202'的要素也可能不會(huì)相對(duì)于其相關(guān)聯(lián)的幀202的對(duì)應(yīng)要素垂直偏移相當(dāng)大的程度。
另外,在一些實(shí)施方案中,要素從一個(gè)幀到另一個(gè)幀的移動(dòng)可導(dǎo)致幀中的一個(gè)或多個(gè)要素不存在于可用于生成修改的幀的后續(xù)幀中。在這種情況下,立體視頻模塊104可以從原始幀復(fù)制丟失的要素并將它們放置在相關(guān)聯(lián)的修改幀中。
例如,幀202a的要素可以是人的手,并且人在幀202a和幀202b之間的移動(dòng)可以使得人的手在幀202b中不可見。另外,可以基于人從幀202a到幀202b的水平移動(dòng)來生成修改幀202a'。因此,在基于人的水平移動(dòng)生成修改幀202a'時(shí),可以基于在幀202a和202b之間的人的水平偏移在修改幀202a'中水平偏移。然而,人的手可以從幀202a復(fù)制并插入到修改幀202a'中。因此,即使手可能從幀202b丟失,可以從其導(dǎo)出修改幀202a'要素的水平偏移,以使得手可以存在于修改幀202a'中。
在不脫離本發(fā)明范圍的情況下,可以對(duì)圖2進(jìn)行修改、添加或省略。例如,單視場視頻201可以包括比明確示出的幀更多或更少的幀。此外,在一些實(shí)施方案中,可以在所示的幀之間包括一個(gè)或多個(gè)中間幀。例如,單視場視頻201可以包括可在幀202a和202b、幀202b和202c、和/或幀202c和202d之間的一個(gè)或多個(gè)中間幀。另外,在一些實(shí)施方案中,單視場視頻201內(nèi)的場景可以改變,使得一個(gè)幀202可以與一個(gè)場景相關(guān)聯(lián),并且后續(xù)幀可以與不同的場景相關(guān)聯(lián)。在本發(fā)明中,“場景”可以指相對(duì)于特定情景的特定相機(jī)視角或角度,使得“場景變化”或場景中的變化可以指同一情景的相機(jī)角度或視角的變化和/或在視頻中描繪的情景的變化。在這樣的實(shí)施方案中,可以基于推斷幀生成修改幀,其中推斷幀可以基于在先前幀中識(shí)別的一個(gè)或多個(gè)要素的移動(dòng)。
圖3示出了根據(jù)本公開內(nèi)容的一些實(shí)施方案的示例性框圖300,其描繪了修改幀302'的生成,其中可以基于單視場視頻301的一個(gè)或多個(gè)推斷幀305生成一個(gè)或多個(gè)修改幀302'。在一些實(shí)施方案中,且關(guān)于圖3給出的實(shí)施例,修改幀302'可由諸如上面關(guān)于圖1所描述的立體視頻模塊諸如立體視頻模塊104來生成。如圖3所示,單視場視頻301可以包括一系列幀302(被描述為幀302a-302d),其可以包括與單視場視頻301相關(guān)聯(lián)的一個(gè)或多個(gè)場景的圖像。在所示實(shí)施方案中,幀302a-302c可以與單視場視頻301的場景306a相關(guān)聯(lián),并且?guī)?02d可以與單視場視頻301的不同場景(場景306b)相關(guān)聯(lián)。
根據(jù)本公開內(nèi)容的一些實(shí)施方案,立體視頻模塊可以被配置為基于一個(gè)或多個(gè)要素(未明確示出)分別在幀302a和302b以及302b和302c之間的移動(dòng)來生成修改幀302a'和302b',類似于上述修改幀202a'和202b'的生成。例如,可以基于一個(gè)或多個(gè)要素在幀302a和幀302b(其可以是幀302a的后續(xù)幀)之間的移動(dòng)來生成修改幀302a'。另外,可以基于一個(gè)或多個(gè)要素在幀302b和幀302c(其可以是幀302b的后續(xù)幀)之間的移動(dòng)來生成修改幀302b'。
然而,在所示實(shí)施方案中,幀302c可以是與單視場視頻301的場景306a相關(guān)聯(lián)的最后幀。因此,與幀302c相關(guān)聯(lián)的要素的移動(dòng)可以不存在于幀302c與幀302c的后續(xù)幀之間,因?yàn)橹T如幀302d的后續(xù)幀可以與不同的場景相關(guān)聯(lián),或者可以在轉(zhuǎn)換到另一幀之前不具有與它們相關(guān)聯(lián)的實(shí)質(zhì)程度的移動(dòng)。在諸如此的實(shí)例中,立體視頻模塊可以被配置為生成推斷幀,推斷幀可以表示場景繼續(xù)經(jīng)過其最后幀的場景的后續(xù)幀。例如,在所示實(shí)施方案中,立體視頻模塊可以被配置為生成推斷幀305,推斷幀305可以表示場景306a繼續(xù)經(jīng)過幀302c的場景306a的幀302c的后續(xù)幀,在所示實(shí)施方案中可以是場景306a的最后幀。
在一些實(shí)施方案中,立體視頻模塊可以被配置為確定場景變化,并且可以基于檢測到的場景變化來確定場景的最后幀。立體視頻模塊還可以被配置為基于檢測到場景變化來生成推斷幀。例如,立體視頻模塊可以被配置為檢測從場景306a到場景306b的場景變化,可以確定幀302c是場景306a的最后幀,并且可以基于檢測到從場景306a到場景306b的場景變化來生成推斷幀305。
在這些實(shí)施方案中的一些中,立體視頻模塊可以被配置為基于對(duì)幀之間的像素的空間和/或顏色分布的分析來確定場景變化。如果像素的分布從一個(gè)幀到另一個(gè)幀基本相似,則立體視頻模塊可以確定幀302與相同的場景306相關(guān)聯(lián)。然而,如果幀之間的像素分布基本不同,則立體視頻模塊可以確定已經(jīng)發(fā)生了場景改變。例如,立體視頻模塊可以確定幀302a、302b和302c之間的像素分布基本相似,以確定幀302a、302b和302c可能是場景306a的一部分。立體視頻模塊還可以確定幀302c和302d之間的像素的分布基本不同,以確定在幀302c和302d之間發(fā)生從場景306a到場景306b的場景改變。
響應(yīng)于檢測到從第一場景到第二場景的場景改變,立體視頻模塊可以被配置為檢測一個(gè)或多個(gè)要素在第一場景的幀之間的移動(dòng)?;谝卦诘谝粓鼍爸械膸g的移動(dòng),立體視頻模塊可以被配置為生成第一場景的推斷幀。在生成推斷幀時(shí),立體視頻模塊可以被配置為基于要素在第一場景的最后幀與推斷幀之間的移動(dòng)來生成第一場景的最后幀的修改幀。
例如,在檢測到從場景306a到場景306b的變化之后,立體視頻模塊可以被配置為響應(yīng)于場景變化的檢測來檢測一個(gè)或多個(gè)要素在幀302b和302c之間的移動(dòng)?;跈z測到的幀302b和302c之間的移動(dòng),立體視頻模塊可以被配置為推斷在場景306a繼續(xù)經(jīng)過幀302c之后,幀302c和場景306a中的后續(xù)幀之間可能發(fā)生的移動(dòng)。在一些實(shí)施方案中,可以基于如下假設(shè)進(jìn)行要素之間的移動(dòng)的推斷:如果場景306a沒有在幀302c之后結(jié)束,則要素在幀302b和302c之間的移動(dòng)將繼續(xù)經(jīng)過幀302c。因此,立體視頻模塊可以被配置為基于要素在場景306a的幀302b和302c之間的移動(dòng)來生成場景306a的推斷幀305,使得推斷幀305可以反映在場景306a繼續(xù)經(jīng)過幀302c時(shí)可能在場景306a中繼續(xù)的移動(dòng)。
一旦生成了推斷幀305,立體視頻模塊可以基于一個(gè)或多個(gè)要素在幀302c和推斷幀305之間的移動(dòng)來生成修改幀302c',類似的分別基于幀302a和302b以及302b和302c之間的移動(dòng)來生成修改幀302a'和302b'。因此,可以基于可能已經(jīng)從幀302c發(fā)生到具有基本上相同要素的后續(xù)幀的移動(dòng)來生成修改幀302c',即使這樣的后續(xù)幀可能不存在。
在不脫離本發(fā)明范圍的情況下,可以對(duì)圖3進(jìn)行修改、添加或省略。例如,單視場視頻301可以包括比明確示出的幀更多或更少的幀302和/或場景306。另外,每個(gè)場景306可以包括任何數(shù)量的幀302。此外,在一些實(shí)施方案中,可以在所示的幀302之間包括一個(gè)或多個(gè)中間幀。
回到圖1,如前所述,立體視頻模塊104可以被配置為基于相機(jī)效果生成立體視頻103的左眼觀看幀和右眼觀看幀,以及單視場視頻101的修改幀可以基于要素在幀之間的移動(dòng)來生成,如上面參照?qǐng)D2和圖3所描述的。因此,根據(jù)本發(fā)明呈現(xiàn)的一個(gè)或多個(gè)實(shí)施方案,立體視頻模塊104還可以被配置為分析單視場視頻101的相機(jī)效果。在這樣的實(shí)施方案中,立體視頻模塊104可以確定相機(jī)效果是平移效果還是縮放效果,并且可以基于相機(jī)效果是平移效果還是縮放效果來生成左眼觀看幀和右眼觀看幀。下面參考圖4和圖5進(jìn)一步詳細(xì)討論基于相機(jī)效果是平移效果的確定生成的左眼觀看幀和右眼觀看幀。下面參照?qǐng)D6和圖7進(jìn)一步詳細(xì)討論基于相機(jī)效果是縮放效果的確定生成左眼觀看幀和右眼觀看幀的。
另外,如果立體視頻模塊104確定相機(jī)效果不是平移效果或縮放效果,則立體視頻模塊104可以根據(jù)該確定生成左眼觀看幀和右眼觀看幀。在這些實(shí)施方案的一些中,立體視頻模塊104可以基于與單視場視頻101的幀相關(guān)聯(lián)的前景和背景的移動(dòng)來生成左眼觀看幀和右眼觀看幀。相對(duì)于圖8和9更詳細(xì)地描述前景和背景檢測。下面參考圖10更詳細(xì)地討論基于相機(jī)效果不是平移效果或縮放效果的確定生成左眼觀看幀和右眼觀看幀。
圖4示出了根據(jù)本公開內(nèi)容的一些實(shí)施方案的、描繪了基于與單視場視頻401的幀402a和幀402b相關(guān)聯(lián)的右平移效果來生成立體視頻403的左眼觀看幀410和右眼觀看幀412的示例性框圖400。在所說明的示例中,立體視頻403可由立體視頻模塊,諸如上文參考圖1所描述的立體視頻模塊104來生成。
幀402a和402b可以包括一個(gè)或多個(gè)要素408,這些要素408可以分別被包括在幀402a和幀402b兩者中。例如,在所示實(shí)施方案中,幀402a和402b可各自包括要素408a和408b。幀402a和402b還可以包括圖4中未明確描繪的其他要素。
當(dāng)相機(jī)平移時(shí),由相機(jī)拍攝的整個(gè)情景隨著相機(jī)移動(dòng)而移動(dòng),使得幀內(nèi)的與平移效果相關(guān)聯(lián)的要素可以以基本上統(tǒng)一的大小和方向移動(dòng)。例如,幀402a和402b可以與右平移效果相關(guān)聯(lián),其中生成幀402a和402b的相機(jī)可能已經(jīng)從左到右平移,使得幀402a和402b內(nèi)的要素408a和408b可以在幀402a和402b之間以基本上相同的量從右到左移動(dòng)。
右平移效果可以基于從左到右的實(shí)際相機(jī)平移來產(chǎn)生,或者可以基于從左到右的模擬相機(jī)平移來產(chǎn)生。在一些實(shí)施方案中,平移效果可以與繞軸樞轉(zhuǎn)的相機(jī)或其任何合適的模擬相關(guān)聯(lián),以產(chǎn)生平移效果。在其它實(shí)施方案中,平移效果可與整個(gè)相機(jī)在水平方向上相對(duì)于正被拍攝的情景(例如,從左到右)的移動(dòng)或其任何合適的模擬相關(guān)聯(lián)來產(chǎn)生平移效果。
立體視頻模塊可以被配置為基于分析要素(諸如要素408a和408b)在幀402a和402b之間的移動(dòng)來確定在幀402a和402b之間是否存在右平移效果。例如,在一些實(shí)施方案中,立體視頻模塊可以分析位于幀402a和402b的不同區(qū)域(例如,右上、左上、右下和左下區(qū)域)中的不同要素的移動(dòng)。在一些實(shí)施方案中,立體視頻模塊可通過分析與幀402a和402b的可對(duì)應(yīng)于要素的像素相關(guān)聯(lián)的移動(dòng)來分析要素的移動(dòng)。在這些或其他實(shí)施方案中,立體視頻模塊可以分析與幀402a和402b的每個(gè)像素相關(guān)聯(lián)的移動(dòng),以確定要素在幀402a和幀402b之間的移動(dòng)。如果與位于幀402a和402b的不同區(qū)域中的要素(或在一些實(shí)施方案中是像素)相關(guān)聯(lián)的移動(dòng)全部從右到左以基本上相同的程度移動(dòng),則立體視頻模塊可以確定相機(jī)效果為右平移效果。
立體視頻模塊可基于所確定的右平移效果和與其相關(guān)聯(lián)的移動(dòng)來生成與幀402a相關(guān)聯(lián)的修改幀402a'。例如,如上所述,右平移效果可以導(dǎo)致要素408a和408b從幀402a到幀402b以基本上相同的程度從右到左移動(dòng)。因此,在一些實(shí)施方案中,由于右平移效果引起幀402a和402b之間的要素408a和408b的水平位置的差異,因而立體視頻模塊可以使用幀402b來生成修改幀402a'。在一些實(shí)施方案中,在幀402a和402b之間的要素408a和408b很少或沒有垂直偏移的情況下,幀402b可以用作修改幀402a'。其中在幀402a和402b之間的要素408a和408b中可能存在垂直偏移的其他實(shí)施方案中,可以在生成修改幀402a'的期間去除幀402a和402b之間的要素408a和408b的垂直位置差異,使得要素402a和402b在幀402a和修改幀402a'之間的任何垂直偏移可以是非實(shí)質(zhì)性的。
可以與單視場視頻401的觀看幀402a相關(guān)聯(lián)的立體視頻403的左眼觀看幀410和右眼觀看幀412可以基于右平移效果、觀看幀402a和修改觀看幀402a'來生成。例如,由于右平移效果,幀402a可以被指定為左眼觀看幀410,并且修改幀402a'可以被指定為右眼觀看幀412。因此,可以至少部分地基于右平移效果和修改幀402a'(可以與要素408a和408b在幀402a和402b之間的移動(dòng)相關(guān)聯(lián))來生成立體視頻403的左眼觀看幀410和右眼觀看幀412。
除了明確描述的之外,可以對(duì)立體視頻403的生成進(jìn)行修改、添加或省略。例如,與單視場視頻401的其他幀402相關(guān)聯(lián)的左眼觀看幀和右眼觀看幀(例如,與幀402b相關(guān)聯(lián)的左眼觀看幀和右眼觀看幀)可以以類似的方式生成。另外,在一些實(shí)施方案中,可以生成幀402(可以是其相應(yīng)場景的最后幀或接近最后幀)的左眼觀看幀和右眼觀看幀,使得與幀402相關(guān)聯(lián)的修改幀可基于以上關(guān)于圖3所描述的方式確定的推斷幀來生成。
圖5示出了根據(jù)本公開內(nèi)容的一些實(shí)施方案的示例性框圖500,其描繪了基于與單視場視頻501的幀502a和幀502b相關(guān)聯(lián)的左平移效果來生成立體視頻503的左眼觀看幀510和右眼觀看幀512。在所示示例中,立體視頻503可以由立體視頻模塊(諸如上面參照?qǐng)D1描述的立體視頻模塊104)生成。
幀502a和502b可以包括可以分別被包括在幀502a和幀502b兩者中的一個(gè)或多個(gè)要素508。例如,在所示實(shí)施方案中,幀502a和502b可以各自包括要素508a和508b。
如上所述,幀502a和502b可以與左平移效果相關(guān)聯(lián),其中生成幀502a和502b的相機(jī)可能已經(jīng)從右到左平移,使得幀502a和502b內(nèi)的要素508可以在幀502a和502b之間以基本上相同的量從左到右統(tǒng)一地移動(dòng)。例如,在所示實(shí)施方案中,要素508a和508b可以基于與幀502a和502b相關(guān)聯(lián)的左平移效果在幀502a和502b之間以基本上相同的量從左向右移動(dòng)。
類似于右平移效果,左平移效果可以基于從右到左的實(shí)際相機(jī)平移來產(chǎn)生,或者可以基于從右到左的模擬相機(jī)平移來產(chǎn)生。此外,在一些實(shí)施方案中,平移效果可以與繞軸樞轉(zhuǎn)的相機(jī)或任何適當(dāng)?shù)哪M相關(guān)聯(lián),以產(chǎn)生平移效果。在其它實(shí)施方案中,平移效果可與整個(gè)相機(jī)在水平方向上相對(duì)于正被拍攝的情景(例如,從右到左)的移動(dòng)或任何合適的模擬相關(guān)聯(lián)來產(chǎn)生平移效果。
如上文相對(duì)于圖4所論述的,類似于確定是否存在右平移效應(yīng),立體視頻模塊可被配置為基于分析與要素(諸如要素508a和508b,或者在一些實(shí)施方案中為像素)在幀502a和502b之間相關(guān)聯(lián)的移動(dòng)來確定在幀502a和502b之間是否存在左平移效果。如果與位于幀502a和502b的不同區(qū)域中的要素(或在一些實(shí)施方案中的像素)相關(guān)聯(lián)的移動(dòng)全部從左到右以基本上相同的程度移動(dòng),則立體視頻模塊可以確定相機(jī)效果是左平移效果。
立體視頻模塊可基于所確定的左平移效果和與其相關(guān)聯(lián)的移動(dòng)來生成與幀502a相關(guān)聯(lián)的修改幀502a'。例如,如上所述,左平移效果可以導(dǎo)致要素508a和508b從幀502a到幀502b以基本上相同的程度從左向右移動(dòng)。因此,在一些實(shí)施方案中,立體視頻模塊可以基于幀502b生成修改幀502a',原因是左平移效果引起幀502a和502b之間的要素508a和508b的水平位置差異。在一些實(shí)施方案中,在幀502a和502b之間的要素508a和508b幾乎沒有或沒有垂直偏移的情況下,幀502b可以被用作修改幀502a'。其中在幀502a和502b之間的要素508a和508b中可能存在垂直偏移的其他實(shí)施方案中,可以在生成修改幀的期間去除幀502a和502b之間的要素508a和508b的垂直位置差異,使得幀502a和修改幀502a'之間的要素508a和508b的任何垂直偏移可以是非實(shí)質(zhì)性的。
與單視場視頻501的觀看幀502a相關(guān)聯(lián)的立體視頻503的左眼觀看幀510和右眼觀看幀512可以基于左平移效果、觀看幀502a和修改觀觀看幀502a'來生成。例如,由于左平移效果,修改幀502a'可以被指定為左眼觀看幀510,并且?guī)?02a可以被指定為右眼觀看幀512。因此,可以至少部分地基于左平移效果和修改幀502a'(可以與要素508a和508b在幀502a和502b之間的移動(dòng)相關(guān)聯(lián))來生成立體視頻503的左眼觀看幀510和右眼觀看幀512。
除了明確描述的之外,可以對(duì)立體視頻503的生成進(jìn)行修改、添加或省略。例如,與單視場視頻501的其他幀502相關(guān)聯(lián)的左眼和右眼觀看幀(例如,與幀502b相關(guān)聯(lián)的左眼和右眼觀看幀)可以以類似的方式生成。另外,在一些實(shí)施方案中,可以生成幀502(可以是其相應(yīng)場景的最后幀或接近最后幀)的左眼觀看幀和右眼觀看幀,使得可以基于以上關(guān)于圖3所描述的方式生成的推斷幀來生成與幀502相關(guān)聯(lián)的修改幀。
圖6示出了根據(jù)本公開內(nèi)容的一些實(shí)施方案的示例性框圖600,其描繪了基于與單視場視頻601的幀602a和幀602b相關(guān)聯(lián)的縮小相機(jī)效果生成立體視頻603的左眼觀看幀610和右眼觀看幀612。在所說明的示例性中,立體視頻603可由立體視頻模塊,諸如上文參考圖1所描述的立體視頻模塊104來生成。
幀602a和602b可以包括可以分別被包括在幀602a和幀602b兩者中的一個(gè)或多個(gè)要素608。例如,在所示實(shí)施方案中,幀602a和602b可以各自包括要素608a、608b、608c和608d。
當(dāng)相機(jī)縮小時(shí),由相機(jī)生成的幀內(nèi)的要素可以從一個(gè)幀到另一幀朝向由幀捕獲的情景的中心移動(dòng)。例如,幀602a和602b可以與縮小的相機(jī)效果相關(guān)聯(lián),使得幀602a和602b內(nèi)的要素608a、608b、608c和608d可以從幀602a到幀602b朝向由幀602a和幀602b捕獲的情景的中心移動(dòng),如圖6所示。縮小的相機(jī)效果可以基于實(shí)際的相機(jī)縮小產(chǎn)生,或者可以基于模擬的縮小產(chǎn)生。
類似于確定是否存在右平移或左平移效果,如上文關(guān)于圖4和圖5所論述,立體視頻模塊可被配置為確定在幀602a和602b之間是否存在縮小的相機(jī)效果,其基于分析位于幀602a和602b的不同區(qū)域(例如、左上、右上、左下和右下區(qū)域)中的要素(諸如可分別位于幀602a和602b的左上、右上、左下和右下區(qū)域中的要素608a、608b、608c和608d)在幀602a和602b之間的移動(dòng)。在一些實(shí)施方案中,立體視頻模塊可通過分析與可對(duì)應(yīng)于要素的幀602a和602b的像素相關(guān)聯(lián)的移動(dòng)來分析要素移動(dòng)。在這些或其他實(shí)施方案中,立體視頻模塊可分析與幀602a和602b的每個(gè)像素相關(guān)聯(lián)的移動(dòng),以確定要素在幀602a和幀602b之間的移動(dòng)。在這些或其他實(shí)施方案中,立體視頻模塊可分析與幀602a和602b的每個(gè)像素相關(guān)聯(lián)的移動(dòng),以確定要素在幀602a和幀602b之間的移動(dòng)。如果與位于幀602a和602b的不同區(qū)域中的要素(或在一些實(shí)施方案中為像素)相關(guān)聯(lián)的移動(dòng)基本上朝向由幀602a和602b捕獲的情景的中心移動(dòng),則立體視頻模塊可以確定相機(jī)效果是縮小相機(jī)效果。
立體視頻模塊可基于所確定的縮小相機(jī)效果和與其相關(guān)聯(lián)的移動(dòng)來生成與幀602a相關(guān)聯(lián)的修改幀602a'和修改幀602a”。例如,縮小相機(jī)效果可以導(dǎo)致分別被包括在幀602a和602b的左側(cè)614a和614b中的要素(例如,要素608a和608c)從幀602a到幀602b以基本上相同的程度從左向右移動(dòng)。另外,縮小相機(jī)效果可以導(dǎo)致分別被包括在幀602a和602b的右側(cè)616a和616b中的要素(例如,要素608b和608d)從幀602a到幀602b以基本上相同的程度從右向左移動(dòng)。
在一些實(shí)施方案中,立體視頻模塊可以分別基于要素在幀602a和602b的左側(cè)614a和614b之間的水平偏移來生成修改幀602a'的左側(cè)614c。另外,在生成左側(cè)614c的期間,立體視頻模塊可以忽略要素在左側(cè)614a和614b之間的任何垂直偏移。例如,要素608a和608c可以在修改幀602a'的左側(cè)614c中具有與在幀602b的左側(cè)614b中基本上相同的水平位置。然而,要素608a和608c在修改幀602a'的左側(cè)614c中可具有與在幀602a的左側(cè)614a中基本上相同的垂直位置。
另外,立體視頻模塊可以基于被包括在幀602a的右側(cè)616a中的要素的水平和垂直位置來生成修改幀602a'的右側(cè)616c,使得右側(cè)616c可以基本類似于右側(cè)616a。例如,要素608b和608d可以在修改幀602a'的右側(cè)616c中具有與在幀602a的右側(cè)616a中基本上相同的水平和垂直位置。
立體視頻模塊還可以基于要素分別在幀602a和602b的右側(cè)616a和616b之間的水平偏移來生成修改幀602a”的右側(cè)616d。另外,立體視頻模塊可以在生成右側(cè)616d的期間忽略要素在右側(cè)616a和616b之間的任何垂直偏移。例如,要素608b和608d可以在修改幀602a”的右側(cè)616d中具有與在幀602b的右側(cè)616b中基本上相同的水平位置。然而,要素608b和608d可以在修改幀602a”的右側(cè)616d中具有與在幀602a的右側(cè)616a中基本上相同的垂直位置。
相比之下,立體視頻模塊可以基于被包括在幀602a的左側(cè)614a中的要素的水平和垂直位置來生成修改幀602a”的左側(cè)614d,使得左側(cè)614d可以基本類似于左側(cè)614a。例如,要素608a和608c可以在修改幀602a”的左側(cè)614d中具有與在幀602a的左側(cè)614a中基本上相同的水平和垂直位置。
如圖6所示,用于上述縮小效果的修改幀602a'和602a”的配置可以導(dǎo)致要素608a、608b、608c和608d在修改幀602a'中相對(duì)于修改幀602a”向右水平偏移。另外,要素608a、608b、608c和608d可以在修改幀602a'中相對(duì)于修改幀602a”具有很少甚至沒有垂直偏移。
可以與單視場視頻601的觀看幀602a相關(guān)聯(lián)的立體視頻603的左眼觀看幀610和右眼觀看幀612可以基于縮小相機(jī)效果和修改觀看幀602a'和602a”來生成。例如,由于縮小相機(jī)效果,修改幀602a'可以被指定為左眼觀看幀610,并且修改幀602a”可以被指定為右眼觀看幀612。因此,可以至少部分地基于縮小相機(jī)效果和修改幀602a'和602a”(可以與要素608a、608b、608c和608d在幀602a和602b之間的移動(dòng)相關(guān)聯(lián))來生成立體視頻603的左眼觀看幀610和右眼觀看幀612。
除了明確描述的之外,可以對(duì)立體視頻603的生成進(jìn)行修改、添加或省略。例如,與單像視頻601的其他幀602相關(guān)聯(lián)的左眼和右眼觀看幀(例如,與幀602b相關(guān)聯(lián)的左眼觀看幀和右眼觀看幀)可以類似的方式生成。另外,在一些實(shí)施方案中,可以生成幀602(可以是其相應(yīng)場景的最后幀或接近最后幀)的左眼觀看幀和右眼觀看幀,使得與幀602相關(guān)聯(lián)的修改幀可基于以上關(guān)于圖3所描述的方式生成的推斷幀來生成。
圖7示出了示例性框圖700,其描繪了根據(jù)本公開內(nèi)容的一些實(shí)施方案的與單視場視頻701的幀702a和幀702b相關(guān)聯(lián)的放大相機(jī)效果的左眼觀看幀710和右眼觀看幀712的生成。幀702a和702b可以包括分別被包括在幀702a和幀702b中的一個(gè)或多個(gè)要素708。例如,在所示實(shí)施方案中,幀702a和702b可以各自包括要素708a、708b、708c和708d。
當(dāng)相機(jī)放大時(shí),由相機(jī)生成的幀內(nèi)的要素可以從由一幀到另一幀移動(dòng)遠(yuǎn)離捕獲的情景的中心。例如,如圖7所示,幀702a和702b可以與放大相機(jī)效果相關(guān)聯(lián),使得幀702a和702b內(nèi)的要素708a、708b、708c和708d可以從幀702a到幀702b移動(dòng)遠(yuǎn)離幀702a和702b捕獲的情景的中心。放大相機(jī)效果可以基于實(shí)際的相機(jī)放大產(chǎn)生,或者可以基于模擬放大產(chǎn)生。
類似于確定是否存在右平移、左平移或縮小相機(jī)效果,如上文關(guān)于圖4-6所述,立體視頻模塊可以被配置為基于分析位于幀702a和702b的不同區(qū)域(例如右上、左上、右下和左下區(qū)域)中的要素(例如要素708a、708b、708c和708d)在幀702a和702b之間的移動(dòng)來確定在幀702a和702b之間是否存在放大相機(jī)效果。在一些實(shí)施方案中,立體視頻模塊可以通過分析與幀702a和702b的可以對(duì)應(yīng)于要素的像素相關(guān)聯(lián)的移動(dòng)來分析要素的移動(dòng)。在這些或其他實(shí)施方案中,立體視頻模塊可以分析與幀702a和702b的每個(gè)像素相關(guān)聯(lián)的移動(dòng),以確定要素在幀702a和幀702b之間的移動(dòng)。如果與位于幀702a和702b的不同區(qū)域中的要素(或在一些實(shí)施方案中為像素)相關(guān)聯(lián)的移動(dòng)都基本上移動(dòng)遠(yuǎn)離由幀702a和702b捕獲的情景的中心,則立體視頻模塊可以確定相機(jī)效果是放大相機(jī)效果。
立體視頻模塊可基于所確定的放大照相機(jī)效果和與其相關(guān)聯(lián)的移動(dòng)來生成與幀702a相關(guān)聯(lián)的修改幀702a'和修改幀702a”。例如,放大相機(jī)效果可以導(dǎo)致分別包括在幀702a和702b的左側(cè)714a和714b中的要素(例如,要素708a和708c)從幀702a到幀702b從右向左移動(dòng)基本上相同的程度。另外,放大相機(jī)效果可以導(dǎo)致分別包括在幀702a和702b的右側(cè)716a和716b中的要素(例如,要素708b和708d)從幀702a到幀702b從左向右移動(dòng)基本上相同的程度。
在一些實(shí)施方案中,立體視頻模塊可以分別基于要素在幀702a和702b的左側(cè)714a和714b之間的水平偏移來生成修改幀702a'的左側(cè)714c。另外,立體視頻模塊可在生成左側(cè)714c的期間忽略要素在左側(cè)714a和714b之間的任何垂直偏移。例如,要素708a和708c可以在修改幀702a'的左側(cè)714c中具有與在幀702b的左側(cè)714b中基本上相同的水平位置。然而,要素708a和708c可以在修改幀702a'的左側(cè)714c中具有與在幀702a的左側(cè)714a中基本上相同的垂直位置。
另外,立體視頻模塊可以基于被包括在幀702a的右側(cè)716a中的要素的水平位置和垂直位置來生成修改幀702a'的右側(cè)716c,使得右側(cè)716c可以基本類似于右邊716a。例如,要素708b和708d可以在修改幀702a'的右側(cè)716c中具有與在幀702a的右側(cè)716a中基本上相同的水平位置和垂直位置。
立體視頻模塊還可以基于要素分別在幀702a和702b的右側(cè)716a和716b之間的水平偏移來生成修改幀702a”的右側(cè)716d。另外,立體視頻模塊可以在右側(cè)716d的生成期間忽略要素在右側(cè)716a和716b之間的任何垂直偏移。例如,要素708b和708d可以在修改幀702a”的右側(cè)716d中具有與在幀702b的右側(cè)716b中基本上相同的水平位置。然而,要素708b和708d可以在修改幀702a”的右側(cè)716d中具有與在幀702a的右側(cè)716a中基本上相同的垂直位置。
此外,立體視頻模塊可以基于包括在幀702a的左側(cè)714a中的要素的水平和垂直位置來生成修改幀702a”的左側(cè)714d,使得左側(cè)714d可以基本類似于左側(cè)714a。例如,要素708a和708c可以在修改幀702a”的左側(cè)714d中具有與在幀702a的左側(cè)714a中基本上相同的水平和垂直位置。
如圖7所示,用于上述放大效果的修改幀702a'和702a”的配置可以導(dǎo)致要素708a、708b、708c和708d在修改幀702a'中相對(duì)于修改幀702a”是水平向左偏移的。另外,要素708a、708b、708c和708d可以在修改幀702a'中相對(duì)于修改幀702a”具有很少甚至沒有垂直偏移。
可以與單視場視頻701的觀看幀702a相關(guān)聯(lián)的立體視頻703的左眼觀看幀710和右眼觀看幀712可以基于放大相機(jī)效果和修改觀看幀702a'和702a”來生成。例如,由于放大相機(jī)效果,修改幀702a”可以被指定為左眼觀看幀710,并且修改幀702a'可以被指定為右眼觀看幀712。因此,可以至少部分地基于放大相機(jī)效果和修改幀702a'和702a”(可以與要素708a、708b、708c和708d在幀702a和702b之間的移動(dòng)相關(guān)聯(lián))來生成立體視頻703的左眼觀看幀710和右眼觀看幀712。
除了明確描述的之外,可以對(duì)立體視頻703的生成進(jìn)行修改、添加或省略。例如,與單視場視頻701的其他幀702相關(guān)聯(lián)的左眼和右眼觀看幀(例如,與幀702b相關(guān)聯(lián)的左眼和右眼觀看幀)也可以以類似的方式生成。另外,在一些實(shí)施方案中,可以生成幀702(可以是其相應(yīng)場景的最后幀或接近最后幀)的左眼觀看幀和右眼觀看幀,使得可基于幀702和以上文關(guān)于圖3所述方式生成的對(duì)應(yīng)的推斷幀來生成與幀702相關(guān)聯(lián)的修改幀。
返回圖1,立體視頻模塊104可以相應(yīng)地被配置為基于如上相對(duì)于圖4-7所述的平移或縮放效果來生成立體視頻103的左眼和右眼觀看幀。但是,在某些情況下,相機(jī)效果可能與平移或縮放效果有些不同。例如,相機(jī)效果可以是旋轉(zhuǎn)相機(jī)效果或靜止相機(jī)效果。在這種情況下,立體視頻模塊104可以確定相機(jī)效果不是平移或縮放效果,并且可以根據(jù)該確定生成左眼和右眼觀看幀。在這些實(shí)施方案的一些中,立體視頻模塊104可以基于相機(jī)效果不是平移或縮放效果的確定且基于與單視場視頻101的幀相關(guān)聯(lián)的前景和/或背景的移動(dòng)來生成左眼觀看幀和右眼觀看幀。
因此,在一些實(shí)施方案中,立體視頻模塊104可以被配置為確定與單視場視頻101相關(guān)聯(lián)的前景和背景中的至少一個(gè),使得立體視頻模塊可以分析與前景和/或背景相關(guān)聯(lián)的移動(dòng)。在這些實(shí)施方案的一些中,立體視頻模塊104可以被配置為基于單視場視頻101的幀來確定與單視場視頻101的幀相關(guān)聯(lián)的最快移動(dòng)要素、慢速移動(dòng)要素和/或主導(dǎo)要素來確定前景和/或背景。
圖8示出了根據(jù)本公開內(nèi)容的一些實(shí)施方案的單視場視頻801的示例性幀802a和802b,其中幀802a和802b包括最快移動(dòng)要素820、慢速移動(dòng)要素822和主導(dǎo)要素824。單視場視頻801可以基本類似于圖1的單視場視頻101。在所示實(shí)施方案中,幀802a和802b可以與單視場視頻801的相同場景相關(guān)聯(lián),并且?guī)?02b可以是幀802a的后續(xù)幀。立體視頻模塊,諸如圖1的立體視頻模塊104可以被配置為識(shí)別最快移動(dòng)要素820、慢速移動(dòng)要素822和/或主導(dǎo)要素824。
立體視頻模塊可以分析幀802a和802b以確定最快移動(dòng)要素820、慢速移動(dòng)要素822和/或主導(dǎo)要素824。例如,立體視頻模塊可以分析幀802b中的要素相對(duì)于幀802a的位移,以識(shí)別最快移動(dòng)要素820和慢速移動(dòng)要素822。最快移動(dòng)要素從幀802a到幀802b可以比慢速移動(dòng)要素移動(dòng)更遠(yuǎn)的距離。因此,立體視頻模塊可分析要素從幀802a到幀802b的位移,并且具有最大位移量的要素可被確定為最快移動(dòng)要素。
在所示實(shí)施方案中,最快移動(dòng)要素820可以具有從幀802a到幀802b的最大位移,使得立體視頻模塊可以將最快移動(dòng)要素820識(shí)別為從幀802a到幀802b的最快移動(dòng)要素。另外,如圖8所示,慢速移動(dòng)要素822也可以在幀802a與幀802b之間移動(dòng),但是以比最快移動(dòng)要素820更小的程度移動(dòng)。因此,立體視頻模塊可以將慢速移動(dòng)要素822識(shí)別為比最快移動(dòng)要素820移動(dòng)慢的要素。
另外,立體視頻模塊可以被配置為確定主導(dǎo)要素824是幀802a和802b內(nèi)的主導(dǎo)要素。在一些實(shí)施方案中,立體視頻模塊可以基于對(duì)與幀802a和802b相關(guān)聯(lián)的像素的分析來識(shí)別幀802a和802b內(nèi)的要素,使得可以確定與特定要素相關(guān)聯(lián)的像素的數(shù)量。因此,在一些實(shí)施方案中,立體視頻模塊可以被配置為基于主導(dǎo)要素824與比包括在幀802a和802b中的其他要素實(shí)質(zhì)上更高數(shù)量的像素相關(guān)聯(lián)來識(shí)別主導(dǎo)要素824。因此,通過分析幀802a和802b,立體視頻模塊可以能夠識(shí)別最快移動(dòng)要素820、慢速移動(dòng)要素822和/或主導(dǎo)要素824。如下詳細(xì)所述,這些要素的識(shí)別可以幫助確定與幀802a和802b相關(guān)聯(lián)的前景和/或背景。
圖8的圖示僅僅是為了介紹最快移動(dòng)要素、慢速移動(dòng)要素和主導(dǎo)要素背后的概念。因此,在不脫離本公開內(nèi)容范圍的情況下,可以對(duì)圖8進(jìn)行修改、添加或省略。在一些實(shí)施方案中,最快移動(dòng)要素820和慢速移動(dòng)要素822在幀802a和802b之間的位移量可以基于最快移動(dòng)要素820和慢速移動(dòng)要素822的速度差異而變化。例如,在一些情況下,最快移動(dòng)要素820和慢速移動(dòng)要素822可以以基本上相同的速度移動(dòng),使得最快移動(dòng)要素820和慢速移動(dòng)要素822在幀802a和802b之間的位移可以基本上相同。另外,在一些實(shí)施方案中,主導(dǎo)要素824可在幀802a和802b之間移動(dòng),而在其它實(shí)施方案中,主導(dǎo)要素824可不移動(dòng)。此外,在一些情況下,幀802a和802b可以不包括主導(dǎo)要素。此外,最快移動(dòng)要素820、慢速移動(dòng)要素822和/或主導(dǎo)要素824的移動(dòng)方向可以變化。
如上所述,可以基于與場景相關(guān)聯(lián)的最快移動(dòng)要素、慢速移動(dòng)要素和/或主導(dǎo)要素來確定場景的前景和/或背景。圖9是根據(jù)本公開內(nèi)容的一些實(shí)施方案的基于與場景相關(guān)聯(lián)的最快移動(dòng)要素、慢速移動(dòng)要素和主導(dǎo)要素中的至少一個(gè)來確定場景的前景和/或背景的示例性方法900的流程圖。在一些實(shí)施方案中,方法900可以由諸如圖1的立體視頻模塊104的立體視頻模塊來實(shí)施。例如,立體視頻模塊104可以被配置為執(zhí)行計(jì)算機(jī)指令以執(zhí)行用于確定由方法900的一個(gè)或多個(gè)塊表示的前景和/或背景的操作。盡管被示為離散塊,但是各種塊可以根據(jù)期望的實(shí)施方式,被劃分為附加塊,組合成更少的塊或者被消除。
方法900可以在框902開始,其中可以確定要素和/或像素在第一幀和第二幀之間的移動(dòng)。在框904處,可以確定所有要素和/或像素是否在基本上相同的方向上移動(dòng)。如果所有要素和/或像素在基本上相同的方向上移動(dòng),則方法900可以前進(jìn)到框906。如果所有要素和/或像素不在基本上相同的方向上移動(dòng),則方法900可以前進(jìn)到框914。
在框906,可以確定與第一幀和第二幀相關(guān)聯(lián)的最快移動(dòng)要素和慢速移動(dòng)要素。在一些實(shí)施方案中,可以基于第二幀中的要素相對(duì)于第一幀的位移來確定最快移動(dòng)要素和慢速移動(dòng)要素,例如上面關(guān)于在圖8的幀802a和802b之間的最快移動(dòng)要素820和慢速移動(dòng)要素822描述的那樣。
在框908,可以確定在最快移動(dòng)要素和慢速移動(dòng)要素之間是否存在顯著的速度差。如果存在顯著的速度差,則方法900可以前進(jìn)到框910。如果沒有顯著的速度差,則方法900可以前進(jìn)到框912。在一些實(shí)施方案中,速度差可以通過測量最快移動(dòng)要素和慢速移動(dòng)要素從第一幀到第二幀的偏移量的差來確定。另外,在一些實(shí)施方案中,速度差(例如,偏移的差)可以與閾值進(jìn)行比較,并且如果速度差大于閾值,則方法900可以前進(jìn)到框910,而如果速度差小于閾值,則方法900可以前進(jìn)到框912。在一些情況下,閾值可以根據(jù)電影的類型而變化。例如,動(dòng)作電影的閾值可以高于戲劇的閾值。
在框910處,在最快移動(dòng)要素和慢速移動(dòng)要素之間的速度差基本足夠大(例如,大于閾值)的情況下,前景可以與最快移動(dòng)要素相關(guān),使得最快移動(dòng)要素可以被認(rèn)為是在前景中。在框912處,在最快移動(dòng)要素和慢速移動(dòng)要素之間的速度差不是基本上足夠大(例如,小于閾值)的情況下,背景可以同與第一幀和第二幀相關(guān)聯(lián)的整個(gè)場景相關(guān)。因此,在框912處,與第一幀和第二幀相關(guān)聯(lián)的整個(gè)場景可以被認(rèn)為是在背景中。
返回到框904處,如上所述,如果所有要素和/或像素的移動(dòng)不相同,則方法900可以前進(jìn)到框914。在框914處,可以確定在與第一和第二幀相關(guān)聯(lián)的場景中是否存在主導(dǎo)要素。在一些實(shí)施方案中,可以基于與每個(gè)要素相關(guān)聯(lián)的像素的數(shù)量來確定是否存在主導(dǎo)要素的確定,諸如上面關(guān)于圖8所描述的主導(dǎo)要素824。如果存在主導(dǎo)要素,則方法900可以前進(jìn)到框916。如果不存在主導(dǎo)要素,則方法900可以前進(jìn)到框922。
在框916處,可以確定在框914中確定的主導(dǎo)要素是否基本上處于與第一和第二幀相關(guān)聯(lián)的場景的中心。如果主導(dǎo)要素基本在中心,則方法900可以前進(jìn)到框918。如果主導(dǎo)要素基本不在中心,則方法900可以前進(jìn)到框920。
在框918處,在主導(dǎo)要素基本在場景的中心的情況下,前景可與主導(dǎo)要素相關(guān),使得主導(dǎo)要素可被認(rèn)為是前景。在框920處,由于主導(dǎo)要素基本不在場景的中心,背景可以與主導(dǎo)要素相關(guān),使得主導(dǎo)要素可以被認(rèn)為是背景。
返回到框914處,如上所述,如果確定不存在主導(dǎo)要素,則方法900可以前進(jìn)到框922。在框922處,可以確定與第一和第二幀相關(guān)聯(lián)的最快移動(dòng)要素和慢速移動(dòng)要素,類似于在框906中進(jìn)行的。在框924處,可以確定在最快移動(dòng)要素和慢速移動(dòng)要素之間是否存在顯著的速度差,類似于在框908中進(jìn)行的。如果存在顯著的速度差,則方法900可以前進(jìn)到框926。如果不存在顯著的速度差,則方法900可以前進(jìn)到框928。
在框926處,對(duì)于最快移動(dòng)要素和慢速移動(dòng)要素之間的速度差基本上足夠大的情形,前景可以與最快移動(dòng)要素相關(guān),使得最快移動(dòng)要素可以被認(rèn)為處于前景中。在框928處,對(duì)于最快移動(dòng)要素和慢速移動(dòng)要素之間的速度差基本上不足夠大的情形,背景或前景可以同與第一幀和第二幀相關(guān)聯(lián)的整個(gè)場景相關(guān)。因此,在框928處,與第一幀和第二幀相關(guān)聯(lián)的整個(gè)場景可以被認(rèn)為在背景或前景中。
因此,方法900可以用于確定場景的背景和/或前景。本領(lǐng)域技術(shù)人員應(yīng)當(dāng)理解,對(duì)于本文公開的這個(gè)和其他過程和方法,可以以不同的順序來實(shí)施在過程和方法中執(zhí)行的功能。此外,所概述的步驟和操作僅作為示例性提供,并且一些步驟和操作可以是可選的、組合成更少的步驟和操作,或者擴(kuò)展到附加的步驟和操作中,而不背離所公開的實(shí)施方案的本質(zhì)。
返回到圖1,如上所述,在一些實(shí)施方案中,如果立體視頻模塊104可以確定相機(jī)效果不是平移或縮放效果,則立體視頻模塊104可以基于與單視場視頻101的幀相關(guān)聯(lián)的前景和/或背景的移動(dòng)來生成左眼觀看幀和右眼觀看幀。
圖10示出了根據(jù)本文描述的一些實(shí)施方案的示例性框圖1000,其基于與單視場視頻1001相關(guān)聯(lián)的前景和/或背景的移動(dòng)來從單視場視頻1001生成立體視頻1003的左眼觀看幀1010和右眼觀看幀1012。左眼觀看幀1010和右眼觀看幀1012可以由立體視頻模塊,諸如圖1所示的立體視頻模塊104來生成。立體視頻1003的左眼觀看幀1010和右眼觀看幀1012可對(duì)應(yīng)于單視場視頻1001的幀1002a,并且可基于幀1002a及其相關(guān)聯(lián)的修改幀1002a'而生成。在所示實(shí)施方案中,可以諸如上面參照?qǐng)D2所述的方式基于幀1002a和1002b之間的移動(dòng)來生成修改幀1002a';然而,在其它實(shí)施方案中,可以以上文關(guān)于圖3所描述的方式使用推斷幀來生成修改幀1002a'。
在所示實(shí)施方案中,立體視頻模塊還可以基于確定與幀1002a和1002b相關(guān)聯(lián)的相機(jī)效果不是平移或縮放效果且基于與幀1002a和1002b(且因此也基于修改幀1002a')相關(guān)聯(lián)的背景和前景的相對(duì)移動(dòng)來生成左眼觀看幀1010和右眼觀看幀1012。在一些實(shí)施方案中,立體視頻模塊可以使用上面參照?qǐng)D9描述的方法900來確定背景和前景。在其他實(shí)施方案中,可以以任何其他合適的方式確定背景和前景。
例如,在一些情況下,前景可以在幀1002a和1002b之間比背景移動(dòng)得快,并且立體視頻模塊可以這樣確定。在這種情況下,如果前景向右移動(dòng),并且忽略背景可在哪個(gè)方向移動(dòng),立體視頻模塊可以將幀1002a指定為左眼觀看幀1010,并且可以將修改幀1002a'指定為右眼觀看幀1012。另外,在這種情況下,如果前景正在向左移動(dòng),并且忽略背景可能在哪個(gè)方向上移動(dòng),則立體視頻模塊可以將修改幀1002a'指定為左眼觀看幀1010,并且可以將幀1002a指定為右眼觀看幀1012。
在其他情況下,背景可以在幀1002a和1002b之間比前景移動(dòng)得快,并且立體視頻模塊可以這樣確定。在這種情況下,如果背景向左移動(dòng),并且忽略前景可以在哪個(gè)方向移動(dòng),則立體視頻模塊可以將幀1002a指定為左眼觀看幀1010,并且可以將修改幀1002a'指定為右眼觀看幀1012。另外,在這種情況下,如果背景向右移動(dòng),并且忽略前景可以在哪個(gè)方向上移動(dòng),則立體視頻模塊可以將修改幀1002a'指定為左眼觀看幀并且可以將幀1002a指定為右眼觀看幀1012。
因此,立體視頻模塊可以被配置為根據(jù)與幀1002a和1002b相關(guān)聯(lián)的相機(jī)效果不是平移或縮放效果的確定,基于與幀1002a和1002b(因此也是基于修改幀1002a')相關(guān)聯(lián)的背景和前景的相對(duì)移動(dòng)來生成左眼觀看幀1010和右眼觀看幀1012。
在不脫離本公開內(nèi)容范圍的情況下,可以對(duì)圖10進(jìn)行修改、添加或省略。例如,如上所述,在所示實(shí)施方案中,幀1002b可以在幀1002a之后,并且可以基于幀1002a和1002b之間的移動(dòng)來生成修改幀1002a'。然而,在一些情況下,諸如如果針對(duì)特定場景的最后幀或接近最后幀生成修改幀,那么可以基于如上面參照?qǐng)D3所述的推斷幀來生成這種情況的修改幀。另外,在一些實(shí)施方案中,可以根據(jù)圖9所示的方法900來檢測前景和背景,并且在其他實(shí)施方案中,可以某種其他可接受的方式檢測前景和背景。
圖1-10的上述描述示出了根據(jù)本文描述的一些實(shí)施方案,立體視頻模塊(例如,圖1所示的立體視頻模塊104)可以被配置為基于單視場視頻的幀之間的移動(dòng)以及所確定的與單視場視頻相關(guān)聯(lián)的相機(jī)效果來生成立體視頻的左眼和右眼觀看幀。圖11是根據(jù)本公開內(nèi)容的一些實(shí)施方案的基于相機(jī)效果將單視場視頻轉(zhuǎn)換為立體視頻的示例性方法1100的流程圖。在一些實(shí)施方案中,方法1100可以由諸如圖1的立體視頻模塊104的立體視頻模塊來實(shí)施。例如,立體視頻模塊104可以被配置為執(zhí)行計(jì)算機(jī)指令以執(zhí)行由方法1100的一個(gè)或多個(gè)框表示的用于將單視場視頻轉(zhuǎn)換為立體視頻的操作。盡管被示為離散的框,但是根據(jù)期望的實(shí)施,各框可以被劃分為附加的框、組合成更少的框、或者被消除。
方法1100可以開始,并且在框1102處,可以確定單視場視頻的第一幀和單視場視頻的第二幀之間的移動(dòng)。在框1104處,可以基于該移動(dòng)生成修改的第一幀。在一些實(shí)施方案中,可以基于參考圖2給出的描述來生成修改的第一幀。在其他實(shí)施方案中,可以基于參考圖3所描述的推斷幀來生成修改的第一幀。
在框1106處,可以基于該移動(dòng)來分析和確定相機(jī)效果。例如,可以將相機(jī)效果確定為平移效果、縮放效果或都不是。在框1108處,可以基于相機(jī)效果分析以及第一幀和修改的第一幀中的至少一個(gè)來生成立體視頻的左眼觀看幀。在框1110處,可以基于相機(jī)效果分析以及第一幀和修改的第一幀中的至少一個(gè)來生成立體視頻的右眼觀看幀。在縮放效果的情況下,在一些實(shí)施方案中,還可以基于第一幀和第二幀生成第二修改的第一幀,并且可以基于第一修改的第一幀和第二修改的第一幀中的至少一個(gè)生成左眼觀看幀和右眼觀看幀。在一些實(shí)施方案中,可以根據(jù)圖4-10中給出的描述生成左眼觀看幀和右眼觀看幀。
因此,方法1100可以用于將單視場視頻轉(zhuǎn)換為立體視頻。本領(lǐng)域技術(shù)人員應(yīng)當(dāng)理解,對(duì)于本文公開的這個(gè)和其他過程和方法,可以不同的順序來實(shí)施在過程和方法中執(zhí)行的功能。此外,所概述的步驟和操作僅作為示例性提供,并且一些步驟和操作可以是可選的、組合成更少的步驟和操作,或者擴(kuò)展到附加的步驟和操作中,而不背離所公開的實(shí)施方案的本質(zhì)。
例如,在一些實(shí)施方案中,方法1100可以包括與確定背景和/或前景相關(guān)聯(lián)的步驟,所述背景和/或前景可以繼而被用于生成立體視頻,諸如上面參照?qǐng)D9和圖10所描述的。在其他實(shí)施方案中,前景和背景可以另一種方式確定,或者可以由輸入指定。
返回到圖1,如上所述,立體視頻模塊104還可以被配置為通過調(diào)整被包括在左眼觀看幀和右眼觀看幀中的要素之間的偏移來調(diào)整與立體視頻103相關(guān)聯(lián)的深度的量。還如上所述,在一些實(shí)施方案中,立體視頻模塊104還可以被配置為調(diào)整立體視頻103的焦點(diǎn),使得立體視頻模塊104可以對(duì)由觀看者感知到的哪些要素可能處在情景的前景或背景內(nèi)的感知做出修正。下面參照?qǐng)D12A至圖14描述深度的調(diào)整和焦點(diǎn)的調(diào)整。
圖12A示出根據(jù)一些實(shí)施方案的可由左眼1202和右眼1204感知的示例性情景1200。情景1200可以包括近側(cè)要素1206、中間要素1208和遠(yuǎn)側(cè)要素1210。在所示示例性中,左眼1202和右眼1204可以聚焦在中間要素1208上,使得中間要素1208可以在左眼1202和右眼1204的焦點(diǎn)處。因此,近側(cè)要素1206可以在如由左眼1202和右眼1204感知到的前景內(nèi)。另外,由于左眼1202和右眼1204聚焦在中間要素1208上,則遠(yuǎn)側(cè)要素1210可以在如由左眼1202和右眼1204感知到的背景內(nèi)。
圖12B描繪了根據(jù)本文公開的一些實(shí)施方案的示例性網(wǎng)格1201,其示出了可能存在于與情景1200相關(guān)聯(lián)的立體視頻的左眼觀看幀和右眼觀看幀內(nèi)的要素1206、1208和1210之間的示例性偏移。如上所述,要素1206、1208和1210的偏移可以模擬左眼1202和右眼1204相對(duì)于情景1200的不同視角。
在所示實(shí)施方案中,左邊近側(cè)要素1206a可以從圖12A的左眼1202的視角表示圖12A的近側(cè)要素1206,并且右邊近側(cè)要素1206b可以從圖12A的右眼1204的視角表示圖12A的近側(cè)要素1206。因此,網(wǎng)格1201中左邊近側(cè)要素1206a相對(duì)于右邊近側(cè)要素1206b的位置差異可以表示相關(guān)聯(lián)的立體視頻的左眼觀看幀中的近側(cè)要素1206相對(duì)于右眼觀看幀的偏移。
在所示實(shí)施方案中,左邊近側(cè)要素1206a可以在右邊,因?yàn)槿鐖D12A所示,近側(cè)要素1206可以在與左眼1202相關(guān)聯(lián)的視線1212的右邊。另外,右邊近側(cè)要素1206b可以在左邊,因?yàn)榻鼈?cè)要素1206可以在與右眼1204相關(guān)聯(lián)的視線1214的左邊。這種現(xiàn)象通常被稱為“負(fù)視差”,并且在目標(biāo)在兩只眼睛的焦點(diǎn)的前面的情形下發(fā)生,在所示實(shí)施方案中,該目標(biāo)可以被設(shè)定為中間要素1208。
從圖12A的左眼1202和右眼1204的視角來看,網(wǎng)格1201的中間要素1208a/b可以表示圖12A的中間要素1208。在圖12A所示的實(shí)施方案中,中間要素1208可以在左眼1202和右眼1204的焦點(diǎn)處,使得在左眼1202和右眼1204的視角之間可以存在很少甚至沒有偏移。因此,中間要素1208可以在與相關(guān)聯(lián)的立體視頻的右眼觀看幀和左眼觀看幀中基本上相同的位置。因此,圖12B的中間要素1208a/b示出了由左眼1202感知到的左邊中間要素1208a和由右眼1204感知到的右邊中間要素1208b的重疊。
另外,左邊遠(yuǎn)側(cè)要素1210a和右邊遠(yuǎn)側(cè)要素1210b可分別從圖12A的左眼1202和右眼1204的視角表示圖12A的遠(yuǎn)側(cè)要素1210。因此,網(wǎng)格1201中的左邊遠(yuǎn)側(cè)要素1210a相對(duì)于右邊遠(yuǎn)側(cè)要素1210b的位置差異可以表示相關(guān)聯(lián)的立體視頻的左眼觀看幀中的遠(yuǎn)側(cè)要素1210相對(duì)于右眼觀看幀的偏移。
在所示實(shí)施方案中,左邊遠(yuǎn)側(cè)要素1210a可以在左邊,因?yàn)槿鐖D12A所示,遠(yuǎn)側(cè)要素1210可以在與左眼1202相關(guān)聯(lián)的視線1212的左邊。此外,右邊遠(yuǎn)側(cè)要素1210b可以在右邊,因?yàn)檫h(yuǎn)側(cè)要素1210可以在與右眼1204相關(guān)聯(lián)的視線1214的右邊。該現(xiàn)象通常被稱為“正視差”并且在目標(biāo)在兩只眼睛的焦點(diǎn)的后面的情形下發(fā)生,在所示實(shí)施方案中,該目標(biāo)可以在中間要素1208處。
可以通過調(diào)整左眼觀看幀和其相關(guān)聯(lián)的右眼觀看幀的對(duì)應(yīng)要素之間的偏移來調(diào)整立體視頻的深度的量。例如,同與圖12B相關(guān)聯(lián)的立體視頻相關(guān)聯(lián)的深度的量可以通過調(diào)整左邊近側(cè)要素1206a和右邊近側(cè)要素1206b之間的偏移、通過調(diào)整左邊中間要素1208a和右邊中間要素1208b之間的偏移、和/或通過調(diào)整左邊遠(yuǎn)側(cè)要素1210a和右邊遠(yuǎn)側(cè)要素1210b之間的偏移來調(diào)整。在本公開內(nèi)容的一些實(shí)施方案中,可以通過對(duì)要素之間的偏移應(yīng)用統(tǒng)一的乘法因子來調(diào)整深度。
圖12C描繪了根據(jù)本文公開的一些實(shí)施方案的示例性網(wǎng)格1203,其示出了在將統(tǒng)一的乘法因子應(yīng)用于圖12B的偏移之后,圖12B的要素相對(duì)于它們各自的左眼和右眼觀看幀的偏移。統(tǒng)一的乘法因子可以應(yīng)用于與左眼觀看幀和右眼觀看幀中的基本上所有的要素相關(guān)聯(lián)的偏移,使得要素之間的偏移通過基本上相同的尺度來調(diào)整。在所示實(shí)施方案中,統(tǒng)一的乘法因子可以具有是2的值,并且可以應(yīng)用于圖12B的要素1206、1208和1210之間的偏移,使得圖12C中的要素1206、1208和1210之間的偏移可以各自相對(duì)于圖12B中的對(duì)應(yīng)的偏移加倍。
例如,在圖12B中,左邊近側(cè)要素1206a的中心和右邊近側(cè)要素1206b的中心之間的近側(cè)要素偏移可以是大約“2”個(gè)網(wǎng)格單元。因此,對(duì)近側(cè)要素偏移應(yīng)用乘法因子“2”可導(dǎo)致圖12C中左邊近側(cè)要素1206a的中心和右邊近側(cè)要素1206b的中心之間的近側(cè)要素偏移近似為“4”個(gè)網(wǎng)格單元,如圖12C所示。
另外,左邊中間要素1208a和右邊中間要素1208b之間的中間要素偏移可以是大約“0”個(gè)網(wǎng)格單元。因此,將乘法因子“2”應(yīng)用于中間要素偏移可以導(dǎo)致圖12C中的左邊中間要素1208a和右邊中間要素1208b之間的中間要素偏移仍然是大約“0”個(gè)網(wǎng)格單元,因?yàn)?個(gè)數(shù)字乘以“0”仍為“0”。
此外,在圖12B中,在左邊遠(yuǎn)側(cè)要素1210a的中心和右邊遠(yuǎn)側(cè)要素1210b的中心之間的遠(yuǎn)側(cè)要素偏移可以是大約“3”個(gè)網(wǎng)格單元。因此,對(duì)遠(yuǎn)側(cè)要素偏移應(yīng)用乘法因子“2”可導(dǎo)致圖12C中的左邊遠(yuǎn)側(cè)要素1210a的中心與右邊遠(yuǎn)側(cè)要素1210b的中心之間的遠(yuǎn)側(cè)要素偏移近似為“6”個(gè)網(wǎng)格單元,如圖12C所示。
在所示實(shí)施方案中,與右眼觀看幀相關(guān)聯(lián)的右邊近側(cè)要素1206b可以向左移位大約“2”個(gè)網(wǎng)格單元,并且與左眼觀看幀相關(guān)聯(lián)的左邊近側(cè)要素1206a可以在圖12C中相對(duì)于圖12B不移位。另外,在所示實(shí)施方案中,與右眼觀看幀相關(guān)聯(lián)的右邊遠(yuǎn)側(cè)要素1210b可以向右移位“3”個(gè)網(wǎng)格單元,并且與左眼觀看幀相關(guān)聯(lián)的左邊遠(yuǎn)側(cè)要素1210a可以在圖12C中相對(duì)于圖12B不移位。因此,通過調(diào)整右眼觀看幀而不必調(diào)整左眼觀看幀,近側(cè)要素偏移可以在圖12C中相對(duì)于圖12B從“2”個(gè)網(wǎng)格單元增加到“4”個(gè)網(wǎng)格單元,并且遠(yuǎn)側(cè)要素偏移可以從“3”個(gè)網(wǎng)格單元增加到“6”個(gè)網(wǎng)格單元。
在替代的實(shí)施方案中,可以通過移位左眼觀看幀內(nèi)的左邊近側(cè)要素1206a和左邊遠(yuǎn)側(cè)要素1210a而不是移位右眼觀看幀中的右邊近側(cè)要素1206b和右邊遠(yuǎn)側(cè)要素1210b來調(diào)整在圖12C中相對(duì)于圖12B的近側(cè)要素偏移和遠(yuǎn)側(cè)要素偏移。在其它實(shí)施方案中,可以通過移位左邊近側(cè)要素1206a和右邊近側(cè)要素1206b兩者來調(diào)整在圖12C中相對(duì)于圖12B的近側(cè)要素偏移。此外,在這些或其它實(shí)施方案的一些實(shí)施方案中,可以通過移位左邊遠(yuǎn)側(cè)要素1210a和右邊遠(yuǎn)側(cè)要素1210b兩者來調(diào)整在圖12C中相對(duì)于圖12B的遠(yuǎn)側(cè)要素偏移。
盡管在上述實(shí)施例中使用特定的統(tǒng)一的乘法因子“2”,但是可以使用任何合適的乘法因子。例如,可以使用大于“1”的任何適當(dāng)?shù)某朔ㄒ蜃觼碓黾佑捎^看者感知的深度。另外,小于“1”的任何合適的乘法因子可以用于減小由觀看者感知的深度。此外,盡管上文將統(tǒng)一的乘法因子描述為應(yīng)用于與對(duì)應(yīng)要素相關(guān)聯(lián)的偏移,但在一些實(shí)施方案中,所述要素可各自包括一個(gè)或多個(gè)像素,且統(tǒng)一的乘法因子可應(yīng)用于與對(duì)應(yīng)像素相關(guān)聯(lián)的偏移。在一些實(shí)施方案中,統(tǒng)一的乘法因子可以應(yīng)用于與每個(gè)要素和/或像素相關(guān)聯(lián)的每個(gè)偏移。
因此,根據(jù)本公開內(nèi)容的一些實(shí)施方案,立體視頻模塊(例如,立體視頻模塊104)可以被配置為通過將統(tǒng)一的乘法因子應(yīng)用于與立體視頻的左眼觀看幀和相應(yīng)的右眼觀看幀相關(guān)聯(lián)的對(duì)應(yīng)的要素和/或像素之間的偏移來調(diào)整與立體視頻相關(guān)聯(lián)的深度。相比之下,傳統(tǒng)的深度調(diào)整程序可能不應(yīng)用統(tǒng)一比例的偏移來調(diào)整深度。
還可以通過調(diào)整左眼觀看幀和其相關(guān)聯(lián)的右眼觀看幀的對(duì)應(yīng)要素之間的偏移來調(diào)整立體視頻的焦點(diǎn)。例如,可以通過調(diào)整左邊近側(cè)要素1206a和右邊近側(cè)要素1206b之間的偏移、通過調(diào)整左邊遠(yuǎn)側(cè)要素1210a和右邊遠(yuǎn)側(cè)要素1210b之間的偏移以及通過調(diào)整左邊中間要素1208a和右邊中間要素1208b之間的偏移來調(diào)整與圖12B相關(guān)聯(lián)的立體視頻的焦點(diǎn)。在一些實(shí)施方案中,可以通過對(duì)要素之間的偏移應(yīng)用統(tǒng)一的求和因子來調(diào)整焦點(diǎn)。統(tǒng)一的求和因子可以應(yīng)用于與左眼觀看幀和右眼觀看幀內(nèi)的基本上所有的要素相關(guān)聯(lián)的偏移。另外,在一些實(shí)施方案中,統(tǒng)一的求和因子可以應(yīng)用于與左眼和右眼觀看幀的對(duì)應(yīng)像素相關(guān)聯(lián)的偏移。
圖12D描繪了根據(jù)本文公開的一些實(shí)施方案的示例性網(wǎng)格1205,其示出了在將統(tǒng)一的求和因子應(yīng)用于圖12B的偏移之后,圖12B的要素相對(duì)于它們各自的左眼和右眼觀看幀的偏移。在所示實(shí)施方案中,可以應(yīng)用統(tǒng)一的求和因子,使得與右眼觀看幀相關(guān)聯(lián)的要素相對(duì)于與左眼觀看幀相關(guān)聯(lián)的要素向左移位。這種右眼觀看幀要素相對(duì)于左眼觀看幀要素向左移位可以導(dǎo)致焦點(diǎn)向后移動(dòng),使得更多的要素被感知在前景內(nèi)。
在其他實(shí)施方案中,可以應(yīng)用統(tǒng)一的求和因子,使得與右眼觀看幀相關(guān)聯(lián)的要素相對(duì)于與左眼觀看幀相關(guān)聯(lián)的要素向右移位。這種右眼觀看幀要素相對(duì)于左眼觀看幀要素向右移位可以導(dǎo)致焦點(diǎn)向前移動(dòng),使得更多的要素被感知在背景內(nèi)。
在所示的實(shí)施方案中,統(tǒng)一的求和因子可以具有值“-3”,并且可以應(yīng)用于圖12B的要素1206、1208和1210之間的偏移,使得右眼觀看幀要素每個(gè)都可以相對(duì)于它們相應(yīng)的左眼觀看幀要素向左移位三個(gè)網(wǎng)格單元。在所示的實(shí)施方案中,負(fù)求和因子可以導(dǎo)致右眼觀看幀要素相對(duì)于左眼觀看幀要素向左移位,而正求和因子可以導(dǎo)致右眼觀看幀要素相對(duì)于左眼觀看幀要素向右移位。然而,在其他實(shí)施方案中,正求和因子可以導(dǎo)致右眼觀看幀要素相對(duì)于左眼觀看幀要素向左移位,而負(fù)求和因子可以導(dǎo)致右眼觀看幀要素相對(duì)于左眼觀看幀要素向右移位。
例如,在圖12B中,左邊近側(cè)要素1206a的中心和右邊近側(cè)要素1206b的中心之間的近側(cè)要素偏移可以是“2”個(gè)網(wǎng)格單元。因此,將“-3”的求和因子應(yīng)用于圖12B中所示的近側(cè)要素偏移可導(dǎo)致將右邊近側(cè)要素1206b相對(duì)于左邊近側(cè)要素1206a向左移位“3”個(gè)網(wǎng)格單元,使得在左邊近側(cè)要素1206a的中心和右邊近側(cè)要素1206b的中心之間的近側(cè)偏移在應(yīng)用求和因子之后可以是“5”個(gè)網(wǎng)格單元,如圖12D所示。
另外,左邊中間要素1208a和右邊中間要素1208b之間的中間要素偏移可以是大約“0”個(gè)網(wǎng)格單元。因此,將“-3”的求和因子應(yīng)用于圖12B中所示的中間要素偏移可導(dǎo)致將右邊中間要素1208b相對(duì)于左邊中間要素1208a向左移位“3”個(gè)網(wǎng)格單元,使得在應(yīng)用圖12D中所示的求和因子之后,左邊中間要素1208a的中心和右邊中間要素1208b的中心之間的中間偏移可以是“3”個(gè)網(wǎng)格單元。
此外,在圖12B中,在左邊遠(yuǎn)側(cè)要素1210a的中心和右邊遠(yuǎn)側(cè)要素1210b的中心之間的遠(yuǎn)側(cè)要素偏移可以是“3”個(gè)網(wǎng)格單元。因此,將“-3”的求和因子應(yīng)用于圖12B中所示的遠(yuǎn)側(cè)要素偏移可導(dǎo)致將右邊遠(yuǎn)側(cè)要素1210b相對(duì)于左邊遠(yuǎn)側(cè)要素1210a向左移位“3”個(gè)網(wǎng)格單元,使得在施加求和因子之后,左邊遠(yuǎn)側(cè)要素1210a的中心和右邊遠(yuǎn)側(cè)要素1210b的中心之間的遠(yuǎn)側(cè)偏移可以是“0”個(gè)網(wǎng)格單元,如圖12D所示。
在所示實(shí)施方案中,與右眼觀看幀相關(guān)聯(lián)的右邊近側(cè)要素1206b、右邊中間要素1208b和右邊遠(yuǎn)側(cè)要素1210b可以分別向左移動(dòng)“3”個(gè)網(wǎng)格單元,并且與左眼觀看幀相關(guān)聯(lián)的左邊近側(cè)要素1206a、左邊中間要素1208a和左邊遠(yuǎn)側(cè)要素1210a可以不在圖12D中相對(duì)于圖12B移位以獲得期望的偏移調(diào)整量。在替代的實(shí)施方案中,在圖12D中相對(duì)于圖12B,近側(cè)偏移、中間偏移和遠(yuǎn)側(cè)偏移可以通過移位左邊近側(cè)要素1206a、右邊近側(cè)要素1206b、左邊中間要素1208a、右邊中間要素1208b、左邊遠(yuǎn)側(cè)要素1210a和/或右邊遠(yuǎn)側(cè)要素1210b中的一個(gè)來調(diào)整。
另外,所示實(shí)施方案描繪了將與右眼觀看幀相關(guān)聯(lián)的要素相對(duì)于左眼觀看幀中的相對(duì)應(yīng)要素向左移位,以將焦點(diǎn)移回,這可以在由觀看者感知到的前景中帶來更多的要素。然而,如上所述,在其他實(shí)施方案中,與右眼觀看幀相關(guān)聯(lián)的要素可以相對(duì)于其在左眼觀看幀中相應(yīng)的要素向右移位,以向前移動(dòng)焦點(diǎn),這可以在由觀看者感知的背景中帶來更多的要素。
因此,根據(jù)本發(fā)明的一些實(shí)施方案,立體視頻模塊(例如,立體視頻模塊104)可被配置為通過向與立體視頻的左眼觀看幀和對(duì)應(yīng)的右眼觀看幀相關(guān)聯(lián)的對(duì)應(yīng)要素和/或像素之間的偏移應(yīng)用統(tǒng)一的求和因子來調(diào)整與立體視頻相關(guān)聯(lián)的焦點(diǎn)。
本領(lǐng)域技術(shù)人員應(yīng)當(dāng)理解,對(duì)于本發(fā)明公開的這個(gè)和其他過程和方法,可以以不同的順序來實(shí)施在過程和方法中執(zhí)行的功能。此外,所概述的步驟和操作僅作為示例性提供,并且一些步驟和操作可以是可選的、組合成更少的步驟和操作、或者擴(kuò)展到附加的步驟和操作中,而不背離所公開實(shí)施方案的本質(zhì)。
圖13是根據(jù)本公開內(nèi)容的一些實(shí)施方案的調(diào)整立體視頻的深度的示例性方法1300的流程圖。在一些實(shí)施方案中,方法1300可以由立體視頻模塊諸如圖1的立體視頻模塊104來實(shí)施。例如,立體視頻模塊104可以被配置為執(zhí)行計(jì)算機(jī)指令以執(zhí)行如由方法1300的一個(gè)或多個(gè)框所表示的用于調(diào)整立體視頻的深度的操作。盡管被示為離散框,但是根據(jù)期望的實(shí)施,各種框可以被劃分為附加的框、組合成更少的框、或者被消除。
方法1300可開始,且在框1302處,可生成立體視頻的左眼觀看幀。左眼觀看幀可以包括多個(gè)左眼觀看觀看幀要素。在一些實(shí)施方案中,左眼觀看幀要素可以是被包括在左眼觀看幀中的基本上所有的要素,使得左眼觀看幀要素可以基本上布滿(encompass)整個(gè)左眼觀看幀。另外,左眼觀看幀要素可以各自包括一個(gè)或多個(gè)像素。
在框1304處,可以生成立體視頻的右眼觀看幀。右眼觀看幀可以對(duì)應(yīng)于左眼觀看幀,并且可以包括多個(gè)右眼觀看幀要素。每個(gè)右眼觀看幀要素可以對(duì)應(yīng)于左眼觀看幀要素中的一個(gè)。在一些實(shí)施方案中,右眼觀看幀要素可以是被包括在右眼觀看幀中的基本上所有的要素,使得右眼觀看幀要素可以基本上布滿整個(gè)右眼觀看幀。另外,右眼觀看幀要素可以各自包括一個(gè)或多個(gè)像素。
在框1306處,可以確定每個(gè)左眼觀看幀要素與其對(duì)應(yīng)的右眼觀看幀要素之間的偏移。在一些實(shí)施方案中,可以在逐像素的基礎(chǔ)上確定偏移。在框1308處,可以對(duì)每個(gè)偏移應(yīng)用統(tǒng)一的乘法因子,使得可以以基本上統(tǒng)一的尺度調(diào)整與立體視頻相關(guān)聯(lián)的深度。
因此,方法1300可以用于調(diào)整立體視頻的深度。本領(lǐng)域技術(shù)人員應(yīng)當(dāng)理解,對(duì)于本發(fā)明公開的這個(gè)和其他過程和方法,可以以不同的順序來實(shí)施在過程和方法中執(zhí)行的功能。此外,所概述的步驟和操作僅作為示例性提供,并且一些步驟和操作可以是可選的、組合成更少的步驟和操作、或者擴(kuò)展到附加的步驟和操作中,而不背離所公開實(shí)施方案的本質(zhì)。
例如,在一些實(shí)施方案中,方法1300可以包括與生成左眼觀看幀和右眼觀看幀相關(guān)聯(lián)的步驟。在這些實(shí)施方案的一些中,可以根據(jù)上面參照?qǐng)D1-11描述的一種或多種方式生成左眼觀看幀和右眼觀看幀。
圖14是根據(jù)本公開內(nèi)容的一些實(shí)施方案的調(diào)整立體視頻的焦點(diǎn)的示例性方法1400的流程圖。在一些實(shí)施方案中,方法1400可以由諸如圖1的立體視頻模塊104的立體視頻模塊來實(shí)現(xiàn)。例如,立體視頻模塊104可以被配置為執(zhí)行計(jì)算機(jī)指令以執(zhí)行由方法1400的一個(gè)或多個(gè)框表示的用于調(diào)整立體視頻的焦點(diǎn)的操作。盡管被示為離散框,但是根據(jù)期望的實(shí)施,各種框可以被劃分為附加的框、組合成更少的框、或者被消除。
方法1400可以開始,且在框1402處,可以生成立體視頻的左眼觀看幀。左眼觀看幀可以包括多個(gè)左眼觀看幀要素。在一些實(shí)施方案中,左眼觀看幀要素可以是被包括在左眼觀看幀中的基本上所有的要素,使得左眼觀看幀要素可以基本上布滿整個(gè)左眼觀看幀。另外,左眼觀看幀要素可以各自包括一個(gè)或多個(gè)像素。
在框1404處,可以生成立體視頻的右眼觀看幀。右眼觀看幀可以對(duì)應(yīng)于左眼觀看幀,并且可以包括多個(gè)右眼觀看幀要素。每個(gè)右眼觀看幀要素可以對(duì)應(yīng)于左眼觀看幀要素中的一個(gè)。在一些實(shí)施方案中,右眼觀看幀要素可以是被包括在右眼觀看幀中的基本上所有的要素,使得右眼觀看幀要素可以基本上布滿整個(gè)右眼觀看幀。另外,右眼觀看幀要素可以各自包括一個(gè)或多個(gè)像素。
在框1406處,可以確定每個(gè)左眼觀看幀要素與其對(duì)應(yīng)的右眼觀看幀要素之間的偏移。在一些實(shí)施方案中,可以在逐像素的基礎(chǔ)上確定偏移。在框1408處,可將統(tǒng)一的求和因子應(yīng)用于每個(gè)偏移??梢詰?yīng)用統(tǒng)一的求和因子,使得每個(gè)右眼觀看幀要素可以相對(duì)于其對(duì)應(yīng)的左眼觀看幀要素統(tǒng)一地移位基本上相同的量。因此,移位可以調(diào)整與立體視頻相關(guān)聯(lián)的焦點(diǎn)。
因此,方法1400可以用于調(diào)整立體視頻的焦點(diǎn)。本領(lǐng)域技術(shù)人員應(yīng)當(dāng)理解,對(duì)于本發(fā)明公開的這個(gè)和其他過程和方法,可以以不同的順序來實(shí)施在過程和方法中執(zhí)行的功能。此外,所概述的步驟和操作僅作為示例性提供,并且一些步驟和操作可以是可選的、組合成更少的步驟和操作、或者擴(kuò)展到附加的步驟和操作中,而不背離所公開實(shí)施方案的本質(zhì)。
例如,在一些實(shí)施方案中,方法1400可以包括與生成左眼觀看幀和右眼觀看幀相關(guān)聯(lián)的步驟。在這些實(shí)施方案的一些中,可以根據(jù)上面參照?qǐng)D1-11描述的一種或多種方式生成左眼觀看幀和右眼觀看幀。
這里描述的實(shí)施方案可以包括使用專用或通用計(jì)算機(jī),包括各種計(jì)算機(jī)硬件或軟件模塊,如下面更詳細(xì)討論的。
本文描述的實(shí)施方案可以使用用于攜帶或具有存儲(chǔ)在其上的計(jì)算機(jī)可執(zhí)行指令或數(shù)據(jù)結(jié)構(gòu)的計(jì)算機(jī)可讀介質(zhì)來實(shí)施。這樣的計(jì)算機(jī)可讀介質(zhì)可以是可由通用或?qū)S糜?jì)算機(jī)訪問的任何可用介質(zhì)。作為示例性而非限制,這樣的計(jì)算機(jī)可讀介質(zhì)可以包括有形的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì),包括RAM、ROM、EEPROM、CD-ROM或其他光盤存儲(chǔ)、磁盤存儲(chǔ)或其他磁性存儲(chǔ)設(shè)備、或任何其他存儲(chǔ)介質(zhì),其可以用于攜帶或存儲(chǔ)計(jì)算機(jī)可執(zhí)行指令或數(shù)據(jù)結(jié)構(gòu)形式的期望程序代碼,并且可以由通用或?qū)S糜?jì)算機(jī)訪問。上述的組合也可以包括在計(jì)算機(jī)可讀介質(zhì)的范圍內(nèi)。
計(jì)算機(jī)可執(zhí)行指令可以由處理設(shè)備執(zhí)行,并且可以包括例如使得通用計(jì)算機(jī)、專用計(jì)算機(jī)或?qū)S锰幚碓O(shè)備執(zhí)行某一功能或一組功能的指令和數(shù)據(jù)。盡管已經(jīng)用對(duì)結(jié)構(gòu)特征和/或方法動(dòng)作專用的語言描述了主題,但是應(yīng)當(dāng)理解,所附權(quán)利要求中定義的主題不一定限于上述具體特征或動(dòng)作。相反,上述具體特征和動(dòng)作被公開為實(shí)施權(quán)利要求的示例性形式
如本文所使用的,術(shù)語“模塊”或“組件”可以指在計(jì)算系統(tǒng)上執(zhí)行的軟件對(duì)象或程序。本文描述的不同組件、模塊、引擎和服務(wù)可以被實(shí)施為在計(jì)算系統(tǒng)上執(zhí)行的對(duì)象或進(jìn)程(例如,作為單獨(dú)的線程)。雖然本文所描述的系統(tǒng)和方法可以用軟件實(shí)施,但是硬件中的實(shí)施或軟件和硬件的組合也是可能的和預(yù)期的。在本說明書中,“計(jì)算實(shí)體”可以是如本文之前定義的任何計(jì)算系統(tǒng),模塊或在計(jì)算系統(tǒng)上運(yùn)行的調(diào)制組合。
本文所述的所有示例性和條件性語言旨在用于教學(xué)對(duì)象,以幫助讀者理解本發(fā)明和由發(fā)明人為促進(jìn)本領(lǐng)域而貢獻(xiàn)的構(gòu)想,并且應(yīng)被解釋為不限于這些具體敘述的示例和條件。雖然已經(jīng)詳細(xì)描述了本發(fā)明的實(shí)施方案,但是應(yīng)當(dāng)理解,在不脫離本發(fā)明的精神和范圍的情況下,可以對(duì)其進(jìn)行各種改變、替換和更改。