專(zhuān)利名稱(chēng)：用于將2d內(nèi)容轉(zhuǎn)換為3d內(nèi)容的設(shè)備和方法
技術(shù)領(lǐng)域：
與示例性實(shí)施例一致的設(shè)備和方法涉及ー種用于轉(zhuǎn)換內(nèi)容的設(shè)備和方法及其計(jì)算機(jī)可讀介質(zhì)，更具體地，涉及ー種用于將ニ維(2D)內(nèi)容轉(zhuǎn)換為三維(3D)內(nèi)容的設(shè)備和方法及其計(jì)算機(jī)可讀介質(zhì)。
背景技術(shù)：
諸如電影、戲劇、運(yùn)動(dòng)等的視頻內(nèi)容在電視機(jī)、個(gè)人計(jì)算機(jī)、智能電話、智能平板電腦、便攜式多媒體播放器(PMP)、MP3播放器等能夠再現(xiàn)內(nèi)容的顯示設(shè)備中被再現(xiàn)。隨著用于三維(3D)圖像的顯示技術(shù)的最近發(fā)展，這樣的內(nèi)容已被制作為3D內(nèi)容并由能夠顯示3D圖像的顯示設(shè)備再現(xiàn)。·然而，高質(zhì)量的3D內(nèi)容存在缺點(diǎn)，這是因?yàn)闉榱酥谱鬟@樣的3D內(nèi)容，需要大規(guī)模的設(shè)備和開(kāi)發(fā)勞動(dòng)力，并且花費(fèi)高昂的成本和大量時(shí)間。

發(fā)明內(nèi)容
因此，一個(gè)或多個(gè)示例性實(shí)施例提供了ー種用于以低成本將2D內(nèi)容轉(zhuǎn)換為高質(zhì)量的3D內(nèi)容的設(shè)備和方法及其計(jì)算機(jī)可讀介質(zhì)。根據(jù)示例性實(shí)施例的一方面，提供了一種通過(guò)內(nèi)容轉(zhuǎn)換設(shè)備將2D內(nèi)容轉(zhuǎn)換為3D內(nèi)容的方法，所述方法包括從作為視頻內(nèi)容的2D內(nèi)容的多個(gè)幀中選擇關(guān)鍵幀；從選擇的關(guān)鍵幀提取對(duì)象；將深度分配給提取的對(duì)象以轉(zhuǎn)換為3D內(nèi)容；對(duì)所述多個(gè)幀中除關(guān)鍵幀以外的其他幀執(zhí)行跟蹤；對(duì)具有分配有深度的對(duì)象的關(guān)鍵幀以及被執(zhí)行了跟蹤的所述其他幀執(zhí)行渲染。選擇關(guān)鍵幀的步驟可包括基于幀中的圖像的運(yùn)動(dòng)來(lái)選擇關(guān)鍵幀。執(zhí)行跟蹤的步驟可包括基于分配給關(guān)鍵幀的對(duì)象的深度來(lái)將深度分配給所述其他幀。可基于關(guān)于將被處理的幀中的場(chǎng)景的內(nèi)容和發(fā)展的信息來(lái)執(zhí)行提取對(duì)象和分配深度中的至少ー個(gè)。可根據(jù)用戶(hù)的輸入來(lái)執(zhí)行提取對(duì)象和分配深度中的至少ー個(gè)。所述方法還可包括對(duì)渲染的關(guān)鍵幀和渲染的其他幀執(zhí)行3D畫(huà)面質(zhì)量操作。根據(jù)另ー示例性實(shí)施例的一方面，提供了ー種用于將2D內(nèi)容轉(zhuǎn)換為3D內(nèi)容的設(shè)備，所述設(shè)備包括轉(zhuǎn)換器，在作為視頻內(nèi)容的2D內(nèi)容的多個(gè)幀中選擇關(guān)鍵幀；從選擇的關(guān)鍵幀提取對(duì)象；將深度分配給提取的對(duì)象以轉(zhuǎn)換為3D內(nèi)容；對(duì)所述多個(gè)幀中除關(guān)鍵幀以外的其他幀執(zhí)行跟蹤；對(duì)具有分配有深度的對(duì)象的關(guān)鍵幀以及被執(zhí)行了跟蹤的所述其他幀執(zhí)行渲染。轉(zhuǎn)換器可基于幀中的圖像的運(yùn)動(dòng)來(lái)選擇關(guān)鍵幀。轉(zhuǎn)換器可通過(guò)基于分配給關(guān)鍵幀的對(duì)象的深度將深度分配給所述其他幀來(lái)執(zhí)行跟蹤。
轉(zhuǎn)換器可基于關(guān)于將被處理的幀中的場(chǎng)景的內(nèi)容和發(fā)展的信息來(lái)執(zhí)行提取對(duì)象和分配深度中的至少ー個(gè)。所述設(shè)備還可包括用戶(hù)輸入?yún)g元，用于接收用戶(hù)的輸入，其中，轉(zhuǎn)換器根據(jù)用戶(hù)的輸入來(lái)執(zhí)行提取對(duì)象和分配深度中的至少ー個(gè)。轉(zhuǎn)換器還可對(duì)渲染的關(guān)鍵幀和渲染的其他幀執(zhí)行3D畫(huà)面質(zhì)量操作。根據(jù)另ー示例性實(shí)施例的一方面，提供了ー種具有通過(guò)計(jì)算機(jī)可執(zhí)行的指令的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其中，當(dāng)由計(jì)算機(jī)的處理器執(zhí)行所述指令時(shí)所述指令執(zhí)行將2D內(nèi)容轉(zhuǎn)換為3D內(nèi)容的方法，所述方法包括從作為視頻內(nèi)容的2D內(nèi)容的多個(gè)幀中選擇關(guān)鍵幀；從選擇的關(guān)鍵幀提取對(duì)象；將深度分配給提取的對(duì)象以轉(zhuǎn)換為3D內(nèi)容；對(duì)所述多個(gè)幀中除關(guān)鍵幀以外的其他幀執(zhí)行跟蹤；對(duì)具有分配有深度的對(duì)象的關(guān)鍵幀以及被執(zhí)行了跟蹤的所述其他幀執(zhí)行渲染。 選擇關(guān)鍵幀的步驟可包括基于幀中的圖像的運(yùn)動(dòng)來(lái)選擇關(guān)鍵幀。執(zhí)行跟蹤的步驟可包括基于分配給關(guān)鍵幀的對(duì)象的深度來(lái)將深度分配給所述其他幀?？苫陉P(guān)于將被處理的幀中的場(chǎng)景的內(nèi)容和發(fā)展的信息來(lái)執(zhí)行提取對(duì)象和分配深度中的至少ー個(gè)?？筛鶕?jù)用戶(hù)的輸入來(lái)執(zhí)行提取對(duì)象和分配深度中的至少ー個(gè)。所述方法還可包括對(duì)于渲染的關(guān)鍵幀和渲染的其他幀執(zhí)行3D畫(huà)面質(zhì)量操作。根據(jù)另ー示例性實(shí)施例的一方面，提供了一種通過(guò)內(nèi)容轉(zhuǎn)換設(shè)備將2D內(nèi)容轉(zhuǎn)換為3D內(nèi)容的方法，所述方法包括從2D內(nèi)容的多個(gè)幀中確定關(guān)鍵幀，所述2D內(nèi)容是視頻內(nèi)容；根據(jù)分配給關(guān)鍵幀的對(duì)象的深度來(lái)將深度分配給所述多個(gè)幀中的其他幀。


通過(guò)下面結(jié)合附圖對(duì)示例性實(shí)施例進(jìn)行的描述，上述和/或其他方面將變得清楚并更容易理解，其中圖I是示出根據(jù)示例性實(shí)施例的內(nèi)容轉(zhuǎn)換設(shè)備的配置的框圖；圖2是示出根據(jù)示例性實(shí)施例的內(nèi)容轉(zhuǎn)換設(shè)備的操作的流程圖；圖3是示出根據(jù)示例性實(shí)施例的內(nèi)容轉(zhuǎn)換設(shè)備中的關(guān)鍵幀的選擇；圖4是示出根據(jù)另ー示例性實(shí)施例的內(nèi)容轉(zhuǎn)換設(shè)備的操作的流程圖。
具體實(shí)施例方式以下，將參照附圖詳細(xì)描述示例性實(shí)施例。圖I是示出根據(jù)示例性實(shí)施例的內(nèi)容轉(zhuǎn)換設(shè)備I的配置的框圖。內(nèi)容轉(zhuǎn)換設(shè)備I將ニ維(2D)內(nèi)容轉(zhuǎn)換為三維(3D)內(nèi)容。在本示例性實(shí)施例中，所述內(nèi)容包括運(yùn)動(dòng)畫(huà)面內(nèi)容(例如，電影、戲劇、運(yùn)動(dòng)等)。內(nèi)容轉(zhuǎn)換設(shè)備I可從預(yù)定的2D內(nèi)容提供器(未示出)接收將被轉(zhuǎn)換為3D內(nèi)容的2D內(nèi)容。內(nèi)容轉(zhuǎn)換設(shè)備I可通過(guò)預(yù)定網(wǎng)絡(luò)(未示出)從2D內(nèi)容提供器接收2D內(nèi)容。例如，2D內(nèi)容提供器可以是存儲(chǔ)2D內(nèi)容并根據(jù)內(nèi)容轉(zhuǎn)換設(shè)備I的請(qǐng)求將所述2D內(nèi)容發(fā)送到內(nèi)容轉(zhuǎn)換設(shè)備I的網(wǎng)絡(luò)服務(wù)器。
根據(jù)另ー示例性實(shí)施例，內(nèi)容轉(zhuǎn)換設(shè)備I可通過(guò)網(wǎng)絡(luò)以外的數(shù)據(jù)傳送方法或機(jī)制從2D內(nèi)容提供器接收2D內(nèi)容。例如，2D內(nèi)容提供器可以是設(shè)置有用于存儲(chǔ)2D內(nèi)容的存儲(chǔ)単元(諸如硬盤(pán)、閃存存儲(chǔ)器等)的裝置，所述裝置本地連接到內(nèi)容轉(zhuǎn)換設(shè)備1，并根據(jù)內(nèi)容轉(zhuǎn)換設(shè)備I的請(qǐng)求將2D內(nèi)容發(fā)送到內(nèi)容轉(zhuǎn)換設(shè)備I。在這種情況下，不限于本地連接內(nèi)容轉(zhuǎn)換設(shè)備I和2D內(nèi)容提供器的方法，只要所述方法是用于發(fā)送2D內(nèi)容的數(shù)據(jù)。例如，本地連接方法可包括通用串行總線(USB)等。根據(jù)另ー示例性實(shí)施例，內(nèi)容轉(zhuǎn)換設(shè)備I可從3D內(nèi)容提供器(未示出)接收2D內(nèi)容。例如，3D內(nèi)容提供器可將2D內(nèi)容發(fā)送到內(nèi)容轉(zhuǎn)換設(shè)備1，接收通過(guò)內(nèi)容轉(zhuǎn)換設(shè)備I轉(zhuǎn)換的3D內(nèi)容，并將接收的3D內(nèi)容提供給預(yù)定的用戶(hù)終端(未示出)。用戶(hù)終端能夠?qū)膬?nèi)容轉(zhuǎn)換設(shè)備I接收的3D內(nèi)容顯示為3D圖像。例如，用戶(hù)終端可包括電視機(jī)(TV)、個(gè)人計(jì)算機(jī)(PC)、智能電話、智能平板電腦、PMP、MP3播放器等。根據(jù)另ー示例性實(shí)施例，內(nèi)容轉(zhuǎn)換設(shè)備I可將經(jīng)過(guò)轉(zhuǎn)換的3D內(nèi)容發(fā)送到能夠?qū)?D·內(nèi)容顯示為3D圖像的用戶(hù)終端。例如，內(nèi)容轉(zhuǎn)換設(shè)備I可通過(guò)網(wǎng)絡(luò)將3D內(nèi)容提供給用戶(hù)終端。在根據(jù)本示例性實(shí)施例的網(wǎng)絡(luò)中，不限于網(wǎng)絡(luò)通信方法(諸如有線和/或無(wú)線通信方法)，只要該方法是用于發(fā)送2D內(nèi)容和3D內(nèi)容中的至少ー個(gè)的數(shù)據(jù)通信。網(wǎng)絡(luò)通信方法包括任何已知的通信方法。如圖I中所示，內(nèi)容轉(zhuǎn)換設(shè)備I可包括轉(zhuǎn)換器11和通信單元14。轉(zhuǎn)換器11將2D內(nèi)容轉(zhuǎn)換為3D內(nèi)容。2D內(nèi)容包括多個(gè)視頻幀(在下文中，稱(chēng)為“幀”)。3D內(nèi)容基于觀看者的雙目視差，其中，所述3D內(nèi)容可包括多個(gè)左眼幀和多個(gè)右眼幀。在所述多個(gè)左眼幀和所述多個(gè)右眼幀中，可從2D內(nèi)容的多個(gè)幀之中的至少ー個(gè)相應(yīng)幀分別轉(zhuǎn)換出包括ー個(gè)左眼中貞和ー個(gè)右眼巾貞的ー對(duì)。以下將詳細(xì)描述由轉(zhuǎn)換器11執(zhí)行的從2D內(nèi)容到3D內(nèi)容的轉(zhuǎn)換(在下文中，稱(chēng)為“2D-3D轉(zhuǎn)換”)。通信単元14可執(zhí)行2D內(nèi)容提供器和內(nèi)容轉(zhuǎn)換設(shè)備I之間的數(shù)據(jù)通信、3D內(nèi)容提供器和內(nèi)容轉(zhuǎn)換設(shè)備I之間的數(shù)據(jù)通信以及用戶(hù)終端與內(nèi)容轉(zhuǎn)換設(shè)備I之間的數(shù)據(jù)通信中的至少ー個(gè)。轉(zhuǎn)換器11可包括存儲(chǔ)單元111、隨機(jī)存取存儲(chǔ)器(RAM) 112和中央處理單元(CPU) 113。存儲(chǔ)單元111可存儲(chǔ)用于執(zhí)行2D-3D轉(zhuǎn)換的轉(zhuǎn)換程序114、將被轉(zhuǎn)換的2D內(nèi)容115和從2D內(nèi)容轉(zhuǎn)換的3D內(nèi)容116。存儲(chǔ)單元111可由非易失性存儲(chǔ)器(諸如硬盤(pán)、閃存存儲(chǔ)器等)來(lái)實(shí)現(xiàn)。當(dāng)轉(zhuǎn)換器11運(yùn)行時(shí)RAM 112加載有轉(zhuǎn)換程序114的至少一部分，且CPU 113執(zhí)行加載到RAMl 12的轉(zhuǎn)換程序114。轉(zhuǎn)換程序114具有CPU 113可執(zhí)行的指令。存儲(chǔ)單元111是計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)的示例。圖2是示出根據(jù)示例性實(shí)施例的內(nèi)容轉(zhuǎn)換設(shè)備I的操作的流程圖。內(nèi)容轉(zhuǎn)換設(shè)備I的操作(在下文中，稱(chēng)為“2D-3D轉(zhuǎn)換處理”)可與由轉(zhuǎn)換程序114的指令執(zhí)行的內(nèi)容轉(zhuǎn)換方法相應(yīng)。在本示例性實(shí)施例中，2D-3D轉(zhuǎn)換處理可包括關(guān)鍵幀選擇操作201、對(duì)象提取操作202、深度分配操作203、跟蹤操作204和渲染操作205。首先，在關(guān)鍵幀選擇操作201中，在2D內(nèi)容的多個(gè)幀中選擇隨機(jī)的關(guān)鍵幀。圖3示出根據(jù)示例性實(shí)施例的內(nèi)容轉(zhuǎn)換設(shè)備中的關(guān)鍵幀的選擇。標(biāo)號(hào)301指示將被轉(zhuǎn)換的2D內(nèi)容的多個(gè)幀。標(biāo)號(hào)302指示所述多個(gè)幀301中被選擇作為關(guān)鍵幀的幀，標(biāo)號(hào)303指示其他幀?？稍?D內(nèi)容的多個(gè)幀301中選擇表示圖像的內(nèi)容的幀作為關(guān)鍵幀302。例如，關(guān)鍵幀302可包括場(chǎng)景被切換的幀、場(chǎng)景的主要角色被關(guān)閉的幀等。可基于相應(yīng)的幀中圖像的運(yùn)動(dòng)來(lái)選擇關(guān)鍵幀302。例如，圖像的運(yùn)動(dòng)等于或高于預(yù)定值的幀可被選擇作為關(guān)鍵幀302。再參照?qǐng)D2，在對(duì)象提取操作202中，針對(duì)選擇的關(guān)鍵幀302提取將反映3D效果的對(duì)象(參照?qǐng)D3的304)。所述對(duì)象可以是在每個(gè)幀的場(chǎng)景中包含的主要圖像，例如，所述對(duì)象可以是主要角色出現(xiàn)的場(chǎng)景中的主要角色的圖像、車(chē)輛移動(dòng)的場(chǎng)景中的車(chē)輛的圖像等。在對(duì)象提取操作202中，相應(yīng)幀的圖像被分割，從而可從分割結(jié)果提取對(duì)象的邊界。在深度分配操作203中，深度被分配給通過(guò)對(duì)象提取操作202提取的對(duì)象(參照?qǐng)D3的304)。所述深度是用于實(shí)現(xiàn)3D視覺(jué)效果的參數(shù)，其中，所述參數(shù)被用于在產(chǎn)生的相應(yīng)的左眼幀和右眼幀中按照分配的參數(shù)向左移動(dòng)對(duì)象和向右移動(dòng)對(duì)象。在深度分配操作203中，先前給予的標(biāo)準(zhǔn)模板可被用于深度分配。
·
在跟蹤操作204中，不相應(yīng)于關(guān)鍵幀302來(lái)產(chǎn)生左眼幀和右眼幀，而是相應(yīng)于其他幀303來(lái)產(chǎn)生左眼幀和右眼幀(參照?qǐng)D3的305)?？蓞⒄蔗槍?duì)關(guān)鍵幀302執(zhí)行的對(duì)象提取操作202和深度分配操作203來(lái)執(zhí)行跟蹤204。如上所述，根據(jù)本示例性實(shí)施例，關(guān)鍵幀302被選擇，并且針對(duì)選擇的關(guān)鍵幀302執(zhí)行對(duì)象提取操作202和深度分配操作203。另外，參照選擇的關(guān)鍵幀302將跟蹤204應(yīng)用于其他幀303。因此，轉(zhuǎn)換處理在成本和時(shí)間方面是有效的，并且可在保持高質(zhì)量的同時(shí)被執(zhí)行。在渲染操作205中，針對(duì)從深度分配操作203和跟蹤操作204獲得的左眼幀和右眼幀來(lái)執(zhí)行對(duì)完整的3D圖像的圖像處理。例如，渲染操作205可包括用于填充由于對(duì)象在幀的圖像中被移動(dòng)而產(chǎn)生的空白區(qū)域的處理(即，修補(bǔ))等。根據(jù)本示例性實(shí)施例，可基于關(guān)于將被處理的幀的場(chǎng)景的圖像的內(nèi)容和發(fā)展的信息(在下文中，被稱(chēng)為“講故事信息(storytelling information)”)來(lái)執(zhí)行2D-3D轉(zhuǎn)換處理操作中的至少ー個(gè)。講故事信息是根據(jù)內(nèi)容制作者的意圖而將被用于實(shí)現(xiàn)與內(nèi)容的故事發(fā)展相應(yīng)的3D視覺(jué)效果的信息。在本示例性實(shí)施例中，可基于講故事信息來(lái)執(zhí)行對(duì)象提取操作202、深度分配操作203等操作。作為使用講故事信息的示例，在兩個(gè)角色彼此對(duì)話的場(chǎng)景中，如果另ー主要角色經(jīng)過(guò)所述兩個(gè)角色的背后，則該主要角色可被提取為相應(yīng)幀的對(duì)象，或者深度可被充分地應(yīng)用于提取的該主要角色的對(duì)象。在該示例中，講故事信息可包括關(guān)于用于提取對(duì)象的另ー主要角色的圖像，或者表現(xiàn)關(guān)于用于分配深度的故事發(fā)展的重要程度的山谷(vale)等的信息，其中，所述信息可相應(yīng)于相關(guān)幀而被預(yù)先提供并存儲(chǔ)在存儲(chǔ)單元111中。轉(zhuǎn)換器11可參照存儲(chǔ)在存儲(chǔ)單元111中的講故事信息來(lái)執(zhí)行轉(zhuǎn)換處理操作。根據(jù)示例性實(shí)施例的2D-3D轉(zhuǎn)換處理中的至少ー個(gè)操作可包括根據(jù)用戶(hù)的輸入而執(zhí)行的手動(dòng)操作、根據(jù)預(yù)設(shè)的參考信息而執(zhí)行的自動(dòng)操作。例如，在對(duì)象提取操作202、深度分配操作203等操作中，可通過(guò)手動(dòng)操作處理ー些幀，而可通過(guò)自動(dòng)操作處理其他幀。在手動(dòng)操作中，可根據(jù)用戶(hù)(或執(zhí)行內(nèi)容轉(zhuǎn)換操作的開(kāi)發(fā)者)的輸入來(lái)執(zhí)行轉(zhuǎn)換處理操作。內(nèi)容轉(zhuǎn)換設(shè)備I還可包括用于用戶(hù)的輸入的用戶(hù)輸入?yún)g元12 (諸如鍵盤(pán)、鼠標(biāo)、寫(xiě)字板等)。另外，內(nèi)容轉(zhuǎn)換設(shè)備I還可包括顯示單元13 (諸如顯示正被轉(zhuǎn)換的圖像的監(jiān)視器等)，從而用戶(hù)可觀察轉(zhuǎn)換處理的進(jìn)度。為了有效地接收用戶(hù)的輸入，內(nèi)容轉(zhuǎn)換設(shè)備I可在顯示單元13上顯示包含處理的幀的圖像、預(yù)定的輸入菜單等的圖形用戶(hù)界面(⑶I，未示出)。用戶(hù)可在確定顯示在顯示單元13上的幀的圖像的同時(shí)通過(guò)⑶I的輸入菜單等來(lái)輸入用于轉(zhuǎn)換處理的輸入。例如，用戶(hù)可在確定包含在幀的圖像中的對(duì)象的同時(shí)通過(guò)⑶I的輸入菜單等來(lái)輸入用于提取對(duì)象的輸入。在自動(dòng)操作中，基于預(yù)設(shè)的參考信息執(zhí)行操作。例如，在對(duì)象提取操作202中，內(nèi)容轉(zhuǎn)換設(shè)備I可分析幀的圖像并選擇這樣的對(duì)象作為將被提取的對(duì)象所述對(duì)象在圖像內(nèi)的特定對(duì)象的邊界上的像素值的變化等于或高于預(yù)定閾值。這里，參考信息可以是針對(duì)對(duì)象的邊界上的像素值的變化的閾值，其中，可通過(guò)該閾值來(lái)選擇將被提取的對(duì)象。在本示例性實(shí)施例中，可根據(jù)3D內(nèi)容的質(zhì)量來(lái)執(zhí)行2D-3D轉(zhuǎn)換處理操作。在特定2D-3D轉(zhuǎn)換處理中，3D內(nèi)容的質(zhì)量可指示手動(dòng)操作和自動(dòng)操作中的每ー個(gè)的百分比是多少。例如，在對(duì)象提取操作202中，手動(dòng)操作和自動(dòng)操作每個(gè)可組成對(duì)象提取操作202的一半。3D內(nèi)容的質(zhì)量可表示為全部特定2D-3D轉(zhuǎn)換處理操作中自動(dòng)操作(或手動(dòng)操作)的比例(在下文中，稱(chēng)為“組合比例”)。在特定2D-3D轉(zhuǎn)換處理操作中，可每幀確定是執(zhí)行自動(dòng)操作還是手動(dòng)操作。 3D內(nèi)容的質(zhì)量可包括多個(gè)質(zhì)量模式。因此，可相應(yīng)于多個(gè)質(zhì)量模式中的選擇的一個(gè)質(zhì)量模式來(lái)執(zhí)行2D-3D轉(zhuǎn)換處理。所述多個(gè)質(zhì)量模式可按照更高質(zhì)量的順序包括簡(jiǎn)單模式、基本模式、高級(jí)模式和專(zhuān)家模式。例如，這些質(zhì)量模式在全部的相應(yīng)操作中可具有分別高于85%、85%、70%和50%的組合比例(例如，自動(dòng)操作的比例)?？筛鶕?jù)2D內(nèi)容的種類(lèi)或格式來(lái)確定3D內(nèi)容的質(zhì)量。例如，如果2D內(nèi)容是最近發(fā)行的電影，則可為2D內(nèi)容確定相對(duì)高的質(zhì)量。另ー方面，如果2D內(nèi)容是老電影，則可為2D內(nèi)容確定相對(duì)低的質(zhì)量。根據(jù)另ー示例性實(shí)施例，如果電影是大規(guī)模的大片(blockbuster),則可為所述電影確定相對(duì)高的質(zhì)量。另ー方面，可為故事片(story-oriented movie)確定相對(duì)低的質(zhì)量。根據(jù)另ー示例性實(shí)施例，可根據(jù)內(nèi)容的類(lèi)型(諸如運(yùn)動(dòng)、電影、戲劇等)來(lái)確定3D內(nèi)容的質(zhì)量。根據(jù)另ー示例性實(shí)施例,可根據(jù)用戶(hù)的輸入確定3D內(nèi)容的質(zhì)量?？赏ㄟ^(guò)用戶(hù)輸入單元12來(lái)接收用于確定3D內(nèi)容的質(zhì)量的用戶(hù)輸入，或者經(jīng)由通信単元14從另ー裝置接收用于確定3D內(nèi)容的質(zhì)量的用戶(hù)輸入。圖4是示出根據(jù)另ー示例性實(shí)施例的內(nèi)容轉(zhuǎn)換設(shè)備I的操作的流程圖。關(guān)于參照?qǐng)D4描述的內(nèi)容轉(zhuǎn)換設(shè)備1，將省略與參照?qǐng)D3描述的內(nèi)容轉(zhuǎn)換設(shè)備I相同或相似的配置。由圖4的內(nèi)容轉(zhuǎn)換設(shè)備I執(zhí)行的2D-3D轉(zhuǎn)換處理操作可包括關(guān)鍵幀選擇操作401、對(duì)象提取操作402、深度分配操作403、跟蹤操作404、渲染操作405和3D畫(huà)面質(zhì)量操作406。首先，在關(guān)鍵幀選擇操作401中，在2D內(nèi)容的多個(gè)幀中選擇隨機(jī)的關(guān)鍵幀。在對(duì)象提取操作402中，針對(duì)選擇的關(guān)鍵幀提取對(duì)象。在深度分配操作403中，深度被分配給在對(duì)象提取操作402中提取的對(duì)象。在跟蹤操作404中，相應(yīng)于不同于關(guān)鍵幀的其他幀來(lái)產(chǎn)生左眼幀和右眼幀。在渲染操作405中，針對(duì)從深度分配操作403和跟蹤操作404獲得的左眼幀和右眼幀來(lái)執(zhí)行對(duì)完整的3D圖像的圖像處理。在3D畫(huà)面質(zhì)量操作406中，針對(duì)從渲染操作405獲得的幀執(zhí)行3D畫(huà)面質(zhì)量操作。3D畫(huà)面質(zhì)量操作406可包括對(duì)比度增強(qiáng)、細(xì)節(jié)增強(qiáng)等中的至少ー個(gè)。通過(guò)3D畫(huà)面質(zhì)量操作406，當(dāng)3D內(nèi)容被實(shí)際顯示時(shí)可實(shí)現(xiàn)畫(huà)面質(zhì)量的提高，從而畫(huà)面質(zhì)量可對(duì)顯示設(shè)備被最優(yōu)化。
如上所述，可以以低成本將2D內(nèi)容轉(zhuǎn)換為高質(zhì)量的3D內(nèi)容。盡管不限于此，但示例性實(shí)施例可被實(shí)現(xiàn)為計(jì)算機(jī)可讀記錄介質(zhì)上的計(jì)算可讀代碼。所述計(jì)算機(jī)可讀記錄介質(zhì)可以是任何可存儲(chǔ)其后可以被計(jì)算機(jī)系統(tǒng)讀取的數(shù)據(jù)的數(shù)據(jù)存儲(chǔ)設(shè)備。所述計(jì)算機(jī)可讀記錄介質(zhì)的示例包括只讀存儲(chǔ)器(ROM)、隨機(jī)存取存儲(chǔ)器(RAM)、⑶-ROM、磁帶、軟盤(pán)、光學(xué)數(shù)據(jù)存儲(chǔ)裝置。所述計(jì)算機(jī)可讀記錄介質(zhì)還可以被分布在聯(lián)網(wǎng)的計(jì)算機(jī)系統(tǒng)上，從而所述計(jì)算機(jī)可讀代碼以分布式方式被存儲(chǔ)和執(zhí)行。此外，示例性實(shí)施例可被編寫(xiě)為通過(guò)計(jì)算機(jī)可讀傳輸媒介(諸如載波)傳輸?shù)挠?jì)算機(jī)程序，并在執(zhí)行所述程序的通用數(shù)字計(jì)算機(jī)或?qū)Ｓ脭?shù)字計(jì)算機(jī)中被接收和執(zhí)行。另外，內(nèi)容轉(zhuǎn)換設(shè)備I的一個(gè)或多個(gè)單元可包括執(zhí)行存儲(chǔ)在計(jì)算機(jī)可讀介質(zhì)中的計(jì)算機(jī)程序的處理器或微處理器。盡管已顯示和描述了ー些示例性實(shí)施例，但是本領(lǐng)域的技術(shù)人員將理解，在不脫離本發(fā)明構(gòu)思的原理和精神的情況下，可以對(duì)這些示例性實(shí)施例進(jìn)行改變，本發(fā)明構(gòu)思的 范圍在權(quán)利要求及其等同物中限定。
權(quán)利要求
1.一種通過(guò)內(nèi)容轉(zhuǎn)換設(shè)備將二維(2D)內(nèi)容轉(zhuǎn)換為三維(3D)內(nèi)容的方法，所述方法包括 在作為視頻內(nèi)容的2D內(nèi)容的多個(gè)幀中選擇關(guān)鍵幀； 從選擇的關(guān)鍵巾貞提取對(duì)象； 將深度分配給提取的對(duì)象以轉(zhuǎn)換為3D內(nèi)容； 對(duì)所述多個(gè)幀中除關(guān)鍵幀以外的其他幀執(zhí)行跟蹤； 對(duì)具有分配有深度的對(duì)象的關(guān)鍵幀以及被執(zhí)行了跟蹤的所述其他幀執(zhí)行渲染。
2.根據(jù)權(quán)利要求I所述的方法，其中，選擇關(guān)鍵幀的步驟包括根據(jù)幀中的圖像的運(yùn)動(dòng)來(lái)選擇關(guān)鍵幀。
3.根據(jù)權(quán)利要求I所述的方法，其中，執(zhí)行跟蹤的步驟包括根據(jù)分配給關(guān)鍵幀的對(duì)象的深度來(lái)將深度分配給所述其他幀。
4.根據(jù)權(quán)利要求I所述的方法，其中，根據(jù)關(guān)于將被處理的幀中的場(chǎng)景的內(nèi)容和發(fā)展的信息來(lái)執(zhí)行提取對(duì)象和分配深度中的至少一個(gè)。
5.根據(jù)權(quán)利要求I所述的方法，其中，根據(jù)用戶(hù)的輸入來(lái)執(zhí)行提取對(duì)象和分配深度的至少一個(gè)。
6.根據(jù)權(quán)利要求I所述的方法，還包括對(duì)執(zhí)行了渲染的多個(gè)幀執(zhí)行3D畫(huà)面質(zhì)量處理。
7.一種用于將2D內(nèi)容轉(zhuǎn)換為3D內(nèi)容的設(shè)備，所述設(shè)備包括 轉(zhuǎn)換器，從作為視頻內(nèi)容的2D內(nèi)容的多個(gè)幀中選擇關(guān)鍵幀；從選擇的關(guān)鍵幀提取對(duì)象；將深度分配給提取的對(duì)象以轉(zhuǎn)換為3D內(nèi)容；對(duì)所述多個(gè)幀中除關(guān)鍵幀以外的其他幀執(zhí)行跟蹤；對(duì)具有分配有深度的對(duì)象的關(guān)鍵幀以及被執(zhí)行了跟蹤的所述其他幀執(zhí)行渲染。
8.根據(jù)權(quán)利要求7所述的設(shè)備，其中，轉(zhuǎn)換器根據(jù)幀中的圖像的運(yùn)動(dòng)來(lái)選擇關(guān)鍵幀。
9.根據(jù)權(quán)利要求7所述的設(shè)備，其中，轉(zhuǎn)換器通過(guò)根據(jù)分配給關(guān)鍵幀的對(duì)象的深度將深度分配給所述其他幀來(lái)執(zhí)行跟蹤。
10.根據(jù)權(quán)利要求7所述的設(shè)備，其中，轉(zhuǎn)換器根據(jù)關(guān)于將被處理的幀中的場(chǎng)景的內(nèi)容和發(fā)展的信息來(lái)執(zhí)行提取對(duì)象和分配深度中的至少一個(gè)。
11.根據(jù)權(quán)利要求7所述的設(shè)備，還包括用戶(hù)輸入單元，接收用戶(hù)的輸入， 其中，轉(zhuǎn)換器根據(jù)用戶(hù)的輸入來(lái)執(zhí)行提取對(duì)象和分配深度中的至少一個(gè)。
12.根據(jù)權(quán)利要求7所述的設(shè)備，其中，轉(zhuǎn)換器還對(duì)執(zhí)行了渲染的多個(gè)幀執(zhí)行3D畫(huà)面質(zhì)量處理。
全文摘要
本發(fā)明提供了一種用于將2D內(nèi)容轉(zhuǎn)換為3D內(nèi)容的設(shè)備和方法。通過(guò)內(nèi)容轉(zhuǎn)換設(shè)備將2D內(nèi)容轉(zhuǎn)換為3D內(nèi)容的方法包括在作為視頻內(nèi)容的2D內(nèi)容的多個(gè)幀中選擇關(guān)鍵幀；從選擇的關(guān)鍵幀提取對(duì)象；將深度分配給提取的對(duì)象以轉(zhuǎn)換為3D內(nèi)容；對(duì)所述多個(gè)幀中除關(guān)鍵幀以外的其他幀執(zhí)行跟蹤；對(duì)關(guān)鍵幀和所述其他幀執(zhí)行渲染。因此，可以以低成本將2D內(nèi)容轉(zhuǎn)換為高質(zhì)量的3D內(nèi)容。
文檔編號(hào)H04N13/04GK102790897SQ201210031620
公開(kāi)日2012年11月21日 申請(qǐng)日期2012年2月9日 優(yōu)先權(quán)日2011年5月16日
發(fā)明者權(quán)五允, 許惠賢 申請(qǐng)人:三星電子株式會(huì)社