本發(fā)明是有關(guān)于二維(twodimensional,2d)圖像加上深度(depth)(例如，以立體圖像仿真為目的等)的圖像處理，更具體地，是有關(guān)于在電子裝置中執(zhí)行深度信息管理的方法及裝置。

背景技術(shù)：

傳統(tǒng)電子裝置配備有或者耦接于至少一個(gè)相機(jī)模塊(cameramodule)，例如傳統(tǒng)的多功能移動(dòng)電話，可設(shè)計(jì)用于拍照及儲(chǔ)存對(duì)應(yīng)的深度信息。傳統(tǒng)的電子裝置可進(jìn)一步設(shè)計(jì)為允許終端用戶對(duì)圖片進(jìn)行修改(例如，對(duì)圖片應(yīng)用特定效果)以產(chǎn)生效果圖(resultantpicture)。然后，在對(duì)圖片應(yīng)用特定效果后丟棄深度信息，這是因?yàn)樵撋疃刃畔⑴c效果圖不匹配。由于缺少深度信息，因此，傳統(tǒng)的電子裝置可能進(jìn)一步設(shè)計(jì)為阻止終端用戶對(duì)效果圖應(yīng)用另外的特定效果，以防止出錯(cuò)或?qū)μ囟ㄐЧ幚淼臒o意義處理結(jié)果。因而，需要一種新的方法及對(duì)應(yīng)架構(gòu)以改善配備有或者耦接于至少一個(gè)相機(jī)模塊的電子裝置的性能。

技術(shù)實(shí)現(xiàn)要素：

有鑒于此，本發(fā)明提供至少一種執(zhí)行深度信息管理的方法和裝置。

根據(jù)本發(fā)明一實(shí)施例的執(zhí)行深度信息管理的方法，用于管理電子裝置中的深度信息，所述執(zhí)行深度信息管理的方法包含：修改二維圖像以產(chǎn)生修改后的二維圖像，并當(dāng)修改所述二維圖像之前，當(dāng)修改所述二維圖像時(shí)，或者當(dāng)修改所述二維圖像之后，基于對(duì)所述二維圖像的修改，選擇性地修改所述二維圖像的深度地圖以產(chǎn)生修改后的深度地圖，其中，所述二維圖像是從存儲(chǔ)模塊中所獲取的；以及將所述修改后的深度地圖存入所述修改后的二維圖像的圖像文件。

根據(jù)本發(fā)明一實(shí)施例的一種執(zhí)行深度信息管理的裝置，用于管理電子裝置中的深度信息，所述執(zhí)行深度信息管理的裝置包含：處理器，所述處理器包含：圖像處理模塊，用于修改二維圖像以產(chǎn)生修改后的二維圖像，其中，所述二維圖像是從存儲(chǔ)模塊中獲取的；以及深度信息管理模塊，用于當(dāng)修改所述二維圖像之前，當(dāng)修改所述二維圖像時(shí)或者當(dāng)修改所述二維圖像之后，基于對(duì)所述二維圖像的修改，選擇性地修改所述二維圖像的深度地圖以產(chǎn)生修改后的深度地圖，其中，所述處理器將所述修改后的深度地圖存入所述修改后的二維圖像的圖像文件。

本發(fā)明所提供的至少一種執(zhí)行深度信息管理的方法和裝置，其優(yōu)點(diǎn)之一在于可儲(chǔ)存修改后的深度地圖，并可允許終端用戶對(duì)修改后的圖像文件進(jìn)行多次修改。

附圖說明

圖1為根據(jù)本發(fā)明第一實(shí)施例的在電子裝置中執(zhí)行深度信息管理的裝置100的示意圖。

圖2為根據(jù)本發(fā)明一實(shí)施例的執(zhí)行深度信息管理的方法200的流程圖。

圖3為根據(jù)本發(fā)明一實(shí)施例的結(jié)合圖2所示方法200的一些實(shí)施細(xì)節(jié)的示意圖。

圖4為根據(jù)本發(fā)明一實(shí)施例的結(jié)合圖2所示方法200的控制機(jī)制的示意圖。

圖5為根據(jù)本發(fā)明一實(shí)施例的結(jié)合圖2所示方法200的工作流程500的示意圖。

圖6為根據(jù)本發(fā)明另一實(shí)施例的結(jié)合方法200的工作流程600的示意圖。

圖7為根據(jù)本發(fā)明一實(shí)施例的結(jié)合圖2所示方法200的新的對(duì)象深度信息722的示意圖。

圖8為根據(jù)本發(fā)明另一實(shí)施例的結(jié)合圖2所示方法200的新的對(duì)象深度信息822的示意圖。

圖9為根據(jù)本發(fā)明另一實(shí)施例的結(jié)合圖2所示方法200的工作流程900的示意圖。

圖10為根據(jù)本發(fā)明一實(shí)施例的結(jié)合圖2所示方法200的關(guān)于深度歸一化的一些虛構(gòu)對(duì)象(imaginaryobjects)1011，1021和1031的示意圖。

具體實(shí)施方式

在說明書及權(quán)利要求當(dāng)中使用了某些詞匯來指稱特定的組件。本領(lǐng)域技術(shù)人員應(yīng)可理解，硬件制造商可能會(huì)用不同的名詞來稱呼同一個(gè)組件。本說明書及權(quán)利要求并不以名稱的差異來作為區(qū)分組件的方式，而是以組件在功能上的差異來作為區(qū)分的準(zhǔn)則。在通篇說明書及權(quán)利要求當(dāng)中所提及的“包含”及“包括”為一開放式的用語，故應(yīng)解釋成“包含但不限定于”?！按笾隆笔侵冈诳山邮艿恼`差范圍內(nèi)，本領(lǐng)域技術(shù)人員能夠在一定誤差范圍內(nèi)解決所述技術(shù)問題，基本達(dá)到所述技術(shù)效果。此外，“耦接”一詞在此包含任何直接及間接的電性連接手段。因此，若文中描述一第一裝置耦接于一第二裝置，則代表該第一裝置可直接電性連接于該第二裝置，或通過其它裝置或連接手段間接地電性連接至該第二裝置。以下所述為實(shí)施本發(fā)明的較佳方式，目的在于說明本發(fā)明的精神而非用以限定本發(fā)明的保護(hù)范圍，本發(fā)明的保護(hù)范圍當(dāng)視后附的權(quán)利要求所界定者為準(zhǔn)。

圖1為根據(jù)本發(fā)明第一實(shí)施例的在電子裝置中執(zhí)行深度信息管理的裝置100的示意圖，其中裝置100包含電子裝置的至少一部分(例如，部分或全部)。例如，裝置100可包含上述電子裝置的一部分，更具體地，裝置100可以是至少一個(gè)硬件電路，例如電子裝置內(nèi)的至少一個(gè)集成電路(integratedcircuit,ic)。在另一實(shí)施例中，裝置100可以是上述的整個(gè)電子裝置。在另一實(shí)施例中，裝置100可包含一系統(tǒng)，該系統(tǒng)包含上述的電子裝置，例如，包含電子裝置的音頻/視頻系統(tǒng)。電子裝置的示例可包含但不僅限于，移動(dòng)電話(例如，多功能移動(dòng)電話)，平板電腦，可穿戴式裝置，以及諸如筆記本電腦的個(gè)人計(jì)算機(jī)等。

如圖1所示，裝置100可包含處理器105。在一實(shí)施例中，處理器105可位于電子裝置中。在另一實(shí)施例中，處理器105可用于控制電子裝置的操作。處理器105可包含圖像處理器模塊(例如2d圖像處理模塊110)，并可進(jìn)一步包含深度信息管理模塊120。舉例而言，2d圖像處理模塊110和深度信息管理模塊120中的每個(gè)可實(shí)施為運(yùn)行在處理器105上的至少一個(gè)程序模塊(例如，一個(gè)或多個(gè)程序模塊)。此處僅用于舉例說明目的，本發(fā)明并不以此為限。根據(jù)本發(fā)明的一些實(shí)施例，2d圖像處理模塊110和深度信息管理模塊120內(nèi)的至少一個(gè)模塊(例如，一個(gè)或多個(gè)模塊)可實(shí)施為硬件電路。根據(jù)本實(shí)施例，2d圖像處理模塊110可用于修改2d圖像(例如，執(zhí)行2d圖像處理)。2d圖像可從存儲(chǔ)模塊中獲取。深度信息管理模塊120可用于當(dāng)修改2d圖像之前，當(dāng)修改2d圖像時(shí)或者當(dāng)修改2d圖像之后，基于對(duì)2d圖像的修改，選擇性地修改2d圖像的深度地圖。處理器105可將修改后的深度地圖存入修改后的2d圖像的圖像文件。2d圖像處理模塊110可發(fā)送2d圖像處理的圖像修改信息114至深度信息管理模塊120，以及深度信息管理模塊120可根據(jù)圖像修改信息114執(zhí)行深度信息管理。

圖2為根據(jù)本發(fā)明一實(shí)施例的執(zhí)行深度信息管理的方法200的流程圖。圖2所示方法200可應(yīng)用于圖1所示裝置100，并可應(yīng)用于其處理器105和運(yùn)行在處理器105之上的一些程序模塊(例如，2d圖像處理模塊110和深度信息管理模塊120)。例如，程序模塊可通過包含計(jì)算機(jī)指令的計(jì)算機(jī)程序產(chǎn)品來提供，其中的計(jì)算機(jī)指令用于指示處理器105執(zhí)行圖2所示的方法200，其中，計(jì)算機(jī)程序產(chǎn)品可實(shí)施為儲(chǔ)存程序指令或其等效版本(例如用于安裝的軟件包)的永久性計(jì)算機(jī)可讀介質(zhì)(non-transitorycomputer-readablemedium)，非易失性計(jì)算機(jī)可讀介質(zhì)可例如軟盤或壓縮性光盤只讀存儲(chǔ)器(compactdisc-readonlymemory,cd-rom)等。此處僅用于說明目的，本發(fā)明并不以此為限。上述方法可描述如下。

在步驟210中，處理器105可修改2d圖像108，并可當(dāng)修改2d圖像108之前，當(dāng)修改2d圖像108時(shí)或者當(dāng)修改2d圖像108之后，基于對(duì)2d圖像的修改，選擇性地修改2d圖像108的深度地圖118，其中，2d圖像108可從存儲(chǔ)模塊(例如，電子裝置內(nèi)部或者外部的存儲(chǔ)模塊)中獲取。存儲(chǔ)模塊可以是易失性存儲(chǔ)器(例如，隨機(jī)存取存儲(chǔ)器ram)，非易失性存儲(chǔ)器(例如，閃存)或硬盤驅(qū)動(dòng)(harddiskdrive,hdd)等。例如，處理器105可使用在其上運(yùn)行的2d圖像處理模塊110來修改2d圖像108，以及處理器105可使用在其上運(yùn)行的深度信息管理模塊120，當(dāng)修改2d圖像108之前，當(dāng)修改2d圖像108時(shí)，或者當(dāng)修改2d圖像108之后，來修改2d圖像108的深度地圖118。

修改2d圖像108的結(jié)果是，2d圖像處理模塊110可產(chǎn)生修改后的2d圖像112。另外，修改深度地圖118的結(jié)果是，深度信息管理模塊120可產(chǎn)生修改后的深度地圖122。根據(jù)該實(shí)施例，修改后的深度地圖122和修改后的2d圖像112可彼此相互對(duì)應(yīng)，其中，應(yīng)用于2d圖像108的修改和應(yīng)用于深度地圖118的修改可彼此相互對(duì)應(yīng)。應(yīng)用于2d圖像108的修改的例子可包含但不僅限于，一些圖像處理操作(或特定效果)，例如替換2d圖像108的背景(background)，從2d圖像108中提取對(duì)象，在2d圖像108的背景中添加對(duì)象，模糊(blurring)2d圖像108的背景，模糊2d圖像108的前景(foreground)，以及2d圖像108重新聚焦(refocusing)等。

在步驟220中，處理器105可將修改后的深度地圖122存入修改后的2d圖像112的圖像文件中。例如，修改后的2d圖像112的圖像文件可以是不同于2d圖像108的原圖像文件的文件。在另一實(shí)施例中，修改后的2d圖像112的圖像文件和2d圖像108的原圖像文件可以是同一個(gè)文件，其中，處理器105可更新該文件。

根據(jù)本實(shí)施例，與簡(jiǎn)單丟棄深度地圖118的全部信息(例如，對(duì)應(yīng)于2d圖像108的所有像素的深度信息)不同，根據(jù)本發(fā)明的處理器105不會(huì)丟棄全部的深度地圖118。此處僅用于說明目的，本發(fā)明并不以此為限。修改后的深度地圖122可不包含或者包含從深度地圖118所獲取的部分或全部信息。將修改后的深度地圖122存入修改后的2d圖像112的圖像文件的結(jié)果是，修改后的2d圖像112的最新的深度信息(例如，修改后的深度地圖122)將必然存在。因此，當(dāng)有需要時(shí)，處理器105可一次又一次地執(zhí)行上述圖像處理操作(或特定效果)中的一個(gè)或多個(gè)。例如，當(dāng)步驟220中提到的圖像文件儲(chǔ)存在存儲(chǔ)模塊中的情形下，根據(jù)從存儲(chǔ)模塊中所獲取的修改后的深度地圖122，處理器105可對(duì)從存儲(chǔ)模塊中所獲取的修改后的2d圖像112執(zhí)行上述圖像處理操作(或特定效果)中的一個(gè)或多個(gè)。

根據(jù)一些實(shí)施例，深度信息管理模塊120可根據(jù)對(duì)應(yīng)于2d圖像108的多個(gè)像素的深度信息檢測(cè)深度地圖118中的一個(gè)或多個(gè)深度層組(例如，2d圖像108的部分像素，或者2d圖像108的全部像素)，其中，對(duì)應(yīng)于2d圖像的多個(gè)像素的深度信息是從深度地圖118中所獲取的。例如，基于深度地圖118的一些統(tǒng)計(jì)數(shù)據(jù)(例如，深度地圖118的柱形統(tǒng)計(jì)圖)，深度信息管理模塊120可確定深度地圖118中的一組深度數(shù)據(jù)是否屬于一深度層組。根據(jù)一實(shí)施例，當(dāng)該組深度數(shù)據(jù)在深度坐標(biāo)軸方向上彼此接近時(shí)，深度信息管理模塊120可確定該組深度數(shù)據(jù)屬于同一深度層組。例如，當(dāng)該組深度數(shù)據(jù)落入沿深度坐標(biāo)軸方向上較小間隔(gap)(例如，該較小間隔在深度坐標(biāo)軸方向上遠(yuǎn)小于所有可能的深度值間隔)范圍內(nèi)時(shí)，深度信息管理模塊120可確定該組深度數(shù)據(jù)屬于同一深度層組。在這些實(shí)施例中的一部分中，深度信息管理模塊120可檢查該組深度數(shù)據(jù)是否對(duì)應(yīng)于對(duì)象(可包含上述2d圖像108的所有像素內(nèi)的一組像素)，以確定該組深度數(shù)據(jù)是否完全屬于同一深度層組。例如，深度信息管理模塊120可獲取對(duì)象的邊界，并根據(jù)該對(duì)象的邊界從深度地圖118中獲取對(duì)應(yīng)于該對(duì)象的深度數(shù)據(jù)，其中，獲取的深度數(shù)據(jù)可以視為屬于同一深度層組的該組深度數(shù)據(jù)。此處僅用于說明目的，并非用以限定本發(fā)明。

根據(jù)一些實(shí)施例，深度信息管理模塊120可對(duì)深度地圖118中的上述深度層組(即，上述一個(gè)或多個(gè)深度層組)執(zhí)行深度歸一化(depthnormalization)。例如，深度信息管理模塊120可改變?cè)摻M深度數(shù)據(jù)使其變?yōu)橄嗤纳疃?，這意味著該組像素對(duì)應(yīng)于同一深度，以使得該深度層組與另一深度層組之間，或者該深度層組與深度層之間存在(或增加)一深度間隔(depthgrap)。根據(jù)一些實(shí)施例，深度信息管理模塊120可對(duì)深度地圖118中的一個(gè)或多個(gè)深度層組的至少一部分(例如，部分或全部)執(zhí)行層擴(kuò)展(layerextension)，以在深度坐標(biāo)軸上轉(zhuǎn)換(或移動(dòng))深度層組。執(zhí)行層擴(kuò)展的結(jié)果是，深度信息管理模塊120可將該深度層組與另一深度層組之間，或者該深度層組與深度層之間的深度間隔沿深度坐標(biāo)軸進(jìn)行擴(kuò)展。上述操作僅用于說明目的，本發(fā)明并不以此為限。在一些情形中，例如深度間隔不需要進(jìn)行增加或擴(kuò)展，則不必需執(zhí)行上述深度歸一化及/或?qū)訑U(kuò)展。

如上所述，深度信息管理模塊120可對(duì)深度地圖118中的一個(gè)或多個(gè)深度層組中的至少一部分(例如，部分或全部)執(zhí)行層擴(kuò)展，以在深度坐標(biāo)軸上轉(zhuǎn)換(或移動(dòng))深度層組。此處僅用于說明目的，本發(fā)明并不以此為限。根據(jù)一些實(shí)施例，深度信息管理模塊120可對(duì)深度地圖118中同一深度層組的多個(gè)深度層中的至少一部分(部分或全部)執(zhí)行層擴(kuò)展，例如，上述深度層組中的特定深度層組。例如，深度信息管理模塊120可在多個(gè)深度層內(nèi)對(duì)某深度層執(zhí)行層擴(kuò)展。在一些實(shí)施例中，深度信息管理模塊120可對(duì)該多個(gè)深度層內(nèi)的部分深度層執(zhí)行層擴(kuò)展。在一些實(shí)施例中，深度信息管理模塊120可對(duì)多個(gè)深度層內(nèi)的所有深度層執(zhí)行層擴(kuò)展。執(zhí)行層擴(kuò)展的結(jié)果是，深度信息管理模塊120可將深度層組(例如，上述特定深度層組)內(nèi)的一個(gè)深度層與另一深度層之間的深度間隔進(jìn)行擴(kuò)展，或者一個(gè)深度層組的深度層與另一深度層組中的深度層之間的深度間隔在深度坐標(biāo)軸上進(jìn)行擴(kuò)展。請(qǐng)注意，當(dāng)對(duì)深度層(例如，上述多個(gè)深度層中的某深度層，或者上述多個(gè)深度層中的所有深度層中的任意深度層)執(zhí)行層擴(kuò)展時(shí)，深度信息管理模塊120可在此整個(gè)深度層中轉(zhuǎn)移所有的對(duì)象，而不是僅僅轉(zhuǎn)移這些對(duì)象中的某(幾)個(gè)對(duì)象。

根據(jù)一些實(shí)施例，深度信息管理模塊120可在深度地圖118中插入新的對(duì)象深度信息，以產(chǎn)生修改后的深度地圖122。例如，2d圖像處理模塊110可在2d圖像108中插入至少一個(gè)新的對(duì)象(例如，一個(gè)或多個(gè)新的對(duì)象)，以產(chǎn)生修改后的2d圖像112，以及深度信息管理模塊120可根據(jù)圖像修改信息114相應(yīng)產(chǎn)生新的對(duì)象深度信息，其中，新的對(duì)象深度信息可代表修改后的2d圖像112中的上述至少一個(gè)新的對(duì)象的深度信息。

對(duì)深度地圖的上述多個(gè)操作中的兩個(gè)或更多個(gè)，例如，檢測(cè)一個(gè)或多個(gè)深度層組，對(duì)該一個(gè)或多個(gè)深度層組執(zhí)行深度歸一化，對(duì)該一個(gè)或多個(gè)深度層組執(zhí)行層擴(kuò)展以及插入新的對(duì)象深度信息，可根據(jù)不同的設(shè)計(jì)需求分別以不同方式進(jìn)行組合。在一些實(shí)施例中，多個(gè)深度層之間的間隔，深度層組之間的間隔，或者深度層與深度層組之間的間隔，可能不足以容納新的對(duì)象。因此，可執(zhí)行深度歸一化及/或?qū)訑U(kuò)展以增加及/或擴(kuò)展深度間隔，以便完成新的對(duì)象插入。例如，深度信息管理模塊120可先檢測(cè)一個(gè)或多個(gè)深度層組，對(duì)該一個(gè)或多個(gè)深度層組執(zhí)行深度歸一化，然后在深度地圖118中插入新的對(duì)象深度信息，以產(chǎn)生修改后的深度地圖。在另一實(shí)施例中，深度信息管理模塊120可先檢測(cè)一個(gè)或多個(gè)深度層組，對(duì)該一個(gè)或多個(gè)深度層組執(zhí)行層擴(kuò)展，然后在深度地圖118中插入新的對(duì)象深度信息，以產(chǎn)生修改后的深度地圖。在又一實(shí)施例中，深度信息管理模塊120可先檢測(cè)深度地圖118中的一個(gè)或多個(gè)深度層組，然后對(duì)該一個(gè)或多個(gè)深度層組執(zhí)行深度歸一化和層擴(kuò)展。此后，深度信息管理模塊120可在深度地圖118中插入新的對(duì)象深度信息，以產(chǎn)生修改后的深度地圖。此處僅用于說明目的，本發(fā)明并不以此為限。

圖3為根據(jù)本發(fā)明一實(shí)施例的結(jié)合圖2所示方法200的一些實(shí)施細(xì)節(jié)的示意圖。架構(gòu)300可包含一個(gè)或多個(gè)硬件電路，在此稱為硬件電路300hw(簡(jiǎn)潔起見，圖3中標(biāo)識(shí)為“hw”)。硬件電路300hw可包含處理器310，深度傳感器320和相機(jī)傳感器330。請(qǐng)注意，圖3所示架構(gòu)300可作為圖1所示實(shí)施例中所提到的電子裝置的實(shí)施例。

根據(jù)本實(shí)施例，處理器310可獲取一組應(yīng)用算法305的一些程序指令，并可執(zhí)行關(guān)于深度信息管理的操作，例如方法200的操作(例如，步驟210的操作和步驟220的操作)。處理器310可根據(jù)程序指令產(chǎn)生效果圖像307。效果圖像307可包含修改后的2d圖像112的圖像數(shù)據(jù)和修改后的深度地圖122的深度數(shù)據(jù)，因此可在圖3中標(biāo)記為“包含深度信息的圖像”，以便于理解。因而處理器310可作為處理器105的實(shí)施例，以及該組應(yīng)用算法305的程序指令可作為上述至少一個(gè)程序模塊的實(shí)施例。

在一實(shí)施例中，相機(jī)傳感器330可位于電子裝置之中(例如，位于電子裝置的相機(jī)模塊中)，并耦接于處理器310。相機(jī)模塊可包含透鏡(lens)和一些輔助機(jī)械元件，這些輔助機(jī)械元件可用于支持該透鏡，并將透鏡的光軸(opticalaxis)向相機(jī)傳感器330的感應(yīng)區(qū)域的中心進(jìn)行校準(zhǔn)。例如，相機(jī)傳感器330可用于產(chǎn)生2d圖像108的圖像數(shù)據(jù)，其中處理器310在執(zhí)行步驟210的操作之前，可將2d圖像108的圖像數(shù)據(jù)存入存儲(chǔ)模塊。另外，深度傳感器320可耦接于處理器310。例如，深度傳感器320可用于當(dāng)相機(jī)傳感器330產(chǎn)生2d圖像108的圖像數(shù)據(jù)時(shí)產(chǎn)生深度地圖118的深度信息。此處僅用于說明目的，本發(fā)明并不以此為限。在一些實(shí)施例中，相機(jī)傳感器330可位于電子裝置的外部(例如，位于耦接于電子裝置的相機(jī)模塊之中)。在一些實(shí)施例中，深度傳感器320可位于電子裝置的內(nèi)部或者外部。在一些實(shí)施例中，相機(jī)傳感器330和處理器310之間的耦接及/或深度傳感器320和處理器310之間的耦接可以是直接的或者非直接的。非直接耦接的多個(gè)例子可包含：傳感器(例如，深度傳感器320或相機(jī)傳感器330)所產(chǎn)生的數(shù)據(jù)儲(chǔ)存于存儲(chǔ)模塊中，然后，處理器310可從存儲(chǔ)模塊中讀取數(shù)據(jù)；以及，傳感器(例如，深度傳感器320或相機(jī)傳感器330)所產(chǎn)生的數(shù)據(jù)儲(chǔ)存于存儲(chǔ)模塊a中，某元件可將數(shù)據(jù)從存儲(chǔ)模塊a中移動(dòng)至存儲(chǔ)模塊b中，然后，處理器310可從存儲(chǔ)模塊b中讀取數(shù)據(jù)。

關(guān)于深度傳感器320及其操作，本領(lǐng)域已提供一些傳統(tǒng)解決方案，并且現(xiàn)有的一些產(chǎn)品均可用作深度傳感器320。因此，深度傳感器320的實(shí)施細(xì)節(jié)此處不再詳述。

圖4為根據(jù)本發(fā)明一實(shí)施例的結(jié)合圖2所示方法200的控制機(jī)制的示意圖。三維(3d)應(yīng)用410可作為2d圖像處理模塊110的實(shí)施例，以及深度信息管理模塊420可作為深度信息管理模塊120的實(shí)施例。應(yīng)用于2d圖像108的3d應(yīng)用410的修改的多個(gè)實(shí)施例可包含但不僅限于一些圖像處理操作(或特定效果)，例如替換2d圖像108的背景，從2d圖像108中提取對(duì)象，在2d圖像108的背景中添加對(duì)象，模糊2d圖像108的背景，模糊2d圖像108的前景，以及2d圖像108重新聚焦等。

根據(jù)本實(shí)施例，修改后的2d圖像112的圖像文件和2d圖像108的原圖像文件可以是同一個(gè)文件，其中，處理器105可更新該文件。因此，在修改之前，該文件可包含2d圖像108的當(dāng)前版本和深度地圖118的當(dāng)前版本(簡(jiǎn)潔起見，分別在圖4的最左側(cè)標(biāo)記為“圖像”和“深度”)。3d應(yīng)用410可接收2d圖像108的當(dāng)前版本和深度地圖118的當(dāng)前版本，并可修改2d圖像108的當(dāng)前版本以產(chǎn)生修改后的2d圖像112的當(dāng)前版本，并可進(jìn)一步將修改后的2d圖像112的當(dāng)前版本和深度地圖118的當(dāng)前版本輸入深度信息管理模塊420。另外，深度信息管理模塊420可對(duì)深度地圖118的當(dāng)前版本執(zhí)行一個(gè)或多個(gè)深度地圖修改操作422(便于理解起見，在圖4中標(biāo)記為“修改深度地圖”)，以產(chǎn)生修改后的深度地圖122的當(dāng)前版本，并可執(zhí)行文件頭(fileheader)準(zhǔn)備(preparation)操作424(便于理解起見，在圖4中標(biāo)記為“將深度復(fù)制(copy)到文件頭”)，以通過將修改后的深度地圖122的當(dāng)前版本復(fù)制進(jìn)入文件頭來準(zhǔn)備該文件的文件頭的當(dāng)前版本。另外，處理器310可執(zhí)行保存文件指令430以將文件頭的當(dāng)前版本和修改后的2d圖像112的當(dāng)前版本存入該文件。因此，處理器310可使用修改后的2d圖像112的當(dāng)前版本和修改后的深度地圖122的當(dāng)前版本來更新該文件，修改后的2d圖像112的當(dāng)前版本和修改后的深度地圖122的當(dāng)前版本將分別作為2d圖像108的最新版本和深度地圖108的最新版本。簡(jiǎn)潔起見，本實(shí)施例的類似描述將不再詳細(xì)描述。

根據(jù)一些實(shí)施例，步驟210中所提到的修改2d圖像108的時(shí)序和步驟210中所提到的修改深度地圖118的時(shí)序可能發(fā)生變化。在一實(shí)施例中，處理器105可在修改2d圖像108之前修改深度地圖118。例如，當(dāng)處理器105被通知到(例如，根據(jù)用戶選擇獲知)用戶準(zhǔn)備插入對(duì)象時(shí)，處理器105可先執(zhí)行深度歸一化。因此，處理器105可在修改2d圖像108之前修改深度地圖118。此處僅用于說明目的，本發(fā)明并不以此為限。在另一實(shí)施例中，處理器105可當(dāng)修改2d圖像108時(shí)修改深度地圖118。在另一實(shí)施例中，處理器105可在修改2d圖像108之后修改深度地圖118。

根據(jù)一些實(shí)施例，深度地圖118可承載于或者位于如上所述的文件頭中。此處僅用于說明目的，本發(fā)明并不以此為限。在一些實(shí)施例中，深度地圖118可以另一種形式與2d圖像108相結(jié)合，以產(chǎn)生單一文件。

根據(jù)一些實(shí)施例，例如圖4所示，處理器105可更新圖像文件。此處僅用于說明目的，本發(fā)明并不以此為限。在一些實(shí)施例中，處理器105可將修改后的結(jié)果(例如，修改后的2d圖像112和修改后的深度地圖122)保存為另一文件。

圖5為根據(jù)本發(fā)明一實(shí)施例的結(jié)合圖2所示方法200的工作流程500的示意圖。工作流程500可應(yīng)用于圖1所示的裝置100及/或圖3所示的架構(gòu)300。

在步驟510中，處理器105可選擇包含深度信息的圖像，例如步驟210中所提到的2d圖像108，其中，儲(chǔ)存2d圖形108的圖像文件也可儲(chǔ)存與2d圖像108有關(guān)的深度地圖118。

在步驟520中，處理器105可在應(yīng)用(例如，3d應(yīng)用410)中選擇修改(例如，用戶可通過電子裝置的用戶界面進(jìn)行選擇的命名或標(biāo)識(shí)為“修改”的命令圖標(biāo)，或者用戶可通過用戶界面進(jìn)行選擇的對(duì)應(yīng)于多種類型的修改的一系列命令圖標(biāo)中的一個(gè))，以通過對(duì)該圖像執(zhí)行圖像處理來修改步驟510中提到的圖像。請(qǐng)注意，盡管3d應(yīng)用410的名字可以指示3d應(yīng)用410具有所謂的“3d”功能，3d應(yīng)用410可用于處理上述2d圖像108的當(dāng)前版本(簡(jiǎn)潔起見，在圖4的最左側(cè)標(biāo)識(shí)為“圖像”)，而深度信息管理模塊420可用于處理上述深度地圖118的當(dāng)前版本(簡(jiǎn)潔起見，在圖4最左側(cè)標(biāo)識(shí)為“深度”)，其中，3d應(yīng)用410可選擇性地觸發(fā)深度信息管理模塊420的一些操作。因此，3d應(yīng)用410可實(shí)際上作為2d圖像處理模塊110的實(shí)施例。例如，已選擇的修改(例如，標(biāo)記為“修改”的命令圖標(biāo))可以與圖2所示實(shí)施例的上述一個(gè)或多個(gè)修改有關(guān)。

在步驟530中，處理器105可確定是否修改步驟510中所提到的深度信息(簡(jiǎn)潔起見，在圖5中標(biāo)識(shí)為“修改深度？”)。例如，處理器105可根據(jù)在步驟520中選擇的修改屬于多個(gè)預(yù)定修改中的第一組修改還是第二組修改，來確定是否修改深度信息，預(yù)定修改可例如多種類型的修改。更具體地，當(dāng)步驟520中選擇的修改屬于第一組修改時(shí)，處理器105可確定修改深度信息，或者當(dāng)在步驟520中選擇的修改屬于第二組修改時(shí)，處理器105可確定阻止修改深度信息。第一組修改的實(shí)施例可包含但不僅限于對(duì)對(duì)象進(jìn)行重新聚焦及添加對(duì)象等。第二組修改的實(shí)施例可包含但不僅限于改變背景顏色等。此處僅用于說明目的，本發(fā)明并不以此為限。如圖5所示，當(dāng)確定修改深度信息時(shí)，進(jìn)入步驟540，否則，進(jìn)入步驟550。

在步驟540中，處理器105(例如，在處理器105上運(yùn)行的深度信息管理模塊120)可根據(jù)已選擇的修改(例如根據(jù)在步驟520中選擇的修改一個(gè)或多個(gè)深度修改操作)執(zhí)行深度修改，以產(chǎn)生修改后的深度地圖122。例如，根據(jù)應(yīng)用的深度修改的上述一個(gè)或多個(gè)操作可包含步驟210中的操作。當(dāng)執(zhí)行步驟540的操作時(shí)，工作流程500的多個(gè)操作可作為方法200的操作的實(shí)施例。步驟540中所提到的深度修改的多個(gè)實(shí)施例可包含但不僅限于，創(chuàng)建新的對(duì)象信息，執(zhí)行上述深度歸一化，執(zhí)行上述層擴(kuò)展。

在步驟550中，處理器105(例如，在處理器105上運(yùn)行的深度信息管理模塊120)可保存與修改后的圖像有關(guān)的最新深度地圖(簡(jiǎn)潔起見，在圖5中標(biāo)記為“保存與修改后的圖像有關(guān)的深度”)，而不論是否執(zhí)行了步驟540的操作。例如，處理器105可準(zhǔn)備修改后的圖像的文件頭，并可將最新的深度地圖存入此文件頭。當(dāng)執(zhí)行步驟540的操作時(shí)，最新的深度地圖可代表修改后的深度地圖122，否則，最新的深度地圖可代表深度地圖118。

在步驟560中，處理器105可將修改后的圖像與修改后的圖像的文件頭一起存入文件(簡(jiǎn)潔起見，在圖5中標(biāo)記為“保存圖像”)。該文件可作為步驟220中所提到的圖像文件的實(shí)施例。

應(yīng)注意，根據(jù)不同的實(shí)施例，工作流程500可以不同于圖5所示的順序執(zhí)行，也可在工作流程500中添加一個(gè)或多個(gè)步驟，及/或從工作流程500中省略一個(gè)或多個(gè)步驟。例如，若不執(zhí)行步驟540，則可省略步驟550。

圖6為根據(jù)本發(fā)明另一實(shí)施例的結(jié)合方法200的工作流程600的示意圖。工作流程600可應(yīng)用于圖1所示的裝置100及/或圖3所示的架構(gòu)300。

在步驟610中，處理器105(例如，在處理器105上運(yùn)行的2d圖像處理模塊110)可在圖像(例如，步驟210中提到的2d圖像108)中添加新的對(duì)象，以產(chǎn)生修改后的圖像(例如，修改后的2d圖像112)。該新的對(duì)象可作為上述修改后的2d圖像112中的至少一個(gè)新的對(duì)象的實(shí)施例。

在步驟620中，處理器105(例如，在處理器105上運(yùn)行的深度信息管理模塊120)可創(chuàng)建新的對(duì)象深度信息，即該新的對(duì)象的深度信息。

在步驟630中，處理器105(例如，在處理器105上運(yùn)行的深度信息管理模塊120)可將步驟620中提到的新的對(duì)象深度信息插入步驟610中提到的圖像的深度地圖(例如，深度地圖118)中，以產(chǎn)生修改后的深度地圖122。

在步驟640中，處理器105(例如，在處理器105上運(yùn)行的深度信息管理模塊120)可保存與修改后的圖像有關(guān)的最新深度地圖(簡(jiǎn)潔起見，圖6中標(biāo)識(shí)為“保存與修改后的圖像有關(guān)的深度”)。例如，處理器105可準(zhǔn)備修改后的圖像的文件頭，并可將最新的深度地圖存入該文件頭，其中，最新的深度地圖可代表修改后的深度地圖122。

在步驟650中，處理器105可將修改后的圖像和修改后的圖像的文件頭一起存入文件(簡(jiǎn)潔起見，圖6中標(biāo)記為“保存圖像”)。該文件可作為步驟220中提到的圖像文件的實(shí)施例。

請(qǐng)注意，根據(jù)不同的實(shí)施例，工作流程600可以不同于圖6所示的順序執(zhí)行，工作流程600也可添加一個(gè)或多個(gè)步驟，及/或從工作流程600中省略一個(gè)或多個(gè)步驟。

圖7為根據(jù)本發(fā)明一實(shí)施例的結(jié)合圖2所示方法200的新的對(duì)象深度信息722的示意圖。2d圖像70和深度地圖70d可分別作為2d圖像108和深度地圖118的實(shí)施例。另外，修改后的2d圖像700和修改后的深度地圖700d可分別作為修改后的2d圖像112和修改后的深度地圖122的實(shí)施例。

根據(jù)此實(shí)施例，2d圖像70可包含兩個(gè)對(duì)象710和730(例如，兩個(gè)人)，以及深度地圖70d可包含分別對(duì)應(yīng)于兩個(gè)對(duì)象710和730的原深度信息712和732。當(dāng)執(zhí)行步驟210的操作后，修改后的2d圖像700可包含原來的兩個(gè)對(duì)象710和730，并可進(jìn)一步包含新的對(duì)象720(例如，另一個(gè)人，這個(gè)人的圖像可從另一圖像中被剪切并復(fù)制至修改后的2d圖像700)。另外，修改后的深度地圖700d可包含原來的深度信息712和732，并可進(jìn)一步包含對(duì)應(yīng)于新的對(duì)象720的新的對(duì)象深度信息722。

在一實(shí)施例中，對(duì)象710和730可彼此接近，以及原深度信息712的深度層組(例如，原深度信息712的深度分布)和原深度信息732的深度層組(例如，原深度信息732的深度分布)之間的在深度坐標(biāo)軸上的深度間隔可能不夠大，不足以允許插入新的對(duì)象深度信息722。因此，為了增加深度間隔，深度信息管理模塊120可先對(duì)深度地圖70d中的原深度信息712的深度層組和原深度信息732的深度層組中的至少一個(gè)執(zhí)行上述深度歸一化及/或?qū)訑U(kuò)展。然后，可插入對(duì)應(yīng)于新的對(duì)象720的新的對(duì)象深度信息722。簡(jiǎn)潔起見，本實(shí)施例的類似描述不再贅述。

圖8為根據(jù)本發(fā)明另一實(shí)施例的結(jié)合圖2所示方法200的新的對(duì)象深度信息822的示意圖。2d圖像80和深度地圖80d可分別作為2d圖像108和深度地圖118的實(shí)施例。另外，修改后的2d圖像800和修改后的深度地圖800d可分別作為修改后的2d圖像112和修改后的深度地圖122的實(shí)施例。

根據(jù)該實(shí)施例，2d圖像80可包含兩個(gè)對(duì)象810和830(例如，兩個(gè)人)，以及深度地圖80d可包含分別對(duì)應(yīng)于兩個(gè)對(duì)象810和830的原深度信息812和832。當(dāng)執(zhí)行步驟210的操作之后，修改后的2d圖像800可包含原來的兩個(gè)對(duì)象810和830，并可進(jìn)一步包含新的對(duì)象820(例如，另一個(gè)人，這個(gè)人的圖像可從另一圖像中被剪切并復(fù)制至修改后的2d圖像800)。另外，修改后的深度地圖800d可包含原深度信息812和832，并可進(jìn)一步包含對(duì)應(yīng)于新的對(duì)象820的新的對(duì)象深度信息822。

若原深度信息812的深度層組(例如，原深度信息812的深度分布)和原深度信息832的深度層組(例如，原深度信息832的深度分布)之間沿深度坐標(biāo)軸的深度間隔足夠大，允許插入新的對(duì)象深度信息822，則可插入新的對(duì)象深度信息822以產(chǎn)生修改后的深度地圖800d。在一實(shí)施例中，盡管對(duì)象810和830看上去在2d平面上沒有彼此接近，原深度信息812的深度層組和原深度信息832的深度層組在深度坐標(biāo)軸上的深度間隔可能不夠大，不足以允許插入新的對(duì)象深度信息822。因此，為了增加深度間隔，深度信息管理模塊120可先對(duì)深度地圖80d中的原深度信息812的深度層組和原深度信息832的深度層組中的至少一個(gè)執(zhí)行上述深度歸一化及/或?qū)訑U(kuò)展。然后，可插入對(duì)應(yīng)于新的對(duì)象820的新的對(duì)象深度信息822。簡(jiǎn)潔起見，本實(shí)施例的類似描述此處不再贅述。

圖9為根據(jù)本發(fā)明另一實(shí)施例的結(jié)合圖2所示方法200的工作流程900的示意圖。工作流程900可應(yīng)用于圖1所示的裝置100及/或圖3所示的架構(gòu)300。

在步驟910中，處理器105(例如，運(yùn)行在處理器105上的2d圖像處理模塊110)可在圖像(例如，步驟210中提到的2d圖像108)中插入新的對(duì)象，以用于產(chǎn)生修改后的圖像(例如，修改后的2d圖像112)。該新的對(duì)象可作為修改后的2d圖像112中的上述至少一個(gè)新的對(duì)象的實(shí)施例。

在步驟920中，處理器105(例如，運(yùn)行在處理器105上的深度信息管理模塊120)可檢測(cè)步驟910中提到的圖像中的一個(gè)或多個(gè)深度層組，例如上述2d圖像108中的一個(gè)或多個(gè)深度層組。

在步驟930中，處理器105(例如，運(yùn)行在處理器105上的深度信息管理模塊120)可對(duì)一個(gè)或多個(gè)深度層組執(zhí)行上述深度歸一化，以產(chǎn)生一個(gè)或多個(gè)歸一化后的深度層組。執(zhí)行深度歸一化的結(jié)果是，深度信息管理模塊120可將對(duì)應(yīng)于同一深度層組的一組深度數(shù)據(jù)變更為相同的深度。

在步驟940中，處理器105(例如，運(yùn)行在處理器105上的深度信息管理模塊120)可進(jìn)一步對(duì)一個(gè)或多個(gè)歸一化后的深度層組執(zhí)行上述層擴(kuò)展。執(zhí)行層擴(kuò)展的結(jié)果是，深度信息管理模塊120可將該深度層組與另一深度層組之間的深度間隔，或者深度層組與深度層之間沿深度坐標(biāo)軸的深度間隔進(jìn)行擴(kuò)展；或者深度信息管理模塊120可將深度層組(例如，上述特定深度層組)內(nèi)的一深度層與另一深度層之間的深度間隔，或者一個(gè)深度層組的深度層與另一深度層組的深度層之間沿深度坐標(biāo)軸的深度間隔進(jìn)行擴(kuò)展。

在步驟950中，處理器105(例如，運(yùn)行在處理器105上的深度信息管理模塊120)可將新的對(duì)象深度信息(即，該新的對(duì)象的深度信息)插入步驟910中所提到的圖像的深度地圖中，以產(chǎn)生修改后的深度地圖122。例如，處理器105可準(zhǔn)備修改后的圖像的文件頭，并可將修改后的深度地圖122存入文件頭。

在步驟960中，處理器105可將修改后的圖像及其文件頭一起存入文件(簡(jiǎn)潔起見，在圖9中標(biāo)識(shí)為“保存圖像”)。該文件可作為步驟220中提到的圖像文件的實(shí)施例。

請(qǐng)注意，根據(jù)不同的實(shí)施例，工作流程900可以不同于圖9所示的順序來執(zhí)行，工作流程900中也可添加一個(gè)或多個(gè)步驟，及/或省略一個(gè)或多個(gè)步驟。例如，在不同的實(shí)施例中，步驟940可在步驟930之前執(zhí)行，以及步驟920-940可省略。

圖10為根據(jù)本發(fā)明一實(shí)施例的結(jié)合圖2所示方法200的關(guān)于深度歸一化的一些虛構(gòu)對(duì)象(imaginaryobjects)1011，1021和1031的示意圖。例如，在真實(shí)空間1000中可能存在三個(gè)對(duì)象1010，1020和1030(例如，從圖上可見到的三個(gè)人)。在深度歸一化期間，深度信息管理模塊120可將對(duì)象1010的一組深度數(shù)據(jù)變更為相同的深度(例如，第一深度值)，這意味著代表在修改后的2d圖像112上的對(duì)象1010的第一組像素對(duì)應(yīng)于該第一深度值。另外，在深度歸一化期間，深度信息管理模塊120可將對(duì)象1020的一組深度數(shù)據(jù)變更為同一深度(例如第二深度值)，這意味著代表在修改后的2d圖像112上的對(duì)象1020的第二組像素對(duì)應(yīng)于第一深度值。另外，在深度歸一化期間，深度信息管理模塊120可將對(duì)象1030的一組深度數(shù)據(jù)變更為同一深度(例如第三深度值)，這意味著代表在修改后的2d圖像112上的對(duì)象1030的第三組像素對(duì)應(yīng)于該第三深度值。執(zhí)行深度歸一化的結(jié)果是，深度信息管理模塊120可將三個(gè)對(duì)象1010，1020和1030轉(zhuǎn)換為在歸一化后的空間1000f中看上去已壓扁(flattened)的虛構(gòu)對(duì)象1011，1021和1031(例如，從圖上可見，三個(gè)“壓扁的”人)。

根據(jù)本實(shí)施例，深度信息管理模塊120可執(zhí)行深度歸一化以制造(或增加)三個(gè)深度層組內(nèi)的任意兩個(gè)深度層組之間的深度間隔，且這些深度間隔分別對(duì)應(yīng)于三個(gè)對(duì)象1010，1020和1030。簡(jiǎn)潔起見，對(duì)該實(shí)施例的類似描述此處不再贅述。

如圖3所示實(shí)施例所提到的，裝置100可使用深度傳感器320來產(chǎn)生深度地圖118的深度信息。此處僅用于說明目的，本發(fā)明并不以此為限。根據(jù)本發(fā)明的一些實(shí)施例，裝置100可使用兩個(gè)相機(jī)，而不是使用圖3所示的深度傳感器320，來產(chǎn)生深度地圖118的深度信息。更具體地，裝置100可使用兩個(gè)相機(jī)來拍攝一組照片，并根據(jù)這組照片執(zhí)行一些運(yùn)算來產(chǎn)生深度地圖118的深度信息。例如，這些運(yùn)算可基于與在真實(shí)空間中的微小(或較小)對(duì)象與兩個(gè)相機(jī)之間的空間關(guān)系有關(guān)的一些參數(shù)來執(zhí)行。這些參數(shù)的例子可包含但不僅限于，兩個(gè)相機(jī)之間的距離。當(dāng)該組照片的背景保持相同時(shí)，該較小的對(duì)象在這組照片中的位置明顯不同。在這些運(yùn)算中確定三個(gè)頂點(diǎn)分別在該微小對(duì)象和兩個(gè)相機(jī)的三角形的結(jié)果是，可確定在真實(shí)空間中的該微小對(duì)象和兩個(gè)相機(jī)之間的空間關(guān)系。因此，該微小對(duì)象的深度即可確定。請(qǐng)注意，并不微小的對(duì)象的深度信息也可確定，這是因?yàn)樵搶?duì)象的任意部分均可作為上述微小對(duì)象的實(shí)施例。另外，在這些實(shí)施例的兩個(gè)相機(jī)內(nèi)的特定相機(jī)可包含相機(jī)傳感器330，以及裝置100可使用該特定相機(jī)來產(chǎn)生2d圖像108的圖像數(shù)據(jù)，并可與此同時(shí)從該特定相機(jī)獲取有關(guān)數(shù)據(jù)以用于計(jì)算深度地圖118的深度信息。簡(jiǎn)潔起見，這些實(shí)施例的類似描述此處不再贅述。

雖然本發(fā)明已以較佳實(shí)施例揭露如上，然其并非用以限定本發(fā)明，任何熟習(xí)此技藝者，在不脫離本發(fā)明的精神和范圍內(nèi)，當(dāng)可作些許的更動(dòng)與潤(rùn)飾，因此本發(fā)明的保護(hù)范圍當(dāng)視后附的權(quán)利要求所界定者為準(zhǔn)。