依據(jù)深度信息的影像處理方法及系統(tǒng)的制作方法
【專利摘要】一種依據(jù)深度信息的影像處理方法及系統(tǒng)。取得具有深度信息的至少一影像。影像被顯示于電子裝置的一顯示單元中。透過一使用者界面接收影像中一感興趣區(qū)域的選擇。由深度信息取得相應(yīng)此選定的感興趣區(qū)域的一第一深度值，且此第一深度值被對映至一影像效果的一第一效果位準(zhǔn)，其中此影像效果具有多個效果位準(zhǔn)。依據(jù)影像的深度信息實施影像效果至影像，其中選定的感興趣區(qū)域被以第一效果位準(zhǔn)實施此影像效果。
【專利說明】依據(jù)深度信息的影像處理方法及系統(tǒng)

【技術(shù)領(lǐng)域】
[0001]本發(fā)明是有關(guān)于影像處理方法及系統(tǒng)，且特別有關(guān)于一種依據(jù)深度信息的影像處理方法及系統(tǒng)。

【背景技術(shù)】
[0002]近年來，可攜式裝置，如手持式裝置變得越來越高階且變得更多功能化。舉例來說，手持式裝置可以具備電信通訊能力、電子郵件、進(jìn)階通訊錄管理、媒體播放、以及其他各式各樣的能力與應(yīng)用。另外，大部分手持式裝置可以配備一影像擷取單元，用以擷取影像。舉例來說，使用者可以利用設(shè)置于手持式裝置上的相機(jī)拍攝照片。由于這些裝置的便利，也使得這些裝置成為人們的生活必需品之一。
[0003]目前地，由于多媒體系統(tǒng)、計算機(jī)游戲、30電視廣播系統(tǒng)等等中的應(yīng)用與成長使得30內(nèi)容產(chǎn)業(yè)不斷的成長。隨著30內(nèi)容的發(fā)展，裝置的影像擷取單元可以是一雙鏡頭相機(jī)。雙鏡頭相機(jī)是一裝置，其可以在同時提供兩個不同的視角，因此相同的物件將可產(chǎn)生兩個不同幾何檢視給兩個擷取的影像。由攝影師的一物件的距離可以通過分析左與右影像的差來測量。測量的結(jié)果是深度圖，其指示影像中每一像素的深度(物件與攝影師間的距離通過影像的深度信息，影像可以如一真實世界般地以一 30效果來檢視。
[0004]在手持式裝置中，一些簡單的影像效果，如加入一特定框架可以被實施于由影像擷取單元所擷取的影像中。然而，當(dāng)使用者想要加上其他影像效果至擷取的影像時，使用者必須先使用手持式裝置來擷取一影像，且將影像由手持式裝置傳送至計算機(jī)。然后，可以操作計算機(jī)中的影像編輯軟件來處理影像，使得相關(guān)影像效果可以被加至影像中。前述相應(yīng)手持式裝置所擷取的影像的影像處理操作需要相關(guān)操作知識，且需要許多人為手動作業(yè)。對于使用者而言，需求的操作是非常耗時且不便利的。


【發(fā)明內(nèi)容】

[0005]有鑒于此，本發(fā)明提供依據(jù)深度信息的影像處理方法及系統(tǒng)。
[0006]本發(fā)明實施例的一種依據(jù)深度信息的影像處理方法。取得具有深度信息的至少一影像。影像被顯示于電子裝置的一顯示單元中。透過一使用者界面接收影像中一感興趣區(qū)域的選擇。由深度信息取得相應(yīng)此選定的感興趣區(qū)域的一第一深度值，且此第一深度值被對映至一影像效果的一第一效果位準(zhǔn)，其中此影像效果具有多個效果位準(zhǔn)。依據(jù)影像的深度信息實施影像效果至影像，其中選定的感興趣區(qū)域被以第一效果位準(zhǔn)實施此影像效果。
[0007]本發(fā)明實施例的一種依據(jù)深度信息的影像處理方法。取得具有深度信息的至少一影像。提供一影像效果，其中此影像效果具有多個效果位準(zhǔn)。依據(jù)影像的深度信息實施影像效果至影像，其中影像的個別像素根據(jù)相應(yīng)個別像素的個別深度值被以各種效果位準(zhǔn)實施此影像效果。
[0008]本發(fā)明實施例的一種依據(jù)深度信息的影像處理系統(tǒng)包括一儲存單元、一顯示單元、與一處理單元。儲存單元包括具有深度信息的至少一影像。處理單元取得具有深度信息的此影像，且透過顯示單元將影像顯示。處理單元透過一使用者界面接收影像中一感興趣區(qū)域的選擇。處理單元由深度信息取得相應(yīng)此選定的感興趣區(qū)域的一第一深度值，對映此第一深度值至一影像效果的一第一效果位準(zhǔn)，其中此影像效果具有多個效果位準(zhǔn)，且依據(jù)影像的深度信息實施影像效果至影像，其中選定的感興趣區(qū)域被以第一效果位準(zhǔn)實施此影像效果。
[0009]在一些實施例中，此至少一影像包括一左影像與一右影像其是透過一雙鏡頭相機(jī)所擷取，且深度信息是依據(jù)左影像與右影像來計算。
[0010]在一些實施例中，顯示單元是一觸控式顯示單元,使用者界面是顯示于觸控式顯示單元，且相應(yīng)選定的感興趣區(qū)域的選擇是透過觸控式顯示單元接收。
[0011]在一些實施例中，由深度信息取得相應(yīng)選定的感興趣區(qū)域之外的至少一像素的一第二深度值，其中第二深度值與第一深度值不同。第二深度值被對映至影像效果的一第二效果位準(zhǔn)，其中第二效果位準(zhǔn)與第一效果位準(zhǔn)不同。當(dāng)影像效果實施至影像時，此像素被以第二效果位準(zhǔn)實施此影像效果。在一些實施例中，第一深度值與第二深度值的差被計算，且根據(jù)第一效果位準(zhǔn)與此差，第二深度值被對映至影像效果的第二效果位準(zhǔn)。
[0012]本發(fā)明上述方法可以透過程序碼方式存在。當(dāng)程序碼被機(jī)器載入且執(zhí)行時，機(jī)器變成用以實行本發(fā)明的裝置。
[0013]為使本發(fā)明的上述目的、特征和優(yōu)點能更明顯易懂，下文特舉實施例，并配合所附附圖，詳細(xì)說明如下。

【專利附圖】

【附圖說明】
[0014]圖1為一示意圖是顯示依據(jù)本發(fā)明實施例的依據(jù)深度信息的影像處理系統(tǒng)；
[0015]圖2為一流程圖是顯示依據(jù)本發(fā)明實施例的依據(jù)深度信息的影像處理方法；
[0016]圖3為一流程圖是顯示依據(jù)本發(fā)明另一實施例的依據(jù)深度信息的影像處理方法；
[0017]圖4為一流程圖是顯示依據(jù)本發(fā)明實施例的決定相應(yīng)影像中除了感興趣區(qū)域之外的一個別像素的一深度值的一效果位準(zhǔn)的方法；
[0018]圖5八顯示一影像例子；
[0019]圖58顯示相應(yīng)圖5八中影像的一深度圖；
[0020]圖6八與圖68為示意圖是顯示依據(jù)本發(fā)明實施例的依據(jù)深度信息的影像處理例子。

【具體實施方式】
[0021]圖1顯示依據(jù)本發(fā)明實施例的依據(jù)深度信息的影像處理系統(tǒng)。依據(jù)本發(fā)明實施例的依據(jù)深度信息的影像處理系統(tǒng)100可以適用于一電子裝置，如個人數(shù)字助理004)、智能手機(jī)、移動電話、移動上網(wǎng)裝置(110)、小筆電與全球定位系統(tǒng)(⑶幻裝置或其他手持式裝置等的移動裝置。
[0022]依據(jù)深度信息的影像處理系統(tǒng)100包括一顯示單元110、一儲存單元120、與一處理單元130。值得注意的是，在一些實施例中，依據(jù)深度信息的影像處理系統(tǒng)100也可以包括一影像擷取單元(未顯示于圖1)。注意的是，依據(jù)深度信息的影像處理系統(tǒng)100可以是具有影像擷取能力的一電子裝置，如數(shù)字相機(jī)或拍照的手持式裝置。影像擷取單元可以是電荷稱合元件00111)16(1 ￡)6^106, 030)或互補(bǔ)性氧化金屬半導(dǎo)體(03,161116111:8:^7161:81-0x1(16 8611110011(11101:01-, (3103)，其置于欲拍攝物體于電子裝置內(nèi)部的成像位置，以進(jìn)行影像的感測作業(yè)。值得注意的是，在一些實施例中，影像擷取單元可以是一雙鏡頭相機(jī)，其可以同時地擷取一左影像與一右影像。左影像與右影像可以用來合成一 30影像。顯示單元110可以顯示相關(guān)附圖與界面、與相關(guān)數(shù)據(jù)，如影像擷取單元持續(xù)擷取的預(yù)覽影像、及拍照作業(yè)所擷取的影像等。提醒的是，預(yù)覽影像是指影像擷取單元所擷取的影像并未實際儲存至儲存單元120中。值得注意的是，在一些實施例中，顯示單元110可以是結(jié)合一觸碰感應(yīng)裝置(未顯示)的屏幕。觸碰感應(yīng)裝置具有包括至少一維的感應(yīng)器的觸摸式表面，用以偵測輸入工具，如手指或觸控筆等在其表面上的接觸與移動。換言之，使用者可以直接透過顯示單元110輸入相關(guān)數(shù)據(jù)。值得注意的是，影像擷取單元擷取的影像數(shù)據(jù)可以永久或暫時儲存于儲存單元120，其可以是依據(jù)深度信息的影像處理系統(tǒng)100的一內(nèi)建記憶體或外接記憶卡。處理單元130可以控制依據(jù)深度信息的影像處理系統(tǒng)100的相關(guān)構(gòu)件，且可以對于影像擷取單元持續(xù)擷取的預(yù)覽影像、與/或拍照作業(yè)期間影像擷取單元所擷取的影像進(jìn)行相關(guān)處理，以及執(zhí)行本發(fā)明的依據(jù)深度信息的影像處理方法，其細(xì)節(jié)將于后進(jìn)行說明。提醒的是，依據(jù)深度信息的影像處理系統(tǒng)100亦可以包括一對焦單元(圖1中未顯示)。處理單元130可以在拍照作業(yè)中控制對焦單元以進(jìn)行物體的對焦作業(yè)。
[0023]圖2顯示依據(jù)本發(fā)明實施例的依據(jù)深度信息的影像處理方法。依據(jù)本發(fā)明實施例的依據(jù)深度信息的影像處理方法可以適用于一電子裝置，如個人數(shù)字助理、智能手機(jī)、移動電話、移動上網(wǎng)裝置、小筆電與全球定位系統(tǒng)裝置或其他手持式裝置等的移動裝置。
[0024]如步驟3210，取得具有深度信息的至少一影像。值得注意的是，在一些實施例中，影像與相應(yīng)的深度信息可以事先儲存于電子裝置之中。深度信息記錄影像中個別像素所相應(yīng)的深度值。在一些實施例中，電子裝置可以具有一影像擷取單元，如一雙鏡頭相機(jī)，其可以擷取一左影像與一右影像。深度信息可以依據(jù)左影像與右影像來計算。如步驟3220，提供至少一影像效果。值得注意的是，在一些實施例中，電子裝置可以提供多個影像效果，且影像效果中的至少一者可以被選擇來進(jìn)行使用。注意的是，影像效果可以具有多個效果位準(zhǔn)。舉例來說，在一影像模糊效果中，以一第一效果位準(zhǔn)實施影像模糊效果的一像素會比以一第二效果位準(zhǔn)實施影像模糊效果的另一像素來的清楚。如步驟3230，依據(jù)影像的深度信息實施影像效果至影像，其中影像的個別像素根據(jù)相應(yīng)個別像素的個別深度值被以各種效果位準(zhǔn)實施此影像效果。值得注意的是，每一深度值可以對映至一特定效果位準(zhǔn)。在一些實施例中，深度值與效果位準(zhǔn)間的對映關(guān)系可以事先定義。在一些實施例中，一特定深度值可以先被設(shè)定為一既定效果位準(zhǔn)，且其他深度值可以根據(jù)既定效果位準(zhǔn)與他自己與特定深度值間的差來對映至特定的效果位準(zhǔn)。
[0025]圖3顯示依據(jù)本發(fā)明另一實施例的依據(jù)深度信息的影像處理方法。依據(jù)本發(fā)明實施例的依據(jù)深度信息的影像處理方法可以適用于一電子裝置，如個人數(shù)字助理、智能手機(jī)、移動電話、移動上網(wǎng)裝置、小筆電與全球定位系統(tǒng)裝置或其他手持式裝置等的移動裝置。
[0026]如步驟3310，取得具有深度信息的至少一影像。類似地，在一些實施例中，影像與相應(yīng)的深度信息可以事先儲存于電子裝置之中。深度信息記錄影像中個別像素所相應(yīng)的深度值。在一些實施例中，電子裝置可以具有一影像擷取單元，如一雙鏡頭相機(jī)，其可以擷取一左影像與一右影像。深度信息可以依據(jù)左影像與右影像來計算。如步驟3320，影像被顯示于電子裝置的一顯示單元中。如步驟3330，透過一使用者界面接收影像中一感興趣區(qū)域的選擇。值得注意的是，在一些實施例中，顯示單元可以是一觸控式顯示單元，用以顯示使用者界面。使用者可以直接使用一輸入工具，如觸控筆或手指來透過觸控式顯示單元選擇感興趣區(qū)域。當(dāng)影像中的感興趣區(qū)域選擇之后，如步驟3340，由深度信息取得相應(yīng)此選定的感興趣區(qū)域的一第一深度值。注意的是，感興趣區(qū)域包括至少一像素。第一深度值是對應(yīng)至感興趣區(qū)域中的此像素。如步驟3350，第一深度值被對映至一影像效果的一第一效果位準(zhǔn)，且選定的感興趣區(qū)域被以第一效果位準(zhǔn)實施此影像效果。值得注意的是，在一些實施例中，電子裝置可以提供多個影像效果，且影像效果中的至少一者可以被選擇來進(jìn)行使用。注意的是，影像效果可以具有多個效果位準(zhǔn)。如步驟3360，由深度信息取得相應(yīng)選定的感興趣區(qū)域之外的至少一像素的一第二深度值。值得注意的是，在一些實施例中，第二深度值與第一深度值不同。如步驟3370，第二深度值被對映至影像效果的一第二效果位準(zhǔn)，且此像素被以第二效果位準(zhǔn)實施此影像效果。值得注意的是，在一些實施例中，第二效果位準(zhǔn)與第一效果位準(zhǔn)不同。注意的是，影像中個別像素的深度值可以由深度信息中取得，且影像效果的一相應(yīng)效果位準(zhǔn)可以依據(jù)此深度值來對映。接著，個別像素可以以對映的效果位準(zhǔn)來實施此影像效果。舉例來說，在一些實施例中，影像效果可以是一影像模糊效果，且以第一效果位準(zhǔn)實施影像模糊效果的選定的感興趣區(qū)域會比以第二效果位準(zhǔn)實施影像模糊效果的像素來的清楚。在一些實施例中，影像效果可以是一影像灰階效果，且以第一效果位準(zhǔn)實施影像模糊效果的選定的感興趣區(qū)域會比以第二效果位準(zhǔn)實施影像模糊效果的像素來的灰色。類似地，每一深度值可以對映至一特定效果位準(zhǔn)。在一些實施例中，深度值與效果位準(zhǔn)間的對映關(guān)系可以事先定義。在一些實施例中，一特定深度值可以先被設(shè)定為一既定效果位準(zhǔn)，且其他深度值可以根據(jù)既定效果位準(zhǔn)與他自己與特定深度值間的差來對映至特定的效果位準(zhǔn)。
[0027]圖4顯示依據(jù)本發(fā)明實施例的決定相應(yīng)影像中除了感興趣區(qū)域之外的一個別像素的一深度值的一效果位準(zhǔn)的方法。在此實施例中，影像中被選擇一感興趣區(qū)域。
[0028]如步驟3410，由深度信息取得相應(yīng)此選定的感興趣區(qū)域的一第一深度值，且此第一深度值被對映至一影像效果的一既定效果位準(zhǔn)。類似地，感興趣區(qū)域包括至少一像素，且第一深度值是對應(yīng)至感興趣區(qū)域中的此像素。如步驟3420，計算第一深度值與相應(yīng)影像中選定的感興趣區(qū)域之外的至少一像素所相應(yīng)的一第二深度值之間的差。接著，如步驟3430，根據(jù)既定效果位準(zhǔn)與此差，第二深度值被對映至影像效果的一特定效果位準(zhǔn)。值得注意的是，在一些實施例中，此差可以是一絕對值。在一例子中，位于一場景中心的一特定物件可以被選擇為影像的感興趣區(qū)域。在此影像中，在特定物件之前的一第一物件，具有由特定物件的深度值的一第一絕對差，且在特定物件之后的一第二物件，具有由特定物件的深度值的一第二絕對差。當(dāng)?shù)谝唤^對差等于第二絕對差時，影像中的第一物件與第二物件可以以相同的效果位準(zhǔn)實施影像效果。
[0029]圖5八中顯示一擷取影像500的例子。影像500包括站在擷取影像500的一相機(jī)前面的一個人510，且背景是一建筑物520與一風(fēng)景。圖58顯示相應(yīng)圖5八中影像的一深度圖，其中當(dāng)顏色較深時表示深度值較大。如圖58所示，風(fēng)景的深度值大于建筑物520的深度值，且建筑物520的深度值大于個人510的深度值。當(dāng)一影像模糊效果被使用，且影像500中個人510被選擇為感興趣區(qū)域時，個人510將會清楚，接近個人510 (感興趣區(qū)域)的效果位準(zhǔn)(模糊位準(zhǔn))將會比其他地區(qū)清楚，且風(fēng)景背景被模糊，如圖6八所示。當(dāng)影像500中的風(fēng)景背景被選擇為感興趣區(qū)域時，風(fēng)景背景將會清楚，接近風(fēng)景背景的效果位準(zhǔn)(模糊位準(zhǔn))將會比其他地區(qū)清楚，且個人510被模糊，如圖68所示。注意的是，在圖6八與圖68中，點的密度表示模糊位準(zhǔn)，其中當(dāng)點的密度高時模糊位準(zhǔn)是高(模糊)，且當(dāng)點的密度低時模糊位準(zhǔn)是低(清楚值得注意的是，在一些實施例中，多個影像效果可以同時地根據(jù)相應(yīng)的深度信息以各種效果位準(zhǔn)實施至影像。
[0030]因此，透過本案的依據(jù)深度信息的影像處理方法及系統(tǒng)可以以各種效果位準(zhǔn)實施至少一影像效果至具有深度信息的影像。使用者可以選擇影像中的感興趣區(qū)域，從而定義選定的感興趣區(qū)域的一預(yù)期效果位準(zhǔn)，且影像中其他區(qū)域/像素的效果位準(zhǔn)可以自動地根據(jù)深度信息來決定，從而增加操作的便利性。
[0031〕 本發(fā)明的方法，或特定型態(tài)或其部份，可以以程序碼的型態(tài)存在。程序碼可以包含于實體媒體，如軟盤、光盤片、硬盤、或是任何其他機(jī)器可讀取(如計算機(jī)可讀取)儲存媒體，亦或不限于外在形式的計算機(jī)程序產(chǎn)品，其中，當(dāng)程序碼被機(jī)器，如計算機(jī)載入且執(zhí)行時，此機(jī)器變成用以參與本發(fā)明的裝置。程序碼也可以透過一些傳送媒體，如電線或電纜、光纖、或是任何傳輸型態(tài)進(jìn)行傳送，其中，當(dāng)程序碼被機(jī)器，如計算機(jī)接收、載入且執(zhí)行時，此機(jī)器變成用以參與本發(fā)明的裝置。當(dāng)在一般用途處理單元實作時，程序碼結(jié)合處理單元提供一操作類似于應(yīng)用特定邏輯電路的獨特裝置。
[0032]雖然本發(fā)明已以較佳實施例揭露如上，然其并非用以限定本發(fā)明，任何熟悉此項技藝者，在不脫離本發(fā)明的精神和范圍內(nèi)，當(dāng)可做些許更動與潤飾，因此本發(fā)明的保護(hù)范圍當(dāng)視所附的權(quán)利要求書所界定的范圍為準(zhǔn)。
【權(quán)利要求】
1.一種依據(jù)深度信息的影像處理方法，其特征在于，適用于一電子裝置，該方法包括下列步驟: 取得具有深度信息的至少一影像； 顯示該影像于該電子裝置的一顯示單元中； 透過一使用者界面接收該影像中一感興趣區(qū)域的選擇； 由該深度信息取得相應(yīng)選定的該感興趣區(qū)域的一第一深度值； 對映該第一深度值至一影像效果的一第一效果位準(zhǔn)，其中該影像效果具有多個效果位準(zhǔn)；以及 依據(jù)該影像的該深度信息實施該影像效果至該影像，其中選定的該感興趣區(qū)域被以該第一效果位準(zhǔn)實施該影像效果。
2.根據(jù)權(quán)利要求1的依據(jù)深度信息的影像處理方法，其特征在于，該至少一影像包括一左影像與一右影像，且該深度信息是依據(jù)該左影像與該右影像來計算。
3.根據(jù)權(quán)利要求2的依據(jù)深度信息的影像處理方法，其特征在于，該左影像與該右影像是透過一雙鏡頭相機(jī)所擷取。
4.根據(jù)權(quán)利要求1的依據(jù)深度信息的影像處理方法，其特征在于，該顯示單元是一觸控式顯示單元,該使用者界面是顯示于該觸控式顯示單元,且相應(yīng)選定的該感興趣區(qū)域的選擇是透過該觸控式顯示單元接收。
5.根據(jù)權(quán)利要求1的依據(jù)深度信息的影像處理方法，其特征在于，還包括下列步驟: 由該深度信息取得相應(yīng)選定的該感興趣區(qū)域之外的至少一像素的一第二深度值，其中該第二深度值與該第一深度值不同；以及 對映該第二深度值至該影像效果的一第二效果位準(zhǔn)，其中該第二效果位準(zhǔn)與該第一效果位準(zhǔn)不同， 其中，當(dāng)該影像效果實施至該影像時，該像素被以該第二效果位準(zhǔn)實施該影像效果。
6.根據(jù)權(quán)利要求5的依據(jù)深度信息的影像處理方法，其特征在于，還包括下列步驟: 計算該第一深度值與該第二深度值的差；以及 根據(jù)該第一效果位準(zhǔn)與該差，對映該第二深度值至該影像效果的該第二效果位準(zhǔn)。
7.根據(jù)權(quán)利要求5的依據(jù)深度信息的影像處理方法，其特征在于，該影像效果包括一影像模糊效果，且該影像中實施該第一效果位準(zhǔn)的選定的該感興趣區(qū)域比該影像中實施該第二效果位準(zhǔn)的該像素清楚。
8.根據(jù)權(quán)利要求5的依據(jù)深度信息的影像處理方法，其特征在于，該影像效果包括一影像灰階效果，且該影像中實施該第一效果位準(zhǔn)的選定的該感興趣區(qū)域比該影像中實施該第二效果位準(zhǔn)的該像素灰色。
9.一種依據(jù)深度信息的影像處理系統(tǒng)，其特征在于，適用于一電子裝置，該影像處理系統(tǒng)包括: 一儲存單元，包括具有深度信息的至少一影像； 一顯示單元；以及 一處理單元，用以顯示該影像于該顯示單元中，透過一使用者界面接收該影像中一感興趣區(qū)域的選擇，由該深度信息取得相應(yīng)選定的該感興趣區(qū)域的一第一深度值，對映該第一深度值至一影像效果的一第一效果位準(zhǔn)，其中該影像效果具有多個效果位準(zhǔn)，且依據(jù)該影像的該深度信息實施該影像效果至該影像，其中選定的該感興趣區(qū)域被以該第一效果位準(zhǔn)實施該影像效果。
10.根據(jù)權(quán)利要求9的依據(jù)深度信息的影像處理系統(tǒng)，其特征在于，該至少一影像包括一左影像與一右影像，且該深度信息是依據(jù)該左影像與該右影像來計算。
【文檔編號】H04N13/04GK104349153SQ201410383375
【公開日】2015年2月11日 申請日期:2014年8月6日 優(yōu)先權(quán)日:2013年8月6日
【發(fā)明者】朱倫成 申請人:宏達(dá)國際電子股份有限公司