圍繞所確定的對(duì)象的像定界框或橢球這樣的形狀，來(lái)確定在解碼器側(cè)(例如，圖像處理設(shè)備100)用于選擇對(duì)象的邊界。自動(dòng)確定前景對(duì)象(以及選擇相應(yīng)的深度像素)可以使用以上描述的實(shí)施例來(lái)進(jìn)行，其中使用聚類(lèi)算法的自動(dòng)化過(guò)程確定前景對(duì)象。擬合例如圍繞所選擇的深度像素的定界框可以通過(guò)確定所選擇的深度像素(在X、Y和D維度上)的范圍并基于所述范圍擬合定界框來(lái)進(jìn)行。
[0083]可選地，圖像編碼設(shè)備生成包括局部和/或全局重新映射函數(shù)的元數(shù)據(jù)。局部和/或全局重新映射函數(shù)可以是以上描述的自動(dòng)化過(guò)程，其基于增大(多個(gè))前景對(duì)象與背景至今的深度對(duì)比度。
[0084]組合先前兩個(gè)段落，圖像編碼設(shè)備因此可以自動(dòng)地確定用于選擇前景對(duì)象和背景的邊界，自動(dòng)地確定局部/全局重新映射函數(shù)，將所確定的邊界和所確定的局部/全局重新映射函數(shù)包括在元數(shù)據(jù)中，并將元數(shù)據(jù)包括在信號(hào)中。
[0085]可替換地，圖像編碼設(shè)備通過(guò)將給定的三維圖像和相應(yīng)的給定的元數(shù)據(jù)一起包裹在信號(hào)中來(lái)組成信號(hào)。
[0086]類(lèi)比圖像處理設(shè)備100，公開(kāi)了一種圖像處理方法。圖像處理方法按照分別與圖像處理設(shè)備100的選擇功能、確定功能和重新映射功能執(zhí)行的方式相同的方式來(lái)執(zhí)行選擇、確定和重新映射。
[0087]另外，類(lèi)比如以上描述的圖像處理設(shè)備100，公開(kāi)了一種圖像編碼方法:該圖像編碼方法執(zhí)行圖像編碼設(shè)備的用于生成信號(hào)(具體地，元數(shù)據(jù))的步驟。
[0088]該圖像處理方法和/或圖像編碼方法可以以計(jì)算機(jī)程序的形式使用，所述計(jì)算機(jī)程序指令處理器執(zhí)行相應(yīng)的方法的步驟。計(jì)算機(jī)程序可以存儲(chǔ)在諸如DVD、CD或USB棒之類(lèi)的數(shù)據(jù)載體上。計(jì)算機(jī)程序產(chǎn)品可以運(yùn)行在個(gè)人計(jì)算機(jī)、筆記本電腦、智能電話(作為其上的app)上或編寫(xiě)系統(tǒng)上。
[0089]應(yīng)注意，以上提到的實(shí)施例例證說(shuō)明而非限制本發(fā)明，并且本領(lǐng)域技術(shù)人員在不脫離隨附的權(quán)利要求的范圍的情況下將能夠設(shè)計(jì)出許多可替換的實(shí)施例。
[0090]在權(quán)利要求中，置于圓括號(hào)之間的任何附圖標(biāo)記不應(yīng)被解釋為限制權(quán)利要求。動(dòng)詞“包括”及其詞形變化的使用不排除除權(quán)利要求中闡述的那些之外的元件或步驟的存在。元件之前的不定冠詞“一”或“一個(gè)”不排除多個(gè)這樣的元件的存在。本發(fā)明可以借助于包括若干不同元件的硬件以及借助于適當(dāng)編程的計(jì)算機(jī)而實(shí)現(xiàn)。在枚舉若干裝置的設(shè)備權(quán)利要求中，這些裝置中的若干可以由同一個(gè)硬件項(xiàng)體現(xiàn)。在相互不同的從屬權(quán)利要求中闡述某些措施的僅有事實(shí)不指示這些措施的組合不能用于獲益。
【主權(quán)項(xiàng)】
1.布置用于重新映射三維圖像的深度圖(101)的圖像處理設(shè)備(100)， -三維圖像包括深度圖和二維內(nèi)容圖像， -深度圖具有在與內(nèi)容圖像中圖像像素的位置相對(duì)應(yīng)的位置(201，202)處配置在二維陣列中的深度像素， -每個(gè)深度像素具有深度值(203)， -所述重新映射包括用于將深度圖的深度值映射到新深度值(131)的全局重新映射函數(shù)(122)， 所述圖像處理設(shè)備包括 接收單元(150)，其用于接收包括三維圖像和耦合到三維圖像的元數(shù)據(jù)的信號(hào)，元數(shù)據(jù)包括基于至少位置和深度值的選擇準(zhǔn)則以用于選擇與三維圖像中的至少一個(gè)對(duì)象相對(duì)應(yīng)的深度像素，以及 處理單元(199)，其包括 -選擇功能(110)，其配置成從元數(shù)據(jù)檢索選擇準(zhǔn)則并使用選擇準(zhǔn)則來(lái)選擇與三維圖像中的至少一個(gè)對(duì)象相對(duì)應(yīng)的深度像素(112); -確定功能(120)，其配置成確定用于將所選擇的深度像素的深度值映射到新深度值的局部重新映射函數(shù)(121);以及 -映射功能(130)，其配置成通過(guò)將局部重新映射函數(shù)用于重新映射所選擇的深度像素并將全局重新映射函數(shù)用于除了所選擇的深度像素以外的深度像素來(lái)重新映射深度圖。2.權(quán)利要求1的圖像處理設(shè)備，其中，處理單元布置用于從元數(shù)據(jù)檢索用于確定局部重新映射函數(shù)的數(shù)據(jù)。3.權(quán)利要求1的圖像處理設(shè)備，其中，選擇準(zhǔn)則包括在位置(201，202)和深度值(203)方面的邊界(221xy，221xd)，并且選擇功能配置成選擇處于所述邊界內(nèi)的深度像素。4.權(quán)利要求3的圖像處理設(shè)備，其中 邊界限定三維閉合體積，所述三維閉合體積具有 -與深度值相對(duì)應(yīng)的第一維度，以及 -與位置相對(duì)應(yīng)的第二維度和第三維度。5.權(quán)利要求4的圖像處理設(shè)備，其中，三維閉合體積由多個(gè)體積(322-323)形成，所述多個(gè)體積中的每一個(gè)具有多個(gè)形狀之一，所述多個(gè)形狀包括框、橢球、球體、立方體和平行六面體。6.權(quán)利要求3的圖像處理設(shè)備，其中，邊界由具有至少兩個(gè)維度的定界框(231xd)限定， -兩個(gè)維度中的第一維度與深度值相對(duì)應(yīng)，并且 -兩個(gè)維度中的第二維度與位置相對(duì)應(yīng)。7.權(quán)利要求3的圖像處理設(shè)備，其中 三維圖像對(duì)應(yīng)于三維視頻的視頻幀，并且選擇功能配置成通過(guò)使用運(yùn)動(dòng)矢量從與三維視頻的另一視頻幀相對(duì)應(yīng)的其他邊界的位置進(jìn)行外推來(lái)確定所述邊界的位置。8.權(quán)利要求1的圖像處理設(shè)備，其中 選擇功能配置成使用作另外的選擇準(zhǔn)則來(lái)選擇深度像素，所述另外的選擇準(zhǔn)則是包圍每個(gè)所選擇的深度像素的預(yù)定尺寸的體積包含超過(guò)預(yù)定量的深度像素量。9.權(quán)利要求1的圖像處理設(shè)備，其中 選擇功能配置成使用作為另外的選擇準(zhǔn)則來(lái)選擇深度像素，所述另外的選擇準(zhǔn)則是所選擇的深度像素在位置和深度值方面形成簇。10.權(quán)利要求1的圖像處理設(shè)備，其中，確定功能配置成確定局部重新映射函數(shù)使得根據(jù)局部重新映射函數(shù)重映射深度圖增大對(duì)應(yīng)于至少一個(gè)對(duì)象的所選擇的深度像素與深度圖中的其他深度像素之間的深度對(duì)比度， 深度對(duì)比度是相對(duì)于深度范圍而言所選擇的深度像素的深度值的均值與其他深度像素的深度值的均值之間的差值，所述深度范圍是在映射之前的輸入深度范圍和在重新映射之后的輸出深度范圍。11.權(quán)利要求1的圖像處理設(shè)備，其中，包括重新映射的深度圖的三維圖像用于在三維顯示器上觀看，并且 確定功能配置成確定用于將所選擇的深度像素的深度值映射到新深度值的局部重新映射函數(shù)，所述新深度值與在三維顯示器的預(yù)定的視察范圍中的相應(yīng)新視差值相對(duì)應(yīng)。12.用于如在權(quán)利要求1至11中任一項(xiàng)權(quán)利要求所要求保護(hù)的圖像處理設(shè)備(100)中使用以用于重新映射深度圖(101)的信號(hào)，所述信號(hào)包括三維圖像和耦合到三維圖像的元數(shù)據(jù)， -三維圖像包括深度圖和二維內(nèi)容圖像，深度圖具有在與內(nèi)容圖像中圖像像素的位置相對(duì)應(yīng)的位置(201，202)處配置在二維陣列中的深度像素，每個(gè)深度像素具有深度值(203)， -元數(shù)據(jù)包括基于至少位置和深度值的選擇準(zhǔn)則以用于選擇與三維圖像中的至少一個(gè)對(duì)象相對(duì)應(yīng)的深度像素從而將所選擇的深度像素的深度值映射到新深度值。13.用于重新映射三維圖像的深度圖(101)的圖像處理方法， 三維圖像包括深度圖和二維內(nèi)容圖像， 深度圖具有在與內(nèi)容圖像中圖像像素的位置相對(duì)應(yīng)的位置(201，202)處配置在二維陣列中的深度像素， 每個(gè)深度像素具有深度值(203)， 所述重新映射包括用于將深度圖的深度值映射到新深度值(131)的全局重新映射函數(shù)(122)， 所述圖像處理方法包括步驟: -接收包括三維圖像和耦合到三維圖像的元數(shù)據(jù)的信號(hào)，元數(shù)據(jù)包括基于至少位置和深度值的選擇準(zhǔn)則以用于選擇與三維圖像中的至少一個(gè)對(duì)象相對(duì)應(yīng)的深度像素， -從元數(shù)據(jù)檢索選擇準(zhǔn)則， -使用選擇準(zhǔn)則來(lái)選擇與三維圖像中的至少一個(gè)對(duì)象相對(duì)應(yīng)的深度像素(112);以及 -確定用于將所選擇的深度像素的深度值映射到新深度值的局部重新映射函數(shù)(121);以及 -通過(guò)將局部重新映射函數(shù)用于重新映射所選擇的深度像素并將全局重新映射函數(shù)用于除了所選擇的深度像素以外的深度像素來(lái)重新映射深度圖。14.用于生成供在權(quán)利要求12的信號(hào)中使用的元數(shù)據(jù)的圖像編碼方法，所述方法包括步驟: -生成元數(shù)據(jù)，所述元數(shù)據(jù)包括基于至少位置和深度值的選擇準(zhǔn)則以用于選擇與三維圖像中的至少一個(gè)對(duì)象相對(duì)應(yīng)的深度像素(112)從而將所選擇的深度像素的深度值映射到新深度值，以及 -將元數(shù)據(jù)耦合到三維圖像。15.—種計(jì)算機(jī)程序產(chǎn)品，其包括用于使處理器根據(jù)權(quán)利要求13或權(quán)利要求14的方法執(zhí)行選擇、確定和重新映射的指令。
【專利摘要】公開(kāi)了布置用于重新映射深度圖（101）的圖像處理設(shè)備（100）。3D圖像包括深度圖和內(nèi)容圖像。深度圖具有在2D陣列中的深度像素。每個(gè)深度像素具有深度值（203）和位置（201，202）。所述重新映射包括全局重新映射函數(shù)（122）。圖像處理設(shè)備包括處理單元（199），其包括：選擇功能（110），其用于使用基于至少位置和深度值的選擇準(zhǔn)則來(lái)選擇與三維圖像中的至少一個(gè)對(duì)象相對(duì)應(yīng)的深度像素（112）；確定功能（120），其用于確定用于重新映射對(duì)象的局部重新映射函數(shù)（121）；以及映射功能（130），其用于通過(guò)將局部重新映射函數(shù)用于重新映射所選擇的深度像素并將全局重新映射函數(shù)用于其他深度像素來(lái)重新映射深度圖。使用經(jīng)由耦合到3D圖像的元數(shù)據(jù)而提供的選擇準(zhǔn)則來(lái)選擇所述對(duì)象。
【IPC分類(lèi)】H04N13/00
【公開(kāi)號(hào)】CN105612742
【申請(qǐng)?zhí)枴緾N201480056592
【發(fā)明人】Z.原, W.H.A.布魯斯, W.德哈安
【申請(qǐng)人】皇家飛利浦有限公司
【公開(kāi)日】2016年5月25日
【申請(qǐng)日】2014年10月14日
【公告號(hào)】CA2927076A1, WO2015055607A2, WO2015055607A3