專利名稱：用于檢測差異的方法和設(shè)備的制作方法
技術(shù)領(lǐng)域：
本發(fā)明一般地涉及用于檢測差異(disparity)的方法和設(shè)備。
背景技術(shù)：
由于3D電視和電影變得越來越流行，3D編輯效果正被越來越多地使用。一種常用的2D效果是在2D中將一幅圖像復(fù)用成另一第二圖像。圖3示出其示例，其中第一圖像300和第二圖像305被混合在一起。如結(jié)果圖像310中所見，來自第一圖像300的玩具熊和房子出現(xiàn)在第二圖像305中的面具上方。為了實(shí)現(xiàn)這種效果，每個(gè)圖像中的每個(gè)像素的深度圖被使用，以確保物品在結(jié)果圖像中出現(xiàn)的位置正確。重要的是確保當(dāng)兩個(gè)場景被編輯到一起時(shí)，混合圖像中的物品呈現(xiàn)在正確的物理空間中。換言之，需要知道哪個(gè)物品應(yīng)該被放在前景，哪個(gè)應(yīng)該被放在背景。圖1示出用于實(shí)現(xiàn)此的現(xiàn)有技術(shù)設(shè)備。在圖1中，第一圖像300和相應(yīng)的第一深度圖1010被饋送到混合設(shè)備1000。另外，第二圖像305和相應(yīng)的深度圖1020也被饋送到混合設(shè)備1000。在圖比較器1025中，來自第一和第二深度圖1010和1020的每個(gè)像素的深度被比較。該比較使得每個(gè)像素在結(jié)果圖像中被正確地放置。換言之，從深度圖可以判斷來自第一圖像的像素是應(yīng)該被放在來自第二圖像的相應(yīng)像素的后面還是前面。在每個(gè)像素位置上，圖比較器1025指導(dǎo)復(fù)用器1035選擇顯示來自第一圖像300的像素還是來自第二圖像305的像素。這生成混合圖像310。此外，圖比較器1025選擇與所選像素相對應(yīng)的深度。該深度值被饋送到混合設(shè)備1000之外并形成混合圖像的結(jié)果深度圖1045。如上所述，由于3D編輯被更加頻繁地需要，存在適配該技術(shù)以用于3D編輯的需求。本發(fā)明的目的在于試圖將上述混合技術(shù)適配到3D情形。

發(fā)明內(nèi)容
根據(jù)本發(fā)明的第一方面，提供了一種檢測在拍攝同一場景的第一和第二圖像中的相應(yīng)像素位置之間的差異的方法，所述第一和第二圖像可被視為使用平行鏡頭布置拍攝的立體圖像，所述方法包括以下步驟確定跨越所述第一圖像的一部分的圖像屬性的多個(gè)變化點(diǎn)的像素位置；確定跨越所述第二圖像的相應(yīng)部分的所述圖像屬性的多個(gè)變化點(diǎn)的像素位置；將所述第一圖像中的所述變化點(diǎn)之一的位置與所述第二圖像的所述多個(gè)變化點(diǎn)的位置的子集相比較，其中所述子集是根據(jù)所述第二圖像中的所述變化點(diǎn)的像素位置相對于所述第一圖像中的所述變化點(diǎn)之一的像素位置來確定的；確定像素位置與所述第一圖像中的所述變化點(diǎn)相鄰的像素和與在所述子集中的每個(gè)變化點(diǎn)相鄰的相應(yīng)像素之間的相似性；以及根據(jù)所確定的像素的相似性來獲得所述差異。這因?yàn)樵试S確定圖像中的被部分遮擋的對象因此是有益的。所述子集可以被確定為在第一圖像中的變化點(diǎn)之一的預(yù)定數(shù)目的像素之內(nèi)。
預(yù)定數(shù)目的像素可以根據(jù)所拍攝的場景的深度預(yù)算來確定。所述方法可以包括定義在所述第一圖像中的所述一個(gè)變化點(diǎn)與所述第一圖像中的相鄰的第二變化點(diǎn)之間的不遮擋分段，其中與所述一個(gè)變化點(diǎn)相鄰的像素和與所述第二變化點(diǎn)相鄰的像素與在所述子集中、與在閾值以上的相應(yīng)變化點(diǎn)相鄰的像素具有相似性； 并且，將根據(jù)預(yù)定標(biāo)準(zhǔn)與所述不遮擋分段相鄰的分段定義為部分遮擋的部分。所述方法可以包括確定在所述第一圖像中的、所述部分遮擋的部分中的像素與在所述第二圖像中的、在相對所述第一圖像中的所述部分遮擋的部分中的像素被水平位移的像素位置上的像素之間的圖像屬性的相似性；確定所述部分遮擋的部分的各個(gè)末端，作為與具有大于閾值的相似性的、定義所述部分遮擋的部分的各個(gè)變化點(diǎn)最靠近的像素。所述方法可以包括定義在所述部分遮擋的部分的各個(gè)末端處的像素之間的直線，其中在所述部分遮擋的部分的任意像素位置上的差異是根據(jù)所定義的直線來確定的。根據(jù)另一方面，提供了一種包含計(jì)算機(jī)可讀指令的計(jì)算機(jī)程序，所述計(jì)算機(jī)可讀指令在被加載到計(jì)算機(jī)上時(shí)，將計(jì)算機(jī)配置為執(zhí)行前述任意一項(xiàng)所描述的方法。根據(jù)另一方面，提供了一種用于檢測在拍攝同一場景的第一和第二圖像中的相應(yīng)像素位置之間的差異的設(shè)備，所述第一和第二圖像可被視為使用平行鏡頭布置拍攝的立體圖像，所述設(shè)備包括確定器，可操作用于確定跨越所述第一圖像的一部分的圖像屬性的多個(gè)變化點(diǎn)的像素位置，以及確定跨越所述第二圖像的相應(yīng)部分的所述圖像屬性的多個(gè)變化點(diǎn)的像素位置；比較器，可操作用于將所述第一圖像中的所述變化點(diǎn)之一的位置與所述第二圖像的所述多個(gè)變化點(diǎn)的位置的子集相比較，其中所述子集是根據(jù)所述第二圖像中的所述變化點(diǎn)的像素位置相對于所述第一圖像中的所述變化點(diǎn)之一的像素位置來確定的；其中，所述確定器可操作用于確定像素位置與所述第一圖像中的所述變化點(diǎn)相鄰的像素和與在所述子集中的每個(gè)變化點(diǎn)相鄰的相應(yīng)像素之間的相似性；以及獲取器，可操作用于根據(jù)所確定的像素的相似性來獲得所述差異。所述子集可以被確定為在第一圖像中的變化點(diǎn)之一的預(yù)定數(shù)目的像素之內(nèi)。所述預(yù)定數(shù)目的像素是根據(jù)所拍攝的場景的深度預(yù)算來確定的。所述設(shè)備可以包括定義器，可操作用于定義在所述第一圖像中的所述一個(gè)變化點(diǎn)與所述第一圖像中的相鄰的第二變化點(diǎn)之間的不遮擋分段，其中與所述一個(gè)變化點(diǎn)相鄰的像素和與所述第二變化點(diǎn)相鄰的像素與在所述子集中、與在閾值以上的相應(yīng)變化點(diǎn)相鄰的像素具有相似性；并且，用于將根據(jù)預(yù)定標(biāo)準(zhǔn)與所述不遮擋分段相鄰的分段定義為部分遮擋的部分。所述確定器可操作用于確定在所述第一圖像中的、所述部分遮擋的部分中的像素與在所述第二圖像中的、在相對所述第一圖像中的所述部分遮擋的部分中的像素被水平位移的像素位置上的像素之間的圖像屬性的相似性；并且用于確定所述部分遮擋的部分的各個(gè)末端，作為與具有大于閾值的相似性的、定義所述部分遮擋的部分的各個(gè)變化點(diǎn)最靠近的像素。所述定義器可操作用于定義在所述部分遮擋的部分的各個(gè)末端處的像素之間的直線，其中在所述部分遮擋的部分的任意像素位置上的差異是根據(jù)所定義的直線來確定的。


通過結(jié)合附圖閱讀以下對示例性實(shí)施例的詳細(xì)描述，本發(fā)明的以上和其他目的、 特征和優(yōu)點(diǎn)將變得明顯。圖1示出用于2D圖像信號的現(xiàn)有技術(shù)復(fù)用設(shè)備；圖2示出用于3D圖像信號的復(fù)用設(shè)備；圖3示出來自圖1的設(shè)備的現(xiàn)有技術(shù)結(jié)果圖像信號；圖4示出來自圖2的設(shè)備的結(jié)果圖像信號；圖5示出根據(jù)本發(fā)明實(shí)施例的用于3D圖像信號的復(fù)用設(shè)備；圖6示出圖5的復(fù)用協(xié)調(diào)器的更詳細(xì)示圖；圖7示出根據(jù)本發(fā)明實(shí)施例示出差異圖(disparity map)的生成的詳細(xì)示圖；圖8示出根據(jù)本發(fā)明實(shí)施例用于差異圖的生成的掃描線的詳細(xì)示圖；以及圖9示出水平位置-相異點(diǎn)矩陣的詳細(xì)示圖，其示出一部分遮擋對象。
具體實(shí)施例方式圖2示出可以在3D情形中實(shí)現(xiàn)上述混合技術(shù)的設(shè)備。在3D情形中，第一圖像300 具有左眼圖像300A和右眼圖像300B。左眼圖像是第一圖像針對觀看者左眼的版本，右眼圖像是第一圖像針對觀看者右眼的版本。左眼圖像300A是右眼圖像300B的水平位移版本。 在各種其他方面，對于沒有遮擋區(qū)域(occluded area)的理想情形，左眼圖像和右眼圖像是相同的。在確定每個(gè)圖像中的每個(gè)像素的深度的情況下，有可能有兩種做法。第一種是生成每個(gè)圖像的深度圖。這為圖像中的每個(gè)像素提供一深度值。第二種是生成差異圖，差異圖提供了關(guān)于左眼圖像300A和右眼圖像300B中的像素之間的差別的細(xì)節(jié)。在圖2的示例中，為左眼圖像提供深度圖1010A，為右眼圖像提供深度圖1010B。根據(jù)這些深度圖，可以計(jì)算提供了左眼圖像和右眼圖像中的相應(yīng)像素之間的像素位置差別的差異圖。但是，本領(lǐng)域技術(shù)人員將意識到，為了計(jì)算差異圖，諸如場角和瞳孔間距離之類的相機(jī)參數(shù)也是需要的。類似地，第二圖像305具有針對觀看者左眼的左眼圖像305A和針對觀看者右眼的右眼圖像305B。同樣，針對左眼圖像和右眼圖像中的每個(gè)的深度圖在1020A和1020B中提供。因此，為了實(shí)現(xiàn)3D中的混合編輯，使用圖1的兩個(gè)2D設(shè)備1000。這種布置如圖2詳細(xì)示出。在圖2中，示出生成左眼圖像的混合設(shè)備1000A和生成右眼圖像的混合設(shè)備 IOOOB0理想地，對于無遮閉對象，左眼圖像和右眼圖像除了水平位移之外是相同的。第一圖像的左眼版本的深度圖1010A和第二圖像的左眼版本的深度圖1020A被提供到用于左眼圖像的混合設(shè)備。類似地，第一圖像的右眼版本的深度圖1010B和第二圖像的右眼版本的深度圖1020B被提供到混合設(shè)備1000B。當(dāng)?shù)诙D像的左眼版本和第二圖像的右眼版本是同一場景時(shí)，該場景中的所有對象都應(yīng)該具有相同的深度。但是，第一和第二圖像的左眼版本以及第一和第二圖像的右眼版本中的每一個(gè)的深度圖都是相互獨(dú)立的生成的。由于深度圖不總是完全精確，因此圖2的布置具有如圖4所示先前未意識到的問題，該問題已被解決。在由混合設(shè)備1000A所創(chuàng)建的混合左眼圖像中，在來自第一圖像300A的房子和來自第二圖像305A的面具之間的邊界附近的像素處，混合深度圖可能采取來自第一圖像的深度圖的在該點(diǎn)上的值。但是，在混合右眼圖像中的相應(yīng)像素處，混合深度圖可能采取來自第二圖像的深度圖的值。結(jié)果圖像如圖4所示。具體講，在圖4中，示出面具與房子交叉的區(qū)域被詳細(xì)示出。在混合左眼圖像310A 中，房子和面具之間的邊界具有一種輪廓G05A，410A)。但是，在混合右眼圖像310B中，雖然房子和面具之間的邊界(405B，410B)除了水平位移之外應(yīng)該是相同的，但是該邊界并非如此。這意味著在一只眼睛中的邊界的某些部分中，面具將看起來在房子前面，而在另一只眼睛中的邊界的相同部分中，面具將看起來在房子后面。這種差異將導(dǎo)致觀看者在觀看3D 圖像時(shí)感覺不舒服。本發(fā)明的實(shí)施例致力于解決該問題。此外，如果為每個(gè)圖像所創(chuàng)建的深度圖都是精確的，則這些深度圖在計(jì)算上是昂貴的，難以生成。清楚的是，為了提高用戶的享受并幫助避免在圖像中發(fā)生差異，進(jìn)一步提高深度圖的精確度是有益的。解決該問題也是本發(fā)明實(shí)施例的一個(gè)目標(biāo)。圖5的設(shè)備示出根據(jù)本發(fā)明實(shí)施例的用于3D圖像的復(fù)用設(shè)備500。在圖5中，相同標(biāo)號指代參考圖2說明的相同特征。相同特征的功能將不再說明。如根據(jù)圖5所見，根據(jù)本發(fā)明實(shí)施例的設(shè)備包含圖2的所有特征，還包含一額外的復(fù)用協(xié)調(diào)器600。另外，復(fù)用協(xié)調(diào)器600的功能意味著左眼圖像的混合深度圖5045A和右眼圖像的混合深度圖5045B以及結(jié)果左眼混合圖像510A和結(jié)果右眼混合圖像510B將與圖2 不同。復(fù)用協(xié)調(diào)器600被連接到左眼混合設(shè)備100A和右眼混合設(shè)備100B兩者。復(fù)用協(xié)調(diào)器600的功能將參考圖6來描述。復(fù)用協(xié)調(diào)器600收到第一圖像的左眼版本的深度圖605和第二圖像的左眼版本的深度圖610。類似地，復(fù)用協(xié)調(diào)器600收到第一圖像的右眼版本的深度圖615和第二圖像的右眼版本的深度圖620。關(guān)于產(chǎn)生差異圖(從該差異圖創(chuàng)建深度圖)的詳細(xì)描述隨后提供，但是應(yīng)該注意到，本發(fā)明不局限于此，任何適當(dāng)產(chǎn)生的深度圖或差異圖都可被用于本發(fā)明的實(shí)施例。本領(lǐng)域技術(shù)人員將意識到，雖然前面參考深度圖進(jìn)行了說明，但是需要包括在左眼圖像和右眼圖像中每一個(gè)中選擇相應(yīng)像素的邏輯。換言之，左眼圖像和右眼圖像相對彼此位移，因此圖6中包括(但未示出)確定哪些像素對應(yīng)于另外哪些像素的邏輯。這種邏輯是已知的，因此將不作說明。在此情況下，深度信息可以是差異信息。在左眼圖像的深度比較器625中，第一圖像的左眼版本的深度圖605與第二圖像的左眼版本的深度圖610相比較。左眼圖像的深度比較器625針對沿掃描線的每個(gè)像素位置確定結(jié)果左眼圖像應(yīng)該以來自第一圖像的左眼版本的適當(dāng)像素還是以來自第二圖像的左眼版本的適當(dāng)像素作為前景像素。類似地，右眼圖像的深度比較器630針對每個(gè)像素位置(例如，沿掃描線)確定結(jié)果右眼圖像應(yīng)該以來自第一圖像的右眼版本的適當(dāng)像素還是以來自第二圖像的右眼版本的適當(dāng)像素作為前景像素。應(yīng)該注意，雖然前面指出掃描線，但是本發(fā)明并不局限于此。每個(gè)比較器的輸出可以是指示深度值差值的深度值?？商鎿Q地，來自每個(gè)比較器的輸出可以是向隨后的復(fù)用控制器635指示每個(gè)比較器選擇哪個(gè)深度圖的任意其他類型的值。例如，來自每個(gè)深度比較器的輸出可以是1或0，用于標(biāo)識應(yīng)該使用哪個(gè)深度圖。由左眼圖像的深度比較器625作出的選擇和右眼圖像的深度比較器630作出的選擇被輸入到復(fù)用控制器635。復(fù)用控制器635的輸出是控制用于左眼的混合設(shè)備100A和用于右眼的混合設(shè)備100B來針對每個(gè)相應(yīng)的像素對使用相同像素作為前景像素的信號。換言之，在左眼結(jié)果圖像中像素的感覺深度和在右眼結(jié)果圖像中的相應(yīng)(或者說被水平位移的)像素的感覺深度是相同的。這解決了上述在混合圖像的左右眼版本中的相應(yīng)像素具有不同深度并因此不同像素被用作前景像素的問題。當(dāng)對于給定像素的深度圖存在不同意見時(shí)，復(fù)用控制器635選擇深度圖之一作為像素的深度。這取決于來自每個(gè)比較器的輸出的值。在一個(gè)實(shí)施例中，復(fù)用控制器635將該深度值應(yīng)用到另一混合設(shè)備中的像素?？商鎿Q地，輸出像素可以單純地基于來自每個(gè)比較器的輸出來選擇。為了生成深度信號，復(fù)用控制器635可以按多種不同方式工作。首先，復(fù)用控制器 635可以簡單地從第一圖像的版本之一選擇一個(gè)深度圖值并將其用作第一圖像的另一版本中的深度。類似地，復(fù)用控制器635可以簡單地從第二圖像的版本之一選擇一個(gè)深度圖值并將其用作第二圖像的另一版本中的深度?？商鎿Q地，復(fù)用控制器635可以計(jì)算每個(gè)結(jié)果的深度誤差并選擇具有最低誤差的深度。用于確定深度誤差的技術(shù)是本領(lǐng)域技術(shù)人員已知的。另外，選擇可以是隨機(jī)的。可替換地，可以將同一深度值用于預(yù)定數(shù)目個(gè)連續(xù)的幀。這將消除在連續(xù)幀之間改變前景像素所造成的不舒服。具有最低強(qiáng)度的像素可以被選為前景對象。這再次消除用戶的不舒服之感。作為另一替換，可以選擇作為兩個(gè)相異值的平均值的深度作為相應(yīng)像素的深度。如果復(fù)用控制器635簡單地基于比較器的輸出選擇正確的像素，則可以發(fā)布指導(dǎo)各個(gè)混合器100A和100B使用同一像素的簡單指令。雖然以上描述參考混合兩個(gè)3D圖像，但是本發(fā)明并不局限于此。例如，可以使用上述技術(shù)將一 2D圖像(例如，徽標(biāo))與一 3D圖像相混合。對于2D圖像中的每個(gè)像素提供一深度。確實(shí)，利用以上技術(shù)可以將兩個(gè)圖像使用深度平面編輯到一起。例如，一個(gè)圖像可以使用深度平面劃入(wipe)第二圖像。下面，這將被稱為“ζ劃入(z-wipe) ”。Z 劃入雖然前面已經(jīng)參考立體對進(jìn)行了說明，但是并不局限于在為將被混合到一起的兩個(gè)圖像給定一深度圖的情況下選擇前景像素。通過使用深度平面信息混合兩個(gè)圖像，可以使用圖像的深度平面來執(zhí)行各種效果。例如，可以使用深度平面從一個(gè)圖像劃入另一圖像。 換言之，可以創(chuàng)建一種編輯技術(shù)，其中向觀看者呈現(xiàn)出一個(gè)圖像從后面混入另一圖像。另外，可以僅僅在深度平面中的某個(gè)位置上從一個(gè)圖像劃入另一圖像?？商鎿Q地，可以使用深度平面作為用于編輯效果的鍵(key)。例如，可以僅在一個(gè)深度值上將一個(gè)圖像放在另一圖像上方。這在使用目前的色度鍵控(chroma keying)(常稱為藍(lán)色或綠色屏蔽)的現(xiàn)場廣播期間可以是有用的。一幅圖像(例如天氣圖)被放在一深度位置上，上述技術(shù)將針對每個(gè)像素位置選擇是以天氣預(yù)報(bào)員的圖像還是以天氣圖的圖像為前景。清楚的是，本領(lǐng)域技術(shù)人員將意識到，可以使用深度平面設(shè)想很多其他編輯技術(shù)。深度圖生成如上所述，在本發(fā)明的實(shí)施例中，深度圖將被生成。圖像中每個(gè)像素點(diǎn)的深度可以使用多種預(yù)定算法來生成，例如尺寸不變特征轉(zhuǎn)換(SIFT)。但是，這些深度圖或者是填充地非常密并且精確但生成起來很慢，或者填充得不那么密但可以快速而且計(jì)算上高效地生成。因此，存在一種提高所產(chǎn)生的深度圖的精確度和密度，同時(shí)仍舊確保深度圖被計(jì)算上高效地產(chǎn)生的需求。本發(fā)明實(shí)施例的一個(gè)目的是解決該問題。圖7示出使用具有平行鏡頭布置的立體相機(jī)拍攝的立體圖像對700。在左眼圖像 705中，存在立方體720A和圓柱體715A。將發(fā)現(xiàn)，根據(jù)左眼圖像705，圓柱體715A被立方體 720A稍稍遮擋。換言之，在左眼圖像705中，立方體720A位于圓柱體715A前面，并稍微阻礙左眼圖像705看到圓柱體715A的一部分。右眼圖像710拍攝與左眼圖像705相同的場景但是從稍稍不同的角度?？梢钥匆?，立方體720B仍舊位于圓柱體715B的前面，但是在右眼圖像710中，立方體720B沒有遮擋圓柱體715B。實(shí)際上，在立方體720B和圓柱體715B 之間存在一小部分背景740B。還將看見，立方體的左面725A在左眼圖像705中是可見的， 但在右眼圖像710中不可見。類似地，立方體的右面725B在右眼圖像710中是可見的，但在左眼圖像705中不可見。為了確定左眼圖像705和右眼圖像710中的每個(gè)像素的深度，需要確定相應(yīng)像素之間的差異。換言之，在左眼圖像705中的一個(gè)像素位置將與場景的一部分相對應(yīng)。該場景的同一部分在右眼圖像710中將在與左眼圖像705中的像素位置不同的像素位置上。在多個(gè)像素中的差值被稱為差異并將從拍攝圖像的相機(jī)給出場景的該部分的深度指示。這在整個(gè)圖像上提供該圖像的深度圖。在本發(fā)明的實(shí)施例中，從左眼圖像730A和右眼圖像730B采取同一掃描線。使用同一掃描線的原因在于在立體圖像中，在極線矯正圖像(bipolar rectified image)中應(yīng)該僅存在水平差異。換言之，左眼圖像和右眼圖像應(yīng)該是垂直相合的，僅在水平方向上發(fā)生差異。應(yīng)該注意，為了確?？梢允褂脙H一條像素掃描線，圖像在預(yù)處理期間被經(jīng)過極線矯正。但是，本發(fā)明并不局限于此?？梢栽O(shè)想，雖然將描述具有一個(gè)像素深的一條掃描線，但是本發(fā)明并不局限于此，任意深度的掃描線都可以被使用。更深的掃描線可以用來增大結(jié)果的穩(wěn)定性。圖8示出左眼掃描線735A和右眼掃描線735B的結(jié)果。從左眼掃描線735A可以看出，在χ方向上看，背景在點(diǎn)PLl改變到立方體的左面725A。立方體的左面725A在點(diǎn)PL2 改變到立方體的前面720A。立方體的前面720A在點(diǎn)PL3改變到圓柱體715A。圓柱體715A 在點(diǎn)PL4再次改變到背景。從右眼掃描線735B可以看出，在χ方向上看，背景在點(diǎn)PRl改變到立方體的前面 720B。立方體的前面720B在點(diǎn)PR2改變到立方體的右面725B。立方體的右面725B在點(diǎn) PR3改變到背景。背景在點(diǎn)PR4改變到圓柱體715B并且圓柱體715B在點(diǎn)PR5改變到背景。在左眼圖像中，點(diǎn)PLl到PL4被檢測，并且在右眼圖像中，點(diǎn)PRl到PR5被檢測。 為了檢測這些點(diǎn)，水平相鄰像素之間的強(qiáng)度變化被測量。如果強(qiáng)度變化大于閾值，則檢測到點(diǎn)。雖然在實(shí)施例中使用強(qiáng)度差，但是本發(fā)明并不局限于此，并且亮度或顏色或其實(shí)任意圖像屬性變化都可以被用來檢測變化點(diǎn)。確定變化點(diǎn)的方法在現(xiàn)有技術(shù)中已有，因此將不作描述。接下來需要檢測在左眼和右眼掃描線中哪些分段對應(yīng)于最前面的對象，即，與相機(jī)最靠近的對象。在圖7的示例中，左眼圖像705中的分段720A和右眼圖像710中的分段720B 需要被檢測。這是因?yàn)閳D像中最前面的對象將不會在左眼或右眼圖像中被遮擋，當(dāng)然，這里假設(shè)最前面對象的任意分段不會超出掃描線之外。
為了減少確定相應(yīng)分段所需的計(jì)算量，在左眼圖像中的每個(gè)變化點(diǎn)(PLl到PL4) 和右眼圖像中的每個(gè)變化點(diǎn)(PRl到冊5)之間的差異被確定。這在圖8中可以更好地看出。 該差異的確定使得無法彼此對應(yīng)的某些分段能夠在計(jì)算對應(yīng)像素時(shí)被忽略。參考左眼圖像的掃描線上的變化點(diǎn)的位置，只有出現(xiàn)在右眼圖像的掃描線中的對應(yīng)位置的左手邊的變化點(diǎn)可以對應(yīng)于左眼圖像中的變化點(diǎn)。因此，當(dāng)比較左眼掃描線中的變化點(diǎn)時(shí)，將僅僅比較在右眼圖像中的變化點(diǎn)的左手邊的變化點(diǎn)。例如，當(dāng)發(fā)現(xiàn)右眼掃描線中對應(yīng)于變化點(diǎn)PL2的變化點(diǎn)時(shí)，只有PRl可以是相應(yīng)的變化點(diǎn)。類似地，當(dāng)發(fā)現(xiàn)對應(yīng)于點(diǎn)PL3的變化點(diǎn)時(shí)，只需要檢查變化點(diǎn)PL3和變化點(diǎn)冊1、冊2、PR3和PR4之間的相似性。事實(shí)上，通過僅僅檢查右眼圖像掃描線上的與左眼圖像中的被測變化點(diǎn)相距在預(yù)定距離之內(nèi)的變化點(diǎn)，可以進(jìn)一步減小計(jì)算量。例如，為了發(fā)現(xiàn)對應(yīng)于PL3的右眼圖像中的變化點(diǎn)，僅僅檢查落在最高差異閾值之內(nèi)的變化點(diǎn)。換言之，只有右眼掃描線上的、在右眼掃描線上的變化點(diǎn)左側(cè)的一定數(shù)目的像素之內(nèi)的變化點(diǎn)被檢查。閾值可以根據(jù)圖像的深度預(yù)算、或觀看者的兩眼間的距離或任意其他度量來選擇。用于改進(jìn)分段過程的方法將被描述。為了獲得精確的分段，平均位移算法(mean shift algorithm)的使用是已知的。但是，本領(lǐng)域技術(shù)人員將意識到，平均位移算法雖然精確，但是處理器密集型的。這使得難以在實(shí)時(shí)視頻中實(shí)現(xiàn)平均位移算法。因此，為了改進(jìn)分段，可以使用不太密集的算法來獲得一個(gè)分段邊界位于圖像中何處的想法，然后將平均位移算法應(yīng)用到這些邊界區(qū)域來獲得每個(gè)分段邊界的更精確的位置。因此，在一個(gè)實(shí)施例中，可以對輸入圖像應(yīng)用簡單的邊緣檢測算法來獲得圖像中邊緣的大概位置。在邊緣檢測之后，對已檢測出邊緣的圖像進(jìn)行膨脹過濾(dilation filtering). 這提供了兩種區(qū)域。第一區(qū)域是相鄰的區(qū)域。這些區(qū)域被認(rèn)為是屬于同一分段。第二種區(qū)域是圍繞檢測到的邊緣的區(qū)域。隨后，對第二種區(qū)域進(jìn)行平均位移算法。這提高了來自邊緣檢測過程的結(jié)果的精確性，同時(shí)在計(jì)算上仍舊是高效的?，F(xiàn)在將描述改進(jìn)分段的另一實(shí)施例。在輸入圖像的邊緣檢測之后，檢測出邊緣的圖像被劃分成更小的分區(qū)。這些分區(qū)可以具有相同的大小，或者可以具有不同的大小。然后，可以逐個(gè)分區(qū)地(而不是如前所述僅僅沿著邊緣)對圖像應(yīng)用膨脹過濾。在膨脹過濾之后，向經(jīng)過膨脹過濾的區(qū)域應(yīng)用平均位移算法?，F(xiàn)在分段完成。為了確定最前面的對象，與左眼掃描線上的變化點(diǎn)相鄰的像素被與在右眼掃描線上的適當(dāng)變化點(diǎn)相鄰的像素相比較。在說明書中“相鄰”可以指直接相鄰，即，在變化點(diǎn)旁邊的像素?？商鎿Q地，“相鄰”在本說明書中可以指距變化點(diǎn)在小數(shù)目像素(例如兩個(gè)或三個(gè)像素)之內(nèi)，或其實(shí)可以指距變化點(diǎn)在更大數(shù)目的像素之內(nèi)。對于最前面的對象或分段， 在點(diǎn)PL2和PRl右手邊的像素將是最相似的，并且在點(diǎn)PL3和PR2左邊的像素將是最相似的。換言之，在分段任一末端的像素將是最相似的。在左眼掃描線和右眼掃描線上的所有變化點(diǎn)都已經(jīng)被計(jì)算并彼此比較之后，最前面的分段被確立。選擇每個(gè)圖像中的最前面分段的有效性可以使用與每個(gè)圖像中與最前面分段相鄰的像素的差異值來核實(shí)。當(dāng)最前面分段在每個(gè)圖像中與相機(jī)最靠近時(shí)，變化點(diǎn)PL2左側(cè)的像素與其在右眼掃描線上的相應(yīng)像素之間的差異將小于或等于變化點(diǎn)PL2右側(cè)的像素與其在右眼掃描線上的相應(yīng)像素之間的差異。類似地，變化點(diǎn)PL3右側(cè)的像素與其在右眼
1掃描線上的相應(yīng)像素之間的差異將小于或等于變化點(diǎn)PL3左側(cè)的像素與其在右眼掃描線上的相應(yīng)像素之間的差異。類似地，變化點(diǎn)PRl左側(cè)的像素與其在左眼掃描線上的相應(yīng)像素之間的差異將小于或等于變化點(diǎn)PRl右側(cè)的像素與其在左眼掃描線上的相應(yīng)像素之間的差異。類似地，變化點(diǎn)PR2右側(cè)的像素與其在左眼掃描線上的相應(yīng)像素之間的差異將小于或等于變化點(diǎn)PR2左側(cè)的像素與其在左眼掃描線上的相應(yīng)像素之間的差異。在確定最前面的對象并核實(shí)該結(jié)果之后，可以確定部分遮擋的對象。部分遮擋的對象是有部分對左眼或右眼圖像可見，但是在另一眼圖像中部分重疊的對象。因此，圓柱體 715A在左眼圖像中被部分遮擋，在右眼圖像中沒有被遮擋。本領(lǐng)域技術(shù)人員將意識到，當(dāng)存在對象的部分遮擋時(shí)，不存在可獲得的差異信息，因?yàn)橐粋€(gè)圖像(在本示例中左眼圖像)不包括用于比較目的的該對象。因此，需要估計(jì)差異。這參考圖9被說明。圖9示出掃描線上的每個(gè)像素位置的不相似圖。換言之，圖9示出這樣的圖，該圖針對沿X軸的每個(gè)像素位置示出與該像素位置具有給定差異的像素是如何相似或不相似的。因此，在圖9中，沿χ軸示出在針對例如左眼圖像(但是本發(fā)明并不局限于此)的掃描線上的像素位置。沿y軸示出在右眼圖像中、在左眼圖像中的掃描線上的位置上的像素與在左眼圖像中具有越來越大差異的每個(gè)像素位置上的像素之間的相似性。最大差異由前述場景的深度預(yù)算來設(shè)置?？床幌嗨茍D的原點(diǎn)(在圖的左下角)，只有一個(gè)像素具有差異值。這是因?yàn)樵谧笱蹐D像中的該位置上，在該點(diǎn)左側(cè)的所有像素(即，具有差異值1)都將在左眼掃描線的范圍之外并因此無法被測量。這由虛線指示。將意識到，圖中的變化點(diǎn)與右眼圖像相比較、在左眼掃描線上的每個(gè)像素位置上被示為實(shí)黑線。但是將意識到，這僅僅是一個(gè)示例，并設(shè)想將任意掃描線與任意圖像相比較?？梢钥闯?，不遮擋的分段(最靠近相機(jī))根據(jù)前面的說明被確定。但是，如前所述，在右眼掃描線上緊鄰不遮擋分段右側(cè)的分段和左眼掃描線上緊鄰不遮擋分段左側(cè)的分段可能是被遮擋的部分。為了確定在被遮擋區(qū)域中的任意點(diǎn)的差異，需要確定被部分遮擋的分段的哪部分被遮擋以及哪部分可見。因此，與被部分遮擋的分段的左手邊緣最接近的左側(cè)像素的相似性被確定。從部分905可以看出，對于在905所在列上的單元，由于905中的單元被相鄰的未被遮擋的分段所遮擋，因此它們無法匹配，并且在同一列中905上方的單元具有很大不相似性。這表明該部分被遮擋的分段的這部分被遮擋。該分析針對緊鄰左眼掃描線中的最前面對象左側(cè)的分段中的所有像素位置發(fā)生?？梢钥闯?，相似性圖示出在部分遮擋的分段內(nèi)的多個(gè)像素具有高相似性(或低不相似性)值。在位置910上的像素最靠近示出最大相似性的最前面分段。另外，像素位置 915是最靠近被部分遮擋的分段的左側(cè)邊緣的右側(cè)像素。因此，為了確定在部分遮擋的分段內(nèi)的任意點(diǎn)上的差異，在例如像素位置910和像素位置915之間劃出直線。然后，根據(jù)該直線來估計(jì)每個(gè)像素位置的差異。雖然示出直線，但是本發(fā)明并不局限于此。差異線可以根據(jù)測量出的不相似性的水平或相似性的水平來確定。例如，該線可以利用最小平方誤差 (least squares error)技術(shù)來定義。其實(shí)，可以設(shè)想任意合適的技術(shù)。設(shè)想以上方法可以在計(jì)算機(jī)上執(zhí)行。計(jì)算機(jī)可以使用包含計(jì)算機(jī)可讀指令的計(jì)算機(jī)軟件來運(yùn)行。計(jì)算機(jī)可讀指令可以被存儲在諸如磁盤或光盤(例如CD-ROM)之類的存儲介質(zhì)上或者其實(shí)可以被存儲在網(wǎng)絡(luò)或固態(tài)存儲器上。此外，雖然前面已經(jīng)參考使用平行布置的相機(jī)鏡頭拍攝的立體圖像進(jìn)行了描述， 但是本發(fā)明并不局限于此。立體圖像可以使用任意布置的鏡頭來拍攝。但是，根據(jù)本發(fā)明實(shí)施例，應(yīng)該被轉(zhuǎn)換成平行圖像。雖然前面提到提供深度信息的兩個(gè)示例，但是本發(fā)明并不局限于深度圖和差異圖。其實(shí)可以使用任意種類的深度信息。雖然已經(jīng)參考附圖詳細(xì)描述了本發(fā)明的示例性實(shí)施例，但是將會理解，本發(fā)明并不局限于這些精確的實(shí)施例，在不脫離權(quán)利要求所限定的本發(fā)明的范圍和精神的情況下， 本領(lǐng)域技術(shù)人員可以作出各種改變和修改。
權(quán)利要求
1.一種檢測在拍攝同一場景的第一和第二圖像中的相應(yīng)像素位置之間的差異的方法，所述第一和第二圖像可被視為使用平行鏡頭布置拍攝的立體圖像，所述方法包括以下步驟確定跨越所述第一圖像的一部分的圖像屬性的多個(gè)變化點(diǎn)的像素位置；確定跨越所述第二圖像的相應(yīng)部分的所述圖像屬性的多個(gè)變化點(diǎn)的像素位置；將所述第一圖像中的所述變化點(diǎn)之一的位置與所述第二圖像的所述多個(gè)變化點(diǎn)的位置的子集相比較，其中所述子集是根據(jù)所述第二圖像中的所述變化點(diǎn)的像素位置相對于所述第一圖像中的所述變化點(diǎn)之一的像素位置來確定的；確定像素位置與所述第一圖像中的所述變化點(diǎn)相鄰的像素和與在所述子集中的每個(gè)變化點(diǎn)相鄰的相應(yīng)像素之間的相似性；以及根據(jù)所確定的像素的相似性來獲得所述差異。
2.如權(quán)利要求1所述的方法，其中，所述子集被確定為在所述第一圖像中的所述變化點(diǎn)之一的預(yù)定數(shù)目的像素之內(nèi)。
3.如權(quán)利要求2所述的方法，其中，所述預(yù)定數(shù)目的像素是根據(jù)所拍攝的場景的深度預(yù)算來確定的。
4.如權(quán)利要求1所述的方法，包括定義在所述第一圖像中的所述一個(gè)變化點(diǎn)與所述第一圖像中的相鄰的第二變化點(diǎn)之間的不遮擋分段，其中與所述一個(gè)變化點(diǎn)相鄰的像素和與所述第二變化點(diǎn)相鄰的像素與在所述子集中、與在閾值以上的相應(yīng)變化點(diǎn)相鄰的像素具有相似性；并且，將根據(jù)預(yù)定標(biāo)準(zhǔn)與所述不遮擋分段相鄰的分段定義為部分遮擋的部分。
5.如權(quán)利要求4所述的方法，包括確定在所述第一圖像中的、所述部分遮擋的部分中的像素與在所述第二圖像中的、在相對所述第一圖像中的所述部分遮擋的部分中的像素被水平位移的像素位置上的像素之間的圖像屬性的相似性；確定所述部分遮擋的部分的各個(gè)末端，作為與具有大于閾值的相似性的、定義所述部分遮擋的部分的各個(gè)變化點(diǎn)最靠近的像素。
6.如權(quán)利要求5所述的方法，包括定義在所述部分遮擋的部分的各個(gè)末端處的像素之間的直線，其中在所述部分遮擋的部分的任意像素位置上的差異是根據(jù)所定義的直線來確定的。
7.一種包含計(jì)算機(jī)可讀指令的計(jì)算機(jī)程序，所述計(jì)算機(jī)可讀指令在被加載到計(jì)算機(jī)上時(shí)，將所述計(jì)算機(jī)配置為執(zhí)行如權(quán)利要求1所述的方法。
8.一種存儲介質(zhì)，被配置為存儲如權(quán)利要求7所述計(jì)算機(jī)程序。
9.一種用于檢測在拍攝同一場景的第一和第二圖像中的相應(yīng)像素位置之間的差異的設(shè)備，所述第一和第二圖像可被視為使用平行鏡頭布置拍攝的立體圖像，所述設(shè)備包括確定器，可操作用于確定跨越所述第一圖像的一部分的圖像屬性的多個(gè)變化點(diǎn)的像素位置，以及確定跨越所述第二圖像的相應(yīng)部分的所述圖像屬性的多個(gè)變化點(diǎn)的像素位置；比較器，可操作用于將所述第一圖像中的所述變化點(diǎn)之一的位置與所述第二圖像的所述多個(gè)變化點(diǎn)的位置的子集相比較，其中所述子集是根據(jù)所述第二圖像中的所述變化點(diǎn)的像素位置相對于所述第一圖像中的所述變化點(diǎn)之一的像素位置來確定的；其中，所述確定器可操作用于確定像素位置與所述第一圖像中的所述變化點(diǎn)相鄰的像素和與在所述子集中的每個(gè)變化點(diǎn)相鄰的相應(yīng)像素之間的相似性；以及獲取器，可操作用于根據(jù)所確定的像素的相似性來獲得所述差異。
10.如權(quán)利要求9所述的設(shè)備，其中，所述子集被確定為在所述第一圖像中的所述變化點(diǎn)之一的預(yù)定數(shù)目的像素之內(nèi)。
11.如權(quán)利要求10所述的設(shè)備，其中，所述預(yù)定數(shù)目的像素是根據(jù)所拍攝的場景的深度預(yù)算來確定的。
12.如權(quán)利要求9所述的設(shè)備，包括定義器，可操作用于定義在所述第一圖像中的所述一個(gè)變化點(diǎn)與所述第一圖像中的相鄰的第二變化點(diǎn)之間的不遮擋分段，其中與所述一個(gè)變化點(diǎn)相鄰的像素和與所述第二變化點(diǎn)相鄰的像素與在所述子集中、與在閾值以上的相應(yīng)變化點(diǎn)相鄰的像素具有相似性；并且，用于將根據(jù)預(yù)定標(biāo)準(zhǔn)與所述不遮擋分段相鄰的分段定義為部分遮擋的部分。
13.如權(quán)利要求12所述的設(shè)備，其中所述確定器可操作用于確定在所述第一圖像中的、所述部分遮擋的部分中的像素與在所述第二圖像中的、在相對所述第一圖像中的所述部分遮擋的部分中的像素被水平位移的像素位置上的像素之間的圖像屬性的相似性；并且用于確定所述部分遮擋的部分的各個(gè)末端，作為與具有大于閾值的相似性的、定義所述部分遮擋的部分的各個(gè)變化點(diǎn)最靠近的像素。
14.如權(quán)利要求13所述的設(shè)備，其中所述定義器可操作用于定義在所述部分遮擋的部分的各個(gè)末端處的像素之間的直線，其中在所述部分遮擋的部分的任意像素位置上的差異是根據(jù)所定義的直線來確定的。
全文摘要
本發(fā)明提供了用于檢測差異的方法和設(shè)備。一種用于檢測差異的設(shè)備被描述。該設(shè)備檢測在拍攝同一場景的第一和第二圖像中的相應(yīng)像素位置之間的差異，所述第一和第二圖像可被視為使用平行鏡頭布置拍攝的立體圖像，所述設(shè)備包括確定器，可操作用于確定跨越所述第一圖像的一部分的圖像屬性的多個(gè)變化點(diǎn)的像素位置，以及確定跨越所述第二圖像的相應(yīng)部分的所述圖像屬性的多個(gè)變化點(diǎn)的像素位置；比較器，可操作用于將所述第一圖像中的所述變化點(diǎn)之一的位置與所述第二圖像的所述多個(gè)變化點(diǎn)的位置的子集相比較，其中所述子集是根據(jù)所述第二圖像中的所述變化點(diǎn)的像素位置相對于所述第一圖像中的所述變化點(diǎn)之一的像素位置來確定的；其中，所述確定器可操作用于確定像素位置與所述第一圖像中的所述變化點(diǎn)相鄰的像素和與在所述子集中的每個(gè)變化點(diǎn)相鄰的相應(yīng)像素之間的相似性；以及獲取器，可操作用于根據(jù)所確定的像素的相似性來獲得所述差異。
文檔編號H04N13/00GK102385708SQ20111025967
公開日2012年3月21日 申請日期2011年8月31日 優(yōu)先權(quán)日2010年8月31日
發(fā)明者安藤秀樹 申請人:索尼公司