專利名稱：圖像處理方法及裝置、圖像分析裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及立體圖像分析，而本發(fā)明的一個(gè)實(shí)例涉及檢測(cè)與校正立體圖像中的錯(cuò)誤。本發(fā)明可應(yīng)用于立體運(yùn)動(dòng)圖像。
背景技術(shù)：
通過(guò)令觀眾的左眼和右眼分視同一場(chǎng)景的不同圖像以呈現(xiàn)“三維”圖像廣為人知。 這些圖像通常由包括兩臺(tái)相機(jī)的“立體”相機(jī)攝制，這兩臺(tái)相機(jī)分別從水平相隔一段距離的各自觀察點(diǎn)觀察該場(chǎng)景，該段距離與觀眾左右眼之間的距離相似。此項(xiàng)技術(shù)業(yè)已用于“靜止”和“運(yùn)動(dòng)”圖像。當(dāng)前，對(duì)將高清電視的電子圖像獲取、 處理、存儲(chǔ)和分配技術(shù)用于立體運(yùn)動(dòng)圖像抱有濃厚興趣。現(xiàn)已提出多種分配立體圖像序列的方法，一個(gè)實(shí)例是針對(duì)左眼圖像和右眼圖像使用獨(dú)立的圖像數(shù)據(jù)流或物理傳輸媒體。另一實(shí)例是在原本供單幅圖像使用的幀或光柵中 “并排”顯現(xiàn)左眼圖像和右眼圖像。其他方法還包括將一副圖像的像素分為兩個(gè)交插組，并將一組分派給左眼圖像而將另一組分派給右眼圖像，舉例來(lái)說(shuō)，像素的交錯(cuò)行可用于這兩幅圖像。為向觀眾呈現(xiàn)正確的立體感效應(yīng)，觀眾的左眼須看到左側(cè)觀察點(diǎn)的圖像，反之亦然。若左眼圖像和右眼圖像互換，使左眼觀看到右邊的場(chǎng)景視圖而右眼觀看到左邊的視圖， 則立體感效應(yīng)不逼真且觀眾會(huì)感覺(jué)不適。這與左右聲道互換產(chǎn)生真實(shí)、同樣令人愉悅(但不同)的聽(tīng)覺(jué)體驗(yàn)的立體聲重現(xiàn)中的可類比情況形成了巨大的反差。立體圖像之傳輸格式的多樣性導(dǎo)致左右眼圖像無(wú)意間互換的可能性極高。互換所導(dǎo)致的極度糟糕的觀看體驗(yàn)，催生了對(duì)識(shí)別給定圖像的“立體像對(duì)”中哪幅為左眼圖像、哪幅為右眼圖像之方法的需求。在本說(shuō)明書(shū)中，“立體極性”一詞會(huì)用來(lái)表示將圖像的立體像對(duì)分派給立體圖像處理或顯示系統(tǒng)的兩條圖像通道。如立體極性正確，則呈現(xiàn)給觀眾左右眼的將會(huì)是營(yíng)造真實(shí)立體感效應(yīng)的正確圖像。在圖像的立體像對(duì)中，立體感由特定物體在這一對(duì)兩幅圖像中的顯像之間的水平位置之差(即水平視差)來(lái)表示。欲在顯示設(shè)備的平面上顯示的物體無(wú)視差；欲在顯示平面后方顯示的物體在左圖像中移向左而在右圖像中移向右；并且，欲在顯示平面前方顯示的圖像在左圖像中移向右、在右圖像中移向左。若已知所有(或者絕大多數(shù))被攝物體皆欲在顯示平面后方成像，則測(cè)量視差即可對(duì)左、右眼圖像加以辨識(shí)在左眼圖像中，物體較之在右眼圖像中會(huì)更趨左；而在右眼圖像中，物體較之在左眼圖像中會(huì)更趨右。然而，物體在顯示平面前方或者后方成像都是常有的；相應(yīng)地，作為立體運(yùn)動(dòng)圖像序列攝制處理的一部分，可在一對(duì)圖像的視差上加減一恒定值。鑒于這些原因，無(wú)法靠簡(jiǎn)單地測(cè)量水平視差來(lái)辨識(shí)立體像對(duì)的左眼圖像和右眼圖像。已嘗試通過(guò)對(duì)圖像成像進(jìn)行統(tǒng)計(jì)假設(shè)來(lái)克服此問(wèn)題，具體來(lái)說(shuō)，在圖像中較低處出現(xiàn)之物體被假設(shè)位于在圖像中較高處出現(xiàn)之物體的前方。關(guān)于這一點(diǎn)，可參考US
36，268, 881和US2010/0060720。應(yīng)理解，這一假設(shè)在許多圖像對(duì)中并不足恃。為實(shí)現(xiàn)魯棒識(shí)別，需降低對(duì)統(tǒng)計(jì)假設(shè)的依賴性。

發(fā)明內(nèi)容
本發(fā)明包括對(duì)用于立體呈現(xiàn)的圖像進(jìn)行分析以辨識(shí)左眼圖像和右眼圖像的方法和裝置。適當(dāng)?shù)?，分析像?duì)的第一圖像以定位在像對(duì)的第二圖像中不可見(jiàn)的區(qū)域。優(yōu)選地，分析步驟包括檢測(cè)圖像邊緣，辨識(shí)步驟用于在更多圖像邊緣與所述區(qū)域的左手邊緣對(duì)準(zhǔn)的情況下辨識(shí)為右眼圖像，而在更多圖像邊緣與所述區(qū)域的右手邊緣對(duì)準(zhǔn)的情況下辨識(shí)為左眼圖像。有益的是，第一圖像的所述區(qū)域的邊緣的水平位置與第一圖像中的成像邊緣的水平位置比較。在優(yōu)選實(shí)施例中，定位所述第一圖像的至少一個(gè)所述區(qū)域的右手邊緣，并在所述右手邊緣的水平位置與第一圖像中的成像邊緣的水平位置對(duì)應(yīng)時(shí)，辨識(shí)該第一圖像為左眼圖像。補(bǔ)充地或者可替代地，定位所述第一圖像的至少一個(gè)所述區(qū)域的左手邊緣，并在所述左手邊緣的水平位置與第一圖像中的成像邊緣的位置對(duì)應(yīng)時(shí)，辨識(shí)該第一圖像為右眼圖像。在一個(gè)實(shí)施例中，所述第一圖像的所述區(qū)域的邊緣的水平位置與第一圖像中具有高像素值水平梯度的位置進(jìn)行比較。適當(dāng)?shù)?，通過(guò)比較所述第一圖像與所述第二圖像中相應(yīng)像素組的像素值而辨識(shí)所述第一圖像中的所述區(qū)域。補(bǔ)充地或者可替代地，通過(guò)比較所述第一圖像與所述第二圖像中相應(yīng)像素的相應(yīng)運(yùn)動(dòng)矢量而辨識(shí)所述第一圖像中的所述區(qū)域。另外，在優(yōu)選實(shí)施例中，圖像的全部或者部分的圖像水平梯度測(cè)量值與遮擋邊緣測(cè)量值之積被疊加以確定圖像的立體極性測(cè)量值。在另一層面，本發(fā)明包括分析用于立體呈現(xiàn)的圖像對(duì)以辨識(shí)左眼圖像與右眼圖像的裝置，包括遮擋檢測(cè)器，適于定位僅在其中一幅圖像中可見(jiàn)的一個(gè)遮擋區(qū)域或者更多個(gè)遮擋區(qū)域；遮擋邊緣處理器；水平梯度檢測(cè)器和立體極性處理器，適于根據(jù)該遮擋邊緣處理器和該水平梯度檢測(cè)器的輸出得出立體極性標(biāo)志。所述遮擋邊緣檢測(cè)器適于分別辨識(shí)i.水平靠近遮擋區(qū)域的左手邊緣的圖像要素；和ii.水平靠近遮擋區(qū)域的右手邊緣的圖像要素。該立體極性處理器適于得出i.右立體標(biāo)志，在相對(duì)多數(shù)的圖像要素具有較大的水平梯度且水平靠近遮擋區(qū)域的左手邊緣的情況下；和ii.左立體標(biāo)志，在相對(duì)多數(shù)的圖像要素具有較大的水平梯度且水平靠近遮擋區(qū)域的右手邊緣的情況下。在另一層面，本發(fā)明包括一種辨識(shí)用于立體呈現(xiàn)的圖像對(duì)的左眼圖像和右眼圖像
4的方法，包括步驟比較立體像對(duì)的圖像以定位僅在其中一幅圖像中可見(jiàn)的一個(gè)區(qū)域或更多個(gè)區(qū)域；檢測(cè)圖像邊緣；和，在與所述區(qū)域的左手邊緣對(duì)準(zhǔn)的圖像邊緣多于與所述區(qū)域的右手邊緣對(duì)準(zhǔn)的圖像邊緣時(shí)，辨識(shí)為右眼圖像，而在與所述區(qū)域的右手邊緣對(duì)準(zhǔn)的圖像邊緣多于與所述區(qū)域的左手邊緣對(duì)準(zhǔn)的圖像邊緣時(shí)，辨識(shí)為左眼圖像。


現(xiàn)在，將參照附圖介紹本發(fā)明的實(shí)例，附圖如下。圖1顯示了一幅場(chǎng)景的俯視圖，該場(chǎng)景中呈現(xiàn)了兩個(gè)物體和兩個(gè)水平分離的觀察點(diǎn)。圖2顯示了從圖1中的觀察點(diǎn)觀看到的視圖之間的關(guān)系。圖3顯示了一幅供替代的場(chǎng)景的俯視圖，該幅供替代的場(chǎng)景呈現(xiàn)了兩個(gè)物體和兩個(gè)水平分離的觀察點(diǎn)。圖4顯示了從圖3中的觀察點(diǎn)觀看到的視圖之間的關(guān)系。圖5顯示了根據(jù)本發(fā)明實(shí)施例的圖像分析處理的方框圖。
具體實(shí)施例方式盡管在隨后的說(shuō)明中，假設(shè)圖像按照像素陣列數(shù)據(jù)顯現(xiàn)和處理，但是，技術(shù)人員應(yīng)理解，可利用其他圖像格式來(lái)實(shí)施本發(fā)明的方法，這其中包括了那些未經(jīng)空間采樣或者數(shù)字化的格式。三維場(chǎng)景的左眼視圖與右眼視圖之間一個(gè)清楚明確的差異是每幅視圖都有一些未呈現(xiàn)于另一視圖中的“背景”像素。左眼觀看多數(shù)背景像素到“前景”物體的左方，而右眼觀看多數(shù)背景像素到“前景”物體的右方。通過(guò)對(duì)比兩幅視圖即可辨識(shí)這種“遮擋”。在本說(shuō)明書(shū)中，呈現(xiàn)于立體像對(duì)的第一圖像中但不呈現(xiàn)于該像對(duì)的第二圖像中的圖像區(qū)域， 將會(huì)被描述為第一圖像的遮擋區(qū)域。從這個(gè)意義上來(lái)說(shuō)，遮擋是第一圖像中由第二圖像之內(nèi)容所決定的區(qū)域的特性。已知有多種圖像比較技術(shù)，“運(yùn)動(dòng)補(bǔ)償”圖像處理中用到的用于查找“運(yùn)動(dòng)矢量”的方法在查找遮擋區(qū)域方面尤為有用。在本說(shuō)明書(shū)中，“運(yùn)動(dòng)矢量”一詞用來(lái)指代描述成像物體在立體像對(duì)的兩幅圖像中的位置差異的矢量。用來(lái)確定因在不同時(shí)刻攝制的兩幅圖像之間的運(yùn)動(dòng)所引起的位置差異的圖像比較方法，同樣適用于確定立體視差的情形。一般來(lái)說(shuō)， 第一圖像中一區(qū)域與第二圖像中尺寸和形狀相同的一區(qū)域進(jìn)行比較；其結(jié)果即“位移幀差測(cè)量”或DFD。根據(jù)由圖像相關(guān)處理得出的“候選”運(yùn)動(dòng)矢量，能夠選擇出第二圖像之區(qū)域相對(duì)于第一圖像中之區(qū)域的位移；或者，根據(jù)合適的檢索策略，能夠從第二圖像中選擇出若干區(qū)域用于比較。有多種計(jì)算DFD的方法，一般來(lái)說(shuō)，像素值的差被疊加；可對(duì)差進(jìn)行空間過(guò)濾以賦予靠近被匹配區(qū)域中心的像素以更大的權(quán)重。低值DFD與一對(duì)匹配良好的區(qū)域相關(guān)。在運(yùn)動(dòng)估計(jì)中，表示第二圖像中一區(qū)域相對(duì)于第一圖像中一區(qū)域的位移具有低DFD的矢量，被假設(shè)為對(duì)于第一圖像區(qū)域中的一個(gè)或更多個(gè)像素來(lái)說(shuō)更適用的運(yùn)動(dòng)矢量。從立體像對(duì)中選出的一幅圖像中的遮擋圖像區(qū)域的特征是，其相對(duì)于該像對(duì)中的另一副圖像來(lái)說(shuō)具有高值DFD;這些遮擋區(qū)域通常不會(huì)與另一副圖像中的任何區(qū)域匹配。相應(yīng)地，可估計(jì)圖像中各像素的DFD并令其與一閾值比較，那些各自DFD超出閾值的像素被歸類為遮擋。另一種檢測(cè)遮擋區(qū)域的方法是利用遮擋區(qū)域無(wú)法得出有效運(yùn)動(dòng)矢量這一事實(shí)。為查找圖像中的遮擋區(qū)域，按從左眼圖像到右眼圖像來(lái)估計(jì)運(yùn)動(dòng)矢量，并按從右眼圖像到左眼圖像來(lái)估計(jì)運(yùn)動(dòng)矢量。這些矢量按照已知的運(yùn)動(dòng)補(bǔ)償視頻處理方法分派給各個(gè)像素。舉例來(lái)說(shuō)，相位相關(guān)處理中得到的基于塊的運(yùn)動(dòng)矢量，可通過(guò)選擇在以特定像素為中心的區(qū)域移位候選矢量并與立體像對(duì)中另一幅圖像相比提供最低DFD的矢量，來(lái)分派給圖像的像
ο像對(duì)的第一圖像中的像素的矢量導(dǎo)出遮擋測(cè)量值是這樣得到的“跟隨”針對(duì)該像素的運(yùn)動(dòng)矢量到達(dá)該像對(duì)的第二圖像中的像素，而后根據(jù)針對(duì)該第二圖像像素的運(yùn)動(dòng)矢量 “返回”第一圖像。返回點(diǎn)與第一圖像像素的位置之間的差即為針對(duì)第一圖像像素的遮擋測(cè)量值。這可用數(shù)學(xué)方法表示如下。令VkA，yA]為圖像A中坐標(biāo)為kA，yA]的像素從圖像A到圖像B的運(yùn)動(dòng)矢量，該運(yùn)動(dòng)矢量的水平分量為VxkA，yA]，垂直分量為VykA，yA]；且W[x，y]為圖像B中坐標(biāo)為[X， y]的像素從圖像B到圖像A的運(yùn)動(dòng)矢量；則Occa [xa, yA] = | V [xa, yA] -ff [ (xA+Vx [xa, yA])，(yA+Vy [xA, yA])]其中:0ccA[xA,yA]為圖像A中坐標(biāo)為[xA,yA]的像素的遮擋測(cè)量值；且|X|為矢量 X的幅度。由于因觀察點(diǎn)的水平位置上的差導(dǎo)致的遮擋與立體視法尤為相關(guān)，故優(yōu)選以運(yùn)動(dòng)矢量差的水平分量的幅度作為遮擋測(cè)量值，而不是以上述方程中所示的幅度為遮擋測(cè)量值?？蓪⒏鱾€(gè)像素的測(cè)量值與閾值比較，測(cè)量值超出閾值的像素被辨識(shí)為遮擋像素。在立體圖像中，由不同景深的物體之間(例如，前景物體與背景物體之間)的過(guò)渡產(chǎn)生的邊緣特征包含了與立體極性相關(guān)的信息。在根據(jù)本發(fā)明一個(gè)層面的方法中，圖像的垂直邊緣之位置與該圖像的遮擋區(qū)域的垂直邊緣之位置進(jìn)行比較。圖1到圖4示出了這一比較如何能辨識(shí)左眼圖像與右眼圖像。參照?qǐng)D1，從兩個(gè)觀察點(diǎn)L和R觀看兩個(gè)扁平的矩形物體F和Bl。物體F相對(duì)物體Bl來(lái)說(shuō)更靠近觀察點(diǎn)。物體F與Bl的右手邊緣重疊，使得從L處可觀看到Bl整體，但從R處僅可觀看到Bl左手部分。從L處和R處的視線通過(guò)F的左手邊緣部分分別限定各自的Bl可視區(qū)域；即圖中的線條(1)和O)。圖2顯示了位于L處和R處的相機(jī)各自將會(huì)觀看到的視圖。從L處可觀看到的視圖顯示了這兩個(gè)物體的全部面積。從W21)處可觀看到的視圖顯示了 F的全部，但僅顯示了 Bl的左手部分。因此，Bl中在線0 右側(cè)的部分為遮擋區(qū)域。如果利用上述檢測(cè)遮擋的方法來(lái)分析這兩幅視圖，則會(huì)發(fā)現(xiàn)顯現(xiàn)F的那些像素在這兩幅圖像中以低DFD和/或低運(yùn)動(dòng)矢量差匹配。這一點(diǎn)由箭頭來(lái)表現(xiàn)。類似地，會(huì)發(fā)現(xiàn)顯現(xiàn)Bl的左手部分的那些像素是匹配的，且具有低運(yùn)動(dòng)矢量差。 (盡管Bl的左手部分的運(yùn)動(dòng)矢量不等于F的運(yùn)動(dòng)矢量)。這一點(diǎn)由箭頭04)來(lái)表現(xiàn)。但是，從U20)處可觀看到的視圖中顯現(xiàn)Bl的右手側(cè)的那些像素不會(huì)與從R處可觀看到的視圖中的像素可靠匹配。這些像素會(huì)具有高DFD，而嘗試生成針對(duì)這些像素的運(yùn)動(dòng)矢量又會(huì)得到極為不穩(wěn)定的結(jié)果。這一點(diǎn)由箭頭04)來(lái)表現(xiàn)。
6
因此，在包括從U20)處可觀看到的視圖的圖像中，Bl中在線02)右側(cè)的區(qū)域可被檢測(cè)為遮擋區(qū)域。該區(qū)域的左側(cè)由線0 的局部界定，這是一個(gè)與圖像自身無(wú)關(guān)的理論構(gòu)成(notional construct)；而該區(qū)域的右側(cè)由Bl與F之間的邊界界定，這是圖像的特征。圖3和圖4顯示了一幅模擬設(shè)置，其中物體F水平覆蓋更遠(yuǎn)距離處的物體B2的左手邊緣，使得從R處可觀看到B2的整體而從L處僅可觀看到Bl的右手部分。在此，分析包括從IU41)處觀看的視圖的圖像可辨識(shí)出一個(gè)遮擋區(qū)域，該遮擋區(qū)域在左側(cè)由F和B2之間的邊界界定，這是圖像特征；而該遮擋區(qū)域在右側(cè)由線0 的局部界定，這是一個(gè)與圖像自身無(wú)關(guān)的理論構(gòu)成。因此，能夠看出左眼圖像會(huì)傾向于包括與遮擋區(qū)域的右邊緣對(duì)準(zhǔn)的圖像邊緣；而右眼圖像會(huì)傾向于包括與遮擋區(qū)域的左邊緣對(duì)準(zhǔn)的圖像邊緣。圖5顯示了利用該條規(guī)律來(lái)確定一對(duì)圖像A和B的“立體極性”的處理的方框圖。 參照該圖，在遮擋檢測(cè)器(501)和(502)中，比較顯現(xiàn)圖像A的輸入數(shù)據(jù)與顯現(xiàn)數(shù)據(jù)B的輸入數(shù)據(jù)，以查找它們各自的遮擋區(qū)域。遮擋檢測(cè)器(501)辨識(shí)圖像A中那些在圖像B中無(wú)對(duì)應(yīng)的像素；而后，遮擋檢測(cè)器(50 辨識(shí)圖像B中那些在圖像A中無(wú)對(duì)應(yīng)的像素。舉例來(lái)說(shuō)，這些檢測(cè)器能夠使用上述基于DFD或者基于運(yùn)動(dòng)矢量的方法。圖像A和圖像B的輸入圖像數(shù)據(jù)還輸入到各自的水平梯度檢測(cè)器(503)和(504) 中。水平梯度檢測(cè)器(50 和(504)得出各個(gè)輸入圖像的各個(gè)像素的水平梯度測(cè)量值。通過(guò)下述公式得出合適的測(cè)量值GradA[x, y] = | ρ [ (x+1)，y]-ρ [ (x_l)，y]其中GradA[X，y]是圖像A中位于坐標(biāo)[x，y]處的像素的水平梯度測(cè)量值；ρ [x, y]是位于坐標(biāo)[X，y]處的像素的亮度值；且|x|是χ的幅度。在圖像A和圖像B各自的遮擋邊緣處理器(50 和(506)中，分別處理由遮擋檢測(cè)器(501)和(50 得出的兩組遮擋像素?cái)?shù)據(jù)以生成圖像A和圖像B各自的遮擋邊緣數(shù)據(jù)組。該數(shù)據(jù)辨識(shí)出水平靠近遮擋區(qū)域的邊緣的像素；靠近左手遮擋邊緣的像素和靠近右手遮擋邊緣的像素分別被辨識(shí)。適用的方法是查找相應(yīng)遮擋測(cè)量值的帶符號(hào)的水平梯度測(cè)量值，例如水平相鄰像素的遮擋測(cè)量值之差。在所示出的實(shí)例中，從當(dāng)前像素的值中減去當(dāng)前像素左側(cè)的像素的值。相減的結(jié)果若在遮擋的左手邊緣處則為正值，若在右手邊緣處則為負(fù)值?？赏ㄟ^(guò)將該信號(hào)與其延遲信號(hào)或者超前信號(hào)進(jìn)行非線性組合而“擴(kuò)展”而信號(hào)。對(duì)于正值信號(hào)來(lái)說(shuō)，這一擴(kuò)展是一種“膨脹”處理；而對(duì)于負(fù)值信號(hào)來(lái)說(shuō)，這一擴(kuò)展是一種“腐蝕”處理。相應(yīng)地，遮擋邊緣處理器(50 和(506)對(duì)于水平靠近遮擋的左手邊緣的像素其輸出為正值，而對(duì)于水平靠近遮擋的右手邊緣的像素其輸出為負(fù)值。在這兩種輸出在乘法器(507)和(508)中分別乘以各自的圖像水平梯度幅度值。對(duì)于圖像A中靠近遮擋的左手邊緣、梯度較大的(任一極性的)像素，其在乘法器 (507)中的輸出為大的正值；而對(duì)于圖像A中靠近遮擋的右手邊緣、梯度較大的(任一極性的)像素，其在乘法器(507)中的輸出為大的負(fù)值。在疊加塊(509)，針對(duì)圖像A中的所有像素對(duì)這些值進(jìn)行疊加。若圖像A為右眼圖像，則該值可能為大且為正；反之，若圖像A為左眼圖像，則該值可能為大且為負(fù)。
類似地，在疊加塊(510)，針對(duì)圖像B中的所有像素對(duì)乘法器(508)的輸出進(jìn)行疊力口。若圖像B為右眼圖像，則疊加的結(jié)果可能為大且為正；反之，若圖像B為左眼圖像，則疊加的結(jié)果可能為大且為負(fù)。在比較塊(511)，比較兩項(xiàng)疊加值以得到圖像對(duì)A和B的“立體極性”的測(cè)量值。 在圖像A為右眼圖像的情況下，若疊加塊(509)的輸出超過(guò)疊加塊(510)的輸出，則圖像A 和B的立體極性正確。比較的結(jié)果在端子(512)處輸出。僅在對(duì)具有不同景深的物體進(jìn)行成像時(shí)，方可辨識(shí)左眼圖像與右眼圖像。在運(yùn)動(dòng)圖像序列中，結(jié)合序列中若干圖像的分析結(jié)果通常會(huì)更加有益；若立體極性不太可能頻繁變化，則采用時(shí)間濾波可以發(fā)現(xiàn)變化的遲滯為代價(jià)來(lái)提高檢測(cè)的可靠性。還可采用滯后量， 使得在分析結(jié)果中觀察到明顯變化之前，一直不報(bào)告所檢測(cè)的極性的變化。某些分配和存儲(chǔ)立體運(yùn)動(dòng)圖像序列的方法中使用了不對(duì)應(yīng)于同一時(shí)間點(diǎn)的左眼圖像和右眼圖像。在這種情況下，每一立體像對(duì)的圖像之間將因運(yùn)動(dòng)而引入附加視差。該問(wèn)題可通過(guò)將每一圖像與兩幅眼睛相反的圖像(一幅在時(shí)間上超前，而一幅在時(shí)間上滯后) 進(jìn)行比較來(lái)解決。因運(yùn)動(dòng)而引入的視差在這兩項(xiàng)比較中處于相反方向，而與景深有關(guān)的視差則在這兩項(xiàng)比較中相似。圖像幀的邊緣的遮擋很嚴(yán)重，但是這些遮擋有時(shí)是作為攝制過(guò)程的一部分而有意修正的。因此，在確定立體極性時(shí)，忽略幀邊緣處的遮擋通常來(lái)說(shuō)更有益。本發(fā)明還存在數(shù)種替代性實(shí)施方式?？刹捎脺p-采樣或?yàn)V波圖像。由于垂直視差與成像景深無(wú)關(guān)，故而可特意減少(相對(duì)水平方向來(lái)說(shuō))所分析圖像在垂直方向的空間分辨率。兩幅圖像之間的“運(yùn)動(dòng)估計(jì)”處理可以是純水平方向的，或者說(shuō)，可丟棄運(yùn)動(dòng)矢量的垂直分量。利用DFD的遮擋檢測(cè)方法可與矢量差方法相結(jié)合，以將像素的運(yùn)動(dòng)矢量差和DFD 的組合用作該像素的遮擋測(cè)量值。在圖像邊緣與遮擋邊緣的位置相關(guān)性方面，如上所述，可膨脹圖像邊緣數(shù)據(jù)，而不膨脹遮擋邊緣。已發(fā)現(xiàn)用七個(gè)像素來(lái)膨脹/腐蝕遮擋邊緣效果良好，但是亦可采用其他值。用來(lái)檢測(cè)遮擋的閾值無(wú)需是固定的，該閾值可以是通過(guò)對(duì)待處理圖像進(jìn)行分析得出的，也可以是用來(lái)描述待處理圖像的元數(shù)據(jù)?？刹捎孟袼刂?而非亮度值)來(lái)定位圖像中的邊緣或過(guò)渡。亮度信息與色度信息的組合能夠更好地定位物體間的圖像過(guò)渡。除相乘或相加之外的技術(shù)可用來(lái)確定與某一區(qū)域的左手邊緣對(duì)準(zhǔn)的圖像邊緣是否比與該區(qū)域的右手邊緣對(duì)準(zhǔn)的圖像邊緣更多，或者，與某一區(qū)域的右手邊緣對(duì)準(zhǔn)的圖像邊緣是否比與某一區(qū)域的左手邊緣對(duì)準(zhǔn)的圖像邊緣更多。
權(quán)利要求
1.一種處理用于立體呈現(xiàn)的圖像的方法，包括步驟比較一立體像對(duì)中的圖像以定位僅在其中一幅圖像中可見(jiàn)的一個(gè)區(qū)域或更多個(gè)區(qū)域；分析該立體像對(duì)中的一幅或者全部?jī)煞鶊D像；和從中辨識(shí)出該像對(duì)的左眼圖像與右眼圖像。
2.根據(jù)權(quán)利要求1所述的方法，其中所述分析該立體像對(duì)中的一幅或者全部?jī)煞鶊D像的步驟包括分析所述區(qū)域與所述一幅或者全部?jī)煞鶊D像的空間關(guān)系。
3.根據(jù)權(quán)利要求2所述的方法，其中所述分析所述區(qū)域與所述一幅或者全部?jī)煞鶊D像的空間關(guān)系的步驟包括定位所述區(qū)域的邊界并將該邊界或者該邊界的一部分或者更多個(gè)部分與該圖像的特征建立關(guān)聯(lián)。
4.根據(jù)權(quán)利要求2所述的方法，其中所述將該邊界與該圖像的特征建立關(guān)聯(lián)的步驟包括將該邊界的垂直延伸部分與該圖像的垂直延伸邊緣特征建立關(guān)聯(lián)。
5.根據(jù)權(quán)利要求1所述的方法，其中該像對(duì)的第一圖像中的所述區(qū)域的邊緣的水平位置與該第一圖像中的成像邊緣的水平位置進(jìn)行比較。
6.根據(jù)權(quán)利要求5所述的方法，其中定位所述第一圖像的至少一個(gè)所述區(qū)域的右手邊緣，并在所述右手邊緣的水平位置與所述第一圖像中的成像邊緣的水平位置對(duì)應(yīng)時(shí)，辨識(shí)該第一圖像為左眼圖像。
7.根據(jù)權(quán)利要求5或6所述的方法，其中定位所述第一圖像的至少一個(gè)所述區(qū)域的左手邊緣，并在所述左手邊緣的水平位置與所述第一圖像中的成像邊緣的位置對(duì)應(yīng)時(shí)，辨識(shí)該第一圖像為右眼圖像。
8.根據(jù)權(quán)利要求5到7中任一項(xiàng)所述的方法，其中所述第一圖像的所述區(qū)域的邊緣的水平位置與所述第一圖像中具有高像素值水平梯度的位置進(jìn)行比較。
9.根據(jù)權(quán)利要求5到8中任一項(xiàng)所述的方法，其中通過(guò)比較所述第一圖像與所述第二圖像中相應(yīng)像素組的像素值而辨識(shí)所述第一圖像中的所述區(qū)域。
10.根據(jù)權(quán)利要求5到9中任一項(xiàng)所述的方法，其中通過(guò)比較所述第一圖像與所述第二圖像中相應(yīng)像素的相應(yīng)運(yùn)動(dòng)矢量而辨識(shí)所述第一圖像中的所述區(qū)域。
11.根據(jù)權(quán)利要求5到10中任一項(xiàng)所述的方法，其中圖像的全部或者部分的圖像水平梯度測(cè)量值與遮擋邊緣測(cè)量值之積被疊加以確定圖像的立體極性測(cè)量值。
12.—種分析用于立體呈現(xiàn)的圖像對(duì)以辨識(shí)左眼圖像與右眼圖像的裝置，包括遮擋檢測(cè)器，適于定位僅在其中一幅圖像中可見(jiàn)的區(qū)域；遮擋邊緣處理器；水平梯度檢測(cè)器；和處理器，適于根據(jù)該遮擋邊緣處理器和該水平梯度檢測(cè)器的輸出得出立體極性標(biāo)志。
13.根據(jù)權(quán)利要求12所述的裝置，其中所述遮擋邊緣處理器適于分別辨識(shí)i.水平靠近遮擋區(qū)域的左手邊緣的圖像要素；和 .水平靠近遮擋區(qū)域的右手邊緣的圖像要素；且，優(yōu)選情況下，該極性處理器適于得出i.右立體標(biāo)志，在相對(duì)多數(shù)的圖像要素具有較大的水平梯度且水平靠近遮擋區(qū)域的左手邊緣的情況下；和 .左立體標(biāo)志，在相對(duì)多數(shù)的圖像要素具有較大的水平梯度且水平靠近遮擋區(qū)域的右手邊緣的情況下。
全文摘要
本發(fā)明涉及圖像處理方法及裝置、圖像分析裝置。一種辨識(shí)立體像對(duì)的左眼圖像和右眼圖像的方法，包括步驟比較這些圖像以定位僅在其中一幅圖像中可見(jiàn)的遮擋區(qū)域；檢測(cè)圖像邊緣；和，在圖像邊緣與遮擋區(qū)域的左手邊緣對(duì)準(zhǔn)時(shí)辨識(shí)為右眼圖像，而在更多圖像邊緣與遮擋區(qū)域的右手邊緣對(duì)準(zhǔn)時(shí)辨識(shí)為左眼圖像。
文檔編號(hào)G07F9/10GK102194231SQ20111006972
公開(kāi)日2011年9月21日 申請(qǐng)日期2011年3月18日 優(yōu)先權(quán)日2010年3月18日
發(fā)明者邁克爾·詹姆斯·克內(nèi), 馬丁·韋斯頓 申請(qǐng)人:斯耐爾有限公司