專利名稱：用于改進(jìn)圖像匹配的方法和設(shè)備的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種確定多個(gè)圖像之間的至少ー組匹配屬性的方法。
背景技術(shù)：
用于確定所述ー組例如匹配像素或匹配物體的匹配屬性的當(dāng)前技術(shù)利用此后縮寫為2D的2維圖像處理技術(shù)來(lái)找到兩個(gè)或更多圖像之間的所述匹配屬性。這涉及在2D域中實(shí)施搜索以找到這些圖像中的對(duì)應(yīng)像素或像素組。已知技術(shù)多數(shù)是基于塊匹配技術(shù)，所述塊匹配技術(shù)涉及在圖像中的一個(gè)的像素周圍放置虛構(gòu)塊，以及在剩余圖像中搜索與第一個(gè)最對(duì)應(yīng)的塊，所述搜索使用基于圖像中像素周圍的這些塊計(jì)算對(duì)應(yīng)性或匹配分?jǐn)?shù)的度量。這些解決方案是計(jì)算密集的，并且，當(dāng)圖像例如由兩個(gè)具有大基線的相機(jī)生成的時(shí)不健 壯，其中，具有大基線意味著這些相機(jī)之間距離遠(yuǎn)。所述圖像或視圖將示出顯著差別。已知方法中的多數(shù)此外還要求在其間搜索對(duì)應(yīng)性或匹配的圖像中的物體的特定重疊。另外，當(dāng)在物體級(jí)別而非在像素其自身級(jí)別搜索對(duì)應(yīng)性吋，假設(shè)視角差別大到使這些物體的像素內(nèi)容完全不同，盡管事實(shí)是物體自身在兩個(gè)圖像中相同，但當(dāng)前技術(shù)的方法失靈。這可以例如是以下情況當(dāng)一個(gè)圖像顯示例如示出人臉細(xì)節(jié)(因?yàn)樵搱D像是從此人正面的相機(jī)攝取的)的人頭，而另一圖像顯示同一人頭，但細(xì)節(jié)是例如頭發(fā)的頭后部(因?yàn)樵搱D像是從同一人后面的相機(jī)攝取的)時(shí)。

發(fā)明內(nèi)容
本發(fā)明的目的由此是闡述ー種改進(jìn)的用于確定多個(gè)圖像之間的匹配屬性的方法，所述方法可以解決上面提到的當(dāng)前技術(shù)的問題。根據(jù)本發(fā)明，該目的由這樣的方法來(lái)解決，該方法包括將所述多個(gè)圖像中的圖像的至少部分投影到3維空間產(chǎn)生多個(gè)3維投影圖像的步驟，在所述多個(gè)3維投影圖像中的3維投影圖像內(nèi)捜索至少ー組對(duì)應(yīng)3維單元的步驟，將所述至少一組中的所述對(duì)應(yīng)3維單元反向計(jì)算回所述多個(gè)圖像中的圖像內(nèi)的對(duì)應(yīng)2維屬性、以及提供所述圖像內(nèi)的所述對(duì)應(yīng)2維屬性作為所述至少ー組匹配屬性的步驟。將所述ニ維圖像投影到此后縮寫為3D的三維空間，這在例如深度信息對(duì)于這些圖像可用的情況下可能，其將使能夠在該3D空間中搜索對(duì)應(yīng)或匹配単元。如從進(jìn)ー步描述的不同實(shí)施例中將變得顯而易見的，此在3D空間中搜索對(duì)應(yīng)單元相比于在2D空間中搜索容易得多并且計(jì)算較不密集。通過(guò)將來(lái)自3D的所述3D對(duì)應(yīng)單元反向計(jì)算回2D空間，匹配屬性將以簡(jiǎn)單而還非常精確的方式被提供。此外，此在3D空間中搜索對(duì)應(yīng)單元將使能在例如之前提到示例的2D中找到匹配屬性，之前提到的示例為從攝取自同一人的正面和后面的圖像識(shí)別和辨識(shí)出的人頭。直到現(xiàn)在為止，這通過(guò)使用當(dāng)前技術(shù)的2D技術(shù)是不可能的。屬性可以包括像素，由此使能確定不同圖像之間的匹配像素。屬性可以還包括包含一組像素的物體，其使能確定所述不同圖像之間的匹配物體。—個(gè)變型實(shí)施例進(jìn)ー步包括選擇所述多個(gè)圖像中的ー個(gè)圖像作為參考圖像的步驟，在所述參考圖像上識(shí)別屬性的步驟，將所述屬性的3維投影識(shí)別為所述至少一組對(duì)應(yīng)3維單元中的3維單元的步驟，由此，至少一個(gè)對(duì)應(yīng)3維單元被在所述多個(gè)圖像中的其余圖像的3維投影圖像中進(jìn)行搜索。特別在所述多個(gè)圖像包括多于兩個(gè)圖像的情況下，這提供一種簡(jiǎn)單方法。通過(guò)選擇ー個(gè)圖像作為參考圖像，如將借助于幾個(gè)示例示出的那樣，用于找到該參考圖像與其余圖像之間的匹配屬性的計(jì)算可以非常簡(jiǎn)單。在另ー實(shí)施例中，所述屬性包括像素，以及，捜索所述至少一個(gè)對(duì)應(yīng)3維單元是通 過(guò)在所述像素的3維投影周圍形成體積物(volume body)，從而落入所述體積物輪廓內(nèi)的所述多個(gè)圖像中其余圖像的3維投影圖像的投影像素被認(rèn)為是所述像素的所述3維投影的對(duì)應(yīng)3維單元。這提供一種用于識(shí)別匹配像素的簡(jiǎn)單方法，所述匹配像素包括被考慮像素和對(duì)落入所述體積物輪廓內(nèi)的3維像素的反向投影。被用于在3D空間中確定對(duì)應(yīng)像素的任意體積物可以是以所述像素的所述3維投影為中心的橢圓體。這提供一種用于形成以3D投影像素為中心的3D體積物的非常簡(jiǎn)單的實(shí)施例。在另ー變型方法中，所述至少一組對(duì)應(yīng)3維像素單元中的單元包括至少ー個(gè)投影3維物體，所述投影3維物體獲取自從所述多個(gè)圖像中選出的各個(gè)參考圖像的一個(gè)或更多3維投影，以及，對(duì)應(yīng)3維單元被確定為來(lái)自所述多個(gè)圖像中的另ー投影圖像的ー組3維像素投影，其中，所述3維像素投影落在靠近所述至少ー個(gè)投影3維物體的體積物的輪廓內(nèi)，從而所述至少ー組匹配屬性通過(guò)將所述至少ー個(gè)投影3維物體和所述組反向計(jì)算回2維域中的原始圖像而獲得。這允許識(shí)別匹配物體。一種變型方法進(jìn)ー步包括步驟在所述各個(gè)參考圖像上進(jìn)行2維圖像辨識(shí)，使得所述各個(gè)參考圖像上的至少ー個(gè)辨識(shí)出的物體關(guān)聯(lián)于所述至少ー個(gè)投影3維物體。這允許基于先前在所述多個(gè)圖像中的另ー圖像上實(shí)施的物體辨識(shí)來(lái)在一個(gè)圖像中識(shí)別匹配物體。這樣，獲得一種用于在圖像上進(jìn)行圖案或圖像辨識(shí)的簡(jiǎn)單方法，其是通過(guò)識(shí)別該圖像與參考圖像之間的匹配物體，其中，已在2D域中在所述參考圖像上實(shí)施了辨識(shí)技術(shù)，并且因此已在所述參考圖像上識(shí)別出了所辨識(shí)的物體或圖案。通過(guò)經(jīng)由之前提到的技術(shù)確定圖像與參考圖像中已識(shí)別出的物體之間的匹配屬性，通過(guò)對(duì)該圖像應(yīng)用分割獲得一種實(shí)施圖案或物體辨識(shí)的非常簡(jiǎn)單的方法。另ー變型方法進(jìn)ー步包括步驟在所述各個(gè)參考圖像的所述ー個(gè)或更多3D投影上進(jìn)行3維圖像辨識(shí)，使得從所述3維圖像辨識(shí)產(chǎn)生的至少ー個(gè)辨識(shí)出的物體關(guān)聯(lián)于所述至少ー個(gè)投影3維物體。這為這樣的圖像提供了一種替代方法，其中，對(duì)于所述圖像來(lái)說(shuō)，2維物體辨識(shí)非常困難。基于3維物體辨識(shí)技術(shù)，可以在2維空間中反向識(shí)別出物體。在另ー變型中，從與所述至少ー個(gè)投影3維物體相關(guān)聯(lián)的一組體積模型中選出所述體積物。假設(shè)將識(shí)別具有例如人頭的典型形態(tài)形狀的匹配物體，則這證明是非常有趣的。通過(guò)從ー組體積模型中選出具有例如人頭形狀的體積模型，可以然后認(rèn)為落在該頭輪廓內(nèi)的其它圖像的3D投影像素是屬于3D中的3D投影頭的對(duì)應(yīng)像素，以及其向2D的反向投影將然后產(chǎn)生在2D中對(duì)該人頭的識(shí)別或辨識(shí)。在又另ー實(shí)施例中，可以通過(guò)使所述體積物適應(yīng)所述至少ー個(gè)投影3維物體來(lái)調(diào)整所述體積物。這允許進(jìn)ー步改進(jìn)匹配過(guò)程的精度，其通過(guò)例如使用2D中被辨識(shí)頭的實(shí)際3D投影像素?cái)?shù)據(jù)改變?nèi)祟^的所選形狀。由此進(jìn)一歩改進(jìn)辨識(shí)的魯棒性。所述方法的實(shí)施例可以還被用在對(duì)來(lái)自多個(gè)圖像的圖像進(jìn)行圖像辨識(shí)的方法中，從而所述至少ー組匹配屬性中的并且屬于所述圖像的匹配屬性將與所述各個(gè)參考圖像上的所述至少一個(gè)辨識(shí)出的物體相關(guān)聯(lián)。所述用于確定匹配像素的方法的實(shí)施例可以還被用在用于以下的方法中確定在不同時(shí)刻攝取的視頻序列中的兩個(gè)圖像之間的運(yùn)動(dòng)矢量。在第一變型中，所述方法包括步驟根據(jù)權(quán)利要求1-4中任ー個(gè)，對(duì)于第一視頻序列中攝取自所述不同時(shí)刻的兩個(gè)圖像之間的確定的2維運(yùn)動(dòng)矢量的起始像素，確定最早時(shí)刻處所述兩個(gè)圖像中的第一個(gè)內(nèi)的匹配像素，所述方法進(jìn)ー步包括步驟將所述第一視頻序列的所述2維運(yùn)動(dòng)矢量投影到3維空間，以便獲取3維運(yùn)動(dòng)矢量，其中，所述3維運(yùn)動(dòng)矢量被應(yīng)用于所述匹配像素的3維投影，以便由此獲得對(duì)應(yīng)的終點(diǎn)，所述終點(diǎn)被進(jìn)ー步反向投影回所述兩個(gè)圖像的第二個(gè)圖像中的終止像素，從而所述匹配像素和所述終止像素定義視頻序列中的兩個(gè)圖像之間的運(yùn)動(dòng)矢量。 可替換地，用于確定攝取自不同時(shí)刻的視頻序列中兩個(gè)圖像之間的運(yùn)動(dòng)矢量的方法可以包括步驟根據(jù)權(quán)利要求1-4中任ー個(gè)，對(duì)于第一視頻序列中攝取自所述不同時(shí)刻的兩個(gè)圖像之間的確定的2維運(yùn)動(dòng)矢量的起始和終止像素，在所述兩個(gè)圖像內(nèi)確定各自的匹配像素，所述兩個(gè)圖像中的所述各自匹配像素對(duì)由此定義所述視頻序列的所述運(yùn)動(dòng)矢量的起始和終止像素。用于確定運(yùn)動(dòng)矢量的可替換方法，以及用于確定幾個(gè)圖像之間的匹配像素的方法包括的實(shí)施例，這兩者都可以為基于經(jīng)典2維塊匹配技術(shù)的計(jì)算運(yùn)動(dòng)矢量的經(jīng)典方法呈現(xiàn)有價(jià)值的可替換方法。特別對(duì)于視頻編碼應(yīng)用，這還允許顯著減少運(yùn)動(dòng)矢量計(jì)算的處理工夫。本發(fā)明也涉及用于實(shí)施本方法實(shí)施例的設(shè)備、適于實(shí)施本方法實(shí)施例中任ー個(gè)的計(jì)算機(jī)程序以及包括所述計(jì)算機(jī)程序的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。本發(fā)明也涉及用于包含所述設(shè)備的視頻編碼器和圖像分析器。應(yīng)當(dāng)指出，用在權(quán)利要求中的術(shù)語(yǔ)“耦合的”不應(yīng)當(dāng)被解釋為限于僅直接連接。由此，“設(shè)備A耦合到設(shè)備B”這ー表述的范圍不應(yīng)當(dāng)被限于其中設(shè)備A的輸出直接連接到設(shè)備B的輸入的設(shè)備或系統(tǒng)。其是指，A的輸出與B的輸入之間存在通路，該通路可以是包括其它設(shè)備或裝置的通路。應(yīng)當(dāng)指出，用在權(quán)利要求中的術(shù)語(yǔ)“包括”不應(yīng)當(dāng)被解釋為限于其后列出的裝置。由此，“設(shè)備包括裝置A和B”這ー表述的范圍不應(yīng)當(dāng)被限于僅由部件A和B組成的設(shè)備。其是指，關(guān)于本發(fā)明，所述設(shè)備的僅有的相關(guān)部件是A和B。


通過(guò)參考以下結(jié)合附圖對(duì)實(shí)施例的描述，本發(fā)明的以上和其它目的及特征將變得更顯而易見，并且本發(fā)明其自身將被最好地理解，其中
圖I示出了本方法的高層示意；圖2示出了用于確定一組匹配像素的、圖I中方法的實(shí)施例；圖3a示出了用于確定一組匹配物體的、圖I中方法的實(shí)施例；圖3b示出了特別適于識(shí)別人物的、圖3a中方法的優(yōu)選實(shí)施例；圖3c示出了用于確定一組匹配物體的、本方法的另ー變型實(shí)施例；圖4a示出了用于圖像2的分割的、圖3a中方法的應(yīng)用；圖4b示出了圖3b中所示方法的應(yīng)用，其用于關(guān)于人物辨識(shí)的對(duì)圖像2的分割；圖5示意地示出了圖4b的方法可以怎樣被應(yīng)用于這樣的圖像，所述圖像示出從不同側(cè)觀察的人臉；圖6a不出了用于確定運(yùn)動(dòng)矢量的、圖2中方法的另ー應(yīng)用；圖6b示出了用于確定運(yùn)動(dòng)矢量的、圖6a中所示實(shí)施例的可替換項(xiàng)；圖7a示意地闡述了如圖6a中所示出的、用于確定運(yùn)動(dòng)矢量的方法；以及圖7b示意地闡述了如圖6b中所示的、用于確定運(yùn)動(dòng)矢量的方法。
具體實(shí)施例方式本說(shuō)明書和附圖僅示例了本發(fā)明的原理。由此應(yīng)當(dāng)認(rèn)識(shí)到，本領(lǐng)域的技術(shù)人員將能夠設(shè)想各種安排，所述各種安排盡管在此處未明確描述或示出，但體現(xiàn)了本發(fā)明的原理，并且被包括在其精神和范圍內(nèi)。此外，此處詳述的所有示例主要特別g在僅用于教育目的，其用于幫助讀者理解本發(fā)明的原理和發(fā)明人為推動(dòng)本領(lǐng)域進(jìn)步而貢獻(xiàn)的概念，并且應(yīng)當(dāng)被解釋為不限于所述特別詳述的示例和條件。此外，此處詳述本發(fā)明的原理、方面和實(shí)施例以及其特定示例的所有陳述g在包含其等價(jià)體。本領(lǐng)域的技術(shù)人員應(yīng)當(dāng)認(rèn)識(shí)到，此處的任意框圖代表體現(xiàn)本發(fā)明原理的示例電路的概念圖。類似地，應(yīng)當(dāng)認(rèn)識(shí)到，任意流程圖表、流程圖解、狀態(tài)轉(zhuǎn)換圖、偽代碼等表示各種過(guò)程，所述過(guò)程可以本質(zhì)上被表示在計(jì)算機(jī)可讀介質(zhì)中，并且因此被計(jì)算機(jī)或處理器執(zhí)行，不論所述計(jì)算機(jī)或處理器是否被明確示出。圖I示出了用于確定多個(gè)圖像之間的ー組匹配屬性的方法的高層實(shí)施例。在圖I中，僅示出了兩個(gè)圖像圖形I和圖像2，但用于確定多于兩個(gè)圖像之間的匹配屬性的其它實(shí)施例也是可能的。這些圖像或其部分被進(jìn)ー步轉(zhuǎn)換為三維(貫穿本文檔縮寫為3D)的圖像，分別指示為圖像1_3D和圖像2_3D。這對(duì)于那些包括ニ維中的像素信息以及還有深度信息的圖像表示是可能的。深度是可以從例如ー對(duì)立體圖像提取的參數(shù)。假設(shè)圖像僅由簡(jiǎn)単相機(jī)捕獲，則這涉及某些已知的處理技木。該深度信息可以還通過(guò)使用所謂的2D+Z相機(jī)來(lái)直接獲取，所述2D+Z相機(jī)例如是飛行時(shí)間相機(jī)。通過(guò)將該深度信息與2D顔色像素?cái)?shù)據(jù)一起使用，所述兩個(gè)圖像的3D表示可以通過(guò)將2D圖像數(shù)據(jù)投影到3D空間來(lái)生成。通常，僅對(duì)于這些構(gòu)成屬性的一部分或與屬性相關(guān)聯(lián)的像素需要3D投影或表示，其中，將在其余圖像中捜索所述屬性的匹配屬性。例如，如果僅將捜索表示物體的ー個(gè)特定像素組的匹配對(duì)應(yīng)物，所述物體例如是汽車，則僅屬于該汽車的像素需要被投影到3D空間。將在其中捜索匹配屬性的其余圖像可以也被部分地投影，例如，僅對(duì)應(yīng)于或圍繞該汽車在第一圖像中的像素位置的部分可以需要投影。然而，也有可能在其它實(shí)施例中，將從多個(gè)中的全部2D圖像重建完整3D圖像。在所有情況下，圖像i_3D是指完整圖像或圖像的僅ー部分的3D投影，其中，i指示各個(gè)圖像。一旦獲得了所述3D表示，則可以在該3D空間內(nèi)搜索對(duì)應(yīng)單元。假設(shè)將確定3D投影之間的對(duì)應(yīng)像素，則ー種可能將是，把在2D中用于塊匹配的方法外推為對(duì)例如圍繞投影像素的簡(jiǎn)單體積的體積匹配。雖然這代表在3D空間內(nèi)搜索對(duì)應(yīng)或匹配像素的ー種可能，但ー種更簡(jiǎn)單的方法涉及，僅使用例如圖像1_3D的僅ー個(gè)3D圖 像的像素周圍的簡(jiǎn)単體積，以及然后僅檢查圖像2_3D的投影像素是否被包括在該體積內(nèi)。將參考圖2進(jìn)ー步詳細(xì)闡述該實(shí)施例。這些將在3D空間中確定的對(duì)應(yīng)單元可以是像素，但可以也包括例如包含ー組像素的被識(shí)別物體或結(jié)構(gòu)，例如前面所提到示例中的汽車，或者可以包括與所述ー組像素相關(guān)聯(lián)的某些進(jìn)一歩的元數(shù)據(jù)，例如被識(shí)別人的名字，或者被識(shí)別汽車的類型。在2D圖像中捜索所述匹配物體可以然后再次通過(guò)以下來(lái)實(shí)施通過(guò)將2D圖像或其部分投影到3D空間，以及通過(guò)在該3D空間中搜索對(duì)應(yīng)投影物體體積。這可以借助于從對(duì)投影體積的第一次猜想開始的某種迭代過(guò)程以及通過(guò)經(jīng)由使用某種度量在其間搜索最佳匹配來(lái)完成。將關(guān)于圖3a到3c進(jìn)ー步詳細(xì)闡述可替換的更簡(jiǎn)單方法。一旦已在3D中確定這樣的ー組對(duì)應(yīng)単元，則將實(shí)施所述對(duì)應(yīng)3D単元的對(duì)應(yīng)像素向2D空間的重新計(jì)算。這將然后導(dǎo)致提供2D中兩個(gè)圖像之間的ー組匹配屬性。如之前提到的，所述ー組匹配屬性可以是一組匹配像素；或者ー組匹配結(jié)構(gòu)，所述匹配結(jié)構(gòu)是ー組像素組；或者一組匹配物體，每個(gè)匹配物體在兩者圖像中再次由一組像素表示。假設(shè)搜索匹配像素，圖2中示出ー種非常簡(jiǎn)單的方法。如在一般情況下那樣，兩者圖像的部分可以被投影到3D空間，這導(dǎo)致產(chǎn)生由圖像13D和圖像2_3D指示的3D表示。假設(shè)搜索一個(gè)圖像中的ー個(gè)特定像素在其余圖像中的匹配像素，則僅此ー個(gè)特定像素可以被投影到3D空間，從而圖像1_3D僅包括該單ー投影像素。這在圖2中所示的實(shí)施例中示出。如果已知兩者圖像相似，則位于該特定像素周圍或鄰近位置處的其余圖像的僅少量像素需要被投影。假設(shè)該知識(shí)不可用，則全部其余圖像的全部像素可以需要被投影到3D以便生成圖像2_3D。對(duì)于將在其余圖像中確定其某些匹配像素的特定像素，將在其3D投影周圍構(gòu)建或創(chuàng)建簡(jiǎn)單任意體積。通過(guò)檢查其余圖像的其余像素的3D表示是否構(gòu)成該體積的一部分，可以確定其余圖像的這些其余像素是否匹配。然而，取決于在參考的各個(gè)投影像素周圍的該體積的尺寸和形狀，這可以引起幾組3D對(duì)應(yīng)像素，ー種進(jìn)一歩精細(xì)改進(jìn)可以被實(shí)施以便識(shí)別最相關(guān)的對(duì)應(yīng)3D像素，其例如通過(guò)考慮與參考像素的投影的距離。該精細(xì)改進(jìn)未在圖2中示出。對(duì)于識(shí)別3D中的對(duì)應(yīng)像素，將搜索其匹配候選項(xiàng)的3D投影像素周圍的簡(jiǎn)單體積可以是橢圓體、或球體、或立方體、或束狀、或任意其它體積物。盡管球體或立方體代表非常簡(jiǎn)單的體積，其允許有限的計(jì)算資源，但使用具有不同軸向尺寸的體積可以具有與匹配自身的精度相關(guān)的優(yōu)點(diǎn)。例如對(duì)于2D中的立體圖像對(duì)，這可以是引人關(guān)注的。對(duì)于這些圖像，3D投影所需的深度參數(shù)通常經(jīng)由傳統(tǒng)方法計(jì)算出。所計(jì)算深度的精度然而與深度自身的值成反比，由此，對(duì)于跨圖像可變的深度值，使用具有可變尺寸的橢圓體可以幫助進(jìn)ー步提聞在3D空間中確定對(duì)應(yīng)像素或單兀的精度。一旦已在其余圖像的3D投影中(在該情況下僅在圖像2_3D中)找到這樣的對(duì)應(yīng)像素，則這些對(duì)應(yīng)3D投影像素將被進(jìn)行反向計(jì)算以便指示像素在原始2D圖像中的位置，對(duì)于原始圖像產(chǎn)生ー組2D中的匹配像素。假設(shè)在其余圖像的一個(gè)或更多內(nèi)找到幾個(gè)匹配像素，這在3D投影像素周圍的體積物的尺寸大大的情況下當(dāng)然可能，則可以實(shí)施某些進(jìn)一歩的迭代或精細(xì)計(jì)算，其通過(guò) 調(diào)整所選體積物的尺寸，或者可選地，可以基于某些度量選擇3D投影圖像內(nèi)的對(duì)應(yīng)3D像素中的ー個(gè)，所述度量例如是，該3D像素與將找到其匹配的參考圖像中的3D投影像素之間在3D空間中計(jì)算出的距離。然后將選擇相對(duì)于參考圖像中的3D投影像素具有最小3D距離的、3D投影圖像中的3D像素作為在3D中的最佳匹配，從而將選擇此作為3D中的對(duì)應(yīng)單元。然后將把此反向計(jì)算回2D中的原始圖像。圖3a示出了用于識(shí)別兩個(gè)圖像之間的匹配物體的方法的實(shí)施例?？梢酝ㄟ^(guò)使用自動(dòng)化物體辨識(shí)技術(shù)或借助于人工辨識(shí)來(lái)在2D圖像上識(shí)別出物體。一般選擇ー個(gè)圖像，通常該圖像是已在較早步驟中被確定為所述多個(gè)圖像中最易于在其上實(shí)施物體辨識(shí)的ー個(gè)。然而，如將在稍后段落中詳細(xì)闡述的那樣，也可能選擇將在其上實(shí)施圖像辨識(shí)的更多參考圖像。對(duì)用于在其上實(shí)施圖像辨識(shí)的參考圖像的確定或選擇，可以再次已由人類用戶實(shí)施，或者再次通過(guò)首先使用例如傳統(tǒng)圖像辨識(shí)技術(shù)對(duì)全部圖像的掃描、隨后通過(guò)對(duì)該首先結(jié)果的分析被自動(dòng)化地實(shí)施。某些傳統(tǒng)辨識(shí)技術(shù)允許粗略辨識(shí)，其通過(guò)僅包括有限數(shù)量的特征，或通過(guò)限制對(duì)數(shù)據(jù)的分析。通過(guò)對(duì)多個(gè)圖像實(shí)施所述快速初歩粗略辨識(shí)，其中所述辨識(shí)產(chǎn)生指示物體辨識(shí)的質(zhì)量的度量，則可以做出對(duì)將在其上進(jìn)行完全辨識(shí)步驟的圖像的選擇。該預(yù)選未在圖3a中示出，其中該圖進(jìn)一歩指示，選擇圖像I接受2D中的物體辨識(shí)過(guò)程。在該物體辨識(shí)技術(shù)之后，選擇辨識(shí)出的物體中的一個(gè)用于進(jìn)ー步捜索在其余圖像中的匹配物體。因此將圖像I上屬于該物體的像素投影到3D空間，產(chǎn)生圖像1_3D。可替換地，可以將圖像I的全部像素投影到3D空間，并且將在該圖像1_3D中特別標(biāo)識(shí)出屬于物體的像素。同樣并行地，通過(guò)將圖像2的像素的全部或部分投影到3D空間而生成圖像2_3D。為找到辨識(shí)出的物體的匹配物體，首先的可能包括，對(duì)于該物體的全部像素捜索匹配像素。為此，幾個(gè)選項(xiàng)可用，所述選項(xiàng)將在稍后段落中討論。一旦已找到這些匹配像素，則認(rèn)為包括這些匹配像素的像素組是其它圖像中的匹配物體。在某些實(shí)施例中，取決于將進(jìn)ー步使用匹配物體組的應(yīng)用，可以需要對(duì)所獲得的匹配物體組進(jìn)行某些進(jìn)一歩的后期處理。對(duì)于例如進(jìn)ー步消除噪聲，該后期處理可以是令人關(guān)注的。為檢查圖像2的哪ー組像素構(gòu)成與圖像I中已選擇或識(shí)別的物體匹配的物體，可以應(yīng)用逐像素方法，其通過(guò)再次在圖像1_3D的3D投影物體的全部投影像素周圍形成任意體積物，目的是對(duì)于構(gòu)成物體的全部像素識(shí)別匹配像素。這可以再次通過(guò)使用前面提到的橢圓體或球體或立方體來(lái)完成。然后對(duì)于圖像2_3D的每個(gè)像素檢查其是否被包括在這些體積的輪廓內(nèi)，并且然后將確實(shí)如此的這些像素認(rèn)為是屬于3D中的對(duì)應(yīng)物體的對(duì)應(yīng)像素?？商鎿Q地，可以創(chuàng)建圍繞圖像1_3D的3D物體的全部投影像素的大體積V0，或者是包圍每個(gè)像素周圍例如橢圓體的各個(gè)小體積的體積，或者是這兩者的混合。一旦已選擇或生成所述體積V0，則確定圖像2_3D的投影像素是否位于或被包括在該任意體積VO的輪廓內(nèi)。然后將被包括在該體積VO輪廓內(nèi)的圖像2_3D的全部投影像素識(shí)別為屬于3D中的對(duì)應(yīng)物體，并且將對(duì)其在圖像2中的位置進(jìn)行反向計(jì)算，基于此，由于對(duì)該3D像素組向2D域的反向計(jì)算，獲得圖像2中的匹配物體。
在某些實(shí)施例中，體積物可以只是由物體自身的3D投影形成的物體。在其它實(shí)施例中，由體積物來(lái)近似模擬3D物體。這例如在物體的形狀從辨識(shí)過(guò)程可知的情況下合適，在該情況下，可以使用近似模擬3D投影物體的泛化體積。例如，如果已知被辨識(shí)的物體涉及膝上電腦，則可以選擇某個(gè)柱狀體積來(lái)在3D空間中代表該膝上電腦。類似地，如果已知物體涉及球，則球體可以被用于代表該球。因此也可以從已知體積的庫(kù)中選擇該體積物體，所述已知體積類似3D中被辨識(shí)物體的形狀?？梢赃x擇這些基礎(chǔ)體積或形狀，或者可選地進(jìn)一歩使其適應(yīng)物體，例如通過(guò)調(diào)整所選形狀的半徑和中心點(diǎn)以便近似模擬投影球。盡管ー些實(shí)施例經(jīng)由調(diào)整體積的某些尺寸來(lái)實(shí)施相當(dāng)粗略的近似和適應(yīng)，但可以甚至進(jìn)ー步使這些體積的形態(tài)或形狀適合以便盡可能接近地近似3D投影物體。這可以例如是辨識(shí)人頭的情況。在此情況下，具有人頭形狀的某個(gè)形態(tài)體積可以被選擇，并且被進(jìn)ー步精細(xì)調(diào)整，或者，在其它實(shí)施例中，可以在3D空間中被創(chuàng)建以便由此適應(yīng)由該頭的3D投影像素創(chuàng)建的包圍體積。這在圖3b中示出。通過(guò)檢查來(lái)自圖像2_3D的像素是否形成該形態(tài)體積的一部分，由此通過(guò)檢查其是否被包括在該體積的輪廓內(nèi)，以及通過(guò)將其反向計(jì)算回2D空間，可以甚至在僅示出該頭的后部的圖像上完成一種用于實(shí)施人臉辨識(shí)的非常簡(jiǎn)單的方法。這將在討論圖5時(shí)被進(jìn)一歩示出。可以對(duì)所有類型的物體、因此不是僅對(duì)于人頭實(shí)施形態(tài)適應(yīng)體積的創(chuàng)建。在其它實(shí)施例中，選擇幾個(gè)參考圖像而不是僅僅ー個(gè)。然后以提高辨識(shí)的精度為目的對(duì)全部這些參考圖像實(shí)施圖像辨識(shí)。這例如再次是攝取自左、右和后側(cè)的人頭的3個(gè)視圖或圖像的情況。暗含對(duì)人的識(shí)別的圖像辨識(shí)不可以在攝取自后側(cè)的視圖上實(shí)施，因此可以使用僅左和右側(cè)。再次由于這些視圖憑其自身不足以進(jìn)行好的辨識(shí)，所以然后將左和右視圖這兩者選擇為參考視圖，其中，在所述參考視圖上實(shí)施圖像辨識(shí)。然后將把這兩者投影到3D空間，以及然后將把被辨識(shí)物體的投影合并為ー個(gè)3D被辨識(shí)物體或単元，其中，將對(duì)于該3D被辨識(shí)物體或單元確定在其它3D投影圖像中的對(duì)應(yīng)單元。為搜索該對(duì)應(yīng)3D物體，再次可以檢查其它3D投影圖像的3D投影的像素是否落在或被包括在近似模擬3D被辨識(shí)物體的體積物的輪廓內(nèi)。一旦找到這些像素，這將把其反向計(jì)算回對(duì)應(yīng)2D圖像，引出在攝取自后側(cè)的圖像上對(duì)該人頭的辨識(shí)。在又一些其它實(shí)施例中，不在2維空間而直接在3D空間中實(shí)施物體辨識(shí)。再次可以然后將ー個(gè)或更多所選參考圖像投影到3D空間，其中，基于該步驟在3D中實(shí)施圖像辨識(shí)。用于完成此的技術(shù)是本領(lǐng)域的技術(shù)人員已知的，并且可以包括找到3D特征點(diǎn)或形狀，以及斷言其是否組成正被辨識(shí)的物體的可行模型。還是在此情況下，由干與2D情況下相同的原因，可以使用多于ー個(gè)參考投影。一旦已識(shí)別出3D投影參考圖像中的參考物體，則搜索其它圖像的3D投影中的對(duì)應(yīng)物體，其通過(guò)將該単一或ー組3D中的已識(shí)別物體近似為體積物，其中所述體積物可以由此也僅是該物體自身的3D投影，基于該步驟，確定落入該體積物輪廓內(nèi)的其它圖像的投影的像素。對(duì)于在3D中符合該準(zhǔn)則的像素組，將實(shí)施向包括參考圖像的2D原始圖像的反向計(jì)算，以便識(shí)別原始2D圖像中的匹配物體。圖3c示出了該變型的一個(gè)實(shí)施例，其中，對(duì)于圖像I的3D投影在3D空間中實(shí)施圖像辨識(shí)。
圖4a示出了用于生成分割圖像的方法的實(shí)施例的第一應(yīng)用。其基本上示出了與圖3a中所述這些相同的步驟，但在此情況下，整個(gè)圖像I被分割為幾個(gè)物體。對(duì)于圖像I中的被辨識(shí)物體的每個(gè)，如果有的話在圖像I中確定匹配物體，然后將該匹配物體也與被識(shí)別物體相關(guān)聯(lián)。這樣，僅基于已分割的圖像I和使用前面提到的方法實(shí)施例的物體匹配，將獲得圖像2的完整分割。圖4b示出了對(duì)于以下情況的該應(yīng)用其中，已分割的圖像I包含例如臉的被識(shí)別人物。然后在圖像2中識(shí)別匹配人物，再次導(dǎo)致圖像2的分割。由于通常圖片將包含人和非人物體的混合，所以這兩種方法的組合當(dāng)然也可能。通過(guò)使用該方法，可以由此從ー個(gè)單一已分割圖像獲得全部多個(gè)圖像的分割，通常，該單一已分割圖像是被選擇為用于實(shí)施圖案辨識(shí)的最佳圖像的那個(gè)。通過(guò)對(duì)于該已選圖像中已辨識(shí)出的物體搜索3D空間內(nèi)的對(duì)應(yīng)單元，經(jīng)由前面提到的3D技術(shù)確定在原始2D空間中其它圖像中的對(duì)應(yīng)物體，以及，將同樣的已辨識(shí)出物體與其它圖像中的匹配物體相關(guān)聯(lián)，獲得了ー種非常簡(jiǎn)單但非常強(qiáng)大的匹配和分割技木。
圖5進(jìn)ー步示出了此，其借助于ー個(gè)來(lái)自同一人但攝取自180度差別角度的兩個(gè)圖像的非常簡(jiǎn)單的示例。這兩者原始2D圖片被示為分別的步驟(a)和(b)。臉識(shí)別在圖像I上是可能，其導(dǎo)致步驟(c)中的已分割的圖像I。由于圖像2上缺少足夠區(qū)分特征，經(jīng)由當(dāng)前技術(shù)的方法，不能在該第二圖像2上辨識(shí)出該同一人。然而，通過(guò)使用例如圖3b中所示那個(gè)的本方法的實(shí)施例，可以在已辨識(shí)出的“ John Doe ”的3D投影中生成近似被辨識(shí)人頭部的形態(tài)體積，以及，然后將落入該3D體積內(nèi)的圖像23D的像素也識(shí)別為在3D中屬于匹配的“John Doe”物體。通過(guò)將圖像2_3D中的對(duì)應(yīng)“John Doe”的對(duì)應(yīng)3D像素反向計(jì)算回圖像2，可以獲得圖像2中對(duì)“John Doe”的辨識(shí)以及伴隨的分割。這在步驟(d)中表示。如已闡述的用于確定幾個(gè)圖像之間的匹配像素的方法可以進(jìn)ー步在這樣的應(yīng)用中使用，所述應(yīng)用用于確定從ー個(gè)視頻序列到ー個(gè)或幾個(gè)其它視頻序列的運(yùn)動(dòng)矢量。運(yùn)動(dòng)矢量多數(shù)用于視頻編碼應(yīng)用，在該上下文中，其代表用于幀間預(yù)測(cè)的ニ維矢量，該ニ維矢量提供從原始或解碼圖片中的坐標(biāo)到參考圖片中的坐標(biāo)的偏移量。確定所述ニ維運(yùn)動(dòng)矢量可以通過(guò)使用基于塊的關(guān)聯(lián)方法來(lái)完成，所述基于塊的關(guān)聯(lián)方法在特定時(shí)刻遍歷該圖像的部分，以便對(duì)于參考圖像的像素或像素塊找到匹配的像素或像素塊。運(yùn)動(dòng)矢量因此被計(jì)算為該圖像中的當(dāng)前像素塊的位置與參考圖像中同樣尺碼和尺寸和朝向的最佳匹配塊的位置之間的像素距離。然而運(yùn)動(dòng)矢量可以被用于超出僅視頻編碼應(yīng)用的目的。這些應(yīng)用中的ー個(gè)包括跟蹤，其中，運(yùn)動(dòng)矢量可被用于貫穿視頻序列跟蹤感興趣的物體。在識(shí)別出該感興趣的物體之后，可以在視頻序列中使用運(yùn)動(dòng)矢量來(lái)貫穿時(shí)間跟蹤該感興趣的物體。在本專利申請(qǐng)中，將以其最寬泛的方式使用術(shù)語(yǔ)“運(yùn)動(dòng)矢量”，該定義因此意味著這樣的ニ維矢量，所述ニ維矢量確定視頻序列中攝取自特定時(shí)刻的幀或圖像的特定像素或塊的像素位置與攝取自另ー特定時(shí)刻的該視頻序列中的另ー幀或圖像的最佳匹配像素或塊之間位移。對(duì)兩個(gè)圖像之間的所述運(yùn)動(dòng)矢量的傳統(tǒng)確定意味著對(duì)最佳匹配像素或像素塊對(duì)的識(shí)別，所述對(duì)中的像素或像素塊來(lái)自每個(gè)圖像。在圖6a中闡述用于以新的可替換方式確定所述運(yùn)動(dòng)矢量的第一實(shí)施例。該圖示出了兩個(gè)視頻序列——視頻I和視頻2，示出了僅其位于兩個(gè)特定時(shí)刻t和t-Ι的兩個(gè)特定幀。當(dāng)然，這兩者視頻序列通常包括多于兩幀，而作為替代包括攝取自一系列時(shí)刻的一系列圖像或幀。為不使附圖負(fù)載過(guò)多，示出了其中 的僅兩個(gè)圖像11 (t-ι)和圖像12 (t)是分另Ij在時(shí)刻t-Ι和t處的來(lái)自視頻I的巾貞，以及，圖像21 (t-Ι)和圖像22 (t)是同樣分別在時(shí)刻t-Ι和t處的來(lái)自視頻2的幀。選擇視頻序列中的一個(gè)用于實(shí)施在圖像上對(duì)運(yùn)動(dòng)矢量的傳統(tǒng)2D確定。在圖6a中，選擇視頻I用于傳統(tǒng)2D運(yùn)動(dòng)矢量計(jì)算，所述計(jì)算由此是基于圖像11 (t-Ι)和圖像12 (t)。如在之前段落中闡述的，這意味著對(duì)圖像11與圖像12之間的匹配像素對(duì)的計(jì)算。對(duì)于這兩者圖像的運(yùn)動(dòng)矢量像素對(duì)的兩個(gè)像素，然后如步驟(a)和步驟(b)中所示的那樣計(jì)算出在3D空間中的投影像素，由此得到如步驟(e)中所示的用于該像素對(duì)的3D運(yùn)動(dòng)矢量。并行地，還借助于這些圖像11 (t-Ι)和圖像21 (t-Ι)的3D投影確定都攝取自t-Ι的圖像對(duì)圖像11與圖像21之間如關(guān)于前面實(shí)施例所闡述的匹配像素。圖像21 (t-1)的3D投影在步驟(c)中示出。在3D中對(duì)對(duì)應(yīng)像素的確定在步驟(d)中實(shí)施。該確定可以使用前面提到的技術(shù)來(lái)完成，其利用放置在投影圖像中的一個(gè)的像素周圍的例如橢圓體或其它體積。這些計(jì)算得到t-Ι處兩個(gè)投影圖像圖像11_3D與圖像21_3D之間的ー組對(duì)應(yīng)像素。另ー方面，還對(duì)于視頻I的一個(gè)或更多3D運(yùn)動(dòng)矢量確定起始和終止像素值?，F(xiàn)在通過(guò)合并兩個(gè)集合，由此，對(duì)于3D運(yùn)動(dòng)矢量中圖像11_3D的起始像素在圖像21_3D中的對(duì)應(yīng)像素，應(yīng)用已對(duì)于視頻I確定的3D運(yùn)動(dòng)矢量轉(zhuǎn)換，獲得圖像22 (t)的3D投影的對(duì)應(yīng)運(yùn)動(dòng)矢量的終點(diǎn)。這些可以被反向計(jì)算回原始圖像22 (t)。全部這些在步驟(f)中反映。圖7a示意地示出了此。該圖在左側(cè)示出了視頻I的圖像——圖像11和圖像12的投影，所述投影分別在步驟(a)和(b)中表示為圖像ll_3D(t-l)和圖像12_3D(t)。3D運(yùn)動(dòng)矢量mvl也被示出，并且被獲取為這樣的3D矢量，該3D矢量聯(lián)接屬于先前確定的2D運(yùn)動(dòng)矢量的像素對(duì)的3D投影。這些2D運(yùn)動(dòng)矢量像素被表示為來(lái)自圖像11的pll (t-Ι)和來(lái)自圖像12的pl2(t)，并且其3D投影被分別表示為pll_3D(t-l)和pl2_3D(t)。mvl由此在步驟(e)中表示鏈接兩個(gè)投影像素的3D運(yùn)動(dòng)矢量。該圖右側(cè)示出了圖像21(t-l)的3D投影，該投影被表示為步驟(c)中的圖像21_3D(t-l)。該3D投影示出了另ー 3D投影像素，該另ー 3D投影像素是p21_3D (t-1)，其被獲取為像素pl2_3D (t-Ι)在3D域中的對(duì)應(yīng)像素，所述獲取是通過(guò)使用如關(guān)于搜索匹配像素所闡述的方法中的某個(gè)。該確定的結(jié)果由步驟(d)示出。圖7a還示出了圖像22 (t)的3D投影。該3D投影僅為了示例原因而被示出，因?yàn)樵谠搶?shí)施例中，計(jì)算3D運(yùn)動(dòng)矢量mv2不需要該3D投影。實(shí)際上，在該實(shí)施例中假設(shè)mv2等于mvl。這由步驟(f)表示。因此，同樣的3D運(yùn)動(dòng)矢量mv2=mvl被應(yīng)用于作為起始點(diǎn)的p21_3D(t-l)，其得到作為3D終點(diǎn)的p22_3D(t)。一旦然后確定了圖像——圖像21 (t-Ι)和圖像22⑴的3D投影中的3D運(yùn)動(dòng)矢量的終點(diǎn)，這些被分別反向計(jì)算回原始圖像——圖像21(t-l)和圖像22(t)。這導(dǎo)致，在不必對(duì)該視頻序列進(jìn)行完全運(yùn)動(dòng)矢量估計(jì)步驟的情況下，對(duì)于視頻2計(jì)算出2D運(yùn)動(dòng)矢量。該方法由此提供一種找到運(yùn)動(dòng)矢量的廉價(jià)方法，該方法可被用于視頻編碼和對(duì)許多圖像處理技術(shù)的優(yōu)化，所述圖像處理技術(shù)例如是圖像辨識(shí)、圖像分割、立體匹配、跟蹤等。應(yīng)當(dāng)指出，在從運(yùn)動(dòng)矢量的3D終點(diǎn)向原始2D圖像22 (t)的反向計(jì)算期間，將產(chǎn)生深度參數(shù)。然而該深度參數(shù)不是從圖像22 (t)實(shí)際測(cè)量或立體獲取到的深度，其是基于圖像11 (t-Ι)、圖像12 (t)和圖像21(t-l)的深度的估計(jì)，其中，所述深度被用于計(jì)算這些圖像的3D投影。無(wú)論如何，該深度參數(shù)已是合適的估計(jì)，其可被用作例如使用更多傳統(tǒng)方法進(jìn)ー步精細(xì)調(diào)整該深度參數(shù)時(shí)的起點(diǎn)，所述傳統(tǒng)方法是基于例如立體圖像分析。圖6b和7b示出了用于確定所述2D運(yùn)動(dòng)矢量的另ー變型方法。步驟(a)、(b)、(c)和(d)類似于圖6a和7a中所示的這些，并且因此將不重復(fù)對(duì)其闡述。然而，與圖6a和7a的變型相反，該實(shí)施例利用圖像22(t)的深度參數(shù)，該深度參數(shù)由此允許生成被表示為圖像22_3D(t)的該圖像的3D投影，這在步驟(e)中完成。這然后允許對(duì)于圖像12_3D(t)中的3D運(yùn)動(dòng)矢量的終點(diǎn)pl2_3D(t)確定圖像22_3D(t)中的對(duì)應(yīng)像素。該對(duì)應(yīng)像素被表示為p22_3D(t)，并且其確定在步驟(f)中示出。這樣，獲得了視頻2的3D運(yùn)動(dòng)矢量mv2的起始和終止點(diǎn)，并且這些可以然后被反向計(jì)算回2D中的原始圖像，由此測(cè)到視頻2中的對(duì)應(yīng)2D運(yùn)動(dòng)矢量。應(yīng)當(dāng)指出，通過(guò)使用第二種變型方法獲得的運(yùn)動(dòng)矢量可以比借助于首先描述的變型方法獲得的更精確。但該較高精度是以更多處理工夫?yàn)榇鷥r(jià)獲得的，因?yàn)閷?chuàng)建圖像22 (t)的3D投影，其自身取決于深度值的可用性。假設(shè)不存在可用的，或者假設(shè)處理高效性代表更嚴(yán)格的邊界條件，則可以優(yōu)選首先描述的變型。盡管上面已結(jié)合特定裝置描述了本發(fā)明的原理，但應(yīng)當(dāng)清楚地理解，本說(shuō)明書僅作為示例給出，并且不作為對(duì)在所附權(quán)利要求中定義的本發(fā)明范圍的限制。權(quán)利要求
1.一種用于確定多個(gè)圖像(圖像I、圖像2)之間的至少ー組匹配屬性(像素li、像素2j ；物體li、物體2j)的方法，所述方法包括將所述多個(gè)圖像中的圖像的至少部分投影到3維空間產(chǎn)生多個(gè)3維投影圖像(圖像1_3D、圖像2_3D)的步驟；在所述多個(gè)3維投影圖像中的3維投影圖像內(nèi)捜索至少ー組對(duì)應(yīng)3維單元的步驟；將所述至少ー組中的所述對(duì)應(yīng)3維單元反向計(jì)算回所述多個(gè)圖像中的圖像內(nèi)的對(duì)應(yīng)2維屬性，以及提供所述圖像內(nèi)的所述對(duì)應(yīng)2維屬性(像素li、像素2j ;物體li、物體2j)作為所述至少ー組匹配屬性的步驟。
2.根據(jù)權(quán)利要求I的方法，進(jìn)ー步包括選擇所述多個(gè)圖像中的一個(gè)圖像(圖像I)作為參考圖像的步驟；識(shí)別所述參考圖像上的屬性的步驟；識(shí)別所述屬性的3維投影作為所述至少一組對(duì)應(yīng)3維單元中的3維單元(像素3D、物體3D)，由此在所述多個(gè)圖像中的其余圖像的3維投影圖像內(nèi)捜索至少ー個(gè)對(duì)應(yīng)3維單元的步驟。
3.根據(jù)權(quán)利要求2的方法，其中，所述屬性包括像素，以及其中，通過(guò)在所述像素的3維投影周圍形成體積物搜索所述至少一個(gè)對(duì)應(yīng)3維單元，從而落在所述體積物輪廓內(nèi)的所述 多個(gè)圖像中其余圖像的3維投影圖像的投影像素被識(shí)別為所述像素的所述3維投影的對(duì)應(yīng)3維單元。
4.根據(jù)權(quán)利要求3的方法，其中，所述體積物是以所述像素的所述3維投影為中心的橢圓體。
5.根據(jù)權(quán)利要求I所述的方法， 其中，所述至少一組對(duì)應(yīng)3維單元中的単元包括，從選自所述多個(gè)圖像的各個(gè)參考圖像的一個(gè)或更多3維投影獲得的至少ー個(gè)投影3維物體；以及 其中，對(duì)應(yīng)3維單元被確定為一組來(lái)自所述多個(gè)圖像中的另ー投影圖像的像素的3維投影，其中，所述像素的3維投影落在靠近所述至少ー個(gè)投影3維物體的體積物的輪廓內(nèi)， 從而，所述至少ー組匹配屬性通過(guò)將所述至少ー個(gè)投影3維物體和所述組反向計(jì)算回2維域中的原始圖像而獲得。
6.根據(jù)權(quán)利要求5的方法，進(jìn)ー步包括步驟在所述各個(gè)參考圖像上進(jìn)行2維圖像辨識(shí)，從而所述各個(gè)參考圖像上的至少ー個(gè)辨識(shí)出的物體與所述至少ー個(gè)投影3維物體相關(guān)聯(lián)。
7.根據(jù)權(quán)利要求5的方法，進(jìn)ー步包括步驟在所述各個(gè)參考圖像的所述ー個(gè)或更多3D投影上進(jìn)行3維圖像辨識(shí)，從而，從所述3維圖像辨識(shí)產(chǎn)生的至少ー個(gè)辨識(shí)出的物體與所述至少ー個(gè)投影3維物體相關(guān)聯(lián)。
8.根據(jù)權(quán)利要求5-7的方法，其中，從與所述至少ー個(gè)投影3維物體相關(guān)聯(lián)的一組體積模型中選出所述體積物。
9.根據(jù)權(quán)利要求5到8的方法，進(jìn)ー步包括步驟通過(guò)使所述體積物適應(yīng)所述至少一個(gè)投影3維物體來(lái)調(diào)整所述體積物。
10.一種用于對(duì)來(lái)自多個(gè)圖像的圖像進(jìn)行圖像辨識(shí)的方法，所述方法包括根據(jù)前面權(quán)利要求6-9中任ー個(gè)的步驟，從而，所述至少ー組匹配屬性中的并且屬于所述圖像的匹配屬性將與所述各個(gè)參考圖像上的所述至少一個(gè)識(shí)別出的物體相關(guān)聯(lián)。
11. (t-1)、圖像12 (t))之間的已確定的2維運(yùn)動(dòng)矢量的起始像素(P11 )，確定在最早時(shí)刻(t-Ι)處的所述兩個(gè)圖像中的第一個(gè)(圖像21 (t-Ι))內(nèi)的匹配像素(p21)，所述方法進(jìn)ー步包括步驟將所述第一視頻序列的所述2維運(yùn)動(dòng)矢量投影到3維空間，以便獲取3維運(yùn)動(dòng)矢量(mvl)，其中，所述3維運(yùn)動(dòng)矢量(mvl)被應(yīng)用于所述匹配像素(p21)的3維投影(p21_3D(t-l))，以便由此獲得對(duì)應(yīng)終止點(diǎn)(p22_3D(t-l))，該對(duì)應(yīng)終止點(diǎn)(p22_3D(t-l))被進(jìn)ー步反向投影到所述兩個(gè)圖像中的第二個(gè)圖像(圖像22(t))中的終止像素(p22)，從而所述匹配像素(P21)和所述終止像素(p22)定義所述視頻序列中的所述兩個(gè)圖像之間的所述運(yùn)動(dòng)矢量。
12.—種用于確定攝取于不同時(shí)刻(t-1、t)的視頻序列(視頻2)中的兩個(gè)圖像(圖像21 (t-Ι)、圖像22 (t))之間的運(yùn)動(dòng)矢量的方法，所述方法包括步驟根據(jù)權(quán)利要求1-4中任ー個(gè)，對(duì)于第一視頻序列(視頻I)中攝取于所述不同時(shí)刻(t-1、t)的兩個(gè)圖像(圖像11 (t-Ι)、圖像12 (t))之間的已確定的2維運(yùn)動(dòng)矢量的起始(piI)和終止(pl2)像素，確定在所述兩個(gè)圖像內(nèi)的各個(gè)匹配像素(p21、p22)，所述兩個(gè)圖像(圖像21 (t-1)、圖像22 (t))內(nèi)的所述各個(gè)匹配像素(P21、p22)對(duì)由此定義所述視頻序列的所述運(yùn)動(dòng)矢量的起始和終止像素。
13.—種適于實(shí)施在前面權(quán)利要求I到12中闡述的步驟中任ー個(gè)的設(shè)備。
14.一種適于實(shí)施根據(jù)權(quán)利要求I到13中任ー個(gè)的方法中的任一個(gè)的計(jì)算機(jī)程序。
15.ー種包括根據(jù)權(quán)利要求14的計(jì)算機(jī)程序的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。
全文摘要
一種用于確定多個(gè)圖像(圖像1、圖像2)之間的至少一組匹配屬性(像素、物體)的方法，包括將所述多個(gè)圖像中的圖像的至少部分投影到3維空間，產(chǎn)生多個(gè)3D投影圖像(圖像1_3D、圖像2_3D)的步驟；在所述多個(gè)3D投影圖像中的3D投影圖像內(nèi)搜索至少一個(gè)組對(duì)應(yīng)單元的步驟；反向計(jì)算回所述多個(gè)圖像中的原始圖像內(nèi)的所述對(duì)應(yīng)單元，并且提供所述原始圖像內(nèi)的所述對(duì)應(yīng)單元作為所述至少一組匹配屬性的步驟。
文檔編號(hào)G06T7/20GK102652319SQ201080056075
公開日2012年8月29日 申請(qǐng)日期2010年12月7日 優(yōu)先權(quán)日2009年12月11日
發(fā)明者D·蒂蓋特, J-F·麥克, M·埃爾茨, S·利文斯 申請(qǐng)人:阿爾卡特朗訊公司