相關(guān)申請(qǐng)的交叉引用

本申請(qǐng)要求于2014年7月3日提交的、題為“amethodofperceiving3dstructurefromapairofimages(從一對(duì)圖像中覺察3d結(jié)構(gòu)的方法)”的以色列專利申請(qǐng)第233518號(hào)的利益，該申請(qǐng)的內(nèi)容以全文通過引用方式合并于本文中。

本發(fā)明涉及立體視覺系統(tǒng)領(lǐng)域。

背景技術(shù)：

為了在視覺上覺察世界的三維(3d)結(jié)構(gòu)，立體視覺是重要的步驟。覺察世界的3d結(jié)構(gòu)的能力又是執(zhí)行更高水平的視覺理解的關(guān)鍵步驟。這對(duì)于生物視覺系統(tǒng)以及計(jì)算視覺設(shè)備都是成立的。然而，兩者之間的鴻溝巨大。雖然在生物系統(tǒng)足以解決問題，但是在計(jì)算機(jī)視覺中情況遠(yuǎn)非如此。

可以遵照多種不同的方法來從場(chǎng)景的一個(gè)或多個(gè)圖像提取關(guān)于3d結(jié)構(gòu)的信息。計(jì)算立體方法在相對(duì)于基準(zhǔn)幀的某位置(或方向)集合處生成深度估計(jì)。對(duì)于兩照相機(jī)方法，這些估計(jì)經(jīng)常相對(duì)于第一照相機(jī)的坐標(biāo)系給出。稀疏重構(gòu)系統(tǒng)在可能位置中的相對(duì)小的子集處生成深度估計(jì)，其中稠密重構(gòu)系統(tǒng)試圖對(duì)于成像中的多數(shù)或全部詳述生成估計(jì)。

計(jì)算立體技術(shù)通過確定顯示出3d場(chǎng)景內(nèi)的同一實(shí)體(場(chǎng)景對(duì)象、元件、位置或點(diǎn))的兩個(gè)圖像中的相應(yīng)像素來估計(jì)諸如深度的范圍計(jì)量。給定一對(duì)相應(yīng)的像素和照相機(jī)的相對(duì)位置和方位的知識(shí)，可以通過三角測(cè)量找到兩個(gè)照相機(jī)射線的交叉點(diǎn)來估計(jì)深度。一旦計(jì)算出深度估計(jì)，輸入圖像的內(nèi)在的和外在的照相機(jī)參數(shù)的知識(shí)用來計(jì)算絕對(duì)參考系(例如，全球定位系統(tǒng)(gps)坐標(biāo))內(nèi)的等同的3d位置，從而生成例如成像的每幀的3d點(diǎn)云，其能夠轉(zhuǎn)換成表面模型以便利用容積工具進(jìn)一步分析。

雖然“深度”提供了2d圖像與3d圖像之間的直觀差別，但是不必直接測(cè)量或估計(jì)深度。“差異性”是另一種當(dāng)其它參數(shù)已知時(shí)在分析上等同于深度的范圍計(jì)量。一般地，差異性是指一個(gè)圖像中的像素與另一圖像中的相應(yīng)像素之間的像素位置(即，行和列位置)的差別。更確切地，差異性向量存儲(chǔ)一對(duì)圖像中的匹配像素之間的像素索引之間的差別。如果照相機(jī)位置和方位對(duì)于所處理的兩個(gè)幀是已知的，則諸如對(duì)應(yīng)性、差異性和深度的量保持等同的信息：可以通過三角測(cè)量法根據(jù)差異性來計(jì)算深度。

差異性向量場(chǎng)存儲(chǔ)每個(gè)像素處的差異性向量，并且因此告知如何找到兩個(gè)圖像中的每個(gè)像素的匹配(或?qū)?yīng)性)。當(dāng)內(nèi)在和外在照相機(jī)參數(shù)已知時(shí)，三角測(cè)量法將那些差異性估計(jì)轉(zhuǎn)換成深度估計(jì)并且因此相對(duì)于照相機(jī)的參考系的3d位置。

在稠密計(jì)算立體中的基本過程是估計(jì)所分析的兩個(gè)(或更多個(gè))圖像中的全部像素之間的對(duì)應(yīng)性。該計(jì)算根本上基于像素之間的本地匹配質(zhì)量的度量，仍是一個(gè)難題，并且說明了計(jì)算立體方法中的大部分的復(fù)雜度和運(yùn)行時(shí)的原因。

相關(guān)技術(shù)的前述示例以及與其相關(guān)的局限性旨在示例性的，而不是窮盡的。相關(guān)技術(shù)的其它局限性將在閱讀說明書和研究附圖時(shí)對(duì)于本領(lǐng)域技術(shù)人員變得顯而易見。

發(fā)明概述

下面的實(shí)施方案及其方面是結(jié)合意在示范性的、示例性的而不是限制訪問的系統(tǒng)、工具和方法來進(jìn)行說明和示例的。

一個(gè)實(shí)施方案提供了用于從一對(duì)原始圖像中覺察三維(3d)結(jié)構(gòu)的方法，包括以下步驟：a)對(duì)于每一個(gè)原始圖像創(chuàng)建金字塔，其中該金字塔是一系列圖像，每個(gè)圖像構(gòu)成了金字塔的一級(jí)，并且每個(gè)圖像相對(duì)于金字塔中的前一級(jí)在每個(gè)維度上具有一半的分辨率；b)對(duì)一對(duì)原始圖像的金字塔執(zhí)行ctf立體匹配；c)在一對(duì)原始圖像的相應(yīng)級(jí)中檢測(cè)(i)在ctf立體匹配中具有差結(jié)果以及(ii)具有高獨(dú)特性分?jǐn)?shù)的錨定器；以及d)對(duì)所述錨定器執(zhí)行全窮舉差異性搜索，以及將所述搜索的解擴(kuò)散到所述錨定器的相鄰像素。

另一實(shí)施方案提供了從一對(duì)原始圖像中覺察三維(3d)結(jié)構(gòu)的計(jì)算機(jī)程序產(chǎn)品，所述計(jì)算機(jī)程序產(chǎn)品包括其中存儲(chǔ)有指令的非暫態(tài)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，當(dāng)通過至少一個(gè)硬件處理器執(zhí)行時(shí)，所述指令使所述硬件處理器：a)對(duì)于每一個(gè)所述原始圖像創(chuàng)建金字塔，其中所述金字塔是一系列圖像，每個(gè)圖像構(gòu)成了所述金字塔的一級(jí)，并且每個(gè)圖像相對(duì)于所述金字塔中的前一級(jí)在每個(gè)維度上具有一半的分辨率；b)對(duì)所述一對(duì)原始圖像的金字塔執(zhí)行ctf立體匹配；c)在一對(duì)原始圖像的相應(yīng)級(jí)中檢測(cè)(i)在ctf立體匹配中具有差結(jié)果以及(ii)具有高獨(dú)特性分?jǐn)?shù)的錨定器；以及d)對(duì)所述錨定器執(zhí)行全窮舉差異性搜索，以及將所述搜索的解擴(kuò)散到所述錨定器的相鄰像素。

另一實(shí)施方案提供了一種系統(tǒng)，包括：至少兩個(gè)數(shù)字圖像傳感器；非暫態(tài)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其中存儲(chǔ)有指令，所述指令用于：a)對(duì)于每一個(gè)所述原始圖像創(chuàng)建金字塔，其中所述金字塔是一系列圖像，每個(gè)圖像構(gòu)成了所述金字塔的一級(jí)，并且每個(gè)圖像相對(duì)于所述金字塔中的前一級(jí)在每個(gè)維度上具有一半的分辨率；b)對(duì)所述一對(duì)原始圖像的金字塔執(zhí)行ctf立體匹配；c)在一對(duì)原始圖像的相應(yīng)級(jí)中檢測(cè)(i)在ctf立體匹配中具有差結(jié)果以及(ii)具有高獨(dú)特性分?jǐn)?shù)的錨定器；以及d)對(duì)所述錨定器執(zhí)行全窮舉差異性搜索，以及將所述搜索的解擴(kuò)散到所述錨定器的相鄰像素。

在一些實(shí)施方案中，該方法還包括：對(duì)于所述系列中的全部圖像應(yīng)用基于canny算子的布爾掩碼，并且對(duì)于全部圖像中的每個(gè)像素在其鄰域內(nèi)聚合來自canny算子的布爾信息，以及將其壓縮成整數(shù)或長(zhǎng)整數(shù)，從而提供被定義為匹配像素的canny聚合(ca)的漢明距離的匹配分?jǐn)?shù)(hca)。

在一些實(shí)施方案中，該方法還包括：通過對(duì)于全部像素選擇具有合理差異性的恒定映射來以最低分辨率創(chuàng)建差異性映射的初始猜測(cè)，以及對(duì)所述映射應(yīng)用細(xì)化，使得每個(gè)像素尋找接近初始猜測(cè)的差異性以及挑選出具有最佳hca的一個(gè)差異性。

在一些實(shí)施方案中，所述錨定器檢測(cè)包括：e)創(chuàng)建錨定器候選的列表，其中所述候選是具有低匹配分?jǐn)?shù)(小于某閾值)的像素；f)通過將這些像素分成兩個(gè)列表來對(duì)所檢測(cè)到的錨定器分類：第一列表是具有其分?jǐn)?shù)高的鄰域的像素，并且第二列表是不具有這樣的鄰域的像素；g)將所述兩個(gè)列表中的像素按其獨(dú)特性度量的階次來排序，首先是最有區(qū)分性的像素，其中為此目的，保持對(duì)在ca映射中有多少像素接通進(jìn)行計(jì)數(shù)的單獨(dú)的映射。

在一些實(shí)施方案中，對(duì)兩個(gè)排序的列表執(zhí)行窮盡搜索包括：首先對(duì)第一列表進(jìn)行，然后對(duì)第二列表進(jìn)行，其中第一列表中的錨定器僅檢查從它們的好鄰域內(nèi)擴(kuò)散的幾個(gè)候選，并且其中來自第二列表的錨定器將經(jīng)歷全范圍窮盡搜索，使得在窮盡搜索上的成功是當(dāng)最佳hca位于預(yù)定義閾值以上時(shí)。

在一些實(shí)施方案中，該方法還包括：在每個(gè)成功的窮盡搜索后，開始擴(kuò)散其結(jié)果，使得從其鄰域得到初始猜測(cè)差異性的每個(gè)像素如下：h)按hca對(duì)所述初始猜測(cè)差異性和近似差異性進(jìn)行評(píng)分；i)從具有最佳hca的步驟g)中挑選差異性；j)如果由于已經(jīng)訪問該像素的其它過程而使所述每個(gè)像素的hca高于某閾值，并且高于對(duì)于所述每個(gè)像素已經(jīng)存在的分?jǐn)?shù)，則將差異性更新到該像素；k)在結(jié)束更新時(shí)，將像素?cái)U(kuò)散到其鄰域；l)如果像素得到良好hca且屬于任意錨定器列表，則從這些列表中去除所述像素；m)將所述結(jié)果升級(jí)到更高分辨率，其中該升級(jí)差異性映射是下一分辨率的初始猜測(cè)；以及n)對(duì)于每個(gè)分辨率執(zhí)行所述過程，使得其結(jié)果是每個(gè)分辨率的最終結(jié)果，然后如果需要更高的分辨率則執(zhí)行所述升級(jí)。

在一些實(shí)施方案中，指令能夠進(jìn)一步由所述至少一個(gè)硬件處理器執(zhí)行，對(duì)于所述系列中的全部圖像應(yīng)用基于canny算子的布爾掩碼，并且對(duì)于全部圖像中的每個(gè)像素在其鄰域內(nèi)聚合來自canny算子的布爾信息，以及將其壓縮成整數(shù)或長(zhǎng)整數(shù)，從而提供被定義為匹配像素的canny聚合(ca)的漢明距離的匹配分?jǐn)?shù)(hca)。

在一些實(shí)施方案中，所述指令進(jìn)一步能夠由所述至少一個(gè)硬件處理器來執(zhí)行，通過對(duì)于全部像素選擇具有合理差異性的恒定映射來以最低分辨率創(chuàng)建差異性映射的初始猜測(cè)，以及對(duì)所述映射應(yīng)用細(xì)化，使得每個(gè)像素尋找接近初始猜測(cè)的差異性以及挑選出具有最佳hca的一個(gè)差異性。

在一些實(shí)施方案中，所述指令進(jìn)一步能夠由所述至少一個(gè)硬件處理器來執(zhí)行，在每個(gè)成功的窮盡搜索后，開始擴(kuò)散其結(jié)果，使得從其鄰域得到初始猜測(cè)差異性的每個(gè)像素如下：h)按hca對(duì)所述初始猜測(cè)差異性和近似差異性進(jìn)行評(píng)分；i)從具有最佳hca的步驟g)中挑選差異性；j)如果由于已經(jīng)訪問該像素的其它過程而使所述每個(gè)像素的hca高于某閾值，并且高于對(duì)于所述每個(gè)像素已經(jīng)存在的分?jǐn)?shù)，則將差異性更新到該像素；k)在結(jié)束更新時(shí)，將像素?cái)U(kuò)散到其鄰域；l)如果像素得到良好hca且屬于任意錨定器列表，則從這些列表中去除所述像素；m)將所述結(jié)果升級(jí)到更高分辨率，其中該升級(jí)差異性映射是下一分辨率的初始猜測(cè)；以及n)對(duì)于每個(gè)分辨率執(zhí)行所述過程，使得其結(jié)果是每個(gè)分辨率的最終結(jié)果，然后如果需要更高的分辨率則執(zhí)行所述升級(jí)。

在一些實(shí)施方案中，指令還包括：對(duì)于所述系列中的全部圖像應(yīng)用基于canny算子的布爾掩碼，并且對(duì)于全部圖像中的每個(gè)像素在其鄰域內(nèi)聚合來自canny算子的布爾信息，以及將其壓縮成整數(shù)或長(zhǎng)整數(shù)，從而提供被定義為匹配像素的canny聚合(ca)的漢明距離的匹配分?jǐn)?shù)(hca)。

在一些實(shí)施方案中，所述指令還包括：通過對(duì)于全部像素選擇具有合理差異性的恒定映射來以最低分辨率創(chuàng)建差異性映射的初始猜測(cè)，以及對(duì)所述映射應(yīng)用細(xì)化，使得每個(gè)像素尋找接近初始猜測(cè)的差異性以及挑選出具有最佳hca的一個(gè)差異性。

除了上述的示范性的方面和實(shí)施方案之外，通過參考附圖以及研究以下的詳細(xì)說明，進(jìn)一步的方面和實(shí)施方案將變得顯然已經(jīng)。

附圖說明

在所參考的附圖中示出了示范性的實(shí)施方案。圖中所示的組件和特征的尺寸通常是為了方便和清晰呈現(xiàn)而選定的，不一定是按比例顯示的。附圖列于下面。

圖1是示出根據(jù)實(shí)施方案用于將計(jì)算負(fù)荷適應(yīng)場(chǎng)景的復(fù)雜度的示范性的方法的流程圖；以及

圖2是根據(jù)實(shí)施方案用于機(jī)器立體視覺的系統(tǒng)的框圖。

發(fā)明詳述

本文公開了用于機(jī)器立體視覺的方法、系統(tǒng)和計(jì)算機(jī)程序產(chǎn)品，其中從一對(duì)原始圖像覺察3d結(jié)構(gòu)。有益地，對(duì)于該機(jī)器立體視覺所要求的計(jì)算負(fù)荷適應(yīng)圖像中所描繪的場(chǎng)景的復(fù)雜度，從而節(jié)約了諸如處理器使用、存儲(chǔ)器使用和/或功耗的計(jì)算資源。

在求解諸如立體視覺的復(fù)雜問題方面的一個(gè)重要的洞察在于，不是圖像中的全部數(shù)據(jù)都要求均勻水平的計(jì)算負(fù)荷。與諸如嵌齒輪、人類手掌或卷發(fā)等非紋理化壁或高度具體的結(jié)構(gòu)相比，諸如木板、具體的襯衣等在結(jié)構(gòu)上平滑且紋理化嚴(yán)重的對(duì)象更易于求解、立體視覺覺察度高。

該洞察的細(xì)化是其啟發(fā)式量化。本文的假設(shè)是，大多數(shù)數(shù)據(jù)需要相對(duì)底水平的計(jì)算努力。假設(shè)，近似地，大約90％的數(shù)據(jù)是這樣的。圖像的大部分，在對(duì)于較高水平視覺理解的要求精度以及計(jì)算復(fù)雜度方面，經(jīng)常俘獲每個(gè)圖像中的不到10％的像素。

找到一對(duì)圖像中的立體匹配的常見的解決方案是，在沒有任何先驗(yàn)的情況下，在所有理論上可能性中，對(duì)于一個(gè)圖像中的每個(gè)像素的鄰域，找到另一圖像的最佳匹配。這導(dǎo)致n*m的復(fù)雜度，其中n像素?cái)?shù)量，m是差異性范圍。在沒有任何先驗(yàn)的情況下，從零開始估計(jì)像素的差異性的方法在本文稱為窮盡搜索。

根據(jù)本實(shí)施方案，更高效且先進(jìn)的方法是檢測(cè)窮盡搜索的候選，作為第一階段。窮盡搜索所找到的良好匹配的每個(gè)這樣的候選(根據(jù)一些匹配標(biāo)準(zhǔn)，例如對(duì)在像素鄰域周圍或像素鄰域內(nèi)的roi中的匹配像素之間的平方差(ssd)求和)稱為“錨定器”。第二階段是將錨定器的差異性擴(kuò)散到具有來自平滑性先驗(yàn)的某容差的相鄰像素。通過這種方式，昂貴的窮盡搜索算法的使用縮窄到少量的像素，并且需要對(duì)于其余像素的更少量的候選的評(píng)估，依賴于平滑性先驗(yàn)。該方法在本文稱為窮盡和擴(kuò)散(e&d)。

為了提高在第二圖像中找到獨(dú)特匹配的概率，錨定器需要具有獨(dú)特的形狀和方位。

我們知道，我們正打算對(duì)錨定器運(yùn)行“昂貴的”算法(即，其會(huì)占用相當(dāng)大量的存儲(chǔ)器和其它系統(tǒng)資源)，因此讓我們最大化其成功的概率。對(duì)于獨(dú)特性度量，本實(shí)施方案可以使用許多可用方法中的一個(gè)，例如哈里斯點(diǎn)(參見c.harris和m.stephens(1988)，“acombinedcornerandedgedetector”，proceedingsofthe4^thalveyvisionconference,pp.147-151)，sift(參見lowe，davidg.(1999)，“objectrecognitionfromlocalscale-invariantfeatures”，proceedingsoftheinternationalconferenceoncomputervision2,pp.1150-1157)和surf(參見herbertbay,andreas,ess,tinnetuytelaars,lucvangool,(2008)，“surf：speededuprobustfeatures”，computervisionandimageunderstanding(cviu),vol.110,no.3,pp.346-359)。

問題在于，錨定器需要以將不錯(cuò)過任何孤立的對(duì)象的方式分布。孤立的對(duì)象是具有與其環(huán)境顯著不同的深度的對(duì)象。該對(duì)象將不會(huì)通過擴(kuò)散算法而得到正確的差異性。因此，本實(shí)施方案應(yīng)當(dāng)選擇其像素之一作為錨定器。該分布要求導(dǎo)致需要最少量的錨定器，否則錨定器的量會(huì)大。

以其效率著稱的另一方法是粗到精(ctf)。該方法對(duì)于兩個(gè)原始圖像中的每一個(gè)構(gòu)造分級(jí)金字塔。金字塔是一系列圖像，每個(gè)圖像具有前一圖像的一半的分辨率。然后，該方法應(yīng)用匹配算法于最低分辨率，這相對(duì)快速，因?yàn)閳D像和候選的可能差異數(shù)量都很小。示范性的匹配方法將在下文進(jìn)一步詳述。細(xì)化步驟是使用對(duì)于每個(gè)分辨率的解作為較高分辨率的初始猜測(cè)，并將其細(xì)化。這樣，在每個(gè)分辨率下對(duì)于每個(gè)像素將獲得僅兩個(gè)或三個(gè)候選。這導(dǎo)致性能與分辨率之間的對(duì)數(shù)比。該方法的問題在于，其對(duì)于我們?cè)谧畹头直媛氏虏豢赡茱@現(xiàn)的好的細(xì)節(jié)給予低的品質(zhì)。然而，其對(duì)大部分像素給予良好解。

通過上文所述的技術(shù)提供的啟示以一種新的方式組合在本文所描述的實(shí)施方案中以產(chǎn)生具有特定優(yōu)點(diǎn)的方法。因此，本實(shí)施方案使用上述e&d和ctf方法作為彼此的互補(bǔ)。假設(shè)我們執(zhí)行ctf，假設(shè)屬于我們錯(cuò)過的對(duì)象的像素將具有差的匹配分?jǐn)?shù)。在這些像素中，該方法選擇具有最高獨(dú)特性度量的像素，并且對(duì)它們運(yùn)行窮舉搜索。如果成功，則方法擴(kuò)散其差異性，直至分?jǐn)?shù)不改善現(xiàn)有的(來自ctf)。我們以兩種方式看待該組合：

1.作為主算法的e&d，以及作為其對(duì)錨定器的檢測(cè)器的ctf。

2.作為主算法的ctf，以及作為錯(cuò)誤糾正的e&d。

該組合以簡(jiǎn)單且高雅的方式實(shí)現(xiàn)上述洞察。大多數(shù)像素以非常高效的方式(ctf)具有正確解，而有問題的像素將被自動(dòng)檢測(cè)到且然后以更廉價(jià)且全面的方式進(jìn)行處置。使用該組合方法來獲得兩種技術(shù)的益處，因此，表示了現(xiàn)有技術(shù)的非顯而易見的擴(kuò)展。

通過確定兩個(gè)圖像中顯示出3d場(chǎng)景中的同一點(diǎn)的相應(yīng)像素以及利用核面幾何學(xué)來計(jì)算深度，計(jì)算立體視覺估計(jì)深度。給定一對(duì)相應(yīng)的像素和照相機(jī)的相對(duì)位置和方位的知識(shí)，通過三角測(cè)量法找到兩個(gè)照相機(jī)射線的交叉點(diǎn)能夠估計(jì)出深度。計(jì)算立體視覺方法基于兩個(gè)照相機(jī)之間的核面幾何學(xué)內(nèi)的相應(yīng)的像素、特征或區(qū)域的三角測(cè)量。三角測(cè)量在一些立體幾何學(xué)下以及在對(duì)應(yīng)性估計(jì)不存在誤差的情況下是直接的。

圖1是示出了根據(jù)本發(fā)明的實(shí)施方案用于將計(jì)算負(fù)荷適應(yīng)場(chǎng)景的復(fù)雜度的示范性的方法的流程圖。在框101中，一對(duì)圖像i1(i,j)和i2(i,j)(其中i＝1,2,…,imax，且j＝1,2,…,jmax是離散像素索引)被選擇用于立體處理(例如，來自視頻流)。在框102中，該方法對(duì)于每一個(gè)圖像創(chuàng)建金字塔，其中每個(gè)金字塔是具有不同分辨率的一系列圖像：金字塔中的每一級(jí)是相比于金字塔的前一級(jí)中的圖像在各維度上具有一半分辨率的圖像。

可以添加中間步驟：在ctf細(xì)化后，我們檢測(cè)到具有相對(duì)低匹配分?jǐn)?shù)和高獨(dú)特性度量的錨定器，其鄰域是具有相對(duì)高匹配分?jǐn)?shù)的像素。在多數(shù)情況下，這些像素代表了細(xì)化的差異性映射中的邊緣和孔。對(duì)于這些錨定器，我們將僅估計(jì)從良好鄰域的差異性擴(kuò)散的差異性候選。以這種方式，我們對(duì)邊緣和孔使用e&d算法，但是以更高效的方式。我們將該步驟僅視為擴(kuò)散器。我們從作為來自ctf的具有相對(duì)高匹配分?jǐn)?shù)的像素且具有至少一個(gè)具有相對(duì)低匹配分?jǐn)?shù)和高區(qū)別性的鄰像素的錨定器開始，并且擴(kuò)散它們的差異性。

根據(jù)實(shí)施方案，ctf和e&d在每個(gè)金字塔級(jí)中單獨(dú)地組合。在框103中，該方法從高分?jǐn)?shù)到低分?jǐn)?shù)執(zhí)行ctf，然后是擴(kuò)散。在框104中，該方法檢測(cè)每個(gè)金字塔級(jí)中的e&d的錨定器。在框105中，該方法對(duì)于每個(gè)錨定器在檢測(cè)到的級(jí)上執(zhí)行窮舉搜索。這樣，該方法以非常高效的方式利用窮舉搜索。

通過以下示例性的和非限制性的實(shí)施例能夠?qū)Υ诉M(jìn)行更好的理解：例如，讓我們?cè)谀潮尘扒胺脚臄z手掌，并且假設(shè)我們?cè)谧畹头直媛氏洛e(cuò)過了它，并且其在最高分辨率下包含20x20個(gè)像素。我們將比在最高分辨率階段中快得多地檢測(cè)到我們的錯(cuò)過。在系統(tǒng)檢測(cè)到錯(cuò)過的瞬間，其執(zhí)行窮舉搜索(框105)。這樣，我們以比在最高分辨率下更低數(shù)量的候選來執(zhí)行窮舉搜索。如果該過程成功(框106)，從現(xiàn)在開始僅須在較高分辨率下細(xì)化手掌，而不是從零開始找手掌。這可以通過執(zhí)行擴(kuò)散來完成(框107)。在該實(shí)施方案中，擴(kuò)散是通過將限定手掌的像素升級(jí)來獲得的(x,y,擴(kuò)散)。該實(shí)施例演示了該方法如何自動(dòng)地使計(jì)算負(fù)荷緊密適應(yīng)場(chǎng)景的復(fù)雜度。

有益地，上文所述的方法通過為其配備用于小且孤立的細(xì)節(jié)的魯棒且簡(jiǎn)單的糾錯(cuò)來補(bǔ)償ctf的主要缺點(diǎn)。而且，該方法通過為其配備高效的用于錨定器的檢測(cè)器來補(bǔ)償e&d的主要缺點(diǎn)。

下文進(jìn)一步詳述上文提到的計(jì)分。

當(dāng)今用于兩個(gè)圖像中的像素之間的匹配的直接的已知分?jǐn)?shù)是將它們的鄰域的強(qiáng)度進(jìn)行比較，即，對(duì)兩個(gè)鄰域中的相應(yīng)像素之間的差別的絕對(duì)值(或平方)求和。我們將該方法稱為ssd(平方差之和。為簡(jiǎn)化，我們將該名稱與絕對(duì)值之和共用)。該方法的主要缺點(diǎn)如下：

“對(duì)極端數(shù)的靈敏度”：具有極端強(qiáng)度的幾個(gè)像素會(huì)不成比例地劣化分?jǐn)?shù)的組人。該極端數(shù)可以來自兩個(gè)主要原因：a.硬件(照相機(jī)等)誤差，b.鄰域的中心像素接近場(chǎng)景中的結(jié)構(gòu)邊緣。因此，匹配分?jǐn)?shù)從具有不同差異性的兩個(gè)區(qū)域采集數(shù)據(jù)。

“對(duì)外觀的靈敏度”：兩個(gè)窗口(每個(gè)像素的鄰域)的強(qiáng)度會(huì)由于亮度、反射和/或視點(diǎn)的差別而彼此大不相同。

“計(jì)算復(fù)雜度”：計(jì)算復(fù)雜度高，因?yàn)橥ǔ?duì)于每一個(gè)像素需要執(zhí)行一打或更多的操作。

目前已知的克服“對(duì)極端數(shù)的靈敏度”的一個(gè)最魯棒的方式是由某閾值箝位差值的絕對(duì)值。另一種魯棒的方式是，僅用回答差值是否大于某閾值的問題的布爾值來取代差值。在相鄰窗口內(nèi)的這兩個(gè)建議(每個(gè)像素)分?jǐn)?shù)之和相應(yīng)地類似于msac(m估計(jì)器樣本和合意，參見p.h.s.torr,a.zisserman(2000)，“mlesac：anewrobustestimatorwithapplicationtoestimatingimagegeometry”，computervisionandimageunderstanding78,138-156)和ransac(隨機(jī)樣本合意，參見robuststatistics,peter.j.huber,wiley，1981)。第二個(gè)更基礎(chǔ)。在ransac中，我們對(duì)極端數(shù)簡(jiǎn)單地計(jì)數(shù)。很容易理解我們?cè)诖死貌紶柗椒▉碜鐾瑯拥氖虑?。在msac中，我們將極端數(shù)計(jì)數(shù)為等于閾值，并且內(nèi)圍數(shù)具有它們自己的值。

另一種克服“對(duì)外觀的靈敏度”的現(xiàn)有技術(shù)方法是使用正則化交叉相關(guān)。在該方法中，我們從每個(gè)鄰域中減去平均強(qiáng)度，在固定值之間執(zhí)行內(nèi)積，并且通過將其除以鄰域l2范數(shù)的乘積來將結(jié)果正則化。該方法從對(duì)外觀差別的魯棒性方面被視為現(xiàn)有技術(shù)，但是遇到了與“對(duì)極端數(shù)的靈敏度”相同的問題，它甚至比ssd更低效。

克服全部三個(gè)確定的另一種現(xiàn)有技術(shù)方法是“調(diào)查”分?jǐn)?shù)。對(duì)于具有強(qiáng)度i0和鄰域a的給定的像素x0，創(chuàng)建布爾的窗口，其具有與原鄰域相同的大小，其中像素“i”是對(duì)原始鄰域中的像素“i”的強(qiáng)度ii是否大于i0的問題的答案。然后，布爾的該鄰域被壓縮成整數(shù)或長(zhǎng)64(long64)，并且調(diào)查分?jǐn)?shù)(censusscore)將是兩個(gè)整數(shù)之間的漢明距離。易于理解到該分?jǐn)?shù)的有效性。

其對(duì)極端數(shù)魯棒的原因在于，其對(duì)極端數(shù)所做的與ssd(上文提到)的魯棒版本所做的相同。它們都限制極端數(shù)的權(quán)重。調(diào)查分?jǐn)?shù)高雅地處理對(duì)外觀的靈敏度的原因在于，其所持有的信息，僅取決于圖像內(nèi)的強(qiáng)度關(guān)系。這些關(guān)系假設(shè)從一個(gè)圖像到一個(gè)圖像保存，甚至在亮度變化之后。

我們理解調(diào)查分?jǐn)?shù)的兩個(gè)主要缺點(diǎn)：

1.其持有關(guān)于x0的鄰域的極少的信息。其不持有關(guān)于不包含x0的幾個(gè)像素之間的相互關(guān)系的任何信息。

2.其對(duì)i0(x0的強(qiáng)度)具有不成比例的相關(guān)性。

本實(shí)施方案的方法建議克服上文全部問題的有益的計(jì)分計(jì)算過程。該過程可涉及到以下步驟：

應(yīng)用邊緣檢測(cè)算法(例如，canny算法)從而得到表示邊緣的像素的布爾映射；以及

將其壓縮且計(jì)算漢明距離，方式與調(diào)查(census)相同。

該方法限制極端數(shù)的權(quán)重，方式與上文所有魯棒性方法相同。其對(duì)亮度變化的魯棒性的級(jí)別與canny算法相同。canny算法(參見canny，j.,(1986)“acomputationalapproachtoedgedetection”，ieeetrans.patternanalysisandmachineintelligence，8(6)：679-698)據(jù)知對(duì)極端數(shù)和亮度變化具有現(xiàn)有技術(shù)的魯棒性。另外，該分?jǐn)?shù)包含了比census更多的信息，并且對(duì)整個(gè)鄰域給予均勻的權(quán)重，與census不同。

現(xiàn)在參考圖2，該圖示出了用于機(jī)器立體視覺的系統(tǒng)200的框圖，其中從一對(duì)原始圖像中覺察3d結(jié)構(gòu)。系統(tǒng)200可以包括至少兩個(gè)數(shù)字圖像傳感器202，204。適合的圖像傳感器的實(shí)施例包括ccd(電荷耦合器件)和/或cmos(互補(bǔ)金屬氧化物半導(dǎo)體)器件，這是本領(lǐng)域已知的。傳感器202，204可以包含在單個(gè)照相機(jī)設(shè)備中或者單獨(dú)的照相機(jī)設(shè)備中。

系統(tǒng)200還可以包括非暫態(tài)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)(“存儲(chǔ)器”)206，諸如磁硬盤驅(qū)動(dòng)器、閃存設(shè)備和/或類似設(shè)備，其中存儲(chǔ)有實(shí)現(xiàn)上文所述的實(shí)施方案的程序指令。

系統(tǒng)200還可以包括能夠執(zhí)行存儲(chǔ)在存儲(chǔ)器206中的程序指令的至少一個(gè)硬件處理器208。隨機(jī)存取存儲(chǔ)器(ram)210還可以包含在系統(tǒng)200中，并且對(duì)于指令的至少一部分用作臨時(shí)的、快速存儲(chǔ)設(shè)備。

作為一個(gè)實(shí)施例，系統(tǒng)200可以是機(jī)器人的零件。系統(tǒng)200可以賦予機(jī)器人以執(zhí)行其職責(zé)所需的立體機(jī)器視覺能力。

本實(shí)施方案還可以是計(jì)算機(jī)程序產(chǎn)品。計(jì)算機(jī)程序產(chǎn)品可以包括其中具有用于使處理器實(shí)施本發(fā)明的方案的計(jì)算機(jī)可讀程序指令的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)(或多個(gè)介質(zhì))。

計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)可以是能夠保留和存儲(chǔ)指令以便由指令執(zhí)行設(shè)備使用的非暫態(tài)的、有形設(shè)備。計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)可以是例如但不限于電子存儲(chǔ)設(shè)備，磁存儲(chǔ)設(shè)備，光學(xué)存儲(chǔ)設(shè)備，電磁存儲(chǔ)設(shè)備，半導(dǎo)體存儲(chǔ)設(shè)備或前述的任何合適的組合。計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)的更具體的示例的非窮盡列表包括以下：便攜式計(jì)算機(jī)磁盤，硬盤，隨機(jī)存取存儲(chǔ)器(ram)只讀存儲(chǔ)器(rom)，可擦除可編程只讀存儲(chǔ)器(eprom或閃存)，靜態(tài)隨機(jī)存取存儲(chǔ)器(sram)、便攜式光盤只讀存儲(chǔ)器(cd-rom)，數(shù)字多功能盤(dvd)、記憶棒、軟盤或任何前述的適當(dāng)組合。在本文所使用的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)不應(yīng)解釋為暫態(tài)信號(hào)本身，例如無線電波或其它自由傳播的電磁波、通過波導(dǎo)或其它傳輸介質(zhì)傳播的電磁波(例如，通過光纖電纜的光脈沖)或通過電線傳輸?shù)碾娦盘?hào)。

本文所描述的計(jì)算機(jī)可讀程序指令可以從計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)裝載到相應(yīng)的計(jì)算/處理設(shè)備或者經(jīng)由例如因特網(wǎng)、局域網(wǎng)、廣域網(wǎng)和/或無線網(wǎng)的網(wǎng)絡(luò)裝載到外部計(jì)算機(jī)或外部存儲(chǔ)設(shè)備。網(wǎng)絡(luò)可以包括銅傳輸線纜、光纖傳輸、無線傳輸、路由器、防火墻、交換機(jī)、網(wǎng)關(guān)計(jì)算機(jī)和/或邊沿服務(wù)器。每個(gè)計(jì)算/處理設(shè)備中的網(wǎng)絡(luò)適配器卡或網(wǎng)絡(luò)接口接收來自網(wǎng)絡(luò)的計(jì)算機(jī)可讀程序指令并且轉(zhuǎn)發(fā)計(jì)算機(jī)可讀程序指令以便存儲(chǔ)在相應(yīng)的計(jì)算/處理設(shè)備內(nèi)的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)內(nèi)。

用于實(shí)施本發(fā)明的操作的計(jì)算機(jī)可讀程序指令可以是匯編指令、指令集體系結(jié)構(gòu)(isa)指令、機(jī)器指令、機(jī)器相關(guān)指令、微碼、固件指令、狀態(tài)設(shè)定數(shù)據(jù)或者以一種或多種編程語言的任何組合來編寫的源碼或?qū)ο蟠a，所述編程語言包括面向?qū)ο蟮木幊陶Z言(諸如java，smalltalk，c++等)和常規(guī)的過程編程語言，諸如“c”編程語言或類似的編程語言。計(jì)算機(jī)可讀程序指令可以完全在用戶計(jì)算機(jī)上執(zhí)行，部分在用戶計(jì)算機(jī)上執(zhí)行，作為獨(dú)立軟件包執(zhí)行，部分在用戶計(jì)算機(jī)上執(zhí)行且部分在遠(yuǎn)程計(jì)算機(jī)上執(zhí)行，或者完全在遠(yuǎn)程計(jì)算機(jī)或服務(wù)器上執(zhí)行。在后一種情況下，遠(yuǎn)程計(jì)算機(jī)可以通過任何類型的網(wǎng)絡(luò)(包括局域網(wǎng)(lan)或廣域網(wǎng)(wan))連接到用戶的計(jì)算機(jī)，或者可以連接到外部計(jì)算機(jī)(例如，通過使用因特網(wǎng)服務(wù)提供商的因特網(wǎng))。在一些實(shí)施方案中，包括例如可編程邏輯電路、現(xiàn)場(chǎng)可編程門陣列(fpga)或可編程邏輯陣列(pla)的電子電路系統(tǒng)可以通過使用計(jì)算機(jī)可讀程序指令的狀態(tài)信息來個(gè)性化電子電路系統(tǒng)來執(zhí)行計(jì)算機(jī)可讀程序指令，從而執(zhí)行本發(fā)明的各方面。

以上參照根據(jù)本發(fā)明實(shí)施方案的方法、裝置(系統(tǒng))和計(jì)算機(jī)程序產(chǎn)品的流程圖和/或框圖描述了本發(fā)明的各方面。應(yīng)當(dāng)理解，流程圖和/或框圖的每個(gè)框以及流程圖和/或框圖中的框的組合可以通過計(jì)算機(jī)程序指令來實(shí)現(xiàn)。

這些計(jì)算機(jī)程序指令可以提供給通用計(jì)算機(jī)、專用計(jì)算機(jī)或其他可編程數(shù)據(jù)處理裝置的處理器，以產(chǎn)生機(jī)器，使得經(jīng)由計(jì)算機(jī)或其他可編程數(shù)據(jù)處理裝置的處理器執(zhí)行的指令，創(chuàng)建用于實(shí)現(xiàn)流程圖和/或框圖的一個(gè)或多個(gè)框中指定的功能/動(dòng)作的裝置。這些計(jì)算機(jī)可讀程序指令還可以存儲(chǔ)在可以指導(dǎo)計(jì)算機(jī)、其他可編程數(shù)據(jù)處理裝置或其他設(shè)備以特定方式運(yùn)行的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中，使得其中存儲(chǔ)有指令的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)包括制品，制品包括實(shí)現(xiàn)在流程圖和/或框圖的一個(gè)或多個(gè)框中指定的功能/動(dòng)作的方面的指令。

計(jì)算機(jī)可讀程序指令還可以裝載到計(jì)算機(jī)、其它可編程數(shù)據(jù)處理裝置或其它設(shè)備上以使在計(jì)算機(jī)、其它可編程裝置或其它設(shè)備上執(zhí)行一系列操作步驟來產(chǎn)生計(jì)算機(jī)實(shí)現(xiàn)的過程，使得在計(jì)算機(jī)、其它可編程裝置或其它設(shè)備上執(zhí)行的指令實(shí)現(xiàn)在流程圖和/或框圖的一個(gè)或多個(gè)或框內(nèi)規(guī)定的功能/動(dòng)作。

附圖中的流程圖和框圖示出了根據(jù)本發(fā)明的各種實(shí)施方案的系統(tǒng)、方法和計(jì)算機(jī)程序產(chǎn)品的可能的實(shí)現(xiàn)的體系結(jié)構(gòu)、功能和操作。在這點(diǎn)上，流程圖或框圖中的每個(gè)框可以表示指令的模塊，段或部分，其包括用于實(shí)現(xiàn)指定的邏輯功能的一個(gè)或多個(gè)可執(zhí)行指令。在一些替代實(shí)施方式中，在框中標(biāo)注的功能可以不按照附圖中所示的順序發(fā)生。例如，取決于所涉及的功能，連續(xù)示出的兩個(gè)框?qū)嶋H上可以基本同時(shí)執(zhí)行，或者這些塊有時(shí)可以以相反的順序執(zhí)行。還將注意，框圖和/或流程圖圖示中的每個(gè)框以及框圖和/或流程圖中的框的組合可以由執(zhí)行指定功能或動(dòng)作或?qū)嵤Ｓ糜布陀?jì)算機(jī)指令的組合的基于專用硬件的系統(tǒng)來實(shí)現(xiàn)。

已經(jīng)出于說明的目的給出了本發(fā)明的各種實(shí)施方案的描述，但是這些描述并不旨在窮舉或限于所公開的實(shí)施方案。在不脫離所描述的實(shí)施方案的范圍和精神的情況下，許多修改和變化對(duì)于本領(lǐng)域普通技術(shù)人員將是顯而易見的。選擇本文中使用的術(shù)語是為了最好地解釋實(shí)施方案的原理，實(shí)際應(yīng)用或?qū)κ袌?chǎng)中發(fā)現(xiàn)的技術(shù)的技術(shù)改進(jìn)或使本領(lǐng)域的其他普通技術(shù)人員能夠理解本文公開的實(shí)施方案。