利用立體對(duì)應(yīng)性的實(shí)時(shí)深度提取的制作方法
【專(zhuān)利摘要】系統(tǒng)和方法可以提供：確定多個(gè)矯正后圖像之間的一維（1D）差異，以及至少部分地基于所述1D差異來(lái)從所述多個(gè)矯正后圖像提取深度信息。在一個(gè)示例中，1D差異在水平方向上，并且圖像相對(duì)于彼此在垂直方向上被矯正。
【專(zhuān)利說(shuō)明】利用立體對(duì)應(yīng)性的實(shí)時(shí)深度提取
【背景技術(shù)】
[0001]深度信息能夠提供圖像數(shù)據(jù)的附加維度，并且可用于解決諸如場(chǎng)景渲染、圖像/視頻分析和解釋、對(duì)象檢測(cè)和識(shí)別、以及遠(yuǎn)程存在檢測(cè)的各種圖形相關(guān)應(yīng)用所帶來(lái)的挑戰(zhàn)。一旦在圖像之間已經(jīng)確立像素間對(duì)應(yīng)性，立體像對(duì)照相可用于從一對(duì)圖像提取深度信息。然而，從立體圖像提取深度信息的常規(guī)技術(shù)會(huì)提供非穩(wěn)定結(jié)果，可能要求高的計(jì)算力，并且可能不適于實(shí)時(shí)處理。
【專(zhuān)利附圖】

【附圖說(shuō)明】
[0002]通過(guò)閱讀下面的說(shuō)明書(shū)和隨附的權(quán)利要求書(shū)，以及通過(guò)參考下面的附圖，本發(fā)明的實(shí)施例的各種優(yōu)點(diǎn)對(duì)于本領(lǐng)域的技術(shù)人員將變得清晰，其中:
[0003]圖1A-1D為在根據(jù)實(shí)施例的深度信息提取過(guò)程中所涉及的圖像示例的再現(xiàn)；
[0004]圖2為根據(jù)實(shí)施例的深度信息提取過(guò)程的示例的框圖；
[0005]圖3為根據(jù)實(shí)施例的構(gòu)造三維圖像的方法的示例的流程圖；
[0006]圖4A和4B為根據(jù)實(shí)施例的局部近似曲線的示例的繪圖；
[0007]圖5為根據(jù)實(shí)施例的圖像分析金字塔的示例的框圖；以及
[0008]圖6為根據(jù)實(shí)施例的系統(tǒng)的示例的框圖。
【具體實(shí)施方式】
[0009]實(shí)施例可提供在多個(gè)矯正后圖像之間確定一維差異的計(jì)算機(jī)實(shí)現(xiàn)方法?？梢灾辽俨糠值鼗谝痪S差異而從多個(gè)矯正后圖像中提取深度信息。
[0010]實(shí)施例還可以包括具有指令集的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，如果指令由處理器執(zhí)行，則使計(jì)算機(jī)確定多個(gè)矯正后圖像之間的一維差異。指令還能夠使計(jì)算機(jī)至少部分地基于一維差異而從多個(gè)矯正后圖像提取深度信息。
[0011]其它實(shí)施例可以包括一種系統(tǒng)，所述系統(tǒng)具有捕獲第一圖像的第一照相機(jī)、捕獲第二圖像的第二照相機(jī)、以及處理器。所述系統(tǒng)還可以包括具有指令集的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，如果由所述處理器執(zhí)行，所述指令使所述系統(tǒng)矯正第一圖像和第二圖像以獲得多個(gè)矯正后圖像，并且確定多個(gè)矯正后圖像之間的一維差異。所述指令還能夠使計(jì)算機(jī):至少部分地基于一維差異來(lái)從所述多個(gè)矯正后圖像提取深度信息，以及至少部分地基于所述深度信息來(lái)構(gòu)造三維圖像。
[0012]現(xiàn)在轉(zhuǎn)到圖1A-1D，顯示出根據(jù)多個(gè)矯正后的兩維(2D)圖像構(gòu)造三維(3D)圖像的示例，其中圖像可以是從攝錄像機(jī)或其它視頻捕獲設(shè)備獲得的視頻幀數(shù)據(jù)的一部分。尤其是，圖1A示出了利用聚焦到對(duì)象11上的第一照相機(jī)(例如，左側(cè)照相機(jī))捕獲的第一圖像10，并且圖1B示出了利用也聚焦到對(duì)象11上的第二照相機(jī)(例如，右側(cè)照相機(jī))捕獲的第二圖像12，其中圖像10、12可相對(duì)于彼此在垂直方向上被矯正(例如，對(duì)齊)。如進(jìn)一步詳細(xì)討論的，相對(duì)于彼此矯正圖像10、12能夠使能圖像10、12的簡(jiǎn)化深度提取和實(shí)時(shí)分析。圖1C示出了表示圖像10、12之間的像素間差異的差異圖14。因此，如果差異圖14要應(yīng)用于第一圖像10，則結(jié)果可能是第二圖像12。圖1D演示了矯正后圖像10、12和差異圖14可用于利用諸如三角測(cè)量的各種公開(kāi)技術(shù)構(gòu)造3D圖像16。
[0013]圖2示出了多分辨率(例如，金字塔形)數(shù)據(jù)結(jié)構(gòu)能夠用于快速檢測(cè)圖像之間的大的差異(例如，評(píng)估水平對(duì)應(yīng)性)的方案。如更加詳細(xì)討論的，差異檢測(cè)可以開(kāi)始于數(shù)據(jù)金字塔的上層級(jí)(例如，其中最高層級(jí)具有最小的像素鄰域和最大的分辨率)，其中為層級(jí)“η”確定的差異能夠進(jìn)行上采樣并且用作對(duì)層級(jí)η-l的差異確定的初始估計(jì)。圖示的方案表明，左側(cè)圖像18的像素?cái)?shù)據(jù)與來(lái)自金字塔中較高層級(jí)的差異圖20組合，以獲得左側(cè)圖像18的“扭曲”版22的像素?cái)?shù)據(jù)。圖示的扭曲版22可沿箭頭21進(jìn)行校正，從而與右側(cè)圖像24的像素?cái)?shù)據(jù)相似/等價(jià)。扭曲版22的校正可用于解釋使用來(lái)自另一層級(jí)的差異圖20當(dāng)作當(dāng)前層級(jí)的差異確定的初始估計(jì)。
[0014]現(xiàn)在轉(zhuǎn)向圖3，示出了構(gòu)造3D圖像的方法26。方法26可在可執(zhí)行軟件中實(shí)現(xiàn)為邏輯指令集，其存儲(chǔ)在諸如隨機(jī)存取存儲(chǔ)器(RAM)、只讀存儲(chǔ)器(ROM)、可編程ROM (PR0M)、固件、閃速存儲(chǔ)器等存儲(chǔ)器的機(jī)器或計(jì)算機(jī)可讀介質(zhì)中，在使用諸如專(zhuān)用集成電路(ASIC)、互補(bǔ)金屬氧化物半導(dǎo)體(CMOS)或晶體管-晶體管邏輯(TTL)技術(shù)的電路技術(shù)的固定功能邏輯硬件中，或其任意組合。例如，實(shí)施方法26中所示的操作的計(jì)算機(jī)程序代碼可以一種或多種編程語(yǔ)目的任意組合編寫(xiě)，包括諸如Java、Smalltalk、C++等面向?qū)ο蟮木幊陶Z(yǔ)目以及諸如“C”編程語(yǔ)言或類(lèi)似編程語(yǔ)言的常規(guī)的過(guò)程編程語(yǔ)言。
[0015]處理塊28提供多個(gè)圖像的捕獲。如之前所述，圖像可以表示視頻幀數(shù)據(jù)或靜態(tài)圖像數(shù)據(jù)，并且圖像捕獲可通過(guò)立體照相機(jī)或其它適合的圖像捕獲裝置來(lái)進(jìn)行。捕獲的圖像可在塊30處相對(duì)于彼此在垂直方向上被矯正，其中矯正過(guò)程能夠有效地合并成像裝置之間的極線約束(epipolar constrain)。塊32提供了圖像之間的一維(1D)差異的確定。
[0016]尤其是，圖4A和4B展示了可使曲線34中所示的二次多項(xiàng)式ax2移位距離(例如，差異)“d”以獲得局部近似公式，
[0017]a (x+d) 2=ax2+2dax+ad2 (I)
[0018]其中d是線性項(xiàng)(即，2da)與二次項(xiàng)(即，a)的比值，并且曲線36示出了當(dāng)d等于3時(shí)用于該方案的局部近似公式。因此，ID 二次多項(xiàng)式的局部變換可表示為:
[0019]p1=aX2+biX+Ci (2)
[0020]pr=arx2+brx+cr=p1 (x+d) =a1 (x+d) 2+h1 (x+d) +C1 (3)
[0021]其中P1(X)是左側(cè)圖像中位置X處的近似像素值，并且Pr(X)是右側(cè)圖像中位置X處的近似像素值。應(yīng)用公式(I)至公式(3)的原理能夠得到，
[0022]pr=a1x2+2a1dx+d2+b1x+b1d+c1 (4)
[0023]簡(jiǎn)化公式(4)可以提供，
[0024]Pr=B1X2+ (2a1+b1) x+d2+Id1CHx1 (5)
[0025]因此，使公式(3)的二次項(xiàng)系數(shù)、線性系數(shù)和常數(shù)系數(shù)與公式(5)相等得到，
[0026]B1=Br (6)
[0027]br=2a1d+b1 (7)
[0028]Cr=d2+b1CHx1 (8)
[0029]為差異d求解公式(7)因此得到，[0030]d=br-bi/a1
[0031]局部多項(xiàng)式B1的確定可通過(guò)下式給出，
[0032]
【權(quán)利要求】
1.一種系統(tǒng)，包括: 捕獲第一圖像的第一照相機(jī)； 捕獲第二圖像的第二照相機(jī)； 處理器；以及 計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其包括指令集，如果由所述處理器執(zhí)行，則指令使所述系統(tǒng)執(zhí)行以下操作: 矯正所述第一圖像和所述第二圖像以獲得多個(gè)矯正后圖像， 確定所述多個(gè)矯正后圖像之間的一維差異， 至少部分地基于所述一維差異來(lái)從所述多個(gè)矯正后圖像提取深度信息，并且 至少部分地基于所述深度信息來(lái)構(gòu)造三維圖像。
2.如權(quán)利要求1所述的系統(tǒng)，其中，所述一維差異在水平方向上，并且所述第一圖像和所述第二圖像相對(duì)于彼此在垂直方向上被矯正。
3.如權(quán)利要求2所述的系統(tǒng)，其中，如果執(zhí)行所述指令，則所述指令使所述系統(tǒng)在所述水平方向上移位局部近似公式的二次多項(xiàng)式。
4.如權(quán)利要求1所述的系統(tǒng)，其中，如果執(zhí)行所述指令，則所述指令使所述系統(tǒng): 識(shí)別所述多個(gè)矯正后圖像的像素鄰域， 檢測(cè)所述像素鄰域中的邊緣，以及` 響應(yīng)于檢測(cè)到所述邊緣而進(jìn)行塊搜索以細(xì)化所述一維差異。
5.如權(quán)利要求4所述的系統(tǒng)，其中，所述多個(gè)矯正后圖像包括第一矯正后圖像和第二矯正后圖像，并且所述塊搜索用于: 用所述一維差異纏繞所述第二矯正后圖像以獲得纏繞圖像， 計(jì)算所述纏繞圖像的第二水平導(dǎo)數(shù)和第二垂直導(dǎo)數(shù)， 將絕對(duì)差和公式應(yīng)用于所述第二水平導(dǎo)數(shù)、所述第二垂直導(dǎo)數(shù)以及所述第一矯正后圖像，以及 確定所述塊中的所述絕對(duì)差和公式的最小值以獲得細(xì)化的差異。
6.如權(quán)利要求1所述的系統(tǒng)，其中如果執(zhí)行所述指令，則所述指令使所述系統(tǒng)用于: 識(shí)別所述多個(gè)矯正后圖像的第一像素鄰域， 檢測(cè)所述第一像素鄰域包含用于差異估計(jì)的不充分的細(xì)節(jié)，以及響應(yīng)于檢測(cè)到所述第一像素鄰域包含不充分的細(xì)節(jié)而選擇所述多個(gè)矯正后圖像的第二像素鄰域，其中所述第二像素鄰域具有比所述第一像素鄰域大的尺寸。
7.一種計(jì)算機(jī)實(shí)現(xiàn)方法，包括: 確定多個(gè)矯正后圖像之間的一維差異；以及 至少部分地基于所述一維差異來(lái)從所述多個(gè)矯正后圖像提取深度信息。
8.如權(quán)利要求7所述的方法，其中，所述一維差異在水平方向上，并且所述圖像相對(duì)于彼此在垂直方向上被矯正。
9.如權(quán)利要求8所述的方法，其中，確定所述一維差異包括:在所述水平方向上移位局部近似公式的二次多項(xiàng)式。
10.如權(quán)利要求7所述的方法，其中，確定所述一維差異包括: 識(shí)別所述多個(gè)矯正后圖像的像素鄰域；檢測(cè)所述像素鄰域中的邊緣；以及 響應(yīng)于檢測(cè)到所述邊緣而進(jìn)行塊搜索以細(xì)化所述一維差異。
11.如權(quán)利要求10所述的方法，其中，所述多個(gè)矯正后圖像包括第一矯正后圖像和第二矯正后圖像，并且所述塊搜索包括: 用所述一維差異纏繞所述第二矯正后圖像以獲得纏繞圖像； 計(jì)算所述纏繞圖像的第二水平導(dǎo)數(shù)和第二垂直導(dǎo)數(shù)； 將絕對(duì)差和公式應(yīng)用于所述第二水平導(dǎo)數(shù)、所述第二垂直導(dǎo)數(shù)和所述第一矯正后圖像；以及 確定所述塊中的所述絕對(duì)差和公式的最小值以獲得細(xì)化的差異。
12.如權(quán)利要求7所述的方法，其中確定所述一維差異包括: 識(shí)別所述多個(gè)矯正后圖像的第一像素鄰域； 檢測(cè)所述第一像素鄰域包含用于差異估計(jì)的不充分的細(xì)節(jié)；以及響應(yīng)于檢測(cè)到所述第一像素鄰域包含不充分的細(xì)節(jié)而選擇所述多個(gè)矯正后圖像的第二像素鄰域，其中所述第二像素鄰域具有比所述第一像素鄰域大的尺寸。
13.如權(quán)利要求7所述的方法，還包括:至少部分地基于所述深度信息來(lái)構(gòu)造三維圖像。
14.一種包括指令集的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，如果處理器執(zhí)行指令，則所述指令使計(jì)算機(jī): 確定多個(gè)矯正后圖像之間的一維差異；以及 至少部分地基于所述一維差異來(lái)從所述多個(gè)矯正后圖像提取深度信息。
15.如權(quán)利要求14所述的介質(zhì)，其中，所述一維差異在水平方向上，并且所述圖像相對(duì)于彼此在垂直方向上被矯正。
16.如權(quán)利要求15所述的介質(zhì)，其中，如果所述指令被執(zhí)行，則使計(jì)算機(jī)在所述水平方向上移位局部近似公式的二次多項(xiàng)式。
17.如權(quán)利要求14所述的介質(zhì)，其中，如果所述指令被執(zhí)行，則使計(jì)算機(jī)用于: 識(shí)別所述多個(gè)矯正后圖像的像素鄰域； 檢測(cè)所述像素鄰域中的邊緣；以及 響應(yīng)于檢測(cè)到所述邊緣而進(jìn)行塊搜索以細(xì)化所述一維差異。
18.如權(quán)利要求17所述的介質(zhì)，其中，所述多個(gè)矯正后圖像包括第一矯正后圖像和第二矯正后圖像，并且所述塊搜索用于: 用所述一維差異來(lái)纏繞所述第二矯正后圖像以獲得纏繞圖像； 計(jì)算所述纏繞圖像的第二水平導(dǎo)數(shù)和第二垂直導(dǎo)數(shù)； 將絕對(duì)差和公式應(yīng)用于所述第二水平導(dǎo)數(shù)、所述第二垂直導(dǎo)數(shù)和所述第一矯正后圖像；以及 確定所述塊中的所述絕對(duì)差和公式的最小值以獲得細(xì)化的差異。
19.如權(quán)利要求14所述的介質(zhì)，其中，如果所述指令被執(zhí)行，則使計(jì)算機(jī)用于: 識(shí)別所述多個(gè)矯正后圖像的第一像素鄰域； 檢測(cè)所述第一像素鄰域包含用于差異估計(jì)的不充分的細(xì)節(jié)；以及 響應(yīng)于檢測(cè)到所述第一像素鄰域包含不充分的細(xì)節(jié)而選擇所述多個(gè)矯正后圖像的第二像素鄰域，其中所述第二像素鄰域具有比所述第一像素鄰域大的尺寸。
20.如權(quán)利要求14所述的介質(zhì)，其中如果所述指令被執(zhí)行，則使計(jì)算機(jī)至少部分地基于所述深度信息來(lái)構(gòu)造三維 圖像。
【文檔編號(hào)】G03B35/20GK103460705SQ201280016922
【公開(kāi)日】2013年12月18日 申請(qǐng)日期:2012年3月27日 優(yōu)先權(quán)日:2011年3月30日
【發(fā)明者】Z·阿維夫, O·戈夫林 申請(qǐng)人:英特爾公司