圖像處理設(shè)備、圖像處理方法和程序的制作方法
【專利摘要】本發(fā)明針對用于生成圖像的設(shè)備和方法。多個圖像捕獲裝置從預(yù)定角度捕獲包括由曲面鏡反射的對象的圖像。分析在捕獲圖像中包括的圖像單元；并且根據(jù)分析結(jié)果確定在捕獲圖像中包括的對象的距離。
【專利說明】圖像處理設(shè)備、圖像處理方法和程序
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及圖像處理設(shè)備、圖像處理方法和程序，并且尤其涉及使得能夠利用簡單配置識別從視點到全天空(Whole sky)中的對象的距離。
【背景技術(shù)】
[0002]近年來，已經(jīng)廣泛使用所謂的3D電視機，已經(jīng)增強車輛導(dǎo)航系統(tǒng)的精確性，并且已經(jīng)將機器人投入實際使用，因此，存在對于識別在圖像中包括的被攝體的位置(距相機的距離)的強烈需求。
[0003]例如，獲得在圖像中包括的被攝體和相機之間的距離，從而生成所謂的深度圖。
[0004]然而，通過向由相機捕獲的圖像添加與由激光測距儀獲得的距離有關(guān)的信息，來生成在普通車輛導(dǎo)航系統(tǒng)中使用的大多數(shù)地圖信息。因此，一直期望除了相機之外不使用傳感器地識別到被攝體的距離的技術(shù)。
[0005]例如，通過使用相機從不同位置捕獲相同被攝體的圖像，可以識別從相機到被攝體的距離。注意，從多個相機位置捕獲相同被攝體的圖像也稱為“立體成像”。
[0006]另外，當(dāng)要實際生成3D圖像時，應(yīng)當(dāng)識別在圖像中包括的對象距相機的距離。具體地，除了特定被攝體之外，應(yīng)當(dāng)識別圍繞特定被攝體的對象的距離。
[0007]例如，已經(jīng)提出如下配置，在其中在上部和下部布置的兩個雙曲面鏡(hyperboloidal mirror)引起垂直視差差異,從而執(zhí)行整個周邊區(qū)域的立體成像(例如,參考非專利文件I)。
[0008]另外，已經(jīng)提出如下配置，在其中從兩個不同距離捕獲單個圓錐形鏡的圖像，從而出現(xiàn)垂直視差差異，由此執(zhí)行整個周邊區(qū)域的立體成像(例如，參考非專利文件2)。
[0009]此外，已經(jīng)提出使用旋轉(zhuǎn)光學(xué)系統(tǒng)的整個周邊區(qū)域的立體成像(例如，參考非專利文件3)。
[0010]根據(jù)這些技術(shù)，雖然可以粗略獲得從相機到目標(biāo)被攝體和圍繞該目標(biāo)被攝體的對象的距離，但是應(yīng)當(dāng)提供雙曲面鏡、圓錐形鏡和旋轉(zhuǎn)光學(xué)系統(tǒng)。
[0011]同時，已經(jīng)提出使用相當(dāng)容易獲得的球面鏡的立體成像(例如，參考非專利文件4)。
[0012]引用列表
[0013]非專利文獻
[0014]NPLl:使用真實場景的全景立體圖像和計算機圖形模塊的虛擬環(huán)境的構(gòu)建和再現(xiàn)。
[0015]NPL2:軸向錐形:建模用于寬角度光場再現(xiàn)的球面折反射相機
[0016]NPL3:利用旋轉(zhuǎn)光學(xué)的全方位視頻成像
[0017]NPL4:曲面鏡的軸光場

【發(fā)明內(nèi)容】
[0018]技術(shù)問題
[0019]然而，根據(jù)在非專利文件I到3中公開的技術(shù)，將提供如上描述的雙曲面鏡、圓錐形鏡和旋轉(zhuǎn)光學(xué)系統(tǒng)。雙曲面鏡、圓錐形鏡和旋轉(zhuǎn)光學(xué)系統(tǒng)不不作為標(biāo)準產(chǎn)品或者共用產(chǎn)品分發(fā)，并且因此難以簡單地獲得雙曲面鏡、圓錐形鏡和旋轉(zhuǎn)光學(xué)系統(tǒng)。
[0020]此外，難以利用在非專利文件I中公開的配置，其中，例如以現(xiàn)實方式在日常生活空間中的上部和下部布置雙曲面鏡。此外，根據(jù)非專利文件3，由于圓偏振膜用作光學(xué)系統(tǒng)，所以限制圖像均勻性。
[0021]另外，當(dāng)使用在非專利文件I到4中公開的技術(shù)中的任一個時，不能通過立體成像獲得在垂直和水平方向和前后方向上包括的周邊區(qū)域(其稱為“全天空”)的圖像。
[0022]已經(jīng)鑒于該情況作出本發(fā)明以利用簡單配置從特定視點獲得到在全天空中的對象的距離。
[0023]根據(jù)本發(fā)明，可以利用簡單配置獲得依據(jù)從特定視點到全天空中的對象的距離。
[0024]根據(jù)實施例，用于生成圖像的設(shè)備包括:多個圖像捕獲裝置，其從預(yù)定角度捕獲包括由曲面鏡反射的對象的圖像；分析單元分析在捕獲圖像中包括的圖像單元；以及距離估計單元，根據(jù)分析單元的分析結(jié)果對在捕獲圖像中包括的對象確定距離。
[0025]根據(jù)另一實施例，該設(shè)備還包括深度圖像深成單元，其根據(jù)捕獲圖像生成深度圖像。
[0026]根據(jù)另一實施例，多個圖像捕獲裝置包括在距曲面鏡相等的距離上布置的兩個圖像捕獲裝置。
[0027]根據(jù)另一實施例，該設(shè)備還包括映射單元，其利用虛擬單元將捕獲圖像的圖像單元映射到以曲面鏡為中心的多個預(yù)定虛擬曲表面上，并且將虛擬單元與捕獲圖像的圖像單元相關(guān)聯(lián)。
[0028]根據(jù)另一實施例，曲面鏡具有球面形狀，并且虛擬曲表面具有圓柱體形狀。映射單元通過使用曲面鏡的點的坐標(biāo)和圖像捕獲裝置的坐標(biāo)來確定由曲面鏡的該點反射的光束的三維矢量。所述坐標(biāo)指定具有曲面鏡的中心作為原點的三維空間，并且圖像捕獲裝置的坐標(biāo)表示圖像捕獲裝置的鏡頭的中心，并且映射單元根據(jù)三維矢量通過利用虛擬單元將與曲面鏡的點對應(yīng)的圖像單元映射到虛擬曲表面上，來生成映射圖像。
[0029]根據(jù)另一實施例，距離估計單元基于與圖像單元相關(guān)聯(lián)的映射虛擬單元的位置差異的最小值，對在該圖像單元中包括的對象確定距離。圖像單元包括像素或者多個像素形成的區(qū)域。映射單元通過映射捕獲圖像到具有一系列半徑的多個虛擬曲表面，來生成多個映射圖像，并且距離估計單元計算在虛擬曲表面上的虛擬單元的絕對值，并且距離估計單元通過使用與所計算的絕對值中的最小差異絕對值對應(yīng)的一個半徑，來估計到對象的距離。
[0030]本發(fā)明還設(shè)想由上述設(shè)備執(zhí)行的方法。
[0031]為了實現(xiàn)前面和相關(guān)目標(biāo)，這里結(jié)合以下描述和所附附圖來描述本發(fā)明的特定例示性實施例。雖然這些實施例是指示性的，但是是可以采用本發(fā)明的原理的各種方式的一些，并且本發(fā)明意圖包括所有這些方面和它們的等效物。當(dāng)結(jié)合附圖考慮時，本發(fā)明的其它優(yōu)點、實施例和新穎特征從本發(fā)明的以下描述中變得顯然。結(jié)合所附附圖可以最佳理解下面的描述，下面的描述以示例方式給出，但不意圖單獨限制本發(fā)明于描述的特定實施例。【專利附圖】

【附圖說明】
[0032]圖1是圖示其中由相機捕獲球面鏡的情形的示圖。
[0033]圖2是圖示由圖1所示的人觀看的球面鏡的示圖。
[0034]圖3包括圖示由人在圖1中所示的箭頭標(biāo)記指示的各種位置捕獲的球面鏡圖像的示圖。
[0035]圖4是圖示由相機捕獲的球面鏡圖像的示圖。
[0036]圖5是圖示包括圖4中所示的球面鏡和相機的空間作為三維空間的示圖。
[0037]圖6是圖5的透視視圖。
[0038]圖7是圖示用于在球面鏡中指定對象的位置的方法的示圖。
[0039]圖8是圖示根據(jù)本技術(shù)應(yīng)用于的實施例的圖像處理設(shè)備的配置的框圖。
[0040]圖9是圖示深度圖生成處理的流程圖。
[0041]圖10是圖示圖像映射處理的流程圖。
[0042]圖11是圖示圖像分析處理的流程圖。
[0043]圖12是圖示距離估計處理的流程圖。
`[0044]圖13包括進一步圖示深度圖生成處理的示圖。
[0045]圖14是更進一步圖示深度圖生成處理的示圖。
[0046]圖15是圖不當(dāng)使用兩個相機捕獲球面鏡時獲得的有效視場角度的不圖。
[0047]圖16是圖示當(dāng)使用三個相機捕獲球面鏡時獲得的有效視場角度的示圖。
[0048]圖17是圖示個人計算機的配置的框圖。
【具體實施方式】
[0049]這里，將參考附圖描述本發(fā)明的實施例。注意，在該公開中并且特別是在權(quán)利要求書和/或段落中，諸如“包括”，“被包括”、“包含”等之類的術(shù)語可以具有歸因于美國專利法中的含義；即，它們可以意味著“包括”、“被包括”、“包括著”、“包括，但不限于”等，并且允許不明確陳述的元素。諸如“基本由…組成”和“基本由…構(gòu)成”之類的術(shù)語具有歸因于美國專利法的含義；即，它們允許不明確陳述的元素，但是排除在現(xiàn)有技術(shù)中發(fā)現(xiàn)或者影響本發(fā)明的基本或者新穎特征的元素。本發(fā)明的實施例被公開或者依據(jù)以下描述是顯然的并且由以下描述包含。
[0050]首先，將描述球面鏡的特征。
[0051]例如由雙曲面鏡反射的光束會聚到一個點。然而，由球面鏡反射的光束不會聚到一個點。
[0052]假設(shè)，如圖1所示，人41和相機42和43處于球面鏡31中。注意，相機42和43以它們之間的特定間隔來定位。
[0053]人41看到如圖2中所示的球面鏡31。圖2是圖示當(dāng)人41使用小型數(shù)碼照相機捕獲球面鏡31的圖像時獲得的圖像的示圖。球面鏡31的圖像位于圖2的中心，人41的圖像位于球面鏡31的圖像的中心，并且相機42和43的圖像分別位于球面鏡31的圖像中的左側(cè)部分和右側(cè)部分。
[0054]這里，將考慮其中人41移動并且球面鏡的表面上的圖像依據(jù)該移動而改變的情形。圖3包括圖示當(dāng)人使用小型數(shù)碼照相機從由圖1中所示的箭頭標(biāo)記51-53表示的位置而捕獲球面鏡31的圖像時獲得的圖像的示圖。另外，在圖3所示的圖像的示例中，在改變垂直角度的同時球面鏡31的圖像由小型數(shù)字照相機捕獲。
[0055]假設(shè)圖1的紙張的方向表示水平方向，圖1的紙張的深度方向表示垂直方向。這里，當(dāng)其中將球面鏡31的中心和小型數(shù)碼照相機的鏡頭的中心相互連接的線(小型數(shù)碼照相機的光軸)與地面平行的位置被確定為O度時獲得的角度被稱為“垂直角度”。
[0056]圖3包括在垂直角度在O度、40度和70度之間改變的同時，在由圖1所示的箭頭標(biāo)記51到53表示的位置處，由人使用小型數(shù)碼照相機捕獲的球面鏡31的圖像。具體地，圖3包括在水平方向(由箭頭標(biāo)記51、52、53表示)上的三個位置和垂直方向上(垂直角度O度、40度和70度)的三個位置處通過改變小型數(shù)字照相機的位置獲得的9個圖像。
[0057]相機42和43的圖像通常包括在球面鏡31的表面上的相應(yīng)兩個位置處的圖3中所示的九個圖像的每一個中。具體地，即使當(dāng)在任何位置進行圖像捕獲時，在球面鏡31中相機42和43的圖像也不相互重疊。
[0058]這意味著，當(dāng)使用兩個相機經(jīng)由球面鏡而捕獲被攝體的圖像時，通常捕獲具有視差差異的圖像。
[0059]下面，將描述球面鏡中圖像和真實世界中對象的位置之間的關(guān)系。
[0060]例如將考慮其中如圖示4所示從特定位置捕獲球面鏡圖像的情形。圖4是圖示使用離開球面鏡的中心特定距離而放置的相機捕獲的球面鏡圖像的示圖。位于球面鏡附近的對象的圖像包括在所捕獲的球面鏡圖像中。
[0061]這里,包括如圖4中所示捕獲的球面鏡和相機的空間的圖像表示為如圖5所示的三維空間(X，I, Z)。在該情形中，Z軸表示圖5的水平方向，y軸表示圖5的垂直方向并且X軸表示圖5的深度方向(與紙張正交的方向)。在圖5中，相機安裝在以距離D離開z軸上的球體的中心處的位置上，并且球面鏡圖像使用該相機來捕獲。
[0062]如圖5所示，當(dāng)X軸定義為垂直于紙張的方向時，球面鏡的輪廓線可以在(z，y)平面中由圓形表示。另外，相機的位置可以由(z，y )平面上的坐標(biāo)(D，O )表示。
[0063]假設(shè)表示圖5中所示的球面鏡的輪廓線的圓形上的點由極坐標(biāo)(r, Φ )來表示。這里，“Φ”意味著由將球面鏡的輪廓線的圓形上的點和球面鏡的中心點連接的線與(x，y)平面定義的角度。注意，圓形的半徑是“1”，與三點鐘對應(yīng)的位置表示“Φ=0度”，并且與十二點鐘對應(yīng)的位置表示“ Φ=90度”。例如，圖5中所示的球面鏡的輪廓線的圓形上的單個點P具有90度的phi分量，并且由將點P和球面鏡的中心點互相連接的線與(z，y)平面定義的角度是Θ。
[0064]在該情形下，球面鏡的輪廓線的圓形由表達式(I)來表示。
[0065]表達式(I)
[0066]X2+Y2=l (I)
[0067]當(dāng)所估計的圖像高度(B卩，極坐標(biāo)(r，Φ )中的r分量)是I時，將表示球面鏡的輪廓的圓形上的特定點和相機的位置相互連接的直線接觸表示球面鏡的輪廓的圓形。因此，連接表示球面鏡的輪廓的圓形上的特定點P和表示圖5中所示的相機的位置處的點C的直線PC由表達式(2)來表示。
[0068]表達式(2)[0069]
【權(quán)利要求】
1.一種用于生成圖像的設(shè)備，包括:多個圖像捕獲裝置，從預(yù)定角度捕獲包括由曲面鏡反射的對象的圖像；分析單元，分析在捕獲圖像中包括的圖像單元；以及距離估計單元，根據(jù)分析單元的分析結(jié)果確定在捕獲圖像中包括的對象的距離。
2.如權(quán)利要求1所述的設(shè)備，還包括深度圖像深成單元，根據(jù)捕獲圖像生成深度圖像。
3.如權(quán)利要求1所述的設(shè)備，其中，多個圖像捕獲裝置包括以距曲面鏡相等的距離布置的兩個圖像捕獲裝置。
4.如權(quán)利要求1所述的設(shè)備，還包括:映射單元，利用虛擬單元將捕獲圖像的圖像單元映射到以曲面鏡為中心的多個預(yù)定虛擬曲表面上，并且將虛擬單元與捕獲圖像的圖像單元相關(guān)聯(lián)。
5.根據(jù)權(quán)利要求4所述的設(shè)備，其中，曲面鏡具有球面形狀，并且虛擬曲表面具有圓柱體形狀。
6.根據(jù)權(quán)利要求5所述的設(shè)備，其中，映射單元通過使用曲面鏡的點的坐標(biāo)和圖像捕獲裝置的坐標(biāo)來確定由曲面鏡的該點反射的光束的三維矢量，其中，所述坐標(biāo)指定具有曲面鏡的中心作為原點的三維空間，并且圖像捕獲裝置的坐標(biāo)表示圖像捕獲裝置的鏡頭的中心，并且其中，映射單元通過根據(jù)三維矢量利用虛擬單元將與曲面鏡的點對應(yīng)的圖像單元映射到虛擬曲面鏡上，來生成映射圖像。
7.如權(quán)利要求6所述的設(shè)備，其中，距離估計單元基于與圖像單元相關(guān)聯(lián)的映射虛擬單元的位置差異的最小值，來對在該圖像單元中包括的對象確定距離。
8.如權(quán)利要求6所述的設(shè)備，其中，圖像單元包括像素或者多個像素形成的區(qū)域。
9.如權(quán)利要求7所述的設(shè)備，其中，映射單元通過映射捕獲圖像到具有一系列半徑的多個虛擬曲表面，來生成多個映射圖像，距離估計單元計算虛擬曲表面上的虛擬單元的絕對值，并且距離估計單元通過使用與所計算的絕對值中的最小差異絕對值對應(yīng)的一個半徑，來估計到對象的距離。
10.一種用于通過設(shè)備生成圖像的方法，包括以下步驟:從預(yù)定角度捕獲包括由曲面鏡反射的對象的圖像；分析在捕獲圖像中包括的圖像單元；以及根據(jù)分析單元的分析結(jié)果確定對象的距離。
11.如權(quán)利要求10所述的方法，還包括根據(jù)捕獲圖像生成深度圖像的步驟。
12.如權(quán)利要求10所述的方法，還包括以下步驟:利用虛擬單元將捕獲圖像的圖像單元映射到以曲面鏡為中心的多個預(yù)定虛擬曲表面上，并且將虛擬單元與捕獲圖像的圖像單元相關(guān)聯(lián)。
13.根據(jù)權(quán)利要求12所述的方法，其中，曲面鏡具有球面形狀，并且虛擬曲表面具有圓柱體形狀，其中，映射步驟通過使用曲面鏡的點的坐標(biāo)和圖像捕獲裝置的坐標(biāo)來確定由曲面鏡的該點反射的光束的三維矢量，其中，所述坐標(biāo)指定具有曲面鏡的中心作為原點的三維空間，并且圖像捕獲裝置的坐標(biāo)表示圖像捕獲裝置的鏡頭的中心，并且其中，映射步驟通過根據(jù)三維矢量利用虛擬單元將與曲面鏡的點對應(yīng)的圖像單元映射到虛擬曲面鏡上，來生成映射圖像。
14.如權(quán)利要求13所述的方法，其中，估計步驟基于與圖像單元相關(guān)聯(lián)的映射虛擬單元的位置差異的最小值，對在該單元圖像中包括的對象確定距離。
15.如權(quán)利要求14所述的方法，其中，圖像單元包括像素或者多個像素形成的區(qū)域，其中，映射步驟通過映射捕獲圖像到具有一系列半徑的多個虛擬曲表面，來生成多個映射圖像，估計步驟計算虛擬曲表面上的虛擬單元的絕對值，并且估計步驟通過使用與所計算的絕對值中的最小差異絕對值對應(yīng)的一個半徑，來估計到對象的距離。
16.一種存儲程序的非暫時記錄介質(zhì)，所述程序指令與圖像捕獲裝置連接的計算機通過執(zhí)行以下步驟來生成圖像:由多個圖像捕獲裝置被從預(yù)定角度捕獲包括由曲面鏡反射的對象的圖像；分析在捕獲圖像中包括的圖像單元；以及根據(jù)分析單元的分析結(jié)果確定對象的距離。
17.如權(quán)利要求16所述的非暫時記錄介質(zhì)，還包括根據(jù)捕獲圖像生成深度圖像的步驟，以及利用虛擬單元將捕獲圖像的圖像單元映射到以曲面鏡為中心的多個預(yù)定虛擬曲表面上，并且將虛擬單元與捕獲圖像的圖像單元相關(guān)聯(lián)的步驟。
18.如權(quán)利要求17所述的非暫時記錄介質(zhì)，其中，曲面鏡具有球面形狀，并且虛擬曲表面具有圓柱體形狀，其中，映射步驟通過使用曲.面鏡的點的坐標(biāo)和圖像捕獲裝置的坐標(biāo)來確定由曲面鏡的該點反射的光束的三維矢量，其中，所述坐標(biāo)指定具有曲面鏡的中心作為原點的三維空間，并且圖像捕獲裝置的坐標(biāo)表示圖像捕獲裝置的鏡頭的中心，并且其中，映射步驟通過根據(jù)三維矢量利用虛擬單元將與曲面鏡的點對應(yīng)的圖像單元映射到虛擬曲面鏡上，來生成映射圖像。
19.如權(quán)利要求18所述的非暫時記錄介質(zhì)，其中，估計步驟基于與圖像單元相關(guān)聯(lián)的映射虛擬單元的位置差異的最小值，對在該單元圖像中包括的對象確定距離。
20.如權(quán)利要求19所述的方法，其中，圖像單元包括像素或者多個像素形成的區(qū)域，其中，映射步驟通過映射捕獲圖像到具有一系列半徑的多個虛擬曲表面，來生成多個映射圖像，估計步驟計算虛擬曲表面上的虛擬單元的絕對值，并且估計步驟通過使用與所計算的絕對值中的最小差異絕對值對應(yīng)的一個半徑，來估計到對象的距離。
【文檔編號】G06T1/00GK103443582SQ201280011742
【公開日】2013年12月11日 申請日期:2012年3月2日 優(yōu)先權(quán)日:2011年3月11日
【發(fā)明者】田中健司, 高橋義博, 田中和政 申請人:索尼公司