專利名稱：偽三維圖像生成設(shè)備的制作方法
技術(shù)領(lǐng)域：
本發(fā)明主要涉及圖像生成設(shè)備，尤其涉及一種由多個圖像生成偽三維圖像的設(shè)備、方法和計算機程序，以及存儲該程序的計算機可讀記錄介質(zhì)。
背景技術(shù)：
現(xiàn)在有多種傳統(tǒng)的三維測量方法。這些方法通常分為兩類被動方法和主動方法。立體法是典型的被動方法，而光分段法則是典型的主動方法。
在立體法中，使用兩個以特定距離放置的圖像捕獲設(shè)備來捕獲物體的圖像。使用光學(xué)三角測量，根據(jù)兩個圖像捕獲設(shè)備所捕獲的圖像中物體的投影位置的差異而確定物體的位置。在光分段法中，利用以特定距離放置的狹縫投影儀和圖像捕獲設(shè)備來捕獲物體的圖像。使用光學(xué)三角測量，根據(jù)所捕獲的圖像中光帶投射在物體上的位置而確定物體的位置。
日本專利申請公開No.2000-329524公開了一種技術(shù)，其中，使用光學(xué)三角測量，利用亮度隨物體上的位置而變化的光(例如，亮度自左向右增強的光)照亮物體，并測量每個位置的反射光的強度，從而確定物體的進深。然而，該技術(shù)要求以特定的距離放置圖像捕獲設(shè)備和照明設(shè)備。很難將該技術(shù)實施為緊湊型三維圖像生成設(shè)備。
日本專利申請公開No.2000-121339公開了另外一種技術(shù)，其中，物體和圖像捕獲設(shè)備中間有一個特定距離，利用所謂的“飛行時間”原理，用亮度隨時間變化的光照亮物體，并測量反射光的強度。然而，該方法需要用強度調(diào)制光照亮物體的特殊照明設(shè)備和裝備有用于捕獲強度調(diào)制光中變化的高速快門的圖像捕獲設(shè)備。很難將該技術(shù)實施為低成本的三維圖像生成設(shè)備。
日本專利申請公開No.2-079179公開了一種技術(shù)，其中，使用X射線CT捕獲的層析X射線照片計算偽進深值，例如，每個層析X射線照片對應(yīng)于一個離散的進深值，透明圖像平滑地與相鄰的圖像連接。然而，該方法需要透明的圖像，例如由X射線CT捕獲并且劃分為分別對應(yīng)于一個離散進深值的層析X射線照片。很難將該技術(shù)實施為醫(yī)療器械之外的通用三維圖像生成設(shè)備。
最近以來，裝備有攝像頭的移動終端日益大眾化。盡管由此類攝像頭捕獲的圖像是二維，如果能采用三維圖像的話，則可以擴展圖像的應(yīng)用并增加圖像的使用率。因為傳統(tǒng)的方法，不管是被動方法還是主動方法，都使用光學(xué)三角測量，需要以特定的距離放置(例如)圖像捕獲設(shè)備和狹縫投影儀。很難將傳統(tǒng)方法應(yīng)用于移動終端。另外，被動方法通常需要較短的測量時間，但是其生成的三維圖像精度和質(zhì)量都比較低。主動方法通常具有高精度，但是它要求較長的測量時間。主動方法更適用于工業(yè)設(shè)備。因為上面所述的其它方法還需要特殊的設(shè)備，所以它們的用途有限。

發(fā)明內(nèi)容
因此，本發(fā)明的目的在于提供一種新穎而有效的圖像生成設(shè)備。本發(fā)明的另一個更具體的目的在于提供一種緊湊并且易于使用的偽三維圖像生成設(shè)備和一種適用于緊湊而易于使用的偽三維圖像生成設(shè)備的偽三維圖像生成方法。
術(shù)語“偽進深”指的是在物體的實際距離未知時，如下所述合理地確定并指定給物體而代替其實際進深的進深(距離)。術(shù)語“偽三維圖像”指的是其進深為偽進深的三維圖像。
根據(jù)本發(fā)明的偽三維圖像生成設(shè)備由不同照明條件下捕獲的多個圖像生成物體的偽三維圖像。該偽三維圖像生成設(shè)備包括存儲圖像的圖像存儲單元，和進深計算單元，進深計算單元計算存儲在所述圖像存儲單元中一個圖像中的像素的偽進深值，該計算基于所述像素的像素值和所述圖像存儲單元中存儲的另一個圖像的另一個像素的像素值，所述另一個像素對應(yīng)于所述像素。
把不同照明條件下捕獲的多個物體圖像輸入到偽三維圖像生成設(shè)備中。對這些圖像進行比較從而計算像素的進深值。不同的照明條件可以是使用照明設(shè)備照亮物體的情形和不使用照明設(shè)備照亮物體的情形。兩種情形中圖像之間的差異越大，則物體越接近于圖像捕獲設(shè)備。雖然進深值是離散的，也可以生成具有離散進深的偽三維圖像。可以用連續(xù)函數(shù)替換離散的進深值，從而可平滑地連接各個離散的進深值。因此，該偽三維圖像生成設(shè)備可以避免“紙片”效應(yīng)，并使所生成的偽三維圖像看起來很自然并具有很高的質(zhì)量。
通過以下的詳細說明，結(jié)合附圖，可以更清楚地理解本發(fā)明的其它目的、特征和優(yōu)點。


圖1是根據(jù)本發(fā)明第一實施例的偽三維圖像生成設(shè)備的框圖；圖2是根據(jù)第一實施例生成偽三維圖像的流程圖；圖3是根據(jù)第一實施例生成離散進深數(shù)據(jù)的步驟的流程圖；圖4是圖3所示步驟在使用平均值的情形下的流程圖；圖5是根據(jù)本發(fā)明的第二實施例生成離散進深數(shù)據(jù)的步驟的流程圖；圖6是解釋物體的反射系數(shù)對離散進深數(shù)據(jù)的影響的原理圖；圖7是圖5所示步驟在使用平均值的情形下的流程圖；圖8是根據(jù)本發(fā)明的第三實施例生成離散進深數(shù)據(jù)的步驟的流程圖；圖9是圖8所示步驟在使用平均值的情形下的流程圖；圖10包含用于解釋根據(jù)本發(fā)明的第四實施例將連續(xù)函數(shù)應(yīng)用于偽三維圖像的處理的圖像和圖形；圖11是一組用于解釋根據(jù)本發(fā)明的第五實施例平滑偽進深圖像的處理的圖像；圖12是根據(jù)第五實施例的平滑濾波器的結(jié)果示例；
圖13用于解釋生成根據(jù)本發(fā)明實施例的離散進深數(shù)據(jù)所用的閾值的確定；以及圖14解釋了根據(jù)本發(fā)明實施例的對象調(diào)整。
具體實施例方式
下文將參照附圖來詳細描述本發(fā)明的優(yōu)選實施例。
圖1是根據(jù)本發(fā)明第一實施例的偽三維(3D)圖像生成設(shè)備的框圖。圖1所示的偽三維圖像生成設(shè)備10連接至圖像捕獲設(shè)備11，圖像捕獲設(shè)備11裝備有或者連接至照明設(shè)備12，照明設(shè)備12照亮要捕捉圖像的物體。偽三維圖像生成設(shè)備10中提供了圖像存儲單元13、運算單元14和控制單元15。圖像存儲單元13存儲物體的圖像數(shù)據(jù)。運算單元14通過對具有不同照明強度的不同照明條件下捕獲的多個圖像進行比較，從而計算物體的偽進深?？刂茊卧?5控制上述單元。
圖2是一個流程圖，解釋了由圖1所示偽三維圖像生成設(shè)備10執(zhí)行的偽三維圖像生成方法。參照圖2所示的偽三維圖像生成方法的流程圖描述三維圖像生成設(shè)備10的操作。
當生成物體的偽三維圖像時，輸入照明條件和要捕獲的圖像的數(shù)目k(步驟S21)。照明條件和圖像數(shù)目k可以是預(yù)先固定的。在第j個照明條件下使用照明設(shè)備12照亮物體，并且輸入由圖像捕獲設(shè)備11捕獲的圖像(S22)。照明強度在各個照明條件下是不同的。照明設(shè)備12響應(yīng)于照明信號(例如，一個與圖像捕獲設(shè)備的快門同步的脈沖)而照亮物體。第j次捕獲的圖像信號存儲在圖像存儲單元13的幀存儲器j中作為圖像數(shù)據(jù)(步驟S23)。重復(fù)處理步驟S22和S23直到所捕獲的圖像的數(shù)量達到數(shù)目k(步驟S24、S25)。
圖像全部輸入后，響應(yīng)于控制單元15的指令，把所存儲的圖像數(shù)據(jù)從幀存儲器131-133轉(zhuǎn)移到運算單元14的圖像運算單元141(步驟S26)。圖像運算單元141根據(jù)在不同照明條件下捕獲的圖像，通過在相應(yīng)像素的像素值之間執(zhí)行運算(例如，減和/或除)，并將運算結(jié)果與一個預(yù)定閾值進行比較，從而生成離散的進深數(shù)據(jù)(步驟S27)。下面對離散進深數(shù)據(jù)進行詳細的說明。
圖像運算單元141執(zhí)行預(yù)處理，以生成圖像中的顏色信息，并計算進深值。例如，通過轉(zhuǎn)換圖像，使各個圖像的對比度最大，并提取對比度最高的圖像，從而生成顏色信息。經(jīng)轉(zhuǎn)換的圖像可以適當?shù)丶訖?quán)并組合。例如，預(yù)處理可以包括按顏色的邊緣檢測、對象檢測和二值化后的擴展和收縮?？梢杂煽刂茊卧?5選擇上述處理方法的組合。
進深計算單元142使用圖像運算單元141生成的離散進深數(shù)據(jù)計算各個像素的偽進深值(步驟S28)。
計算物體的進深值要求照亮該物體。圖像捕獲設(shè)備11和照明設(shè)備12可以并排放置。因此，偽三維圖形生成設(shè)備10可以比傳統(tǒng)設(shè)備更加緊湊。例如，偽三維圖像生成設(shè)備10可以置于移動終端、筆記本電腦和數(shù)字相機中。
圖3是圖2所示生成離散進深數(shù)據(jù)的步驟(S27)的流程圖。在該實施例中，假定進深值是二值化的以便于描述。設(shè)置了兩個照明條件，即“有照明”和“無照明”，并且捕獲了兩個圖像。在“有照明”條件下捕獲的圖像數(shù)據(jù)的第i像素的像素值表示為Ai，在“無照明”條件下捕獲的圖像數(shù)據(jù)的第i像素的像素值表示為Bi。定性地表示離散進深的二值化數(shù)據(jù)表示為Ci。
在計算進深值時，要確定閾值n和圖像規(guī)格s(S31)。閾值n是一個參數(shù)，它將圖像的像素劃分為兩類，即接近圖像捕獲設(shè)備11的像素和遠離圖像捕獲設(shè)備11的像素。閾值n可以任意確定。下面說明閾值n的確定。圖像規(guī)格s是輸入圖像數(shù)據(jù)中寬度方向的像素數(shù)目(x)與高度方向的像素數(shù)目(y)之積。由像素值A(chǔ)i中減去像素值Bi。如果該減法的結(jié)果等于或者大于閾值n，則將Ci設(shè)置為等于1。否則，將Ci設(shè)置為等于0(步驟S32-S34)。針對圖像數(shù)據(jù)的所有像素重復(fù)步驟S32-S34的處理(步驟S35-S36)。
二值化離散進深值Ci為1的像素被確定為接近圖像捕獲設(shè)備11。其它像素被確定為遠離圖像捕獲設(shè)備11。如上所述，二值化數(shù)據(jù)Ci基于與閾值n的比較定性地表示像素的離散進深。利用二值化處理的結(jié)果作為偽進深值，可以高速地生成偽三維圖像，不會有過多的計算負荷。
利用基于不同照明條件下捕獲的多個圖像的二值化處理，或使用不同閾值的二值化處理，可以計算出多級進深值。在此情形下，一個圖像用作參考圖像，可以執(zhí)行各個其它圖像與參考圖像之間的運算。
圖4是一個流程圖，顯示了參照圖3所述的生成離散進深數(shù)據(jù)的步驟(圖2中步驟S27)的一個變型。圖4所示的生成離散進深數(shù)據(jù)的步驟與圖3所示生成離散進深數(shù)據(jù)的步驟的不同之處在于在計算像素i的二值化數(shù)據(jù)Ci時，分別使用像素i附近的幾個像素的平均值A(chǔ)’i和B’i代替像素值A(chǔ)i和Bi。因為使用了平均值，所以即使要進行比較的多個圖像的數(shù)據(jù)有所偏差，也可以減少偏差的影響。如果適當?shù)卮_定了要進行平均的像素的范圍，則偽三維圖像生成設(shè)備10也可適用于運動圖像。因為平均提高了信噪比，所以運算和比較的結(jié)果變得穩(wěn)定。
下文描述本發(fā)明的第二實施例。除了生成離散進深數(shù)據(jù)的步驟之外，第二實施例的偽三維圖像生成設(shè)備和偽三維圖像生成方法與第一實施例相同。因此，下面僅描述其差別。
圖5是根據(jù)本發(fā)明的第二實施例生成離散進深數(shù)據(jù)的步驟的流程圖。在第二實施例中，假定進深值為指示“近”和“遠”的二值化數(shù)據(jù)。在“有照明”條件下的圖像數(shù)據(jù)的第i像素的像素值表示為Ai，在“無照明”條件下的圖像數(shù)據(jù)的第i像素的像素值表示為Bi，定性地指示離散進深的二值化數(shù)據(jù)表示為Ci。
在計算進深值時，首先確定閾值m和圖像規(guī)格s(S51)。閾值m是一個用于向圖像指定二值化離散進深數(shù)據(jù)的參數(shù)。閾值可以任意確定。圖像規(guī)格s是輸入圖像數(shù)據(jù)中寬度方向的像素數(shù)目(x)與高度方向的像素數(shù)目(y)之積。如果像素值A(chǔ)i與像素值Bi之比等于或大于閾值m，則將Ci設(shè)置為1，否則將Ci設(shè)置為等于0(步驟S52-S54)。針對圖像數(shù)據(jù)的所有像素重復(fù)步驟S52-S54的處理(步驟S55-S56)。
二值化數(shù)據(jù)Ci為1的像素被確定為接近圖像捕獲設(shè)備11，其它像素被確定為遠離圖像捕獲設(shè)備11。
如圖5所示，在根據(jù)第二實施例生成離散進深數(shù)據(jù)的過程中使用像素值A(chǔ)i與Bi之比。在存在具有不同反射系數(shù)的多個物體的情形下，如果象第二實施例那樣根據(jù)像素值A(chǔ)i和Bi之比而確定離散進深數(shù)據(jù)Ci，則反射系數(shù)的差異并不會影響離散進深數(shù)據(jù)Ci。在這樣的情形下，如果象第一實施例那樣根據(jù)像素值A(chǔ)i與Bi之差來確定離散進深數(shù)據(jù)Ci，則反射系數(shù)的差異會影響離散進深數(shù)據(jù)Ci。因為反射系數(shù)隨物體而異，所以具有高反射系數(shù)的物體會被確定為比實際情況更加接近圖像捕獲設(shè)備11，而具有低反射系數(shù)的物體會被確定為比實際情況更加遠離圖像捕獲設(shè)備11。然而，在很多情況下可以忽略這個問題，比如遠近區(qū)分，這只需很粗略地測量距離。
圖6用于解釋具有不同反射系數(shù)的多個物體的反射系數(shù)的差異對于離散進深數(shù)據(jù)Ci的影響。如圖6所示，物體621和622與圖像捕獲設(shè)備61和照明設(shè)備63的距離相等。物體621和622的反射系數(shù)分別為ra和rb，且這兩個系數(shù)并不相同。當圖像捕獲設(shè)備61捕獲物體621和622的圖像時，所捕獲的圖像顯示在顯示器64上。假定由照明設(shè)備63到達物體621和622的光強為X，物體621和622在顯示器64上顯示為亮度分別為ra*X和rb*X的對象641和642。同樣，如果由照明設(shè)備63到達物體621和622的光強為Y，則物體621和622在顯示器64上顯示為亮度分別為ra*Y和rb*Y的對象641和642。物體621的亮度的差值為ra*(X-Y)，物體622的亮度的差值為rb*(X-Y)。盡管物體621和622與圖像捕獲設(shè)備61的距離相等，其亮度卻并不相同。
如果如同第二實施例那樣由除法計算離散進深數(shù)據(jù)Ci，則物體621的亮度之比為X/Y，物體622的亮度之比也為X/Y。因為反射系數(shù)的差異被抵消，所以等距離的物體的亮度之比相等。
在接近圖像捕獲設(shè)備的物體包含由低反射率材料構(gòu)成的部分的情形下，該部分的亮度差值會小于預(yù)定的閾值，并且被錯誤地確定為遠離圖像捕獲設(shè)備。然而，該部分的亮度比值大于預(yù)定的閾值，并且被確定為接近于圖像捕獲設(shè)備，這才是正確的。
通過基于不同照明條件下捕獲的多個圖像的二值化處理，或與第一實施例一樣使用不同閾值的二值化處理，可以計算出多級進深值。
圖7是一個流程圖，顯示了參照圖5所述的生成離散進深數(shù)據(jù)的步驟(圖2中的步驟S27)的變型。圖7所示的生成離散進深數(shù)據(jù)的步驟與圖5所示生成離散進深數(shù)據(jù)的步驟的不同之處在于在計算像素i的二值化數(shù)據(jù)Ci時，分別使用像素i附近的幾個像素的平均值A(chǔ)’i和B’i代替像素值A(chǔ)i和Bi。因為使用了平均值，所以即使要進行比較的多個圖像的數(shù)據(jù)有所偏差，也可以減少偏差的影響。如果適當?shù)卮_定了要進行平均的像素的范圍，則根據(jù)第二實施例的這一變型的偽三維圖像生成設(shè)備10也可適用于運動圖像。因為平均提高了信噪比，所以運算和比較的結(jié)果變得穩(wěn)定。
現(xiàn)在參照圖13說明第一實施例和第二實施例中使用的確定閾值的方法。圖13顯示了物體的距離與亮度之間的關(guān)系。曲線1310和1320顯示了不同光強的照明狀態(tài)下物體的亮度隨距離的變化情況。圖形表明，由照明設(shè)備到達物體的光強與距離的平方成反比。
在光強1310的情形中，到達距離2L的光強變?yōu)閅/4，其中Y是到達距離L的光強。圖形中顯示了一個閾值n。亮度大于或等于閾值n的像素比使用標號1311表示的距離更加接近于圖像捕獲設(shè)備。同樣，在光強1320的情形中，亮度大于或等于閾值n的像素比使用標號1321表示的距離更加接近于圖像捕獲設(shè)備。因此，如果如同第一實施例那樣根據(jù)像素值之差而確定離散進深數(shù)據(jù)，則可以根據(jù)照明光強而確定對應(yīng)于某個距離的閾值。然而，在此情形中，必須適當?shù)丶僭O(shè)物體的反射系數(shù)。并不需要考慮室外日光(對應(yīng)于照明設(shè)備未提供照明的照明條件)的影響，因為它在執(zhí)行減法時抵消了。通過根據(jù)所生成的離散進深數(shù)據(jù)調(diào)節(jié)假設(shè)的反射系數(shù)，可以確定更加合適的閾值。
另一方面，如果如同第二實施例那樣根據(jù)像素值之比而確定離散進深數(shù)據(jù)，則可以根據(jù)照明設(shè)備和室外日光(或者例如室內(nèi)照明)投射的光強而確定對應(yīng)于某個距離的閾值。
例如，如果室外光是恒定的，則會使圖13所示的亮度的最小值增大一個恒定的偏移量?？梢酝ㄟ^除法確定物體的相對距離。例如，因為照明光強與距離的平方成反比而減小，如果像素的除法結(jié)果是另外一個像素的除法結(jié)果的四倍，則該像素與圖像捕捉設(shè)備的距離是另外一個像素與圖像捕捉設(shè)備的距離的一半。
假定投射到物體上的室外日光是恒定的，則可以確定對應(yīng)于某個距離的閾值。在此情形中，并不需要考慮物體的反射系數(shù)的差異的影響，因為它在除法中被抵消了。
根據(jù)所生成的離散進深數(shù)據(jù)調(diào)節(jié)假設(shè)的反射系數(shù)，可以確定更加合適的閾值。
下文描述本發(fā)明的第三實施例。除了生成離散進深數(shù)據(jù)的步驟之外，根據(jù)第三實施例的偽三維圖像生成設(shè)備和偽三維圖像生成方法與第一實施例相同。因此，下面僅描述其差別。
圖8是一個流程圖，顯示了根據(jù)第三實施例生成離散進深數(shù)據(jù)的步驟。假定進深值為指示“近”和“遠”的二值化數(shù)據(jù)。在“有照明”條件下的圖像數(shù)據(jù)的第i像素的像素值表示為Ai，在“無照明”條件下的圖像數(shù)據(jù)的第i像素的像素值表示為Bi，定性地指示離散進深的二值化數(shù)據(jù)表示為Ci。
在計算進深值時，首先確定用于減法的閾值n、用于除法的閾值m、預(yù)定像素值p和圖像規(guī)格s(S81)。用于減法的閾值n、用于除法的閾值m和預(yù)定像素值p是用于向圖像指定二值化離散進深數(shù)據(jù)的參數(shù)。這些參數(shù)可以任意確定。圖像規(guī)格s是輸入圖像數(shù)據(jù)中寬度方向的像素數(shù)目(x)與高度方向的像素數(shù)目(y)之積。如果像素值A(chǔ)i等于或大于預(yù)定像素值p，則利用閾值n生成離散進深數(shù)據(jù)，即在第一實施例中描述的步驟來生成離散進深數(shù)據(jù)。否則將利用閾值m生成離散進深數(shù)據(jù)，即在第二實施例中描述的步驟來生成離散進深數(shù)據(jù)。圖8中步驟S82-S86顯示了這兩個步驟。
二值化數(shù)據(jù)Ci為1的像素被確定為接近圖像捕獲設(shè)備11，其它像素被確定為遠離圖像捕獲設(shè)備11。
如上所述，使用減法計算得來的離散進深數(shù)據(jù)被作為偽距離而分配給亮度等于或高于預(yù)定像素值p的像素。在此情形中，因為計算負荷低，所以根據(jù)第三實施例的偽三維圖像生成設(shè)備可以高速地生成偽三維圖像。然而，通過除法計算得來的離散進深數(shù)據(jù)被作為偽距離而分配給亮度低于預(yù)定像素值p的像素。在此情形中，如果圖像數(shù)據(jù)的一部分的亮度因為低反射系數(shù)而低于預(yù)定像素值，則通過除法計算得來的離散進深數(shù)據(jù)可以更加精確地表示實際距離。
通過結(jié)合基于不同照明條件下捕獲的多個圖像的二值化處理，或者與第一實施例一樣使用不同閾值的二值化處理，可以計算出多級進深值。
圖9是一個流程圖，顯示了參照圖8所述的生成離散進深數(shù)據(jù)的步驟(圖2中步驟S27)的變型。圖9所示的生成離散進深數(shù)據(jù)的步驟與圖8所示生成離散進深數(shù)據(jù)的步驟的不同之處在于在計算像素i的二值化數(shù)據(jù)Ci時，分別使用像素i附近的幾個像素的平均值A(chǔ)’i和B’i代替像素值A(chǔ)i和Bi。因為使用了平均值，所以即使要進行比較的多個圖像的數(shù)據(jù)有所偏差，也可以減少偏差的影響。如果適當?shù)卮_定了要進行平均的像素的范圍，則根據(jù)第三實施例的偽三維圖像生成設(shè)備10也可適用于運動圖像。因為平均提高了信噪比，所以運算和比較的結(jié)果變得穩(wěn)定。
根據(jù)第三實施例的變型，可以使用多個預(yù)定像素值p1、p2……。例如，在使用兩個預(yù)定像素值p1和p2且p1＞p2的情形中，如果像素值大于p1，則將閾值n1用于減法運算。如果像素值大于p2，則將另一個閾值n2用于減法運算。如果像素值等于或小于p2，則將另一個閾值n3用于減法運算。根據(jù)像素值而使用不同的閾值。在適應(yīng)性地進行二值化處理的過程中，根據(jù)區(qū)域而確定閾值。
如上所述，在第一到第三實施例中，生成離散進深數(shù)據(jù)(圖2中的步驟S27)，并且使用離散進深數(shù)據(jù)作為偽三維圖像的進深。更具體地，向近物體的預(yù)定距離(進深)和遠物體的預(yù)定距離(進深)賦予Ci值，即1和0。根據(jù)本發(fā)明的第四實施例，還對生成的離散距離數(shù)據(jù)進行進一步的處理，這樣偽三維圖像可以使觀測者感覺更加真實(圖2中步驟S28)。
圖10顯示了用于解釋根據(jù)本發(fā)明第四實施例的偽三維圖像生成方法的圖像。下文參照圖10描述該方法的算法。
根據(jù)第一到第三實施例中任一個生成的離散進深數(shù)據(jù)而對原始圖像101進行劃分。因為離散進深數(shù)據(jù)Ci是二值化數(shù)據(jù)，所以離散進深數(shù)據(jù)圖像102是指示Ci的二維黑白圖像。原始圖像101可以根據(jù)離散進深數(shù)據(jù)圖像102而劃分為兩個圖像，即前景圖像103和背景圖像104?？梢岳萌魏畏椒?，例如根據(jù)第一到第三實施例的方法而生成離散進深數(shù)據(jù)圖像102。
通過對各個區(qū)域進行區(qū)分而從前景圖像103中提取出對象。前景圖像103中的黑色部分是在另一個部分圖像(即背景圖像104)上存在的區(qū)域。保留在前景圖像103中的相鄰像素集合而成的部分圖像1031、1032就是對應(yīng)于物體的所謂對象。在此情形中，通過集合相鄰的剩余像素而提取對象?？梢愿鶕?jù)顏色信息劃分原始圖像101而提取出對象。前景圖像103中的對象1031和1032的進深值要重新計算，從而對象1031和1032的進深值平滑地與背景圖像104的進深值相連接。更具體地，用適當確定的平滑函數(shù)代替對象1031和1032急劇地由背景圖像104上升或由背景圖像104下降的邊緣。
圖10顯示了3個示例。圖像105顯示了由在對象的寬度方向上變化的二次函數(shù)代替對象的像素值的情形。圖像106顯示了如下情形對象的進深值被一個函數(shù)替代，該函數(shù)的中心部分是恒定的，其各個肩部則是在寬度方向變化的二次函數(shù)。圖像107顯示了如下情形每個對象的中心部分的進深值是恒定的，而每個對象的周邊部分替換為一個二次函數(shù)，該函數(shù)沿著由各個對象的重心向外輻射的直線而變化。
在生成其中對象的進深值被替換為在對象的寬度方向上變化的二次函數(shù)的圖像105時，對對象進行水平掃描，且向掃描線上的各個像素提供根據(jù)二次函數(shù)計算的偽進深值。例如，在掃描直線1051時，檢測出直線1051上對象的左邊緣和右邊緣。把背景圖像104的進深值設(shè)置為最小值，把距離背景圖像104最遠的前景圖像103的最大進深值設(shè)置為最大值。把對象的進深值替換為一個二次函數(shù)的值，該函數(shù)經(jīng)過對象的左邊緣和右邊緣處的最小值，以及對象的中心處的最大值?？梢杂嬎闼东@的二維圖像的偽進深，并生成偽三維圖像，而無需測量物體的實際進深。
在生成圖像106時，其中對象的進深值被替換為一個函數(shù)，且該函數(shù)的中心部分是恒定的而每個肩部是一個二次函數(shù)，對對象進行水平掃描，且向各個像素分配偽進深值。例如，在掃描直線1061時，檢測出直線1061上對象的左邊緣和右邊緣。把背景圖像104的進深值設(shè)置為最小值，把距離背景圖像104最遠的前景圖像103的最大進深值設(shè)置為最大值。把對象1031的進深值替換為函數(shù)1062。函數(shù)1062是一個復(fù)合函數(shù)，它包括經(jīng)過對象1031的左(右)邊緣處的最小值以及對象1031的中心以左(右)15％的位置處的最大值的二次函數(shù)，以及在中心30％的范圍內(nèi)恒定為最大值的線性函數(shù)。因為強調(diào)了對象的中心部分，所以與觀察圖像105相比，觀察圖形106的觀測者感覺對象1031與他們的距離更近一些。
在生成圖像107時，其中對象1031和1032的中心部分的進深值恒定，且每個對象的周邊部分替換為由各個對象的重心沿向外輻射的直線變化的二次函數(shù)，計算對象1031的重心，并且向穿過對象1031的計算重心和邊緣的各條直線提供偽進深值。例如，在計算直線1071上的進深值時，檢測出對象1031的邊緣和直線1071的交點。把背景圖像104的進深值設(shè)置為最小值，把距離背景圖像104最遠的前景圖像103的最大進深值設(shè)置為最大值。把各個進深值替換為函數(shù)1072的值。函數(shù)1072是一個經(jīng)過交點處的最小值并在以重心為中心的兩個交點之間的30％范圍內(nèi)恒定為最大值的函數(shù)。
因為強調(diào)了對象的中心部分，所以與觀察圖像105相比，觀察圖形107的觀測者感覺對象1031與他們的距離更近一些。因為進深值是由對象的重心沿向外輻射的直線而計算的，所以對象的邊緣得到了均勻的平滑，雖然對象的邊界處有斜坡。與觀察圖像106相比，觀察圖像107的觀測者感覺偽三維圖像更加自然。

圖11A和11B顯示了用于解釋根據(jù)本發(fā)明第五實施例的偽三維圖像生成方法的圖像。圖11A顯示了根據(jù)第四實施例的偽三維圖像生成方法計算的部分圖像的像素的原始進深值1110。圖11B顯示了平滑處理之后的進深值1130，在平滑處理中對以各個像素為中心的7×7像素范圍進行了平均。
圖12說明了根據(jù)第五實施例用于平滑處理的平滑濾波器。在此情形中，應(yīng)用于進深值1110的平滑濾波器是一個簡單的移動平均濾波器，其中將位于濾波器規(guī)格(7×7) (以要處理的像素為中心)中所有像素的像素值乘以一個濾波器規(guī)格的乘法逆元素(1/49)并且求和。濾波器規(guī)格可以任意改變?？梢詫⒘硪粋€濾波器用于平滑化，諸如濾波器中各個矩陣都適當加權(quán)的加權(quán)移動平均濾波器和濾波器中各個矩陣依照高斯分布進行加權(quán)的高斯濾波器。
圖11A的放大圖1112顯示了原始進深值1110的顎部周圍的部分。另一個圖11B的放大圖1132顯示了經(jīng)平滑的進深值1130的顎部周圍的部分1131。通過放大圖1112和1132之間的比較可見，平滑處理減少了進深值的急劇變化。
如果在根據(jù)第一到第四實施例的偽三維圖像生成方法所生成的對象的進深值中存在急劇變化，則觀察偽三維圖像的觀測者會對此感到不適。如果在對象的邊界部分中進深值中存在急劇變化，因為對象看上去遠離其它的相鄰部分圖像，所以觀察偽三維圖像的觀測者也會對此感到不適。
在對象的進深值中存在急劇變化的情形中，對計算的進深值進行平滑處理可以防止觀測者對偽三維圖像感到不適。此外，在對象的邊界部分的進深值中存在急劇變化的情形中，平滑處理可以使對象的進深值與相鄰部分圖像的進深值之間的連接平滑，并防止觀測者對偽三維圖像感到不適。
顯而易見，適當設(shè)計的計算機程序可以使計算機執(zhí)行上面的流程圖中顯示的步驟。同樣顯而易見的是，這樣一個計算機程序可以存儲在計算機可讀記錄介質(zhì)中。
根據(jù)第一到第五實施例，基于離散進深數(shù)據(jù)，從捕獲的圖像中提取出所捕獲的物體作為對象。把偽進深數(shù)據(jù)賦予包含在所提取對象中的像素。根據(jù)本發(fā)明的另外一個實施例，可以通過例如邊緣檢測和/或顏色信息之類的傳統(tǒng)方法提取對象?？梢园褌芜M深值賦予基于根據(jù)本發(fā)明的離散進深數(shù)據(jù)而使用傳統(tǒng)方法提取的對象中包含的像素。例如，邊緣檢測可以由第一微分濾波器和第二微分濾波器執(zhí)行?？梢允褂蒙士臻g和色彩強度來提取對象。
可以使用通過邊緣檢測和/或顏色信息提取的對象調(diào)整根據(jù)離散進深數(shù)據(jù)提取的對象。圖14是用于解釋一個對象的調(diào)整的原理圖。例如，標號1410指示使用邊緣檢測提取的對象的輪廓。標號1420指示根據(jù)離散進深數(shù)據(jù)提取的區(qū)域。由于對象的反射系數(shù)的差異和/或?qū)ο蟮囊苿?，離散進深數(shù)據(jù)會偏離反映對象的實際進深的真實圖像。利用輪廓1410對這個偏離進行調(diào)節(jié)。具體而言，將根據(jù)離散進深數(shù)據(jù)提取的區(qū)域1420的輪廓調(diào)整到輪廓1410的最近部分。例如，將點1431調(diào)整為點1441，而將點1432調(diào)整為點1442。
通過在離散進深數(shù)據(jù)圖像中去除小塊區(qū)域和/或填補小孔，不僅輪廓而且離散進深數(shù)據(jù)圖像都是可以調(diào)整的。例如，如果物體的一部分(例如，人的眼睛和紐扣)并未捕獲為對象，則可以填補該部分。如果將物體中并未包含的部分捕獲為對象，則可以去除該部分。可以根據(jù)經(jīng)驗確定要填充或去除的部分的尺寸。同樣，如果兩個對象之間的間隙很小，則可以填充該間隙以合并兩個對象。可以和要填補或去除的部分一樣根據(jù)經(jīng)驗確定間隙尺寸。
可以降低圖像的分辨率以降低生成離散進深數(shù)據(jù)之前的計算負荷?？梢酝ㄟ^降低圖像的分辨率而降低計算量。如果所提取的對象因為反射系數(shù)和物體移動而有所偏差，則進深值的分辨率與紋理相比變得很粗。因此，偏離真實圖像的離散進深數(shù)據(jù)圖像的輪廓變得模糊，偏差看起來要小一些。
如果降低了平均圖像的分辨率，則因為圖像被平滑濾波器平滑處理，平均圖像的信噪比可以有所提高。
信號S指示不帶有任何噪聲而捕獲的無限灰度圖像信息。噪聲N指示包括光和電噪聲及由量化誤差造成的量化噪聲之類的所有噪聲因素在內(nèi)的噪聲量。
只有在分辨率降低之后保留的像素需要進行平均。例如，如果在寬度和高度方向上每隔一個像素進行平均，則需要進行平均的像素的數(shù)目可以降低到分辨率降低之前的1/4。使用根據(jù)第二實施例的除法運算生成離散進深數(shù)據(jù)對于圖像中的噪聲是高度敏感的。即使在此情形中，也可以通過降低圖像的分辨率而提高信噪比。
并非需要執(zhí)行上述所有處理，而是在必要的基礎(chǔ)上根據(jù)控制單元15的指令僅僅執(zhí)行所希望的處理。
如上所述，本發(fā)明提供了以下效果。
因為圖像捕獲設(shè)備和照明設(shè)備可以彼此接近地布置，所以根據(jù)本發(fā)明一個方面的偽三維圖像生成設(shè)備比傳統(tǒng)設(shè)備更加緊湊。
如果將簡單二值化處理的結(jié)果用作偽距離，則因為計算負荷不大，所以根據(jù)本發(fā)明另一個方面的偽三維圖像生成設(shè)備可以高速地生成偽三維圖像。
根據(jù)本發(fā)明另外一個方面的偽三維圖像生成設(shè)備可以無需任何復(fù)雜的測量而很容易地生成連續(xù)偽進深值。
根據(jù)本發(fā)明另外一個方面的偽三維圖像生成設(shè)備可以減少由所計算的偽進深值中的急劇變化所引起的觀測者的不適感受。
本發(fā)明的范圍不應(yīng)局限于這些實施例，在不脫離本發(fā)明范圍的情況下可以進行各種變化和改進。
本專利申請基于2002年9月20日提交的日本專利申請No.2002-275471，在此將其全部內(nèi)容作為參考資料引入。
權(quán)利要求
1.一種偽三維圖像生成設(shè)備，其由不同照明條件下捕獲的圖像生成偽三維圖像，包括存儲圖像的圖像存儲單元；以及進深計算單元，其根據(jù)對應(yīng)像素的像素值之間的運算，計算多個對應(yīng)像素的偽進深值，每個存儲的圖像包含所述對應(yīng)像素中的一個。
2.根據(jù)權(quán)利要求1所述的偽三維圖像生成設(shè)備，其中所述進深計算單元降低圖像的分辨率，并且根據(jù)分辨率降低之后圖像的對應(yīng)像素的像素值之間的運算計算所述對應(yīng)像素的偽進深值。
3.根據(jù)權(quán)利要求2所述的偽三維圖像生成設(shè)備，其中所述進深計算單元使圖像平滑并降低圖像的分辨率。
4.根據(jù)權(quán)利要求1所述的偽三維圖像生成設(shè)備，其中所述進深計算單元通過將圖像的對應(yīng)像素的像素值之間的差值和比值之一與為各個像素預(yù)先確定的閾值進行比較，從而為各個像素指定離散進深值。
5.根據(jù)權(quán)利要求1所述的偽三維圖像生成設(shè)備，還包括對象提取單元，其根據(jù)分配給對應(yīng)像素的偽進深值提取物體的對象，偽進深值是由所述進深計算單元計算的。
6.根據(jù)權(quán)利要求5所述的偽三維圖像生成設(shè)備，其中所述進深計算單元通過將所述對應(yīng)像素的像素值之間的差值和比值之一與為各個像素預(yù)先確定的閾值進行比較，從而為各個像素指定離散進深值；以及所述對象提取單元將一個圖像的鄰接像素提取為對象，所述鄰接像素分配的離散進深值彼此相等。
7.根據(jù)權(quán)利要求6所述的偽三維圖像生成設(shè)備，其中所述進深計算單元根據(jù)離散進深值而使一個進深函數(shù)適合于所述的對象。
8.根據(jù)權(quán)利要求6所述的偽三維圖像生成設(shè)備，其中所述進深計算單元對整個圖像、對象的周邊部分和對象之一中預(yù)定區(qū)域內(nèi)像素的離散進深值進行平滑。
9.一種由不同照明條件下捕獲的多個圖像生成偽三維圖像的方法，包括下列步驟存儲圖像；以及根據(jù)對應(yīng)像素的像素值之間的運算，計算多個對應(yīng)像素的偽進深值，每個存儲的圖像包含所述對應(yīng)像素中的一個。
10.根據(jù)權(quán)利要求9所述的方法，其中計算偽進深值的步驟還包括降低圖像的分辨率；以及根據(jù)分辨率降低之后圖像的對應(yīng)像素的像素值之間的運算計算所述對應(yīng)像素的偽進深值。
11.根據(jù)權(quán)利要求10所述的方法，其中，當降低圖像的分辨率時，對圖像進行平滑。
12.根據(jù)權(quán)利要求9所述的方法，其中，通過將圖像的對應(yīng)像素的像素值之間的差值和比值之一與為各個像素預(yù)先確定的閾值進行比較，從而為各個像素指定離散進深值。
13.根據(jù)權(quán)利要求9所述的方法，還包括根據(jù)分配給對應(yīng)像素的偽進深值提取物體的對象。
14.根據(jù)權(quán)利要求13所述的方法，其中在計算進深值的步驟中，通過將所述對應(yīng)像素的像素值之間的差值和比值之一與為各個像素預(yù)先確定的閾值進行比較，從而為各個像素指定離散進深值；以及在提取對象的步驟中，將一個圖像的鄰接像素提取為對象，所述鄰接像素分配的離散進深值彼此相等。
15.根據(jù)權(quán)利要求14所述的方法，還包括根據(jù)計算的離散進深值使一個進深函數(shù)適應(yīng)于所述對象的步驟。
16.根據(jù)權(quán)利要求14所述的方法，還包括對整個圖像、對象的周邊部分和對象之一中預(yù)定區(qū)域內(nèi)像素的離散進深值進行平滑的步驟。
17.一種計算機程序，其使計算機由不同照明條件下捕獲的多個圖像生成物體的偽三維圖像，所述計算機程序包括以下步驟存儲圖像；以及根據(jù)對應(yīng)像素的像素值之間的運算，計算多個對應(yīng)像素的偽進深值，每個存儲的圖像包含所述對應(yīng)像素中的一個。
18.一種計算機可讀記錄介質(zhì)，其存儲使計算機由不同照明條件下捕獲的多個圖像生成物體的偽三維圖像的計算機程序，所述計算機程序包括以下步驟存儲圖像；以及根據(jù)對應(yīng)像素的像素值之間的運算，計算多個對應(yīng)像素的偽進深值，每個存儲的圖像包含所述對應(yīng)像素中的一個。
全文摘要
由有無照明或不同照明強度下捕獲的物體的多個圖像生成物體的偽進深信息。偽三維圖像生成設(shè)備生成偽三維圖像。它包括存儲圖像的圖像存儲單元，以及根據(jù)圖像中對應(yīng)像素的像素值之間的運算計算物體的偽進深值的進深計算單元。由此提供了一種緊湊而輕便的三維圖像生成設(shè)備。
文檔編號G06T7/00GK1501325SQ0315742
公開日2004年6月2日 申請日期2003年9月19日 優(yōu)先權(quán)日2002年9月20日
發(fā)明者能登肇, 石榑康雄, 橋本秋彥, 彥, 雄 申請人:日本電信電話株式會社