專利名稱：根據(jù)空間光圖案生成深度數(shù)據(jù)的制作方法
技術(shù)領(lǐng)域：
本公開總體上涉及生成深度數(shù)據(jù)。
背景技術(shù)：
除非本文另外指出，否則本節(jié)中描述的素材不是本申請權(quán)利要求的現(xiàn)有技術(shù)，并且不應(yīng)因包括在本節(jié)中而承認(rèn)是現(xiàn)有技術(shù)。用于立體觀看的圖像包括可以針對左眼的圖像和針對右眼的圖像。典型地，觀看者可以使用特殊眼鏡，該眼鏡使得右眼僅能看到針對右眼的圖像，而左眼僅能看到針對左眼的圖像，由此觀看者能夠感知三維場景。存在兩種典型方法來傳輸針對立體觀看的圖像數(shù)據(jù)。第一方法可以涉及同時(shí)發(fā)送左眼和右眼圖像，這導(dǎo)致需要傳輸兩倍于普通2D圖像數(shù)據(jù)的數(shù)據(jù)。第二方法可以涉及根據(jù)左眼圖像和右眼圖像生成深度圖，然后和左眼或右眼圖像一起傳輸結(jié)果的深度圖。數(shù)據(jù)的接收方可以使用深度圖來重建兩個(gè)圖像中的沒有被發(fā)送的一個(gè)。第二方法還可能導(dǎo)致傳輸比正常2D圖像數(shù)據(jù)更多的數(shù)據(jù)量。此外，需要在傳輸側(cè)產(chǎn)生深度圖可能會導(dǎo)致附加的計(jì)算負(fù)荷。

發(fā)明內(nèi)容
根據(jù)一個(gè)或多個(gè)實(shí)施例，一種生成深度數(shù)據(jù)的方法包括:獲取空間光圖案投影到的一個(gè)或多個(gè)對象的圖像，其中在圖像中空間光圖案的模糊度沿深度方向單調(diào)增大或減小；計(jì)算感興趣像素周圍的局部圖像區(qū)域中圖像的空間頻率分量值；并且通過使用深度和空間頻率分量值之間的預(yù)設(shè)關(guān)系來確定與空間頻率分量的計(jì)算值相對應(yīng)的深度數(shù)據(jù)。根據(jù)一個(gè)或多個(gè)實(shí)施例，一種生成深度數(shù)據(jù)的裝置包括:圖像接收單元，配置成接收空間光圖案投影到的一個(gè)或多個(gè)對象的圖像，其中在圖像中空間光圖案的模糊度沿深度方向單調(diào)增大或減?。活l率分量計(jì)算單元，配置成計(jì)算感興趣像素周圍的局部圖像區(qū)域中圖像的空間頻率分量值；以及深度圖生成單元，配置成通過使用深度和空間頻率分量值之間的預(yù)設(shè)關(guān)系來確定與空間頻率分量的計(jì)算值相對應(yīng)的深度數(shù)據(jù)。根據(jù)一個(gè)或多個(gè)實(shí)施例，一種生成深度數(shù)據(jù)的系統(tǒng)包括:投影單元，配置成投影空間光圖案；成像單元，配置成捕獲空間光圖案投影到的一個(gè)或多個(gè)對象的圖像，其中在圖像中空間光圖案的模糊度沿深度方向單調(diào)增大或減小頻率分量計(jì)算單元，配置成計(jì)算感興趣像素周圍的局部圖像區(qū)域中圖像的空間頻率分量值；以及深度圖生成單元，配置成通過使用深度和空間頻率分量值之間的預(yù)設(shè)關(guān)系來確定與空間頻率分量的計(jì)算值相對應(yīng)的深度數(shù)據(jù)。以上概要僅是示意性的并不意在以任何方式進(jìn)行限制。除了上述示意性方面、實(shí)施例和特征以外，參照附圖和以下詳細(xì)描述其他方面、實(shí)施例和特征將變得顯而易見。


說明書的結(jié)束部分中具體指出并且清楚地要求保護(hù)本公開的主題。根據(jù)以下說明和所附權(quán)利要求，結(jié)合附圖，本公開的前述和其他特征將更加清楚。在認(rèn)識到這些附圖僅僅示出了根據(jù)本公開的一些實(shí)施例且因此不應(yīng)被認(rèn)為是限制本公開范圍的前提下，通過使用附圖以額外的特征和細(xì)節(jié)來描述本公開。圖1是示出了深度數(shù)據(jù)生成系統(tǒng)的示例的圖；圖2是不出了空間光圖案的不例的圖；圖3是示出了空間光圖案的模糊度示例的圖，其中空間光圖案的模糊度在對象表面上沿深度方向單調(diào)增大；圖4是示出了深度數(shù)據(jù)生成裝置的配置示例的方框圖；圖5是示出了由深度數(shù)據(jù)生成裝置執(zhí)行的生成深度數(shù)據(jù)的方法的流程圖；圖6是示出了反射率校正單元的配置示例的方框圖；圖7是示出了由反射率校正單元執(zhí)行的執(zhí)行亮度校正的過程的流程圖；圖8是示出了深度圖生成單元的配置示例的方框圖；圖9是示出了由深度圖生成單元執(zhí)行的用于確定深度數(shù)據(jù)的方法的流程圖；以及圖10是示出了沿深度方向的單調(diào)模糊度增大的示例的圖；所有附圖均按照本文所述的至少一些實(shí)施例設(shè)置。
具體實(shí)施例方式以下詳細(xì)說明描述了各種示例以及特定細(xì)節(jié)來提供對于要求保護(hù)的主題的全面理解。然而，本領(lǐng)域技術(shù)人員可以理解，要求保護(hù)的主題可以實(shí)現(xiàn)為不具有本文公開的一個(gè)或多個(gè)特定細(xì)節(jié)。此外，在一些情況下，不再詳細(xì)描述公知的方法、過程、系統(tǒng)、組件和/或電路以避免不必要地模糊要求保護(hù)的主題。在以下詳細(xì)說明中，參考了作為詳細(xì)說明的一部分的附圖。在附圖中，類似符號通常表示類似部件，除非上下文另行指明。
具體實(shí)施方式
部分、附圖和權(quán)利要求書中描述的示例性實(shí)施例并不是限制性的。在不脫離在此所呈現(xiàn)主題的精神或范圍的情況下，可以利用其他實(shí)施例，且可以進(jìn)行其他改變。應(yīng)當(dāng)理解，在此一般性描述以及附圖中圖示的本公開的各方案可以以多種不同配置來設(shè)置、替換、組合、分割和設(shè)計(jì)，所有這些不同配置來設(shè)置、替換、組合、分割和設(shè)計(jì)均明確包含于此。本公開尤其涉及與生成深度數(shù)據(jù)相關(guān)的方法、裝置、設(shè)備和/或系統(tǒng)。簡言之，本文總體上描述了一種用于生成深度數(shù)據(jù)的方法和裝置。在一些示例中，方法可以包括獲取空間光圖案投影到的一個(gè)或多個(gè)對象的圖像，其中在圖像中空間光圖案的模糊度沿深度方向單調(diào)增大或減??；計(jì)算感興趣像素周圍的局部圖像區(qū)域中圖像的空間頻率分量值；并且通過使用深度和空間頻率分量值之間的預(yù)設(shè)關(guān)系來確定與空間頻率分量的計(jì)算值相對應(yīng)的深度數(shù)據(jù)。圖1是示出了根據(jù)本文所述至少一些實(shí)施例設(shè)置的深度數(shù)據(jù)生成系統(tǒng)的示例的圖。圖1所示的深度數(shù)據(jù)生成系統(tǒng)10可以包括投影單元11、成像單元12和深度數(shù)據(jù)生成裝置13。為了便于描述，由坐標(biāo)系的x、y和z軸來表示空間中的三個(gè)正交方向，其中z軸對應(yīng)于投影單元11和成像單元12的深度方向。投影單元11可以配置成發(fā)射空間光圖案。投影單元11可以是能夠投影由膠片介質(zhì)或類似介質(zhì)生成的高清晰度圖像的傳統(tǒng)投影儀。備選地，投影單元11可以是使用液晶顯示板的數(shù)字投影儀或使用數(shù)字微鏡器件的DLP(數(shù)字光處理)投影儀。在這種情況下，可以將要投影的空間光圖案的顯示數(shù)據(jù)輸入到投影單元11。成像單元12可以配置成捕獲空間光圖案投影到的一個(gè)或多個(gè)對象16到18的圖像。成像單元12可以是使用成像器件(例如CCD (電荷耦合器件)圖像傳感器或CMOS (互補(bǔ)金屬氧化物半導(dǎo)體)圖像傳感器)的攝像機(jī)?？梢哉{(diào)整投影單元11和成像單元12的光學(xué)系統(tǒng)參數(shù)，以便所捕獲圖像中空間光圖案的模糊度沿深度方向z單調(diào)增大或減小。接下里將詳細(xì)描述如何實(shí)現(xiàn)這種光學(xué)系統(tǒng)參數(shù)。成像單元12可以操作為靜態(tài)攝像機(jī)從而一次產(chǎn)生單個(gè)圖像，或者可以操作為視頻或運(yùn)動攝像機(jī)從而在激活狀態(tài)期間連續(xù)產(chǎn)生一系列圖像。將成像單元12產(chǎn)生或生成的圖像提供到深度數(shù)據(jù)生成裝置13。圖像的提供可以經(jīng)由暫時(shí)性介質(zhì)14或非暫時(shí)性介質(zhì)15。暫時(shí)性介質(zhì)14可以是傳輸電信號的通信線路，或者可以是傳輸電磁信號的空間。非暫時(shí)性介質(zhì)15可以是有形記錄介質(zhì)，例如緊致盤(CD)、數(shù)字多用途盤(DVD)、存儲卡等。深度數(shù)據(jù)生成裝置13可以配置成產(chǎn)生深度數(shù)據(jù)，深度數(shù)據(jù)指示了在與成像單元12捕獲的圖像中任意給定x、y位置相對應(yīng)的像素處沿深度方向的位置z?？梢詮某上駟卧?2捕獲的圖像中提取這種深度數(shù)據(jù)。即，深度數(shù)據(jù)生成裝置13可以通過分析由成像單元12捕獲的圖像來生成對例如對象16到成像單元12的距離加以指示的深度數(shù)據(jù)。深度數(shù)據(jù)生成裝置13可以生成對圖像中所有像素處的深度加以表示的深度圖。為了生成深度數(shù)據(jù)，投影單元11可以計(jì)算感興趣像素周圍的局部圖像區(qū)域中圖像的預(yù)定空間頻率分量值。然后，投影單元11可以通過使用深度和空間頻率分量值之間的預(yù)設(shè)關(guān)系來確定與空間頻率分量的計(jì)算值相對應(yīng)的深度數(shù)據(jù)。如前所述，所捕獲圖像中空間光圖案的模糊度可以沿深度方向z單調(diào)增大或減小。在這種情況下，預(yù)定空間頻率分量值可以沿深度方向z單調(diào)增大或減小。深度和預(yù)定空間頻率分量值之間的關(guān)系可以設(shè)置為數(shù)學(xué)公式。備選地，可以預(yù)先獲取深度和預(yù)定空間頻率分量值之間的關(guān)系并作為查找表等存儲在存儲器中。當(dāng)確定深度數(shù)據(jù)時(shí)可以參考這種查找表，因此可以在表中定位與針對感興趣像素計(jì)算的預(yù)定空間頻率分量值相對應(yīng)的深度值。圖2是示出了根據(jù)本文所述至少一些實(shí)施例設(shè)置的空間光圖案的示例的圖。在該示例中，空間光圖案可以是棋盤圖案，其中沿垂直方向和水平方向交替地排列黑色方形區(qū)域和白色方形區(qū)域。投影單元11和成像單元12可以配置成實(shí)質(zhì)上具有相同的視角。在這種情況下，與表面到投影單元11的距離z無關(guān)，該表面上由投影單元11投影的空間光圖案的每個(gè)方形區(qū)域在成像單元12拍攝的圖像中看起來具有恒定的二維尺寸。即，在圖1所示的示例中，當(dāng)由成像單元12觀看時(shí)，投影到對象16的表面上的空間光圖案看起來具有與投影到對象17或18的表面上的空間光圖案相同的尺寸。投影單元11可以配置成在沿深度方向的點(diǎn)Zpf處具有焦點(diǎn)位置，因此焦點(diǎn)Zpf比成像單元12捕獲的任意對象(例如16、17、18)更近。這種布置可以保證空間光圖案的模糊度在位于深度z處的對象表面上沿深度方向z單調(diào)增大。投影單元11可以具有比任意對象距離投影單元11都遠(yuǎn)的焦點(diǎn)位置。這種布置可以保證空間光圖案的模糊度在位于深度z處的對象表面上沿深度方向z單調(diào)減小。圖3是示出了根據(jù)本文所述的至少一些實(shí)施例設(shè)置的對象表面上沿深度方向z單調(diào)增大的空間光圖案的模糊度的示例。在圖3中，由成像單元12捕獲的圖像30可以包括對象16的圖像31 (參見圖1)、對象17的圖像32和對象18的圖像33。如圖1所示，可以沿深度方向z按照所示的順序排列對象16、對象17和對象18，其中對象16距離成像單元12最近。在這情況下，投影到最近對象16上的空間光圖案34可以最為清晰，投影到最遠(yuǎn)對象18上的空間光圖案36可以最為模糊，而投影到對象17上的空間光圖案35在清晰度方面居中。在感興趣的局部圖像區(qū)域中，通過分析預(yù)定頻率分量的值可以從圖像30中提取深度數(shù)據(jù)，該值是圖像30中出現(xiàn)的空間光圖案34、35和36的模糊程度的函數(shù)。可以配置由投影單元11投影的空間光圖案以便出現(xiàn)在所捕獲圖像30中的空間光圖案34、35和36精細(xì)到觀看圖像30的人不會辨認(rèn)出存在空間光圖案?？梢酝ㄟ^使用數(shù)字投影儀來產(chǎn)生這種精細(xì)的光圖案，數(shù)字投影儀可以采用具有大量像素的液晶顯示板，例如1280X1024像素、1920X1080像素等。在通常的觀看條件下，人類觀眾不會察覺到幾個(gè)像素大小那么小的細(xì)節(jié)。即，圖像中出現(xiàn)的空間光圖案可以在高于當(dāng)觀察圖像時(shí)對于人類視覺可察覺的空間頻率的空間頻率處具有周期性。這種布置可以保證，從美學(xué)觀點(diǎn)來看，圖像30的質(zhì)量不會由于疊加空間光圖案而被破壞。然而，可以注意到棋盤圖案的每個(gè)方形區(qū)域的尺寸可以沿X方形和y方形是像素尺寸的至少兩倍大。這種布置可以保證成像單元12實(shí)現(xiàn)了適當(dāng)?shù)牟蓸娱g距以便提取有關(guān)空間光圖案的頻率分量的準(zhǔn)確信息。以上關(guān)于圖3的圖像30中出現(xiàn)的空間光圖案提供的描述沒有考慮成像單元12的聚焦。例如，如果成像單元12是針孔攝像機(jī)，則成像單元12能夠?qū)θ我饩嚯x處的任意對象聚焦。在這情況下，投影到給定對象表面上的空間光圖案在所捕獲的圖像中可能會出現(xiàn)模糊，因?yàn)樗趯ο蟊砻嫔?。即，在一些情況下可以忽視成像單元12的聚焦。然而，在實(shí)際中成像單元12的光學(xué)系統(tǒng)的特性可能會影響出現(xiàn)在捕獲的圖像中的空間光圖案的模糊度。即，當(dāng)根據(jù)成像單元12捕獲的圖像來生成深度數(shù)據(jù)時(shí)，除了投影單元11的聚焦以外還需要考慮到成像單元12的聚焦。在一些情況下，成像單元12可以聚焦在作為感興趣對象的對象16上。在其他情況下，成像單元12可以聚焦在作為感興趣對象的對象17上，然后聚焦在作為下一個(gè)感興趣對象的對象18上。下面將進(jìn)一步描述如何考慮成像單元12的聚焦以及其焦點(diǎn)位置的改變。然而，這里可以注意到，與成像單元12的聚焦無關(guān)，可以容易地進(jìn)行設(shè)置以便所捕獲圖像中空間光圖案的模糊度沿深度方向z單調(diào)增大或減小。通過以下方式可以提供這種單調(diào)特性:保證相對于由成像單元12引起的沿深度方向的模糊度改變，由投影單元11引起的沿深度方向的單調(diào)模糊度增大(或減小)是主導(dǎo)的。圖4是示出了根據(jù)本文所述的至少一些實(shí)施例設(shè)置的深度數(shù)據(jù)生成裝置13的配置的示例的方框圖。圖4所示的深度數(shù)據(jù)生成裝置13可以包括圖像接收單元41、頻率分量計(jì)算單元42、反射率校正單元43、深度圖生成單元44和頻率檢測單元45。圖5是示出了根據(jù)本文所述的至少一些實(shí)施例設(shè)置的由深度數(shù)據(jù)生成裝置13執(zhí)行的用于產(chǎn)生深度數(shù)據(jù)的方法的流程圖。如圖所示，示例方法可以包括如一個(gè)或多個(gè)框S1、S2、S3、S4、S5和/或S6所示的一個(gè)或多個(gè)操作、動作或功能。例如，由于可以使用圖4所示的深度數(shù)據(jù)生成裝置13來實(shí)現(xiàn)圖5中的方法，參考圖4和圖5來描述用于生成深度數(shù)據(jù)的方法。圖像接收單元41可以從成像單元12接收空間光圖案投影到的一個(gè)或多個(gè)對象的圖像。在該圖像中，空間光圖案的模糊度可以沿深度方向單調(diào)增大或減小?？梢栽诳騍I開始處理。在框SI，頻率檢測單元45可以將圖像劃分為塊，每一個(gè)塊可以是包括像素陣列的矩形圖像區(qū)域。處理可以從框SI繼續(xù)到框S2。在框S2，頻率檢測單元45可以向每一塊應(yīng)用正交變換，例如傅里葉變換或哈達(dá)馬變換，以針對每個(gè)塊獲取頻率分量F (u，V)。這里，F(xiàn)(u,v)可以是像素?cái)?shù)據(jù)b(x，y)的離散傅里葉變換(或哈達(dá)馬變換或任意其他正交變換)，像素?cái)?shù)據(jù)b(x，y)表示與感興趣塊相對應(yīng)的像素陣列的像素值。坐標(biāo)X和y可以表示感興趣塊中的像素位置。變量u表示沿X方向的空間頻率，變量V表示沿y方向的空間頻率。處理可以從框S2繼續(xù)到框S3。在框S3，頻率檢測單元45可以將所有塊的F (u，v)相加以獲取S (U，v)，并可以得到閾值頻率以上的頻率范圍內(nèi)的S(u，v)的最大值。當(dāng)圖像中具有N個(gè)塊時(shí)，S(u，v)可以
是第一塊的F (u，V)、第二塊的F (u，V)、第三塊的F (u，v)......以及第N塊的F(u，v)之和。
由于圖像中包括特定空間頻率處的空間光圖案周期性，S(u，v)可以在特定閾值頻率以上的頻率范圍內(nèi)的該空間頻率處具有局部最大值。通過考慮空間光圖案具有周期性時(shí)的空間頻率可以確定該閾值頻率。例如，可以將閾值頻率設(shè)為低于上述空間頻率但高于可歸于所捕獲場景的圖像信息的大多數(shù)頻譜。由于可歸于所捕獲場景的圖像信息(即，除了可歸于投影空間光圖案的圖像信息以外)的大多數(shù)頻譜處于較低頻率處，設(shè)置這種閾值頻率使得可以檢測可歸于投影空間光圖案的頻譜的局部最大值。按照這種方式，可以檢測到空間光圖案具有周期性時(shí)的空間頻率(Um, vffl)。處理可以從框S3繼續(xù)到框S4。在框S4，頻率分量計(jì)算單元42可以向坐標(biāo)(x，y)處每個(gè)感興趣像素周圍的局部圖像區(qū)域應(yīng)用正交變換，例如傅里葉變換或哈達(dá)馬變換，以獲取頻率分量Fx,y (um，vm)。該局部圖像區(qū)域可以是以坐標(biāo)(x，y)為中心的矩形圖像區(qū)域。這里，F(xiàn)x,y(u，v)可以是像素?cái)?shù)據(jù)的離散傅里葉變換(或哈達(dá)馬變換或任意其他正交變換)，像素?cái)?shù)據(jù)是局部圖像區(qū)域的圖像陣列的像素值。處理可以從框S4繼續(xù)到框S5。在框S5，反射率校正單元43可以針對不同對象反射率來校正Fx,y(um，vm)。由投影單元11投影的空間光圖案可以被對象表面反射到達(dá)成像單元12。反射光的強(qiáng)度可以取決于對象表面的反射率。結(jié)果，所捕獲圖像的像素值(即，亮度值)取決于每個(gè)對象表面的反射率。隨著對象表面的反射率增大，位于與該對象表面相對應(yīng)的圖像區(qū)域中的像素的像素值也可以增大。由此Fx, Juii1, vj的值也取決于對象表面反射率。反射率校正單元43可以去除由對象表面反射率的差異引起的Fx,y(um，Vm)的變化。接下來將詳細(xì)描述該校正處理。處理可以從框S5繼續(xù)到框S6。在框S6，深度生成單元44可以根據(jù)校正的FxiyOv vj和查找表來生成深度圖。查找表可以指示深度(即，沿z方向的位置)和空間頻率分量值Fx,yOv Vm)之間的關(guān)系。可以預(yù)先準(zhǔn)備該查找表并將其存儲在存儲器中。圖6是示出了根據(jù)本文所述的至少一些實(shí)施例設(shè)置的反射率校正單元43的配置示例的方框圖。圖6所示的反射率校正單元43可以包括全局平均亮度計(jì)算單元61、校正單元62和局部平均亮度計(jì)算單元63。圖7是示出了根據(jù)本文所述的至少一些實(shí)施例設(shè)置的由反射率校正單元43執(zhí)行的用于執(zhí)行亮度校正的方法的流程圖。如圖所示，示例方法可以包括如一個(gè)或多個(gè)框S21、S22和/或S23所示的一個(gè)或多個(gè)操作、動作或功能。例如，由于可以使用圖6所示的反射率校正單元43來實(shí)現(xiàn)圖7中的方法，參考圖6和圖7來描述用于執(zhí)行亮度校正的方法。處理可以在框S21開始。在框S21，全局平均亮度計(jì)算單元61可以計(jì)算整個(gè)圖像的平均亮度DCa。可以通過將所有像素值相加并將得到的和除以像素的數(shù)目來計(jì)算整個(gè)圖像的平均亮度dca。備選地，可以通過與Fx,y (iv vm) —起獲取的直接當(dāng)前分量Fx,y (O，0)來計(jì)算整個(gè)圖像的平均亮度DCao由于直接當(dāng)前分量Fx,y(0，0)與局部圖像區(qū)域中像素值的總和成比例，全局平均亮度計(jì)算單元61可以使用Fx，y(0，0)來獲取整個(gè)圖像的平均亮度DCa。處理可以從框S21繼續(xù)到框 S22。在框S22，局部平均亮度計(jì)算單元63可以計(jì)算坐標(biāo)(x，y)處每個(gè)感興趣像素周圍的局部圖像區(qū)域的平均亮度DCxy?？梢酝ㄟ^將局部圖像區(qū)域的所有像素值相加并將得到的和除以像素的數(shù)目來計(jì)算局部圖像區(qū)域的平均亮度DCxy。備選地，可以從直接當(dāng)前分量Fx,y(0，0)直接獲取局部圖像區(qū)域的平均亮度DCxy。處理可以從框S22繼續(xù)到框S23。在框S23，校正單元62可以針對亮度校正將Fj^yOv vm)與DCA/DCxy相乘?？梢宰⒁獾骄植繄D像區(qū)域的局部平均亮度DCxy可以與對應(yīng)于該局部圖像區(qū)域的對象表面的反射率成比例。此外，F(xiàn)x,y(Um，Vm)的值也與對應(yīng)于該局部圖像區(qū)域的對象表面的反射率成比例。因此，與DCA/DCxy相乘能夠從Fx,y(um，vffl)中去除對象表面反射率變化的影響。還可以注意到為了去除對象表面反射率變化的影響，將Fx,y(um，vffl)與1/1)(；7相乘就足夠了。圖8是示出了根據(jù)本文所述的至少一些實(shí)施例設(shè)置的深度圖生成單元44的配置示例的方框圖。圖8所示的深度圖生成單元44包括攝像機(jī)參數(shù)獲取單元81、A(Z)計(jì)算單元82、LUT生成單元83、深度計(jì)算單元84、和指示了 B(Z)的LUT(查找表)85。A(z)可以表示沿深度方向的位置和由投影空間光圖案的投影單元11引起的空間光圖案的模糊度之間的關(guān)系。B(Z)可以表示沿深度方向的位置和由捕獲圖像的成像單元12引起的空間光圖案的模糊度之間的關(guān)系。圖9是示出了根據(jù)本文所述的至少一些實(shí)施例設(shè)置的由深度圖生成單元44執(zhí)行的用于確定深度數(shù)據(jù)的方法的流程圖。如圖所示，示例方法可以包括如一個(gè)或多個(gè)框S31、S32、S33、S34和/或S35所示的一個(gè)或多個(gè)操作、動作或功能。所示的示例方法通過組合投影單元11的聚焦效果和成像單元12的聚焦效果來確定深度數(shù)據(jù)。例如，由于可以使用圖8所示的深度圖生成單元44來實(shí)現(xiàn)圖9`中的方法，通過參考圖8和圖9來描述用于確定深度數(shù)據(jù)的方法。處理可以在框S31開始。在框S31，攝像機(jī)參數(shù)獲取單元81可以從成像單元12獲取沿z方向的焦點(diǎn)位置zcf和光圈大小D。攝像機(jī)參數(shù)獲取單元81還可以獲取焦點(diǎn)位置(xtf, yrf),成像單元12在x-y平面內(nèi)的該點(diǎn)處聚焦在對象表面上。典型地以焦距f 和f 數(shù)N的形式來提供光圈大小D。然后，光圈大小D( S卩，入射光孔的直徑)可以被計(jì)算為D = f/N。處理可以從框S31繼續(xù)到框S32。在框S32，A(z)計(jì)算單元82可以根據(jù)焦點(diǎn)位置Zrf和光圈大小D，根據(jù)深度z來計(jì)算由攝像機(jī)光學(xué)系統(tǒng)(即，成像單元12)引起的空間圖案頻率的深度相關(guān)幅度變化A(Z)。該深度相關(guān)幅度變化A(Z)可以表示當(dāng)由聚焦于焦點(diǎn)位置Zrf的成像單元12觀看時(shí)，位于深度z處的表面上空間光圖案的空間頻率(um，Vm)的幅度。該空間光圖案可以是在位于深度z的表面上沒有模糊的理想空間光圖案。即，在不存在由投影單元11引起的空間光圖案的模糊的情況下，深度相關(guān)幅度變化A(Z)可以僅考慮到由成像單元12引起的空間光圖案的模糊。可以如下獲取深度相關(guān)幅度變化A(Z)?？梢詫⒕劢乖诰嚯xZef的成像單元12的點(diǎn)擴(kuò)展函數(shù)表示為psf (X, y), psf(x, y)在具有直徑Dz/(zef+z)的圓形區(qū)域內(nèi)的值為(2(zcf+z)/Dz)2/pi (pi = 3.14......)，該圓形區(qū)域外的值為零。因此，當(dāng) p(x, y) = p0(x,
y)*psf(x, y, z)時(shí),位于深度z的空間光圖案可以出現(xiàn)在由成像單元12捕獲的圖像中，其中Po(x，y)是位置Zrf處的空間光圖案，符號表示卷積運(yùn)算?？梢詫(x，y)相對于X和y的正交變換(例如傅里葉變換或哈達(dá)馬變換)表示為P (u，v) = P0 (u，v) PSF (u，v, z)，其中P0(u,v)和PSF(u,v,z)分別是pQ(x,y)和psf(x,y, z)的正交變換。然后，深度相關(guān)幅度變化A(Z)可以等于P(um，vm)，其中(Um，Vni)是空間光圖案具有周期性時(shí)的空間光頻率。處理可以從框S32繼續(xù)到S33。在框S33，LUT生成單元83可以根據(jù)A(Z)和B(Z)，生成對Fx,y(um,vm)和深度z之間的關(guān)系加以指示的查找表Bc(z)，其中B(Z)表示由投影系統(tǒng)11引起的空間光圖案的模糊度?？梢园凑找韵路绞筋A(yù)先獲取B(Z)。首先，按照圖1所示的連接，投影單元11可以將空間光圖案(例如棋盤圖案)投影到位于深度z的空白平坦表面(例如，白色平坦表面)上，同時(shí)聚焦于深度zpf。然后，由聚焦于位于深度z處該表面上的成像單元12捕獲位于深度Z的表面上的該空間光圖案的圖像。所捕獲的圖像中的空間光圖案p(x，y，z)可以包括由投影單元11引起的模糊，但可以不包括由成像單元12引起的模糊。當(dāng)將相對于X和y的p(x, y, z)的正交變換稱作P(u, v, z)時(shí),可以將B(z)表示為P (um, vm, z)。將預(yù)先按照這種方式獲取的B(Z)作為查找表B(Z)存儲在存儲器中。然后，將同時(shí)以由投影單元11引起的模糊度和由成像單元12引起的模糊度作為因子的深度相關(guān)幅度變化表示為A(Z)B(Z)。即，可以將A(Z)B(Z)存儲為查找表Bc(Z)?？梢宰⒁獾?，備選地，通過投影單個(gè)光斑而不是例如棋盤圖案的空間光圖案，可以將B(Z)獲取為點(diǎn)擴(kuò)展函數(shù)的深度相關(guān)特性。還可以注意至IJ，可以備選地作為近似投影單元11的點(diǎn)擴(kuò)展函數(shù)的數(shù)學(xué)公式來獲得B (z)。點(diǎn)擴(kuò)展函數(shù)可以類似于之前所述的psf (x，y，z)，或者可以表示為高斯函數(shù)。當(dāng)將B(Z)提供為數(shù)學(xué)公式時(shí)，也可以將Be (z)獲取為數(shù)學(xué)公式而不是查找表。處理可以從框S33繼續(xù)到框S34。在框34，深度計(jì)算單元84可以針對亮度因子對Fx, y(um，vffl)進(jìn)行標(biāo)準(zhǔn)化。如前所述，針對反射率變化由反射率校正單元43校正的頻率分量的值可以是Fx,y(um，vm)DCA/DCxy0在圖9的框SI，可以從成像單元12獲取焦點(diǎn)位置(xrf，yrf)，成像單元12在對象表面上x-y平面中的該點(diǎn)處聚焦?？梢詫⒃摻裹c(diǎn)位置(xrf, ycf)處Fx,y(um, vm)DCA/DCxy的值表示為Rxy。然后，深度計(jì)算單元84可以通過將所捕獲的圖像中任意給定空間坐標(biāo)(x，y)處Fx,y Ov vjDCA/DCxy的值與Be (zcf) /Rxy相乘，對該值進(jìn)行標(biāo)準(zhǔn)化。該標(biāo)準(zhǔn)化過程可以保證焦點(diǎn)深度Zrf處的焦點(diǎn)位置(xrf，ycf)的空間頻率(IV vffl)的幅度等于Bc(zrf)。處理可以從框S34繼續(xù)到框S35。在框S35，深度計(jì)算單元84可以根據(jù)標(biāo)準(zhǔn)化的Fx,y(um，vj和Be (z)來確定每個(gè)像素位置處的深度。即，深度計(jì)算單元84可以參考查找表Bc(Z)來得到與(Fx,y(um，vffl)DCa/DCxy) XBc(Zef)/Rxy相關(guān)聯(lián)的深度z。在查找表Be (Z)中得到的深度z可以是對應(yīng)于像素位置(x，y)的對象表面在由成像單元12捕獲的場景中所處的深度。按照上述方式，在深度圖生成單元44生成的深度圖中，可以同時(shí)考慮到由投影單元11引起的空間光圖案的模糊度和由成像單元12引起的空間光圖案的模糊度。此外，如前所述，與成像單元12的聚焦無關(guān)，可以容易地進(jìn)行設(shè)置以便所捕獲圖像中空間光圖案的模糊度沿深度方向z單調(diào)增大或減小。通過以下方式可以提供這種單調(diào)特性:保證相對于由成像單元12引起的沿深度方向的模糊度改變，由投影單元11引起的沿深度方向的單調(diào)模糊度增大(或減小)是主導(dǎo)的。圖10是示出了根據(jù)本文所述的至少一些實(shí)施例設(shè)置的沿深度方向單調(diào)模糊度增大的示例的圖。水平軸可以表示深度z，垂直軸可以表示空間頻率(um，Vm)的幅度。特性曲線91可以對應(yīng)于A(Z)，A(z)可以表示由成像單元12引起的空間光圖案的模糊度。成像單元12可以在感興趣對象處具有焦點(diǎn)位置，因此特性曲線91可以沿深度方向z在該焦點(diǎn)位置處具有最大波峰。特性曲線92可以對應(yīng)于B(Z)，B(z)可以表示由投影單元11引起的空間光圖案的模糊度。投影單元11可以沿深度方向z在最近位置處具有焦點(diǎn)位置，因此，隨著深度z增大，特性曲線單調(diào)下降。即，隨著深度z增大，由特性曲線92表示的模糊度可以單調(diào)增大。如圖10所示，進(jìn)行設(shè)置以便相對于由成像單元12引起的沿深度方向的模糊度改變，由投影單元11引起的沿深度方向的單調(diào)模糊度增大是主導(dǎo)的。因此，隨著深度z增大，對應(yīng)于Bc(z) =A(Z)B(Z)的特性曲線93可以單調(diào)下降。S卩，隨著深度z增大,通過組合由投影單元11引起的模糊度和成像單元12引起的模糊度獲取的模糊度可以單調(diào)增大。利用這種模糊度特性，可以根據(jù)空間頻率(IVvm)的給定幅度來唯一地確定深度數(shù)據(jù)。本公開中對于術(shù)語“響應(yīng)”或“響應(yīng)于”的引用并不局限于僅響應(yīng)特定特征和/或結(jié)構(gòu)。特征還可以響應(yīng)于其他特征和/或結(jié)構(gòu)，并且還處于該特征和/或結(jié)構(gòu)內(nèi)。此外，當(dāng)
本文中或隨后的權(quán)利要求書中使用諸如“耦接”或“響應(yīng)”或“響應(yīng)于”或“與......進(jìn)行
通信”等術(shù)語或短語時(shí)，應(yīng)當(dāng)廣義地理解這些術(shù)語。例如，在使用短語“耦接”的上下文中，該短語可以是指適當(dāng)?shù)卦谕ㄐ派?、電學(xué)上和/或操作上耦接。根據(jù)對于存儲在計(jì)算系統(tǒng)存儲器(例如計(jì)算機(jī)存儲器)中的數(shù)據(jù)比特或二進(jìn)制數(shù)字信號的操作的算法或符號表述來呈現(xiàn)前述詳細(xì)描述的一些部分。這些算法描述或表述是數(shù)據(jù)處理技術(shù)領(lǐng)域的普通技術(shù)人員使用的技術(shù)示例，以便將其工作的實(shí)質(zhì)傳達(dá)給該領(lǐng)域中的其他技術(shù)人員。這里的算法總體上被視為運(yùn)算的自相一致序列或?qū)е缕谕Y(jié)果的類似處理。在該上下文中，運(yùn)算或處理涉及物理量的物理操縱。典型地，盡管不是必要地，這種物理量可以采用能夠被存儲、傳送、組合、比較或操縱的電或磁信號的形式。主要針對常見用途，有時(shí)便利地將這種信號稱作比特、數(shù)據(jù)、數(shù)值、元素、符號、字符、術(shù)語、數(shù)、數(shù)字等。然而，應(yīng)當(dāng)理解所有這些和類似術(shù)語均與適當(dāng)?shù)奈锢砹肯嚓P(guān)聯(lián)，并且僅為便利標(biāo)記。除非特別另外指出，如根據(jù)以下討論中顯見的是，可以理解，貫穿本說明書討論使用的術(shù)語(例如“處理”、“計(jì)算處理”、“計(jì)算”、“確定”等)是指計(jì)算設(shè)備的動作或處理，該計(jì)算設(shè)備操縱或變換計(jì)算設(shè)備的存儲器、寄存器或其他信息存儲設(shè)備、傳輸設(shè)備或顯示設(shè)備中被表示為物理電子或磁量的數(shù)據(jù)。以上的詳細(xì)描述通過使用方框圖、流程圖和/或示例，已經(jīng)闡述了設(shè)備和/或工藝的眾多實(shí)施例。在這種方框圖、流程圖和/或示例包含一個(gè)或多個(gè)功能和/或操作的情況下，本領(lǐng)域技術(shù)人員應(yīng)理解，這種方框圖、流程圖或示例中的每一功能和/或操作可以通過各種硬件、軟件、固件或?qū)嵸|(zhì)上它們的任意組合來單獨(dú)和/或共同實(shí)現(xiàn)。在一個(gè)實(shí)施例中，本公開所述主題的若干部分可以通過專用集成電路(ASIC)、現(xiàn)場可編程門陣列(FPGA)、數(shù)字信號處理器(DSP)、或其他集成格式來實(shí)現(xiàn)。然而，本領(lǐng)域技術(shù)人員應(yīng)認(rèn)識到，這里所公開的實(shí)施例的一些方面在整體上或部分地可以等同地實(shí)現(xiàn)在集成電路中，實(shí)現(xiàn)為在一臺或多臺計(jì)算機(jī)上運(yùn)行的一個(gè)或多個(gè)計(jì)算機(jī)程序(例如，實(shí)現(xiàn)為在一個(gè)或多個(gè)計(jì)算機(jī)系統(tǒng)上運(yùn)行的一個(gè)或多個(gè)程序)，實(shí)現(xiàn)為在一個(gè)或多個(gè)處理器上運(yùn)行的一個(gè)或多個(gè)程序(例如，實(shí)現(xiàn)為在一個(gè)或多個(gè)微處理器上運(yùn)行的一個(gè)或多個(gè)程序)，實(shí)現(xiàn)為固件，或者實(shí)質(zhì)上實(shí)現(xiàn)為上述方式的任意組合，并且本領(lǐng)域技術(shù)人員根據(jù)本公開，將具備設(shè)計(jì)電路和/或?qū)懭胲浖?或固件代碼的能力。此外，本領(lǐng)域技術(shù)人員將認(rèn)識到，本公開所述主題的機(jī)制能夠作為多種形式的程序產(chǎn)品進(jìn)行分發(fā)，并且無論實(shí)際用來執(zhí)行分發(fā)的信號承載介質(zhì)的具體類型如何，本公開所述主題的示例性實(shí)施例均適用。信號承載介質(zhì)的示例包括但不限于:可記錄型介質(zhì)，如軟盤、硬盤驅(qū)動器、緊致盤(CD)、數(shù)字通用盤(DVD)、數(shù)字磁帶、計(jì)算機(jī)存儲器等；以及傳輸型介質(zhì)，如數(shù)字和/或模擬通信介質(zhì)(例如，光纖光纜、波導(dǎo)、有線通信鏈路、無線通信鏈路
坐、
寸/ o本領(lǐng)域技術(shù)人員應(yīng)認(rèn)識到，本領(lǐng)域普通以上述方式描述設(shè)備和/或工藝，以及此后使用工程實(shí)踐來將所描述的設(shè)備和/或工藝集成到數(shù)據(jù)處理系統(tǒng)中。也即，這里所述的設(shè)備和/或工藝的至少一部分可以通過合理數(shù)量的試驗(yàn)而被集成到數(shù)據(jù)處理系統(tǒng)中。本領(lǐng)域技術(shù)人員將認(rèn)識到，典型的數(shù)據(jù)處理系統(tǒng)一般包括以下各項(xiàng)中的一項(xiàng)或多項(xiàng):系統(tǒng)單元外殼；視頻顯示設(shè)備；存儲器，如易失性和非易失性存儲器；處理器，如微處理器和數(shù)字信號處理器；計(jì)算實(shí)體，如操作系統(tǒng)、驅(qū)動程序、圖形用戶接口、以及應(yīng)用程序；一個(gè)或多個(gè)交互設(shè)備，如觸摸板或屏幕；和/或控制系統(tǒng)，包括反饋環(huán)和控制電機(jī)(例如，用于感測位置和/或速度的反饋；用于移動和/或調(diào)節(jié)成分和/或數(shù)量的控制電機(jī))。典型的數(shù)據(jù)處理系統(tǒng)可以利用任意合適的商用部件(如數(shù)據(jù)計(jì)算/通信和/或網(wǎng)絡(luò)計(jì)算/通信系統(tǒng)中常用的部件)予以實(shí)現(xiàn)。本公開所述的主題有時(shí)說明不同部件包含在不同的其他部件內(nèi)或者不同部件與不同的其他部件相連。應(yīng)當(dāng)理解，這樣描述的架構(gòu)只是示例，事實(shí)上可以實(shí)現(xiàn)許多能夠?qū)崿F(xiàn)相同功能的其他架構(gòu)。在概念上，有效地“關(guān)聯(lián)”用以實(shí)現(xiàn)相同功能的部件的任意設(shè)置，從而實(shí)現(xiàn)所需功能。因此，這里組合任意兩個(gè)部件實(shí)現(xiàn)具體功能可以被視為彼此“關(guān)聯(lián)”從而實(shí)現(xiàn)所需功能，而無論架構(gòu)或中間部件如何。同樣，任意兩個(gè)如此關(guān)聯(lián)的部件也可以看作是彼此“可操作地連接”或“可操作地耦合”以實(shí)現(xiàn)所需功能，且能夠如此關(guān)聯(lián)的任意兩個(gè)部件也可以被視為彼此“能可操作地耦合”以實(shí)現(xiàn)所需功能。能可操作地耦合的具體示例包括但不限于物理上可配對和/或物理上交互的部件，和/或無線交互和/或可無線交互的部件，和/或邏輯交互和/或可邏輯交互的部件。至于本文中任何關(guān)于多數(shù)和/或單數(shù)術(shù)語的使用，本領(lǐng)域技術(shù)人員可以從多數(shù)形式轉(zhuǎn)換為單數(shù)形式，和/或從單數(shù)形式轉(zhuǎn)換為多數(shù)形式，以適合具體環(huán)境和應(yīng)用。為清楚起見，在此明確聲明單數(shù)形式/多數(shù)形式可互換。本領(lǐng)域技術(shù)人員應(yīng)當(dāng)理解，一般而言，所使用的術(shù)語，特別是所附權(quán)利要求中(例如，在所附權(quán)利要求的主體部分中)使用的術(shù)語，一般地應(yīng)理解為“開放”術(shù)語(例如，術(shù)語“包括”應(yīng)解釋為“包括但不限于”，術(shù)語“具有”應(yīng)解釋為“至少具有”等)。本領(lǐng)域技術(shù)人員還應(yīng)理解，如果意在所引入的權(quán)利要求中標(biāo)明具體數(shù)目，則這種意圖將在該權(quán)利要求中明確指出，而在沒有這種明確標(biāo)明的情況下，則不存在這種意圖。例如，為幫助理解，所附權(quán)利要求可能使用了引導(dǎo)短語“至少一個(gè)”和“一個(gè)或多個(gè)”來引入權(quán)利要求中的特征。然而，這種短語的使用不應(yīng)被解釋為暗示著由不定冠詞引入的權(quán)利要求特征將包含該特征的任意特定權(quán)利要求限制為僅包含一個(gè)該特征的實(shí)施例，即便是該權(quán)利要求既包括引導(dǎo)短語“一個(gè)或多個(gè)”或“至少一個(gè)”又包括不定冠詞(例如，不定冠詞應(yīng)當(dāng)被解釋為意指“至少一個(gè)”或“一個(gè)或多個(gè)”)；在使用定冠詞來引入權(quán)利要求中的特征時(shí)，同樣如此。另外，即使明確指出了所引入權(quán)利要求特征的具體數(shù)目，本領(lǐng)域技術(shù)人員應(yīng)認(rèn)識到，這種列舉應(yīng)解釋為意指至少是所列數(shù)目(例如，不存在其他修飾語的短語“兩個(gè)特征”意指至少兩個(gè)該特征，或者兩個(gè)或更多該特征)。另外，在使用類似于“A、B和C等中至少一個(gè)”這樣的表述的情況下，一般來說應(yīng)該按照本領(lǐng)域技術(shù)人員通常理解該表述的含義來予以解釋(例如，“具有
A、B和C中至少一個(gè)的系統(tǒng)”應(yīng)包括但不限于單獨(dú)具有A、單獨(dú)具有B、單獨(dú)具有C、具有A和
B、具有A和C、具有B和C、和/或具有A、B、C的系統(tǒng)等)。在使用類似于“A、B或C等中至少一個(gè)”這樣的表述的情況下，一般來說應(yīng)該按照本領(lǐng)域技術(shù)人員通常理解該表述的含義來予以解釋(例如，“具有A、B或C中至少一個(gè)的系統(tǒng)”應(yīng)包括但不限于單獨(dú)具有A、單獨(dú)具有B、單獨(dú)具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系統(tǒng)等)。本領(lǐng)域技術(shù)人員還應(yīng)理解，實(shí)質(zhì)上任意表示兩個(gè)或更多可選項(xiàng)目的轉(zhuǎn)折連詞和/或短語，無論是在說明書、權(quán)利要求書還是附圖中，都應(yīng)被理解為給出了包括這些項(xiàng)目之一、這些項(xiàng)目任一方、或兩個(gè)項(xiàng)目的可能性。例如，短語“A或B”應(yīng)當(dāng)被理解為包括“A”或“B”、或“A和B”的可能性。還應(yīng)當(dāng)理解,術(shù)語“優(yōu)化”可以包括最大化和/或最小化。術(shù)語“最小化”和/或這里使用的類似術(shù)語可以包括全局最小值、局部最小值、近似全局最小值和/或近似局部最小值。類似地，還應(yīng)當(dāng)理解，術(shù)語“最大化”和/或這里使用的類似術(shù)語可以包括全局最大值、局部最大值、近似全局最大值、和/或近似全局最大值。說明書中對“實(shí)現(xiàn)”、“一種實(shí)現(xiàn)”、“一些實(shí)現(xiàn)”或“其他實(shí)現(xiàn)”的引用可以意味著結(jié)合一種或多種實(shí)現(xiàn)描述的特定特征、結(jié)構(gòu)或特性可以包括在至少一些實(shí)現(xiàn)中，而不必包括在所有實(shí)現(xiàn)中。先前說明書中出現(xiàn)的“實(shí)現(xiàn)”、“一種實(shí)現(xiàn)”或“一些實(shí)現(xiàn)”不必全指相同實(shí)現(xiàn)。盡管本文已經(jīng)使用各種方法和系統(tǒng)描述并示出了特定示例技術(shù)，本領(lǐng)域技術(shù)人員應(yīng)當(dāng)理解，在不脫離要求保護(hù)的主題的前提下，可以進(jìn)行各種其他修改并替換等同物。此夕卜，在不脫離本文所述的中心思想的前提下，可以進(jìn)行多種修改以將特定情形與要求保護(hù)的主題的教旨相適配。因此，要求保護(hù)的主題不局限于所公開的特定示例，這種要求保護(hù)的主題還可以包括落在所附權(quán)利要求及其等同物的范圍內(nèi)的所有實(shí)現(xiàn)方式。
權(quán)利要求
1.一種生成深度數(shù)據(jù)的方法，包括: 獲取空間光圖案投影到的一個(gè)或多個(gè)對象的圖像，其中在圖像中空間光圖案的模糊度沿深度方向單調(diào)增大或減小； 計(jì)算感興趣像素周圍的局部圖像區(qū)域中圖像的空間頻率分量值；并且 通過使用深度和空間頻率分量值之間的預(yù)設(shè)關(guān)系來確定與空間頻率分量的計(jì)算值相對應(yīng)的深度數(shù)據(jù)。
2.根據(jù)權(quán)利要求1所述的方法，還包括:檢測圖像的空間頻譜在閾值頻率以上的頻率范圍內(nèi)具有最大值時(shí)的空間頻率，其中空間頻率分量的計(jì)算值是檢測到的空間頻率處的空間頻率分量值，圖像中空間光圖案至少在所述閾值頻率以上的空間頻率處具有周期性。
3.根據(jù)權(quán)利要求1所述的方法，其中，圖像中空間光圖案具有周期性的空間頻率高于當(dāng)觀察圖像時(shí)對于人類視覺可察覺的空間頻率。
4.根據(jù)權(quán)利要求1所述的方法，其中，局部圖像區(qū)域是矩形區(qū)域，計(jì)算空間頻率分量值包括通過向矩形區(qū)域應(yīng)用正交變換來計(jì)算空間頻率分量。
5.根據(jù)權(quán)利要求1所述的方法，還包括:針對圖像的局域圖像區(qū)域中出現(xiàn)的對象的反射率來校正空間頻率分量的計(jì)算值。
6.根據(jù)權(quán)利要求5所述的方法，其中，通過將計(jì)算值除以局部圖像區(qū)域中圖像的平均亮度來校正計(jì)算值。
7.根據(jù)權(quán)利要求1所述的方法，還包括: 獲取對沿深度方向的位置和由用于投影空`間光圖案的投影系統(tǒng)引起的空間光圖案的模糊度之間的第一關(guān)系加以指示的第一數(shù)據(jù)； 獲取對沿深度方向的位置和由用于捕獲圖像的成像系統(tǒng)引起的空間光圖案的模糊度之間的第二關(guān)系加以指示的第二數(shù)據(jù)；并且 根據(jù)第一數(shù)據(jù)和第二數(shù)據(jù)計(jì)算深度和空間頻率分量值之間的預(yù)設(shè)關(guān)系。
8.根據(jù)權(quán)利要求7所述的方法，其中，獲取第二數(shù)據(jù)包括: 獲取對沿深度方向的成像系統(tǒng)的焦點(diǎn)位置和成像系統(tǒng)的透鏡光圈尺寸加以指示的數(shù)據(jù)；并且 根據(jù)接收到的數(shù)據(jù)，相對于沿深度方向的不同位置計(jì)算由成像系統(tǒng)引起的空間光圖案的模糊度。
9.根據(jù)權(quán)利要求7所述的方法，其中，獲取第一數(shù)據(jù)包括: 將空間光圖案從投影系統(tǒng)投影到平坦單調(diào)表面； 通過使用聚焦在所述表面上的成像系統(tǒng)來捕獲投影在所述表面上的空間光圖案的圖像；并且` 相對于沿深度方向的不同點(diǎn)處設(shè)置的平坦單調(diào)表面，執(zhí)行投影空間光圖案和捕獲空間光圖案的圖像。
10.一種生成深度數(shù)據(jù)的裝置，包括: 圖像接收單元，配置成接收空間光圖案投影到的一個(gè)或多個(gè)對象的圖像，其中在圖像中空間光圖案的模糊度沿深度方向單調(diào)增大或減??； 頻率分量計(jì)算單元，配置成計(jì)算感興趣像素周圍的局部圖像區(qū)域中圖像的空間頻率分量值；以及深度圖生成單元，配置成通過使用深度和空間頻率分量值之間的預(yù)設(shè)關(guān)系來確定與空間頻率分量的計(jì)算值相對應(yīng)的深度數(shù)據(jù)。
11.根據(jù)權(quán)利要求10所述的裝置，還包括:頻率檢測單元，配置成檢測圖像的空間頻譜在閾值頻率以上的頻率范圍內(nèi)具有最大值時(shí)的空間頻率，其中空間頻率分量的計(jì)算值是檢測到的空間頻率處的空間頻率分量的值，圖像中空間光圖案至少在所述閾值頻率以上的空間頻率處具有周期性。
12.根據(jù)權(quán)利要求10所述的裝置，其中，圖像中空間光圖案具有周期性時(shí)的空間頻率高于當(dāng)觀察圖像時(shí)對于人類視覺可察覺的空間頻率。
13.根據(jù)權(quán)利要求10所述的裝置，其中，頻率分量計(jì)算單元配置成通過向作為局部圖像區(qū)域的矩形區(qū)域應(yīng)用正交變換來計(jì)算空間頻率分量。
14.根據(jù)權(quán)利要求10所述的裝置，還包括:反射率校正單元，配置成針對圖像的局域圖像區(qū)域中出現(xiàn)的對象的反射率來校正空間頻率分量的計(jì)算值。
15.根據(jù)權(quán)利要求14所述的裝置，其中，反射率校正單元配置成通過將計(jì)算值除以局部圖像區(qū)域中圖像的平均亮度。
16.根據(jù)權(quán)利要求10所述的裝置，其中，深度圖生成單元包括: 數(shù)據(jù)存儲單元，配置成存儲對沿深度方向的位置和由用于投影空間光圖案的投影系統(tǒng)引起的空間光圖案的模糊度之間的第一關(guān)系加以指示的第一數(shù)據(jù)； 模糊度數(shù)據(jù)獲取單元，配置成獲取對沿深度方向的位置和由用于捕獲圖像的成像系統(tǒng)引起的空間光圖案的模糊度之間的第二關(guān)系加以指示的第二數(shù)據(jù)；以及 關(guān)系計(jì)算單元，配置成根據(jù)第一數(shù)據(jù)和第二數(shù)據(jù)計(jì)算深度和空間頻率分量值之間的預(yù)設(shè)關(guān)系。
17.根據(jù)權(quán)利要求16所述的裝置，還包括參數(shù)獲取單元，配置成獲取對沿深度方向的成像系統(tǒng)的焦點(diǎn)位置和成像系統(tǒng)的透鏡光圈尺寸加以指示的數(shù)據(jù)，其中模糊度數(shù)據(jù)獲取單元配置成根據(jù)焦點(diǎn)位置和透鏡光圈，相對于沿深度方向的不同位置計(jì)算由成像系統(tǒng)引起的空間光圖案的模糊度。
18.—種生成深度數(shù)據(jù)的系統(tǒng)，包括: 投影單元，配置成投影空間光圖案； 成像單元，配置成捕獲空間光圖案投影到的一個(gè)或多個(gè)對象的圖像，其中在圖像中空間光圖案的模糊度沿深度方向單調(diào)增大或減??； 頻率分量計(jì)算單元，配置成計(jì)算感興趣像素周圍的局部圖像區(qū)域中圖像的空間頻率分量值；以及 深度圖生成單元，配置成通過使用深度和空間頻率分量值之間的預(yù)設(shè)關(guān)系來確定與空間頻率分量的計(jì)算值相對應(yīng)的深度數(shù)據(jù)。
19.根據(jù)權(quán)利要求18所述的系統(tǒng)，還包括反射率校正單元，配置成針對圖像的局域圖像區(qū)域中出現(xiàn)的對象的反射率，通過將計(jì)算值除以局部圖像區(qū)域中圖像的平均亮度來校正空間頻率分量的計(jì)算值。
20.根據(jù)權(quán)利要求18所述的系統(tǒng)，其中，深度圖生成單元包括: 數(shù)據(jù)存儲單元，配置成存儲對沿深度方向的位置和由投影單元引起的空間光圖案的模糊度之間的第一關(guān)系加以指示的第一數(shù)據(jù)；模糊度數(shù)據(jù)獲取單元，配置成獲取對沿深度方向的位置和由成像單元引起的空間光圖案的模糊度之間的第二關(guān)系加以指示的第二數(shù)據(jù)；以及 關(guān)系計(jì)算單元，配置成根據(jù)第一數(shù)據(jù)和第二數(shù)據(jù)計(jì)算深度和空間頻率分量值之間的預(yù)設(shè)關(guān) 系。
全文摘要
總體上描述了用于根據(jù)空間光圖案生成深度數(shù)據(jù)的技術(shù)。在一些示例中，一種生成深度數(shù)據(jù)的方法包括獲取空間光圖案投影到的一個(gè)或多個(gè)對象的圖像，其中在圖像中空間光圖案的模糊度沿深度方向單調(diào)增大或減?。挥?jì)算感興趣像素周圍的局部圖像區(qū)域中圖像的空間頻率分量值；并通過使用深度和空間頻率分量值之間的預(yù)設(shè)關(guān)系來確定與空間頻率分量的計(jì)算值相對應(yīng)的深度數(shù)據(jù)。
文檔編號G06T1/00GK103109158SQ20108006756
公開日2013年5月15日 申請日期2010年10月5日 優(yōu)先權(quán)日2010年10月5日
發(fā)明者上平員丈, 鈴木雅洋 申請人:英派爾科技開發(fā)有限公司