實(shí)施例涉及用于產(chǎn)生圖像的概念，并且具體地涉及用于生成三維彩色圖像的裝置和用于產(chǎn)生三維彩色圖像的方法。

背景技術(shù)：

深度感測系統(tǒng)（例如，飛行時(shí)間感測系統(tǒng)或例如其他三維深度感測系統(tǒng)）可能遭受諸如低分辨率和/或噪聲的不良深度圖像質(zhì)量。例如，當(dāng)前的方法和操作可能不能以高性能融合深度和彩色數(shù)據(jù)，和/或可能不能實(shí)現(xiàn)例如適當(dāng)?shù)纳疃葦?shù)據(jù)質(zhì)量增強(qiáng)。另外，由于數(shù)據(jù)相關(guān)性和/或不能將算法劃分為例如并行任務(wù)而導(dǎo)致許多方法不能在圖形處理單元（gpu）上被有效地實(shí)現(xiàn)。

技術(shù)實(shí)現(xiàn)要素：

一些實(shí)施例涉及一種用于生成三維彩色圖像的裝置。該裝置包括用于接收至少對象的彩色圖像和至少該對象的低分辨率深度圖像的輸入接口。該裝置還包括圖像處理模塊，該圖像處理模塊被配置為基于彩色圖像的第一彩色像素的第一彩色像素圖像數(shù)據(jù)和至少該對象的導(dǎo)出的高分辨率深度圖像的第一導(dǎo)出深度像素的第一導(dǎo)出深度像素圖像數(shù)據(jù)來產(chǎn)生用于生成至少該對象的三維彩色圖像的數(shù)據(jù)。圖像處理模塊被配置為基于低分辨率深度圖像的測量深度像素的測量深度像素圖像數(shù)據(jù)和與測量深度像素圖像數(shù)據(jù)相關(guān)聯(lián)的加權(quán)因子來計(jì)算第一導(dǎo)出深度像素圖像數(shù)據(jù)。加權(quán)因子基于在第一彩色像素和參考彩色像素之間的路徑的彩色邊緣幅度求和值。該參考彩色像素具有對應(yīng)于該對象的導(dǎo)出高分辨率深度圖像中的測量深度像素的彩色圖像中的像素位置。該裝置還包括用于提供所生成的三維彩色圖像的輸出接口。

一些實(shí)施例涉及一種用于產(chǎn)生至少對象的三維彩色圖像的方法。該方法包括基于在彩色圖像的第一彩色像素和彩色圖像的參考彩色像素之間的路徑的彩色邊緣幅度求和值導(dǎo)出與低分辨率深度圖像的測量深度像素的測量深度像素圖像數(shù)據(jù)相關(guān)聯(lián)的加權(quán)因子。該方法還包括基于測量深度像素圖像數(shù)據(jù)和與測量深度像素圖像數(shù)據(jù)相關(guān)聯(lián)的加權(quán)因子導(dǎo)出高分辨率深度圖像的第一深度像素的第一深度像素圖像數(shù)據(jù)。該方法還包括基于彩色圖像的第一彩色像素的第一彩色像素圖像數(shù)據(jù)和第一導(dǎo)出深度像素圖像數(shù)據(jù)來提供至少對象的三維彩色圖像。

一些實(shí)施例涉及一種相機(jī)系統(tǒng)。該相機(jī)系統(tǒng)包括用于生成至少對象的彩色圖像的二維高分辨率相機(jī)模塊。相機(jī)系統(tǒng)還包括用于生成至少對象的深度圖像的三維相機(jī)模塊。相機(jī)系統(tǒng)還包括用于生成至少對象的三維彩色圖像的裝置。

附圖說明

下面將僅通過示例并參考附圖來描述裝置和/或方法的一些實(shí)施例，在附圖中，

圖1a示出了用于生成三維彩色圖像的裝置的示意圖；

圖1b示出了高分辨率深度圖像和彩色圖像的至少一部分的示意圖；

圖1c示出了高分辨率深度圖像的至少一部分的示意圖；

圖1d示出了彩色圖像的至少一部分的示意圖；

圖2a示出了邊緣引導(dǎo)圖像的至少一部分的示意圖；

圖2b示出了說明多個(gè)彩色邊緣幅度求和值的確定的表；

圖3a至3d示出了映射深度值的像素解析層級(jí)的示意圖；

圖4示出了用于產(chǎn)生三維圖像的方法的流程圖；以及

圖5示出了照相機(jī)系統(tǒng)的示意圖。

具體實(shí)施方式

現(xiàn)在將參考附圖更全面地描述各種示例實(shí)施例，在附圖中圖出了一些示例實(shí)施例。在附圖中，為了清楚起見，線、層和/或區(qū)域的厚度可能被放大。

因此，雖然示例實(shí)施例能夠具有各種修改和替代形式，但是其實(shí)施例通過附圖中的示例示出并且將在本文中詳細(xì)描述。然而，應(yīng)當(dāng)理解，沒有意圖將示例實(shí)施例限制為所公開的具體形式，而是相反地，示例實(shí)施例要覆蓋落入本公開范圍內(nèi)的所有修改、等同物和替代物。遍及附圖的描述，相同的附圖標(biāo)記指代相同或相似的元件。

將理解的是，當(dāng)元件被稱為“連接”或“耦合”到另一元件時(shí)，元件可以直接連接或耦合到另一元件，或者可以存在中間元件。相反，當(dāng)元件被稱為“直接連接”或“直接耦合”到另一元件時(shí)，不存在中間元件。用于描述元件之間的關(guān)系的其他詞語應(yīng)以類似的方式解釋（例如，“在...之間”對“直接在...之間”、“相鄰”對“直接相鄰”等）。

本文所使用的術(shù)語僅出于描述具體實(shí)施例的目的，并且不意在限制示例實(shí)施例。如本文所使用的，除非上下文另有明確指示，否則單數(shù)形式“一”、“一個(gè)”和“該”旨在包括復(fù)數(shù)形式。將進(jìn)一步理解的是，當(dāng)在本文中使用時(shí)，術(shù)語“包括”、“包括著”、“包含”和/或“包含著”指定所述特征、整體、步驟、操作、元件和/或部件的存在，但是并不排除一個(gè)或多個(gè)其他特征、整體、步驟、操作、元件、部件和/或其組的存在或添加。

除非另有定義，否則本文使用的所有術(shù)語（包括技術(shù)和科學(xué)術(shù)語）具有與示例實(shí)施例所屬領(lǐng)域的普通技術(shù)人員通常理解的相同的含義。將進(jìn)一步理解的是，術(shù)語（例如在通常使用的字典中定義的術(shù)語）應(yīng)當(dāng)被解釋為具有與它們在相關(guān)領(lǐng)域的上下文中的含義一致的含義，并且將不以理想化或過度形式化的意義被解釋，除非本文如此明確地定義。

圖1a示出了用于生成三維彩色圖像的裝置100的示意圖。

裝置100包括用于接收至少對象的彩色圖像102和至少該對象的低分辨率深度圖像103的輸入接口101。

裝置100還包括圖像處理模塊104，該圖像處理模塊104被配置為基于彩色圖像102的第一彩色像素的第一彩色像素圖像數(shù)據(jù)以及至少該對象的導(dǎo)出高分辨率深度圖像的第一導(dǎo)出深度像素的第一導(dǎo)出深度像素圖像數(shù)據(jù)來產(chǎn)生用于生成至少該對象的三維彩色圖像106的數(shù)據(jù)。

圖像處理模塊104被配置為基于低分辨率深度圖像103的測量深度像素的測量深度像素圖像數(shù)據(jù)和與測量深度像素圖像數(shù)據(jù)相關(guān)聯(lián)的加權(quán)因子來計(jì)算第一導(dǎo)出深度像素圖像數(shù)據(jù)。加權(quán)因子基于在第一彩色像素和參考彩色像素之間的路徑的彩色邊緣幅度求和值。參考彩色具有像素在彩色圖像102中的與對象的導(dǎo)出的高分辨率深度圖像中的測量深度像素相對應(yīng)的像素位置。

裝置100還包括用于提供所生成的三維彩色圖像106的輸出接口105。

由于加權(quán)因子基于在第一彩色像素和參考彩色像素之間的路徑的彩色邊緣幅度求和值，所以可以改善在所生成的三維彩色圖像106的分辨率和/或噪聲降低方面的深度質(zhì)量。另外，例如，可以在保持高性能的同時(shí)實(shí)現(xiàn)所生成的三維彩色圖像106的深度質(zhì)量增強(qiáng)。

（至少）對象的彩色圖像102可以是高分辨率二維彩色圖像。彩色圖像102可以是彩色像素的二維陣列。彩色圖像102的每個(gè)彩色像素可以包括例如與對象相關(guān)的二維彩色信息（例如，rgb彩色空間信息或者替代地其他彩色空間信息）。

（至少）對象的低分辨率深度圖像103可以是深度像素的二維陣列。低分辨率深度圖像103的每個(gè)深度像素可以包括與對象相關(guān)的距離（例如深度，例如三維3d）信息。例如，深度信息可以與對象的表面到例如參考平面或參考點(diǎn)的距離相關(guān)。

例如，由裝置的輸入接口101接收的對象的彩色圖像102可以具有比低分辨率深度圖像103的分辨率更高的分辨率（例如像素分辨率）。分辨率或像素分辨率可以指圖像的二維陣列的像素的數(shù)目。

圖像處理模塊104可以被配置為導(dǎo)出至少對象的高分辨率深度圖像107。例如，作為起始情況，深度可以被映射成高分辨率彩色圖像102。例如，圖像處理模塊104可以被配置為至少基于低分辨率深度圖像103的測量深度像素來導(dǎo)出對象的高分辨率深度圖像107。例如，圖像處理模塊104可以被配置為通過將低分辨率深度圖像103的每個(gè)測量深度像素的測量深度像素圖像數(shù)據(jù)轉(zhuǎn)換為對象的彩色圖像102的圖像空間以便獲得高分辨率深度圖像107的至少一部分，來導(dǎo)出對象的高分辨率深度圖像107。

圖像處理模塊104可以被配置為將對象的低分辨率深度圖像103的測量深度像素的測量深度像素圖像數(shù)據(jù)映射成對象的彩色圖像102的圖像空間（如圖1b所示）。因此，要導(dǎo)出的高分辨率深度圖像107可以具有彩色圖像102的（相同）圖像空間。圖像處理模塊104可以被配置為基于對象的低分辨率深度圖像103來導(dǎo)出高分辨率深度圖像107。例如，低分辨率圖像103中的深度像素的數(shù)目可以與高分辨率深度圖像107中的映射像素112相同。例如，高分辨率深度圖像107可以具有與彩色圖像102相同的尺寸（例如，相同的像素分辨率）。例如，上采樣的高分辨率深度圖像107的像素?cái)?shù)目可以與彩色圖像102的像素?cái)?shù)目相同（或者例如相等）。

例如，由圖像處理模塊104導(dǎo)出（或可導(dǎo)出）的高分辨率深度圖像107可以包括基于低分辨率深度圖像103的測量深度像素的測量深度像素圖像數(shù)據(jù)導(dǎo)出的至少一個(gè)（例如，一個(gè)或多個(gè)，或者例如多個(gè)）深度像素。例如，高分辨率深度圖像107可以包括（或具有）第一組深度像素。可以基于低分辨率深度圖像103的多個(gè)不同測量深度像素的測量深度像素圖像數(shù)據(jù)來導(dǎo)出高分辨率深度圖像107的第一組深度像素的每個(gè)深度像素。

圖像處理模塊104可以被配置為計(jì)算高分辨率深度圖像107的第二組深度像素的每個(gè)深度像素。第二組深度像素的深度像素可以排除（或者例如可以不同于）高分辨率深度圖像的第一組深度像素的深度像素。

圖像處理模塊104可以被配置為導(dǎo)出高分辨率深度圖像107的第二組深度像素的深度像素（例如，每個(gè)深度像素），以生成高分辨率深度圖像107。例如，圖像處理模塊104可以被配置為計(jì)算（或例如導(dǎo)出）針對高分辨率深度圖像107的（第二組深度像素的）每個(gè)深度像素的深度像素圖像數(shù)據(jù)。

例如，圖像處理模塊104可以被配置為計(jì)算高分辨率深度圖像107的第一導(dǎo)出深度像素的第一導(dǎo)出深度像素圖像數(shù)據(jù)。例如，圖像處理模塊104可以被配置為基于高分辨率深度圖像107的（或者例如至少一個(gè)，或者例如一個(gè)或多個(gè)）測量深度像素的測量深度像素圖像數(shù)據(jù)和與測量深度像素的測量深度像素圖像數(shù)據(jù)相關(guān)聯(lián)的加權(quán)因子w來計(jì)算第一導(dǎo)出深度像素的第一導(dǎo)出深度像素圖像數(shù)據(jù)。例如，多個(gè)深度值（來自低分辨率深度圖像）可以影響每個(gè)高分辨率深度值的結(jié)果。

圖像處理模塊104可以被配置為基于在第一彩色像素和參考彩色像素之間的路徑（例如從第一彩色像素到參考彩色像素的路徑）的彩色邊緣幅度求和值se來計(jì)算與測量深度像素的測量深度像素圖像數(shù)據(jù)相關(guān)聯(lián)的加權(quán)因子。

參考彩色像素具有在彩色圖像102中的對應(yīng)于對象的導(dǎo)出高分辨率深度圖像107中的測量深度像素的像素位置。例如，參考彩色像素可以具有彩色圖像102中的像素位置，該像素位置可以與對象的導(dǎo)出高分辨率深度圖像107中的測量深度像素的像素位置相同（如圖1c至圖1d所示）。

加權(quán)因子w基于在接收的彩色圖像102的第一彩色像素和接收的彩色圖像102的參考彩色像素之間的路徑（例如像素路徑）的彩色邊緣幅度求和值se。例如，加權(quán)因子w可以隨著在第一彩色像素和參考彩色像素之間的增加的彩色邊緣幅度求和值se而減小。例如，加權(quán)因子w可以隨著在第一彩色像素和參考彩色像素之間的增加的彩色邊緣幅度求和值se而指數(shù)地減小。

加權(quán)因子（其可以被稱為插值權(quán)重）w量化每個(gè)（測量）深度值的影響。將彩色邊緣幅度求和值se轉(zhuǎn)換為加權(quán)因子w的函數(shù)或公式可以是允許se的小變化導(dǎo)致w的大變化的函數(shù)或公式。另外，如果在邊緣的另一側(cè)上存在有效的深度測量，則可能需要限制深度值在邊緣上傳播。例如，因?yàn)闇p小的加權(quán)因子，所以可以限制深度值跨越邊緣傳播。

自然指數(shù)函數(shù)（e）可以很好地適用于該目的。例如，圖像處理模塊104可以被配置為根據(jù)以下關(guān)系基于彩色邊緣幅度求和值se計(jì)算加權(quán)因子w：

。

w可以表示加權(quán)因子。

se可以表示基于在第一彩色像素和參考彩色像素之間的彩色邊緣幅度值之和的彩色邊緣幅度求和值。

σ可以表示標(biāo)量參數(shù)。參數(shù)σ可以縮放指數(shù)函數(shù)的自變量，以便于將加權(quán)因子w的范圍限制為例如浮點(diǎn)數(shù)據(jù)類型（例如，32位浮點(diǎn)數(shù)據(jù)類型）的邊界。例如，標(biāo)量參數(shù)越小，指數(shù)函數(shù)就越陡并且影響衰減就越大。因此，較小的標(biāo)量參數(shù)可以導(dǎo)致更加銳利的未縮放的深度圖像。例如，參數(shù)σ可以小于0.6（或例如小于0.05，或例如小于0.01）。例如，圖像處理模塊104可以被配置為選擇標(biāo)量參數(shù)的值?？蛇x地，參數(shù)σ可以被選擇為盡可能小。

可選地，例如，加權(quán)因子w可以僅基于（或只基于）彩色邊緣幅度求和值se和標(biāo)量參數(shù)。換言之，例如，彩色邊緣幅度求和值se可以是影響加權(quán)w的唯一可變參數(shù)。

圖像處理模塊104可以被配置為基于至少一個(gè)測量深度像素來計(jì)算第一導(dǎo)出深度像素的第一導(dǎo)出深度像素圖像數(shù)據(jù)?？蛇x地，圖像處理模塊104可以被配置為基于影響要導(dǎo)出的第一導(dǎo)出深度像素的第一導(dǎo)出深度像素圖像數(shù)據(jù)的多于一個(gè)測量深度像素（或者例如多個(gè)測量深度像素）來計(jì)算第一導(dǎo)出深度像素的第一導(dǎo)出深度像素圖像數(shù)據(jù)。

例如，第一導(dǎo)出深度像素可以位于第一測量深度像素的第一像素影響半徑內(nèi)，并且位于第二測量深度像素的第二像素影響半徑內(nèi)。因此，圖像處理模塊104可以被配置為基于與第一測量深度像素的第一測量深度像素圖像數(shù)據(jù)相關(guān)聯(lián)的加權(quán)因子和與第二測量深度像素的第二測量深度像素圖像數(shù)據(jù)相關(guān)聯(lián)的加權(quán)因子來計(jì)算（或?qū)С觯┑谝粚?dǎo)出深度像素的第一導(dǎo)出深度像素圖像數(shù)據(jù)。例如，圖像處理模塊104可以被配置為導(dǎo)出與每個(gè)測量深度像素n相關(guān)聯(lián)的每個(gè)加權(quán)因子wn，其中第一導(dǎo)出深度像素位于其像素影響半徑中。

每個(gè)加權(quán)因子wn可以基于相應(yīng)的彩色邊緣幅度求和值se被導(dǎo)出。例如，圖像處理模塊104可以被配置為基于在第一彩色像素和第一參考彩色像素之間的路徑的彩色邊緣幅度求和值se來導(dǎo)出與第一測量深度像素的第一測量深度像素圖像數(shù)據(jù)相關(guān)聯(lián)的加權(quán)因子。第一參考彩色像素具有在彩色圖像102中的對應(yīng)于對象的導(dǎo)出高分辨率深度圖像107中的（第一）測量深度像素的像素位置。另外，圖像處理模塊104可以被配置為基于在第一彩色像素和第二參考彩色像素之間的路徑的彩色邊緣幅度求和值se來導(dǎo)出與第二測量深度像素的第二測量深度像素圖像數(shù)據(jù)相關(guān)聯(lián)的加權(quán)因子。第二參考彩色像素具有在彩色圖像102中的對應(yīng)于對象的導(dǎo)出高分辨率深度圖像107中的（第二）測量深度像素的像素位置。

圖像處理模塊104可以被配置為基于由圖像處理模塊104導(dǎo)出的多個(gè)彩色邊緣幅度值的至少一個(gè)彩色邊緣幅度值來確定（或每個(gè)）彩色邊緣幅度求和值se。另外可選地或替代地，彩色邊緣幅度求和值se可以基于所有交叉的彩色邊緣的和。

圖像處理模塊104可以被配置為通過基于對象的彩色圖像102導(dǎo)出邊緣引導(dǎo)圖像（例如，圖2a所示）來確定多個(gè)彩色邊緣幅度值。例如，圖像處理模塊104可以被配置為通過彩色圖像102的邊緣濾波操作來確定與彩色圖像102的多個(gè)彩色像素相對應(yīng)的多個(gè)彩色邊緣幅度值。例如，可選地，可以基于來自（僅）像素的直接相鄰像素的彩色信息導(dǎo)出多個(gè)彩色像素的（或每個(gè)）彩色像素的（或每個(gè)）彩色邊緣幅度值。例如，邊緣濾波操作可以基于圍繞彩色像素的4個(gè)像素的彩色信息（或例如彩色值）來確定多個(gè)彩色像素的彩色像素的彩色邊緣幅度值。

圖像處理模塊104可以被配置為基于彩色圖像102的sobel操作（或應(yīng)用于彩色圖像102）來導(dǎo)出多個(gè)彩色邊緣幅度值。替代地或可選地，圖像處理模塊104可以被配置為通過對彩色圖像102應(yīng)用邊緣濾波操作（諸如canny操作、高斯拉普拉斯操作或prewitt操作）來導(dǎo)出多個(gè)彩色邊緣幅度值。

圖像處理模塊104可以包括邊緣幅度值存儲(chǔ)器。圖像處理模塊104可以被配置為例如將多個(gè)彩色邊緣幅度值存儲(chǔ)在圖像處理模塊104的邊緣幅度值存儲(chǔ)器中。

圖像處理模塊104可以被配置為在確定和/或存儲(chǔ)多個(gè)彩色邊緣幅度值之后計(jì)算（或?qū)С觯┒鄠€(gè)彩色邊緣幅度求和值。圖像處理模塊104可以被配置為計(jì)算多個(gè)彩色邊緣幅度求和值se，每一個(gè)對應(yīng)于位于測量深度像素的像素影響區(qū)域內(nèi)的要導(dǎo)出的多個(gè)導(dǎo)出深度像素。

圖像處理模塊104可以被配置為基于存儲(chǔ)在邊緣幅度值存儲(chǔ)器中的多個(gè)彩色邊緣幅度值的至少一個(gè)（例如一個(gè)或多個(gè)，或者例如多個(gè)）彩色邊緣幅度值來確定（或每個(gè)）彩色邊緣幅度求和值se。例如，圖像處理模塊104可以被配置為基于沿著在第一彩色像素和參考彩色像素之間的像素路徑（例如，從第一彩色像素到參考彩色像素）（或在該像素路徑上，或該像素路徑）的彩色邊緣幅度值的和（例如，相加或者例如求和）來確定彩色邊緣幅度求和值se。例如，彩色邊緣幅度求和值se可以基于沿著在第一彩色像素和參考彩色像素之間的像素路徑的彩色邊緣幅度值的和（例如，相加或例如求和），包括第一彩色像素的彩色邊緣幅度值和參考彩色像素的彩色邊緣幅度值（如圖2b所示）。

為了滿足se是沿著在像素i（像素i可以表示要導(dǎo)出的每個(gè)導(dǎo)出深度像素）和映射深度值dn（dn可以表示影響導(dǎo)出深度像素圖像數(shù)據(jù)的測量深度像素n的測量深度像素圖像數(shù)據(jù)）之間的像素路徑的所有邊緣（例如，邊緣幅度）的和，周圍像素可能需要以特定順序被解析（如圖3a至3d所示）。

圍繞測量深度像素331的像素影響區(qū)域可以由例如到測量深度像素的歐幾里得距離的像素半徑來定義。受影響的像素332可以位于例如由像素半徑r限定的像素影響區(qū)域內(nèi)。每個(gè)新處理的像素可以取決于其沿著像素路徑的前身。

圖像處理模塊104可以被配置為計(jì)算對應(yīng)于要根據(jù)解析順序?qū)С龅亩鄠€(gè)導(dǎo)出深度像素的多個(gè)彩色邊緣幅度求和值se。例如，圖像處理模塊104可以被配置為根據(jù)沿著圍繞測量深度像素的至少一個(gè)圓形路徑的解析順序來計(jì)算多個(gè)彩色邊緣幅度求和值se。

圖像處理模塊104可以包括用于根據(jù)解析順序存儲(chǔ)多個(gè)彩色邊緣幅度求和值se的存儲(chǔ)器陣列。圖像處理模塊104可以被配置為基于存儲(chǔ)在存儲(chǔ)器陣列中的多個(gè)彩色邊緣幅度求和值的解析順序來計(jì)算與多個(gè)導(dǎo)出深度像素圖像數(shù)據(jù)相對應(yīng)的多個(gè)加權(quán)因子。

在計(jì)算期間計(jì)算像素路徑可以通過查找表來避免。該表可以以正確的順序存儲(chǔ)路徑上的相對像素位置。小陣列可以用于緩沖針對每個(gè)像素的路徑se上的邊緣權(quán)重的和，因此它可以在路徑上的下一像素操作期間被查找。這可以避免沿著徑向像素路徑解析像素的先決條件，只要圖3a至3d所示的層級(jí)被滿足。因此，可以清除查找表中的所有冗余操作，并且例如可能僅需要針對n個(gè)影響像素的n個(gè)像素操作。

所得到的高分辨率深度圖像的每個(gè)（深度）像素可能受到若干深度值（例如，多于一個(gè)，或者例如多于兩個(gè)，或者例如多于4個(gè)，或者例如多于5個(gè)）的影響，例如，該深度值然后通過它們的傳播影響而被插值。如果僅一個(gè)深度值影響像素，則像素值可以與例如深度值相同。如果沒有深度值影響像素，則不存在插值，并且該值例如保持未定義。

圖像處理模塊104可以被配置為基于與影響要導(dǎo)出的（第一）導(dǎo)出深度像素圖像數(shù)據(jù)的至少一個(gè)測量深度像素（或例如多個(gè)測量深度像素）相關(guān)聯(lián)的加權(quán)因子的和以及加權(quán)深度值的和來計(jì)算第一導(dǎo)出深度像素的（第一）導(dǎo)出深度像素圖像數(shù)據(jù)。加權(quán)深度值的和的每個(gè)加權(quán)深度值可以基于測量深度像素圖像數(shù)據(jù)dn和與測量的深度像素相關(guān)聯(lián)的加權(quán)因子wn的乘積（例如，乘法）。

例如，圖像處理模塊104可以被配置為基于下述關(guān)系（或例如插值公式）來計(jì)算高分辨率深度圖像的每個(gè)導(dǎo)出深度像素圖像數(shù)據(jù)di：

。

di可以表示例如高分辨率深度圖像的導(dǎo)出深度像素i的導(dǎo)出深度像素圖像數(shù)據(jù)。例如，di可以表示針對每個(gè)彩色像素i的最終插值深度。

例如，k可以表示影響導(dǎo)出深度像素的測量深度像素的數(shù)目。

例如，dn可以表示影響導(dǎo)出深度像素圖像數(shù)據(jù)的測量深度像素n的測量深度像素圖像數(shù)據(jù)。

例如，wn可以表示與測量深度像素n相關(guān)聯(lián)的關(guān)聯(lián)加權(quán)因子。

影響像素i的k個(gè)深度值dn可以通過使用權(quán)重w的比率用插值公式來插值，從而得到最終深度di。深度值可以將其影響傳播到其他深度值的影響球面以減少噪聲。由于彩色邊緣可以大大減小影響，所以噪聲減少可以是邊緣保持。

可以用一些修改來有效地實(shí)現(xiàn)所引入的算法。可以減少計(jì)算和存儲(chǔ)器存取操作的次數(shù)。例如，插值公式可以被重新形成為更新公式。例如，可以針對每個(gè)像素存儲(chǔ)dsum和wsum，并且dsum和wsum可以替換插值公式中的上下分?jǐn)?shù)項(xiàng)。dsum和wsum可以在每次深度值對像素操作時(shí)更新。

圖像處理模塊104可以被配置為，如果新的測量深度像素影響要導(dǎo)出的第一導(dǎo)出深度像素圖像數(shù)據(jù)，則更新與要導(dǎo)出的第一導(dǎo)出深度像素圖像數(shù)據(jù)相關(guān)聯(lián)的加權(quán)深度值的總和dsum。加權(quán)深度值的總和的每個(gè)加權(quán)深度值可以基于影響要導(dǎo)出的第一導(dǎo)出深度像素圖像數(shù)據(jù)的測量深度像素的測量深度像素圖像數(shù)據(jù)和與測量深度像素相關(guān)聯(lián)的加權(quán)因子的乘積（例如，乘法）。圖像處理模塊104可以被配置為根據(jù)以下關(guān)系更新加權(quán)深度值的和dsum：

wnew可以表示影響要導(dǎo)出的第一導(dǎo)出深度像素圖像數(shù)據(jù)的新的測量深度像素的新加權(quán)因子。

圖像處理模塊104可以被配置為，如果新的測量深度像素影響要導(dǎo)出的第一導(dǎo)出深度像素圖像數(shù)據(jù)，則更新與要導(dǎo)出的第一導(dǎo)出深度像素圖像數(shù)據(jù)相關(guān)聯(lián)的加權(quán)因子的和wsum。加權(quán)因子的和的每個(gè)加權(quán)因子可以與影響要導(dǎo)出的第一導(dǎo)出深度像素的第一導(dǎo)出深度像素圖像數(shù)據(jù)的（不同的）測量深度像素相關(guān)聯(lián)。圖像處理模塊104可以被配置為根據(jù)以下關(guān)系更新加權(quán)因子的和wsum：

圖像處理模塊104可以包括用于存儲(chǔ)與要導(dǎo)出的第一導(dǎo)出深度像素圖像數(shù)據(jù)相關(guān)聯(lián)的加權(quán)因子的和wsum的加權(quán)因子存儲(chǔ)器。

圖像處理模塊104可以包括用于存儲(chǔ)與要導(dǎo)出的第一導(dǎo)出深度像素圖像數(shù)據(jù)相關(guān)聯(lián)的加權(quán)深度值的和dsum的加權(quán)深度值存儲(chǔ)器。

可以通過根據(jù)以下關(guān)系在每個(gè)像素i上劃分dsum和wsum來計(jì)算導(dǎo)出深度像素的最終深度像素圖像數(shù)據(jù)di：

圖像處理模塊104可以包括用于存儲(chǔ)第一導(dǎo)出深度像素的至少第一導(dǎo)出深度像素圖像數(shù)據(jù)d1的導(dǎo)出深度像素圖像數(shù)據(jù)存儲(chǔ)器。例如，導(dǎo)出深度像素圖像數(shù)據(jù)存儲(chǔ)器可以存儲(chǔ)多個(gè)導(dǎo)出深度像素的每個(gè)導(dǎo)出深度像素的導(dǎo)出深度像素圖像數(shù)據(jù)di。

圖像處理模塊104可以被配置為，基于先前存儲(chǔ)的第一導(dǎo)出深度像素的導(dǎo)出深度像素圖像數(shù)據(jù)和與第一導(dǎo)出深度像素圖像數(shù)據(jù)相關(guān)聯(lián)的新的加權(quán)深度值來更新第一導(dǎo)出深度像素圖像數(shù)據(jù)。例如，深度值的映射位置可以每幀地改變，并且可能不可能預(yù)測多少深度值可以影響關(guān)于每個(gè)幀的輸出像素。

操作可能需要每像素至少3個(gè)存儲(chǔ)器存取操作（例如，存取加權(quán)因子存儲(chǔ)器、加權(quán)深度值存儲(chǔ)器和導(dǎo)出深度像素圖像數(shù)據(jù)存儲(chǔ)器）。例如，每個(gè)像素具有其自己的di、dsum和wsum值，其可以在gpu（圖形處理單元）上產(chǎn)生三個(gè)圖像大小的緩沖器。

可選地，可以減少存儲(chǔ)器存取操作的次數(shù)。例如，為了避免至少一個(gè)緩沖器，可以每次重新計(jì)算而不是保存加權(quán)深度值的和dsum。例如，如果在深度影響傳播期間計(jì)算和更新di，則可以通過使di乘以wsum來提取dsum。在不存儲(chǔ)針對每個(gè)像素的dsum的情況下，可以根據(jù)以下關(guān)系在每個(gè)像素操作處更新深度di和wsum：

因此，每個(gè)像素可以使用一次較少的存儲(chǔ)器存取操作（例如2個(gè)存儲(chǔ)器存取操作）。

圖像處理模塊104被配置為，基于接收到的彩色圖像102的第一彩色像素的第一彩色像素圖像數(shù)據(jù)和（至少）對象的導(dǎo)出高分辨率深度圖像107的第一導(dǎo)出深度像素的第一導(dǎo)出深度像素圖像數(shù)據(jù)d1來產(chǎn)生用于生成（至少）對象的三維彩色圖像106的數(shù)據(jù)。第一彩色像素可以具有在彩色圖像102中的對應(yīng)于對象的導(dǎo)出高分辨率深度圖像107中的第一導(dǎo)出深度像素的像素位置。三維彩色圖像106的所導(dǎo)出的第一三維彩色像素可以具有三維彩色圖像106中的與導(dǎo)出的高分辨率深度圖像107中的第一導(dǎo)出深度像素對應(yīng)的像素位置和彩色圖像102中的第一彩色像素的像素位置。

例如，圖像處理模塊104可以被配置為，基于接收到的彩色圖像102的多個(gè)彩色像素的彩色像素圖像數(shù)據(jù)和對象的導(dǎo)出高分辨率深度圖像107的多個(gè)導(dǎo)出深度像素的導(dǎo)出深度像素圖像數(shù)據(jù)di來產(chǎn)生用于生成對象的三維彩色圖像106的數(shù)據(jù)。例如，可以基于導(dǎo)出的高分辨率深度圖像107的導(dǎo)出深度像素和彩色圖像的彩色像素來導(dǎo)出三維彩色圖像106的多個(gè)導(dǎo)出的三維彩色像素的導(dǎo)出的三維彩色像素。導(dǎo)出的深度像素可以具有在導(dǎo)出的高分辨率深度圖像107中的與導(dǎo)出的三維彩色像素相同的像素位置，并且彩色像素可以具有在彩色圖像102中的與導(dǎo)出的三維彩色像素相同的像素位置。

例如，由圖像處理模塊104生成的三維彩色圖像106可以具有與高分辨率深度圖像107和彩色圖像102相同的像素分辨率。

圖像處理模塊104可以被配置為，基于通過裝置100的輸入接口101接收的多個(gè)彩色圖像102（例如彩色圖像幀）和多個(gè)低分辨率深度圖像103（例如低分辨率深度圖像幀）來產(chǎn)生用于生成三維彩色圖像106的數(shù)據(jù)。例如，圖像處理模塊104可以被配置為例如在gpu上每秒處理至少5（或至少10到15）個(gè)幀。

裝置100可以是計(jì)算機(jī)微控制器（例如中央處理單元cpu）、處理器，或者可以是例如計(jì)算機(jī)、處理器或微控制器的一部分。例如，裝置100可以是可以包括用于生成深度圖像的3d相機(jī)和用于生成2d彩色圖像的彩色相機(jī)的相機(jī)系統(tǒng)（例如，移動(dòng)設(shè)備，或者例如電信設(shè)備，或者例如計(jì)算機(jī)或者例如膝上型計(jì)算機(jī)）的一部分。

例如，裝置100的每個(gè)模塊（例如，圖像處理模塊）可以是下述各項(xiàng)（或可以是下述各項(xiàng)的一部分或可以包括下述各項(xiàng)）：計(jì)算機(jī)（例如中央處理單元cpu）、處理器、微控制器或電路。

輸入接口101可以是例如計(jì)算機(jī)、處理器或微控制器的輸入端口。輸入接口101可以例如經(jīng)由有線或無線連接耦合到裝置100。

裝置100的輸入接口101可以被配置為，從可以被配置為生成低分辨率深度圖像的三維（3d）感測設(shè)備接收至少該對象的低分辨率深度圖像。例如，輸入接口101可以被配置為從飛行時(shí)間（tof）相機(jī)、用于產(chǎn)生三維圖像的相機(jī)（例如3d相機(jī)模塊）或超聲波傳感器中的至少一個(gè)接收低分辨率深度圖像。另外，裝置100的輸入接口101可以被配置為從二維（2d）感測設(shè)備（例如，來自二維高分辨率相機(jī)模塊）接收至少該對象的高分辨率彩色圖像，該二維（2d）感測設(shè)備可以被配置為生成高分辨率彩色圖像。

例如，用于提供所生成的三維彩色圖像106的裝置100的輸出接口105可以包括（或可以是）視頻端口，該視頻端口可以被配置為將所生成的三維彩色圖像106提供給顯示設(shè)備。

例如，對象可以是要被拍攝的人或事物或風(fēng)景。例如，對象可以是三維的和/或可以具有彩色。

本文所述的示例可以涉及彩色和深度融合。例如，對于許多應(yīng)用，深度圖像可以與高分辨率彩色相機(jī)組合。彩色信息可以用于增加深度質(zhì)量以利用可用于每個(gè)像素的深度信息獲得高分辨率彩色圖像。例如，高分辨率（3d）彩色圖像可以用于計(jì)算攝影、基于深度的圖像濾波應(yīng)用、對象檢測和/或?qū)ο蟾櫋?/p>

本文描述的示例可以涉及基于針對實(shí)時(shí)應(yīng)用的性能要求的插值低分辨率深度數(shù)據(jù)。使用彩色邊緣，所描述的各種示例可以在分辨率和噪聲降低方面改善深度（圖像）質(zhì)量。本文描述的示例可以實(shí)現(xiàn)深度質(zhì)量增強(qiáng)，同時(shí)保持高性能。本文描述的示例可以通過能夠以低計(jì)算復(fù)雜度執(zhí)行高質(zhì)量tof和/或彩色傳感器融合的算法來解決其他方法的性能問題。該算法的設(shè)計(jì)可以被優(yōu)化用于在gpu上執(zhí)行。這涉及例如并行執(zhí)行和捆綁數(shù)據(jù)操作的能力。所提出的傳感器融合提供具有放大分辨率、增加的銳度、較少噪聲、較少運(yùn)動(dòng)偽影的深度圖像，并且同時(shí)實(shí)現(xiàn)高的幀速率。

本文所描述的示例可能涉及能夠增加深度分辨率和噪聲降低的高效深度插值過程。在示例中，深度影響可以在彩色圖像上傳播。例如，在彩色圖像邊緣上的傳播可以顯著減少深度影響。在該示例中，對每個(gè)彩色像素的影響可以用于插值深度。

深度放大方法或方式可以包括全局方法或局部方法。與全局優(yōu)化問題相關(guān)的全局方法可以產(chǎn)生良好的質(zhì)量，但是可能非常慢。局部方法可能具有質(zhì)量缺點(diǎn)，并且可能基于迭代解。形成為優(yōu)化問題的深度插值方法、基于圖形或迭代逼近，其導(dǎo)致慢的性能。例如，它們可能不被優(yōu)化用于高效計(jì)算。這可能在交互式和時(shí)間關(guān)鍵系統(tǒng)中取消應(yīng)用程序的資格?？焖俜椒赡苋狈ι疃葓D像質(zhì)量。例如，聯(lián)合雙邊濾波可能產(chǎn)生較差的圖像質(zhì)量，特別是對于大的放大因子，并且由于其被迭代地應(yīng)用而可能顯著較慢。

在本文所描述的示例中，圖像處理模塊104可以被配置為執(zhí)行插值算法?？梢栽诟叻直媛蕡D像中傳播深度值的插值權(quán)重。彩色圖像邊緣可能限制傳播，因?yàn)椴噬吘壨ǔＪ巧疃葓D像邊緣。這可以使得深度值在均勻表面之間傳播，從而產(chǎn)生例如高分辨率和降低的噪聲。

用于深度放大算法的輸入可以是具有相同分辨率的彩色圖像和稀疏映射的深度圖像。準(zhǔn)備步驟可以是用sobel算子（或邊緣濾波算子）從彩色圖像中提取邊緣信息。該算法可以獲取稀疏深度圖像中的每個(gè)映射的深度值，并且執(zhí)行插值過程。該算法可以針對每個(gè)深度值并行執(zhí)行，并且可以被解釋為深度值對彩色圖像上的局部圓形區(qū)域的影響的傳播。可以解析從映射的深度值位置到每個(gè)受影響的像素的徑向路徑。

在本文所描述的示例中，像素可以在路徑上并且關(guān)于其間的所有邊緣被解析，而與局部性無關(guān)。在本文描述的示例中，可以避免迭代過程。在本文描述的示例中，可以使用快速插值并且可以避免數(shù)學(xué)優(yōu)化。在本文描述的示例中，例如，可以避免沿著深度值之間的路徑和最小生成樹的插值?？梢蕴娲厥褂脕碜悦總€(gè)深度值的徑向路徑并覆蓋現(xiàn)有的深度值。在本文描述的示例中，可以增加或改善分辨率。

圖1b示出了高分辨率深度圖像107（例如，稀疏深度幀）和彩色圖像102的至少一部分的示意圖。例如，深度可以被映射成高分辨率彩色圖像102。

如圖1b所示，可以將對象的低分辨率深度圖像的測量深度像素的測量深度像素圖像數(shù)據(jù)映射成彩色圖像102的圖像空間，以獲得高分辨率彩色圖像107。例如，圖1b示出了基于低分辨率深度圖像的多個(gè)不同測量深度像素的測量深度像素圖像數(shù)據(jù)導(dǎo)出的高分辨率深度圖像107的第一組深度像素112。

圖1c示出了由圖像處理模塊104導(dǎo)出的對象的高分辨率深度圖像107（例如，稀疏深度幀）的至少一部分的示意圖。例如，圖1c示出了影響傳播。例如，圖1c和1d示出了例如針對每個(gè)深度值（例如dn）沿著圓形路徑的像素解析。

如圖1c所示，第一組深度像素112的深度像素可以包括深度像素7,5、深度像素5,2和深度像素2,5，每一個(gè)可以基于例如低分辨率深度圖像103的不同測量深度像素的測量深度像素圖像數(shù)據(jù)來導(dǎo)出。

例如，圖像處理模塊104可以被配置為計(jì)算導(dǎo)出（或可導(dǎo)出）高分辨率深度圖像107的第一導(dǎo)出深度像素（例如深度像素3,6）的第一導(dǎo)出深度像素圖像數(shù)據(jù)（例如d1）。例如，圖像處理模塊104可以被配置為，基于高分辨率深度圖像107的深度像素（例如，深度像素7,5）和與測量深度像素（例如，深度像素7,5）的測量深度像素圖像數(shù)據(jù)相關(guān)聯(lián)的加權(quán)因子w來計(jì)算第一導(dǎo)出深度像素（例如深度像素3,6）的第一導(dǎo)出深度像素圖像數(shù)據(jù)。用于導(dǎo)出高分辨率深度圖像107的第一導(dǎo)出深度像素的高分辨率深度圖像107的深度像素（例如，深度像素7,5）可能已經(jīng)由圖像處理模塊104基于低分辨率深度圖像103的測量深度像素的測量深度像素圖像數(shù)據(jù)來導(dǎo)出。

在圖1c中圖示了深度影響傳播路徑的示例。深度值對輸出的影響取決于在映射的深度值（在7,5處）和要導(dǎo)出的每個(gè)像素（例如，第一導(dǎo)出深度像素3,6）之間的邊緣（幅度）值se之和。

圖1d示出由圖像處理模塊104接收的對象的彩色圖像102（例如，彩色圖像幀）的至少一部分的示意圖。

如圖1d所示，參考彩色像素（例如，彩色像素7,5）在對象的導(dǎo)出的高分辨率深度圖像107中具有對應(yīng)于測量深度像素（例如，深度像素7,5）的彩色圖像102中的像素位置。例如，參考彩色像素（例如，彩色像素7,5）可以具有彩色圖像102中的像素位置，該像素位置可以與對象的導(dǎo)出的高分辨率深度圖像107中的測量深度像素（例如深度像素7,5）的像素位置相同。

圖像處理模塊104可以被配置為，基于在第一彩色像素（彩色像素3,6）和參考彩色像素（7,5）之間路徑的彩色邊緣幅度求和值se來計(jì)算與測量深度像素（例如，深度像素7,5）的測量深度像素圖像數(shù)據(jù)相關(guān)聯(lián)的加權(quán)因子。

虛線可以標(biāo)記在所測量的深度像素（例如深度像素7,5）和要導(dǎo)出的目的像素（例如，第一導(dǎo)出深度像素3,6）之間的行進(jìn)像素路徑。對于路徑上的每個(gè)像素，可以計(jì)算和更新影響。例如，在步驟1和2沒有彩色邊緣交叉。例如，在步驟3和4（在圖1d中）交叉的彩色邊緣減小了深度影響。當(dāng)彩色圖像的邊緣被通過時(shí)，影響可能減小。例如，在彩色像素5,6和彩色像素4,6之間的步驟3可以通過不同彩色的區(qū)域。在該步驟后影響減小。在步驟4期間，可以通過另一彩色邊緣，并且影響再次減小。另外或可選地，從要導(dǎo)出的每個(gè)像素（例如，第一導(dǎo)出深度像素3,6）到深度值（例如，測量深度像素7,5）的空間距離可以沒有影響。例如，彩色邊緣幅度求和值和/或加權(quán)因子可以獨(dú)立于要導(dǎo)出的每個(gè)像素（例如，第一導(dǎo)出深度像素3,6）和測量深度像素7,5之間的空間距離。加權(quán)因子隨著彩色邊緣的幅度的和而減小。例如，較小邊緣不如較強(qiáng)邊緣貢獻(xiàn)那么多。

加權(quán)因子w基于在所接收的彩色圖像102的第一彩色像素（例如，彩色像素3,6）與所接收的彩色圖像102的參考彩色像素（例如，彩色像素7,5）之間的路徑（例如像素路徑）的彩色邊緣幅度求和值se。例如，加權(quán)因子w可以隨著在第一彩色像素（例如，彩色像素3,6）和參考彩色像素（例如，彩色像素7,5）之間的增加的彩色邊緣幅度求和值se而減小。例如，加權(quán)因子w可以隨著第一彩色像素（例如彩色像素3,6）和參考彩色像素（例如彩色像素7,5）之間的增加的彩色邊緣幅度求和值se而指數(shù)地減小。

圖像處理模塊104可以被配置為基于至少一個(gè)測量深度像素（例如，深度像素7,5）來計(jì)算第一導(dǎo)出深度像素（例如深度像素3,6）的第一導(dǎo)出深度像素圖像數(shù)據(jù)?？蛇x地，圖像處理模塊104可以被配置為基于影響要導(dǎo)出的第一導(dǎo)出深度像素（例如深度像素3,6）的第一導(dǎo)出深度像素圖像數(shù)據(jù)的多于一個(gè)測量深度像素（或例如多個(gè)測量深度像素）來計(jì)算第一導(dǎo)出深度像素（例如深度像素3,6）的第一導(dǎo)出深度像素圖像數(shù)據(jù)。

例如，第一導(dǎo)出深度像素（例如，深度像素3,6）可以位于第一測量深度像素（例如，深度像素7,5）的第一像素影響半徑內(nèi)并且在第二測量深度像素（例如深度像素2,5）的第二像素影響半徑內(nèi)。因此，圖像處理模塊104可以被配置為基于與第一測量深度像素（例如深度像素7,5）的第一測量深度像素圖像數(shù)據(jù)的相關(guān)聯(lián)的加權(quán)因子以及與第二測量深度像素（例如深度像素2,5）的第二測量深度像素圖像數(shù)據(jù)相關(guān)聯(lián)的加權(quán)因子來計(jì)算（或?qū)С觯┑谝粚?dǎo)出深度像素（例如深度像素3,6）的第一導(dǎo)出深度像素圖像數(shù)據(jù)。例如，圖像處理模塊104可以被配置為導(dǎo)出與每個(gè)測量深度像素n相關(guān)聯(lián)的每個(gè)加權(quán)因子wn，其中第一導(dǎo)出深度像素（例如，深度像素3,6）位于其像素影響半徑中。

可以基于相應(yīng)的彩色邊緣幅度求和值se來導(dǎo)出每個(gè)加權(quán)因子wn。例如，圖像處理模塊104可以被配置為基于在第一彩色像素（例如彩色像素3,6）和第一參考彩色像素（例如彩色像素7,5）之間的路徑的彩色邊緣幅度求和值se導(dǎo)出與第一測量深度像素（例如，深度像素7,5）的第一測量深度像素圖像數(shù)據(jù)相關(guān)聯(lián)的加權(quán)因子。第一參考彩色像素（例如，彩色像素7,5）具有在彩色圖像102中的對應(yīng)于對象的導(dǎo)出的高分辨率深度圖像107中的（第一）測量深度像素（例如，深度像素7,5）的像素位置。另外，圖像處理模塊104可以被配置為基于在第一彩色像素（例如彩色像素3,6）和第二參考彩色像素（例如彩色像素2,5）之間的路徑的彩色邊緣幅度求和值se導(dǎo)出與第二測量深度像素（例如，深度像素2,5）的第二測量深度像素圖像數(shù)據(jù)相關(guān)聯(lián)的加權(quán)因子。第二參考彩色像素（例如彩色像素2,5）具有在彩色圖像102中的對應(yīng)于對象的導(dǎo)出高分辨率深度圖像107中的（第二）測量深度像素（例如深度像素2,5）的像素位置。

圖像處理模塊104可以被配置為基于沿著在第一彩色像素（例如彩色像素3,6）和參考彩色像素（例如彩色像素7,5）之間的像素路徑的彩色邊緣幅度值的和（例如相加，或例如求和）來確定彩色邊緣幅度求和值se。

圖2a示出了由圖像處理模塊104導(dǎo)出的對象的邊緣引導(dǎo)圖像211的至少一部分的示意圖。

圖像處理模塊104可以被配置為通過彩色圖像102的邊緣濾波操作（例如sobel操作）確定與彩色圖像102的多個(gè)彩色像素對應(yīng)的多個(gè)彩色邊緣幅度值。

可以基于來自（僅）像素的直接相鄰像素的彩色信息來導(dǎo)出多個(gè)彩色像素的（或每個(gè)）彩色像素的（或每個(gè)）彩色邊緣幅度值。邊緣濾波操作可以基于直接圍繞彩色像素的像素的彩色信息（或例如彩色值）來確定每個(gè)彩色像素的彩色邊緣幅度值。例如，邊緣濾波操作可以基于直接圍繞第一參考彩色像素（例如像素7,4、像素7,6、像素6,5和像素8,5）的像素的彩色信息（或例如彩色值）來確定第一參考彩色像素的彩色邊緣幅度值（0.25），如圖2b所示。

邊緣引導(dǎo)圖像可以是邊緣圖像的現(xiàn)實(shí)樣本。它可以通過使用sobel或類似的邊緣濾波器來導(dǎo)出。例如，邊緣引導(dǎo)圖像可以用從黑色（例如，其表示無邊緣）到白色（其表示強(qiáng)邊緣）的灰度級(jí)編碼。

圖2b示出了圖示沿著在第一彩色像素（例如，彩色像素3,6）和參考彩色像素（例如，彩色像素7,5）之間的像素路徑的多個(gè)彩色邊緣幅度求和值se的確定的表。

如圖2b所示，可以基于在參考彩色像素和要導(dǎo)出的導(dǎo)出深度像素之間的彩色邊緣幅度值的和（例如相加，或例如求和）來計(jì)算與要導(dǎo)出的導(dǎo)出深度像素對應(yīng)的每個(gè)彩色邊緣幅度求和值se。

可以基于在參考彩色像素（例如彩色像素7,5）和第一彩色像素（例如，彩色像素3,6）之間的彩色邊緣幅度值的和來計(jì)算與要導(dǎo)出的第一導(dǎo)出深度像素（例如，深度像素3,6）相對應(yīng)的彩色邊緣幅度求和值se。要導(dǎo)出的第一導(dǎo)出深度像素（例如深度像素3,6）位于所測量的深度像素（例如深度像素7,5）的像素影響區(qū)域內(nèi)。在該示例中，在步驟4，se=2.0。新處理的像素（例如對應(yīng)于深度像素3,6的彩色邊緣幅度求和值se）可以取決于其沿著像素路徑的前身（4,6）。

根據(jù)解析順序，可以計(jì)算與要導(dǎo)出的另一導(dǎo)出深度像素（例如深度像素5,6）相對應(yīng)的另一彩色邊緣幅度求和值se。要導(dǎo)出的另一導(dǎo)出的深度像素（例如深度像素5,6）也位于測量深度像素（例如深度像素7,5）的像素影響區(qū)域內(nèi)。例如，可以基于在參考彩色像素（例如，彩色像素7,5）和另一彩色像素（例如彩色像素5,6）之間的彩色邊緣幅度值的和來計(jì)算對應(yīng)于另一導(dǎo)出深度像素（例如深度像素5,6）的另一彩色邊緣幅度求和值se。在示例中，在步驟2，se=0.75。所處理的像素（例如，對應(yīng)于深度像素5,6的彩色邊緣幅度求和值se）可以取決于其沿像素路徑的前身（6,5）。由于解析順序，例如，可以在第一導(dǎo)出深度像素（例如，深度像素3,6）之前計(jì)算要導(dǎo)出的另一導(dǎo)出深度像素（例如，深度像素5,6）。

看起來se增長直到步驟2，盡管沒有穿過任何彩色邊緣。這可能是由于邊緣檢測的性質(zhì)而導(dǎo)致的，所述邊緣檢測檢測除了邊緣之外的像素，而不是（或獨(dú)立于）精確的像素邊界。這不影響結(jié)果，因?yàn)槔鐚τ诿總€(gè)深度值，效果大致相同。

結(jié)合上文或下文描述的實(shí)施例提及更多細(xì)節(jié)和方面。圖2a至2b中示出的實(shí)施例可以每一個(gè)包括對應(yīng)于結(jié)合所提出的概念或上文（例如圖1a至1d）或下文（圖3a至圖5）描述的一個(gè)或多個(gè)實(shí)施例提及的一個(gè)或多個(gè)方面的一個(gè)或多個(gè)可選附加特征。

圖3a至3d示出了每個(gè)映射的深度值331的像素解析層級(jí)的示意圖。例如，圖3a至3d圖示了由徑向解析原理引起的相關(guān)性層級(jí)。

如圖3a所示，圍繞所測量的深度像素的像素影響區(qū)域可以由像素半徑r來限定。受測量深度像素影響的像素影響區(qū)域可以被稱為核。例如，圖3a示出3的像素半徑（或內(nèi)核大?。＠?，3的內(nèi)核大小處理與測量深度像素相距3個(gè)像素的歐幾里得距離內(nèi)的所有像素。圖像處理模塊104可以例如被配置為基于接收的彩色圖像102的分辨率比和/或接收的低分辨率深度圖像107的分辨率比來控制（或選擇或計(jì)算）像素影響區(qū)域和/或像素半徑。例如，可以基于以下關(guān)系計(jì)算像素影響半徑r（假設(shè)高度和寬度之間的比率總是相同的）：

rcx可以表示像素中的彩色圖像的寬度。

rcy可以表示像素中的彩色圖像的高度。

rdx可以表示像素中的深度圖像的寬度。

rdy可以表示像素中的深度圖像的高度。

qf可以表示質(zhì)量因子。qf可以是例如在1和4之間的值。

如圖3b至圖3d所示，圖像處理模塊104可以被配置為計(jì)算與要根據(jù)沿著圍繞測量深度像素331的一個(gè)或多個(gè)圓形路徑的解析順序?qū)С龅亩鄠€(gè)導(dǎo)出深度像素相對應(yīng)的多個(gè)彩色邊緣幅度求和值se。例如，圖3b至3d示出了與要根據(jù)圍繞測量深度像素331的擴(kuò)展圓形路徑導(dǎo)出的多個(gè)導(dǎo)出深度像素相對應(yīng)的多個(gè)彩色邊緣幅度求和值se的處理像素。

結(jié)合上文或下文描述的實(shí)施例提及更多細(xì)節(jié)和方面。圖3a至3d中示出的實(shí)施例可以每一個(gè)包括對應(yīng)于結(jié)合所提出的概念或上文（例如圖1a至2b）或下文（圖4至圖5）描述的一個(gè)或多個(gè)實(shí)施例所提及的一個(gè)或多個(gè)方面的一個(gè)或多個(gè)可選的附加特征。

圖4示出了用于產(chǎn)生至少對象的三維彩色圖像的方法400的示意圖。

方法400包括基于在彩色圖像的第一彩色像素和彩色圖像的參考彩色像素之間的路徑的彩色邊緣幅度求和值來導(dǎo)出410與低分辨率深度圖像的測量深度像素的測量深度像素圖像數(shù)據(jù)相關(guān)聯(lián)的加權(quán)因子。

方法400還包括基于測量深度像素圖像數(shù)據(jù)和與測量深度像素圖像數(shù)據(jù)相關(guān)聯(lián)的加權(quán)因子導(dǎo)出420高分辨率深度圖像的第一深度像素的第一深度像素圖像數(shù)據(jù)。

方法400還包括基于彩色圖像的第一彩色像素的第一彩色像素圖像數(shù)據(jù)和第一導(dǎo)出深度像素圖像數(shù)據(jù)來提供430至少該對象的三維彩色圖像。

由于基于在第一彩色像素和參考彩色像素之間的路徑的彩色邊緣幅度求和值導(dǎo)出加權(quán)因子，在所提供的三維彩色圖像的分辨率和/或噪聲減少方面的深度質(zhì)量可以被改善。另外，例如，可以在保持高性能的同時(shí)實(shí)現(xiàn)所提供的三維彩色圖像的深度質(zhì)量增強(qiáng)。

加權(quán)因子w基于接收的彩色圖像102的第一彩色像素與接收的彩色圖像102的參考彩色像素之間的路徑（例如像素路徑）的彩色邊緣幅度求和值se。例如，加權(quán)因子w可以隨著在第一彩色像素和參考彩色像素之間的增加的彩色邊緣幅度求和值se而減小。例如，加權(quán)因子w可以隨著在第一彩色像素和參考彩色像素之間的增加的彩色邊緣幅度求和值se而指數(shù)地減小。

方法400還可以包括基于多個(gè)彩色邊緣幅度值的至少一個(gè)彩色邊緣幅度值來確定彩色邊緣幅度求和值se。確定彩色邊緣幅度求和值se可以包括沿著在第一彩色像素和參考彩色像素之間的像素路徑求和（例如，相加）彩色邊緣幅度值。第一彩色像素可以具有在彩色圖像中的對應(yīng)于對象的導(dǎo)出高分辨率深度圖像中的第一導(dǎo)出深度像素的像素位置。

方法400還可以包括通過應(yīng)用彩色圖像的邊緣濾波操作來確定多個(gè)彩色邊緣幅度值。邊緣濾波操作可以是sobel操作、canny操作、高斯拉普拉斯操作或prewitt操作。

例如，三維彩色圖像可以具有與高分辨率深度圖像和彩色圖像相同的分辨率。例如，三維彩色圖像的導(dǎo)出的第一三維彩色像素可以具有在三維彩色圖像中的對應(yīng)于導(dǎo)出高分辨率深度圖像中的第一導(dǎo)出深度像素的像素位置和彩色圖像中的第一彩色像素的像素位置。

結(jié)合上文或下文描述的實(shí)施例提及更多細(xì)節(jié)和方面。圖4所示的實(shí)施例可以包括對應(yīng)于結(jié)合上文（圖1a至3d）或下文（圖5）描述的一個(gè)或多個(gè)實(shí)施例或所提出的概念提及的一個(gè)或多個(gè)方面的一個(gè)或多個(gè)可選附加特征。

圖5示出了相機(jī)系統(tǒng)500的示意圖。

相機(jī)系統(tǒng)500包括用于生成至少對象523的彩色圖像的二維高分辨率相機(jī)模塊521。相機(jī)系統(tǒng)500還包括三維相機(jī)模塊522，用于生成至少對象523的深度圖像。相機(jī)系統(tǒng)500還包括用于生成至少對象523的三維彩色圖像的裝置100。

由于相機(jī)系統(tǒng)500包括裝置100，相機(jī)系統(tǒng)500可以生成高分辨率三維彩色圖像。由于用于生成三維彩色圖像的加權(quán)因子基于在第一彩色像素和參考彩色像素之間的路徑的彩色邊緣幅度求和值，可以改善在所生成的三維彩色圖像的分辨率和/或噪聲減少方面的深度質(zhì)量。另外，例如，可以在保持高性能的同時(shí)實(shí)現(xiàn)所生成的三維彩色圖像的深度質(zhì)量增強(qiáng)。

裝置100可以包括結(jié)合圖1至4描述的裝置100的一個(gè)或多個(gè)或全部特征。例如，裝置100包括用于接收至少對象的彩色圖像和至少該對象的低分辨率深度圖像的輸入接口101。

裝置100還包括圖像處理模塊104，圖像處理模塊104被配置為基于彩色圖像的第一彩色像素的第一彩色像素圖像數(shù)據(jù)和至少該對象的導(dǎo)出高分辨率深度圖像的第一導(dǎo)出深度像素的第一導(dǎo)出深度像素圖像數(shù)據(jù)來產(chǎn)生用于生成至少該對象的三維彩色圖像的數(shù)據(jù)。

圖像處理模塊104被配置為基于低分辨率深度圖像的測量深度像素的測量深度像素圖像數(shù)據(jù)和與測量深度像素圖像數(shù)據(jù)相關(guān)聯(lián)的加權(quán)因子來計(jì)算第一導(dǎo)出深度像素圖像數(shù)據(jù)。加權(quán)因子基于第一彩色像素和參考彩色像素之間的路徑的彩色邊緣幅度求和值。參考彩色像素具有在彩色圖像中的與對象的導(dǎo)出高分辨率深度圖像中的測量深度像素相對應(yīng)的像素位置。

裝置100還包括用于提供所生成的三維彩色圖像106的輸出接口105。

三維相機(jī)模塊522可以是（或可以包括）飛行時(shí)間（tof）相機(jī)、用于產(chǎn)生三維圖像的相機(jī)（例如3d相機(jī)）或超聲波傳感器。低分辨率深度（3d）圖像的每個(gè)深度像素可以包括與對象相關(guān)的距離（例如深度，例如三維3d）信息。例如，深度信息可以與對象的表面到例如參考平面或參考點(diǎn)的距離相關(guān)。

例如，二維高分辨率相機(jī)模塊521可以是配置為生成高分辨率彩色圖像的二維（2d）感測設(shè)備。（至少）對象的彩色圖像可以是高分辨率二維彩色圖像（例如，沒有深度信息）。例如，彩色圖像的每個(gè)彩色像素可以包括與對象相關(guān)的二維彩色信息（例如，rgb彩色空間信息，或者替代地其他彩色空間信息）。

例如，相機(jī)系統(tǒng)500可以是以下各項(xiàng)（或可以是以下各項(xiàng)的一部分，或可以包括以下各項(xiàng)）：計(jì)算機(jī)（例如中央處理單元cpu）、處理器、微控制器或電路。例如，相機(jī)系統(tǒng)500可以是或可以包括移動(dòng)設(shè)備、電信設(shè)備、計(jì)算機(jī)或膝上型計(jì)算機(jī)。

例如，相機(jī)系統(tǒng)的每個(gè)相機(jī)模塊（例如，二維高分辨率相機(jī)模塊521和三維相機(jī)模塊522）可以包括計(jì)算機(jī)（例如中央處理單元cpu）、處理器、微控制器或用于生成至少與對象相關(guān)的圖像的電路。

本文描述的各種實(shí)施例涉及例如利用彩色信息增加深度圖像質(zhì)量（例如飛行時(shí)間深度圖像質(zhì)量）的高效方式。

結(jié)合一個(gè)或多個(gè)特定示例提及的各方面和特征（例如，裝置、三維彩色圖像、輸入接口、彩色圖像、對象、低分辨率深度圖像、圖像處理模塊、第一彩色像素圖像數(shù)據(jù)、第一彩色像素、第一導(dǎo)出深度像素圖像數(shù)據(jù)、第一導(dǎo)出深度像素、導(dǎo)出高分辨率深度圖像、加權(quán)因子、測量深度像素圖像數(shù)據(jù)、測量深度像素、彩色邊緣幅度求和值、彩色邊緣幅度值、邊緣幅度值存儲(chǔ)器、解析順序、加權(quán)深度值、加權(quán)因子存儲(chǔ)器、加權(quán)深度值存儲(chǔ)器、導(dǎo)出深度像素圖像數(shù)據(jù)存儲(chǔ)器、插值算法、更新公式、像素路徑、輸出接口）可以與一個(gè)或多個(gè)其他示例組合。

示例實(shí)施例還可以提供一種具有用于在計(jì)算機(jī)或處理器上執(zhí)行計(jì)算機(jī)程序時(shí)執(zhí)行上述方法之一的程序代碼的計(jì)算機(jī)程序。本領(lǐng)域技術(shù)人員將容易地認(rèn)識(shí)到，各種上述方法的動(dòng)作可以由編程的計(jì)算機(jī)執(zhí)行。本文中，一些示例實(shí)施例還旨在涵蓋機(jī)器或計(jì)算機(jī)可讀并且編碼機(jī)器可執(zhí)行或計(jì)算機(jī)可執(zhí)行指令程序的程序存儲(chǔ)設(shè)備，例如數(shù)字?jǐn)?shù)據(jù)存儲(chǔ)介質(zhì)，其中指令執(zhí)行上述方法的一些或全部動(dòng)作。程序存儲(chǔ)設(shè)備可以是例如數(shù)字存儲(chǔ)器、磁存儲(chǔ)介質(zhì)諸如磁盤和磁帶、硬盤驅(qū)動(dòng)器、或光可讀數(shù)字?jǐn)?shù)據(jù)存儲(chǔ)介質(zhì)。另外的示例實(shí)施例還旨在涵蓋被編程為執(zhí)行上述方法或（現(xiàn)場）可編程邏輯陣列（（f）pla）或（現(xiàn)場）可編程門陣列（（f）pga）的動(dòng)作的計(jì)算機(jī)、編程為執(zhí)行上述方法的動(dòng)作的計(jì)算機(jī)。

描述和附圖僅圖示了本公開的原理。因此，將領(lǐng)會(huì)的是，本領(lǐng)域技術(shù)人員將能夠設(shè)計(jì)出各種布置，盡管本文沒有明確描述或示出該各種布置，但是該各種布置體現(xiàn)本公開的原理并且被包括在本公開的精神和范圍內(nèi)。此外，本文敘述的所有示例主要明確旨在僅僅出于教學(xué)目的，以幫助讀者理解本公開的原理和（多個(gè)）發(fā)明人為促進(jìn)本領(lǐng)域而貢獻(xiàn)的概念，并且被解釋為不具有限于這種具體敘述的示例和條件。此外，本文中敘述本公開的原理、方面和實(shí)施例以及其具體示例的所有陳述旨在涵蓋其等同物。

表示為“用于...的裝置”（執(zhí)行特定功能）的功能塊應(yīng)當(dāng)被理解為包括配置為分別執(zhí)行特定功能的電路的功能塊。因此，“用于某事物的裝置”也可以被理解為“被配置為或適合于某事物的裝置”。因此，配置為執(zhí)行特定功能的裝置不意味著這種裝置必然正在執(zhí)行該功能（在給定時(shí)刻）。

圖中所示的各種元件（包括標(biāo)記為“裝置”、“用于提供傳感器信號(hào)的裝置”、“用于生成發(fā)射信號(hào)的裝置”等的任何功能塊）的功能可以通過使用諸如“信號(hào)提供器”、“信號(hào)處理單元”、“處理器”、“控制器”等專用硬件以及能夠與適當(dāng)?shù)能浖嚓P(guān)聯(lián)地執(zhí)行軟件的硬件來提供。此外，本文中描述為“裝置”的任何實(shí)體可以對應(yīng)于或被實(shí)現(xiàn)為“一個(gè)或多個(gè)模塊”、“一個(gè)或多個(gè)設(shè)備”、“一個(gè)或多個(gè)單元”等。當(dāng)由處理器提供時(shí)，由單個(gè)專用處理器、由單個(gè)共享處理器或由多個(gè)單獨(dú)處理器提供功能，其中一些可以被共享。此外，術(shù)語“處理器”或“控制器”的明確使用不應(yīng)被解釋為排他地指能夠執(zhí)行軟件的硬件，并且可以暗示地包括但不限于數(shù)字信號(hào)處理器（dsp）硬件、網(wǎng)絡(luò)處理器、專用集成電路（asic）、現(xiàn)場可編程門陣列（fpga）、用于存儲(chǔ)軟件的只讀存儲(chǔ)器（rom）、隨機(jī)存取存儲(chǔ)器（ram）和非易失性存儲(chǔ)器。還可以包括常規(guī)和/或定制的其他硬件。

本領(lǐng)域技術(shù)人員應(yīng)當(dāng)領(lǐng)會(huì)到，本文中的任何框圖表示體現(xiàn)本公開的原理的說明性電路的概念視圖。類似地，將領(lǐng)會(huì)的是，任何流程圖、流程圖表、狀態(tài)轉(zhuǎn)換圖、偽代碼等表示可以基本上在計(jì)算機(jī)可讀介質(zhì)中表示并由此由計(jì)算機(jī)或處理器執(zhí)行的各種過程，無論這種計(jì)算機(jī)或處理器是否被明確示出。

此外，所附權(quán)利要求被并入具體實(shí)施方式中，其中每個(gè)權(quán)利要求可以獨(dú)立作為單獨(dú)的實(shí)施例。盡管每個(gè)權(quán)利要求可以獨(dú)立地作為單獨(dú)的實(shí)施例，但是應(yīng)當(dāng)注意（盡管從屬權(quán)利要求可以在權(quán)利要求中指代與一個(gè)或多個(gè)其他權(quán)利要求的特定組合）其他實(shí)施例還可以包括從屬權(quán)利要求與每個(gè)其他從屬或獨(dú)立權(quán)利要求的主題的組合。在本文中提出了這種組合，除非聲明不期望特定的組合。此外，旨在還包括任何其他獨(dú)立權(quán)利要求的權(quán)利要求的特征，即使該權(quán)利要求不直接從屬于獨(dú)立權(quán)利要求。

還應(yīng)注意，在說明書或權(quán)利要求中公開的方法可以由具有用于執(zhí)行這些方法的每個(gè)相應(yīng)動(dòng)作的裝置的設(shè)備來實(shí)現(xiàn)。

此外，應(yīng)當(dāng)理解，在說明書或權(quán)利要求中公開的多個(gè)動(dòng)作或功能的公開可以不被解釋為在特定順序內(nèi)。因此，多個(gè)動(dòng)作或功能的公開將不限制這些為特定順序，除非這種動(dòng)作或功能由于技術(shù)原因而不可互換。此外，在一些實(shí)施例中，單個(gè)動(dòng)作可以包括或可以分成多個(gè)子動(dòng)作。這種子動(dòng)作可以被包括并且是該單個(gè)動(dòng)作的公開的一部分，除非被明確排除。