一個區(qū)域107的分辨率的應用帶來優(yōu)點。
[0064]在一個進一步的實施例中，TOF相機系統(tǒng)的至少兩個相機可以用兩個不同的積分肢通驅(qū)動。實際上，非常短的積分時間產(chǎn)生了高移動穩(wěn)健性，但是也產(chǎn)生了深度上的高標準偏差，在本文件中被稱為深度噪聲。因此，區(qū)域107可以被優(yōu)化用于短積分時間，而另一區(qū)域107可以被優(yōu)化用于噪聲性能。當熔合圖像，特別是它們相關(guān)聯(lián)的信息時，這兩個配置的優(yōu)點都可被獲得并使用。有利地，由于TOF相機由短積分時間驅(qū)動，該實施例使得每個被熔合的像素能獲取有關(guān)快速移動對象的可靠信息，而從由較長積分時間驅(qū)動的其他相機繼承低噪聲信息。在派生的實施例中，其他相機可以包括用較長積分時間驅(qū)動的至少另一個TOF相機。在另一個實施例中，其他相機可至少包括用較長積分時間驅(qū)動的另一個TOF相機、以及至少一個彩色相機。
[0065]為了進行對不同信息的可靠熔合，在電路系統(tǒng)中，或者在伴隨芯片中，或者在單獨的處理單元上，過程將被實現(xiàn)從而將各自與坐標系相關(guān)聯(lián)的不同的信息集轉(zhuǎn)換成一個具有單一共同預定坐標系的單一數(shù)據(jù)集。優(yōu)選地，該共同預定坐標系將會是其中一個相機的x-y平面(例如，由水平軸和垂直軸定義的平面)，例如，高度解析相機的χ-y平面。來自另一相機的數(shù)據(jù)(例如彩色圖像、深度圖測量或者TOF置信度圖的灰階圖像)被使用配準來投影到與共同的預定坐標系相關(guān)聯(lián)的圖像中。特別地，這里，圖像配準涉及在空間上將目標圖像(例如，獲取自TOF測量的低分辨率高準確性深度圖)配準以與參考圖像(例如，獲取自立體視覺并且包括彩色信息的高分辨率低準確性深度圖)對準。數(shù)種圖像配準方法可以被使用，諸如基于強度的或基于特征的方法?；趶姸鹊姆椒梢越?jīng)由相關(guān)(correlat1n)度量來尤其比較圖像中的強度圖案，而基于特征的方法大多嘗試尋找圖像特征(諸如點、線、輪廓以及深度)之間的匹配或?qū)??；趶姸鹊姆椒ǖ哪繕嗽谟谂錅收麄€圖像或子圖像。若子圖像被配準，對應子圖像的中心被視為對應特征點。基于特征的方法建立了圖像中預定數(shù)目的特異點之間的對應。知曉了圖像中數(shù)個點之間的對應關(guān)系之后，確定變換以將目標圖像映射到參考圖像，藉此建立參考和目標圖像之間的點對點的對應關(guān)系。該后面的配準過程可以進一步包括內(nèi)插技術(shù)，因為圖像可以是不同分辨率的。
[0066]在本發(fā)明的一個優(yōu)選的實施例中，當使用多個TOF相機時或者至少當TOF相機系統(tǒng)包括至少一個提供深度信息的相機時，使用圖像配準，該深度信息可以被用于促進圖像的熔合。一階獨立于視點角度和/或光條件地，深度是場景的唯一性特性。因此，對于執(zhí)行任何對準、任何圖案識別或者熔合圖像時所需的任何其他手段而言，這是非常穩(wěn)定的度量。
[0067]在一個優(yōu)選的實施例中，其中至少一個相機能夠被更為徹底地校準，從而允許其他相機繼承該校準。在渡越時間成像中，要求有徹底的拉進步驟，諸如絕對距離校準、溫度、變形、多徑解析等等。由于能夠被應用以計算該校準的更少像素與更高數(shù)學，僅校準一個相機節(jié)省了時間，其他相機能夠隨后得益于并繼承經(jīng)校準的視點以糾正距離誤差和/或非線性。該校準可以在生產(chǎn)時間執(zhí)行，但是也可以在運行時間執(zhí)行，例如通過在以上所提到的包括四個TOF相機的TOF相機系統(tǒng)之一中，將這四個視點/相機中的至少一個的維度確定為穩(wěn)定得多的成像器，從而其可以被用作用于校準的參考。
[0068]根據(jù)本發(fā)明的進一步的實施例，TOF相機系統(tǒng)可以進一步包括用于在可見范圍內(nèi)和/或紅外中過濾光的裝置。如圖6中所示，色彩過濾器可以實現(xiàn)在相機的之上。在該附圖中，R、G、B和IR區(qū)分別表示紅、綠、藍以及紅外通過過濾器。這允許將RGB和深度數(shù)據(jù)組合在一個圖像中，從而允許組合了所有這些屬性的熔合或改進的圖像。然而，包括至少一個TOF相機以及用不同參數(shù)所驅(qū)動的至少另一個相機的TOF相機系統(tǒng)的特征可在于，至少一個相機是RGBZ相機。RGBZ相機是包括數(shù)個像素的相機，其特征在于，所述像素的感測區(qū)域收集紅、綠、藍之中的至少一個顏色(優(yōu)選地，是三個RGB顏色)，并且附加地捕捉紅外照明，從紅外照明可以處理關(guān)于例如TOF原理的深度(Z)信息。
[0069]在另一個進一步的實施例中，TOF相機系統(tǒng)的至少一個相機的像素可以進一步包括暈子點薄膜。量子點是半導體材料的納米粒子，直徑范圍從2nm到10nm。由于其小的尺寸，量子點演示了唯一性光學及電氣性質(zhì)；即，它們的性質(zhì)在特性上與對應的塊體材料是不同的。主要的明顯的性質(zhì)為在激勵下的光子發(fā)射(熒光)，其作為光可對于人眼可見，或者若在紅外域中發(fā)射則不可見。所發(fā)射的光子的波長并不僅取決于制成該量子點的材料，而且也取決于該量子點的大小。精確地控制量子點的大小的能力使得制造商能夠確定發(fā)射的波長，即確定光輸出的波長。量子點能夠因此在生產(chǎn)期間被“調(diào)諧”以發(fā)射任何所期望的波長。通過改變其核心大小來控制或“調(diào)諧”從量子點進行的發(fā)射的能力被稱為“尺寸量子化效應”。點越小，其越接近于光譜中的藍端，并且點越大，其越接近于紅端。通過使用某些特定材料，量子點甚至能夠被調(diào)諧成超過可見光，進入紅外或者進入紫外范圍。
[0070]作為色彩過濾器，量子點薄膜可以被設計用于重新發(fā)射在傳感器更為敏感的范圍中的波長。優(yōu)選地，量子點薄膜的發(fā)射波長可以接近于傳感器的最大靈敏性，以使得能夠進行較低噪聲的測量。
【主權(quán)項】
1.一種TOF相機系統(tǒng)(3)，包括數(shù)個相機(1，107)，至少一個所述相機是TOF相機，其中所述相機被組裝在共同的基板(100)上并且同時對相同場景(15)成像，并且其中至少兩個相機由不同驅(qū)動參數(shù)驅(qū)動。2.如權(quán)利要求1所述的TOF相機系統(tǒng)(3)，其特征在于，所述驅(qū)動參數(shù)包括用于實現(xiàn)解混疊算法的至少兩個不同頻率。3.如權(quán)利要求1或2所述的TOF相機系統(tǒng)(3)，其特征在于，進一步包括鏡頭(101-104)的陣列，所述陣列中的每個鏡頭與每個所述相機相關(guān)聯(lián)。4.如權(quán)利要求1至3中任一者所述的TOF相機系統(tǒng)(3)，其特征在于，所述驅(qū)動參數(shù)包括用于實現(xiàn)立體景深技術(shù)的參數(shù)。5.如權(quán)利要求1至4中任一者所述的TOF相機系統(tǒng)(3)，其特征在于，所述驅(qū)動參數(shù)包括用于實現(xiàn)背景光穩(wěn)健性機制的參數(shù)。6.如權(quán)利要求1至5中任一項所述的TOF相機系統(tǒng)(3)，其特征在于，至少有兩個相機在不同積分時間期間對所述相同場景成像。7.如權(quán)利要求1至6中任一項所述的TOF相機系統(tǒng)(3)，其特征在于，進一步包括用于將所述相機提供的圖像配準在一起的圖像配準裝置。8.如權(quán)利要求1到7中的任一項所述的TOF相機系統(tǒng)(3)，其特征在于，進一步包括用于在運行時間校準至少一個相機的裝置。9.如權(quán)利要求8所述的TOF相機系統(tǒng)(3)，其特征在于，經(jīng)校準的相機中的至少一者被用作用于校準所述其他相機的參考。10.如權(quán)利要求1至9中的任一項所述的TOF相機系統(tǒng)(3)，其特征在于，對所述場景成像的所述相機提供色彩、照明或深度信息中的至少一者。11.如權(quán)利要求1至10中的任一者所述的TOF相機系統(tǒng)(3)，其特征在于，進一步包括用于將所述相機所提供的信息以改進的圖像的形式熔合或組合在一起的裝置，所述改進的圖像的特征在于其包括較高分辨率或者較高深度測量準確性中的至少一者的事實。12.如權(quán)利要求1至11中任一者所述的TOF相機系統(tǒng)(3)，其特征在于，進一步包括用于過濾可見范圍中和/或紅外線范圍中的光的裝置。13.如權(quán)利要求1所述的TOF相機系統(tǒng)(3)，其特征在于，所述基板是基于硅的。14.如權(quán)利要求1至13中的任一項所述的TOF相機系統(tǒng)(3)，其特征在于，包括至少三個相機(1，107)，至少兩個所述相機是TOF相機，所述至少兩個TOF相機由不同驅(qū)動參數(shù)驅(qū)動而同時對相同場景(15)成像。
【專利摘要】本發(fā)明涉及包括數(shù)個相機的TOF相機系統(tǒng)，這些相機中的至少一個相機是TOF相機，其中這些相機被組裝在共同的基板上并且同時對相同場景成像，并且其中至少兩個相機由不同驅(qū)動參數(shù)驅(qū)動。
【IPC分類】H04N13/02
【公開號】CN105432080
【申請?zhí)枴緾N201480040819
【發(fā)明人】紐溫霍夫 D·范, J·托洛
【申請人】軟動力學傳感器公司
【公開日】2016年3月23日
【申請日】2014年12月24日
【公告號】EP2890125A1, WO2015097284A1