運(yùn)動(dòng)傳感器陣列裝置和深度感測(cè)系統(tǒng)及使用其的方法
【專(zhuān)利摘要】本發(fā)明公開(kāi)了運(yùn)動(dòng)傳感器陣列裝置和深度感測(cè)系統(tǒng)及使用其的方法。在本發(fā)明構(gòu)思的一個(gè)例子中，運(yùn)動(dòng)傳感器陣列裝置包括晶片和在該晶片上實(shí)現(xiàn)的至少兩個(gè)運(yùn)動(dòng)傳感器，所述至少兩個(gè)運(yùn)動(dòng)傳感器中的每一個(gè)包括多個(gè)運(yùn)動(dòng)傳感器像素，以感測(cè)對(duì)象的運(yùn)動(dòng)并產(chǎn)生運(yùn)動(dòng)圖像數(shù)據(jù)。運(yùn)動(dòng)傳感器陣列裝置還包括分別設(shè)置在所述至少兩個(gè)運(yùn)動(dòng)傳感器上的至少兩個(gè)透鏡，其中，運(yùn)動(dòng)傳感器陣列在芯片和封裝之一中實(shí)現(xiàn)。
【專(zhuān)利說(shuō)明】運(yùn)動(dòng)傳感器陣列裝置和深度感測(cè)系統(tǒng)及使用其的方法
[0001]本申請(qǐng)要求于2012年11月2日提交的韓國(guó)專(zhuān)利申請(qǐng)第10_2012_0123524號(hào)的優(yōu)先權(quán)，該韓國(guó)專(zhuān)利申請(qǐng)的公開(kāi)內(nèi)容全部通過(guò)引用被包含于此。
【技術(shù)領(lǐng)域】
[0002]本發(fā)明構(gòu)思的實(shí)施例涉及用于從至少兩個(gè)運(yùn)動(dòng)傳感器獲得深度信息的運(yùn)動(dòng)傳感器和/或使用該運(yùn)動(dòng)傳感器的系統(tǒng)。
【背景技術(shù)】
[0003]使諸如智能電話和數(shù)字照相機(jī)的便攜式裝置中的功耗最小化對(duì)于這些便攜式裝置的制造者而言是一個(gè)始終存在的挑戰(zhàn)。同時(shí)，嵌入在用于捕獲圖像的深度信息的這種裝置的圖像捕獲元件內(nèi)的深度傳感器通常需要光源。這種光源具有高的功耗。

【發(fā)明內(nèi)容】

[0004]一些示例實(shí)施例提供用于以較低的功耗捕獲包括圖像的深度信息的這種圖像的設(shè)備、系統(tǒng)和/或方法。
[0005]在本發(fā)明構(gòu)思的一個(gè)例子中，運(yùn)動(dòng)傳感器陣列裝置包括晶片和在該晶片上實(shí)現(xiàn)的至少兩個(gè)運(yùn)動(dòng)傳感器，所述至少兩個(gè)運(yùn)動(dòng)傳感器中的每一個(gè)包括多個(gè)運(yùn)動(dòng)傳感器像素，以感測(cè)對(duì)象的運(yùn)動(dòng)并產(chǎn)生運(yùn)動(dòng)圖像數(shù)據(jù)。運(yùn)動(dòng)傳感器陣列裝置還包括分別設(shè)置在所述至少兩個(gè)運(yùn)動(dòng)傳感器上的至少兩個(gè)透鏡，其中，運(yùn)動(dòng)傳感器陣列以芯片和封裝中的一種來(lái)實(shí)現(xiàn)。
[0006]在另一個(gè)示例實(shí)施例中，運(yùn)動(dòng)傳感器陣列裝置還包括深度傳感器，該深度傳感器被配置為從分別由所述至少兩個(gè)運(yùn)動(dòng)傳感器生成的運(yùn)動(dòng)圖像數(shù)據(jù)中提取關(guān)于對(duì)象的深度信息。
[0007]在另一個(gè)示例實(shí)施例中，運(yùn)動(dòng)傳感器陣列裝置還包括三維圖像生成器，該三維圖像生成器被配置為通過(guò)組合深度信息和運(yùn)動(dòng)圖像數(shù)據(jù)來(lái)生成三維圖像。
[0008]在另一個(gè)示例實(shí)施例中，所述至少兩個(gè)透鏡是晶片透鏡，并且，運(yùn)動(dòng)傳感器陣列裝置在封裝中實(shí)現(xiàn)。
[0009]在另一個(gè)示例實(shí)施例中，每一個(gè)運(yùn)動(dòng)傳感器像素都是動(dòng)態(tài)視覺(jué)傳感器(DVS)像素。
[0010]在本發(fā)明構(gòu)思的另一個(gè)示例實(shí)施例中，所述至少兩個(gè)運(yùn)動(dòng)傳感器中的每一個(gè)包括包含多個(gè)DVS像素的像素陣列和行地址事件表示(AER)電路，該行AER電路被配置為至少處理由每一個(gè)DVS像素產(chǎn)生的多個(gè)事件信號(hào)當(dāng)中的第一事件信號(hào)。所述至少兩個(gè)運(yùn)動(dòng)傳感器中的每一個(gè)還包括列AER電路，該列AER電路被配置為至少處理由每一個(gè)DVS像素產(chǎn)生的多個(gè)事件信號(hào)當(dāng)中的第二事件信號(hào)。
[0011]在另一個(gè)示例實(shí)施例中，深度感測(cè)系統(tǒng)包括上述的運(yùn)動(dòng)傳感器陣列裝置、圖像信號(hào)處理器和中央處理單元，圖像信號(hào)處理器被配置為處理從運(yùn)動(dòng)傳感器陣列裝置輸出的圖像數(shù)據(jù)，中央處理單元被配置為控制運(yùn)動(dòng)傳感器陣列裝置和圖像信號(hào)處理器。
[0012]在一個(gè)示例實(shí)施例中，深度感測(cè)系統(tǒng)包括運(yùn)動(dòng)傳感器陣列，該運(yùn)動(dòng)傳感器陣列包括至少兩個(gè)運(yùn)動(dòng)傳感器，所述至少兩個(gè)運(yùn)動(dòng)傳感器中的每一個(gè)包括被配置為感測(cè)對(duì)象的運(yùn)動(dòng)并產(chǎn)生運(yùn)動(dòng)圖像數(shù)據(jù)的多個(gè)運(yùn)動(dòng)傳感器像素。深度感測(cè)系統(tǒng)還包括深度傳感器，該深度傳感器被配置為從分別由所述至少兩個(gè)運(yùn)動(dòng)傳感器產(chǎn)生的運(yùn)動(dòng)圖像數(shù)據(jù)提取關(guān)于對(duì)象的深度信息。
[0013]在另一個(gè)示例實(shí)施例中，所述至少兩個(gè)運(yùn)動(dòng)傳感器包括被配置為在第一位置感測(cè)對(duì)象的運(yùn)動(dòng)并產(chǎn)生第一運(yùn)動(dòng)圖像數(shù)據(jù)的第一運(yùn)動(dòng)傳感器。所述至少兩個(gè)運(yùn)動(dòng)傳感器還包括被配置為在第二位置感測(cè)對(duì)象的運(yùn)動(dòng)并產(chǎn)生第二運(yùn)動(dòng)圖像數(shù)據(jù)的第二運(yùn)動(dòng)傳感器。
[0014]在另一個(gè)示例實(shí)施例中，深度傳感器基于第一運(yùn)動(dòng)圖像數(shù)據(jù)和第二運(yùn)動(dòng)圖像數(shù)據(jù)之間的差異廣生深度?目息。[0015]在另一個(gè)示例實(shí)施例中，所述至少兩個(gè)運(yùn)動(dòng)傳感器是按矩陣形式設(shè)置的MXN運(yùn)動(dòng)傳感器，其中，M和N中的至少一個(gè)是具有至少2的值的自然數(shù)。
[0016]在另一個(gè)示例實(shí)施例中，深度傳感器基于分別由MXN運(yùn)動(dòng)傳感器產(chǎn)生的運(yùn)動(dòng)圖像數(shù)據(jù)之間的差異產(chǎn)生深度信息。
[0017]在另一個(gè)示例實(shí)施例中，深度傳感器基于由MXN運(yùn)動(dòng)傳感器產(chǎn)生的運(yùn)動(dòng)圖像數(shù)據(jù)之間的差異產(chǎn)生深度信息。
[0018]在另一個(gè)示例實(shí)施例中，運(yùn)動(dòng)傳感器陣列在芯片和封裝之一中實(shí)現(xiàn)。
[0019]在另一個(gè)示例實(shí)施例中，運(yùn)動(dòng)傳感器陣列和深度傳感器一同在芯片和封裝之一中實(shí)現(xiàn)。
[0020]在另一個(gè)示例實(shí)施例中，深度感測(cè)系統(tǒng)還包括三維圖像生成器，該三維圖像生成器被配置為通過(guò)組合深度信息和運(yùn)動(dòng)圖像數(shù)據(jù)來(lái)生成三維圖像。
[0021]在另一個(gè)示例實(shí)施例中，深度感測(cè)系統(tǒng)還包括在所述至少兩個(gè)運(yùn)動(dòng)傳感器中的每一個(gè)上堆疊的至少一個(gè)透鏡。
[0022]在本發(fā)明構(gòu)思的一個(gè)示例實(shí)施例中，使用運(yùn)動(dòng)傳感器陣列的深度感測(cè)方法包括:通過(guò)使用至少兩個(gè)運(yùn)動(dòng)傳感器感測(cè)對(duì)象的運(yùn)動(dòng)來(lái)產(chǎn)生運(yùn)動(dòng)圖像數(shù)據(jù)，所述至少兩個(gè)運(yùn)動(dòng)傳感器中的每一個(gè)包括多個(gè)運(yùn)動(dòng)傳感器像素；以及從由所述至少兩個(gè)運(yùn)動(dòng)傳感器產(chǎn)生的運(yùn)動(dòng)圖像數(shù)據(jù)產(chǎn)生關(guān)于對(duì)象的深度信息。
[0023]在另一個(gè)示例實(shí)施例中，產(chǎn)生運(yùn)動(dòng)圖像數(shù)據(jù)包括:檢測(cè)入射在所述多個(gè)運(yùn)動(dòng)傳感器像素之一上的光的強(qiáng)度的變化；以及基于檢測(cè)到的變化來(lái)產(chǎn)生事件信號(hào)。該方法還包括:輸出產(chǎn)生了事件信號(hào)的運(yùn)動(dòng)傳感器像素的地址信息；以及基于該地址信息來(lái)產(chǎn)生運(yùn)動(dòng)圖像數(shù)據(jù)。
[0024]在另一個(gè)示例實(shí)施例中，產(chǎn)生深度信息包括基于分別由所述至少兩個(gè)運(yùn)動(dòng)傳感器產(chǎn)生的運(yùn)動(dòng)圖像數(shù)據(jù)之間的差異來(lái)產(chǎn)生深度信息。
[0025]在另一個(gè)示例實(shí)施例中，該方法還包括通過(guò)組合深度信息和運(yùn)動(dòng)圖像數(shù)據(jù)來(lái)產(chǎn)生三維圖像。
[0026]在一個(gè)示例實(shí)施例中，深度感測(cè)系統(tǒng)包括運(yùn)動(dòng)傳感器陣列，該運(yùn)動(dòng)傳感器陣列被配置為在多個(gè)位置感測(cè)至少一個(gè)對(duì)象的運(yùn)動(dòng)并基于在所述多個(gè)位置感測(cè)的運(yùn)動(dòng)來(lái)產(chǎn)生多個(gè)運(yùn)動(dòng)圖像數(shù)據(jù)。深度感測(cè)系統(tǒng)還包括被配置為基于產(chǎn)生的多個(gè)運(yùn)動(dòng)圖像數(shù)據(jù)來(lái)確定對(duì)象的深度信息的圖像處理器。
[0027]在另一個(gè)示例實(shí)施例中，運(yùn)動(dòng)傳感器陣列被配置為基于在所述多個(gè)位置中的每一個(gè)中被捕獲的巾貞的明暗度信息(shade information,明/暗信息)和至少一個(gè)存儲(chǔ)的明暗度信息、以及被捕獲的幀的電壓值和至少一個(gè)存儲(chǔ)的電壓值中的至少一個(gè)來(lái)在所述多個(gè)位置中的每一個(gè)位置感測(cè)運(yùn)動(dòng)。
[0028]在另一個(gè)示例實(shí)施例中，圖像處理器被配置為基于產(chǎn)生的所述多個(gè)運(yùn)動(dòng)圖像數(shù)據(jù)中的至少兩個(gè)之間的差異來(lái)確定深度信息。
[0029]在另一個(gè)示例實(shí)施例中，深度感測(cè)系統(tǒng)還包括三維圖像生成器，該三維圖像生成器被配置為通過(guò)組合深度信息和產(chǎn)生的所述多個(gè)運(yùn)動(dòng)圖像數(shù)據(jù)來(lái)生成三維圖像。
[0030]在另一個(gè)示例實(shí)施例中，運(yùn)動(dòng)傳感器陣列包括多個(gè)運(yùn)動(dòng)傳感器，所述多個(gè)運(yùn)動(dòng)傳感器中的各個(gè)在所述多個(gè)位置中的一個(gè)位置感測(cè)運(yùn)動(dòng)。
【專(zhuān)利附圖】

【附圖說(shuō)明】
[0031]通過(guò)參照附圖詳細(xì)地描述本發(fā)明的示例實(shí)施例，本發(fā)明構(gòu)思的上述和其它特征和優(yōu)點(diǎn)將變得更加清楚，在附圖中:
[0032]圖1是根據(jù)本發(fā)明構(gòu)思的示例實(shí)施例的使用運(yùn)動(dòng)傳感器陣列的深度感測(cè)系統(tǒng)的框圖；
[0033]圖2是根據(jù)本發(fā)明構(gòu)思的示例實(shí)施例的圖1中圖示的運(yùn)動(dòng)傳感器陣列的框圖；
[0034]圖3是根據(jù)本發(fā)明構(gòu)思的示例實(shí)施例的圖2中圖示的運(yùn)動(dòng)傳感器的框圖；
[0035]圖4是根據(jù)本發(fā)明構(gòu)思的示例實(shí)施例的圖1中圖示的圖像信號(hào)處理器(ISP)的框圖；
[0036]圖5是根據(jù)本發(fā)明構(gòu)思的示例實(shí)施例的圖3中圖示的運(yùn)動(dòng)傳感器的布線的示圖；
[0037]圖6是根據(jù)本發(fā)明構(gòu)思的示例實(shí)施例的圖5中圖示的運(yùn)動(dòng)傳感器像素的示圖；
[0038]圖7是根據(jù)本發(fā)明構(gòu)思的示例實(shí)施例的使用運(yùn)動(dòng)傳感器陣列的深度感測(cè)系統(tǒng)的框圖；
[0039]圖8A是根據(jù)本發(fā)明構(gòu)思的示例實(shí)施例的運(yùn)動(dòng)傳感器的框圖；
[0040]圖8B是根據(jù)本發(fā)明構(gòu)思的示例實(shí)施例的ISP的框圖；
[0041]圖9A是根據(jù)本發(fā)明構(gòu)思的示例實(shí)施例的從運(yùn)動(dòng)傳感器陣列輸出的運(yùn)動(dòng)數(shù)據(jù)的示圖；
[0042]圖9B是根據(jù)本發(fā)明構(gòu)思的示例實(shí)施例的從運(yùn)動(dòng)傳感器陣列輸出的運(yùn)動(dòng)數(shù)據(jù)的示圖；
[0043]圖10是根據(jù)本發(fā)明構(gòu)思的示例實(shí)施例實(shí)現(xiàn)的運(yùn)動(dòng)傳感器陣列裝置的示圖；
[0044]圖11是根據(jù)本發(fā)明構(gòu)思的示例實(shí)施例的包括圖1中圖示的運(yùn)動(dòng)傳感器陣列的電子系統(tǒng)的框圖；以及
[0045]圖12是根據(jù)本發(fā)明構(gòu)思的示例實(shí)施例的包括圖1中圖示的運(yùn)動(dòng)傳感器陣列的圖像處理系統(tǒng)的框圖。
【具體實(shí)施方式】
[0046]現(xiàn)在將在下文中參照附圖更全面地描述本發(fā)明構(gòu)思。在附圖中相同的元件用相同的附圖標(biāo)記標(biāo)注。
[0047]在本文中披露詳細(xì)的說(shuō)明實(shí)施例。但是，為了描述示例實(shí)施例的目的，本文中披露的特定的結(jié)構(gòu)和功能細(xì)節(jié)僅僅是代表性的。然而，本發(fā)明可以以諸多可替換的形式實(shí)施，并且不應(yīng)當(dāng)被解釋為僅僅局限于本文中陳述的實(shí)施例。
[0048]因此，雖然示例實(shí)施例能夠?yàn)楦鞣N修改和可替換的形式，但是，這些實(shí)施例在附圖中以示例的方式示出并在這里被詳細(xì)地描述。但是，應(yīng)該理解，不應(yīng)當(dāng)將示例實(shí)施例限制為所披露的特定形式。相反，示例實(shí)施例覆蓋落入在本公開(kāi)的范圍內(nèi)的所有的修改、等同物和可替換物。在對(duì)附圖的整個(gè)描述中，相同的標(biāo)號(hào)表示相同的元件。
[0049]雖然在本文中可以使用術(shù)語(yǔ)“第一”、“第二”等來(lái)描述各種元件，但是這些元件不應(yīng)當(dāng)受這些術(shù)語(yǔ)的限制。這些術(shù)語(yǔ)僅僅用于將一個(gè)元件與另一個(gè)元件區(qū)分開(kāi)。例如，在不脫離本公開(kāi)的范圍的情況下，第一元件可以被稱為第二元件，類(lèi)似地，第二元件可以被稱為第一元件。如這里所使用的，術(shù)語(yǔ)“和/或”包括相關(guān)列舉項(xiàng)目中的一個(gè)或多個(gè)的所有的任何組合。
[0050]當(dāng)一個(gè)元件被提到與另一個(gè)元件“連接”或“結(jié)合”時(shí)，它可以與另一個(gè)元件直接連接或結(jié)合，或者，可以存在中間元件。與此形成對(duì)照的是，當(dāng)一個(gè)元件被提到與另一個(gè)元件“直接連接”或“直接結(jié)合”時(shí)，不存在中間元件。用于描述元件之間的關(guān)系的其它詞語(yǔ)應(yīng)該以類(lèi)似的方式被解釋(例如，“之間”與“直接之間”，“相鄰”與“直接相鄰”等等)。
[0051]本文中使用的術(shù)語(yǔ)僅僅出于描述特定實(shí)施例的目的，并且不應(yīng)當(dāng)是限制性的。如本文中使用的，單數(shù)形式“一個(gè)”、“一種”和“該”應(yīng)當(dāng)也包括復(fù)數(shù)形式，除非上下文中明確地另有說(shuō)明。將會(huì)進(jìn)一步理解，術(shù)語(yǔ)“包括”、“包含”、“含有”和/或“具有”在本文中使用時(shí)指定所述的特征、整體、步驟、操作、元件和/或組件的存在，但是不排除一個(gè)或多個(gè)其它的特征、整體、步驟、操作、元件、組件和/或其集合的存在或添加。
[0052]還應(yīng)該注意，在一些可替換的實(shí)施方式中，指出的功能/動(dòng)作可能會(huì)不按照在圖中指出的順序發(fā)生。例如，根據(jù)涉及的功能/動(dòng)作，連續(xù)地示出的兩個(gè)圖事實(shí)上可以基本上同時(shí)地執(zhí)行，或者有時(shí)可以按照相反的順序執(zhí)行。
[0053]在下面的描述中提供具體細(xì)節(jié)，以提供對(duì)示例實(shí)施例的徹底的理解。但是，本領(lǐng)域的普通技術(shù)人員將會(huì)理解，示例實(shí)施例可以在沒(méi)有這些具體細(xì)節(jié)的情況下被實(shí)踐。例如，系統(tǒng)可以在框圖中示出，以便不會(huì)在不必要的細(xì)節(jié)中使示例實(shí)施例模糊。在其它情形中，公知的處理、結(jié)構(gòu)和技術(shù)可以在沒(méi)有不必要的細(xì)節(jié)的情況中被示出，以便避免使示例實(shí)施例模糊。
[0054]在下面的描述中，將針對(duì)動(dòng)作來(lái)描述說(shuō)明性的實(shí)施例，并且，可以被實(shí)現(xiàn)為程序模塊或功能處理的操作的符號(hào)表示(例如，以流程圖、流程示圖、數(shù)據(jù)流程圖、結(jié)構(gòu)圖、框圖等)包括執(zhí)行特定任務(wù)或者實(shí)現(xiàn)特定抽象數(shù)據(jù)類(lèi)型并可以在現(xiàn)有的網(wǎng)絡(luò)元件中使用現(xiàn)有的硬件來(lái)實(shí)現(xiàn)的子程序、程序、對(duì)象、組件、數(shù)據(jù)結(jié)構(gòu)等。這種現(xiàn)有的硬件可以包括一個(gè)或多個(gè)中央處理單元(CPU)、數(shù)字信號(hào)處理器(DSP)、專(zhuān)用集成電路、場(chǎng)可編程門(mén)陣列(FPGA)、計(jì)算機(jī)
坐寸ο
[0055]盡管流程圖可以將這些操作描述為序列處理，但是這些操作中的很多操作可以并行地、并發(fā)地或同時(shí)地執(zhí)行。另外，可以對(duì)這些操作的順序重新進(jìn)行排列。一種處理可以在其操作完成時(shí)終止，但是，也可以具有在圖中沒(méi)有包含的另外的步驟。一種處理可以對(duì)應(yīng)于方法、函數(shù)、過(guò)程、子例行程序、子程序等。當(dāng)一種處理對(duì)應(yīng)于一個(gè)函數(shù)時(shí)，其終止可以對(duì)應(yīng)于該函數(shù)返回到調(diào)用函數(shù)或主函數(shù)。[0056]如本文中所披露的，術(shù)語(yǔ)“存儲(chǔ)介質(zhì)”或者“計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)”可以表示一個(gè)或多個(gè)用于存儲(chǔ)數(shù)據(jù)的裝置，其包括只讀存儲(chǔ)器(ROM)、隨機(jī)存取存儲(chǔ)器(RAM)、磁RAM、芯存儲(chǔ)器、磁盤(pán)存儲(chǔ)介質(zhì)、光學(xué)存儲(chǔ)介質(zhì)、閃速存儲(chǔ)器裝置和/或用于存儲(chǔ)信息的其它的有形的機(jī)器可讀介質(zhì)。術(shù)語(yǔ)“計(jì)算機(jī)可讀介質(zhì)”可以包括，但不限于，便攜式或固定的存儲(chǔ)裝置，光學(xué)存儲(chǔ)裝置，以及能夠存儲(chǔ)、包含或承載(一種或多種)指令和/或數(shù)據(jù)的各種其它介質(zhì)。
[0057]此外，示例實(shí)施例可以通過(guò)硬件、軟件、固件、中間件、偽代碼、硬件描述語(yǔ)言或其任何組合來(lái)實(shí)現(xiàn)。當(dāng)在軟件、固件、中間件或偽代碼中實(shí)現(xiàn)時(shí)，執(zhí)行所需任務(wù)的程序代碼或代碼段可以被存儲(chǔ)在機(jī)器或計(jì)算機(jī)可讀介質(zhì)(例如，計(jì)算機(jī)可讀存儲(chǔ)介質(zhì))中。當(dāng)在軟件中實(shí)現(xiàn)時(shí)，一個(gè)或多個(gè)處理器將會(huì)執(zhí)行所需任務(wù)。
[0058]代碼段可以表示流程、函數(shù)、子程序、程序、例行程序、子例行程序、模塊、軟件包、類(lèi)，或者指令、數(shù)據(jù)結(jié)構(gòu)或程序語(yǔ)句的任何組合。通過(guò)傳遞和/或接收信息、數(shù)據(jù)、自變量、參數(shù)或存儲(chǔ)器內(nèi)容，代碼段可以被結(jié)合到另一個(gè)代碼段或硬件電路。信息、變?cè)?、參?shù)、數(shù)據(jù)等可以通過(guò)包括存儲(chǔ)器共享、消息傳遞、令牌傳遞、網(wǎng)絡(luò)傳輸?shù)鹊娜魏魏线m的手段來(lái)被傳遞、轉(zhuǎn)發(fā)或發(fā)送。
[0059]圖1是根據(jù)本發(fā)明構(gòu)思的示例實(shí)施例的深度感測(cè)系統(tǒng)10的框圖。圖2是根據(jù)本發(fā)明構(gòu)思的示例實(shí)施例的圖1中圖示的運(yùn)動(dòng)傳感器陣列100的框圖。
[0060]參照?qǐng)D1和2，深度感測(cè)系統(tǒng)10可以包括運(yùn)動(dòng)傳感器陣列100、圖像信號(hào)處理器(ISP) 200、顯示單元205、中央處理單元(CPU) 210和外圍電路250。在一個(gè)示例實(shí)施例中，深度感測(cè)系統(tǒng)10可以以片上系統(tǒng)(SoC)的形式實(shí)現(xiàn)。
[0061]深度感測(cè)系統(tǒng)10可以包括多個(gè)運(yùn)動(dòng)傳感器，該多個(gè)運(yùn)動(dòng)傳感器感測(cè)對(duì)象的運(yùn)動(dòng)并獲取運(yùn)動(dòng)圖像數(shù)據(jù)以獲得深度信息。如圖2所示，多個(gè)運(yùn)動(dòng)傳感器101可以按照MXN陣列設(shè)置，其中，M和N是I或大于I的自然數(shù)，并且，M和/或N是等于或大于2的整數(shù)。
[0062]運(yùn)動(dòng)傳感器陣列100可以包括多個(gè)運(yùn)動(dòng)傳感器101和設(shè)置在每一個(gè)運(yùn)動(dòng)傳感器101上的透鏡102。每一個(gè)運(yùn)動(dòng)傳感器101根據(jù)其位置感測(cè)對(duì)象的運(yùn)動(dòng)并產(chǎn)生運(yùn)動(dòng)圖像數(shù)據(jù)或者用于產(chǎn)生運(yùn)動(dòng)圖像數(shù)據(jù)的事件信號(hào)(例如，運(yùn)動(dòng)地址信息)。因此，可以使用按照MXN陣列設(shè)置的運(yùn)動(dòng)傳感器101來(lái)獲得在許多不同的角度處拾取的運(yùn)動(dòng)圖像數(shù)據(jù)。
[0063]每一個(gè)運(yùn)動(dòng)傳感器101可以分析按幀連續(xù)地捕獲的圖像，并可以將每一個(gè)被分析的幀的明暗度信息(shade information,明/暗信息)以數(shù)字代碼的形式存儲(chǔ)在幀存儲(chǔ)器(未示出)中。運(yùn)動(dòng)傳感器101可以比較已經(jīng)存儲(chǔ)在幀存儲(chǔ)器中的前一幀的明暗度信息和新接收到的當(dāng)前幀的明暗度信息并感測(cè)對(duì)象的運(yùn)動(dòng)。當(dāng)獲取單個(gè)像素的明暗度信息時(shí)，運(yùn)動(dòng)傳感器101還可以將相鄰像素(例如，分別在該單個(gè)像素的上下左右的四個(gè)相鄰像素)的明暗度信息一起處理，以計(jì)算明暗的運(yùn)動(dòng)方向。
[0064]可替換地，運(yùn)動(dòng)傳感器101可以在像素中包括信號(hào)存儲(chǔ)裝置(例如，電容器)。運(yùn)動(dòng)傳感器101可以存儲(chǔ)與前一幀的像素信號(hào)相對(duì)應(yīng)的電壓值并比較該電壓值和與當(dāng)前幀的像素信號(hào)相對(duì)應(yīng)的電壓值，以感測(cè)對(duì)象的運(yùn)動(dòng)。
[0065]如上所述，運(yùn)動(dòng)傳感器101使用各種方法來(lái)感測(cè)對(duì)象的運(yùn)動(dòng)，以產(chǎn)生運(yùn)動(dòng)圖像數(shù)據(jù)MDATA。因此，包括多個(gè)運(yùn)動(dòng)傳感器101的運(yùn)動(dòng)傳感器陣列100可以產(chǎn)生在不同角度處捕獲的運(yùn)動(dòng)圖像數(shù)據(jù)MDATA〈1>至MDATA〈MN>，并且將運(yùn)動(dòng)圖像數(shù)據(jù)MDATA〈1>至MDATA〈MN>發(fā)送給ISP200。在一個(gè)示例實(shí)施例中，MDATA〈1>表示由MXN運(yùn)動(dòng)傳感器101中的(1，I)運(yùn)動(dòng)傳感器101捕獲的運(yùn)動(dòng)圖像數(shù)據(jù)，并且，MDATA<MN>表示由MXN運(yùn)動(dòng)傳感器101中的(M, N)運(yùn)動(dòng)傳感器101捕獲的運(yùn)動(dòng)圖像數(shù)據(jù)。
[0066]運(yùn)動(dòng)傳感器陣列100可以在單個(gè)晶片上實(shí)現(xiàn)，并且，可以被實(shí)現(xiàn)為單個(gè)封裝模塊。這將在下面參照?qǐng)D10被詳細(xì)地描述。
[0067]ISP200可以從運(yùn)動(dòng)傳感器陣列100接收運(yùn)動(dòng)圖像數(shù)據(jù)MDATA〈1>至MDATA〈MN>，處理運(yùn)動(dòng)圖像數(shù)據(jù)MDATA〈1>至MDATA〈MN>，并且產(chǎn)生經(jīng)處理的運(yùn)動(dòng)圖像數(shù)據(jù)MDATA’。ISP200可以使運(yùn)動(dòng)圖像數(shù)據(jù)MDATA〈1>至MDATA〈MN>變成幀。ISP200還可以校正與運(yùn)動(dòng)圖像數(shù)據(jù)MDATA<1>至MDATA〈MN>相關(guān)的亮度、對(duì)比度和色度。
[0068]ISP200還可以從運(yùn)動(dòng)圖像數(shù)據(jù)MDATA〈1>至MDATA〈MN>產(chǎn)生深度信息，并且，可以將該深度信息嵌入在經(jīng)處理的運(yùn)動(dòng)圖像數(shù)據(jù)MDATA’中。ISP200還可以通過(guò)組合深度信息和經(jīng)處理的運(yùn)動(dòng)圖像數(shù)據(jù)MDATA’來(lái)產(chǎn)生三維圖像數(shù)據(jù)。ISP200可以將經(jīng)處理的運(yùn)動(dòng)圖像數(shù)據(jù)MDATA’發(fā)送給顯示單元205和CPU210。ISP200可以控制運(yùn)動(dòng)傳感器陣列100的全部操作。
[0069]雖然在示例實(shí)施例中ISP200在運(yùn)動(dòng)傳感器陣列100的外面實(shí)現(xiàn)，但是本發(fā)明構(gòu)思并不限于這些示例實(shí)施例。例如，ISP200可以在運(yùn)動(dòng)傳感器陣列100的內(nèi)部實(shí)現(xiàn)。
[0070]顯示單元205可以顯示經(jīng)處理的運(yùn)動(dòng)圖像數(shù)據(jù)MDATA’。顯示單元205可以是能夠輸出圖像的任何裝置。例如，顯示單元205可以被實(shí)現(xiàn)為電子裝置，該電子裝置包括，但不限于，計(jì)算機(jī)、移動(dòng)電話和照相機(jī)。
[0071]CPU210可以基于從外圍電路250接收到的信號(hào)(或數(shù)據(jù))來(lái)控制運(yùn)動(dòng)傳感器陣列100。外圍電路250可以向CPU210提供根據(jù)系統(tǒng)狀態(tài)和/或各種輸入產(chǎn)生的信號(hào)(或數(shù)據(jù))。各種輸入可以是通過(guò)輸入/輸出(I/O)接口輸入的信號(hào)。
[0072]外圍電路250可以被實(shí)現(xiàn)為輸入/輸出(I/O)接口。因此，外圍電路250可以將通過(guò)用戶的輸入產(chǎn)生的信號(hào)發(fā)送給CPU210。I/O接口可以是任何類(lèi)型的I/O裝置，其包括，但不限于，外部輸入按鈕、觸摸屏或鼠標(biāo)。
[0073]可替換地，外圍電路250可以被實(shí)現(xiàn)為電力監(jiān)視模塊。因此，當(dāng)確定系統(tǒng)電源不足夠時(shí)，外圍電路250可以將對(duì)應(yīng)于該確定的信號(hào)發(fā)送給CPU210。CPU210可以禁用或限制運(yùn)動(dòng)傳感器陣列100和顯示單元205中的至少一個(gè)的性能。
[0074]作為另一個(gè)可替換的方案，外圍電路250可以被實(shí)現(xiàn)為應(yīng)用執(zhí)行模塊。因此，當(dāng)執(zhí)行特定應(yīng)用時(shí)，外圍電路250可以將從應(yīng)用執(zhí)行模塊產(chǎn)生的信號(hào)發(fā)送給CPU210。特定應(yīng)用可以是，但不限于，如下中的任何一個(gè):照相機(jī)拍攝應(yīng)用、增強(qiáng)現(xiàn)實(shí)應(yīng)用或者需要照相機(jī)圖像的任何應(yīng)用。
[0075]圖3是根據(jù)本發(fā)明構(gòu)思的示例實(shí)施例的圖2中圖示的運(yùn)動(dòng)傳感器101中的每一個(gè)的框圖。參照?qǐng)D3，運(yùn)動(dòng)傳感器101可以包括像素陣列110、控制邏輯或者控制電路120、地址事件表示(AER)單元和運(yùn)動(dòng)圖像生成器160。AER單元可以包括行AER電路130和列AER電路140。像素陣列110可以包括感測(cè)對(duì)象的運(yùn)動(dòng)的多個(gè)運(yùn)動(dòng)傳感器像素M。在示例實(shí)施例中運(yùn)動(dòng)傳感器像素M可以由動(dòng)態(tài)視覺(jué)傳感器(DVS)像素實(shí)現(xiàn)，但是，本發(fā)明構(gòu)思并不限于當(dāng)前的實(shí)施例。
[0076]控制邏輯120可以控制運(yùn)動(dòng)傳感器101的全部操作?？刂七壿?20可以控制AER單元。[0077]AER單元可以處理從感測(cè)光量變化的運(yùn)動(dòng)傳感器像素M中的每一個(gè)輸出的事件信號(hào)，并且，可以將用于重置產(chǎn)生了該事件信號(hào)的每一個(gè)運(yùn)動(dòng)傳感器像素M的信號(hào)發(fā)送給運(yùn)動(dòng)傳感器像素M。
[0078]像素陣列110中的每一個(gè)運(yùn)動(dòng)傳感器像素M可以根據(jù)光量的變化來(lái)輸出事件信號(hào)。下面將參照?qǐng)D5和6詳細(xì)地描述事件信號(hào)。列AER電路140可以接收事件信號(hào)并基于該事件信號(hào)來(lái)輸出產(chǎn)生了該事件信號(hào)的運(yùn)動(dòng)傳感器像素M的列地址值CADDR。行AER單元130可以從運(yùn)動(dòng)傳感器像素M接收事件信號(hào)并基于該事件信號(hào)來(lái)輸出產(chǎn)生了該事件信號(hào)的運(yùn)動(dòng)傳感器像素M的行地址值RADDR。
[0079]運(yùn)動(dòng)圖像生成器160可以基于由行AER電路130產(chǎn)生的行地址值RADDR和由列AER電路140產(chǎn)生的列地址值CADDR來(lái)輸出運(yùn)動(dòng)圖像數(shù)據(jù)MDATA。例如，運(yùn)動(dòng)圖像生成器160可以表示只對(duì)應(yīng)于期望(或者，可替換地，預(yù)定的)顏色(例如，黑色)的行地址值RADDR和列地址值CADDR的運(yùn)動(dòng)傳感器像素M，從而只指示具有運(yùn)動(dòng)的像素(例如，具有期望水平或更高水平的變化的像素)。運(yùn)動(dòng)圖像數(shù)據(jù)MDATA可以由只表示具有運(yùn)動(dòng)的像素(例如，具有期望水平或更高水平的變化的像素)的數(shù)據(jù)構(gòu)成，如圖9A和9B所示。
[0080]當(dāng)由于運(yùn)動(dòng)傳感器像素M中的明暗度的變化而導(dǎo)致光電二極管的電流的變化時(shí)，產(chǎn)生事件信號(hào)。例如，當(dāng)光電二極管的電流增加時(shí)，運(yùn)動(dòng)傳感器像素M產(chǎn)生開(kāi)啟(on)事件信號(hào)，并且，當(dāng)電流降低時(shí)，運(yùn)動(dòng)傳感器像素M產(chǎn)生關(guān)斷(off )事件信號(hào)。
[0081]運(yùn)動(dòng)圖像生成器160可以從由行AER電路130產(chǎn)生的行地址值RADDR和由列AER電路140產(chǎn)生的列地址值CADDR檢測(cè)運(yùn)動(dòng)傳感器像素M中的事件(即，on事件或off事件)，并且可以基于檢測(cè)到的事件來(lái)檢測(cè)對(duì)象出現(xiàn)在運(yùn)動(dòng)傳感器像素M中還是從運(yùn)動(dòng)傳感器像素M中消失。因此，運(yùn)動(dòng)圖像生成器160可以通過(guò)如下方式來(lái)檢測(cè)對(duì)象的運(yùn)動(dòng)方向:隨著時(shí)間分析像素陣列110中的每一個(gè)運(yùn)動(dòng)傳感器像素M的輸出值，即，關(guān)于每一個(gè)運(yùn)動(dòng)傳感器像素M的行地址值RADDR、列地址值CADDR和on/off事件信號(hào)。例如，當(dāng)在像素陣列110中對(duì)象從左向右移動(dòng)時(shí),對(duì)象出現(xiàn)在運(yùn)動(dòng)傳感器像素M中，因此，在運(yùn)動(dòng)傳感器像素M中發(fā)生off事件。因此，隨著時(shí)間的推移，具有off事件的像素從左向右順序地出現(xiàn)。因此，運(yùn)動(dòng)圖像生成器160產(chǎn)生隨著時(shí)間從左向右移動(dòng)的運(yùn)動(dòng)圖像數(shù)據(jù)MDATA，因此，觀看者看見(jiàn)從左向右移動(dòng)的對(duì)象。
[0082]圖4是根據(jù)本發(fā)明構(gòu)思的示例實(shí)施例的圖1中圖示的ISP200的框圖。ISP200可以包括深度傳感器(也被稱為“深度信息生成器”)220和三維(3D)圖像生成器230。深度傳感器220可以從分別由運(yùn)動(dòng)傳感器陣列100中的MXN個(gè)運(yùn)動(dòng)傳感器生成的運(yùn)動(dòng)圖像數(shù)據(jù)MDATA〈1>至MDATA〈MN>來(lái)提取對(duì)象的深度信息DDATA。
[0083]盡管這些運(yùn)動(dòng)傳感器感測(cè)同一對(duì)象的運(yùn)動(dòng)，但是由于這些運(yùn)動(dòng)傳感器的位置(例如，X和Y坐標(biāo))不同，因此在運(yùn)動(dòng)圖像數(shù)據(jù)MDATA〈 I >至MDATA〈MN>之間會(huì)發(fā)生差異。例如，在兩個(gè)運(yùn)動(dòng)傳感器之間發(fā)生雙眼視差，并且，在至少三個(gè)運(yùn)動(dòng)傳感器之間發(fā)生差異。
[0084]深度傳感器220可以使用運(yùn)動(dòng)圖像數(shù)據(jù)MDATA〈1>至MDATA〈MN>之間的差異來(lái)提取深度信息DDATA。例如，深度傳感器220可以使用與人眼感知到對(duì)象的深度的方法類(lèi)似的算法，即，與利用由至少兩個(gè)圖像傳感器捕獲的關(guān)于對(duì)象的雙眼視差角之間的差異來(lái)測(cè)量對(duì)象的深度的方法類(lèi)似的算法，來(lái)生成深度信息DDATA。換句話說(shuō)，使用雙眼視差角對(duì)于近距離的對(duì)象較大而對(duì)于遠(yuǎn)距離的對(duì)象較小的原理，深度傳感器220從其中存在有差異的運(yùn)動(dòng)圖像數(shù)據(jù)MDATA〈1>至MDATA〈MN>來(lái)生成深度信息DDATA。這一點(diǎn)將在下面參考圖9A和圖9B進(jìn)行進(jìn)一步的描述。
[0085]3D圖像生成器230可以通過(guò)將深度信息DDTA與運(yùn)動(dòng)圖像數(shù)據(jù)MDATA〈 I>至MDATA<MN>結(jié)合來(lái)生成3D圖像3D_DATA。
[0086]圖5是根據(jù)本發(fā)明構(gòu)思的示例實(shí)施例的圖3中圖示的像素陣列110的布線的示圖。參考圖3和圖5，圖5示出像素陣列110的一部分112、行AER電路130和列AER電路140。像素陣列110的一部分112包括第一運(yùn)動(dòng)傳感器像素112-1到第四運(yùn)動(dòng)傳感器像素112-4。
[0087]在一個(gè)示例實(shí)施例中，第一運(yùn)動(dòng)傳感器像素112-1和第二運(yùn)動(dòng)傳感器像素112-2具有相同的行地址，第三運(yùn)動(dòng)傳感器像素112-3和第四運(yùn)動(dòng)傳感器像素112-4具有相同的行地址。第一運(yùn)動(dòng)傳感器像素112-1和第三運(yùn)動(dòng)傳感器像素112-3具有相同的列地址，第二運(yùn)動(dòng)傳感器像素112-2和第四運(yùn)動(dòng)傳感器像素112-4具有相同的列地址。
[0088]在行方向上形成的布線可以包括行AER事件信號(hào)線REQY_1和REQY_2以及行AER重置信號(hào)線ACKY_1和ACKY_2。運(yùn)動(dòng)傳感器像素112-1至112-4中的每一個(gè)都可以將on事件信號(hào)或off事件信號(hào)通過(guò)行AER事件信號(hào)線REQY_1或REQY_2發(fā)送到行AER電路130。行AER電路130可以通過(guò)行AER重置信號(hào)線ACKY_1和ACKY_2將DVS重置信號(hào)發(fā)送到每個(gè)運(yùn)動(dòng)傳感器像素112-1至112-4。
[0089]在列方向上形成的布線可以包括列AER事件on信號(hào)線REQX_0N_1和REQX_0N_2、列AER事件off信號(hào)線REQX_0FF_1和REQX_0FF_2以及列AER重置信號(hào)線ACKX_1和ACKX_2。運(yùn)動(dòng)傳感器像素112-1至112-4中的每一個(gè)可以通過(guò)列AER事件on信號(hào)線REQX_0N_1和REQX_0N_2將on事件信號(hào)發(fā)送到列AER電路140。運(yùn)動(dòng)傳感器像素112-1至112-4中的每一個(gè)還可以通過(guò)列AER事件off信號(hào)線REQX_0FF_1或REQX_0FF_2將off事件信號(hào)發(fā)送到列AER電路140。列AER電路140可以通過(guò)列AER重置信號(hào)線ACKX_1或ACKX_2將DVS重置信號(hào)發(fā)送到運(yùn)動(dòng)傳感器像素112-1至112-4中的每個(gè)。
[0090]圖6是根據(jù)本發(fā)明構(gòu)思的示例實(shí)施例的圖5中圖示的運(yùn)動(dòng)傳感器像素112-1至112-4的其中之一的示圖。參考圖5和圖6，在圖5中圖示的運(yùn)動(dòng)傳感器像素112-1至112-4可以是DVS像素。在運(yùn)動(dòng)傳感器像素112_1至112_4是DVS像素時(shí)，將參考圖6詳細(xì)描述單元DVS像素117的操作。單元DVS像素117可以包括:光電二極管(PD)117_1、電流到電壓(Ι/V)轉(zhuǎn)換器117-2、放大器電路117-3、比較器電路117-4和數(shù)字邏輯117-5。
[0091]PD117-1是光電轉(zhuǎn)換元件的例子。PD117-1可以是以下的任意一個(gè)，但并不限于此:光電晶體管、光電門(mén)(photo gate)、釘扎光電二極管(PH))，及它們的組合。PD117-1可以根據(jù)入射光的強(qiáng)度生成光電流(photocurrent) I。
[0092]I/V轉(zhuǎn)換器117-2可以包括轉(zhuǎn)換晶體管Cx和反相器(inverter )INV。轉(zhuǎn)換晶體管Cx被連接在電源電壓VDD與roi 17-1的一端之間。反相器INV可以對(duì)在roi 17-1末端處的電壓進(jìn)行求反，并輸出第一電壓Vin。換句話說(shuō)，I/V轉(zhuǎn)換器117-2可以感測(cè)流入到TO117-1中的光電流I，并輸出對(duì)應(yīng)于光電流I的第一電壓Vin。
[0093]放大器電路117-3可以包括:第一電容器Cl、第二電容器C2、放大器AMP和重置開(kāi)關(guān)SW。放大器電路117-3可以基于第一電壓Vin來(lái)輸出與第一電壓Vin隨著時(shí)間的變化有關(guān)的第二電壓Vout。重置開(kāi)關(guān)SW可以根據(jù)數(shù)字邏輯117-5的控制將第二電壓Vout重置為重置電壓。
[0094]比較器電路117-4可以包括第一比較器COMPl和第二比較器C0MP2。第一比較器COMPl可以將第二電壓Vout與on閾值電壓進(jìn)行比較，并根據(jù)比較結(jié)果生成on事件信號(hào)ES_on。第二比較器C0MP2可以將第二電壓Vout與off閾值電壓進(jìn)行比較，并根據(jù)比較結(jié)果生成off事件信號(hào)ES_off。
[0095]換句話說(shuō)，當(dāng)單元DVS像素117的明暗度的變化超出期望水平(或者可替換地，預(yù)定水平)時(shí)，比較器電路117-4可以生成on事件信號(hào)ES_on或off事件信號(hào)ES_off，其中，期望水平可以基于經(jīng)驗(yàn)性研究和/或用戶輸入來(lái)設(shè)置。例如，當(dāng)單元DVS像素117的明暗度變得比期望水平亮?xí)r，on事件信號(hào)ES_on可以處于高電平。當(dāng)單元DVS像素117的明暗度變得比期望水平暗時(shí)，off事件信號(hào)ES_off可以處于高電平。on事件信號(hào)ES_on和off事件信號(hào)ES_ofT可以被發(fā)送到數(shù)字邏輯117-5。
[0096]數(shù)字邏輯117-5可以基于從比較器電路117-4接收到的on事件信號(hào)ES_on和off事件信號(hào)ES_off來(lái)生成事件信號(hào)。例如，數(shù)字邏輯117-5可以包括OR元件，例如，或門(mén)，并且可以接收on事件信號(hào)ES_on和off事件信號(hào)ES_off,并且在on事件信號(hào)ES_on或off事件信號(hào)ES_off處于高電平時(shí)，生成on/off事件信號(hào)ES_on_off。on/off事件信號(hào)ES_on_off可以通過(guò)行AER事件信號(hào)線REQY發(fā)送到行AER電路130。在一個(gè)示例實(shí)施例中，或門(mén)可以在單元DVS像素117外部實(shí)現(xiàn)，例如，在行AER電路130內(nèi)實(shí)現(xiàn)。
[0097]數(shù)字邏輯117-5還可以通過(guò)列AER on事件信號(hào)線REQX_0N將on事件信號(hào)ES_on發(fā)送到列AER電路140，并通過(guò)列AER off事件信號(hào)線REQX_0FF將off事件信號(hào)ES_off發(fā)送到列AER電路140。
[0098]另外，數(shù)字邏輯117-5可以根據(jù)從比較器電路117-4輸出的on事件信號(hào)ES_on和off事件信號(hào)ES_ofT來(lái)生成重置開(kāi)關(guān)信號(hào)RS_SW。例如，數(shù)字邏輯117-5可以包括OR元件，例如，或門(mén)，并且可以接收on事件信號(hào)ES_on和off事件信號(hào)ES_off，并且在on事件信號(hào)ES_on或off事件信號(hào)ES_off處于高電平時(shí)，生成重置開(kāi)關(guān)信號(hào)RS_SW。重置開(kāi)關(guān)SW可以響應(yīng)于重置開(kāi)關(guān)信號(hào)RS_SW來(lái)重置第二電壓Vout。在其他實(shí)施例中，或門(mén)可以在單元DVS像素117的外部實(shí)現(xiàn)。
[0099]在一個(gè)示例實(shí)施例中，生成on/off事件信號(hào)ES_on_off的或門(mén)和生成重置開(kāi)關(guān)信號(hào)RS_SW的或門(mén)可以在一個(gè)或門(mén)中實(shí)現(xiàn)。
[0100]數(shù)字邏輯117-5可以通過(guò)行AER重置信號(hào)線ACKY來(lái)接收第一 DVS重置信號(hào)RSl，并通過(guò)列AER重置信號(hào)線ACKX來(lái)接收第二 DVS重置信號(hào)RS2。數(shù)字邏輯117-5可以根據(jù)從行AER電路130接收的第一 DVS重置信號(hào)RSl和從列AER電路140接收的第二 DVS重置信號(hào)RS2來(lái)生成重置開(kāi)關(guān)信號(hào)RS_SW。
[0101 ] 數(shù)字邏輯117-5可以包括AND元件，例如，與門(mén)，并且可以在第一 DVS重置信號(hào)RSl和第二 DVS重置信號(hào)RS2都處于高電平時(shí)，生成重置開(kāi)關(guān)信號(hào)RS_SW。在其它的實(shí)施例中，與門(mén)可以在單元DVS像素117的外部實(shí)現(xiàn)。
[0102]在圖6中圖示的單元DVS像素117僅僅是一個(gè)例子，本發(fā)明構(gòu)思并不局限于該例子。本發(fā)明構(gòu)思的實(shí)施例可以被應(yīng)用于感測(cè)對(duì)象的運(yùn)動(dòng)的任意類(lèi)型的像素。
[0103]圖7是根據(jù)本發(fā)明構(gòu)思的示例實(shí)施例的使用運(yùn)動(dòng)傳感器陣列100’的深度感測(cè)系統(tǒng)10’的框圖。圖8A是根據(jù)本發(fā)明構(gòu)思的示例實(shí)施例的運(yùn)動(dòng)傳感器101’的框圖。圖SB是根據(jù)本發(fā)明構(gòu)思的示例實(shí)施例的ISP200’的框圖。
[0104]除了下面的描述，在圖7中圖示的深度感測(cè)系統(tǒng)10’類(lèi)似于在圖1中圖示的深度感測(cè)系統(tǒng)10。
[0105]在圖1中圖示的在深度感測(cè)系統(tǒng)10中的運(yùn)動(dòng)傳感器陣列100將分別由MXN個(gè)運(yùn)動(dòng)傳感器生成的運(yùn)動(dòng)圖像數(shù)據(jù)MDATA〈1>至MDATA〈MN>輸出到ISP200，而在圖7中圖示的深度感測(cè)系統(tǒng)10’中的運(yùn)動(dòng)傳感器陣列100’將運(yùn)動(dòng)地址信息MADDR輸出到ISP200’。運(yùn)動(dòng)地址信息MADDR包括已經(jīng)在上面描述過(guò)的由行AER電路130生成的行地址值RADDR和由列AER電路140生成的列地址值CADDR。
[0106]雖然圖3中示出的運(yùn)動(dòng)傳感器101包括:像素陣列110、控制邏輯120、AER單元(包括行AER電路130和列AER電路140)和運(yùn)動(dòng)圖像生成器160，而圖8A中示出的運(yùn)動(dòng)傳感器101’則不包括運(yùn)動(dòng)圖像生成器160。反之，如圖SB所示，對(duì)應(yīng)于各MXN個(gè)運(yùn)動(dòng)傳感器的運(yùn)動(dòng)圖像生成器210-1至210-MN被包括在ISP200’中。
[0107]圖9A和圖9B是用于解釋根據(jù)本發(fā)明構(gòu)思的示例實(shí)施例的使用運(yùn)動(dòng)傳感器陣列的深度感測(cè)方法的示圖。包括在運(yùn)動(dòng)傳感器陣列中的運(yùn)動(dòng)傳感器可以感測(cè)對(duì)象的運(yùn)動(dòng)，并生成與已經(jīng)發(fā)生運(yùn)動(dòng)的部分的地址對(duì)應(yīng)的運(yùn)動(dòng)地址信息。運(yùn)動(dòng)圖像數(shù)據(jù)可以從運(yùn)動(dòng)地址信息生成。
[0108]圖9A和圖9B示出由兩個(gè)運(yùn)動(dòng)傳感器DVS〈1>和DVS〈2>捕獲的運(yùn)動(dòng)圖像數(shù)據(jù)。在圖9A中到對(duì)象的深度小于在圖9B中到對(duì)象的深度。在圖9A中分別由兩個(gè)運(yùn)動(dòng)傳感器DVS〈1>和DVS〈2>捕獲的運(yùn)動(dòng)圖像數(shù)據(jù)之間的差異大于在圖9B中分別由兩個(gè)運(yùn)動(dòng)傳感器DVS〈1>和DVS〈2>捕獲的運(yùn)動(dòng)圖像數(shù)據(jù)之間的差異。如上所述，由各個(gè)運(yùn)動(dòng)傳感器捕獲的運(yùn)動(dòng)圖像數(shù)據(jù)之間的差異隨著到對(duì)象的深度而改變。因此，深度信息可以從由每個(gè)運(yùn)動(dòng)傳感器生成的運(yùn)動(dòng)圖像數(shù)據(jù)來(lái)生成。
[0109]圖10是根據(jù)本發(fā)明構(gòu)思的示例實(shí)施例實(shí)現(xiàn)的運(yùn)動(dòng)傳感器陣列裝置的示圖。如圖10的部分(a)所示，多個(gè)運(yùn)動(dòng)傳感器陣列可以被集成到單個(gè)晶片中。附圖標(biāo)記100表示包括多個(gè)運(yùn)動(dòng)傳感器的單個(gè)陣列，并且多個(gè)運(yùn)動(dòng)傳感器陣列100可以被集成到單個(gè)晶片中。
[0110]如圖10的部分(C)所示，該晶片被鋸成單個(gè)的運(yùn)動(dòng)傳感器陣列100，并且每個(gè)運(yùn)動(dòng)傳感器陣列100都可以以單個(gè)芯片或封裝實(shí)現(xiàn)。換句話說(shuō)，如圖10的部分(b)所示，多個(gè)運(yùn)動(dòng)傳感器(例如DVS) 101被分組到以芯片或封裝實(shí)現(xiàn)的單個(gè)運(yùn)動(dòng)傳感器陣列100中。此時(shí)，運(yùn)動(dòng)傳感器陣列100是MXN個(gè)運(yùn)動(dòng)傳感器101的陣列，其中，M或N≥2并且MXN可以是2X1或1X2。晶片級(jí)別的透鏡102被安裝在每個(gè)運(yùn)動(dòng)傳感器101上。換句話說(shuō)，多個(gè)運(yùn)動(dòng)傳感器可以在晶片上實(shí)現(xiàn)，并且晶片透鏡可以被堆疊在每個(gè)運(yùn)動(dòng)傳感器上。
[0111]與將在芯片或封裝中實(shí)現(xiàn)的運(yùn)動(dòng)傳感器集成到運(yùn)動(dòng)傳感器陣列中相比，將晶片上的多個(gè)運(yùn)動(dòng)傳感器分組或封裝到如上所述的單個(gè)運(yùn)動(dòng)傳感器陣列中簡(jiǎn)化了制造工序，并且降低了制造成本。在其它實(shí)施例中，運(yùn)動(dòng)傳感器陣列裝置還可以在單個(gè)芯片或封裝中包括深度傳感器。在另外的實(shí)施例中，運(yùn)動(dòng)傳感器陣列裝置還可以在單個(gè)芯片或封裝中包括3D圖像生成器。
[0112]圖11是根據(jù)本發(fā)明構(gòu)思的示例實(shí)施例的包括圖1中圖示的運(yùn)動(dòng)傳感器陣列100的電子系統(tǒng)的框圖。參考圖1和圖11，電子系統(tǒng)1000可以由數(shù)據(jù)處理設(shè)備來(lái)實(shí)現(xiàn)，諸如，移動(dòng)電話、個(gè)人數(shù)字助理(PDA)、便攜式媒體播放器(PMP )、IP TV或者可以使用或支持MIPI接口的智能電話。電子系統(tǒng)1000包括運(yùn)動(dòng)傳感器陣列100、應(yīng)用處理器1010和顯示器1050。
[0113]在應(yīng)用處理器1010中包括的CSI主機(jī)1012通過(guò)CSI與在圖像傳感器1040中包括的CSI裝置1041進(jìn)行串行通信。例如，光學(xué)解串器(de-serializer) (DES)可以在CSI主機(jī)1012中實(shí)現(xiàn)，光學(xué)串行器(serializer，SER)可以在CSI裝置1041中實(shí)現(xiàn)。
[0114]在應(yīng)用處理器1010中包括的DSI主機(jī)1011通過(guò)DSI與在顯示器1050中包括的DSI裝置1051進(jìn)行串行通信。例如，光學(xué)串行器(SER)可以在DSI主機(jī)1011中實(shí)現(xiàn)，光學(xué)解串器(DES)可以在DSI裝置1051中實(shí)現(xiàn)。
[0115]電子系統(tǒng)1000還可以包括與應(yīng)用處理器1010進(jìn)行通信的射頻(RF)芯片1060。電子系統(tǒng)1000的物理層(PHY)1013與RF芯片1060的PHY根據(jù)MIPI DigRF標(biāo)準(zhǔn)相互進(jìn)行數(shù)據(jù)通信。電子系統(tǒng)1000還可以包括GPS1020、存儲(chǔ)裝置1070、麥克風(fēng)1080、DRAM1085和揚(yáng)聲器1290中的至少一個(gè)元件。電子系統(tǒng)1000可以使用Wimaxl030、WLAN1100*USB1110
等進(jìn)行通信。
[0116]圖12是根據(jù)本發(fā)明構(gòu)思的示例實(shí)施例的包括圖1中圖示的運(yùn)動(dòng)傳感器陣列100的圖像處理系統(tǒng)1100的框圖。參考圖1和圖12，圖像處理系統(tǒng)1100可以包括:運(yùn)動(dòng)傳感器陣列100、處理器1100、存儲(chǔ)器1120、顯示單元1130和接口 1140。
[0117]處理器1110可以控制運(yùn)動(dòng)傳感器陣列100的操作。例如，處理器1110可以從接收自運(yùn)動(dòng)傳感器陣列100的運(yùn)動(dòng)信息提取深度信息，并基于將深度信息與運(yùn)動(dòng)信息相結(jié)合來(lái)生成3D圖像數(shù)據(jù)。存儲(chǔ)器1120可以存儲(chǔ)根據(jù)處理器1110的控制通過(guò)總線1150來(lái)控制運(yùn)動(dòng)傳感器陣列100的操作的程序，并且可以存儲(chǔ)由處理器1110生成的圖像。處理器1110可以訪問(wèn)存儲(chǔ)器1120并執(zhí)行該程序。存儲(chǔ)器1120可以由非易失性存儲(chǔ)器來(lái)實(shí)現(xiàn)。
[0118]根據(jù)處理器1110的控制，運(yùn)動(dòng)傳感器陣列100可以基于數(shù)字像素信號(hào)(例如，運(yùn)動(dòng)信息)來(lái)生成深度信息，并且可以基于深度信息和運(yùn)動(dòng)信息生成3D圖像數(shù)據(jù)。
[0119]顯示單元1130可以從處理器1110或存儲(chǔ)器1120接收?qǐng)D像，并通過(guò)液晶顯示器(IXD)或有源矩陣有機(jī)發(fā)光二極管(AMOLED)來(lái)顯示圖像。接口 1140可以被實(shí)現(xiàn)為輸入或輸出二維或三維圖像。接口 1140可以是無(wú)線接口。
[0120]如上所述，根據(jù)本發(fā)明構(gòu)思的示例實(shí)施例，在需要時(shí)，運(yùn)動(dòng)感測(cè)系統(tǒng)從運(yùn)動(dòng)傳感器陣列獲得深度信息，從而使得與使用要求光源的深度傳感器的傳統(tǒng)運(yùn)動(dòng)感測(cè)系統(tǒng)相比，運(yùn)動(dòng)感測(cè)系統(tǒng)可以以低功率實(shí)現(xiàn)。
[0121]雖然已經(jīng)參考其示例實(shí)施例對(duì)本發(fā)明概念進(jìn)行了具體的示出和描述，但是本領(lǐng)域普通技術(shù)人員應(yīng)當(dāng)理解，在不脫離由下列權(quán)利要求所定義的發(fā)明的功能的精神和范圍情況下，可以對(duì)其進(jìn)行形式和細(xì)節(jié)上的各種改變。
【權(quán)利要求】
1.一種運(yùn)動(dòng)傳感器陣列裝置，包括: 晶片； 在晶片上實(shí)現(xiàn)的至少兩個(gè)運(yùn)動(dòng)傳感器，所述至少兩個(gè)運(yùn)動(dòng)傳感器中的每一個(gè)包括被配置為感測(cè)對(duì)象的運(yùn)動(dòng)并產(chǎn)生運(yùn)動(dòng)圖像數(shù)據(jù)的多個(gè)運(yùn)動(dòng)傳感器像素；以及分別被設(shè)置在所述至少兩個(gè)運(yùn)動(dòng)傳感器上的至少兩個(gè)透鏡， 其中，所述運(yùn)動(dòng)傳感器陣列裝置以芯片和封裝之一實(shí)現(xiàn)。
2.根據(jù)權(quán)利要求1所述的運(yùn)動(dòng)傳感器陣列裝置，還包括: 深度傳感器，該深度傳感器被配置為從由所述至少兩個(gè)運(yùn)動(dòng)傳感器產(chǎn)生的運(yùn)動(dòng)圖像數(shù)據(jù)提取關(guān)于對(duì)象的深度信息。
3.根據(jù)權(quán)利要求2所述的運(yùn)動(dòng)傳感器陣列裝置，還包括: 三維圖像生成器，該三維圖像生成器被配置為通過(guò)組合深度信息和運(yùn)動(dòng)圖像數(shù)據(jù)來(lái)產(chǎn)生三維圖像。
4.根據(jù)權(quán)利要求1所述的運(yùn)動(dòng)傳感器陣列裝置，其中，所述至少兩個(gè)透鏡是晶片透鏡，并且 運(yùn)動(dòng)傳感器陣列裝置以封裝實(shí)現(xiàn)。
5.根據(jù)權(quán)利要求1所述的運(yùn)動(dòng)傳感器陣列裝置，其中，所述運(yùn)動(dòng)傳感器像素中的每一個(gè)是動(dòng)態(tài)視覺(jué)傳感器像素。
6.根據(jù)權(quán)利要求5所述的運(yùn)動(dòng)傳感器陣列裝置，其中，所述至少兩個(gè)運(yùn)動(dòng)傳感器中的每一個(gè)包括: 像素陣列，該像素陣列包括多個(gè)動(dòng)態(tài)視覺(jué)傳感器像素； 行地址事件表示電路，該行地址事件表示電路被配置為至少處理由每一個(gè)動(dòng)態(tài)視覺(jué)傳感器像素產(chǎn)生的多個(gè)事件信號(hào)當(dāng)中的第一事件信號(hào)；以及 列地址事件表示電路，該列地址事件表示電路被配置為至少處理由每一個(gè)動(dòng)態(tài)視覺(jué)傳感器像素產(chǎn)生的多個(gè)事件信號(hào)當(dāng)中的第二事件信號(hào)。
7.一種深度感測(cè)系統(tǒng)，包括: 根據(jù)權(quán)利要求1所述的運(yùn)動(dòng)傳感器陣列裝置； 圖像信號(hào)處理器，該圖像信號(hào)處理器被配置為處理從運(yùn)動(dòng)傳感器陣列裝置輸出的圖像數(shù)據(jù)；以及 中央處理單元，該中央處理單元被配置為控制運(yùn)動(dòng)傳感器陣列裝置和圖像信號(hào)處理器。
8.—種深度感測(cè)系統(tǒng)，包括: 運(yùn)動(dòng)傳感器陣列，該運(yùn)動(dòng)傳感器陣列包括至少兩個(gè)運(yùn)動(dòng)傳感器，所述至少兩個(gè)運(yùn)動(dòng)傳感器中的每一個(gè)包括被配置為感測(cè)對(duì)象的運(yùn)動(dòng)并產(chǎn)生運(yùn)動(dòng)圖像數(shù)據(jù)的多個(gè)運(yùn)動(dòng)傳感器像素；以及 深度傳感器，該深度傳感器被配置為從由所述至少兩個(gè)運(yùn)動(dòng)傳感器產(chǎn)生的運(yùn)動(dòng)圖像數(shù)據(jù)提取關(guān)于對(duì)象的深度信息。
9.根據(jù)權(quán)利要求8所述的深度感測(cè)系統(tǒng)，其中，所述至少兩個(gè)運(yùn)動(dòng)傳感器包括: 第一運(yùn)動(dòng)傳感器，該第一運(yùn)動(dòng)傳感器被配置為在第一位置感測(cè)對(duì)象的運(yùn)動(dòng)并產(chǎn)生第一運(yùn)動(dòng)圖像數(shù)據(jù)；以及第二運(yùn)動(dòng)傳感器，該第二運(yùn)動(dòng)傳感器被配置為在第二位置感測(cè)對(duì)象的運(yùn)動(dòng)并產(chǎn)生第二運(yùn)動(dòng)圖像數(shù)據(jù)。
10.根據(jù)權(quán)利要求9所述的深度感測(cè)系統(tǒng)，其中，深度傳感器基于第一運(yùn)動(dòng)圖像數(shù)據(jù)和第二運(yùn)動(dòng)圖像數(shù)據(jù)之間的差異產(chǎn)生深度信息。
11.根據(jù)權(quán)利要求8所述的深度感測(cè)系統(tǒng)，其中，所述運(yùn)動(dòng)傳感器陣列是按矩陣形式設(shè)置的MXN個(gè)運(yùn)動(dòng)傳感器，其中，M和N中的至少一個(gè)是具有大于等于2的值的自然數(shù)。
12.根據(jù)權(quán)利要求11所述的深度感測(cè)系統(tǒng)，其中，深度傳感器基于由MXN個(gè)運(yùn)動(dòng)傳感器產(chǎn)生的運(yùn)動(dòng)圖像數(shù)據(jù)之間的差異產(chǎn)生深度信息。
13.根據(jù)權(quán)利要求8所述的深度感測(cè)系統(tǒng)，其中，運(yùn)動(dòng)傳感器陣列以芯片和封裝之一實(shí)現(xiàn)。
14.根據(jù)權(quán)利要求8所述的深度感測(cè)系統(tǒng)，其中，運(yùn)動(dòng)傳感器陣列和深度傳感器一起以芯片和封裝之一實(shí)現(xiàn)。
15.根據(jù)權(quán)利要求8所述的深度感測(cè)系統(tǒng)，還包括: 三維圖像生成器，該三維圖像生成器被配置為通過(guò)組合深度信息和運(yùn)動(dòng)圖像數(shù)據(jù)來(lái)產(chǎn)生三維圖像。
16.根據(jù)權(quán)利要求8所述的深度感測(cè)系統(tǒng)，還包括: 在所述至少兩個(gè)運(yùn)動(dòng)傳感器中的每一個(gè)上堆疊的至少一個(gè)透鏡。
17.一種使用運(yùn)動(dòng)傳感器陣列的深度感測(cè)方法，該深度感測(cè)方法包括: 通過(guò)使用至少兩個(gè)運(yùn)動(dòng)傳感器感測(cè)對(duì)象的運(yùn)動(dòng)來(lái)產(chǎn)生運(yùn)動(dòng)圖像數(shù)據(jù)，所述至少兩個(gè)運(yùn)動(dòng)傳感器中的每一個(gè)包括多個(gè)運(yùn)動(dòng)傳感器像素；以及 從由所述至少兩個(gè)運(yùn)動(dòng)傳感器產(chǎn)生的運(yùn)動(dòng)圖像數(shù)據(jù)產(chǎn)生關(guān)于對(duì)象的深度信息。
18.根據(jù)權(quán)利要求17所述的深度感測(cè)方法，其中，產(chǎn)生運(yùn)動(dòng)圖像數(shù)據(jù)包括: 檢測(cè)入射在所述多個(gè)運(yùn)動(dòng)傳感器像素中的每一個(gè)上的光的強(qiáng)度的變化； 基于檢測(cè)到的變化來(lái)產(chǎn)生事件信號(hào)； 輸出產(chǎn)生事件信號(hào)的運(yùn)動(dòng)傳感器像素的地址信息；以及 基于該地址信息來(lái)產(chǎn)生運(yùn)動(dòng)圖像數(shù)據(jù)。
19.根據(jù)權(quán)利要求17所述的深度感測(cè)方法，其中，產(chǎn)生深度信息包括: 基于分別由所述至少兩個(gè)運(yùn)動(dòng)傳感器產(chǎn)生的運(yùn)動(dòng)圖像數(shù)據(jù)之間的差異來(lái)提取深度信息。
20.根據(jù)權(quán)利要求17所述的深度感測(cè)方法，還包括: 通過(guò)組合深度信息和運(yùn)動(dòng)圖像數(shù)據(jù)來(lái)產(chǎn)生三維圖像。
21.一種深度感測(cè)系統(tǒng)，包括: 運(yùn)動(dòng)傳感器陣列，該運(yùn)動(dòng)傳感器陣列被配置為在多個(gè)位置感測(cè)至少一個(gè)對(duì)象的運(yùn)動(dòng)，并且基于在所述多個(gè)位置感測(cè)到的運(yùn)動(dòng)來(lái)產(chǎn)生多個(gè)運(yùn)動(dòng)圖像數(shù)據(jù)；以及 圖像處理器，該圖像處理器被配置為基于產(chǎn)生的多個(gè)運(yùn)動(dòng)圖像數(shù)據(jù)來(lái)確定對(duì)象的深度信息。
22.根據(jù)權(quán)利要求21所述的深度感測(cè)系統(tǒng)，其中，運(yùn)動(dòng)傳感器陣列被配置為基于下述兩者中的至少之一來(lái)在所述多個(gè)位置中的每一個(gè)位置感測(cè)運(yùn)動(dòng): 在所述多個(gè)位置中的每一個(gè)位置中捕獲的幀的明/暗信息和至少一個(gè)存儲(chǔ)的明/暗信息，以及 被捕獲的幀的電壓值和至少一個(gè)存儲(chǔ)的電壓值。
23.根據(jù)權(quán)利要求21所述的深度感測(cè)系統(tǒng)，其中，圖像處理器被配置為基于產(chǎn)生的所述多個(gè)運(yùn)動(dòng)圖像數(shù)據(jù)中的至少兩個(gè)之間的差異來(lái)確定深度信息。
24.根據(jù)權(quán)利要求21所述的深度感測(cè)系統(tǒng)，還包括: 三維圖像生成器，該三維圖像生成器被配置為通過(guò)組合深度信息和產(chǎn)生的所述多個(gè)運(yùn)動(dòng)圖像數(shù)據(jù)來(lái)產(chǎn)生三維圖像。
25.根據(jù)權(quán)利要求21所述的深度感測(cè)系統(tǒng)，其中，運(yùn)動(dòng)傳感器陣列包括多個(gè)運(yùn)動(dòng)傳感器，所述多 個(gè)運(yùn)動(dòng)傳感器中的各個(gè)運(yùn)動(dòng)傳感器在所述多個(gè)位置中的一個(gè)位置感測(cè)運(yùn)動(dòng)。
【文檔編號(hào)】H01L27/146GK103813156SQ201310538133
【公開(kāi)日】2014年5月21日 申請(qǐng)日期:2013年11月4日 優(yōu)先權(quán)日:2012年11月2日
【發(fā)明者】金泰瓚, 金茂永 申請(qǐng)人:三星電子株式會(huì)社