優(yōu)先權(quán)

此申請(qǐng)要求2016年3月22日在美國(guó)專利商標(biāo)局提交并且被分配序號(hào)62/311,599的美國(guó)臨時(shí)專利申請(qǐng)的優(yōu)先權(quán)，通過引用將其全部?jī)?nèi)容結(jié)合在此。

本發(fā)明大體上涉及一種圖像表示和處理的方法和裝置，并且更具體地涉及一種用于動(dòng)態(tài)視覺傳感器(dvs)的圖像表示和處理的方法和裝置。

背景技術(shù)：

dvs是感測(cè)亮度變化的基于事件的攝像機(jī)。dvs并非以幀捕捉場(chǎng)景，而是功能類似于人類視網(wǎng)膜。即，dvs僅在事件發(fā)生時(shí)發(fā)送場(chǎng)景內(nèi)特定位置處的像素亮度的變化(例如，事件)。dvs的輸出是事件流，其中每個(gè)事件與事件狀態(tài)相關(guān)聯(lián)。

因?yàn)閐vs是沒有時(shí)間積分的異步傳感器，所以使用dvs形成的圖像通常含有大量噪聲。將噪聲濾波是dvs提供場(chǎng)景的有效表示的最重要的步驟之一。常規(guī)的圖像去噪是基于用于濾波的模板，其分析一組像素并且尋找偏置像素作為噪聲濾除，其中僅像素的空間相關(guān)性要緊。然而，dvs的每個(gè)事件不僅與空間信息(即，像素相對(duì)于其它像素的位置的位置)相關(guān)聯(lián)，而且與時(shí)間信息(即，像素信息相對(duì)于其它像素的信息的到達(dá)時(shí)間的到達(dá)時(shí)間)相關(guān)聯(lián)。

技術(shù)實(shí)現(xiàn)要素：

根據(jù)一個(gè)實(shí)施例，一種裝置包括圖像表示單元，該圖像表示單元配置成接收從由動(dòng)態(tài)視覺傳感器(dvs)感測(cè)的事件產(chǎn)生的幀序列并且從非噪聲事件產(chǎn)生置信圖；以及圖像去噪單元，該圖像去噪單元連接至該圖像表示單元并且配置成在時(shí)空域中將圖像去噪。

根據(jù)一個(gè)實(shí)施例，一種裝置包括dvs，該dvs配置成產(chǎn)生事件流；采樣單元，該采樣單元連接至該dvs并且配置成對(duì)該事件流采樣；圖像形成單元，該圖像形成單元連接至該采樣單元并且配置成對(duì)于該事件流的每個(gè)樣本形成圖像；圖像表示單元，該圖像表示單元連接至該圖像形成單元并且配置成產(chǎn)生非噪聲事件的置信圖；圖像去失真單元，該圖像去失真單元連接至該圖像表示單元并且配置成補(bǔ)償幀中的失真；以及圖像匹配單元，該圖像匹配單元連接至該圖像去失真單元和該采樣單元，并且配置成匹配幀且必要時(shí)調(diào)整采樣單元的采樣方法。

根據(jù)一個(gè)實(shí)施例，一種方法包括由圖像表示單元接收從由dvs感測(cè)的事件產(chǎn)生的幀序列，并且產(chǎn)生非噪聲事件的置信圖；以及由連接至該圖像表示單元的圖像去噪單元在時(shí)空域中將從這些幀形成的圖像去噪。

根據(jù)一個(gè)實(shí)施例，一種方法包括由dvs產(chǎn)生事件流；由連接至該dvs的采樣單元對(duì)該事件流采樣；由連接至該采樣單元的圖像形成單元形成該事件流的每個(gè)樣本的圖像；由連接至該圖像形成單元的圖像表示單元接收由該圖像形成單元形成的圖像并且從非噪聲事件產(chǎn)生置信圖；由連接至該圖像表示單元的圖像去失真單元補(bǔ)償幀中的失真；以及由連接至該圖像去失真單元和該采樣單元的圖像匹配單元匹配幀且必要時(shí)調(diào)整該采樣單元的采樣方法。

附圖說明

根據(jù)結(jié)合附圖的以下詳述，本公開的某些實(shí)施例的以上和其它方面、特征和優(yōu)點(diǎn)將更加顯然，在附圖中：

圖1是根據(jù)本公開的實(shí)施例的dvs事件的幀的圖像表示和處理的裝置的框圖；

圖2是根據(jù)本公開的實(shí)施例的dvs事件的圖像表示和處理的方法的流程圖；

圖3是根據(jù)本公開的實(shí)施例的dvs事件的圖像表示和處理的裝置的框圖；

圖4是根據(jù)本公開的實(shí)施例的dvs事件的圖像表示和處理的方法的流程圖；

圖5是根據(jù)本公開的實(shí)施例的dvs事件的圖像表示和處理的裝置的框圖；以及

圖6是根據(jù)本公開的實(shí)施例的dvs事件的圖像表示和處理的方法的流程圖。

具體實(shí)施方式

在下文中，參考附圖詳細(xì)地描述本公開的實(shí)施例。應(yīng)當(dāng)注意的是，雖然相同元件在不同附圖中示出，但是它們將由相同參考數(shù)字指定。在以下描述中，僅僅提供諸如詳細(xì)配置和組件的特定細(xì)節(jié)來輔助全面理解本公開的實(shí)施例。因此，對(duì)于本領(lǐng)域技術(shù)人員應(yīng)該顯然的是，在不脫離本公開的范圍和精神的情況下，可以對(duì)本文所述的實(shí)施例做出各種改變和修改。另外，為了清楚和簡(jiǎn)明起見省略公知功能和結(jié)構(gòu)的描述。下文所述的術(shù)語是在考慮本公開中的功能而定義的術(shù)語，并且可以根據(jù)用戶、用戶意圖或習(xí)慣而有所不同。因此，術(shù)語的定義應(yīng)當(dāng)基于整個(gè)說明書的內(nèi)容來確定。

本公開可以具有各種修改和各種實(shí)施例，下文參考附圖詳細(xì)地描述其中的實(shí)施例。然而，應(yīng)當(dāng)理解的是，本公開不限于這些實(shí)施例，而是包括本公開的精神和范圍內(nèi)的所有修改、等效物和替代物。

雖然包括諸如第一、第二等序數(shù)的術(shù)語可以用于描述各種元件，但是結(jié)構(gòu)元件不被這些術(shù)語約束。術(shù)語僅用于區(qū)分一個(gè)元件與另一個(gè)元件。例如，在不脫離本公開的范圍的情況下，第一結(jié)構(gòu)元件可以稱作第二結(jié)構(gòu)元件。類似地，第二結(jié)構(gòu)元件也可以稱作第一結(jié)構(gòu)元件。如本文所使用，術(shù)語“和/或”包括一個(gè)或多個(gè)相關(guān)項(xiàng)的任何及全部組合。

本文所使用的術(shù)語僅僅用于描述本公開的各種實(shí)施例，但不意圖限制本公開。除非上下文另有明確指示，否則單數(shù)形式意圖包括復(fù)數(shù)形式。在本公開中，應(yīng)當(dāng)理解的是，術(shù)語“包括”或“具有”指示特征、數(shù)字、步驟、操作、結(jié)構(gòu)元件、部件或其組合的存在，但不排除一個(gè)或多個(gè)其它特征、數(shù)字、步驟、操作、結(jié)構(gòu)元件、部件或其組合的存在或添加的可能性。

除非不同地定義，否則本文所使用的所有術(shù)語具有與本公開所屬領(lǐng)域的技術(shù)人員所理解的含義相同的含義。除非本公開中明確定義，否則諸如通用詞典中定義的術(shù)語要被解釋為具有與相關(guān)技術(shù)領(lǐng)域中的背景含義相同的含義，但不應(yīng)被解釋為具有理想的或過度正式的含義。

本公開提供一種用于在時(shí)空域中將噪聲濾波的dvs的去噪方法以及評(píng)估每個(gè)有效(已去噪)像素的重要性的表示。該表示稱作置信圖并且在維持幀之間的關(guān)鍵特征上有用，且導(dǎo)致相鄰幀中的更好匹配。

在本公開的實(shí)施例中，提供用于對(duì)dvs的事件采樣的裝置和方法。為了將dvs利用于某些任務(wù)(例如，視覺識(shí)別、同時(shí)定位和映射(slam)、圖案識(shí)別、場(chǎng)景理解、用于基于姿勢(shì)的用戶設(shè)備交互(例如，電視(tv)、游戲)的姿勢(shì)識(shí)別、用戶識(shí)別(例如，用于tv、移動(dòng)設(shè)備)以及機(jī)器人)利用dvs，必須將dvs流轉(zhuǎn)換為圖像以反映環(huán)境中的結(jié)構(gòu)圖案。以某種方式對(duì)dvs事件的流(例如，事件流)采樣以產(chǎn)生其間變化減少的圖像。減少?gòu)氖录鳟a(chǎn)生的圖像的變化有利于基于圖像的任務(wù)。

本公開涉及一種dvs最小化幀間變化從而有益于幀間匹配的圖像表示和處理的裝置和方法。另外，本公開消除噪聲并同時(shí)維持dvs序列幀的關(guān)鍵事件(例如，關(guān)鍵特征)。另外，本公開涉及一種基于置信圖的圖像表示的加權(quán)圖像匹配的裝置和方法，其導(dǎo)致提高匹配精確度，有益于諸如圖像識(shí)別、slam等dvs應(yīng)用。

圖1是根據(jù)本公開的實(shí)施例的dvs事件的圖像表示和處理的裝置100的框圖。

參考圖1，裝置100包括圖像表示單元101和圖像去噪單元103。

圖像表示單元101包含用于接收從dvs感測(cè)的事件產(chǎn)生的幀序列的輸入以及輸出，并且配置成從非噪聲事件產(chǎn)生置信圖。

dvs捕捉場(chǎng)景內(nèi)的像素亮度的變化(例如，事件)并且輸出事件流，其中每個(gè)事件具有狀態(tài)。事件的狀態(tài)包括在攝像機(jī)陣列內(nèi)的事件的位置以及二進(jìn)制值，該二進(jìn)制值指示與相關(guān)位置的緊接在前的狀態(tài)相比，相關(guān)事件的亮度的正或負(fù)變化。四個(gè)值可以表示事件狀態(tài)(即，像素的x和y坐標(biāo)指示事件的位置，如與相關(guān)位置的緊接在前的事件狀態(tài)相比指示事件的亮度的正變化的+1值、指示事件的亮度的負(fù)變化的-1值、或指示事件的亮度無變化的0值，以及該事件的時(shí)間戳)。

采樣單元可以包括輸入和輸出，所述輸入連接至dvs的輸出用于從dvs接收事件流，所述輸出用于輸出事件流的樣本。采樣單元可以基于時(shí)間周期、事件數(shù)量或其組合對(duì)事件流采樣。采樣單元可以包括用于向圖像形成單元輸出事件流的樣本的輸出。

圖像形成單元可以包括連接至采樣單元的輸出用于接收事件流的樣本的輸入。將某個(gè)數(shù)量的dvs事件采樣以形成圖像，其中含有一個(gè)或多個(gè)事件的像素位置設(shè)定為非零值且其它像素位置設(shè)定為零?？梢酝ㄟ^不同方法來確定每個(gè)非零像素的值。例如，每個(gè)非零像素可以由其最新事件狀態(tài)表示，例如，+1代表亮度的正變化且-1代表亮度的負(fù)變化，出現(xiàn)在位置處的事件數(shù)量或最新事件的到達(dá)時(shí)間。圖像形成單元從事件流的每個(gè)樣本形成圖像并且輸出所形成的每個(gè)圖像。由圖像形成單元輸出的圖像可以在需要圖像的應(yīng)用或應(yīng)用單元(例如，視覺識(shí)別、slam、圖案識(shí)別、場(chǎng)景理解、用于基于姿勢(shì)的用戶設(shè)備交互(例如，電視(tv)、游戲)的姿勢(shì)識(shí)別、用戶識(shí)別(例如，用于tv、移動(dòng)設(shè)備)以及機(jī)器人)中使用。由圖像形成單元形成的圖像序列可以作為輸入提供至圖像表示單元101。

圖像表示單元101對(duì)于由圖像表示單元101接收的幀序列中的每個(gè)dvs事件確定正討論的事件的預(yù)定鄰域內(nèi)和預(yù)定時(shí)間窗w內(nèi)的事件的數(shù)量n1。如果正討論的事件的n1小于第一閾值t1，那么正討論的事件作為噪聲而被丟棄。非噪聲事件被視為有效事件。

對(duì)于每個(gè)非噪聲事件，確定鄰域密度。可以使用如下等式(1)確定正討論的事件的鄰域密度i(valid_evt)：

其中m是正討論的事件的預(yù)定鄰域內(nèi)的事件的數(shù)量(包括正討論的事件)，s是預(yù)定時(shí)間窗，r1是用于避免小于r1的s值的閾值，r2是對(duì)于產(chǎn)生i(valid_evt)的較高值來說m被視為大(例如，大于預(yù)定值)時(shí)的閾值，且k是預(yù)定常數(shù)。然而，本公開不限于使用以上等式(1)來確定鄰域密度。可以使用用于確定鄰域密度的其它等式。

具有大于第二閾值t2的鄰域密度的每個(gè)事件被識(shí)別為其中存在高置信的事件，該事件是有效事件(例如，置信事件)而不是噪聲。置信事件包括在置信圖中。當(dāng)前幀中的置信事件用作下一幀中用于去噪的支持事件，如下文更詳細(xì)地描述。

圖像去噪單元103包括連接至圖像表示單元101的輸出的輸入以及輸出，并且配置成在時(shí)空域中將圖像去噪。

圖像去噪單元103對(duì)于由圖像表示單元101接收的幀序列中的每個(gè)dvs事件確定正討論的事件的預(yù)定鄰域內(nèi)和預(yù)定時(shí)間窗w內(nèi)的事件的數(shù)量n2。

對(duì)于正討論的事件的幀(例如，當(dāng)前幀)的對(duì)應(yīng)鄰域內(nèi)的當(dāng)前幀的緊接在前的幀，確定緊接在前幀中的置信事件的數(shù)量c。確定值(n2+(αxc))，其中α是預(yù)定常數(shù)。如果正討論的事件的(n2+(αxc))小于第三閾值t3，那么正討論的事件作為噪聲而丟棄。然后由圖像去噪單元103輸出已去噪幀。

圖2是根據(jù)本公開的實(shí)施例的dvs事件的圖像表示和處理的方法的流程圖。

參考圖2，在201處，在圖像表示單元中對(duì)于dvs幀序列中的每個(gè)dvs事件確定在正討論的事件的預(yù)定鄰域內(nèi)和預(yù)定時(shí)間窗w內(nèi)的事件的數(shù)量n1。

如果對(duì)于正討論的事件，n1小于第一閾值t1，那么在203處，在圖像表示單元中將正討論的事件作為噪聲而丟棄。非噪聲事件被視為有效事件。

對(duì)于每個(gè)非噪聲事件，在205處，在圖像表示單元中確定鄰域密度。可以使用上述等式(1)確定正討論的事件的鄰域密度i(valid_evt)。然而，本公開不限于使用以上等式(1)來確定鄰域密度。可以使用用于確定鄰域密度的其它等式。

在207處，在圖像表示單元中將具有大于第二閾值的鄰域密度的每個(gè)事件識(shí)別為其中存在高置信的事件，該事件是有效事件(例如，置信事件)而非噪聲，且置信事件包括在置信圖中。當(dāng)前幀中的置信事件用作下一幀中用于去噪的支持事件，如下文更詳細(xì)地描述。

在209處，圖像去噪單元對(duì)于由圖該幀序列中的每個(gè)dvs事件確定正討論的事件的預(yù)定鄰域內(nèi)和預(yù)定時(shí)間窗w內(nèi)的事件的數(shù)量n2。

在211處，對(duì)于在正討論的事件的幀(例如，當(dāng)前幀)的對(duì)應(yīng)鄰域內(nèi)的當(dāng)前幀的緊接在前的幀，由圖像去噪單元確定在前幀中的置信事件的數(shù)量c。

在213處，由圖像去噪單元確定值(n2+(αxc))，其中α是預(yù)定常數(shù)。

在215處，如果正討論的事件的(n2+(αxc))小于第三閾值t3，那么將正討論的事件作為噪聲丟棄，且然后由圖像去噪單元輸出已去噪的幀。

圖3是根據(jù)本公開的實(shí)施例的dvs事件的圖像表示和處理的裝置300的框圖。

參考圖3，裝置300包括dvs301、采樣單元303、圖像形成單元305、圖像表示單元307、圖像去失真單元309以及圖像匹配單元311。

在本公開的實(shí)施例中，裝置300還可以包括圖像表示單元307與圖像去失真單元309之間的圖像去噪單元以將圖像去噪。然而，圖像匹配并不需要圖像去噪單元。

dvs301捕捉場(chǎng)景內(nèi)的像素亮度的變化(例如，事件)并且輸出事件流，其中每個(gè)事件具有狀態(tài)。事件的狀態(tài)包括事件在攝像機(jī)陣列內(nèi)的位置以及指示如與相關(guān)位置的緊接在前的狀態(tài)相比，該相關(guān)事件的亮度的正或負(fù)變化的二進(jìn)制值。

采樣單元303包括連接至dvs301的輸出用于從dvs301接收事件流的第一輸入、用于調(diào)整采樣單元303的采樣方式的第二輸入，以及用于輸出事件流的樣本的輸出。對(duì)于前兩個(gè)樣本，采樣方式可以相同，因?yàn)樵诳梢詫?duì)采樣方式做出調(diào)整之前可需要至少兩個(gè)圖像。此后，采樣方式對(duì)于下一樣本可以不同。

圖像形成單元305包括連接至采樣單元303的輸出用于接收事件流的樣本的輸入。圖像形成單元305從事件流的每個(gè)樣本形成圖像并且輸出事件流的每個(gè)樣本的圖像。針對(duì)前兩個(gè)樣本形成的圖像是基于相同采樣方式形成，因?yàn)樵诳梢詫?duì)采樣方式做出調(diào)整之前可需要至少兩個(gè)圖像。此后，每個(gè)后續(xù)圖像可以基于不同于緊接在前的采樣方式的采樣方式形成。

圖像表示單元307包括連接至圖像形成單元305的輸出的輸入以及輸出。圖像表示單元307的功能可以類似于上述圖像表示單元101。

圖像去失真單元309包括連接至圖像形成單元307的輸出的輸入以及輸出。圖像去失真單元309去除或修改已去噪圖像以補(bǔ)償失真。失真補(bǔ)償包括減少失真。然而，本公開不限于此。

圖像匹配單元311包括連接至圖像去失真單元309的輸出的輸入以及連接至采樣單元303的第二輸入的輸出。圖像匹配單元311比較由圖像去失真單元309輸出的兩個(gè)圖像并且確定兩個(gè)圖像中的事件是否匹配(例如，共享相同位置)。已匹配事件稱作參考事件。圖像匹配單元311向采樣單元303輸出信號(hào)以調(diào)整采樣方式，其中可以減少采樣方式(例如，減少采樣周期、減少樣本中的事件的預(yù)定數(shù)量或減少采樣周期和事件數(shù)量的組合)，可以增加采樣方式(例如，增加采樣周期、增加樣本中的事件的預(yù)定數(shù)量或增加采樣周期和事件數(shù)量的組合)或可以維持采樣方式。

在本公開的實(shí)施例中，圖像匹配單元311可以使用加權(quán)幀到幀匹配來匹配幀?？梢匀缫韵碌仁?2)中所表示般執(zhí)行加權(quán)幀到幀匹配：

其中argminf(x)是確定函數(shù)f(x)獲得最小值所針對(duì)的值x的最小值函數(shù)的自變量。此處的目標(biāo)函數(shù)是為了最小化兩個(gè)圖像之間的點(diǎn)對(duì)點(diǎn)光子誤差，其中i是第一圖像i⁽¹⁾的置信圖c⁽¹⁾中的位置，pi是位置i的坐標(biāo)，i⁽²⁾是第二圖像，且t是最小化argmin函數(shù)所尋求的變換矩陣。然而，本公開不限于使用如由上述等式(2)所表示的加權(quán)幀到幀匹配。在本公開中可以使用用于加權(quán)幀到幀匹配的其它等式。

由圖像匹配單元311輸出的圖像可以在需要圖像的應(yīng)用或應(yīng)用單元(例如，視覺識(shí)別、同時(shí)定位和映射(slam)、圖案識(shí)別、場(chǎng)景理解、用于基于姿勢(shì)的用戶設(shè)備交互(例如，電視(tv)、游戲)的姿勢(shì)識(shí)別、用戶識(shí)別(例如，用于tv、移動(dòng)設(shè)備)以及機(jī)器人)中使用。

圖4是根據(jù)本公開的實(shí)施例的dvs事件的圖像表示和處理的方法的流程圖。

參考圖4，在401處由dvs(例如，圖3的dvs301)產(chǎn)生事件流。

在403處，由采樣單元(例如，圖3的采樣單元303)以某種方式對(duì)事件流采樣。

在405處，由圖像形成單元(例如，圖3的圖像形成單元305)對(duì)樣本產(chǎn)生圖像。

在407處，由圖像表示單元(例如，圖1的圖像表示單元101)識(shí)別置信事件。

在本公開的實(shí)施例中，由圖像去噪單元(例如，圖1的圖像去噪單元103)將圖像去噪。然而，圖像匹配并不需要圖像去噪。

在409處，由去失真單元(例如，圖3的圖像去失真單元309)將已去噪圖像去失真。

在411處，由圖像匹配單元(例如，圖3的圖像匹配單元311)匹配圖像，且必要時(shí)調(diào)整采樣。

在本公開的實(shí)施例中，可以使用加權(quán)幀到幀匹配來執(zhí)行幀的圖像匹配?？梢匀缟系仁?2)中所表示般執(zhí)行加權(quán)幀到幀匹配。然而，本公開不限于使用如由上述等式(2)所表示的加權(quán)幀到幀匹配。在本公開中可以使用用于加權(quán)幀到幀匹配的其它等式。

圖5是根據(jù)本公開的實(shí)施例的dvs事件的圖像表示和處理的裝置500的框圖。圖5涉及slam應(yīng)用。

參考圖5，裝置500包括dvs501、采樣單元503、圖像形成單元505、圖像表示單元507、圖像去失真單元509、圖像匹配單元511、攝像機(jī)姿態(tài)估計(jì)單元513、攝像機(jī)姿態(tài)融合單元515以及slam單元517。

在本公開的實(shí)施例中，可以在圖像表示單元507與圖像去失真單元509之間使用圖像去噪單元以將圖像去噪。然而，圖像匹配和slam并不需要圖像去噪。

dvs501捕捉場(chǎng)景內(nèi)的像素亮度的變化(例如，事件)并且輸出事件流，其中每個(gè)事件具有狀態(tài)。事件的狀態(tài)包括事件在攝像機(jī)陣列內(nèi)的位置以及指示如與相關(guān)位置的緊接在前的狀態(tài)相比，該相關(guān)事件的亮度的正或負(fù)變化的二進(jìn)制值。

采樣單元503包括連接至dvs501的輸出用于從dvs501接收事件流的第一輸入、用于調(diào)整采樣單元503的采樣方式的第二輸入，以及用于輸出事件流的樣本的輸出。對(duì)于前兩個(gè)樣本，采樣方式可以相同，因?yàn)樵诳梢詫?duì)采樣方式做出調(diào)整之前可需要至少兩個(gè)圖像。此后，采樣方式對(duì)于下一樣本可以不同。

圖像形成單元505包括連接至采樣單元503的輸出用于接收事件流的樣本的輸入。圖像形成單元505從事件流的每個(gè)樣本形成圖像并且輸出事件流的每個(gè)樣本的圖像。針對(duì)前兩個(gè)樣本形成的圖像是基于相同采樣方式形成，因?yàn)樵诳梢詫?duì)采樣方式做出調(diào)整之前可需要至少兩個(gè)圖像。此后，每個(gè)后續(xù)圖像可以基于不同于緊接在前的采樣方式的采樣方式形成。

圖像表示單元507包括連接至圖像形成單元505的輸出的輸入以及輸出。圖像表示單元507可以類似于上述圖像表示單元101作用。

圖像去失真單元509包括連接至圖像形成單元507的輸出的輸入以及輸出。圖像去失真單元509去除或修改已去噪圖像以補(bǔ)償失真。本公開可以通過減少失真補(bǔ)償失真。然而，本公開不限于此。

圖像匹配單元511包括連接至圖像去失真單元509的輸出的輸入，以及連接至采樣單元503的第二輸入的輸出。圖像匹配單元511比較由圖像去失真單元509輸出的兩個(gè)圖像，并且確定這兩個(gè)圖像中的事件是否匹配(例如，共享相同位置)。已匹配事件稱作參考事件。圖像匹配單元511向采樣單元503輸出信號(hào)以調(diào)整采樣方式，其中可以減少采樣方式(例如，減少采樣周期、減少樣本中的事件的預(yù)定數(shù)量或減少采樣周期和事件數(shù)量的組合)，可以增加采樣方式(例如，增加采樣周期、增加樣本中的事件的預(yù)定數(shù)量或增加采樣周期和事件數(shù)量的組合)或可以維持采樣方式。

在本公開的實(shí)施例中，圖像匹配單元511可以使用加權(quán)幀到幀匹配來匹配幀。可以如上述等式(2)中所表示般執(zhí)行加權(quán)幀到幀匹配。然而，本公開不限于使用如由上述等式(2)所表示的加權(quán)幀到幀匹配。在本公開中可以使用用于加權(quán)幀到幀匹配的其它等式。

攝像機(jī)姿態(tài)估計(jì)單元513包括連接至圖像匹配單元511的輸出的輸入以及輸出。攝像機(jī)姿態(tài)估計(jì)單元513對(duì)于圖像估計(jì)攝像機(jī)的姿態(tài)。

攝像機(jī)姿態(tài)融合單元515包括連接至攝像機(jī)姿態(tài)估計(jì)單元513的輸出的輸入以及輸出。攝像機(jī)姿態(tài)融合單元515基于與圖像相關(guān)聯(lián)的已估計(jì)攝像機(jī)姿態(tài)來融合圖像。

slam單元517包括連接至攝像機(jī)姿態(tài)融合單元515的輸出的輸入以及輸出。slam單元517同時(shí)確定圖像中的定位和映射。

圖6是根據(jù)本公開的實(shí)施例的dvs事件的圖像表示和處理的方法的流程圖。圖6涉及slam應(yīng)用。

參考圖6，在601處由dvs(例如，圖5的dvs501)產(chǎn)生事件流。

在603處，由采樣單元(例如，圖5的采樣單元503)以某種方式對(duì)事件流采樣。

在605處，由圖像形成單元(例如，圖5的圖像形成單元505)對(duì)樣本產(chǎn)生圖像。

在607處，由圖像表示單元(例如，圖1的圖像表示單元101)識(shí)別置信事件。

在本公開的實(shí)施例中，由圖像去噪單元(例如，圖1的圖像去噪單元103)將圖像去噪。然而，slam不需要圖像去噪。

在609處，由去失真單元(例如，圖5的去失真單元509)將已去噪圖像去失真。

在611處，由圖像匹配單元(例如，圖5的圖像匹配單元511)匹配圖像，且必要時(shí)調(diào)整采樣。

在本公開的實(shí)施例中，可以使用加權(quán)幀到幀匹配來執(zhí)行幀的圖像匹配?？梢匀缟系仁?2)中所表示般執(zhí)行加權(quán)幀到幀匹配。然而，本公開不限于使用如由上述等式(2)所表示的加權(quán)幀到幀匹配。在本公開中可以使用用于加權(quán)幀到幀匹配的其它等式。

在613處，由攝像機(jī)姿態(tài)估計(jì)單元單元(例如，圖5的攝像機(jī)姿態(tài)估計(jì)單元513)估計(jì)圖像的攝像機(jī)姿態(tài)。

在615處，由攝像機(jī)姿態(tài)融合單元(例如，圖5的攝像機(jī)姿態(tài)融合單元515)基于與圖像相關(guān)聯(lián)的已估計(jì)攝像機(jī)姿態(tài)融合圖像。

在617處，由slam單元(例如，圖5的slam單元517)同時(shí)確定圖像的定位和映射。

雖然本公開的詳細(xì)描述中已經(jīng)描述了本公開的某些實(shí)施例，但是在不脫離本公開的范圍的情況下可以以各種形式修改本公開。因此，本公開的范圍不應(yīng)僅基于所述實(shí)施例來確定，而是基于附圖和其等效物來確定。