基于事件的圖像處理設(shè)備和方法
【專利摘要】提供一種基于事件的圖像處理設(shè)備和方法，所述設(shè)備包括：傳感器，感測多個(gè)圖像像素中預(yù)定事件的發(fā)生，并且響應(yīng)于感測到的發(fā)生，輸出事件信號；時(shí)間戳單元，通過將與事件信號相應(yīng)的像素映射到從傳感器輸出事件信號的時(shí)間來產(chǎn)生時(shí)間戳信息；光流產(chǎn)生器，響應(yīng)于事件信號的輸出，基于時(shí)間戳信息來產(chǎn)生光流。
【專利說明】基于事件的圖像處理設(shè)備和方法
[0001]本申請要求于2012年6月19日提交到韓國知識產(chǎn)權(quán)局的第10-2012-0065409號韓國專利申請的優(yōu)先權(quán)利益，其公開通過全部引用被合并于此。
【技術(shù)領(lǐng)域】
[0002]與示例實(shí)施例一致的方法和設(shè)備涉及一種基于事件的圖像處理設(shè)備和方法。
【背景技術(shù)】
[0003]圖像處理廣義上指的是按照圖像的形式輸入或輸出的所有類型的信息的處理，并且可包括，例如，處理圖片或運(yùn)動圖像的任務(wù)等。大多數(shù)圖像處理技術(shù)可采用將圖像視為二維(2D)信號的同時(shí)對圖像應(yīng)用標(biāo)準(zhǔn)的信號處理技術(shù)的方法。
[0004]圖像傳感器是指感測圖像處理的輸入數(shù)據(jù)的裝置，并且可包括，例如，與使用制造半導(dǎo)體裝置的技術(shù)的集成電路相應(yīng)的光電轉(zhuǎn)換裝置等。
[0005]通常使用線性圖像傳感器和陣列圖像傳感器。線性圖像傳感器與用于傳真機(jī)或復(fù)印機(jī)的一維(ID)圖像傳感器相應(yīng)，陣列圖像傳感器與用于電視攝像機(jī)或數(shù)碼相機(jī)的2D圖像傳感器相應(yīng)。
[0006]線性圖像傳感器可包括用于檢測光并產(chǎn)生電子的布置成行的光二極管。線性圖像傳感器可沿著垂直于傳感器線的方向掃描目標(biāo)對象(例如，文件或圖片)，以獲得具有一面積的區(qū)域的靜止圖像。
[0007]陣列圖像傳感器可包括二維地布置的光二極管。由于陣列圖像傳感器可在單次地獲得屏幕的整個(gè)圖像，陣列圖像傳感器也可被用于獲得運(yùn)動圖像，例如，視頻。

【發(fā)明內(nèi)容】

[0008]根據(jù)示例性實(shí)施例，提供一種圖像處理設(shè)備，包括:傳感器，感測多個(gè)圖像像素中預(yù)定事件的發(fā)生，并且響應(yīng)于感測到的發(fā)生，輸出事件信號；時(shí)間戳單元，通過將與事件信號相應(yīng)的像素映射到從傳感器輸出事件信號的時(shí)間來產(chǎn)生時(shí)間戳信息；光流產(chǎn)生器，響應(yīng)于由傳感器輸出的事件信號，基于時(shí)間戳信息來產(chǎn)生光流。
[0009]光流可包括像素的速度矢量。
[0010]光流產(chǎn)生器可包括:相鄰像素獲得單元，獲得像素的相鄰像素；時(shí)間差計(jì)算單元，使用時(shí)間戳信息來計(jì)算與至少一個(gè)像素和相鄰像素之間的時(shí)間差相關(guān)的信息；距離差計(jì)算單元，計(jì)算與所述至少一個(gè)像素和相鄰像素之間的距離差相關(guān)的信息；光流計(jì)算單元，基于與時(shí)間差相關(guān)的信息和與距離差相關(guān)的信息來計(jì)算光流。
[0011]當(dāng)像素和相鄰像素之間的時(shí)間差超出預(yù)定時(shí)間范圍的窗口時(shí)，時(shí)間差計(jì)算單元可計(jì)算出與時(shí)間差相關(guān)的信息是“ O ”。
[0012]與距離差相關(guān)的信息可包括像素和相鄰像素之間的像素距離的倒數(shù)。
[0013]光流計(jì)算單元可使用與時(shí)間差相關(guān)的信息和與距離差相關(guān)的信息來計(jì)算與像素相應(yīng)的兩維(2D)矢量A，并且為了計(jì)算光流，執(zhí)行將2D矢量A除以2D矢量A的內(nèi)積值的運(yùn)笪
[0014]所述設(shè)備可還包括:運(yùn)算單元，基于光流執(zhí)行關(guān)于用于用戶界面的信息的運(yùn)算。
[0015]用于用戶界面的信息可包括:第一速度、第二速度、第三速度和第四速度中的至少一個(gè)，其中，與多個(gè)圖像像素相應(yīng)的對象在平行于布置傳感器的傳感器平面的平面上以所述第一速度沿著X軸方向移動，對象在所述平面上以所述第二速度沿著y軸方向移動，對象以所述第三速度沿著垂直于所述平面的方向移動，對象以第四速度在所述平面上旋轉(zhuǎn)。
[0016]運(yùn)算單元可包括:平面速度運(yùn)算單元，基于光流來執(zhí)行關(guān)于第一速度和第二速度的運(yùn)算；光流中心運(yùn)算單元，基于光流來執(zhí)行關(guān)于光流的中心的運(yùn)算；z軸速度運(yùn)算單元，基于光流和光流的中心來執(zhí)行關(guān)于第三速度的運(yùn)算；角速度運(yùn)算單元，基于光流和光流的中心來執(zhí)行關(guān)于第四速度的運(yùn)算。
[0017]針對關(guān)于第一速度和第二速度的運(yùn)算，平面速度運(yùn)算單元可執(zhí)行關(guān)于光流的平均值的運(yùn)算。
[0018]針對關(guān)于光流的中心的運(yùn)算，光流中心運(yùn)算單元可使用包括在光流中的像素的位置和像素的速度矢量的大小來執(zhí)行光流的中心的運(yùn)算。
[0019]針對關(guān)于第三速度的運(yùn)算，z軸速度運(yùn)算單元可使用光流的中心和像素的位置來產(chǎn)生與像素相應(yīng)的第一速度，并使用包括在光流中的像素的第一速度和速度矢量來執(zhí)行內(nèi)積運(yùn)算。
[0020]針對關(guān)于第四速度的運(yùn)算，角速度運(yùn)算單元可使用光流的中心和像素的位置來產(chǎn)生與像素相應(yīng)的第一矢量，并使用包括在光流中的像素的第一矢量和速度矢量來執(zhí)行向量積運(yùn)算。
[0021]時(shí)間戳信息可包括與在多個(gè)圖像像素的每一個(gè)中發(fā)生預(yù)定事件的最近時(shí)間相關(guān)的信息。
[0022]預(yù)定事件可包括在單位時(shí)間段內(nèi)圖像像素的亮度增加大于等于預(yù)定值的值的事件和在單位時(shí)間內(nèi)圖像像素的亮度減少大于或等于預(yù)定值的值的事件中的至少一個(gè)。
[0023]根據(jù)其它示例性實(shí)施例，提供一種圖像處理方法，包括:從感測多個(gè)圖像像素中預(yù)定事件的發(fā)生的傳感器接收事件信號；響應(yīng)于接收到的事件信號，通過將與事件信號相應(yīng)的像素映射到輸出事件信號的時(shí)間來產(chǎn)生時(shí)間戳信息；基于時(shí)間戳信息來產(chǎn)生包括像素的速度矢量的光流。
[0024]光流的產(chǎn)生的步驟可包括:獲得像素的相鄰像素，使用時(shí)間戳信息來計(jì)算與像素和相鄰像素之間的時(shí)間差相關(guān)的信息；計(jì)算與像素和相鄰像素之間的距離差相關(guān)的信息；基于與時(shí)間差相關(guān)的信息和與距離差相關(guān)的信息來計(jì)算光流。
[0025]所述方法可還包括:基于光流來執(zhí)行關(guān)于用于用戶界面的信息的運(yùn)算，用于用戶界面的信息可包括第一速度、第二速度、第三速度和第四速度中的至少一個(gè)，其中，包括在多個(gè)圖像像素中的對象在平行于布置傳感器的傳感器平面的平面上以所述第一速度沿著X軸方向移動，對象在所述平面上以所述第二速度沿著y軸方向移動，對象以所述第三速度沿著垂直于所述平面的方向移動，對象以所述第四速度在所述平面上旋轉(zhuǎn)。
[0026]所述執(zhí)行的步驟可包括:基于光流來執(zhí)行關(guān)于第一速度和第二速度的運(yùn)算；基于光流來執(zhí)行關(guān)于光流的中心的運(yùn)算；基于光流和光流的中心來執(zhí)行關(guān)于第三速度的運(yùn)算；基于光流和光流的中心來執(zhí)行關(guān)于第四速度的運(yùn)算。【專利附圖】

【附圖說明】
[0027]通過下面結(jié)合附圖對特定示例性實(shí)施例的詳細(xì)描述，示例性實(shí)施例的上述和其它方面將變得清楚和更易于理解，其中:
[0028]圖1是示出根據(jù)示例性實(shí)施例的基于事件的圖像處理設(shè)備的框圖；
[0029]圖2A和圖2B是示出根據(jù)示例性實(shí)施例的時(shí)間戳信息的示圖；
[0030]圖3是示出根據(jù)示例性實(shí)施例的包括在基于事件的圖像處理設(shè)備中的光流產(chǎn)生器的框圖；
[0031]圖4A到圖4C是示出根據(jù)示例性實(shí)施例的由光流產(chǎn)生器產(chǎn)生的光流的示圖；
[0032]圖5A是示出根據(jù)示例性實(shí)施例的包括在基于事件的圖像處理設(shè)備中的運(yùn)算單元的框圖；
[0033]圖5B是示出根據(jù)示例性實(shí)施例的由運(yùn)算單元產(chǎn)生的用于用戶界面的信息的示圖；
[0034]圖6是示出根據(jù)示例性實(shí)施例的執(zhí)行關(guān)于光流的中心的運(yùn)算的方法的示圖；
[0035]圖7是示出根據(jù)示例性實(shí)施例的執(zhí)行關(guān)于z軸速度和角速度的運(yùn)算的方法的示圖；
[0036]圖8是示出根據(jù)示例性實(shí)施例的基于事件的圖像處理方法的流程圖。
【具體實(shí)施方式】
[0037]現(xiàn)在將詳細(xì)描述示例性實(shí)施例，其示例在附圖中示出，其中，相同的參考標(biāo)號始終指示相同的元件。下面通過參照附圖來描述示例性實(shí)施例以解釋本公開。
[0038]圖1是示出根據(jù)示例性實(shí)施例的基于事件的圖像處理設(shè)備100的框圖。
[0039]參照圖1，設(shè)備100包括傳感器110、時(shí)間戳單元120和光流產(chǎn)生器130。
[0040]傳感器110可時(shí)間連續(xù)地接收輸入圖像數(shù)據(jù)。根據(jù)示例性實(shí)施例，傳感器110可感測在包括在接收到的圖像數(shù)據(jù)中的多個(gè)圖像像素中的每一個(gè)中預(yù)定事件的發(fā)生。以下，術(shù)語像素或多個(gè)像素可分別指圖像像素或多個(gè)圖像像素。
[0041]根據(jù)示例性實(shí)施例，預(yù)定事件可包括下面被稱為“變亮事件”的事件和下面被稱為“變暗事件”的事件中的至少一個(gè)，其中，當(dāng)在單位時(shí)間段內(nèi)多個(gè)圖像像素中的每一個(gè)的亮度增加大于或等于預(yù)定值的值時(shí)，所述變亮事件發(fā)生，當(dāng)在單位時(shí)間內(nèi)，多個(gè)圖像像素的每一個(gè)的亮度減少大于或等于預(yù)定值的值時(shí)，所述變暗事件發(fā)生。
[0042]例如，傳感器110可感測包括在正被連續(xù)接收的圖像數(shù)據(jù)中的、在多個(gè)像素的每一個(gè)中發(fā)生的與每個(gè)像素的亮度相關(guān)的事件。
[0043]因此，設(shè)備100可針對發(fā)生預(yù)定事件(例如，與每個(gè)像素的亮度相關(guān)的事件)的像素來執(zhí)行圖像處理，從而，當(dāng)與針對每一幀的所有像素執(zhí)行圖像處理的方案比較時(shí)，減少很大一部分的計(jì)算量。
[0044]另外，當(dāng)感測到預(yù)定事件發(fā)生時(shí)，傳感器110可輸出事件信號。這里，事件信號可表示基于預(yù)定事件的異步信號，并可包括與至少一個(gè)發(fā)生預(yù)設(shè)事件的像素相關(guān)的信息。
[0045]例如，當(dāng)感測到(3，10)處的第一像素的亮度和(20，20)處的第二像素的亮度增加大于或等于預(yù)定值的值時(shí)，傳感器110可輸出包括第一像素的位置和第二像素的位置的事件信號。
[0046]另外，時(shí)間戳單元120可接收從傳感器110輸出的事件信號。
[0047]時(shí)間戳單元120將與事件信號相關(guān)的至少一個(gè)像素映射到輸出事件信號的時(shí)間，從而產(chǎn)生時(shí)間戳信息。
[0048]具體地，時(shí)間戳單元120可使用包括在接收到的事件信號中的信息(例如，與發(fā)生預(yù)定事件的至少一個(gè)像素相關(guān)的信息)來存儲在相應(yīng)像素中發(fā)生新事件的時(shí)間。
[0049]例如，時(shí)間戳單元120可基于接收到的事件信號來存儲在多個(gè)像素中的每一個(gè)中發(fā)生新事件的時(shí)間。
[0050]因此，時(shí)間戳單元120產(chǎn)生的時(shí)間戳信息可包括與在多個(gè)像素中的每一個(gè)中發(fā)生預(yù)定事件的最近時(shí)間相關(guān)的信息。[0051]根據(jù)示例性實(shí)施例，時(shí)間戳單元120可僅保留與在多個(gè)像素中的每一個(gè)中發(fā)生預(yù)定事件的最近時(shí)間相關(guān)的信息。例如，時(shí)間戳單元120可基于包括在接收到的事件信號中的信息(例如，與發(fā)生預(yù)定事件的至少一個(gè)像素相關(guān)的信息)，用新事件發(fā)生的時(shí)間更新預(yù)先存儲的關(guān)于相應(yīng)像素的時(shí)間。根據(jù)示例性實(shí)施例，時(shí)間戳單元120可被實(shí)現(xiàn)為處理器或多個(gè)處理器，并且可包括一個(gè)或多個(gè)存儲單元。時(shí)間戳單元120可被實(shí)現(xiàn)為軟件、硬件或它們的組合。例如，根據(jù)示例性實(shí)施例，時(shí)間戳單元120可被實(shí)現(xiàn)為硬件加速器(HWA)、現(xiàn)場可編程門陣列(FPGA)等。
[0052]因此，設(shè)備100可使用與在每個(gè)像素中發(fā)生的最新(最近)事件相關(guān)的信息來執(zhí)行圖像處理，而不考慮隨著時(shí)間的過去已經(jīng)發(fā)生的事件的歷史。設(shè)備100可因此使用少量的存儲器和少量的計(jì)算量來提供用于執(zhí)行圖像處理的技術(shù)。
[0053]將參照圖2A和圖2B進(jìn)一步詳細(xì)描述時(shí)間戳單元120產(chǎn)生的時(shí)間戳信息。
[0054]光流產(chǎn)生器130可響應(yīng)于從傳感器110輸出的事件信號，基于由時(shí)間戳單元120產(chǎn)生的時(shí)間戳信息來產(chǎn)生光流。根據(jù)示例性實(shí)施例，光流產(chǎn)生器130可被實(shí)現(xiàn)為處理器或多個(gè)處理器。光流產(chǎn)生器130可被實(shí)現(xiàn)為軟件、硬件或它們的組合。例如，按照示例性實(shí)施例，光流產(chǎn)生器130可被實(shí)現(xiàn)為硬件加速器(HWA)、現(xiàn)場可編程門陣列(FPGA)等。
[0055]根據(jù)示例性實(shí)施例，光流可包括發(fā)生新事件的至少一個(gè)像素的速度矢量。例如，光流可包括多個(gè)像素中發(fā)生預(yù)定事件的至少一個(gè)像素的速度矢量。
[0056]在這種情況下，速度矢量可與在包括多個(gè)像素的2D平面上的具有預(yù)定方向和預(yù)定大小的2D矢量相應(yīng)。速度矢量的開始位置可與相應(yīng)像素的位置相應(yīng)。
[0057]例如，可使用相機(jī)按照連續(xù)時(shí)間獲得圖像。在這種情況下，當(dāng)關(guān)于對象移動相機(jī)的位置時(shí)，或當(dāng)關(guān)于相機(jī)移動對象時(shí)，圖像中每個(gè)像素的亮度可改變。光流可包括按照2D矢量的形式的圖像的亮度變化。
[0058]將參照圖3詳細(xì)描述光流產(chǎn)生器130的配置和從時(shí)間戳信息中產(chǎn)生光流的光流產(chǎn)生器130的運(yùn)算。
[0059]圖2A和圖2B是示出根據(jù)示例性實(shí)施例的時(shí)間戳信息的示圖。
[0060]參照圖2A，時(shí)間戳信息200可包括與多個(gè)圖像像素中的每一個(gè)相應(yīng)的時(shí)間信息。
[0061]如參照圖1的描述，時(shí)間戳信息200可僅保留與在每個(gè)像素中發(fā)生預(yù)定事件的最近時(shí)間相關(guān)的信息。
[0062]例如，在(i，j)處的像素210中發(fā)生預(yù)定事件的最近時(shí)間可以是1^_，在(i，j+1)處的像素220中發(fā)生預(yù)定事件的最近時(shí)間可以是Tu+1。
[0063]圖1的時(shí)間戳單元120可基于從圖1的傳感器110接收的事件信號來更新時(shí)間戳信息220。根據(jù)示例性實(shí)施例，時(shí)間戳單元120可執(zhí)行關(guān)于發(fā)生預(yù)定事件的像素的更新，而不是執(zhí)行關(guān)于所有像素的更新。
[0064]傳感器110可感測每單位時(shí)間(例如，按照微秒(μ s)單位)的預(yù)定事件的發(fā)生。在這種情況下，時(shí)間戳單位120可按照μ S單位來存儲每個(gè)像素發(fā)生新事件的時(shí)間。
[0065]參照圖2Β，為了產(chǎn)生光流，根據(jù)示例性實(shí)施例的基于事件的圖像處理設(shè)備可使用時(shí)間戳信息來計(jì)算至少一個(gè)像素的速度矢量。
[0066]例如，在預(yù)定事件發(fā)生在(i，j)處的像素210中之后，預(yù)定事件可發(fā)生在(i+l，j+l)處的像素230中。在這種情況下，在(i，j)處的像素210可存儲時(shí)間Ty，在(i+1, j+1)處的像素230可存儲具有比Ti，」大的值的時(shí)間Ti+1，J+1。
[0067]在這種情況下，基于事件的圖像處理設(shè)備可使用時(shí)間戳信息200來計(jì)算具有像素210的位置處的開始點(diǎn)的2D矢量A (未示出)。
[0068]具體地，基于事件的圖像處理設(shè)備可從時(shí)間戳信息200中提取用于計(jì)算2D矢量A的時(shí)間差和位置差。這里，時(shí)間差表示時(shí)間Ti;」和時(shí)間Ti+1; j+1之間的時(shí)間差，并可與標(biāo)量Δ t (未示出)相應(yīng)。另外,位置差表示像素230和像素210之間的位置差,并可與2D矢量3 240相應(yīng)。
[0069]基于事件的圖像處理設(shè)備可使用等式I來計(jì)算2D矢量A。
[0070][等式I]
【權(quán)利要求】
1.一種圖像處理設(shè)備，包括: 傳感器，感測多個(gè)圖像像素中預(yù)定事件的發(fā)生，并且響應(yīng)于感測到的發(fā)生，輸出事件信號; 時(shí)間戳單元，通過將與事件信號相應(yīng)的像素映射到從傳感器輸出事件信號的時(shí)間來產(chǎn)生時(shí)間戳信息； 光流產(chǎn)生器，響應(yīng)于由傳感器輸出的事件信號，基于時(shí)間戳信息來產(chǎn)生光流。
2.如權(quán)利要求1所述的設(shè)備，其中，光流包括像素的速度矢量。
3.如權(quán)利要求1所述的設(shè)備，其中，光流產(chǎn)生器包括: 相鄰像素獲得單元，獲得像素的相鄰像素； 時(shí)間差計(jì)算單元，使用時(shí)間戳信息來計(jì)算與像素和相鄰像素之間的時(shí)間差相關(guān)的信息； 距離差計(jì)算單元，計(jì)算與像素和相鄰像素之間的距離差相關(guān)的信息； 光流計(jì)算單元，基于與時(shí)間差相關(guān)的信息和與距離差相關(guān)的信息來計(jì)算光流。
4.如權(quán)利要求3所述的設(shè)備，其中，當(dāng)像素和相鄰像素之間的時(shí)間差超出預(yù)定時(shí)間范圍的窗口時(shí)，時(shí)間差計(jì)算單元計(jì)算出與時(shí)間差相關(guān)的信息是“ O ”。
5.如權(quán)利要求3所述的設(shè)備，其中，與距離差相關(guān)的信息包括像素和相鄰像素之間的像素距離的倒數(shù)。`
6.如權(quán)利要求3所述的設(shè)備，其中，光流計(jì)算單元使用與時(shí)間差相關(guān)的信息和與距離差相關(guān)的信息來計(jì)算與像素相應(yīng)的2D矢量A，并執(zhí)行將2D矢量A除以2D矢量A的內(nèi)積值的運(yùn)算以計(jì)算光流。
7.如權(quán)利要求1所述的設(shè)備，還包括: 運(yùn)算單元，基于光流執(zhí)行針對用于用戶界面的信息的運(yùn)算。
8.如權(quán)利要求7所述的設(shè)備，其中，用于用戶界面的信息包括第一速度、第二速度、第三速度和第四速度中的至少一個(gè)， 其中，與多個(gè)圖像像素相應(yīng)的對象在平行于布置傳感器的傳感器平面的平面上以第一速度沿著X軸方向移動； 對象在所述平面上以第二速度沿著y軸移動； 對象以第三速度沿著垂直于所述平面的方向移動； 對象以第四速度在所述平面上旋轉(zhuǎn)。
9.如權(quán)利要求8所述的設(shè)備，其中，運(yùn)算單元包括: 平面速度運(yùn)算單元，基于光流來執(zhí)行關(guān)于第一速度和第二速度的運(yùn)算； 光流中心運(yùn)算單元，基于光流來執(zhí)行關(guān)于光流的中心的運(yùn)算； z軸速度運(yùn)算單元，基于光流和光流的中心來執(zhí)行關(guān)于第三速度的運(yùn)算； 角速度運(yùn)算單元，基于光流和光流的中心來執(zhí)行關(guān)于第四速度的運(yùn)算。
10.如權(quán)利要求9所述的設(shè)備，其中，針對關(guān)于第一速度和第二速度的運(yùn)算，平面速度運(yùn)算單元執(zhí)行關(guān)于光流的平均值的運(yùn)算。
11.如權(quán)利要求9所述的設(shè)備，其中，針對關(guān)于光流的中心的運(yùn)算，光流中心運(yùn)算單元使用包括在光流中的像素的位置和像素的速度矢量的大小來執(zhí)行光流的中心的運(yùn)算。
12.如權(quán)利要求9所述的設(shè)備，其中，針對關(guān)于第三速度的運(yùn)算，z軸速度運(yùn)算單元使用光流的中心和像素的位置來產(chǎn)生與一個(gè)像素相應(yīng)的第一速度，并使用包括在光流中的像素的第一速度和速度矢量來執(zhí)行內(nèi)積運(yùn)算。
13.如權(quán)利要求9所述的設(shè)備，其中，針對關(guān)于第四速度的運(yùn)算，角速度運(yùn)算單元使用光流的中心和像素的位置來產(chǎn)生與像素相應(yīng)的第一矢量，并使用包括在光流中的像素的第一矢量和速度矢量來執(zhí)行向量積運(yùn)算。
14.如權(quán)利要求1所述的設(shè)備，其中，時(shí)間戳信息包括與在多個(gè)圖像像素中的每一個(gè)中發(fā)生預(yù)定事件的最近時(shí)間相關(guān)的信息。
15.如權(quán)利要求1所述的設(shè)備，其中，預(yù)定事件包括至少一個(gè): 在單位時(shí)間段內(nèi)圖像像素的亮度增加大于等于預(yù)定值的值的事件； 在單位時(shí)間段內(nèi)圖像像素的亮度減少大于或等于預(yù)定值的值的事件。
16.—種圖像處理方法,包括: 從感測多個(gè)圖像像素中預(yù)定事件的發(fā)生的傳感器接收事件信號； 響應(yīng)于接收到的事件信號，通過將與事件信號相應(yīng)的像素映射到輸出事件信號的時(shí)間來產(chǎn)生時(shí)間戳信息； 基于時(shí)間戳信息來產(chǎn)生包括像素的速度矢量的光流。
17.如權(quán)利要求16所述的方法，其中，光流的產(chǎn)生的步驟包括: 獲得像素的相鄰像素； 使用時(shí)間戳信息來計(jì)算與像素和相鄰像素之間的時(shí)間差相關(guān)的信息； 計(jì)算與像素和相鄰像素之間的距離差相關(guān)的信息； 基于與時(shí)間差相關(guān)的信息和與距離差相關(guān)的信息來計(jì)算光流。
18.如權(quán)利要求16所述的方法，還包括: 基于光流來執(zhí)行關(guān)于用于用戶界面的信息的運(yùn)算， 其中，用于用戶界面的信息包括第一速度、第二速度、第三速度和第四速度中的中的至少一個(gè)，其中， 與多個(gè)圖像像素相應(yīng)的對象在平行于布置傳感器的傳感器平面的平面上以第一速度沿著X軸方向移動； 對象在所述平面上以第二速度沿著y軸方向移動； 對象沿著垂直于所述平面的方向以第三速度移動； 對象在所述平面上以第四速度旋轉(zhuǎn)。
19.如權(quán)利要求18所述的方法，其中，執(zhí)行的步驟包括: 基于光流來執(zhí)行關(guān)于第一速度和第二速度的運(yùn)算； 基于光流來執(zhí)行關(guān)于光流的中心的運(yùn)算； 基于光流和光流的中心來執(zhí)行關(guān)于第三速度的運(yùn)算； 基于光流和光流的中心來執(zhí)行關(guān)于第四速度的運(yùn)算。
20.一種圖像處理器，包括: 傳感器，接收包括多個(gè)像素的輸入圖像數(shù)據(jù)，感測各個(gè)像素中的每一個(gè)的亮度變化是否大于預(yù)設(shè)值，并僅針對亮度變化大于預(yù)設(shè)值的像素的部分來輸出各自的信號。 時(shí)間戳單元，接收信號并產(chǎn)生將所述像素的部分中的像素的每一個(gè)映射到基于信號發(fā)生亮度變化的各自的時(shí)間；光流產(chǎn)生器，基于時(shí)間戳產(chǎn)生的信息來產(chǎn)生光流。
21.如權(quán)利要求20所述的圖像處理器，其中，時(shí)間戳存儲信息，并且當(dāng)從傳感器接收到新信號時(shí)，更新信息并丟棄先前存儲的信息。
22.如權(quán)利要求21所述的圖像處理器，其中，傳感器執(zhí)行感測操作來每微秒(μs)感測一次亮度變化。
23.如權(quán)利要求20所述的圖像處理器，其中，光流包括所述像素的部分的像素中的每一個(gè)的速度矢量。
24.如權(quán)利要求23所述的圖像處理器，其中，對于所述像素的部分中的給定像素，使用與給定像素鄰近的相鄰像素相關(guān)的信息來計(jì)算速度矢量。
25.如權(quán)利要求24所述的圖像處理器，其中，信息包括給定像素和相鄰像素中的每一個(gè)之間的距離。
26.如權(quán)利要求24所述的圖像處理器，其中，信息包括給定像素和相鄰像素中的每一個(gè)之間的時(shí)間差。
27.如權(quán)利要求1所述的圖像處理設(shè)備，其中，傳感器異步輸出與所述多個(gè)圖像像素中發(fā)生預(yù)定事件的像素的部分相應(yīng)的事件信號。
28.如權(quán)利要求1所述的圖像處理設(shè)備，其中，光流產(chǎn)生器包括以下的至少一個(gè): 部分計(jì)算單元，響應(yīng)于預(yù)定事件信號的輸出，異步計(jì)算所述多個(gè)圖像像素中與所述預(yù)定事件信號相應(yīng)的至少一個(gè)像素和與所述至少一個(gè)像素鄰近的相鄰像素的速度矢量； 全計(jì)算單元，以預(yù)定間隔計(jì)算所述多個(gè)圖像像素的速度矢量。
【文檔編號】H04N5/335GK103516946SQ201310244056
【公開日】2014年1月15日 申請日期:2013年6月19日 優(yōu)先權(quán)日:2012年6月19日
【發(fā)明者】李圭彬, 柳賢錫, 李俊行, 樸根柱, 申昌雨, 禹周延 申請人:三星電子株式會社