本公開涉及一種用于處理像素?cái)?shù)據(jù)的數(shù)據(jù)處理系統(tǒng)、系統(tǒng)、裝置、多種方法、計(jì)算機(jī)程序產(chǎn)品以及非臨時性計(jì)算機(jī)可讀存儲介質(zhì)。更具體地說，本公開涉及如獨(dú)立權(quán)利要求的引言部分所定義的用于處理像素?cái)?shù)據(jù)的數(shù)據(jù)處理系統(tǒng)、系統(tǒng)、裝置、方法、計(jì)算機(jī)程序產(chǎn)品和非臨時性計(jì)算機(jī)可讀存儲介質(zhì)。

背景技術(shù)：

1、基于事件的相機(jī)或事件相機(jī)是已知的。事件相機(jī)內(nèi)的每個像素都獨(dú)立且異步地工作，在亮度或?qū)Ρ榷劝l(fā)生變化時進(jìn)行報(bào)告，否則保持靜默。事件相機(jī)有幾種類型。一種類型的事件相機(jī)是具有固定對比度閾值的基于事件的相機(jī)。塞德里克·舍林克（cedricscheerlinck）等人在《用于事件相機(jī)的異步空間圖像卷積》（出自：ieee機(jī)器人學(xué)與自動化快報(bào)4（2），第816-822頁，2019年）中描述了這種相機(jī)。另一種類型的事件相機(jī)是具有動態(tài)對比度閾值的基于事件的相機(jī)。馮（feng）、楊（yang）等人在《基于事件密度的動態(tài)視覺傳感器去噪方法》（出自：應(yīng)用科學(xué)，10.6，2020年）中描述了這種相機(jī)。

2、然而，這些類型的基于事件的相機(jī)可能會有噪聲（特別是在需要高放大倍數(shù)時）和/或具有較高的復(fù)雜性。

3、因此，可能需要一種（相機(jī)）系統(tǒng)來降低噪聲和/或降低復(fù)雜性。優(yōu)選地，這種系統(tǒng)能提供或?qū)崿F(xiàn)以下一項(xiàng)或多項(xiàng)：性能提升、可靠性更高、效率提高、使用更少的計(jì)算機(jī)算力、占用更少的存儲空間、復(fù)雜性更低和/或能耗更低。

4、us?2021/0142086?a1公開了一種裝置，該裝置包括：包括多個像素單元的圖像傳感器；幀緩沖器；以及傳感器計(jì)算電路，其配置為：從幀緩沖器接收包括第一有效像素和第一無效像素的第一圖像幀，第一有效像素是由基于第一編程數(shù)據(jù)選擇的像素單元的第一子集生成的；對第一圖像幀的第一像素子集執(zhí)行圖像處理操作，由此第一圖像幀的第二像素子集被排除在圖像處理操作之外，以生成處理輸出；基于處理輸出生成第二編程數(shù)據(jù)；并將第二編程數(shù)據(jù)傳輸?shù)綀D像傳感器以選擇像素單元的第二子集來為第二圖像幀生成第二有效像素。

5、然而，可能仍需要降低噪聲。此外，可能需要更好的噪聲穩(wěn)定性。而且，us?2021/0142086?a1中的處理包括許多用于指示對比度的操作（例如，由于該方法涉及卷積操作和/或由于該方法涉及對像素塊的操作）。因此，可能需要更快的處理速度、更高的效率和/或更低的復(fù)雜性。

技術(shù)實(shí)現(xiàn)思路

1、本公開的一個目的是減輕、緩解或消除現(xiàn)有技術(shù)中一個或多個上述缺陷和不足，并至少解決上述問題。

2、根據(jù)第一方面，提供了一種用于處理像素?cái)?shù)據(jù)的數(shù)據(jù)處理系統(tǒng)。該數(shù)據(jù)處理系統(tǒng)被配置為從成像設(shè)備所捕獲的圖像序列的每個圖像中接收像素的數(shù)據(jù)作為系統(tǒng)輸入，該像素的數(shù)據(jù)包括中心像素的數(shù)據(jù)和相鄰像素的數(shù)據(jù)，并且該數(shù)據(jù)處理系統(tǒng)被配置為具有系統(tǒng)輸出，包括：多個輸入節(jié)點(diǎn)，每個輸入節(jié)點(diǎn)被配置為從相應(yīng)的像素接收像素?cái)?shù)據(jù)作為輸入，每個輸入節(jié)點(diǎn)包括具有第一時間常數(shù)和針對輸入的權(quán)重的輸入節(jié)點(diǎn)泄漏積分器，并且每個輸入節(jié)點(diǎn)被配置為通過將輸入節(jié)點(diǎn)泄漏積分器和相應(yīng)的權(quán)重應(yīng)用于所述輸入，以產(chǎn)生輸入節(jié)點(diǎn)輸出；以及輸出節(jié)點(diǎn)，其包括輸出節(jié)點(diǎn)權(quán)重和具有第二時間常數(shù)的多輸入泄漏積分器，其中輸出節(jié)點(diǎn)被配置為接收每個輸入節(jié)點(diǎn)輸出，其中輸出節(jié)點(diǎn)被配置為接收來自中心像素的像素?cái)?shù)據(jù)，其中輸出節(jié)點(diǎn)被配置為將來自中心像素的像素?cái)?shù)據(jù)與輸出節(jié)點(diǎn)權(quán)重相乘，以產(chǎn)生加權(quán)的中心像素?cái)?shù)據(jù)，并且其中輸出節(jié)點(diǎn)被配置為將多輸入泄漏積分器應(yīng)用于加權(quán)的中心像素?cái)?shù)據(jù)和每個輸入節(jié)點(diǎn)輸出，并且其中輸出節(jié)點(diǎn)被配置為產(chǎn)生系統(tǒng)輸出，該系統(tǒng)輸出僅包括通過從加權(quán)的中心像素?cái)?shù)據(jù)中減去每個輸入節(jié)點(diǎn)輸出（134a，…，134i）所生成的差分?jǐn)?shù)據(jù)；并且其中第二時間常數(shù)小于第一時間常數(shù)，并且其中系統(tǒng)輸出指示對比度。

3、根據(jù)一些實(shí)施例，該方法還包括通過應(yīng)用泄漏積分器并向數(shù)據(jù)處理系統(tǒng)饋送來自多個圖像的像素?cái)?shù)據(jù)，來獲得指示不同圖像中相同位置的像素之間對比度的時間差分信號。

4、根據(jù)一些實(shí)施例，該方法還包括通過將來自中心像素的數(shù)據(jù)和來自相鄰像素的數(shù)據(jù)輸入到數(shù)據(jù)處理系統(tǒng)，來獲得指示同一圖像中的中心像素與相鄰像素之間對比度的空間差分信號。

5、根據(jù)一些實(shí)施例，數(shù)據(jù)處理系統(tǒng)包括被配置為接收系統(tǒng)輸出的閾值單元，并且該閾值單元被配置為將系統(tǒng)輸出與閾值進(jìn)行比較，并且該閾值單元被配置為輸出指示檢測到事件的信號。

6、根據(jù)一些實(shí)施例，中心像素越靠近像素，該輸入節(jié)點(diǎn)的權(quán)重越大。

7、根據(jù)一些實(shí)施例，輸入節(jié)點(diǎn)的所有權(quán)重之和等于輸出節(jié)點(diǎn)權(quán)重。

8、根據(jù)第二方面，提供了一種設(shè)備，其包括第一方面或上述任何實(shí)施例的數(shù)據(jù)處理系統(tǒng)和成像設(shè)備，該成像設(shè)備被配置為捕獲像素?cái)?shù)據(jù)并將捕獲的像素?cái)?shù)據(jù)傳輸?shù)綌?shù)據(jù)處理系統(tǒng)。

9、根據(jù)一些實(shí)施例，成像設(shè)備是多光子顯微鏡、激光共聚焦顯微鏡或數(shù)字?jǐn)z像機(jī)。

10、根據(jù)第三方面，提供了一種裝置，包括：第一方面或上述任何實(shí)施例的數(shù)據(jù)處理系統(tǒng)，該系統(tǒng)用于處理像素的數(shù)據(jù)中的每個像素；包括已知物體圖像的數(shù)據(jù)庫；以及后處理單元，其被配置為接收來自每個數(shù)據(jù)處理系統(tǒng)的系統(tǒng)輸出，被配置為將系統(tǒng)輸出與所述已知物體的圖像進(jìn)行比較，并且被配置為基于該比較，將像素的數(shù)據(jù)中存在的（未知/未識別的）物體識別為圖像與系統(tǒng)輸出差異最小的已知物體。

11、根據(jù)第四方面，提供了一種用于處理像素的數(shù)據(jù)的計(jì)算機(jī)實(shí)現(xiàn)或硬件實(shí)現(xiàn)的方法。該方法包括：接收來自圖像序列中每個圖像的像素的數(shù)據(jù)作為系統(tǒng)輸入，該像素的數(shù)據(jù)包括來自中心像素的數(shù)據(jù)和來自相鄰像素的數(shù)據(jù)；將每個像素作為輸入提供給相應(yīng)的輸入節(jié)點(diǎn)；對每個輸入應(yīng)用具有第一時間常數(shù)的相應(yīng)的輸入節(jié)點(diǎn)泄漏積分器和相應(yīng)的權(quán)重，從而產(chǎn)生輸入節(jié)點(diǎn)輸出；由輸出節(jié)點(diǎn)接收每個輸入節(jié)點(diǎn)輸出和來自中心像素的像素?cái)?shù)據(jù)；（通過相乘）將來自中心像素的像素?cái)?shù)據(jù)與輸出節(jié)點(diǎn)權(quán)重相組合，從而產(chǎn)生加權(quán)的中心像素?cái)?shù)據(jù)；將具有第二時間常數(shù)的多輸入泄漏積分器應(yīng)用于加權(quán)的中心像素?cái)?shù)據(jù)和每個輸入節(jié)點(diǎn)輸出，從而將加權(quán)的中心像素?cái)?shù)據(jù)和每個輸入節(jié)點(diǎn)輸出相組合以產(chǎn)生系統(tǒng)輸出，該系統(tǒng)輸出包括通過從加權(quán)的中心像素?cái)?shù)據(jù)中減去每個輸入節(jié)點(diǎn)輸出所生成的差分?jǐn)?shù)據(jù)，第二時間常數(shù)小于第一時間常數(shù)；以及利用系統(tǒng)輸出指示對比度。

12、根據(jù)第五方面，提供了一種計(jì)算機(jī)實(shí)現(xiàn)或硬件實(shí)現(xiàn)的對成像設(shè)備進(jìn)行自動對焦的方法。該方法包括：接收圖像序列中的多個圖像，每個圖像包括像素的數(shù)據(jù)；根據(jù)用戶輸入確定圖像的初步感興趣區(qū)域roi（region?of?interest）的大??；基于所確定的大小選擇初步感興趣區(qū)域；將初步感興趣區(qū)域的每個像素作為輸入提供給相應(yīng)的輸入節(jié)點(diǎn)；對每個輸入應(yīng)用具有第一時間常數(shù)的相應(yīng)的輸入節(jié)點(diǎn)泄漏積分器和相應(yīng)的權(quán)重，從而產(chǎn)生輸入節(jié)點(diǎn)輸出；由輸出節(jié)點(diǎn)接收每個輸入節(jié)點(diǎn)輸出和來自中心像素的像素?cái)?shù)據(jù)；將來自中心像素的像素?cái)?shù)據(jù)與輸出節(jié)點(diǎn)權(quán)重相組合，從而產(chǎn)生加權(quán)的中心像素?cái)?shù)據(jù)；將具有第二時間常數(shù)的多輸入泄漏積分器應(yīng)用于加權(quán)的中心像素?cái)?shù)據(jù)和每個輸入節(jié)點(diǎn)輸出，從而將加權(quán)的中心像素?cái)?shù)據(jù)和每個輸入節(jié)點(diǎn)輸出相組合，以產(chǎn)生系統(tǒng)輸出，該系統(tǒng)輸出包括通過從加權(quán)的中心像素?cái)?shù)據(jù)中減去每個輸入節(jié)點(diǎn)輸出（134a，…，134i）所生成的差分?jǐn)?shù)據(jù)，第二時間常數(shù)小于第一時間常數(shù)，該系統(tǒng)輸出指示對比度；如果系統(tǒng)輸出高于當(dāng)前存儲在存儲器第一位置的值，則將系統(tǒng)輸出存儲在存儲器的第一位置，并將初步感興趣區(qū)域的位置存儲在存儲器的第二位置；將初步感興趣區(qū)域移動一個像素步長；重復(fù)執(zhí)行接收（410）圖像、確定、選擇、提供、應(yīng)用、接收（435）每個輸入節(jié)點(diǎn)輸出和來自中心像素的像素?cái)?shù)據(jù)、組合、應(yīng)用、存儲和移動的步驟，直到滿足停止標(biāo)準(zhǔn)；將存儲在存儲器第二位置的位置設(shè)置為感興趣區(qū)域的位置；掃描聚焦范圍以找到感興趣區(qū)域的最高對比度值；以及利用最高對比度處的焦點(diǎn)，從而使成像設(shè)備對焦。

13、根據(jù)一些實(shí)施例，停止標(biāo)準(zhǔn)是像素的數(shù)據(jù)內(nèi)所有可能的感興趣區(qū)域都已被檢查或者初步感興趣區(qū)域已到達(dá)結(jié)束位置。

14、根據(jù)一些實(shí)施例，成像設(shè)備是數(shù)字?jǐn)z像機(jī)（240）。

15、根據(jù)一些實(shí)施例，初步感興趣區(qū)域是位于圖像左上角的感興趣區(qū)域或者位于圖像左下角的感興趣區(qū)域。

16、根據(jù)第六方面，提供了一種計(jì)算機(jī)程序產(chǎn)品，其包括指令，當(dāng)在處理設(shè)備的至少一個處理器上執(zhí)行時，使處理設(shè)備執(zhí)行根據(jù)第四方面、第五方面或本文提及的任何實(shí)施例的方法。

17、根據(jù)第七方面，提供了一種非臨時性計(jì)算機(jī)可讀存儲介質(zhì)，其存儲一個或多個程序，這些程序被配置為由處理設(shè)備的一個或多個處理器執(zhí)行，所述一個或多個程序包括指令，當(dāng)由處理設(shè)備執(zhí)行時，使處理設(shè)備執(zhí)行根據(jù)第四方面、第五方面或本文提及的任何實(shí)施例的方法。

18、第二、第三、第四、第五和第六方面的效果和特征在很大程度上與上述組合第一方面所描述的類似，反之亦然。

19、與第一方面相關(guān)提及的實(shí)施例在很大程度上或完全與第二、第三、第四、第五和第六方面兼容，反之亦然。

20、一些實(shí)施例的優(yōu)點(diǎn)是降低了噪聲。

21、一些實(shí)施例的另一個優(yōu)點(diǎn)是提高了噪聲敏感度（例如，與專用的基于事件的相機(jī)硬件相比）。

22、一些實(shí)施例的另一個優(yōu)點(diǎn)是僅輸出差分?jǐn)?shù)據(jù)（在空間和時間上，即跨越空間和時間域），從而提供基于事件的相機(jī)的功能（例如，具有更低的復(fù)雜性）和/或減少數(shù)據(jù)量。

23、一些實(shí)施例的又一個優(yōu)點(diǎn)是，例如，通過將數(shù)據(jù)處理系統(tǒng)與數(shù)字?jǐn)z像機(jī)相組合，能夠以比現(xiàn)有技術(shù)基于事件的相機(jī)低得多的硬件復(fù)雜度實(shí)現(xiàn)等同于基于事件的相機(jī)的功能。

24、一些實(shí)施例的再一個優(yōu)點(diǎn)是，可以使用比用作現(xiàn)有技術(shù)基于事件的相機(jī)更簡單的相機(jī)，并達(dá)到與現(xiàn)有技術(shù)基于事件的相機(jī)相同的精度。

25、一些實(shí)施例的另一個優(yōu)點(diǎn)是，在諸如需要高放大倍數(shù)的黑暗環(huán)境等環(huán)境中，減少諸如椒鹽噪聲之類的噪聲。

26、一些實(shí)施例的又一個優(yōu)點(diǎn)是，減少了夜視或熱成像中的噪聲。

27、一些實(shí)施例的再一個優(yōu)點(diǎn)是，無論速度如何都能識別運(yùn)動物體（例如，穿過與傳感器的二維平面平行的二維平面）。一些實(shí)施例的其他優(yōu)點(diǎn)包括更好的噪聲穩(wěn)定性、更快的處理速度、更高的效率、更低的復(fù)雜性、改進(jìn)的性能、更高/更高的可靠性、更高的精度、更高的效率、所需計(jì)算機(jī)算力更少、所需存儲空間更少、更低的復(fù)雜性和/或更低的能耗。

28、本公開將從下面給出的詳細(xì)描述中變得清晰。詳細(xì)描述和具體示例僅通過說明的方式公開了本公開的優(yōu)選實(shí)施例。本領(lǐng)域技術(shù)人員可以從詳細(xì)描述中的指導(dǎo)理解，可以在本公開的范圍內(nèi)進(jìn)行變更和修改。

29、因此，應(yīng)當(dāng)理解，本文所公開的公開內(nèi)容不限于所描述的設(shè)備的特定部件或所描述的方法的步驟，因?yàn)檫@樣的設(shè)備和方法可能會有所不同。還應(yīng)當(dāng)理解，這里使用的術(shù)語僅用于描述特定實(shí)施例的目的，并非旨在進(jìn)行限制。應(yīng)當(dāng)注意，在說明書和所附權(quán)利要求中使用的冠詞“一個”、“一種”、“該”、和“所述”旨在表示存在一個或多個元素，除非上下文明確另有指示。因此，例如，對“一個單元”或“該單元”的引用可能包括多個設(shè)備等。此外，“包括”、“包含”、“具有”和類似措辭不排除其他元素或步驟。此外，術(shù)語“配置”或“適配”旨在表示一個單元或類似物為了某個目的而成形、定尺寸、連接、可連接或進(jìn)行其他調(diào)整。