本發(fā)明屬于圖像處理領(lǐng)域，尤其涉及一種仿生視覺成像與處理裝置。

背景技術(shù)：

視覺是人類感知外部世界的最重要手段，視覺信息占到人類獲取外部環(huán)境信息總量的80％。隨著信息社會(huì)的發(fā)展和戰(zhàn)略性新興產(chǎn)業(yè)的崛起，電子視覺信息的獲取和視覺信息快速處理已成為虛擬現(xiàn)實(shí)、體感游戲、機(jī)器人視覺、智能化產(chǎn)品制造、智能監(jiān)控、機(jī)載探測(cè)跟蹤等生活、工業(yè)、科研和國防領(lǐng)域?qū)崿F(xiàn)智能化的重要基礎(chǔ)和技術(shù)支撐。仿生視覺成像與處理裝置能夠模仿人類視覺系統(tǒng)的結(jié)構(gòu)和工作原理來進(jìn)行視覺信息獲取和智能化處理，這成為當(dāng)今半導(dǎo)體信息領(lǐng)域中重要的研究課題之一。

技術(shù)實(shí)現(xiàn)要素：

鑒于現(xiàn)有方案存在的問題，為了克服上述現(xiàn)有技術(shù)方案的不足，本發(fā)明提出了一種仿生視覺成像與處理裝置。

根據(jù)本發(fā)明的一個(gè)方面，提供了一種仿生視覺成像與處理裝置，其中包括：?jiǎn)喂庾雨嚵谐上駛鞲衅?，用于獲得待測(cè)物體的單光子的脈沖成像信號(hào)；以及脈沖卷積神經(jīng)網(wǎng)絡(luò)圖像處理單元，對(duì)所述脈沖成像信號(hào)進(jìn)行深度學(xué)習(xí)及處理，完成圖像處理及識(shí)別。

在本發(fā)明的一些實(shí)施例中，所述單光子陣列成像傳感器包括面陣結(jié)構(gòu)的單光子成像單元，所述單光子成像單元包括單光子雪崩二極管。

在本發(fā)明的一些實(shí)施例中，所述單光子雪崩二極管工作在蓋革模式對(duì)單個(gè)光子量級(jí)的光信號(hào)進(jìn)行探測(cè)并輸出光子檢測(cè)脈沖信號(hào)。

在本發(fā)明的一些實(shí)施例中，所述脈沖卷積神經(jīng)網(wǎng)絡(luò)圖像處理單元采用基于深度學(xué)習(xí)的脈沖卷積神經(jīng)網(wǎng)絡(luò)多級(jí)分布式并行處理架構(gòu)，包括陣列式排列的處理核心單元及存儲(chǔ)器，所述處理核心單元用以完成圖像處理算法所需要邏輯運(yùn)算，所述存儲(chǔ)器用以存儲(chǔ)神經(jīng)網(wǎng)絡(luò)運(yùn)算所需要的相關(guān)參數(shù)。

在本發(fā)明的一些實(shí)施例中，仿生視覺成像與處理裝置還包括：脈沖成像信號(hào)預(yù)處理單元，設(shè)置在所述單光子陣列成像傳感器和單光子陣列成像傳感器之間，對(duì)所述脈沖成像信號(hào)進(jìn)行預(yù)處理，并將預(yù)處理后的脈沖成像信號(hào)發(fā)送至脈沖卷積神經(jīng)網(wǎng)絡(luò)圖像處理單元。

在本發(fā)明的一些實(shí)施例中，所述預(yù)處理包括信號(hào)采樣、信號(hào)同步和/或信息整形。

在本發(fā)明的一些實(shí)施例中，仿生視覺成像與處理裝置還包括：信號(hào)輸出單元，接收來自所述脈沖卷積神經(jīng)網(wǎng)絡(luò)圖像處理單元的圖像處理結(jié)果的輸出信號(hào)，將脈沖形式的輸出信號(hào)進(jìn)行緩存并輸出。

在本發(fā)明的一些實(shí)施例中，仿生視覺成像與處理裝置還包括：驅(qū)動(dòng)控制電路，分別與所述單光子陣列成像傳感器、脈沖成像信號(hào)預(yù)處理單元、脈沖卷積神經(jīng)網(wǎng)絡(luò)圖像處理單元及信號(hào)輸出單元中的至少一個(gè)雙向連接，向各連接組件發(fā)射控制信號(hào)，并接收各連接組件的反饋信號(hào)。

在本發(fā)明的一些實(shí)施例中，所述驅(qū)動(dòng)控制電路接收輸入的時(shí)鐘信號(hào)，并采用所述時(shí)鐘信號(hào)對(duì)各連接組件同步控制。

在本發(fā)明的一些實(shí)施例中，所述脈沖成像信號(hào)的頻率正比與待測(cè)物體光強(qiáng)。

從上述技術(shù)方案可以看出，本發(fā)明具有以下有益效果：

仿生視覺成像與處理裝置將單光子陣列成像傳感器和脈沖卷積神經(jīng)網(wǎng)絡(luò)圖像處理單元，成在同一裝置中直接相連，可以天然地模仿人類視網(wǎng)膜感知圖像和輸出電脈沖信號(hào)、人腦皮層傳輸和處理脈沖信號(hào)的生理機(jī)制；

脈沖卷積神經(jīng)網(wǎng)絡(luò)圖像處理單元融合了傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)的高識(shí)別精確度和脈沖神經(jīng)網(wǎng)絡(luò)全仿生的特點(diǎn)，便于模仿人類視網(wǎng)膜感知圖像；

脈沖成像信號(hào)預(yù)處理單元對(duì)獲得的待測(cè)物體的單光子的脈沖成像信號(hào)進(jìn)行預(yù)處理，產(chǎn)生波形清晰完整的脈沖信號(hào)。

附圖說明

圖1為本發(fā)明一實(shí)施例中仿生視覺成像與處理裝置的結(jié)構(gòu)示意圖；

圖2為圖1中脈沖卷積神經(jīng)網(wǎng)絡(luò)圖像處理單元的架構(gòu)示意圖；

具體實(shí)施方式

本發(fā)明某些實(shí)施例于后方將參照所附附圖做更全面性地描述，其中一些但并非全部的實(shí)施例將被示出。實(shí)際上，本發(fā)明的各種實(shí)施例可以許多不同形式實(shí)現(xiàn)，而不應(yīng)被解釋為限于此數(shù)所闡述的實(shí)施例；相對(duì)地，提供這些實(shí)施例使得本發(fā)明滿足適用的法律要求。

在本說明書中，下述用于描述本發(fā)明原理的各種實(shí)施例只是說明，不應(yīng)該以任何方式解釋為限制發(fā)明的范圍。參照附圖的下述描述用于幫助全面理解由權(quán)利要求及其等同物限定的本發(fā)明的示例性實(shí)施例。下述描述包括多種具體細(xì)節(jié)來幫助理解，但這些細(xì)節(jié)應(yīng)認(rèn)為僅僅是示例性的。因此，本領(lǐng)域普通技術(shù)人員應(yīng)認(rèn)識(shí)到，在不悖離本發(fā)明的范圍和精神的情況下，可以對(duì)本文中描述的實(shí)施例進(jìn)行多種改變和修改。此外，為了清楚和簡(jiǎn)潔起見，省略了公知功能和結(jié)構(gòu)的描述。此外，貫穿附圖，相同附圖標(biāo)記用于相似功能和操作。

為使本發(fā)明的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚明白，以下結(jié)合具體實(shí)施例，并參照附圖，對(duì)本發(fā)明進(jìn)一步詳細(xì)說明。

本發(fā)明一實(shí)施例提供一種仿生視覺成像與處理裝置，包括：?jiǎn)喂庾雨嚵谐上駛鞲衅饕约懊}沖卷積神經(jīng)網(wǎng)絡(luò)圖像處理單元，單光子陣列成像傳感器用于獲得待測(cè)物體的單光子的脈沖成像信號(hào)；對(duì)脈沖成像信號(hào)進(jìn)行深度學(xué)習(xí)及處理，完成圖像處理及識(shí)別。

圖1為本發(fā)明一實(shí)施例中仿生視覺成像與處理裝置的結(jié)構(gòu)示意圖；如圖1所示，在一實(shí)施例中，仿生視覺成像與處理裝置100包括單光子像素陣列成像傳感器11和脈沖卷積神經(jīng)網(wǎng)絡(luò)圖像處理單元13，融合了單光子成像技術(shù)和深度學(xué)習(xí)技術(shù)，將單光子像素陣列成像傳感器11與脈沖卷積神經(jīng)網(wǎng)絡(luò)圖像處理單元13集成在同一裝置中，利用兩者都采用電脈沖信號(hào)形式的視覺信息表達(dá)、傳輸和處理的共通特點(diǎn)，將單光子像素陣列成像傳感器與脈沖卷積神經(jīng)網(wǎng)絡(luò)圖像處理單元13相連。

單光子像素陣列成像傳感器11的輸入端即作為仿生視覺成像與處理裝置圖像輸入端，輸入信號(hào)為待采集圖像的單光子光信號(hào)。單光子像素陣列成像傳感器11由單光子雪崩二極管(spad)以面陣的形式組成，利用單光子雪崩二極管在蓋革模式下可以對(duì)單個(gè)光子量級(jí)的光信號(hào)進(jìn)行探測(cè)并輸出光子檢測(cè)脈沖信號(hào)的特性，完成二維光強(qiáng)圖像和三維深度相關(guān)圖像信息的獲取，實(shí)現(xiàn)圖像傳感器的功能。

具體地，單光子像素陣列成像傳感器11中的像素單元采用單光子雪崩二極管(spad)。工作在蓋革模式下的雪崩光電二極管(apd)因?yàn)槠鋯喂庾犹綔y(cè)能力而被稱作單光子雪崩二極管(spad)。雪崩光電二極管是隨著半導(dǎo)體工藝發(fā)展出現(xiàn)的固態(tài)光電探測(cè)器件。在進(jìn)行光電成像探測(cè)時(shí)，apd主要有兩種工作方式：一種是其反向偏置電壓略小于雪崩擊穿電壓的線性模式；另一種是工作在高于雪崩擊穿電壓的蓋革模式。在蓋革模式下，由于高的偏置電壓，apd耗盡層中的電場(chǎng)強(qiáng)度相當(dāng)大，由光電效應(yīng)產(chǎn)生的電子-空穴對(duì)在電場(chǎng)中加速并獲得足夠的速度與能量，若與晶格發(fā)生碰撞，電子-空穴對(duì)的數(shù)目因碰撞電離而成倍增加，如此下去，就會(huì)形成所謂的“雪崩”效應(yīng)，使信號(hào)電流放大，因而雪崩光電二極管具有很大內(nèi)部增益被用作單光子探測(cè)。單光子的優(yōu)勢(shì)在于：全固態(tài)、體積小、動(dòng)態(tài)范圍大、靈敏度高、電壓低、可與芯片集成、抗磁干擾能力強(qiáng)等。

基于單光子成像原理，由單光子像素陣列組成的單光子像素陣列成像傳感器能夠產(chǎn)生與待測(cè)圖像光強(qiáng)強(qiáng)度相關(guān)的脈沖頻率調(diào)制信號(hào)。待測(cè)圖像光強(qiáng)強(qiáng)度越高，傳感器產(chǎn)生的電脈沖頻率越高。這一特性符合人類視網(wǎng)膜的圖像信息感知方式——產(chǎn)生與采集圖像光強(qiáng)相關(guān)的脈沖電信號(hào)。因此，本發(fā)明采用單光子成像技術(shù)作為視覺系統(tǒng)中的成像傳感器，能夠提高成像傳感器的成像靈敏度。

單光子陣列成像傳感器11還具有三維成像的功能。當(dāng)采集圖像被探測(cè)到時(shí)，傳感器將其轉(zhuǎn)化為一系列脈沖信號(hào)，為了得到成像目標(biāo)物的三維深度信息，需要單光子成像的探測(cè)信號(hào)在時(shí)間上進(jìn)行統(tǒng)計(jì)，并對(duì)光源發(fā)射光脈沖到待測(cè)目標(biāo)圖像反射后單光子像素探測(cè)到的飛行視覺進(jìn)行測(cè)量。采用飛行時(shí)間(tof，timeofflight)的測(cè)量方法對(duì)成像目標(biāo)的深度信息進(jìn)行測(cè)量，將每個(gè)光脈沖引起的電信號(hào)累積起來，通過合適次數(shù)的積累，得到三維距離信息。

脈沖卷積神經(jīng)網(wǎng)絡(luò)圖像處理單元13采用基于深度學(xué)習(xí)的脈沖卷積神經(jīng)網(wǎng)絡(luò)多級(jí)分布式并行處理架構(gòu)20，如圖2所示。其融合了卷積神經(jīng)網(wǎng)絡(luò)和脈沖神經(jīng)網(wǎng)絡(luò)的特點(diǎn)，完成圖像處理的核心運(yùn)算采用卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)，由處理核心單元21和存儲(chǔ)器陣列式排列組成。處理核心單元21用以完成圖像處理算法所需要邏輯運(yùn)算，存儲(chǔ)器用以存儲(chǔ)神經(jīng)網(wǎng)絡(luò)運(yùn)算所需要的相關(guān)參數(shù)。

脈沖卷積神經(jīng)網(wǎng)絡(luò)融合了傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)的高識(shí)別精確度和脈沖神經(jīng)網(wǎng)絡(luò)全仿生的特點(diǎn)，通過模擬大腦結(jié)構(gòu)來構(gòu)建新的視覺系統(tǒng)架構(gòu)。處理核心單元之間的信號(hào)傳輸通過脈沖信號(hào)的形式來完成，即通過脈沖信號(hào)的傳導(dǎo)過程來進(jìn)行神經(jīng)網(wǎng)絡(luò)圖像處理過程。脈沖卷積神經(jīng)網(wǎng)絡(luò)圖像處理單元將處理核心單元作為整個(gè)網(wǎng)絡(luò)的基礎(chǔ)構(gòu)成模塊，相互拓?fù)溥B接的處理核心單元通過和周圍單元的聯(lián)系，形成高效、可拓展、大規(guī)模的神經(jīng)網(wǎng)絡(luò)。

處理核心單元是采用泄漏-積分-激發(fā)工作模式的數(shù)字電路，每個(gè)處理核心單元配有可配置參數(shù)，處理核心單元之間通過突觸點(diǎn)連接。當(dāng)處理核心單元激發(fā)時(shí)，它發(fā)出一個(gè)脈沖信號(hào)給下一個(gè)突觸點(diǎn)，進(jìn)而輸出給下一個(gè)處理核心單元，整個(gè)過程是同步并行并且由驅(qū)動(dòng)控制電路提供的時(shí)鐘信號(hào)統(tǒng)一控制。當(dāng)處理核心單元收到時(shí)鐘信號(hào)時(shí)，準(zhǔn)備接受指令，如果當(dāng)前時(shí)刻前一個(gè)處理核心單元中的脈沖信號(hào)準(zhǔn)備好了，則對(duì)應(yīng)突觸參數(shù)將被發(fā)送到對(duì)應(yīng)的處理核心單元上。若某一個(gè)處理核心單元對(duì)應(yīng)的突觸參數(shù)非零，則此處理核心單元根據(jù)相應(yīng)的突觸權(quán)重增加電勢(shì)。當(dāng)處理過所有突觸后，每個(gè)處理核心單元都會(huì)發(fā)生一次泄漏，此時(shí)超過閾值的處理核心單元激發(fā)出脈沖信號(hào)，脈沖信號(hào)通過傳輸網(wǎng)絡(luò)被傳輸?shù)较鄳?yīng)的目的突觸，此突觸在緩沖器中安排下一次脈沖信號(hào)的發(fā)送。整個(gè)周期持續(xù)循環(huán)，直到下次時(shí)鐘的到來。

一實(shí)施例中，仿生視覺成像與處理裝置100還可以包括脈沖成像信號(hào)預(yù)處理單元12，對(duì)單光子成像陣列傳感器11輸出的脈沖成像信號(hào)進(jìn)行簡(jiǎn)單的采樣和整形處理。由于單光子成像陣列傳感器11輸出的脈沖成像信號(hào)中含有噪聲成分，并且信號(hào)波形不是標(biāo)準(zhǔn)的數(shù)字信號(hào)波形，直接輸入到脈沖卷積神經(jīng)網(wǎng)絡(luò)圖像處理單元中進(jìn)行處理會(huì)導(dǎo)致圖像處理的效果不理想，需要在脈沖成像信號(hào)預(yù)處理單元12中進(jìn)行簡(jiǎn)單處理，包括信號(hào)采樣、信號(hào)同步和信號(hào)整形處理，生成波形清晰完整的脈沖成像信號(hào)，輸出到脈沖卷積神經(jīng)網(wǎng)絡(luò)圖像處理單元13。脈沖成像信號(hào)預(yù)處理單元12的處理時(shí)鐘與脈沖卷積神經(jīng)網(wǎng)絡(luò)圖像處理單元的工作時(shí)鐘同頻同相，均可以是來自外界輸入的時(shí)鐘信號(hào)。

一實(shí)施例中，仿生視覺成像與處理裝置100還可以包括信號(hào)輸出單元14，接收來自脈沖卷積神經(jīng)網(wǎng)絡(luò)圖像處理單元的圖像處理結(jié)果的輸出信號(hào)，將脈沖形式的輸出信號(hào)進(jìn)行緩存，并最終將圖像處理結(jié)果信號(hào)輸出仿生視覺成像預(yù)處理裝置。

一實(shí)施例中，仿生視覺成像與處理裝置100還可以包括驅(qū)動(dòng)控制電路15，分別與單光子陣列成像傳感器11、脈沖成像信號(hào)預(yù)處理單元12、脈沖卷積神經(jīng)網(wǎng)絡(luò)圖像處理單元13及信號(hào)輸出單元14雙向連接，驅(qū)動(dòng)控制電路15分別向上述各連接組件發(fā)送控制信號(hào)，并接收來各連接組件的反饋信號(hào)。驅(qū)動(dòng)控制電路15接收來自裝置外輸入的時(shí)鐘信號(hào)，并采用該時(shí)鐘信號(hào)統(tǒng)一對(duì)各連接組件同步控制。

本發(fā)明中，單光子成像和信號(hào)輸出的特性類似于人類視網(wǎng)膜感知圖像并輸出電脈沖信號(hào)的機(jī)理，脈沖卷積神經(jīng)網(wǎng)絡(luò)融合了傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)和脈沖神經(jīng)網(wǎng)絡(luò)的特點(diǎn)，模仿人類視覺信息傳輸和處理方式。將兩個(gè)功能模塊集成在同一仿生視覺成像與處理裝置能夠天然地模仿人腦視覺系統(tǒng)的工作機(jī)理，有望具有高性能低功耗的優(yōu)勢(shì)。

需要說明的是，在附圖或說明書正文中，未繪示或描述的實(shí)現(xiàn)方式，均為所屬技術(shù)領(lǐng)域中普通技術(shù)人員所知的形式，并未進(jìn)行詳細(xì)說明。此外，上述對(duì)各元件和方法的定義并不僅限于實(shí)施例中提到的各種具體結(jié)構(gòu)、形狀或方式，本領(lǐng)域普通技術(shù)人員可對(duì)其進(jìn)行簡(jiǎn)單地更改或替換。

以上所述的具體實(shí)施例，對(duì)本發(fā)明的目的、技術(shù)方案和有益效果進(jìn)行了進(jìn)一步詳細(xì)說明，應(yīng)理解的是，以上所述僅為本發(fā)明的具體實(shí)施例而已，并不用于限制本發(fā)明，凡在本發(fā)明的精神和原則之內(nèi)，所做的任何修改、等同替換、改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。