一種即插即用的深度攝像裝置制造方法
【專(zhuān)利摘要】本發(fā)明公開(kāi)了一種即插即用的深度攝像裝置，通過(guò)編碼圖案投射器投射編碼圖案，對(duì)投射空間和目標(biāo)物體進(jìn)行特征標(biāo)定，由圖像傳感器獲取所投射的編碼圖案，經(jīng)深度感知計(jì)算模塊進(jìn)行深度計(jì)算、深度到灰度映射、縮放和格式轉(zhuǎn)換，再經(jīng)編碼壓縮USB驅(qū)動(dòng)模塊進(jìn)行壓縮、打包和USB上傳到智能終端，最后由視頻流數(shù)據(jù)深度恢復(fù)模塊進(jìn)行解碼，恢復(fù)出投射空間和目標(biāo)物體的深度信息。本發(fā)明基于結(jié)構(gòu)光的主動(dòng)視覺(jué)模式，可以與任何支持USB接口的智能終端相連，實(shí)時(shí)輸出高分辨率、高幀率的深度圖序列，即插即用，并支持常見(jiàn)的視頻攝像頭程序無(wú)縫地調(diào)用深度視頻流。
【專(zhuān)利說(shuō)明】一種即插即用的深度攝像裝置
【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于圖像處理、人機(jī)交互和機(jī)器視覺(jué)【技術(shù)領(lǐng)域】，具體涉及一種即插即用的深度攝像裝置。
【背景技術(shù)】
[0002]視覺(jué)是人類(lèi)觀察與認(rèn)知世界最直接、最主要的途徑。我們生活在一個(gè)三維世界中，人類(lèi)視覺(jué)不僅能感知物體表面的亮度、顏色、紋理信息，運(yùn)動(dòng)情況，而且能判斷其形狀、空間及空間位置(深度、距離)。如何讓機(jī)器視覺(jué)能實(shí)時(shí)獲得高精度的三維深度信息、提高機(jī)器的智能水平是當(dāng)前機(jī)器視覺(jué)系統(tǒng)研究的難點(diǎn)。
[0003]在工業(yè)領(lǐng)域，高分辨率、高精度的三維深度信息在汽車(chē)輔助安全駕駛、高速機(jī)床加工、工業(yè)建模、3D打印、醫(yī)療成像、物聯(lián)網(wǎng)3D視覺(jué)感知等領(lǐng)域有著廣泛的應(yīng)用需求。在消費(fèi)電子領(lǐng)域，深度感知技術(shù)和裝置有助于提高電子產(chǎn)品的智能水平和交互能力，可為用戶帶來(lái)“科幻”般的操控方式和全新的人機(jī)交互體驗(yàn)，在智能電視、智能手機(jī)、家電、平板PC等領(lǐng)域?qū)崿F(xiàn)創(chuàng)新應(yīng)用。
[0004]現(xiàn)有的深度獲取裝置在實(shí)時(shí)性、操作應(yīng)用簡(jiǎn)便性方面存在限制。如雙目立體攝像頭技術(shù)成熟，但未能實(shí)時(shí)生成并輸出深度圖序列；微軟體感交互設(shè)備Kinect采用紅外結(jié)構(gòu)光的主動(dòng)視覺(jué)模式可以實(shí)時(shí)輸出深度圖(0.8?3.8米范圍，640*480，30f/s)，但其驅(qū)動(dòng)及應(yīng)用開(kāi)發(fā)包安裝復(fù)雜，一般與Xbox游戲機(jī)綁定，無(wú)法做到與任意兼容USB接口的智能設(shè)備或OS系統(tǒng)平臺(tái)連接進(jìn)行即插即用。2013年美國(guó)蘋(píng)果公司新申請(qǐng)一項(xiàng)發(fā)明專(zhuān)利“DepthPerception Device and System,深度感知設(shè)備與系統(tǒng)”,利用激光發(fā)射圖形、攝像頭獲取散斑圖后計(jì)算出深度距離，該技術(shù)有可能作為其未來(lái)創(chuàng)新產(chǎn)品的虛擬交互和輸入設(shè)備進(jìn)行應(yīng)用。2014年I月英特爾公司推出嵌入式3D深度攝像頭，認(rèn)為“虛擬世界正無(wú)限接近于現(xiàn)實(shí)世界；人機(jī)交互模式將會(huì)變得更加自然(natural)、直觀(intuitive)和身臨其境(immersive) ”。開(kāi)發(fā)一種能快速、準(zhǔn)確地獲取目標(biāo)物體深度信息的設(shè)備裝置已成為國(guó)內(nèi)外相關(guān)行業(yè)研究的熱點(diǎn)和難點(diǎn)。

【發(fā)明內(nèi)容】

[0005]鑒于此，本發(fā)明提供了一種即插即用的深度攝像裝置，基于結(jié)構(gòu)光的主動(dòng)視覺(jué)模式，通過(guò)USB 口即插即用的方式與任何支持USB 口的智能設(shè)備(PC、平板、智能電視、智能家電、穿戴式設(shè)備等)、0S系統(tǒng)相連接，并實(shí)時(shí)輸出高分辨率、精確的深度圖序列。
[0006]本發(fā)明采用以下技術(shù)方案予以實(shí)現(xiàn):
[0007]—種即插即用的深度攝像裝置，包括編碼圖案投射器、圖像傳感器、深度感知計(jì)算模塊、編碼壓縮USB驅(qū)動(dòng)模塊，其中，
[0008]編碼圖案投射器用于投射出一定波長(zhǎng)范圍的編碼圖案，對(duì)有效范圍內(nèi)待測(cè)量的投射空間和目標(biāo)物體進(jìn)行結(jié)構(gòu)光編碼，即特征標(biāo)定；
[0009]圖像傳感器用于實(shí)時(shí)接收編碼圖案投射器投射的編碼圖案，生成輸入編碼圖像序列，并將輸入編碼圖像序列以一定的視頻格式送入深度感知計(jì)算模塊；
[0010]深度感知計(jì)算模塊用于利用輸入編碼圖像序列和參考編碼圖像進(jìn)行深度計(jì)算、深度-灰度映射、視頻縮放和圖像數(shù)據(jù)格式轉(zhuǎn)換，輸出視頻流數(shù)據(jù)；
[0011]編碼壓縮USB驅(qū)動(dòng)模塊用于將符合其編碼格式要求的視頻流數(shù)據(jù)進(jìn)行壓縮和打包，再通過(guò)即插即用的USB接口上傳到智能終端。
[0012]本發(fā)明具有結(jié)構(gòu)簡(jiǎn)單、低成本、使用方便可靠的優(yōu)點(diǎn)。采用本發(fā)明技術(shù)方案的有益效果還將通過(guò)以下實(shí)施例的闡述而得到具體的體現(xiàn)。
【專(zhuān)利附圖】

【附圖說(shuō)明】
[0013]圖1是本發(fā)明實(shí)施例的裝置結(jié)構(gòu)圖；
[0014]圖2是本發(fā)明實(shí)施例的激光散斑編碼圖案示意圖；
[0015]圖3是本發(fā)明實(shí)施例的深度感知計(jì)算模塊結(jié)構(gòu)圖；
[0016]圖4是本發(fā)明實(shí)施例的視頻縮放子模塊結(jié)構(gòu)圖；
[0017]圖5是本發(fā)明實(shí)施例的圖像數(shù)據(jù)格式轉(zhuǎn)換子模塊結(jié)構(gòu)圖。
【具體實(shí)施方式】
[0018]下面結(jié)合附圖對(duì)本發(fā)明進(jìn)行進(jìn)一步的詳細(xì)說(shuō)明。
[0019]本發(fā)明的總體構(gòu)思為:采用編碼圖案投射器(激光散斑投射器或其它投影裝置)投射出一定波長(zhǎng)范圍的編碼圖案，對(duì)投射空間和目標(biāo)物體進(jìn)行結(jié)構(gòu)光編碼，即特征標(biāo)定，再利用與編碼圖案投射器在同一基線上的圖像傳感器獲取所投射的編碼圖案；深度感知計(jì)算模塊將采集到的編碼圖像序列經(jīng)圖像預(yù)處理后與已知距離的參考編碼圖像進(jìn)行塊匹配運(yùn)動(dòng)估計(jì)、深度計(jì)算和深度到灰度映射，生成所投射空間和目標(biāo)物體的深度信息，再經(jīng)視頻縮放子模塊和圖像數(shù)據(jù)格式轉(zhuǎn)換子模塊輸出視頻流數(shù)據(jù)到編碼壓縮USB驅(qū)動(dòng)模塊；通過(guò)視頻壓縮、數(shù)據(jù)打包和即插即用的USB接口上傳到智能終端；智能終端的視頻流數(shù)據(jù)深度恢復(fù)模塊對(duì)接收到的壓縮視頻流數(shù)據(jù)進(jìn)行解碼，并進(jìn)行灰度到深度的逆映射，恢復(fù)出投射空間和目標(biāo)物體的深度信息。
[0020]圖1示出了本發(fā)明實(shí)施例的即插即用的深度攝像裝置，該裝置包括:編碼圖案投射器、圖像傳感器、深度感知計(jì)算模塊、編碼壓縮USB驅(qū)動(dòng)模塊。
[0021]編碼圖案投射器可以是激光散斑投射器或其他投影裝置，其中，激光散斑投射器可以投射出的相干激光束(紅外、可見(jiàn)光、紫外線、不可見(jiàn)光)，激光束經(jīng)干涉成像和物體表面的漫反射形成由散斑點(diǎn)組成的散斑圖像；投影裝置可以投射出可控的編碼圖案。編碼圖案投射器所投射出的圖案一般是固定的，或采用一定的同步控制策略與接收?qǐng)D像的圖像傳感器進(jìn)行同步后改變其投射出的圖案；同一幅圖案在水平或垂直方向的一定范圍內(nèi)，其特征不重復(fù)或?qū)儆陔S機(jī)分布。編碼圖案投射器所投射的視場(chǎng)角FoV(包括水平、垂直視場(chǎng)角)一般大于圖像傳感器的視場(chǎng)角FoV。編碼圖案投射器的投射有效距離有一定范圍限制，跟其光源強(qiáng)度、產(chǎn)生機(jī)理、投射光學(xué)透鏡有關(guān)。
[0022]圖像傳感器包含光學(xué)聚焦成像透鏡和濾波裝置，用于接收特定波長(zhǎng)范圍的編碼圖案。圖像傳感器的光學(xué)焦距f 一般是固定的，其光軸與編碼圖案投射器的光軸平行、基線距離為S。[0023]深度感知計(jì)算模塊包括圖像預(yù)處理子模塊、塊匹配運(yùn)動(dòng)估計(jì)子模塊、深度計(jì)算子模塊、深度-灰度映射子模塊、視頻縮放子模塊、圖像數(shù)據(jù)格式轉(zhuǎn)換子模塊。在特定實(shí)施例中，其物理載體可以是可編程邏輯芯片F(xiàn)PGA或?qū)Ｓ眉呻娐穳K。
[0024]編碼壓縮USB驅(qū)動(dòng)模塊可以是可編程邏輯芯片F(xiàn)PGA上的IP核或?qū)Ｓ眉呻娐穳KICo
[0025]為了清楚說(shuō)明，下文中將結(jié)合圖2、圖3、圖4、圖5來(lái)進(jìn)一步描述本發(fā)明實(shí)施例的即插即用的深度攝像裝置的工作機(jī)制。
[0026]首先，編碼圖案投射器(激光散斑投射器或其它投影裝置)投射出一定波長(zhǎng)范圍的編碼圖案，對(duì)有效范圍內(nèi)待測(cè)量的投射空間和目標(biāo)物體進(jìn)行結(jié)構(gòu)光編碼，即特征標(biāo)定。其中，該編碼圖案滿足在水平或垂直方向的一定范圍內(nèi)，其特征不重復(fù)或?qū)儆陔S機(jī)分布。
[0027]圖2為采用激光散斑投射器投射出的激光散斑編碼圖案示意圖，在水平或垂直方向的一定范圍內(nèi)其散斑點(diǎn)的分布不重復(fù)。其中，事先由編碼圖案投射器投射出一定波長(zhǎng)范圍(紅外、可見(jiàn)光、紫外線、不可見(jiàn)光)的編碼圖案到與編碼圖案投射器的光軸(Z軸)相垂直的、且已知垂直距離為d的平面上，形成的非規(guī)則編碼圖像，稱為參考編碼圖像。該平面可由投影布、平板等構(gòu)成，用于呈現(xiàn)清晰穩(wěn)定的編碼圖案，可稱之為參考基準(zhǔn)平面。參考編碼圖像將由圖像預(yù)處理模塊進(jìn)行與輸入編碼圖像相同的預(yù)處理(參見(jiàn)下文)后，存儲(chǔ)固化在內(nèi)部或外部存儲(chǔ)器中，作為后續(xù)深度感知計(jì)算的匹配基準(zhǔn)圖形，且在深度感知計(jì)算過(guò)程中其數(shù)據(jù)保持不變。
[0028]接下來(lái)，圖像傳感器實(shí)時(shí)接收編碼圖案投射器投射的編碼圖案，生成輸入編碼圖像序列，并將所獲取的輸入編碼圖像序列以一定的視頻格式(例如Bayer、ITU601、ITU656、MIPI)送入深度感知計(jì)算模塊。其中，圖像傳感器與編碼圖案投射器的光軸平行，且在同一基線上，基線距離為S，焦距為f。優(yōu)選地，圖像傳感器可以通過(guò)濾波裝置(例如特定波長(zhǎng)范圍的濾光片)濾除接收波長(zhǎng)范圍外的光線，以消除干擾。
[0029]接著，深度感知計(jì)算模塊利用輸入編碼圖像序列和參考編碼圖像進(jìn)行深度計(jì)算、深度映射、視頻縮放和圖像數(shù)據(jù)格式轉(zhuǎn)換，輸出視頻流數(shù)據(jù)。深度感知計(jì)算模塊的結(jié)構(gòu)框圖見(jiàn)圖3，其中深度計(jì)算的過(guò)程如下:
[0030]首先，圖像預(yù)處理子模塊對(duì)輸入的編碼圖像進(jìn)行圖像預(yù)處理。圖像預(yù)處理一般包括視頻格式轉(zhuǎn)換(例如Bayer、ITU601、ITU656視頻解碼、MIPI接口格式轉(zhuǎn)換)、色度空間轉(zhuǎn)換(例如RGB轉(zhuǎn)YUV)、灰度圖像自適應(yīng)去噪和增強(qiáng)等，其中增強(qiáng)方法包括直方圖增強(qiáng)、灰度線性增強(qiáng)、二值化處理等，但不限于這些傳統(tǒng)的增強(qiáng)方法。通過(guò)視頻格式轉(zhuǎn)換、一致性去噪和增強(qiáng)等預(yù)處理，可以使編碼圖案更清晰，有利于減少深度感知計(jì)算過(guò)程中的誤匹配和噪聲干擾，提高深度計(jì)算的精確性。
[0031]其次，塊匹配運(yùn)動(dòng)估計(jì)子模塊從輸入編碼圖像中提取一定大小的圖像塊，以一定的搜索策略和相似度測(cè)量指標(biāo)在參考編碼圖像中搜尋最優(yōu)匹配塊，獲得該圖像塊與最優(yōu)匹配塊之間的最優(yōu)偏移量，即運(yùn)動(dòng)向量,用X和Y軸的偏移量(Δχ，Ay)表示。塊匹配運(yùn)動(dòng)估計(jì)是現(xiàn)有技術(shù)，在一個(gè)特定實(shí)施例中，塊匹配運(yùn)動(dòng)估計(jì)可以采用本發(fā)明人已申請(qǐng)的中國(guó)發(fā)明專(zhuān)利(CN201210490235.4，一種激光散斑圖像的運(yùn)動(dòng)向量生成方法)。
[0032]深度計(jì)算子模塊將得到的最優(yōu)偏移量Am(Ax或Ay)結(jié)合參考編碼圖像的已知距離參數(shù)d、圖像傳感器與編碼圖案投射器的基線距離S、焦距f及圖像傳感器點(diǎn)距μ，計(jì)算得到圖像塊中心點(diǎn)的深度信息d'。
[0033]在本實(shí)施例中，根據(jù)以下深度計(jì)算公式計(jì)算d':
【權(quán)利要求】
1.一種即插即用的深度攝像裝置，包括編碼圖案投射器、圖像傳感器、深度感知計(jì)算模塊、編碼壓縮USB驅(qū)動(dòng)模塊，其中， 編碼圖案投射器用于投射出一定波長(zhǎng)范圍的編碼圖案，對(duì)有效范圍內(nèi)待測(cè)量的投射空間和目標(biāo)物體進(jìn)行結(jié)構(gòu)光編碼，即特征標(biāo)定； 圖像傳感器用于實(shí)時(shí)接收編碼圖案投射器投射的編碼圖案，生成輸入編碼圖像序列，并將輸入編碼圖像序列以一定的視頻格式送入深度感知計(jì)算模塊； 深度感知計(jì)算模塊用于利用輸入編碼圖像序列和參考編碼圖像進(jìn)行深度計(jì)算、深度-灰度映射、視頻縮放和圖像數(shù)據(jù)格式轉(zhuǎn)換，輸出視頻流數(shù)據(jù)； 編碼壓縮USB驅(qū)動(dòng)模塊用于將符合其編碼格式要求的視頻流數(shù)據(jù)進(jìn)行壓縮和打包，再通過(guò)即插即用的USB接口上傳到智能終端。
2.根據(jù)權(quán)利要求1所述的深度攝像裝置，其中，所述深度感知計(jì)算模塊包括圖像預(yù)處理子模塊、塊匹配運(yùn)動(dòng)估計(jì)子模塊、深度計(jì)算子模塊、深度-灰度映射子模塊、視頻縮放子模塊、圖像數(shù)據(jù)格式轉(zhuǎn)換子模塊。
3.根據(jù)權(quán)利要求1所述的深度攝像裝置，其中， 所述圖像預(yù)處理子模塊用于對(duì)輸入的編碼圖像進(jìn)行圖像預(yù)處理； 所述塊匹配運(yùn)動(dòng)估計(jì)子模塊從預(yù)處理后的輸入編碼圖像中提取一定大小的圖像塊，以一定的搜索策略和相似度測(cè)量指標(biāo)在參考編碼圖像中搜尋最優(yōu)匹配塊，獲得該圖像塊與最優(yōu)匹配塊之間的最優(yōu)偏移量，即運(yùn)動(dòng)向量，用X和Y軸的偏移量表示； 所述深度計(jì)算子模塊用于將得到X或Y軸的最優(yōu)偏移量Λ m結(jié)合參考編碼圖像的已知距離參數(shù)d、圖像傳感器與編碼圖案投射器的基線距離S、焦距f及圖像傳感器點(diǎn)距μ，計(jì)算得到圖像塊中心點(diǎn)的深度信息d'； 所述深度-灰度映射子模塊用于根據(jù)深度-灰度映射關(guān)系將計(jì)算出的深度信息映射為灰度值，利用深度圖表示投射空間和目標(biāo)物體的距離信息； 所述視頻縮放子模塊用于按照縮放控制參數(shù)對(duì)深度圖進(jìn)行比例縮放； 所述圖像數(shù)據(jù)格式轉(zhuǎn)換子模塊用于將縮放后的深度圖進(jìn)行數(shù)據(jù)格式轉(zhuǎn)換，以符合編碼壓縮USB驅(qū)動(dòng)模塊的視頻流數(shù)據(jù)格式。
4.根據(jù)權(quán)利要求3所述的深度攝像裝置，其中，所述深度計(jì)算子模塊根據(jù)以下深度計(jì)算公式計(jì)算d,:
5.根據(jù)權(quán)利要求3所述的深度攝像裝置，其中，所述映射關(guān)系為非線性關(guān)系，深度距離越近灰度值越大，深度距離越遠(yuǎn)灰度值越小。
6.根據(jù)權(quán)利要求3所述的深度攝像裝置，其中，所述視頻縮放子模塊包括IIC控制單元、輸入檢測(cè)單元、行同步產(chǎn)生單元、第一 FIFO、多條行存、垂直縮放單元和第二 FIFO。
7.根據(jù)權(quán)利要求6所述的深度攝像裝置，其中，所述IIC控制單元用于以IIC總線方式接收縮放控制參數(shù)，控制水平縮小、垂直縮放和水平放大的縮放比例，并控制縮放后的行場(chǎng)同步信號(hào)的產(chǎn)生； 所述行同步產(chǎn)生單元用于根據(jù)輸入的行場(chǎng)同步信號(hào)結(jié)合縮放控制參數(shù)產(chǎn)生縮放后的行場(chǎng)同步信號(hào)； 所述第一 FIFO通過(guò)雙線性或雙三次插值方式對(duì)深度圖進(jìn)行水平縮??； 所述多條行存用于為垂直縮放單元同時(shí)提供垂直方向?qū)R的多個(gè)寄存器組； 所述垂直縮放單元用于根據(jù)行存提供的垂直方向?qū)R的多個(gè)寄存器組對(duì)經(jīng)水平縮小的深度圖在垂直方向進(jìn)行縮放； 所述第二 FIFO通過(guò)雙線性或雙三次插值方式對(duì)經(jīng)垂直縮放的深度圖進(jìn)行水平放大。
8.根據(jù)權(quán)利要求1所述的深度攝像裝置，還包括深度恢復(fù)模塊，安裝在所述智能終端上，用于對(duì)接收到的壓縮視頻流數(shù)據(jù)進(jìn)行相應(yīng)的視頻解碼，生成灰度值表示的深度圖，再根據(jù)深度-灰度映射關(guān)系進(jìn)行灰度到深度的逆映射，從而恢復(fù)出投射空間和目標(biāo)物體的深度信息。
9.根據(jù)權(quán)利要求1所述的深度攝像裝置，其中，所述編碼圖案滿足在水平或垂直方向的一定范圍內(nèi)，其特征不重復(fù)或?qū)儆陔S機(jī)分布。
10.根據(jù)權(quán)利要求1所述的深度攝像裝置，其中，所述圖像傳感器包括濾波裝置，用于濾除接收波長(zhǎng)范圍外的 光線。
【文檔編號(hào)】H04N19/597GK103841406SQ201410050742
【公開(kāi)日】2014年6月4日 申請(qǐng)日期:2014年2月13日 優(yōu)先權(quán)日:2014年2月13日
【發(fā)明者】周艷輝, 葛晨陽(yáng), 倫建坤, 王菁 申請(qǐng)人:西安交通大學(xué), 寧波盈芯信息科技有限公司