本實用新型一種嵌入式RGB-D視頻流采集系統(tǒng)，適用于有關(guān)深度視覺類產(chǎn)品領(lǐng)域。
背景技術(shù)：
隨著社會的不斷發(fā)展，普通的RGB彩色圖像已經(jīng)無法滿足社會的需求。目前在機(jī)器人、智能安防、AR/VR、無人機(jī)等許多行業(yè)對深度視覺的需求越來越突出。如在機(jī)器人領(lǐng)域，使用RGB-D攝像頭采集的深度圖像數(shù)據(jù)進(jìn)行視覺導(dǎo)航、識別外界的環(huán)境、規(guī)劃路徑、實現(xiàn)避障工作等，基于RGB-D攝像頭的視覺導(dǎo)航已經(jīng)成為了公認(rèn)的解決方案。又比如對于目前在計算機(jī)動畫、虛擬現(xiàn)實、醫(yī)學(xué)圖像分析等各個領(lǐng)域應(yīng)用越來越廣泛的三維重建技術(shù)也是基于RGB-D攝像頭采集到的深度圖像來恢復(fù)目標(biāo)物體的三維立體信息的，傳統(tǒng)的基于可見光的二維圖像常常遭遇光照變化、陰影、物體遮擋以及環(huán)境變化等因素的干擾，不能對三維物體進(jìn)行準(zhǔn)確的識別與定位，而根據(jù)物體紋理特征、紋理梯度的變化、物體完整性及物體的模糊程度等計算出來的深度信息能夠很好地克服以上困難。目前RGB-D攝像頭都是基于PC機(jī)的，但基于PC機(jī)的系統(tǒng)一方面造價高，一方面安裝不靈活，另外由于太龐大便攜性也差，無法應(yīng)用在一些小型移動設(shè)備上，比如機(jī)器人、無人機(jī)等。因此，需要一種低功耗、低成本、小巧、可靈活安裝使用的嵌入式RGB-D視頻流采集系統(tǒng)。
技術(shù)實現(xiàn)要素：
為解決上述技術(shù)問題，本實用新型提供一種嵌入式RGB-D視頻流采集系統(tǒng)，具備低功耗、低成本以及小巧、可靈活安裝使用的特點，因此能夠很好的應(yīng)用在有關(guān)深度視覺類產(chǎn)品上。
本實用新型采取的技術(shù)方案為：
一種嵌入式RGB-D視頻流采集系統(tǒng)，包括采集模塊、顯示終端，所述采集模塊包括嵌入式微處理器，所述嵌入式微處理器分別連接RS-232接口、SDRAM、NAND FLASH、USB接口、以太網(wǎng)接口。所述USB接口連接RGB-D攝像頭，所述以太網(wǎng)接口連接網(wǎng)絡(luò)集線器。
所述嵌入式微處理器為ARM內(nèi)核的處理器，嵌入式微處理器上運行的系統(tǒng)為嵌入式Linux操作系統(tǒng)。
所述RS-232接口作為采集模塊的調(diào)試接口，用于設(shè)置采集模塊的IP地址。
所述顯示終端為運行Linux操作系統(tǒng)的PC機(jī)。
所述RGB-D攝像頭用于圖像數(shù)據(jù)的采集，包括一個RGB攝像頭和一個深度攝像頭，可以同時采集RGB圖像數(shù)據(jù)和深度圖像數(shù)據(jù)。
該系統(tǒng)還包括電源模塊，電源模塊用于給其它模塊供電。
本實用新型一種嵌入式RGB-D視頻流采集系統(tǒng)，技術(shù)效果如下：
1：通過電源模塊給系統(tǒng)上電。在采集模塊，系統(tǒng)剛開始啟動時通過RS-232接口進(jìn)入調(diào)試模式，在該模式下給采集模塊設(shè)置好一個IP地址，然后通過RS-232接口給系統(tǒng)發(fā)送一個重啟指令，系統(tǒng)重新啟動后，嵌入式微處理器便自動加載執(zhí)行預(yù)先編寫好存儲在NAND FLASH里的程序代碼，通過USB接口控制RGB-D攝像頭開始連續(xù)采集圖像，并將采集到的圖像經(jīng)過處理轉(zhuǎn)換成標(biāo)準(zhǔn)RTSP流后再由以太網(wǎng)接口發(fā)送出去。
2：在顯示終端，系統(tǒng)啟動后，在Linux命令終端輸入相關(guān)指令，打開事先編寫好的圖像接收程序，輸入采集模塊IP地址和端口號，之后便會在顯示窗口源源不斷的顯示采集模塊采集到的RGB-D視頻流。這種含有深度圖像數(shù)據(jù)的RGB-D視頻流如果用于機(jī)器人領(lǐng)域，可以對機(jī)器人視覺導(dǎo)航、識別外界的環(huán)境、規(guī)劃路徑、實現(xiàn)避障工作等提供很大的幫助，如果用于三維重建，可以有效避免傳統(tǒng)的基于可見光的二維圖像常常遭遇光照變化、陰影、物體遮擋以及環(huán)境變化等因素干擾的問題，因而對計算機(jī)動畫、虛擬現(xiàn)實、醫(yī)學(xué)圖像分析等領(lǐng)域有很大的意義。
3：采集模塊是基于嵌入式平臺的，因此它的成本低，功耗低，還非常的小巧，可以很靈活方便的安裝。
附圖說明
圖1為本實用新型系統(tǒng)連接框圖。
具體實施方式
如圖1所述，一種嵌入式RGB-D視頻流采集系統(tǒng)，包括采集模塊、顯示終端，所述采集模塊包括嵌入式微處理器1，所述嵌入式微處理器1分別連接RS-232接口2、SDRAM3、NAND FLASH4、USB接口5、以太網(wǎng)接口7。所述USB接口5連接RGB-D攝像頭6，所述以太網(wǎng)接口7連接網(wǎng)絡(luò)集線器8。
嵌入式微處理器1主要進(jìn)行系統(tǒng)的調(diào)用，保證各個功能的正常執(zhí)行。該嵌入式微處理器1為ARM內(nèi)核的處理器，因為ARM內(nèi)核的處理器不僅保證了該系統(tǒng)所要求的性能，而且它還體積小、功耗低、成本低，非常適合本系統(tǒng)所要達(dá)到低成本、低功耗、安裝方便的要求。同時在該嵌入式微處理器1運行的是嵌入式Linux操作系統(tǒng)，該系統(tǒng)是一種完全開源且可裁減的軟件平臺系統(tǒng)，內(nèi)核精簡，性能高、穩(wěn)定，多任務(wù)，同時由于其完全開源的特性，因此不存在黑箱技術(shù)，可以獲得全球Linux愛好者的強大技術(shù)支持，非常適合用在本系統(tǒng)采集模塊的嵌入式平臺上。
RS-232接口2主要作為采集模塊的調(diào)試接口，在系統(tǒng)調(diào)試階段，通過該接口與采集模塊的嵌入式平臺進(jìn)行串口通信，調(diào)試系統(tǒng)程序以及設(shè)置平臺的IP地址等初始化參數(shù)。
SDRAM3和NAND FLASH4主要作為存儲器用來存儲相關(guān)指令和數(shù)據(jù)。
USB接口5用于嵌入式微處理器1和RGB-D攝像頭6之間通訊。
以太網(wǎng)接口7主要用于網(wǎng)絡(luò)數(shù)據(jù)的收發(fā)，在程序調(diào)試階段還用于程序的在線調(diào)試。
RGB-D攝像頭6主要用于圖像數(shù)據(jù)的采集，其同時擁有一個RGB攝像頭和一個深度攝像頭，可以同時采集RGB圖像數(shù)據(jù)和深度圖像數(shù)據(jù)。本實用新型系統(tǒng)，主要利用該攝像頭來采集深度圖像數(shù)據(jù)并同時將其轉(zhuǎn)換成標(biāo)準(zhǔn)RTSP流。
所述顯示終端主要是一臺運行Linux操作系統(tǒng)的PC機(jī)9，用于顯示采集模塊發(fā)送過來的圖像數(shù)據(jù)，之所以采用Linux操作系統(tǒng)，還是因為該系統(tǒng)完全開源，內(nèi)核精簡，性能高、穩(wěn)定，多任務(wù)，非常適合用于本實用新型系統(tǒng)的圖像顯示終端。
該系統(tǒng)還包括電源模塊10，電源模塊10用于給其它模塊供電。
實施步驟：
在使用之前，需要先切換到調(diào)試模式，通過RS-232接口2連接控制臺，在采集模塊剛上電時，在控制臺輸入回車鍵進(jìn)入調(diào)試模式，然后在該模式下設(shè)置采集模塊的IP地址，啟動方式等初始化參數(shù)，之后保存設(shè)置參數(shù)然后重啟。
采集模塊上電后，嵌入式微處理器1便按照設(shè)置好的啟動參數(shù)依次執(zhí)行相關(guān)指令，首先從NAND FLASH4加載BootLoader到SDRAM3執(zhí)行，然后再從NAND FLASH4加載嵌入式Linux操作系統(tǒng)到SDRAM3執(zhí)行，然后再從NAND FLASH4加載預(yù)先編寫好的采集程序到SDRAM3執(zhí)行，最后開始圖像的采集。采集程序通過USB接口5控制RGB-D攝像頭6采集圖像，并通過USB接口5不斷傳回采集的圖像數(shù)據(jù)，最終嵌入式微處理器1會將傳回的圖像數(shù)據(jù)轉(zhuǎn)換成標(biāo)準(zhǔn)RTSP流后，再不斷通過以太網(wǎng)接口7發(fā)送出去。
本實用新型一種嵌入式RGB-D視頻流采集系統(tǒng)，在通過以太網(wǎng)接口7將圖像數(shù)據(jù)發(fā)送出去的時候，采用RTSP實時流傳輸協(xié)議來實現(xiàn)視頻流的發(fā)送，即把RGB-D攝像頭6采集到的視頻流先轉(zhuǎn)換成標(biāo)準(zhǔn)RTSP流后再由以太網(wǎng)接口7發(fā)送。采用RTSP實時流傳輸協(xié)議的好處是該協(xié)議容易擴(kuò)展、易解析、提供記錄設(shè)備控制、多服務(wù)器支持，非常適合本系統(tǒng)網(wǎng)絡(luò)間的通信要求。
顯示終端上電后，在PC機(jī)9的Linux系統(tǒng)命令終端里輸入相關(guān)指令，啟動預(yù)先編寫好的圖像顯示程序，然后會提示輸入采集模塊IP地址和端口號，在這里輸入之前為采集模塊設(shè)置好的IP地址和端口號后，圖像顯示程序便與采集模塊建立起了連接，采集模塊便開始從當(dāng)前幀緩沖區(qū)開始將視頻流數(shù)據(jù)發(fā)送給連接請求方，連接請求方即顯示終端開始不斷接受到來自采集模塊的視頻流數(shù)據(jù)，并實時顯示在PC機(jī)9的顯示屏上。在顯示窗口可以通過設(shè)置參數(shù)使顯示的視頻流在RGB彩色圖和深度圖之間切換，可以根據(jù)需要顯示自己想要的圖像數(shù)據(jù)。