一種基于rgb-ir相機(jī)的聲音編碼交互系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于三維場景檢測、雙目視覺、視覺障礙人群輔助技術(shù)、聲音編碼技術(shù)、人 機(jī)交互領(lǐng)域。本發(fā)明涉及一種利用RGB-IR相機(jī)采集視頻圖像，轉(zhuǎn)化為聲音編碼的交互系統(tǒng)。
【背景技術(shù)】
[0002] 視覺是人類最重要的感覺，人類有60%_80%的信息來自視覺。視覺在人類的所有 感覺中占據(jù)支配地位，是思維的一種最基本的工具。損失正常視覺的視覺障礙人士，對于形 狀、色彩、運(yùn)動的理解都很困難，因此他們的生活在起居、出行等方面都受到巨大的影響。
[0003] 對于缺損視覺感知的視覺障礙人群，簡單的盲杖只能提供單一的輔助功能，探測 距離有限，無法提供充分的輔助。導(dǎo)盲犬和仿生眼可為視覺缺損的人群提供幫助，但導(dǎo)盲犬 的訓(xùn)練和養(yǎng)護(hù)費(fèi)用普通家庭難以承擔(dān);仿生眼的植入需要進(jìn)行手術(shù)，造價昂貴，且只能針對 視網(wǎng)膜色素變性或老年性黃斑變性導(dǎo)致失明的人群。
[0004] 傳統(tǒng)電子式的視障輔助工具主要包括超聲波輔助技術(shù)、激光測距輔助、雙目視覺 輔助技術(shù)、主動光深度相機(jī)輔助技術(shù)。
[0005] 基于超聲波和激光測距的輔助技術(shù)的測距范圍有限，只能實(shí)現(xiàn)單點(diǎn)測距，探測的 三維信息有限，只具有報警功能，并且容易誤判、漏判。
[0006] 基于傳統(tǒng)雙目視覺的輔助技術(shù)可以提供范圍更大的三維信息，但也存在一些不 足。傳統(tǒng)雙目視覺的三維信息獲取的核心技術(shù)在于對兩幅RGB圖像進(jìn)行圖像匹配，局部匹配 的方法只能獲得紋理顯著、特征明顯處的深度，因此只能獲取稀疏的三維信息，不充分的深 度信息容易造成三維探測時的誤檢測和漏檢測，使得后續(xù)輔助算法并不魯棒和可靠;全局 匹配的方法可以獲得深度稠密但并不完全精確的三維圖像，匹配算法復(fù)雜，計算量大，算法 難以實(shí)時化，容易造成輔助時的延時。
[0007] 基于主動光深度相機(jī)的輔助技術(shù)可以實(shí)時的獲取稠密、精確的深度圖像，但在室 外受日光影響不能正常工作，使得輔助技術(shù)只能局限于室內(nèi)。并且主動光的深度相機(jī)存在 最遠(yuǎn)距離，超過最遠(yuǎn)距離的路況無法探測。
[0008] 傳統(tǒng)視覺障礙人士輔助技術(shù)的人機(jī)交互方式主要有語音提示、觸覺震動的方法。 語音提示通常播報障礙物的距離和方向，由于語音提示需要時間，會產(chǎn)生延時，造成事故。 觸覺震動通常以震動腰帶或者震動背心為實(shí)現(xiàn)硬件，以震動來提示障礙物的方位，震動裝 置雖然可以免除延時的問題，但給視覺障礙人士帶來負(fù)擔(dān)，不同人的穿戴感受有差別。
[0009] 最近RGB- IR的CCD/CM0S芯片和聲音編碼技術(shù)的發(fā)展，為視覺障礙人群的輔助技術(shù) 提供了新思路。RGB-IR相機(jī)可同時獲得一副RGB彩色圖像和IR紅外圖像。采用兩個RGB-IR相 機(jī)，和一支紅外激光筆，在雙目立體視覺的基礎(chǔ)上，可獲取實(shí)時、可靠、全面的深度圖像。結(jié) 合RGB彩色信息、IR紅外信息和深度三維信息，可以對整個視場的場景進(jìn)行充分的識別和解 析。視覺障礙人士可以利用紅外激光筆，對感興趣區(qū)域的深度加以確認(rèn)，增加了視覺障礙人 士和視覺輔助裝置的交互，提高了使用體驗(yàn)。利用聲音編碼技術(shù)的交互方式可為視覺障礙 人士提供及時、快速、完整的場景信息，能夠?qū)⒊渥愕纳疃刃畔⑥D(zhuǎn)化為聲音編碼傳遞給使用 者，信息損失少，可以很好滿足視覺障礙人士對輔助工具的要求。

【發(fā)明內(nèi)容】

[0010]本發(fā)明的目的在于針對現(xiàn)有技術(shù)的不足，提供了一種基于RGB-IR相機(jī)的聲音編碼 交互系統(tǒng)。
[0011]本發(fā)明的目的是通過以下技術(shù)方案實(shí)現(xiàn)的：一種基于RGB-IR相機(jī)的聲音編碼交互 系統(tǒng)，所述系統(tǒng)包括兩個RGB-IR相機(jī)、深度獲取模塊、聲音編碼模塊、聲音輸出模塊;兩個 RGB-IR相機(jī)分別與深度獲取模塊相連，深度獲取模塊通過聲音編碼模塊與聲音輸出模塊相 連;所述兩個RGB-IR相機(jī)光軸方向平行，豎直高度一致，水平間距為B(如圖1所示）；
[0012] 兩個RGB- IR相機(jī)均用于采集RGB彩色視頻流和IR紅外視頻流，獲得兩幅RGB彩色視 頻流和兩幅IR紅外視頻流；
[0013] 所述深度獲取模塊用于獲取兩幅RGB彩色視頻流和兩幅IR紅外視頻流，對兩幅RGB 彩色視頻流進(jìn)行雙目立體匹配，獲取初始的稀疏深度圖。對兩幅IR紅外視頻流進(jìn)行特征點(diǎn) 匹配(特征點(diǎn)匹配為本領(lǐng)域公知常識），獲取這些區(qū)域特征點(diǎn)的置信度高的精確深度圖，。并 利用精確深度圖，配合IR紅外視頻流和RGB彩色視頻流，在初始稀的疏深度圖中進(jìn)行擴(kuò)展， 從而獲取更為稠密、精確的深度圖像。
[0014] 此外，深度獲取模塊還用于根據(jù)RGB-IR相機(jī)的內(nèi)參數(shù)，將更為稠密、精確的深度圖 像進(jìn)行三維轉(zhuǎn)換，使之與RGB- IR相機(jī)的三維坐標(biāo)一致，獲得三維點(diǎn)云;并對三維點(diǎn)云的立方 區(qū)域進(jìn)行分塊，獲得N個長方體區(qū)塊，使得與RGB-IR相機(jī)光軸垂直的面分成N個長方形區(qū)域。 分塊方式見圖4。
[0015] 所述聲音編碼模塊用于對點(diǎn)云分塊結(jié)果的每層中的各個長方體區(qū)塊進(jìn)行掃描，計 算每個長方體區(qū)塊的平均坐標(biāo)(??。根據(jù)這一層中各個長方體區(qū)塊的平均坐標(biāo)同 時輸出各個立體聲模擬信號，其中，立體聲模擬信號的聲場水平距離通過?表示;立體聲模 擬信號的頻率與Ξ成線性關(guān)系;各層立體聲模擬信號按照從上往下的順序依次輸出。
[0016] 聲音輸出模塊用于根據(jù)立體聲模擬信號，依次輸出每一層聲音信號。
[0017] 進(jìn)一步地，所述深度獲取模塊對兩幅RGB彩色視頻流進(jìn)行雙目立體匹配，獲取初始 的稀疏深度圖的方法如下：
[0018] a、構(gòu)造一個窗口，類似于卷積核；
[0019] b、用窗口覆蓋其中一幅RGB彩色視頻流中的一個區(qū)域I，獲得窗口覆蓋區(qū)域內(nèi)的所 有像素點(diǎn)(u，v);
[0020] C、用窗口覆蓋另一幅RGB彩色視頻流中的一個區(qū)域II，篩選出窗口覆蓋區(qū)域的像 素點(diǎn)(u'，v'），使得該區(qū)域的SAD值最小;所述SAD值通過以下方式計算：
[0021] SAD(u，v) = Sum{ I I(u，v)-II(u'，v'）I}，Sum表示該窗口塊中的所有灰度絕對值差 的累積。
[0022] d、計算各個對應(yīng)點(diǎn)的視差d= |u'-u|，由深度計算公式，可得該點(diǎn)的深度為z = f X B/d，即該點(diǎn)到相機(jī)主平面的距離，其中f為焦距，B為兩相機(jī)的水平間距。
[0023] e、對整幅圖像進(jìn)行一次循環(huán)遍歷，計算每一像素點(diǎn)的視差值d和深度z，即可獲知 當(dāng)前的初始深度圖。
[0024] 進(jìn)一步地，所述深度獲取模塊利用精確深度圖，配合IR紅外視頻流和RGB彩色視頻 流，在初始稀的疏深度圖中進(jìn)行擴(kuò)展，可獲取更為稠密、精確的深度圖像。具體為：
[0025] a、以最小的圓形框，框住兩幅IR紅外視頻流的特征點(diǎn)區(qū)域；
[0026] b、對圓形框的區(qū)域進(jìn)行遍歷，計算一個非特征點(diǎn)上下左右四個方向到最近的三個 的特征點(diǎn)的距離，以這三個特征點(diǎn)的深度對該非特征點(diǎn)的深度進(jìn)行加權(quán)插值。插值的權(quán)值 與它們之間的顏色與距離差別有關(guān)系。插值的權(quán)值為
[0027]
勺該 非特征點(diǎn)到一個特征點(diǎn)的距離平方，對應(yīng)的(!·-!〇)2+(8-8〇)2+(13-13()) 2為該非特征點(diǎn)與一個 特征點(diǎn)的顏色分量的差別的平方，Od與0。分別為距離項(xiàng)和顏色項(xiàng)的權(quán)值；
[0028] c、對超過搜索距離h的點(diǎn)，則跳出，不對該點(diǎn)進(jìn)行深度修正；
[0029] d、對圓形框的區(qū)域遍歷執(zhí)行b、c兩步后，對深度圖像進(jìn)行一次斑點(diǎn)濾波，完成當(dāng)前 場景區(qū)域的深度擴(kuò)展，即獲得更為稠密、精確的深度圖像。
[0030] 進(jìn)一步地，所述深度獲取模塊通過以下方法得到三維點(diǎn)云：
[0031] 首先對兩個RGB-IR相機(jī)進(jìn)行相機(jī)標(biāo)定，獲得相機(jī)的內(nèi)參數(shù)，包括在x，y兩個軸上的 焦距fX，fy和相機(jī)的光圈中心C x，Cy。
[0032] 像素點(diǎn)(u，v)在其中一