一種基于調(diào)制光強(qiáng)的光編碼深度相機(jī)系統(tǒng)的無干擾深度提取方法
【專利摘要】本發(fā)明公開了一種基于調(diào)制光強(qiáng)的光編碼深度相機(jī)系統(tǒng)的無干擾深度提取方法。所述方法首先選取調(diào)制信號(hào)；然后依據(jù)調(diào)制信號(hào)生成光強(qiáng)幅值向量；再采集散斑圖案；并對(duì)采集到的散斑圖案進(jìn)行解調(diào)，獲得無干擾散斑圖案；最后對(duì)獲得的無干擾散斑圖案進(jìn)行深度提取。本發(fā)明提供的方法實(shí)現(xiàn)了基于調(diào)制光強(qiáng)的無干擾的光編碼深度相機(jī)系統(tǒng)場(chǎng)景深度的提取，所述方法采用的調(diào)制光強(qiáng)方式可支持不同數(shù)量的相機(jī)同時(shí)工作，適應(yīng)多種應(yīng)用情況；所述方法具有好的擴(kuò)展性，增減系統(tǒng)內(nèi)深度相機(jī)數(shù)量時(shí)不會(huì)對(duì)其他相機(jī)造成影響，適應(yīng)性好；系統(tǒng)內(nèi)各相機(jī)統(tǒng)一由無干擾的光編碼深度相機(jī)系統(tǒng)調(diào)度設(shè)備調(diào)配，相機(jī)間無需通信，降低了相機(jī)的成本。
【專利說明】一種基于調(diào)制光強(qiáng)的光編碼深度相機(jī)系統(tǒng)的無干擾深度提取方法【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于多視點(diǎn)立體視頻中多深度相機(jī)復(fù)雜場(chǎng)景多視點(diǎn)采樣與重建領(lǐng)域，特別涉及多光編碼深度相機(jī)間的干擾消除。
【背景技術(shù)】[0002]視覺系統(tǒng)感知是人類從外部獲取信息的重要方式，有研究表明，個(gè)體學(xué)習(xí)的信息有80%來自于視覺系統(tǒng)。人類的空間視覺具有將外部世界的二維投射重構(gòu)為三維世界的能力，以使人們?cè)谟^察事物時(shí)能產(chǎn)生立體感，獲得很好的視覺體驗(yàn)與臨場(chǎng)感。隨著數(shù)字電視技術(shù)和顯示技術(shù)的不斷發(fā)展，觀眾已經(jīng)不滿足于追求觀看單一視點(diǎn)的平面高清晰度電視，從多角度身臨其境地觀看某個(gè)場(chǎng)景下的立體視頻圖像逐漸成為觀眾的追求。立體圖像中包含三維世界的信息，使觀眾能夠產(chǎn)生身臨其境的感覺和逼真的視覺體驗(yàn)，同時(shí)立體圖像技術(shù)在科研、軍事、教育、工業(yè)、醫(yī)療等諸多領(lǐng)域的應(yīng)用也越來越廣泛，已經(jīng)取得了豐碩的成果。與平面圖像相比，立體圖像的產(chǎn)生需要結(jié)合人類對(duì)于立體信息的感知特性，立體效果與人的主觀感受情況密切相關(guān)，而立體視覺感是人類生理和心理多重因素共同作用的結(jié)果。這使得立體圖像的研究比平面圖像更為復(fù)雜。
[0003]在立體視覺感知中，立體成像技術(shù)利用人們的雙目視差形成立體感。雙目視差是指由于人的雙眼的空間位置不同(成人的雙眼瞳孔距離大約為65_)。觀察物體時(shí)由于雙眼位置差，兩只眼睛觀察的角度不同，這樣在左右眼形成的平面圖像上，距離不同的點(diǎn)其位置并不相同，觀察的角度也不完全相同，人的大腦對(duì)雙眼獲得的不同圖像進(jìn)行分析，獲得場(chǎng)景中物體的距離，產(chǎn)生立體感，這就是雙眼視差。立體成像技術(shù)中應(yīng)用雙眼視差原理，將同一場(chǎng)景不同角度的圖像送入雙眼，大腦將這兩張二維圖像合成為單一的三維圖像，使人產(chǎn)生立體感。
[0004]采用多深度相機(jī)的多視點(diǎn)系統(tǒng)有諸多優(yōu)勢(shì):
[0005]( I)利用多深度相機(jī)可以在提供細(xì)致景深的同時(shí)減少紋理相機(jī)數(shù)量；
[0006](2)相對(duì)于單深度相機(jī)，多深度相機(jī)能有效避免遮擋場(chǎng)景的問題，提高場(chǎng)景重建質(zhì)量;
[0007](3)深度圖相對(duì)于紋理圖具有更高的可壓縮性，經(jīng)壓縮后，可有效降低碼率，更易于數(shù)據(jù)的存儲(chǔ)與傳輸；
[0008](4)多深度圖易于實(shí)現(xiàn)任意視角重建，便于用戶自由切換視角；
[0009](5)多深度相機(jī)獲取的深度信息可用于增強(qiáng)現(xiàn)實(shí)和自然用戶界面等復(fù)雜場(chǎng)景，更有利于增強(qiáng)系統(tǒng)的立體感和交互性。
[0010]目前光編碼深度相機(jī)系統(tǒng)由一組分立的深度相機(jī)陣列組成，如圖1所示即為光編碼深度相機(jī)系統(tǒng)的系統(tǒng)示意圖，多光編碼相機(jī)同時(shí)對(duì)場(chǎng)景進(jìn)行深度采樣，獲得場(chǎng)景深度值。
[0011]然而由于以Kinect為代表的光編碼深度相機(jī)發(fā)出的紅外散斑圖像不具備可分性，在多深度相機(jī)同時(shí)工作時(shí)，由于場(chǎng)景中不同相機(jī)發(fā)射的散斑在空間內(nèi)重疊，接收?qǐng)D像進(jìn)行深度匹配時(shí)無法區(qū)分接收信號(hào)，故本相機(jī)接收到的散斑圖案會(huì)收到其他深度相機(jī)信號(hào)干擾。

【發(fā)明內(nèi)容】

[0012]本發(fā)明的目的在于消除多個(gè)光編碼深度相機(jī)(簡(jiǎn)稱相機(jī))系統(tǒng)內(nèi)相機(jī)間干擾，可以在多相機(jī)同時(shí)工作的情況下，分別獲得各相機(jī)無干擾的散斑圖案，進(jìn)而獲得準(zhǔn)確的深度信
肩、O
[0013]本發(fā)明提出了一種基于調(diào)制光強(qiáng)的光編碼深度相機(jī)系統(tǒng)的無干擾深度提取方法，包括如下步驟:
[0014]步驟一，選取調(diào)制信號(hào)；
[0015]步驟二，依據(jù)調(diào)制信號(hào)生成光強(qiáng)幅值向量；
[0016]步驟二，米集散斑圖案；
[0017]步驟四，對(duì)采集到的散斑圖案進(jìn)行解調(diào)，獲得無干擾散斑圖案；
[0018]步驟五，對(duì)獲得的無干擾散斑圖案進(jìn)行深度提取。
[0019]本發(fā)明的有益效果如下:
[0020](I)本發(fā)明提供的方法實(shí)現(xiàn)了基于調(diào)制光強(qiáng)的無干擾的光編碼深度相機(jī)系統(tǒng)場(chǎng)景深度的提取，所述方法采用的調(diào)制光強(qiáng)方式可支持不同數(shù)量的相機(jī)同時(shí)工作，適應(yīng)多種應(yīng)用情況；
[0021](2)所述方法具有好的擴(kuò)展性，增減系統(tǒng)內(nèi)深度相機(jī)數(shù)量時(shí)不會(huì)對(duì)其他相機(jī)造成影響，適應(yīng)性好；
[0022](3)系統(tǒng)內(nèi)各相機(jī)統(tǒng)一由無干擾的光編碼深度相機(jī)系統(tǒng)調(diào)度設(shè)備調(diào)配，相機(jī)間無需通信，降低了相機(jī)的成本。
【專利附圖】

【附圖說明】
[0023]圖1為本發(fā)明中光編碼深度相機(jī)系統(tǒng)示意圖；
[0024]圖2為本發(fā)明的基于調(diào)制光強(qiáng)的光編碼深度相機(jī)系統(tǒng)的無干擾深度提取方法的原理框圖；
[0025]圖3本發(fā)明的基于調(diào)制光強(qiáng)的光編碼深度相機(jī)系統(tǒng)的無干擾深度提取方法中比例幅度向量的劃分方式及向量元素與相機(jī)幀號(hào)間關(guān)系示意圖；
[0026]圖4為本發(fā)明的一種基于調(diào)制光強(qiáng)的無干擾的光編碼深度相機(jī)系統(tǒng)解調(diào)過程中解調(diào)窗不意圖；
[0027]圖5A為相機(jī)的攝像頭采集的第一幀散斑圖案示意圖；
[0028]圖5B為相機(jī)的攝像頭采集的第二幀散斑圖案示意圖；
[0029]圖6為圖5A和圖5B對(duì)應(yīng)解調(diào)制后無干擾散斑圖案。
【具體實(shí)施方式】
[0030]下面結(jié)合附圖和實(shí)施例對(duì)本發(fā)明進(jìn)行詳細(xì)說明。
[0031]如圖1和圖2所示，本發(fā)明提供一種基于調(diào)制光強(qiáng)的光編碼深度相機(jī)系統(tǒng)的無干擾深度提取方法，所述深度提取方法中，光編碼深度相機(jī)(后文均簡(jiǎn)稱為相機(jī))的紅外激光投射器的幅度依比例幅度向量變化，以實(shí)現(xiàn)光強(qiáng)調(diào)制；其后，采集相機(jī)的攝像頭拍攝的有干擾深度的散斑圖案，并對(duì)接收到的散斑圖案進(jìn)行解調(diào)，得到無干擾深度的散斑圖案。其中比例幅度向量由可由滿秩矩陣生成，而解調(diào)則采用獲得的多幀散斑圖案進(jìn)行加權(quán)求和的方式進(jìn)行。所述深度提取方法具體通過如下步驟實(shí)現(xiàn):
[0032]步驟一，選取調(diào)制信號(hào):
[0033]對(duì)于光編碼深度相機(jī)系統(tǒng)內(nèi)的各個(gè)光編碼深度相機(jī)，首先需要與調(diào)度系統(tǒng)相連接，兩者之間的連接可以采用無線或有線方式。調(diào)度系統(tǒng)負(fù)責(zé)協(xié)調(diào)所有光編碼深度相機(jī)(下文中均簡(jiǎn)稱為相機(jī))，并向各相機(jī)提供調(diào)制光強(qiáng)所需的相關(guān)參數(shù)，包括強(qiáng)度、周期、相位等。
[0034]所述相機(jī)包括紅外激光投射器和攝像頭兩部分，如圖2所示，紅外激光投射器根據(jù)調(diào)度系統(tǒng)提供的調(diào)制信號(hào)對(duì)場(chǎng)景進(jìn)行投射，攝像頭按幀接收?qǐng)鼍暗纳邎D案，并對(duì)多幀散斑圖案進(jìn)行解調(diào)，解調(diào)向量有調(diào)度系統(tǒng)提供，最后得到無干擾散斑圖案。
[0035]所述的調(diào)度系統(tǒng)可采用FPGA+R0M結(jié)構(gòu)，ROM負(fù)責(zé)存儲(chǔ)不同相機(jī)的光強(qiáng)幅值向量，F(xiàn)PGA負(fù)責(zé)將不同的光強(qiáng)幅值向量傳送至各相機(jī)的投影機(jī)并提供投影機(jī)的同步信號(hào)。同步信號(hào)可采用下降沿觸發(fā)。
[0036]選取合適的調(diào)制信號(hào)包括兩個(gè)步驟:首先，根據(jù)相機(jī)個(gè)數(shù)生成滿秩矩陣，然后將滿秩矩陣按行進(jìn)行分割獲得比例幅度向量。
[0037](I)生成滿秩矩陣，并確定比例幅值矩陣；
[0038]為了保證能夠?qū)θ抗饩幋a深度相機(jī)進(jìn)行解調(diào)，必須使權(quán)值向量生成滿秩矩陣。生成的滿秩矩陣應(yīng)為η階方陣，其階數(shù)與相機(jī)總數(shù)相同。
[0039]滿秩矩陣可以對(duì)單位陣進(jìn)行初等行(列)變換進(jìn)行生成，初等行(列)變換包括如下三種變換:
[0040]換法變換:交換兩行(列)。
[0041]倍法變換:將行列式的某一行(列)的所有元素同乘以數(shù)k。
[0042]消法變換:把行列式的某一行(列)的所有元素乘以一個(gè)數(shù)k并加到另一行(列)的對(duì)應(yīng)元素上。
[0043]特別的，為了使光強(qiáng)為正值，本發(fā)明中采用的倍法變換與消法變換中的倍數(shù)k均選取正數(shù)。在生成過程中，可以單獨(dú)采用初等行變換或初等列變換，也可同時(shí)采用兩種初等變換。如公式(I):
[0044]
【權(quán)利要求】
1.一種基于調(diào)制光強(qiáng)的光編碼深度相機(jī)系統(tǒng)的無干擾深度提取方法，其特征在于:包括如下步驟: 步驟一，選取調(diào)制信號(hào)，包括兩個(gè)步驟: 首先，根據(jù)相機(jī)個(gè)數(shù)生成滿秩矩陣A，然后將滿秩矩陣A進(jìn)行最大元素歸一化，獲得矩陣B，矩陣B為滿秩矩陣，也稱為比例幅值矩陣，對(duì)比例幅值矩陣按行進(jìn)行分割獲得比例幅度向量，稱為調(diào)制信號(hào)； 步驟二，依據(jù)調(diào)制信號(hào)生成光強(qiáng)幅值向量，紅外激光投射器的發(fā)射功率按照光強(qiáng)幅值向量中元素變化；； 步驟三，采集散斑圖案； 步驟四，對(duì)采集到的散斑圖案進(jìn)行解調(diào)，獲得無干擾散斑圖案； 步驟五，對(duì)獲得的無干擾散斑圖案進(jìn)行深度提取。
2.根據(jù)權(quán)利要求1所述的一種基于調(diào)制光強(qiáng)的光編碼深度相機(jī)系統(tǒng)的無干擾深度提取方法，其特征在于:所述的滿秩矩陣A為η階方陣，其階數(shù)與相機(jī)總數(shù)相同。
3.根據(jù)權(quán)利要求1所述的一種基于調(diào)制光強(qiáng)的光編碼深度相機(jī)系統(tǒng)的無干擾深度提取方法，其特征在于:所述的光強(qiáng)幅值向量C，如下:
c = ImaxX β， Imax為紅外激光投射器的發(fā)射額定功率，β為比例幅度向量。
4.根據(jù)權(quán)利要求1所述的一種基于調(diào)制光強(qiáng)的光編碼深度相機(jī)系統(tǒng)的無干擾深度提取方法，其特征在于:步 驟二中所述紅外激光發(fā)射器的光強(qiáng)按循環(huán)變化，即對(duì)于光強(qiáng)幅值向量中元素個(gè)數(shù)為η的情況，第I至η幀的光強(qiáng)按光強(qiáng)幅值向量中I至η元素進(jìn)行發(fā)射，第η+1至2η幀的光強(qiáng)同樣按光強(qiáng)幅值向量中I至η元素進(jìn)行發(fā)射，依次類推。
5.根據(jù)權(quán)利要求1所述的一種基于調(diào)制光強(qiáng)的光編碼深度相機(jī)系統(tǒng)的無干擾深度提取方法，其特征在于:步驟四中所述的解調(diào)采用加權(quán)和的方式，如下: 根據(jù)當(dāng)前所選擇的比例幅值矩陣，調(diào)度系統(tǒng)同時(shí)將對(duì)應(yīng)的解調(diào)權(quán)值表傳送給每個(gè)相機(jī)，相機(jī)根據(jù)解調(diào)權(quán)值表，對(duì)應(yīng)的權(quán)值向量元素與獲得的對(duì)應(yīng)散斑圖案幀做加權(quán)和，即獲得相應(yīng)的無干擾散斑圖案。
6.根據(jù)權(quán)利要求5所述的一種基于調(diào)制光強(qiáng)的光編碼深度相機(jī)系統(tǒng)的無干擾深度提取方法，其特征在于:所述解調(diào)權(quán)值表矩陣求逆計(jì)算獲得，比例幅值矩陣為滿秩矩陣，則其逆矩陣，稱為權(quán)值矩陣；將權(quán)值矩陣按行劃分為η個(gè)向量，每個(gè)向量作為一個(gè)權(quán)值向量傳送至相機(jī)，對(duì)權(quán)值向量中元素個(gè)數(shù)為η的情況，第I至η幀對(duì)應(yīng)權(quán)值向量中I至η元素，第η+1至2η幀同樣對(duì)應(yīng)權(quán)值向量中I至η元素，依次類推。
7.根據(jù)權(quán)利要求1或5所述的一種基于調(diào)制光強(qiáng)的光編碼深度相機(jī)系統(tǒng)的無干擾深度提取方法，其特征在于:解調(diào)時(shí)采用解調(diào)窗進(jìn)行解調(diào)，解調(diào)窗長(zhǎng)度為系統(tǒng)內(nèi)相機(jī)總數(shù)，以當(dāng)前解調(diào)幀為中心，將解調(diào)窗內(nèi)的灰度圖像序列根據(jù)其對(duì)應(yīng)權(quán)值向量中的權(quán)值求加權(quán)和，即獲得當(dāng)前解調(diào)幀的解調(diào)結(jié)果，加權(quán)和的求法如下，對(duì)于獲得的第i幀紅外灰度圖像，其灰度值可用矩陣Pi表示，對(duì)應(yīng)權(quán)值為％，則第L幀到第M幀的加權(quán)和R為:
【文檔編號(hào)】H04N13/02GK103581653SQ201310535395
【公開日】2014年2月12日 申請(qǐng)日期:2013年11月1日 優(yōu)先權(quán)日:2013年11月1日
【發(fā)明者】劉榮科, 葛帥, 袁鑫, 關(guān)博深, 潘宇 申請(qǐng)人:北京航空航天大學(xué)