本發(fā)明涉及智能交互領(lǐng)域，尤其涉及投影觸控顯示裝置及其交互方法。

背景技術(shù)：

目前在空間中與電腦有許多交互方式。其中，以計(jì)算機(jī)視覺為建構(gòu)現(xiàn)實(shí)的基礎(chǔ)，虛擬現(xiàn)實(shí)(VR)與增強(qiáng)現(xiàn)實(shí)(AR)為下一代交互發(fā)展的方向，因此，計(jì)算機(jī)視覺領(lǐng)域被許多研究者所探討。首先，計(jì)算機(jī)經(jīng)過攝像機(jī)獲取圖片，透過對(duì)圖片分析計(jì)算，得到推測出深度數(shù)據(jù)，還原位置對(duì)于空間的坐標(biāo)，進(jìn)而獲取三維空間的模型，要達(dá)到此目的，需同時(shí)滿足圖像具有高清晰度及后期算法優(yōu)化的高要求。

為了準(zhǔn)確探測深度，人們提出以下幾種方法：目前光學(xué)測距方法有三角測距法、包含雙目測距、結(jié)構(gòu)光與基于飛行時(shí)間TOF原理等測距方法。其中，以雙目測距的裝置最為簡潔，其性價(jià)比為最高，陳成錢在論文"基于投影儀—紅外攝像機(jī)的多點(diǎn)觸控系統(tǒng)"中提出采用投影儀為顯示設(shè)備,以紅外攝像機(jī)為光學(xué)傳感器,多個(gè)用戶通過該系統(tǒng),采用手、手指與投影在桌面的信息進(jìn)行交互。設(shè)計(jì)一個(gè)有效的目標(biāo)識(shí)別跟蹤算法，采用神經(jīng)網(wǎng)絡(luò)識(shí)別手指,分為手指和非手指兩類,區(qū)分手指端和手臂端，實(shí)現(xiàn)多點(diǎn)處控。

然而，基于雙目視覺的測距中，仍存在著許多不穩(wěn)定性，并且攝像機(jī)在獲取圖像時(shí)容易受到干擾，在匹配過程成容易誤判斷，導(dǎo)致定位精度差。

技術(shù)實(shí)現(xiàn)要素：

為了解決現(xiàn)有存在的技術(shù)問題，本發(fā)明提供了投影觸控顯示裝置及其交互方法，有效提高了人機(jī)交互的穩(wěn)定性及精度。

本發(fā)明提供了投影觸控顯示裝置，包括：殼體；設(shè)置于所述殼體內(nèi)的投影儀；與所述投影儀連接的投影儀操控單元，用于向所述投影儀提供投影圖像；設(shè)置于所述殼體內(nèi)的兩部攝像機(jī)；與所述多部攝像機(jī)連接的信息處理單元；與所述投影儀操控單元和所述信息處理單元連接的輔助信息處理單元。

優(yōu)選地，所述信息處理單元包括：與所述多部攝像機(jī)連接的攝像機(jī)內(nèi)參標(biāo)定模塊；與所述攝像機(jī)內(nèi)參標(biāo)定模塊連接的圖像處理模塊；與所述圖像處理模塊連接的系統(tǒng)定義模塊。

優(yōu)選地，所述攝像機(jī)為紅外攝像機(jī)。

優(yōu)選地，所述攝像機(jī)為雙目攝像機(jī)。

本發(fā)明還提供了投影觸控顯示裝置的交互方法，具體步驟如下：

S1：所述投影儀向顯示面上投出所述投影儀操控單元提供的一個(gè)標(biāo)記面；

S2：在所述輔助信息處理單元中進(jìn)行動(dòng)態(tài)閾值算法生成所述標(biāo)記面的深度數(shù)值；

S3：在所述攝像機(jī)內(nèi)參標(biāo)定模塊中測量出所述多部攝像機(jī)的參數(shù)；

S4：在所述圖像處理單元中對(duì)所述多部攝像機(jī)的參數(shù)進(jìn)行校正；

S5：根據(jù)所述的已校正的參數(shù)進(jìn)行圖像處理，得出觸控物的深度數(shù)值；

S6：在所述圖像處理單元中根據(jù)比較所述觸控物的深度數(shù)值與所述輔助信息處理單元生成的所述標(biāo)記面的深度數(shù)值進(jìn)行判斷所述觸控物是否接觸到顯示面上；

S7：根據(jù)S6的判斷結(jié)果，在所述系統(tǒng)定義模塊中實(shí)現(xiàn)對(duì)應(yīng)系統(tǒng)的響應(yīng)。

優(yōu)選地，投影觸控顯示裝置的交互方法包括：

S1＇：所述投影儀向顯示面上投出所述投影儀操控單元提供的一個(gè)由白色方塊間接排列的標(biāo)記面；

S2＇：在所述輔助信息處理單元中根據(jù)所述兩部攝像機(jī)拍到的圖像信息對(duì)所述白色方塊找出角點(diǎn)，對(duì)所述角點(diǎn)進(jìn)行排序，生成角點(diǎn)坐標(biāo)序列；

S3＇：所述輔助信息處理單元接收所述兩部攝像機(jī)對(duì)所述角點(diǎn)的圖像信息，并且根據(jù)所述角點(diǎn)的視差求出每個(gè)角點(diǎn)的深度數(shù)值，最終得到由角點(diǎn)的橫縱坐標(biāo)和深度值組成的深度矩陣；

S4＇：在所述攝像機(jī)內(nèi)參標(biāo)定模塊中測量出所述兩部攝像機(jī)的參數(shù)；

S5＇：在所述圖像處理單元中對(duì)所述兩部攝像機(jī)的參數(shù)進(jìn)行校正；

S6＇：根據(jù)所述的已校正的參數(shù)進(jìn)行圖像處理，得出觸控物的深度數(shù)值；

S7＇：在所述圖像處理單元中從所述輔助信息處理單元生成的所述深度矩陣中的所述深度數(shù)值減去所述觸控物的深度數(shù)值，得到所述觸控物到顯示面的深度閾值；

S7＇：根據(jù)所述的觸控物到顯示面的深度閾值判斷觸控物是否接觸顯示面；

S8＇：根據(jù)S7＇判斷結(jié)果，在所述系統(tǒng)定義模塊中實(shí)現(xiàn)對(duì)應(yīng)應(yīng)用的響應(yīng)。

優(yōu)選地，所述顯示面為平面或者不規(guī)則曲面。

優(yōu)選地，所述標(biāo)記面為棋盤格或者標(biāo)記塊。

優(yōu)選地，所述攝像機(jī)為紅外攝像機(jī)。

優(yōu)選地，所述攝像機(jī)為雙目攝像機(jī)。

附圖說明

圖1為本發(fā)明投影觸控顯示裝置的示意圖；圖2為本發(fā)明投影觸控顯示裝置的信息處理模塊示意圖；

圖3為由間接排列的白色方塊組成的標(biāo)記面；

圖4為本發(fā)明投影觸控顯示裝置的工作示意圖；

圖5為本發(fā)明投影觸控顯示裝置的殼體示意圖。

具體實(shí)施方式

以下結(jié)合具體實(shí)施方式進(jìn)一步詳細(xì)說明本發(fā)明的技術(shù)方案。應(yīng)當(dāng)理解，此處描述的具體實(shí)施方式僅僅用以解釋本發(fā)明，并不用于限定本發(fā)明。

圖1為本發(fā)明投影觸控顯示裝置的示意圖。如圖1所示，本發(fā)明提供了投影觸控顯示裝置，包括：殼體10；設(shè)置于殼體內(nèi)的投影儀31；與投影儀連接的投影儀操控單元30，用于向投影儀31提供投影圖像；設(shè)置于殼體10內(nèi)的兩部攝像機(jī)11、12；與兩部攝像機(jī)連接的信息處理單元20，；與投影儀操控單元30和信息處理單元20連接的輔助信息處理單元40。

圖2為本發(fā)明投影觸控顯示裝置的信息處理模塊示意圖。如圖2所示，該信息處理單元20包括與兩部攝像機(jī)連接的攝像機(jī)內(nèi)參標(biāo)定模塊21、與攝像機(jī)內(nèi)參標(biāo)定模塊連接的圖像處理模塊22，與圖像處理模塊連接的系統(tǒng)定義模塊23。

該攝像機(jī)11、12為紅外攝像機(jī)，該攝像機(jī)為雙目攝像機(jī)。

圖4為本發(fā)明投影觸控顯示裝置的工作示意圖。如圖4所示，當(dāng)本發(fā)明的投影觸控顯示裝置在工作時(shí)，通過投影儀31向顯示面1上投出一個(gè)圖像，該顯示面可以是任何平面或者是不規(guī)則曲面。

圖5為本發(fā)明投影觸控顯示裝置的殼體示意圖。如圖5所示，在殼體10的一側(cè)面的設(shè)置有投影儀31；在該投影儀31兩側(cè)均設(shè)有一部攝像機(jī)11、12。

需要說明的是，本發(fā)明的投影觸控顯示裝置中，投影儀操控單元30、信息處理單元20、輔助信息處理單元40，可以集成在殼體內(nèi)部，或者也可以單獨(dú)設(shè)于殼體外的其他設(shè)備中，均可以實(shí)現(xiàn)本發(fā)明。

需要說明的是，本發(fā)明中使用兩部以上攝像機(jī)均可以實(shí)現(xiàn)本發(fā)明，具體實(shí)施方式只舉兩部攝像機(jī)的方案。

本發(fā)明還提供了投影觸控顯示裝置的交互方法，具體地，首先由投影儀向顯示面1上投出投影儀操控單元30提供的一個(gè)標(biāo)記面；然后在輔助信息處理單元40中進(jìn)行動(dòng)態(tài)閾值算法生成標(biāo)記面的深度數(shù)值；其次在攝像機(jī)內(nèi)參標(biāo)定模塊21中測量出兩部攝像機(jī)的參數(shù)，攝像機(jī)內(nèi)參標(biāo)定是基于張正友標(biāo)定方法的理論基礎(chǔ)上進(jìn)行測量，分別得到單攝相機(jī)上所有鏡頭的參數(shù)，包含中心點(diǎn)、焦距、鏡頭畸變系數(shù)、平移矩陣、旋轉(zhuǎn)矩陣等參數(shù)；接著在圖像處理單元22中對(duì)兩部攝像機(jī)的參數(shù)進(jìn)行校正，修正對(duì)鏡頭所引起的畸變，確保相機(jī)讀入的圖像的正確性，提高圖像的識(shí)別精度；接著根據(jù)的對(duì)兩部攝像機(jī)獲取的、已校正的無畸變的觸控圖像進(jìn)行圖像處理，得出觸控物的深度數(shù)值；接著在圖像處理單元22中根據(jù)比較觸控物的深度數(shù)值與輔助信息處理單元40生成的標(biāo)記面的深度數(shù)值進(jìn)行判斷觸控物是否接觸到顯示面上；最后根據(jù)上一步的判斷結(jié)果，在系統(tǒng)定義模塊23中實(shí)現(xiàn)對(duì)應(yīng)應(yīng)用的響應(yīng)。

本發(fā)明提供的交互方法只需分別對(duì)紅外相機(jī)進(jìn)行單一標(biāo)定，不需雙目立體標(biāo)定攝相機(jī)得到彼此之間關(guān)系，采取"動(dòng)態(tài)閾值"的優(yōu)化算法，可精準(zhǔn)的判斷對(duì)顯示面有無觸碰的動(dòng)作。

本發(fā)明所描述的標(biāo)記面可以是棋盤格或者標(biāo)記塊。圖3為由間接排列的白色方塊組成的棋盤格標(biāo)記面。下面由間接排列的白色方塊組成的棋盤格(如圖2所示)作為標(biāo)記面進(jìn)一步詳細(xì)說明本發(fā)明的投影觸摸顯示裝置的交互方法。首先由投影儀31向顯示面1上投出投影儀操控單元30提供的一個(gè)由白色方塊間接排列的標(biāo)記面，此時(shí)由于在攝像頭上加裝了850波段的濾光片，因此大部分可見光都被過濾掉而不可見，但是由于投影儀31投出的光線在850納米之上還有一部分波段，所以在增大曝光時(shí)間的圖像上是可以清晰的看到標(biāo)記面。然后在輔助信息處理單元40中進(jìn)行，左右視圖上分別對(duì)白色方塊的每一個(gè)方塊找出角點(diǎn)，對(duì)角點(diǎn)進(jìn)行排序，生成角點(diǎn)坐標(biāo)序列，各自存在各自的角點(diǎn)序列中，具體的，檢測標(biāo)記方塊的輪廓，然后根據(jù)輪廓求出擬合的四邊形，再由所得到的四邊形計(jì)算出它的四個(gè)凸點(diǎn)。其次在輔助信息處理單元40接收兩部攝像機(jī)對(duì)角點(diǎn)的圖像信息，并且根據(jù)角點(diǎn)的視差求出每個(gè)角點(diǎn)的深度數(shù)值，最終得到由角點(diǎn)的橫縱坐標(biāo)和深度值組成的深度矩陣，在這里只考慮水平方向是由于平行雙目根據(jù)三角形法則計(jì)算的深度值只跟水平方向上的視差有關(guān)，由于角點(diǎn)的深度矩陣覆蓋范圍是整個(gè)投影面積，所以在投影范圍內(nèi)的所有坐標(biāo)都在角點(diǎn)坐標(biāo)矩陣的范圍內(nèi)。任意坐標(biāo)的深度都可以根據(jù)周圍的四個(gè)角點(diǎn)坐標(biāo)雙線性差值計(jì)算出來。接著在攝像機(jī)11、12內(nèi)參標(biāo)定模塊中21測量出兩部攝像機(jī)11、12的參數(shù)，攝像機(jī)內(nèi)參標(biāo)定是基于張正友標(biāo)定方法的理論基礎(chǔ)上進(jìn)行測量，分別得到單攝相機(jī)上所有鏡頭的參數(shù)，包含中心點(diǎn)、焦距、鏡頭畸變系數(shù)、平移矩陣、旋轉(zhuǎn)矩陣等參數(shù)。接著在圖像處理單元22中對(duì)兩部攝像機(jī)11、12的參數(shù)進(jìn)行校正，修正對(duì)鏡頭所引起的畸變，確保相機(jī)讀入的圖像的正確性，提高圖像的識(shí)別精度。接著根據(jù)的已校正的參數(shù)進(jìn)行圖像處理，得出觸控物的深度數(shù)值。接著在圖像處理單元22中從輔助信息處理單元40生成的深度矩陣中的深度數(shù)值減去觸控物的深度數(shù)值，得到觸控物到顯示面的深度閾值。接著根據(jù)的觸控物到顯示面的深度閾值判斷觸控物是否接觸顯示面。最后根據(jù)上一步的判斷結(jié)果，在系統(tǒng)定義模塊中實(shí)現(xiàn)對(duì)應(yīng)應(yīng)用的響應(yīng)。

該應(yīng)用可是為畫板、游戲等軟件，可以是根據(jù)需要自行開發(fā)的任何應(yīng)用軟件。

本發(fā)明中的顯示面1可以為平面或者不規(guī)則曲面，凡是投影儀31能投射的顯示面均可實(shí)現(xiàn)本發(fā)明投影觸控顯示裝置的交互方法。

本發(fā)明中的攝像機(jī)為紅外攝像機(jī)；攝像機(jī)為雙目攝像機(jī)。

綜上所述，本發(fā)明的投影觸控顯示裝置，針對(duì)圖像處理完之后，對(duì)深度數(shù)據(jù)的處理，根據(jù)動(dòng)態(tài)閾值算法的設(shè)定，可以輔助判斷，經(jīng)由雙目視覺圖像所獲得的深度數(shù)據(jù)的準(zhǔn)確性，進(jìn)而提升對(duì)整體系統(tǒng)的穩(wěn)定性。

以上的實(shí)施方式均為本發(fā)明的優(yōu)選實(shí)施方式，并非因此限制本發(fā)明的專利保護(hù)范圍。任何本發(fā)明所屬的技術(shù)領(lǐng)域的技術(shù)人員，在不脫離本發(fā)明所公開的精神和范圍的前提下，對(duì)本發(fā)明的內(nèi)容所做的等效結(jié)構(gòu)與等效步驟的變換均落入本發(fā)明要求保護(hù)的專利范圍之內(nèi)。