基于投影圖像的觸控定位控制方法
【專利摘要】本發(fā)明提供了一種基于投影圖像的觸控定位控制方法，通過(guò)計(jì)算機(jī)運(yùn)行觸控操作應(yīng)用程序，在投影儀投影的計(jì)算機(jī)顯示畫(huà)面投影影像區(qū)域內(nèi)指定控制點(diǎn)位置，計(jì)算機(jī)根據(jù)畫(huà)面坐標(biāo)-投影世界坐標(biāo)轉(zhuǎn)換模型和投影世界坐標(biāo)-視頻坐標(biāo)轉(zhuǎn)換模型進(jìn)行觸控定位控制的轉(zhuǎn)換，確定觸控操作畫(huà)面中執(zhí)行觸控操作的位置，進(jìn)而控制觸控操作應(yīng)用程序執(zhí)行相應(yīng)的觸控操作任務(wù)，就好像在投影儀輸出的投影影像區(qū)域中實(shí)現(xiàn)了觸控操作一樣，從而達(dá)到了在投影畫(huà)面中直接對(duì)觸控操作應(yīng)用程序進(jìn)行控制操作的效果，并且確保了計(jì)算機(jī)執(zhí)行的觸控定位控制處理的高效性和準(zhǔn)確性，解決了現(xiàn)有技術(shù)中人機(jī)交互受到電子設(shè)備屏幕大小限制的問(wèn)題，為在投影平面上控制觸控操作應(yīng)用程序提供了技術(shù)保證。
【專利說(shuō)明】基于投影圖像的觸控定位控制方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于圖像識(shí)別技術(shù)和計(jì)算機(jī)控制【技術(shù)領(lǐng)域】，尤其涉及一種基于投影圖像的觸控定位控制方法。
【背景技術(shù)】
[0002]目前大多數(shù)便攜式電子設(shè)備(例如手機(jī)、平板電腦等)都采用液晶顯示器([⑶)作為人機(jī)界面的主要輸出設(shè)備，并且越來(lái)越多的便攜式電子設(shè)備具備了全屏觸控功能，能夠通過(guò)觸控實(shí)現(xiàn)人機(jī)交互。但由于受到便攜式電子設(shè)備自身體積的限制，顯示屏幕都做得比較小，這不便于用戶在屏幕界面上進(jìn)行人機(jī)交互。
[0003]隨著投影機(jī)行業(yè)的不斷發(fā)展及產(chǎn)品的不斷換代，越來(lái)越多的投影系統(tǒng)都具有交互功能，即通過(guò)一些在投影幕上的操作來(lái)完成原先需要在電子設(shè)備的屏幕界面上控制執(zhí)行的功能，這樣就解決人機(jī)交互受到電子設(shè)備屏幕大小限制的問(wèn)題。近年來(lái)出現(xiàn)了一些關(guān)于交互式投影系統(tǒng)技術(shù)的相關(guān)研究。例如我國(guó)專利⑶102063618八以及⑶101881921八公開(kāi)的交互式投影系統(tǒng)中，采用投影裝置顯示圖像，并采用攝像機(jī)對(duì)投影圖像進(jìn)行攝像，然后通過(guò)投影平面上的手勢(shì)動(dòng)作在交互式投影系統(tǒng)中定義若干手勢(shì)，每種手勢(shì)與指令相對(duì)應(yīng)，存儲(chǔ)在指令數(shù)據(jù)庫(kù)中，從而利用可以手勢(shì)實(shí)現(xiàn)比如確認(rèn)、取消、翻頁(yè)等操作。但該系統(tǒng)最大的缺陷是手勢(shì)定義的指令數(shù)量有限；一方面，指令數(shù)的增加必然會(huì)加大用戶的學(xué)習(xí)難度，很難被普通用戶接受；另外一方面，即使指令數(shù)量增加到一定程度，也很難實(shí)現(xiàn)虛擬鍵盤(pán)輸入操作、手勢(shì)控制目標(biāo)位置等更為復(fù)雜的功能。
[0004]全屏觸控電子設(shè)備的普及，也帶動(dòng)了觸控操作應(yīng)用程序的發(fā)展。在交互式觸控投影系統(tǒng)中，如果能夠與觸控操作應(yīng)用程序相結(jié)合，在投影平面上對(duì)觸控操作應(yīng)用程序進(jìn)行控制操作，那將意味著可以通過(guò)在投影平面上的操作實(shí)現(xiàn)確認(rèn)、取消、翻頁(yè)以及虛擬鍵盤(pán)輸入操作、手勢(shì)控制目標(biāo)位置等幾乎所有的控制功能，解決人機(jī)交互受到電子設(shè)備屏幕大小限制的問(wèn)題。然而，目前還缺乏通過(guò)在投影平面上的操作對(duì)觸控操作應(yīng)用程序進(jìn)行控制的成熟技術(shù)。

【發(fā)明內(nèi)容】

[0005]針對(duì)現(xiàn)有技術(shù)中存在的上述問(wèn)題，為了解決現(xiàn)有技術(shù)中人機(jī)交互受到電子設(shè)備屏幕大小限制的問(wèn)題，本發(fā)明提供了一種基于投影圖像的觸控定位控制方法，其結(jié)合觸控操作應(yīng)用程序，使得能夠通過(guò)在投影畫(huà)面中指定控制點(diǎn)位置而直接實(shí)現(xiàn)對(duì)觸控操作應(yīng)用程序的控制，從而為在投影平面上控制觸控操作應(yīng)用程序提供技術(shù)保證。
[0006]為實(shí)現(xiàn)上述目的，本發(fā)明采用了如下技術(shù)手段:
[0007]基于投影圖像的觸控定位控制方法，采用交互式觸控投影系統(tǒng)進(jìn)行控制；所述交互式觸控投影系統(tǒng)包括計(jì)算機(jī)、投影儀和攝像裝置；其中，投影儀連接計(jì)算機(jī)的顯示輸出端，用于對(duì)計(jì)算機(jī)的顯示畫(huà)面進(jìn)行投影；攝像裝置連接計(jì)算機(jī)的數(shù)據(jù)輸入端，用于采集包含有計(jì)算機(jī)顯示畫(huà)面投影影像區(qū)域的視頻圖像，并將采集的視頻圖像實(shí)時(shí)傳輸給計(jì)算機(jī)；計(jì)算機(jī)用于運(yùn)行觸控操作應(yīng)用程序并顯示輸出觸控操作畫(huà)面，根據(jù)視頻圖像中指定的控制點(diǎn)位置，對(duì)觸控操作畫(huà)面中執(zhí)行觸控操作的位置進(jìn)行控制；該方法具體包括如下步驟:
[0008]I)通過(guò)測(cè)量投影儀投影的計(jì)算機(jī)顯示畫(huà)面投影影像區(qū)域的實(shí)際尺寸，確定計(jì)算機(jī)顯示畫(huà)面投影影像區(qū)域的世界坐標(biāo)區(qū)域，在計(jì)算機(jī)中建立計(jì)算機(jī)顯示輸出的顯示畫(huà)面坐標(biāo)域與投影儀投影的計(jì)算機(jī)顯示畫(huà)面投影影像世界坐標(biāo)區(qū)域之間的坐標(biāo)對(duì)應(yīng)轉(zhuǎn)換關(guān)系，作為顯示畫(huà)面坐標(biāo)-投影世界坐標(biāo)轉(zhuǎn)換模型記錄在計(jì)算機(jī)中；
[0009]2)控制計(jì)算機(jī)顯示由若干黑色、白色矩形塊交錯(cuò)相鄰拼接形成的棋盤(pán)格圖案，由投影儀對(duì)計(jì)算機(jī)的顯示畫(huà)面進(jìn)行投影；
[0010]3)將投影儀投影的棋盤(pán)格圖案作為棋盤(pán)格標(biāo)定模板，利用攝像裝置從多個(gè)不同拍攝角度抓取棋盤(pán)格標(biāo)定模板的圖像，采用基于OpenCV的攝像機(jī)標(biāo)定方法對(duì)攝像裝置進(jìn)行標(biāo)定，得到攝像裝置的內(nèi)部參數(shù)和畸變系數(shù)，并保存在計(jì)算機(jī)中；
[0011]4)保持計(jì)算機(jī)的顯示狀態(tài)和投影儀的投影狀態(tài)不變，將投影儀投影的棋盤(pán)格圖案作為棋盤(pán)格標(biāo)定模板，設(shè)定攝像裝置的拍攝位置，抓取棋盤(pán)格標(biāo)定模板的圖像，由計(jì)算機(jī)利用保存的畸變系數(shù)對(duì)抓取的棋盤(pán)格標(biāo)定模板的圖像進(jìn)行畸變校正；
[0012]5)利用畸變校 正后的棋盤(pán)格標(biāo)定模板的圖像以及計(jì)算機(jī)保存的內(nèi)部參數(shù)，再次采用基于OpenCV的攝像機(jī)標(biāo)定方法對(duì)攝像裝置進(jìn)行標(biāo)定，得到攝像裝置在設(shè)定的拍攝位置狀態(tài)下的旋轉(zhuǎn)矩陣和平移矩陣；
[0013]6)計(jì)算機(jī)根據(jù)保存的內(nèi)部參數(shù)以及設(shè)定的拍攝位置狀態(tài)下的旋轉(zhuǎn)矩陣和平移矩陣，得到設(shè)定的拍攝位置狀態(tài)下投影儀投影的計(jì)算機(jī)顯示畫(huà)面投影影像的世界坐標(biāo)區(qū)域與畸變校正后的視頻圖像的像素坐標(biāo)域之間的坐標(biāo)對(duì)應(yīng)轉(zhuǎn)換關(guān)系，作為投影世界坐標(biāo)-視頻像素坐標(biāo)轉(zhuǎn)換模型記錄在計(jì)算機(jī)中；
[0014]7)計(jì)算機(jī)運(yùn)行觸控操作應(yīng)用程序并顯示輸出觸控操作畫(huà)面，由投影儀對(duì)計(jì)算機(jī)的顯示畫(huà)面進(jìn)行投影，由攝像裝置在設(shè)定的拍攝位置實(shí)時(shí)采集包含有計(jì)算機(jī)顯示畫(huà)面投影影像區(qū)域的視頻圖像并傳輸給計(jì)算機(jī)，由計(jì)算機(jī)利用保存的畸變系數(shù)對(duì)視頻圖像進(jìn)行畸變校正；
[0015]8)在投影儀投影的計(jì)算機(jī)顯示畫(huà)面投影影像區(qū)域內(nèi)指定控制點(diǎn)位置；
[0016]9)計(jì)算機(jī)根據(jù)投影世界坐標(biāo)-視頻像素坐標(biāo)轉(zhuǎn)換模型，計(jì)算出畸變校正后的視頻圖像中在計(jì)算機(jī)顯示畫(huà)面投影影像區(qū)域內(nèi)指定的控制點(diǎn)位置的像素坐標(biāo)所對(duì)應(yīng)的投影影像世界坐標(biāo)，再根據(jù)顯示畫(huà)面坐標(biāo)-投影世界坐標(biāo)轉(zhuǎn)換模型，計(jì)算出該投影影像世界坐標(biāo)對(duì)應(yīng)的顯示畫(huà)面坐標(biāo)，并按照該顯示畫(huà)面坐標(biāo)確定計(jì)算機(jī)顯示輸出的觸控操作畫(huà)面中執(zhí)行觸控操作的位置，控制觸控操作應(yīng)用程序執(zhí)行相應(yīng)的觸控操作任務(wù)。
[0017]上述基于投影圖像的觸控定位控制方法中，具體而言，所述投影世界坐標(biāo)-視頻像素坐標(biāo)轉(zhuǎn)換模型為:
【權(quán)利要求】
1.基于投影圖像的觸控定位控制方法，其特征在于，采用交互式觸控投影系統(tǒng)進(jìn)行控制；所述交互式觸控投影系統(tǒng)包括計(jì)算機(jī)、投影儀和攝像裝置；其中，投影儀連接計(jì)算機(jī)的顯示輸出端，用于對(duì)計(jì)算機(jī)的顯示畫(huà)面進(jìn)行投影；攝像裝置連接計(jì)算機(jī)的數(shù)據(jù)輸入端，用于采集包含有計(jì)算機(jī)顯示畫(huà)面投影影像區(qū)域的視頻圖像，并將采集的視頻圖像實(shí)時(shí)傳輸給計(jì)算機(jī)；計(jì)算機(jī)用于運(yùn)行觸控操作應(yīng)用程序并顯示輸出觸控操作畫(huà)面，根據(jù)視頻圖像中指定的控制點(diǎn)位置，對(duì)觸控操作畫(huà)面中執(zhí)行觸控操作的位置進(jìn)行控制；該方法具體包括如下步驟: 1)通過(guò)測(cè)量投影儀投影的計(jì)算機(jī)顯示畫(huà)面投影影像區(qū)域的實(shí)際尺寸，確定計(jì)算機(jī)顯示畫(huà)面投影影像區(qū)域的世界坐標(biāo)區(qū)域，在計(jì)算機(jī)中建立計(jì)算機(jī)顯示輸出的顯示畫(huà)面坐標(biāo)域與投影儀投影的計(jì)算機(jī)顯示畫(huà)面投影影像世界坐標(biāo)區(qū)域之間的坐標(biāo)對(duì)應(yīng)轉(zhuǎn)換關(guān)系，作為顯示畫(huà)面坐標(biāo)-投影世界坐標(biāo)轉(zhuǎn)換模型記錄在計(jì)算機(jī)中； 2)控制計(jì)算機(jī)顯示由若干黑色、白色矩形塊交錯(cuò)相鄰拼接形成的棋盤(pán)格圖案，由投影儀對(duì)計(jì)算機(jī)的顯示畫(huà)面進(jìn)行投影； 3)將投影儀投影的棋盤(pán)格圖案作為棋盤(pán)格標(biāo)定模板，利用攝像裝置從多個(gè)不同拍攝角度抓取棋盤(pán)格標(biāo)定模板的圖像，采用基于OpenCV的攝像機(jī)標(biāo)定方法對(duì)攝像裝置進(jìn)行標(biāo)定，得到攝像裝置的內(nèi)部參數(shù)和畸變系數(shù)，并保存在計(jì)算機(jī)中； 4)保持計(jì)算機(jī)的顯示狀態(tài)和投影儀的投影狀態(tài)不變，將投影儀投影的棋盤(pán)格圖案作為棋盤(pán)格標(biāo)定模板，設(shè)定攝像裝置的拍攝位置，抓取棋盤(pán)格標(biāo)定模板的圖像，由計(jì)算機(jī)利用保存的畸變系數(shù)對(duì)抓取的棋盤(pán)格標(biāo)定模板的圖像進(jìn)行畸變校正； 5)利用畸變校正后的棋盤(pán)格標(biāo)定模板的圖像以及計(jì)算機(jī)保存的內(nèi)部參數(shù)，再次采用基于OpenCV的攝像機(jī)標(biāo)定方法對(duì)攝像裝置進(jìn)行標(biāo)定，得到攝像裝置在設(shè)定的拍攝位置狀態(tài)下的旋轉(zhuǎn)矩陣和平移矩陣； 6)計(jì)算機(jī)根據(jù)保存的內(nèi)部參數(shù)以及設(shè)定的拍攝位置狀態(tài)下的旋轉(zhuǎn)矩陣和平移矩陣，得到設(shè)定的拍攝位置狀態(tài)下投影儀投影的計(jì)算機(jī)顯示畫(huà)面投影影像的世界坐標(biāo)區(qū)域與畸變校正后的視頻圖像的像素坐標(biāo)域之間的坐標(biāo)對(duì)應(yīng)轉(zhuǎn)換關(guān)系，作為投影世界坐標(biāo)-視頻像素坐標(biāo)轉(zhuǎn)換模型記錄在計(jì)算機(jī)中； 7)計(jì)算機(jī)運(yùn)行觸控操作應(yīng)用程序并顯示輸出觸控操作畫(huà)面，由投影儀對(duì)計(jì)算機(jī)的顯示畫(huà)面進(jìn)行投影，由攝像裝置在設(shè)定的拍攝位置實(shí)時(shí)采集包含有計(jì)算機(jī)顯示畫(huà)面投影影像區(qū)域的視頻圖像并傳輸給計(jì)算機(jī)，由計(jì)算機(jī)利用保存的畸變系數(shù)對(duì)視頻圖像進(jìn)行畸變校正； 8)在投影儀投影的計(jì)算機(jī)顯示畫(huà)面投影影像區(qū)域內(nèi)指定控制點(diǎn)位置； 9)計(jì)算機(jī)根據(jù)投影世界坐標(biāo)-視頻像素坐標(biāo)轉(zhuǎn)換模型，計(jì)算出畸變校正后的視頻圖像中在計(jì)算機(jī)顯示畫(huà)面投影影像區(qū)域內(nèi)指定的控制點(diǎn)位置的像素坐標(biāo)所對(duì)應(yīng)的投影影像世界坐標(biāo)，再根據(jù)顯示畫(huà)面坐標(biāo)-投影世界坐標(biāo)轉(zhuǎn)換模型，計(jì)算出該投影影像世界坐標(biāo)對(duì)應(yīng)的顯示畫(huà)面坐標(biāo)，并按照該顯示畫(huà)面坐標(biāo)確定計(jì)算機(jī)顯示輸出的觸控操作畫(huà)面中執(zhí)行觸控操作的位置，控制觸控操作應(yīng)用程序執(zhí)行相應(yīng)的觸控操作任務(wù)。
2.根據(jù)權(quán)利要求1所述基于投影圖像的觸控定位控制方法，其特征在于，所述投影世界坐標(biāo)-視頻像素坐標(biāo)轉(zhuǎn)換模型為:
【文檔編號(hào)】G06F3/042GK103838437SQ201410097620
【公開(kāi)日】2014年6月4日 申請(qǐng)日期:2014年3月14日 優(yōu)先權(quán)日:2014年3月14日
【發(fā)明者】張毅, 楊正益, 譚勇, 張紅杰, 柏景文 申請(qǐng)人:重慶大學(xué)