一種虛擬觸摸屏的操控方法和系統(tǒng)的制作方法
【專利摘要】本發(fā)明公開了一種虛擬觸摸屏操作的方法和系統(tǒng)，其中，所述方法包括：獲取操控設(shè)備在虛擬觸摸屏中的位置；獲取操控設(shè)備的運(yùn)動(dòng)軌跡；基于所述操控設(shè)備的位置和運(yùn)動(dòng)軌跡生成操控設(shè)備在虛擬觸摸屏上的操作指令；執(zhí)行所述操作指令。本發(fā)明通過在攝像頭取景范圍內(nèi)設(shè)定并顯示虛擬觸摸屏的模擬區(qū)域，并通過攝像頭在模擬區(qū)域內(nèi)掃描并識(shí)別操控設(shè)備的標(biāo)識(shí)圖像，以根據(jù)標(biāo)識(shí)圖像確定操控設(shè)備在模擬區(qū)域中的位置，進(jìn)而基于操控設(shè)備的位置和運(yùn)動(dòng)軌跡生成操控設(shè)備在虛擬觸摸屏上的操作指令，并執(zhí)行該操作指令，實(shí)現(xiàn)了數(shù)據(jù)處理速度快，不需要借助外部設(shè)備即可實(shí)現(xiàn)虛擬觸摸屏操控，達(dá)到提高用戶體驗(yàn)的技術(shù)效果。
【專利說明】
一種虛擬觸摸屏的操控方法和系統(tǒng)
技術(shù)領(lǐng)域
[0001]本發(fā)明涉及虛擬現(xiàn)實(shí)技術(shù)領(lǐng)域，具體涉及一種虛擬觸摸屏的操控方法和系統(tǒng)。
【背景技術(shù)】
[0002]虛擬現(xiàn)實(shí)簡稱VR技術(shù)，是利用電腦模擬產(chǎn)生一個(gè)三度空間的虛擬世界，提供使用者關(guān)于視覺、聽覺和觸覺等感官的模擬，讓使用者如同身臨其境一般，可以及時(shí)、沒有限制地觀察三度空間內(nèi)的事物，使用者進(jìn)行位置移動(dòng)時(shí)，電腦可以立即進(jìn)行復(fù)雜的運(yùn)算，將精確的3D世界影像傳回產(chǎn)生臨場感。
[0003]增強(qiáng)現(xiàn)實(shí)，是通過計(jì)算機(jī)系統(tǒng)提供的信息增加用戶對(duì)現(xiàn)實(shí)世界感知的技術(shù)，將虛擬的信息應(yīng)用到真實(shí)世界，并將計(jì)算機(jī)生成的虛擬物體、場景或系統(tǒng)提示信息疊加到真實(shí)場景中，從而實(shí)現(xiàn)對(duì)現(xiàn)實(shí)的增強(qiáng)。
[0004]目前，隨著虛擬現(xiàn)實(shí)和增強(qiáng)現(xiàn)實(shí)技術(shù)的快速發(fā)展，出現(xiàn)了很多VR/AR產(chǎn)品。現(xiàn)有的VR/AR產(chǎn)品存在以下缺陷:一方面，由于對(duì)虛擬觸摸屏操作時(shí)，大多是基于圖像識(shí)別技術(shù)，而由于數(shù)據(jù)處理過程的數(shù)據(jù)比較大，導(dǎo)致數(shù)據(jù)處理速度比較慢，影響用戶體驗(yàn)；另一方面，由于很多VR/AR產(chǎn)品都是要借助外界設(shè)備，因此，在完成虛擬觸摸屏操作時(shí)，還需要對(duì)外界設(shè)備進(jìn)行操作。
[0005]綜合來說，現(xiàn)有技術(shù)的AR/VR產(chǎn)品不夠人性化，用戶體驗(yàn)差。

【發(fā)明內(nèi)容】

[0006]本發(fā)明實(shí)施例的目的是提供一種通過識(shí)別標(biāo)識(shí)圖像的位置獲取操控設(shè)備在模擬區(qū)域中位置，并給予操控設(shè)備在模擬區(qū)域中的位置和運(yùn)動(dòng)軌跡生成操控設(shè)備在虛擬觸摸屏上的操作指令并執(zhí)行的虛擬觸摸屏操控方法和系統(tǒng)。
[0007]根據(jù)本發(fā)明的一個(gè)方面，提供一種虛擬觸摸屏的操控方法，包括:獲取操控設(shè)備在虛擬觸摸屏中的位置;獲取操控設(shè)備的運(yùn)動(dòng)軌跡;基于所述操控設(shè)備的位置和運(yùn)動(dòng)軌跡生成操控設(shè)備在虛擬觸摸屏上的操作指令;執(zhí)行所述操作指令。
[0008]進(jìn)一步，所述獲取操控設(shè)備在虛擬觸摸屏中的位置的步驟包括:在攝像頭取景范圍內(nèi)設(shè)定虛擬觸摸屏的模擬區(qū)域;攝像頭識(shí)別操控設(shè)備的標(biāo)識(shí)圖像;通過標(biāo)識(shí)圖像確定操控設(shè)備在模擬區(qū)域中的位置。
[0009]進(jìn)一步，所述在攝像頭取景范圍內(nèi)設(shè)定虛擬觸摸屏的模擬區(qū)域的步驟具體為:確定攝像頭的取景范圍；將所述取景范圍內(nèi)虛擬觸摸屏的中心位置作為模擬區(qū)域的中心位置，按照預(yù)設(shè)百分比選取虛擬觸摸屏的一部分區(qū)域，作為模擬區(qū)域;所述預(yù)設(shè)百分比為模擬區(qū)域在虛擬觸摸屏區(qū)域中所占比例。
[0010]進(jìn)一步，所述攝像頭識(shí)別操控設(shè)備的標(biāo)識(shí)圖像的步驟包括:攝像頭在所述模擬區(qū)域內(nèi)掃描是否存在標(biāo)識(shí)圖像;如果是，則識(shí)別操控設(shè)備的標(biāo)識(shí)圖像;如果否，則繼續(xù)掃描模擬區(qū)域。
[0011 ]進(jìn)一步，所述通過標(biāo)識(shí)圖像確定操控設(shè)備在模擬區(qū)域中的位置的步驟具體為:以參考圖片中標(biāo)識(shí)圖像的灰度值為基準(zhǔn)，在攝像頭拍攝的圖像中匹配與標(biāo)識(shí)圖像灰度值相同的像素點(diǎn);所述參考圖片為預(yù)先拍攝的包含標(biāo)識(shí)圖像的圖片;將在參考圖像中匹配到的與標(biāo)識(shí)圖像灰度值相同的像素點(diǎn)組成的圖像在整幅圖像中的位置作為所述操控設(shè)備在所述模擬區(qū)域中的位置。
[0012]進(jìn)一步，所述基于所述操控設(shè)備的位置和運(yùn)動(dòng)軌跡生成操控設(shè)備在虛擬觸摸屏上的操作指令的步驟具體為:將所述運(yùn)動(dòng)軌跡轉(zhuǎn)換為四元數(shù);基于所述四元數(shù)，在數(shù)據(jù)庫中進(jìn)行匹配，得到相應(yīng)的指令;將所述指令與所述操控設(shè)備在模擬區(qū)域中的位置進(jìn)行合成，得到操控設(shè)備在虛擬觸摸屏上的操作指令。
[0013]進(jìn)一步，所述執(zhí)行操作指令的步驟包括:執(zhí)行虛擬觸摸屏上的操控設(shè)備操作指令；觸發(fā)虛擬觸摸屏上的應(yīng)用操作指令;執(zhí)行所述應(yīng)用操作指令。
[0014]根據(jù)本發(fā)明的另一個(gè)方面，提供一種虛擬觸摸屏的操控系統(tǒng)，包括:圖像采集模塊，連接到中央處理模塊，用于在虛擬觸摸屏的模擬區(qū)域內(nèi)掃描并識(shí)別操控設(shè)備的標(biāo)識(shí)圖像;顯示模塊，連接到中央處理模塊，用于在圖像采集模塊取景范圍內(nèi)設(shè)定并顯示虛擬觸摸屏的模擬區(qū)域；中央處理模塊，用于根據(jù)標(biāo)識(shí)圖像確定操控設(shè)備在所述模擬區(qū)域中的位置，并基于所述操控設(shè)備的位置和運(yùn)動(dòng)軌跡生成操控設(shè)備在虛擬觸摸屏上的操作指令;操控設(shè)備，其上設(shè)置有標(biāo)識(shí)圖像，并在運(yùn)動(dòng)過程中產(chǎn)生運(yùn)動(dòng)軌跡數(shù)據(jù)以發(fā)送給中央處理模塊。
[0015]進(jìn)一步，所述中央處理模塊執(zhí)行虛擬觸摸屏上的操控設(shè)備操作指令，通過執(zhí)行操控設(shè)備操作指令觸發(fā)虛擬觸摸屏上的應(yīng)用操作指令并執(zhí)行。
[0016]進(jìn)一步，所述顯示模塊包括:取景范圍確定單元，用于確定攝像頭的取景范圍；模擬區(qū)域選取模塊，用于將所述取景范圍內(nèi)虛擬觸摸屏的中心位置作為模擬區(qū)域的中心位置，按照預(yù)設(shè)百分比選取虛擬觸摸屏的一部分區(qū)域，作為模擬區(qū)域;所述預(yù)設(shè)百分比為模擬區(qū)域在虛擬觸摸屏區(qū)域中所占比例;顯示單元，用于將所述模擬區(qū)域顯示。
[0017]進(jìn)一步，所述中央處理模塊包括:第一匹配單元，用于以參考圖片中標(biāo)識(shí)圖像的灰度值為基準(zhǔn)，在攝像頭拍攝的圖像中匹配與標(biāo)識(shí)圖像灰度值相同的像素點(diǎn)；所述參考圖片為預(yù)先拍攝的包含標(biāo)識(shí)圖像的圖片;組成單元，用于將在參考圖像中匹配到的與標(biāo)識(shí)圖像灰度值相同的像素點(diǎn)組成的圖像在整幅圖像中的位置作為所述操控設(shè)備在所述模擬區(qū)域中的位置。
[0018]進(jìn)一步，所述中央處理模塊還包括:轉(zhuǎn)換單元，用于將所述運(yùn)動(dòng)軌跡轉(zhuǎn)換為四元數(shù)；第二匹配單元，用于基于所述四元數(shù)，在數(shù)據(jù)庫中進(jìn)行匹配，得到相應(yīng)的指令;合成單元，用于將所述指令與所述操控設(shè)備在模擬區(qū)域中的位置進(jìn)行合成，得到操控設(shè)備在虛擬觸摸屏上的操作指令。
[0019]本發(fā)明實(shí)施例通過在攝像頭取景范圍內(nèi)設(shè)定并顯示虛擬觸摸屏的模擬區(qū)域，并通過攝像頭在模擬區(qū)域內(nèi)掃描并識(shí)別操控設(shè)備的標(biāo)識(shí)圖像，以根據(jù)標(biāo)識(shí)圖像確定操控設(shè)備在模擬區(qū)域中的位置，進(jìn)而基于操控設(shè)備的位置和運(yùn)動(dòng)軌跡生成操控設(shè)備在虛擬觸摸屏上的操作指令，并執(zhí)行該操作指令。通過對(duì)此虛擬觸摸屏的操作以實(shí)現(xiàn)對(duì)一些虛擬的平面媒介做出操控，同時(shí)實(shí)現(xiàn)現(xiàn)有平面設(shè)備內(nèi)容可以移植到虛擬/增強(qiáng)現(xiàn)實(shí)設(shè)備之中，以實(shí)現(xiàn)現(xiàn)有平面化技術(shù)向3D場景渲染的過渡。解決了現(xiàn)有技術(shù)中由于數(shù)據(jù)處理過程數(shù)據(jù)大導(dǎo)致數(shù)據(jù)處理速度慢影響用戶體驗(yàn)和需要借助外部設(shè)備不夠人性化的問題，實(shí)現(xiàn)了數(shù)據(jù)處理速度快，不需要借助外部設(shè)備即可實(shí)現(xiàn)虛擬觸摸屏操控，達(dá)到提高用戶體驗(yàn)的技術(shù)效果。
【附圖說明】
[0020]圖1是本發(fā)明實(shí)施例一的一種虛擬觸摸屏的操控方法的流程示意圖；
[0021 ]圖2是根據(jù)本發(fā)明實(shí)施例二的一種實(shí)施方式的流程示意圖；
[0022]圖3是本發(fā)明實(shí)施例三的一種實(shí)施方式的流程示意圖；
[0023]圖4是本發(fā)明實(shí)施例四的一種實(shí)施方式的流程示意圖；
[0024]圖5是本發(fā)明實(shí)施例五的一種實(shí)施方式的流程示意圖；
[0025]圖6是本發(fā)明實(shí)施例六的一種實(shí)施方式的流程示意圖；
[0026]圖7是本發(fā)明實(shí)施例七的一種實(shí)施方式的流程示意圖；
[0027]圖8是本發(fā)明實(shí)施例八的一種虛擬觸摸屏的操控系統(tǒng)的模塊連接示意圖；
[0028]圖9是本發(fā)明實(shí)施例九的顯示模塊的一種內(nèi)部模塊連接示意圖；
[0029]圖10是本發(fā)明實(shí)施例十的顯示模塊的另一種內(nèi)部模塊連接示意圖；
[0030]圖11是本發(fā)明實(shí)施例十一的中央處理模塊的一種內(nèi)部模塊連接示意圖；
[0031]圖12是本發(fā)明實(shí)施例十二的中央處理模塊的另一種內(nèi)部模塊連接示意圖；
[0032]圖13是本發(fā)明實(shí)施例中操控設(shè)備的內(nèi)部模塊連接示意圖。
【具體實(shí)施方式】
[0033]為使本發(fā)明的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚明了，下面結(jié)合【具體實(shí)施方式】并參照附圖，對(duì)本發(fā)明進(jìn)一步詳細(xì)說明。應(yīng)該理解，這些描述只是示例性的，而并非要限制本發(fā)明的范圍。此外，在以下說明中，省略了對(duì)公知結(jié)構(gòu)和技術(shù)的描述，以避免不必要地混淆本發(fā)明的概念。
[0034]圖1是本發(fā)明實(shí)施例一的一種虛擬觸摸屏的操控方法的流程示意圖。
[0035]如圖1所示，一種虛擬觸摸屏的操控方法，包括:
[0036]SlOl，獲取操控設(shè)備在虛擬觸摸屏中的位置；
[0037]上述步驟SlOl在具體實(shí)施時(shí)，操控設(shè)備指可以對(duì)虛擬觸摸屏進(jìn)行操控的裝置，根據(jù)操控設(shè)備在虛擬觸摸屏上所處位置來獲取操控設(shè)備在虛擬觸摸屏中的位置。操控設(shè)備可以為指環(huán)或其他能夠?qū)μ摂M觸摸屏進(jìn)行操控的設(shè)備。
[0038]S102，獲取操控設(shè)備的運(yùn)動(dòng)軌跡；
[0039]上述步驟S102在具體實(shí)施時(shí)，操控設(shè)備的運(yùn)動(dòng)軌跡指操控設(shè)備在虛擬觸摸屏上運(yùn)動(dòng)的軌跡數(shù)據(jù)，根據(jù)該運(yùn)動(dòng)軌跡數(shù)據(jù)可以獲取操控設(shè)備的運(yùn)動(dòng)軌跡。
[0040]S103，基于所述操控設(shè)備的位置和運(yùn)動(dòng)軌跡生成操控設(shè)備在虛擬觸摸屏上的操作指令；
[0041]上述步驟S103在具體實(shí)施時(shí)，是根據(jù)操控設(shè)備的位置和操控設(shè)備的運(yùn)動(dòng)軌跡，獲取操控設(shè)備在虛擬觸摸屏上相應(yīng)位置處的操作指令。例如在虛擬觸摸屏上某一位置處進(jìn)行了點(diǎn)擊或移動(dòng)的操作。
[0042]S104，執(zhí)行所述操作指令。
[0043]其中，在生成虛擬觸摸屏上的操作指令后，即將該操作指令執(zhí)行，從而獲取對(duì)應(yīng)的操作效果。
[0044]圖2顯示了本發(fā)明實(shí)施例二的方法流程示意圖。
[0045]如圖2所示，獲取操控設(shè)備在虛擬觸摸屏中的位置的步驟SlOl包括:
[0046]S201，在攝像頭取景范圍內(nèi)設(shè)定虛擬觸摸屏的模擬區(qū)域；
[0047]上述步驟S201在具體實(shí)施時(shí)，在攝像頭取景范圍內(nèi)，由于虛擬觸摸屏在部分區(qū)域會(huì)存在分辨率較低現(xiàn)象，因此，選取除去這部分區(qū)域的剩余區(qū)域作為模擬區(qū)域，即識(shí)別標(biāo)識(shí)圖像的區(qū)域。
[0048]S202，攝像頭識(shí)別操控設(shè)備的標(biāo)識(shí)圖像；
[0049]其中，攝像頭設(shè)置在智能頭盔顯示設(shè)備的眼鏡端，在取景范圍內(nèi)對(duì)模擬區(qū)域進(jìn)行掃描。標(biāo)識(shí)圖像設(shè)置在操控設(shè)備上，操控設(shè)備可以為指環(huán)，指環(huán)佩戴在手指上，且指環(huán)上的標(biāo)識(shí)圖像須朝向攝像頭方向，最好是正對(duì)攝像頭方向，以便于標(biāo)識(shí)圖像被攝像頭掃描到。當(dāng)然，操控設(shè)備也可以為其它設(shè)備。智能頭戴顯示設(shè)備可以為VR頭盔或AR眼鏡。
[0050]S203，通過標(biāo)識(shí)圖像確定操控設(shè)備在模擬區(qū)域中的位置。
[0051]由于標(biāo)識(shí)圖像位于操控設(shè)備上，標(biāo)識(shí)圖像在模擬區(qū)域中的位置即為操控設(shè)備在模擬區(qū)域中的位置。
[0052]圖3顯示了本發(fā)明實(shí)施例三的方法流程示意圖。
[0053]如圖3所示，在攝像頭取景范圍內(nèi)設(shè)定虛擬觸摸屏的模擬區(qū)域的步驟S201具體為:
[0054]S301，確定攝像頭的取景范圍；
[0055]其中，取景范圍為攝像頭取景范圍，取景范圍大于或等于模擬區(qū)域范圍，虛擬觸摸屏和模擬區(qū)域均為智能頭戴顯示設(shè)備內(nèi)部區(qū)域范圍的映射，模擬區(qū)域是用戶執(zhí)行操作的區(qū)域范圍，用戶可以在模擬區(qū)域中對(duì)虛擬影像進(jìn)行操作。取景范圍具體可以根據(jù)攝像頭的參數(shù)進(jìn)行確定。
[0056]S302，將所述取景范圍內(nèi)虛擬觸摸屏的中心位置作為模擬區(qū)域的中心位置，按照預(yù)設(shè)百分比選取虛擬觸摸屏的一部分區(qū)域，作為模擬區(qū)域;所述預(yù)設(shè)百分比為模擬區(qū)域在虛擬觸摸屏區(qū)域中所占比例。
[0057]其中，S302在實(shí)施時(shí)，還可以是:在攝像頭取景范圍內(nèi)，選取除去邊緣部分分辨率低于閾值的像素點(diǎn)之外的其它像素點(diǎn)組成的區(qū)域作為模擬區(qū)域。
[0058]圖4顯示了本發(fā)明實(shí)施例四的方法流程示意圖。
[0059]如圖4所示，所述攝像頭識(shí)別操控設(shè)備的標(biāo)識(shí)圖像的步驟S202包括:
[0060]S401，攝像頭在所述模擬區(qū)域內(nèi)掃描是否存在標(biāo)識(shí)圖像；
[0061]S402，如果是，則識(shí)別操控設(shè)備的標(biāo)識(shí)圖像；
[0062]S403，如果否，則繼續(xù)掃描模擬區(qū)域。
[0063]上述實(shí)施例四在具體實(shí)施時(shí)，是通過攝像頭在模擬區(qū)域中來回掃描，在掃描過程中，如果掃描到標(biāo)識(shí)圖像，則識(shí)別該標(biāo)識(shí)圖像，進(jìn)而通過標(biāo)識(shí)圖像確定操控設(shè)備在模擬區(qū)域中的位置;如果沒有掃描到，則繼續(xù)進(jìn)行掃描，直到掃描到標(biāo)識(shí)圖像。為了便于很快掃描到標(biāo)識(shí)圖像，標(biāo)識(shí)圖像可以選擇特征明顯、黑白分明的圖標(biāo)，例如:二維碼和條形碼。
[0064]圖5顯示了本發(fā)明實(shí)施例五的方法流程示意圖。
[0065]如圖5所示，所述通過標(biāo)識(shí)圖像確定操控設(shè)備在模擬區(qū)域中的位置的步驟S203具體為:
[0066]S501，以參考圖片中標(biāo)識(shí)圖像的灰度值為基準(zhǔn)，在攝像頭拍攝的圖像中匹配與標(biāo)識(shí)圖像灰度值相同的像素點(diǎn);所述參考圖片為預(yù)先拍攝的包含標(biāo)識(shí)圖像的圖片；
[0067]上述步驟S501在具體實(shí)施時(shí)，是在攝像頭掃描過程中，將掃描獲得當(dāng)前圖像中每一個(gè)像素點(diǎn)的灰度值與參考圖片中標(biāo)識(shí)圖像的灰度值進(jìn)行一一比對(duì)。
[0068]S502，將在參考圖像中匹配到的與標(biāo)識(shí)圖像灰度值相同的像素點(diǎn)組成的圖像在整幅圖像中的位置作為所述操控設(shè)備在所述模擬區(qū)域中的位置。
[0069]上述步驟S502在具體實(shí)施時(shí)，如果在參考圖片中匹配到與標(biāo)識(shí)圖像灰度值相同的像素點(diǎn)時(shí)，將這些像素點(diǎn)組成的圖像在整幅圖像中所在位置作為操控設(shè)備在模擬區(qū)域中的位置。
[0070]圖6顯示了本發(fā)明實(shí)施例六的方法流程示意圖。
[0071]如圖6所示，所述基于所述操控設(shè)備的位置和運(yùn)動(dòng)軌跡生成操控設(shè)備在虛擬觸摸屏上的操作指令的步驟S103具體為:
[0072]S601，將所述運(yùn)動(dòng)軌跡轉(zhuǎn)換為四元數(shù)；
[0073]這里，具體是接收運(yùn)動(dòng)軌跡，并轉(zhuǎn)換為四元數(shù)。其中，將運(yùn)動(dòng)軌跡轉(zhuǎn)換為四元數(shù)，該轉(zhuǎn)換過程在本實(shí)施例中不再進(jìn)行詳細(xì)介紹。
[0074]S602，基于所述四元數(shù)，在數(shù)據(jù)庫中進(jìn)行匹配，得到相應(yīng)的指令；
[0075]其中，在數(shù)據(jù)庫中對(duì)步驟S601中獲取的四元數(shù)進(jìn)行匹配，得到與之對(duì)應(yīng)的指令;該指令為點(diǎn)擊、水平移動(dòng)或豎直方向移動(dòng)等操作。
[0076]S603，將所述指令與所述操控設(shè)備在模擬區(qū)域中的位置進(jìn)行合成，得到操控設(shè)備在虛擬觸摸屏上的操作指令。
[0077]將步驟S602中獲取的指令與操控設(shè)備在模擬區(qū)域中的位置進(jìn)行合成，即得到手部在模擬區(qū)域中某一位置處執(zhí)行的動(dòng)作，即在虛擬觸摸屏上的操作指令。
[0078]圖7顯示了本發(fā)明實(shí)施例七的方法流程示意圖。
[0079]如圖7所示，所述執(zhí)行操作指令的步驟S104包括:
[0080]S701，執(zhí)行虛擬觸摸屏上的操控設(shè)備操作指令；
[0081]S702，觸發(fā)虛擬觸摸屏上的應(yīng)用操作指令；
[0082]S703，執(zhí)行所述應(yīng)用操作指令。
[0083]其中，在獲取到虛擬觸摸屏上的操控設(shè)備操作指令后，還包括執(zhí)行該指令。其中，執(zhí)行操控設(shè)備操作指令后，會(huì)基于操控設(shè)備操作指令觸發(fā)虛擬觸摸屏上的應(yīng)用操作指令，進(jìn)而執(zhí)行該應(yīng)用操作指令，最后完成對(duì)虛擬觸摸屏的操控。
[0084]本發(fā)明實(shí)施例通過在攝像頭取景范圍內(nèi)設(shè)定并顯示虛擬觸摸屏的模擬區(qū)域，并通過攝像頭在模擬區(qū)域內(nèi)掃描并識(shí)別操控設(shè)備的標(biāo)識(shí)圖像，以根據(jù)標(biāo)識(shí)圖像確定操控設(shè)備在模擬區(qū)域中的位置，進(jìn)而基于操控設(shè)備的位置和運(yùn)動(dòng)軌跡生成操控設(shè)備在虛擬觸摸屏上的操作指令，并執(zhí)行該操作指令。通過對(duì)此虛擬觸摸屏的操作以實(shí)現(xiàn)對(duì)一些虛擬的平面媒介做出操控，同時(shí)實(shí)現(xiàn)現(xiàn)有平面設(shè)備內(nèi)容可以移植到虛擬/增強(qiáng)現(xiàn)實(shí)設(shè)備之中，以實(shí)現(xiàn)現(xiàn)有平面化技術(shù)向3D場景渲染的過渡。解決了現(xiàn)有技術(shù)中由于數(shù)據(jù)處理過程數(shù)據(jù)大導(dǎo)致數(shù)據(jù)處理速度慢影響用戶體驗(yàn)和需要借助外部設(shè)備不夠人性化的問題，實(shí)現(xiàn)了數(shù)據(jù)處理速度快，不需要借助外部設(shè)備即可實(shí)現(xiàn)虛擬觸摸屏操控，達(dá)到提高用戶體驗(yàn)的技術(shù)效果。
[0085]圖8顯示了本發(fā)明實(shí)施例八的一種虛擬觸摸屏的操控系統(tǒng)的模塊連接示意圖。
[0086]如圖8所示，一種虛擬觸摸屏的操控系統(tǒng)，包括:
[0087]圖像采集模塊10，連接到中央處理模塊12，用于在虛擬觸摸屏的模擬區(qū)域內(nèi)掃描并識(shí)別操控設(shè)備的標(biāo)識(shí)圖像；
[0088]上述圖像采集模塊10可以為攝像頭，通過攝像頭在模擬區(qū)域中來回掃描，在掃描過程中，如果掃描到標(biāo)識(shí)圖像，則識(shí)別該標(biāo)識(shí)圖像，進(jìn)而通過標(biāo)識(shí)圖像確定操控設(shè)備在模擬區(qū)域中的位置;如果沒有掃描到，則一直處于掃描狀態(tài)，直到掃描到標(biāo)識(shí)圖像。為了便于掃描到標(biāo)識(shí)圖像，標(biāo)識(shí)圖像可以選擇特征明顯、黑白分明的圖標(biāo)，例如:二維碼和條形碼。
[0089]顯示模塊11，連接到中央處理模塊12，用于在圖像采集模塊10取景范圍內(nèi)設(shè)定并顯示虛擬觸摸屏的模擬區(qū)域；
[0090]顯示模塊在圖像采集模塊的取景范圍內(nèi)，選取虛擬觸摸屏的一部分區(qū)域作為模擬區(qū)域，并將該模擬區(qū)域進(jìn)行顯示。
[0091]中央處理模塊12，用于根據(jù)標(biāo)識(shí)圖像確定操控設(shè)備在所述模擬區(qū)域中的位置，并基于所述操控設(shè)備的位置和運(yùn)動(dòng)軌跡生成操控設(shè)備在虛擬觸摸屏上的操作指令；
[0092]標(biāo)識(shí)圖像在模擬區(qū)域中的位置即為操控設(shè)備在模擬區(qū)域中的位置，進(jìn)而也就確定了手指在虛擬觸摸屏上的位置。將手指在虛擬觸摸屏上的位置和運(yùn)動(dòng)軌跡進(jìn)行合成，即可得到手指在虛擬觸摸屏上的操作指令。
[0093]操控設(shè)備13，其上設(shè)置有標(biāo)識(shí)圖像，并在運(yùn)動(dòng)過程中產(chǎn)生運(yùn)動(dòng)軌跡數(shù)據(jù)以發(fā)送給中央處理模塊12。
[0094]其中，運(yùn)動(dòng)軌跡數(shù)據(jù)可以通過設(shè)置在操控設(shè)備上的運(yùn)動(dòng)傳感器進(jìn)行檢測并發(fā)送至中央處理模塊12。
[0095]所述中央處理模塊12進(jìn)一步執(zhí)行虛擬觸摸屏上的操控設(shè)備操作指令，通過執(zhí)行操控設(shè)備操作指令觸發(fā)虛擬觸摸屏上的應(yīng)用操作指令并執(zhí)行。
[0096]其中，中央處理模塊12在獲取到虛擬觸摸屏上的操控設(shè)備操作指令后，還包括執(zhí)行該指令。其中，執(zhí)行操控設(shè)備操作指令后，會(huì)基于操控設(shè)備操作指令觸發(fā)虛擬觸摸屏上的應(yīng)用操作指令，進(jìn)而執(zhí)行該應(yīng)用操作指令，最后完成對(duì)虛擬觸摸屏的操控。
[0097]圖9顯示了本發(fā)明實(shí)施例九的顯示模塊的一種實(shí)施方式的內(nèi)部模塊連接示意圖。
[0098]如圖9所示，所述顯示模塊11包括:
[0099]取景范圍確定單元111，用于確定攝像頭的取景范圍；
[0100]其中，取景范圍為攝像頭取景范圍，取景范圍大于或等于模擬區(qū)域范圍，虛擬觸摸屏和模擬區(qū)域映射智能頭戴顯示設(shè)備內(nèi)部的區(qū)域范圍，模擬區(qū)域是用戶執(zhí)行操作的區(qū)域范圍，用戶可以在模擬區(qū)域中對(duì)虛擬影像進(jìn)行操作。具體可以根據(jù)攝像頭的參數(shù)進(jìn)行確定。[0101 ]模擬區(qū)域選取單元112，用于將所述取景范圍內(nèi)虛擬觸摸屏的中心位置作為模擬區(qū)域的中心位置，按照預(yù)設(shè)百分比選取虛擬觸摸屏的一部分區(qū)域，作為模擬區(qū)域;所述預(yù)設(shè)百分比為模擬區(qū)域在虛擬觸摸屏區(qū)域中所占比例；
[0102]顯示單元113，用于將所述模擬區(qū)域顯示。
[0103]圖10顯示了本發(fā)明實(shí)施例十的顯示模塊另一種實(shí)施方式的內(nèi)部模塊連接示意圖。
[0104]如圖10所示，所述顯示模塊11包括:
[0105]取景確定單元114，用于確定攝像頭的取景范圍；
[0106]模擬區(qū)域選取單元115，用于在取景范圍內(nèi)選取除去所述虛擬觸摸屏邊緣部分像素值小于閾值的像素點(diǎn)之外的區(qū)域，作為模擬區(qū)域；
[0107]由于在虛擬觸摸屏的邊緣處屏幕分辨率通常較低，比較難識(shí)別標(biāo)識(shí)圖像，因此，選取除去這部分區(qū)域之外的虛擬觸摸屏上的區(qū)域作為模擬區(qū)域。
[0108]顯示單元116，用于將所述模擬區(qū)域顯示。
[0109]圖11顯示了本發(fā)明實(shí)施例十一的中央處理模塊的內(nèi)部模塊連接示意圖。
[0110]如圖11所示，所述中央處理模塊12包括:
[0111]第一匹配單元121，用于以參考圖片中標(biāo)識(shí)圖像的灰度值為基準(zhǔn)，在攝像頭拍攝的圖像中匹配與標(biāo)識(shí)圖像灰度值相同的像素點(diǎn);所述參考圖片為預(yù)先拍攝的包含標(biāo)識(shí)圖像的圖片；
[0112]其中，第一匹配單元121將攝像頭掃描過程中，掃描獲得的當(dāng)前圖像中每一個(gè)像素點(diǎn)的灰度值與參考圖片中標(biāo)識(shí)圖像的灰度值進(jìn)行一一比對(duì)。
[0113]組成單元122，用于將在參考圖像中匹配到的與標(biāo)識(shí)圖像灰度值相同的像素點(diǎn)組成的圖像在整幅圖像中的位置作為所述操控設(shè)備在所述模擬區(qū)域中的位置。
[0114]上述組成單元122在具體實(shí)施時(shí)，為:在比對(duì)過程中，如果在參考圖片中匹配到與標(biāo)識(shí)圖像灰度值相同的像素點(diǎn)時(shí)，將這些像素點(diǎn)組成的圖像在整幅圖像中所在位置作為操控設(shè)備在模擬區(qū)域中的位置。否則，將該像素點(diǎn)舍棄掉。
[0115]圖12顯示了本發(fā)明實(shí)施例十二的中央處理模塊的另一種內(nèi)部模塊連接示意圖。
[0116]如圖12所示，所述中央處理模塊12還包括:
[0117]轉(zhuǎn)換單元123，用于將所述運(yùn)動(dòng)軌跡轉(zhuǎn)換為四元數(shù)；
[0118]這里，具體是接收運(yùn)動(dòng)軌跡，并轉(zhuǎn)換為四元數(shù)。其中，將運(yùn)動(dòng)軌跡轉(zhuǎn)換為四元數(shù)，該轉(zhuǎn)換過程在本實(shí)施例中不再進(jìn)行詳細(xì)介紹。
[0119]第二匹配單元124，用于基于所述四元數(shù)，在數(shù)據(jù)庫中進(jìn)行匹配，得到相應(yīng)的指令；
[0120]其中，在數(shù)據(jù)庫中對(duì)轉(zhuǎn)換單元123獲取的四元數(shù)進(jìn)行匹配，得到與之對(duì)應(yīng)的指令；該指令為點(diǎn)擊、水平移動(dòng)或豎直方向移動(dòng)等操作。
[0121]合成單元125，用于將所述指令與所述操控設(shè)備在模擬區(qū)域中的位置進(jìn)行合成，得到操控設(shè)備在虛擬觸摸屏上的操作指令。
[0122]將第二匹配單元124獲取的指令與操控設(shè)備在模擬區(qū)域中的位置進(jìn)行合成，即得到手部在模擬區(qū)域中某一位置處執(zhí)行的動(dòng)作，即在虛擬觸摸屏上的操作指令。
[0123]圖13顯示了本發(fā)明實(shí)施例中操控設(shè)備的內(nèi)部模塊連接示意圖。
[0124]如圖13所示，本發(fā)明實(shí)施例中的操控設(shè)備可以包括傳感器131、按鍵開關(guān)132和藍(lán)牙芯片133。其中:
[0125]傳感器131可以為九軸傳感器，用于采集指環(huán)的運(yùn)動(dòng)軌跡，并將指環(huán)的運(yùn)動(dòng)軌跡發(fā)送至藍(lán)牙芯片133，藍(lán)牙芯片133可以將運(yùn)動(dòng)軌跡轉(zhuǎn)換為四元數(shù)的指令數(shù)據(jù)。
[0126]按鍵開關(guān)132用于向藍(lán)牙芯片133發(fā)送按鍵信號(hào)，藍(lán)牙芯片133將按鍵信號(hào)轉(zhuǎn)換為指令數(shù)據(jù)。
[0127]另外，本發(fā)明實(shí)施例的指環(huán)還可以包括存儲(chǔ)芯片134，用于預(yù)先存儲(chǔ)指令數(shù)據(jù)庫中的指令數(shù)據(jù)。藍(lán)牙芯片133獲取存儲(chǔ)芯片134存儲(chǔ)的指令數(shù)據(jù)后，可以判斷傳感器131和按鍵開關(guān)132發(fā)送的指令數(shù)據(jù)是否相匹配，若相匹配，則可以向終端發(fā)送相應(yīng)的指令。
[0128]在一個(gè)實(shí)施例中，指環(huán)還可以包括電源135，用于向傳感器131、按鍵開關(guān)132、藍(lán)牙芯片133和存儲(chǔ)芯片134供電，以便支持傳感器131、按鍵開關(guān)132、藍(lán)牙芯片133和存儲(chǔ)芯片134的工作。
[0129]在上述實(shí)施例中，介紹了單個(gè)指環(huán)的基本結(jié)構(gòu)，本發(fā)明通過在用戶的手部佩戴指環(huán)，能夠?qū)崿F(xiàn)模擬虛擬觸摸屏操控。
[0130]本發(fā)明實(shí)施例通過在圖像采集模塊取景范圍內(nèi)設(shè)定及顯示虛擬觸摸屏的模擬區(qū)域，并通過圖像采集模塊在模擬區(qū)域內(nèi)掃描并識(shí)別操控設(shè)備的標(biāo)識(shí)圖像，以根據(jù)標(biāo)識(shí)圖像確定操控設(shè)備在模擬區(qū)域中的位置，進(jìn)而基于操控設(shè)備的位置和運(yùn)動(dòng)軌跡生成操控設(shè)備在虛擬觸摸屏上的操作指令，并執(zhí)行該操作指令。通過對(duì)此虛擬觸摸屏的操作以實(shí)現(xiàn)對(duì)一些虛擬的平面媒介做出操控，同時(shí)實(shí)現(xiàn)現(xiàn)有平面設(shè)備內(nèi)容可以移植到虛擬/增強(qiáng)現(xiàn)實(shí)設(shè)備之中，以實(shí)現(xiàn)現(xiàn)有平面化技術(shù)向3D場景渲染的過渡。解決了現(xiàn)有技術(shù)中由于數(shù)據(jù)處理過程數(shù)據(jù)大導(dǎo)致數(shù)據(jù)處理速度慢影響用戶體驗(yàn)和需要借助外部設(shè)備不夠人性化的問題，實(shí)現(xiàn)了數(shù)據(jù)處理速度快，不需要借助外部設(shè)備即可實(shí)現(xiàn)虛擬觸摸屏操控，達(dá)到提高用戶體驗(yàn)的技術(shù)效果。
[0131]在本發(fā)明的描述中，需要說明的是，術(shù)語“第一”、“第二”、“第三”僅用于描述目的，而不能理解為指示或暗示相對(duì)重要性。
[0132]顯然，所描述的實(shí)施例是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例。基于本發(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。
【主權(quán)項(xiàng)】
1.一種虛擬觸摸屏的操控方法，其特征在于，包括: 獲取操控設(shè)備在虛擬觸摸屏中的位置； 獲取操控設(shè)備的運(yùn)動(dòng)軌跡； 基于所述操控設(shè)備的位置和運(yùn)動(dòng)軌跡生成操控設(shè)備在虛擬觸摸屏上的操作指令； 執(zhí)行所述操作指令。2.根據(jù)權(quán)利要求1所述的操控方法，所述獲取操控設(shè)備在虛擬觸摸屏中的位置的步驟包括: 在攝像頭取景范圍內(nèi)設(shè)定虛擬觸摸屏的模擬區(qū)域； 攝像頭識(shí)別操控設(shè)備的標(biāo)識(shí)圖像； 通過標(biāo)識(shí)圖像確定操控設(shè)備在模擬區(qū)域中的位置。3.根據(jù)權(quán)利要求2所述的一種虛擬觸摸屏操作指令的獲取方法，所述在攝像頭取景范圍內(nèi)設(shè)定虛擬觸摸屏的模擬區(qū)域的步驟具體為: 確定攝像頭的取景范圍； 將所述取景范圍內(nèi)虛擬觸摸屏的中心位置作為模擬區(qū)域的中心位置，按照預(yù)設(shè)百分比選取虛擬觸摸屏的一部分區(qū)域，作為模擬區(qū)域;所述預(yù)設(shè)百分比為模擬區(qū)域在虛擬觸摸屏區(qū)域中所占比例。4.根據(jù)權(quán)利要求2所述的操控方法，所述攝像頭識(shí)別操控設(shè)備的標(biāo)識(shí)圖像的步驟包括: 攝像頭在所述模擬區(qū)域內(nèi)掃描是否存在標(biāo)識(shí)圖像； 如果是，則識(shí)別操控設(shè)備的標(biāo)識(shí)圖像； 如果否，則繼續(xù)掃描模擬區(qū)域。5.根據(jù)權(quán)利要求2所述的一種虛擬觸摸屏操作指令的獲取方法，所述通過標(biāo)識(shí)圖像確定操控設(shè)備在模擬區(qū)域中的位置的步驟具體為: 以參考圖片中標(biāo)識(shí)圖像的灰度值為基準(zhǔn)，在攝像頭拍攝的圖像中匹配與標(biāo)識(shí)圖像灰度值相同的像素點(diǎn);所述參考圖片為預(yù)先拍攝的包含標(biāo)識(shí)圖像的圖片； 將在參考圖像中匹配到的與標(biāo)識(shí)圖像灰度值相同的像素點(diǎn)組成的圖像在整幅圖像中的位置作為所述操控設(shè)備在所述模擬區(qū)域中的位置。6.根據(jù)權(quán)利要求1所述的一種虛擬觸摸屏操作指令的獲取方法，其特征在于，所述基于所述操控設(shè)備的位置和運(yùn)動(dòng)軌跡生成操控設(shè)備在虛擬觸摸屏上的操作指令的步驟具體為: 將所述運(yùn)動(dòng)軌跡轉(zhuǎn)換為四元數(shù)； 基于所述四元數(shù)，在數(shù)據(jù)庫中進(jìn)行匹配，得到相應(yīng)的指令； 將所述指令與所述操控設(shè)備在模擬區(qū)域中的位置進(jìn)行合成，得到操控設(shè)備在虛擬觸摸屏上的操作指令。7.根據(jù)權(quán)利要求1-6任一項(xiàng)所述的操控方法，所述執(zhí)行操作指令的步驟包括: 執(zhí)行虛擬觸摸屏上的操控設(shè)備操作指令； 觸發(fā)虛擬觸摸屏上的應(yīng)用操作指令； 執(zhí)行所述應(yīng)用操作指令。8.一種虛擬觸摸屏的操控系統(tǒng)，其特征在于，包括: 圖像采集模塊(10)，連接到中央處理模塊(12)，用于在虛擬觸摸屏的模擬區(qū)域內(nèi)掃描并識(shí)別操控設(shè)備的標(biāo)識(shí)圖像； 顯示模塊(11)，連接到中央處理模塊(12)，用于在圖像采集模塊(10)取景范圍內(nèi)設(shè)定并顯示虛擬觸摸屏的模擬區(qū)域； 中央處理模塊(12)，用于根據(jù)標(biāo)識(shí)圖像確定操控設(shè)備在所述模擬區(qū)域中的位置，并基于所述操控設(shè)備的位置和運(yùn)動(dòng)軌跡生成操控設(shè)備在虛擬觸摸屏上的操作指令； 操控設(shè)備(13)，其上設(shè)置有標(biāo)識(shí)圖像，并在運(yùn)動(dòng)過程中產(chǎn)生運(yùn)動(dòng)軌跡數(shù)據(jù)以發(fā)送給中央處理模塊(12)。9.根據(jù)權(quán)利要求8所述的操控系統(tǒng)， 所述中央處理模塊(12)進(jìn)一步執(zhí)行虛擬觸摸屏上的操控設(shè)備操作指令，通過執(zhí)行操控設(shè)備操作指令觸發(fā)虛擬觸摸屏上的應(yīng)用操作指令并執(zhí)行。10.根據(jù)權(quán)利要求8所述的操控系統(tǒng)，所述顯示模塊(11)包括: 取景范圍確定單元(111)，用于確定攝像頭的取景范圍； 模擬區(qū)域選取單元(112)，用于將所述取景范圍內(nèi)虛擬觸摸屏的中心位置作為模擬區(qū)域的中心位置，按照預(yù)設(shè)百分比選取虛擬觸摸屏的一部分區(qū)域，作為模擬區(qū)域;所述預(yù)設(shè)百分比為模擬區(qū)域在虛擬觸摸屏區(qū)域中所占比例； 顯示單元(113)，用于將所述模擬區(qū)域顯示。11.根據(jù)權(quán)利要求8所述的操控系統(tǒng)，所述中央處理模塊(12)包括: 第一匹配單元(121)，用于以參考圖片中標(biāo)識(shí)圖像的灰度值為基準(zhǔn)，在攝像頭拍攝的圖像中匹配與標(biāo)識(shí)圖像灰度值相同的像素點(diǎn);所述參考圖片為預(yù)先拍攝的包含標(biāo)識(shí)圖像的圖片; 組成單元(122)，用于將在參考圖像中匹配到的與標(biāo)識(shí)圖像灰度值相同的像素點(diǎn)組成的圖像在整幅圖像中的位置作為所述操控設(shè)備在所述模擬區(qū)域中的位置。12.根據(jù)權(quán)利要求8-11任一項(xiàng)所述的系統(tǒng)，所述中央處理模塊(12)還包括: 轉(zhuǎn)換單元(123)，用于將所述運(yùn)動(dòng)軌跡轉(zhuǎn)換為四元數(shù)； 第二匹配單元(124)，用于基于所述四元數(shù)，在數(shù)據(jù)庫中進(jìn)行匹配，得到相應(yīng)的指令； 合成單元(125)，用于將所述指令與所述操控設(shè)備在模擬區(qū)域中的位置進(jìn)行合成，得到操控設(shè)備在虛擬觸摸屏上的操作指令。
【文檔編號(hào)】G06F3/01GK106055108SQ201610405995
【公開日】2016年10月26日
【申請(qǐng)日】2016年6月10日
【發(fā)明人】張素豐
【申請(qǐng)人】北京行云時(shí)空科技有限公司