專利名稱：一種基于虛擬觸摸屏的人機交互方法、裝置及電子設(shè)備的制作方法
技術(shù)領(lǐng)域：
本發(fā)明屬于人機交互領(lǐng)域，尤其涉及一種基于虛擬觸摸屏的人機交互方法、裝置及電子設(shè)備。
背景技術(shù)：
隨著用戶科學(xué)技術(shù)的發(fā)展，用戶們可以用更多的用戶化方式與機器設(shè)備進(jìn)行交互，現(xiàn)有的用戶與電子設(shè)備交互的方式主要有通過傳統(tǒng)鼠標(biāo)、鍵盤等輸入設(shè)備等向機器輸入操作指令，然后根據(jù)該操作指令控制機器執(zhí)行相應(yīng)操作。現(xiàn)有的用戶與電子設(shè)備交互的方法主要局限于傳統(tǒng)鼠標(biāo)、鍵盤等輸入設(shè)備，該方法容易受到以及其他設(shè)備的限制，因此用戶與電子設(shè)備的交互不夠自然、方便。

發(fā)明內(nèi)容
本發(fā)明實施例提供了一種基于虛擬觸摸屏的人機交互方法，旨在解決現(xiàn)有的人機交互方法存在的用戶與電子設(shè)備交互不夠自然、方便的問題。本發(fā)明實施例是這樣實現(xiàn)的，一種基于虛擬觸摸屏的人機交互方法，所述方法包括下述步驟獲取用戶的手臂長度和用戶的雙肩寬度；根據(jù)所述用戶的手臂長度和用戶的雙肩寬度確定虛擬觸摸屏的屬性參數(shù)，所述虛擬觸摸屏的屬性參數(shù)包括虛擬觸摸屏的長度、寬度以及虛擬觸摸屏與XOY平面的距離；根據(jù)用戶手掌相對虛擬觸摸屏的移動確定屏幕操作點的移動，再根據(jù)用戶手掌中心質(zhì)點與XOY平面的距離變化確定用戶的操作指令；根據(jù)所述操作指令執(zhí)行相應(yīng)的操作。本發(fā)明實施例的另一目的在于提供一種基于虛擬觸摸屏的人機交互系統(tǒng)，所述系統(tǒng)包括用戶特征參數(shù)獲取單元，用于獲取用戶的手臂長度和用戶的雙肩寬度；虛擬觸摸屏屬性參數(shù)確定單元，用于根據(jù)所述用戶的手臂長度和用戶的雙肩寬度確定虛擬觸摸屏的屬性參數(shù)，所述虛擬觸摸屏的屬性參數(shù)包括虛擬觸摸屏的長度、寬度以及虛擬觸摸屏與XOY平面的距離；操作指令確定單元，用于根據(jù)用戶手掌相對虛擬觸摸屏的移動確定屏幕操作點的移動，再根據(jù)用戶手掌中心質(zhì)點與XOY平面的距離變化確定用戶的操作指令；操作執(zhí)行單元，用于根據(jù)所述操作指令執(zhí)行相應(yīng)的操作。本發(fā)明實施例的另一目的在于提供一種包含上述基于虛擬觸摸屏的人機交互系統(tǒng)的電子設(shè)備。本發(fā)明實施例根據(jù)用戶舒服度確定虛擬觸摸屏所在位置以及該虛擬觸摸屏的屏幕大小，當(dāng)觸摸屏接收到用戶的操作指令時，根據(jù)該操作指令執(zhí)行相應(yīng)的操作。由于能夠?qū)⑻摂M觸摸屏與XOY平面的距離、虛擬觸摸屏長度、寬度等屬性參數(shù)調(diào)整到操作者更舒服的
4狀態(tài)，因此使人機交互更自然、方便。


圖1是本發(fā)明第一實施例提供的基于虛擬觸摸屏的人機交互方法的流程圖；圖2是圖1人機交互方法模型坐標(biāo)系示意圖；圖3是圖2坐標(biāo)系示意圖的俯視圖；圖4是圖2的模型中雙手在虛擬觸摸屏的最大投影圓示意圖；圖5是本發(fā)明第二實施例提供的基于虛擬觸摸屏的人機交互系統(tǒng)的結(jié)構(gòu)示意圖。
具體實施例方式為了使本發(fā)明的目的、技術(shù)方案及優(yōu)點更加清楚明白，以下結(jié)合附圖及實施例，對本發(fā)明進(jìn)行進(jìn)一步詳細(xì)說明。應(yīng)當(dāng)理解，此處所描述的具體實施例僅僅用以解釋本發(fā)明，并不用于限定本發(fā)明。本發(fā)明實施例根據(jù)用戶舒服度確定虛擬觸摸屏所在位置以及該虛擬觸摸屏的屏幕大小，在接收到用戶對虛擬觸摸屏的操作指令時，根據(jù)該操作指令執(zhí)行相應(yīng)的操作。本發(fā)明實施例提供了一種基于虛擬觸摸屏的人機交互方法、裝置及電子設(shè)備。所述方法包括獲取用戶的手臂長度和用戶的雙肩寬度；根據(jù)所述用戶的手臂長度和用戶的雙肩寬度確定虛擬觸摸屏的屬性參數(shù)，所述虛擬觸摸屏的屬性參數(shù)包括虛擬觸摸屏的長度、寬度以及虛擬觸摸屏與XOY平面的距離，其中XOY平面也即用戶正視情況下用戶臉?biāo)诘钠矫妫桓鶕?jù)用戶手掌相對虛擬觸摸屏的移動確定屏幕操作點的移動，再根據(jù)用戶手掌中心質(zhì)點與XOY平面的距離變化確定用戶的操作指令；根據(jù)所述操作指令執(zhí)行相應(yīng)的操作。所述裝置包括用戶特征參數(shù)獲取單元，用于獲取用戶的手臂長度和用戶的雙肩寬度；虛擬觸摸屏屬性參數(shù)確定單元，用于根據(jù)所述用戶的手臂長度和用戶的雙肩寬度確定虛擬觸摸屏的屬性參數(shù)，所述虛擬觸摸屏的屬性參數(shù)包括虛擬觸摸屏的長度、寬度以及虛擬觸摸屏與XOY平面的距離；操作指令確定單元，用于根據(jù)用戶手掌相對虛擬觸摸屏的移動確定屏幕操作點的移動，再根據(jù)用戶手掌中心質(zhì)點與XOY平面的距離變化確定用戶的操作指令；操作執(zhí)行單元，用于根據(jù)所述操作指令執(zhí)行相應(yīng)的操作。所述設(shè)備包括包含上述基于虛擬觸摸屏的人機交互系統(tǒng)的電子設(shè)備。本發(fā)明實施例根據(jù)用戶舒服度確定虛擬觸摸屏所在位置以及該虛擬觸摸屏的屏幕大小，當(dāng)觸摸屏接收到用戶的操作指令時，根據(jù)該操作指令執(zhí)行相應(yīng)的操作。由于能夠?qū)⑻摂M觸摸屏與XOY平面的距離、寬度等屬性參數(shù)調(diào)整到操作者更舒服的狀態(tài)，因此使人機交互更自然、方便。為了說明本發(fā)明所述的技術(shù)方案，下面通過具體實施例來進(jìn)行說明。實施例一圖1示出了本發(fā)明第一實施例提供的一種基于虛擬觸摸屏的人機交互方法，在本實施例中，根據(jù)用戶舒服度確定虛擬觸摸屏所在位置以及該虛擬觸摸屏的屏幕大小，當(dāng)觸摸屏接收到用戶的操作指令時，根據(jù)該操作指令執(zhí)行相應(yīng)的操作。詳述如下在步驟Sll中，獲取用戶的手臂長度和用戶的雙肩寬度。進(jìn)一步，在獲取用戶的手臂長度和用戶的雙肩寬度的步驟之前，包括下述步驟構(gòu)建人機交互模型。在本實施例中，構(gòu)建的人機交互模型要素為操作者和人體特征采集功能的被操作對象，該人體特征采集功能的被操作對象包括PC機、電視機等。根據(jù)操作者和被操作對象的關(guān)系，建立如圖2的坐標(biāo)系。在圖2中，用戶雙肩中心質(zhì)點與虛擬觸摸屏中心質(zhì)點的連線和XOY平面確定坐標(biāo)系的原點0，該XOY平面為用戶臉?biāo)诘钠矫?。其中，獲取用戶的手臂長度和用戶的雙肩寬度的步驟具體為A、在用戶張開雙臂后，根據(jù)雙目攝像系統(tǒng)、用戶手識別技術(shù)以及用戶臉識別技術(shù)采集用戶手坐標(biāo)和用戶臉坐標(biāo)，并根據(jù)用戶手坐標(biāo)的集合確定用戶手中心質(zhì)點坐標(biāo)，根據(jù)用戶臉坐標(biāo)的集合確定用戶臉中心質(zhì)點坐標(biāo)，再根據(jù)確定的用戶手的中心質(zhì)點坐標(biāo)和用戶臉的中心質(zhì)點坐標(biāo)確定最長的用戶的手臂長度。根據(jù)雙目攝像系統(tǒng)、用戶手識別技術(shù)以及用戶臉識別技術(shù)采集到多個用戶手坐標(biāo)和多個用戶臉坐標(biāo)，該多個用戶手坐標(biāo)組成了用戶手坐標(biāo)的集合，該多個用戶臉坐標(biāo)組成了用戶臉坐標(biāo)的集合，中心質(zhì)點的坐標(biāo)分量值為所述集合的坐標(biāo)分量值均值。本實施例中，在用戶張開手臂后，獲取用戶手的中心質(zhì)點坐標(biāo)和用戶臉的中心質(zhì)點坐標(biāo)，假設(shè)得到的用戶臉的中心質(zhì)點坐標(biāo)為(Xf，Yf，Zf)，用戶手的中心質(zhì)點坐標(biāo)為(Xh， %，Zh)，X軸正向的手臂肩部的坐標(biāo)為(0. 5Hs，0，0)，用戶的X軸正向的手臂長度Lh可根據(jù)下面公式確定Lh= ((0.5Hs-Xh)2+(-Yh)2+(-Zh)2)"2，其中Hs為肩寬。為了簡化運算，在本步驟的實際計算中可以只計算臉中心質(zhì)點坐標(biāo)為(Xf，Yf，Zf)與用戶手的中心質(zhì)點坐標(biāo)為0(h，％，Zh)的距離作為手臂的粗略長度。B、將采集的用戶圖像做一維投影，并比較標(biāo)識用戶雙肩的像素與預(yù)設(shè)的像素長度閾值大小，從而根據(jù)比較的結(jié)果確定實際的用戶的雙肩寬度。在本實施例中，根據(jù)雙目攝像系統(tǒng)和特征識別技術(shù)追蹤用戶，并將用戶從背景圖像中提取出來，再將提取出來的用戶圖像做一維投影，比如投影到X軸。預(yù)設(shè)一個像素長度閾值，預(yù)設(shè)的像素長度閾值大小可以根據(jù)實驗統(tǒng)計確定，該像素長度閾值用于確定圖像上標(biāo)識雙肩寬度的像素的長度，將一維投影的標(biāo)識用戶雙肩的像素集合與像素長度閾值進(jìn)行比較，便可以確定雙肩在X軸投影長度，然后，通過雙目視覺坐標(biāo)系統(tǒng)就可以很容易將投影長度轉(zhuǎn)換為用戶實際的雙肩寬度。作為本發(fā)明的另一實施方式，考慮到用戶操作的簡便，用戶的手臂長度可根據(jù)標(biāo)準(zhǔn)人體的比例來計算。如肩寬是身高的1/4，平伸兩臂的寬度等于身高等，因此可以根據(jù)人體標(biāo)準(zhǔn)比例以及用戶雙肩寬度確定用戶的手臂長度。在步驟S12中，根據(jù)該用戶的手臂長度和用戶的雙肩寬度確定虛擬觸摸屏的屬性參數(shù)，該虛擬觸摸屏的屬性參數(shù)包括虛擬觸摸屏的長度、寬度以及虛擬觸摸屏與XOY平面的距離。其中，根據(jù)該用戶的手臂長度和用戶的雙肩寬度確定虛擬觸摸屏的屬性參數(shù)，該虛擬觸摸屏的屬性參數(shù)包括虛擬觸摸屏的長度、寬度以及虛擬觸摸屏與XOY平面的距離的步驟具體為1、確定虛擬觸摸屏與XOY平面的距離和用戶手臂長度的比例系數(shù)。在本實施例中，在確定了虛擬觸摸屏與XOY平面(即用戶臉?biāo)诘钠矫?的距離和用戶手臂長度的比例系數(shù)之后，就能確定虛擬觸摸屏與XOY平面的距離。假設(shè)虛擬觸摸屏與XOY平面的距離為Dv，用戶的手臂長度為Lh，虛擬觸摸屏與XOY平面的距離和用戶手臂長度的比例系數(shù)為 a，則Dv = LMa，本實施例中，a可以根據(jù)操作者的舒適度自動調(diào)整，通常取a為0. 7。2、根據(jù)虛擬觸摸屏和用戶手臂長度的比例系數(shù)確定單手在虛擬觸摸屏的最大投影圓半徑。圖3是圖2的俯視圖，如圖3所示，假設(shè)用戶手臂與XOY平面的夾角為Θ，用戶的手臂長度為Lh，虛擬觸摸屏與XOY平面的距離為Dv，則用戶手臂與XOY平面的夾角取值滿足下列條件Dv < Lh*sin θ。假設(shè)虛擬觸摸屏與XOY平面的距離和用戶手臂長度的比例系數(shù)為a，單手在虛擬觸摸屏的投影圓半徑為r，則根據(jù)公式Dv = Lh*a和Dv ( Lh^sin θ 確定r = Lh*cos θ ( Lh*(l-a2)1/2，即單手在虛擬觸摸屏的最大投影圓半徑為1減去虛擬觸摸屏與XOY平面的距離和用戶手臂長度的比例系數(shù)的平方差之后，再開平方后乘以用戶手臂長度的值，即LhMl-a2)1氣3、根據(jù)虛擬觸摸屏與XOY平面的距離和用戶手臂長度的比例系數(shù)以及虛擬觸摸屏的最大投影圓半徑確定虛擬觸摸屏的長度和寬度。在本實施例中，雙手在虛擬觸摸屏的最大投影圓的相交弦即為虛擬觸摸屏的寬度。如圖4所示，假設(shè)虛擬觸摸屏的長度為H，寬度為V，單手在虛擬觸摸屏的最大投影圓半徑為R，用戶的雙肩寬度為Hs，則根據(jù)圖4可容易得出，虛擬觸摸屏的長度等于2倍的用戶的雙肩寬度，即H = 2*Hs。虛擬觸摸屏的寬度等于單手在虛擬觸摸屏的最大投影圓半徑R與用戶的雙肩寬度一半的平方差之后，再開平方的2倍，即V = 2*(R2-(Hs/2)2)V2，又因為R = Lh*(l-a2)"2，所以V = 24(1^4(1-0)2-0^/2)2)1 氣在步驟S13中，根據(jù)用戶手掌相對虛擬觸摸屏的移動確定屏幕操作點的移動，再根據(jù)用戶手掌中心質(zhì)點與XOY平面的距離變化確定用戶的操作指令。其中，根據(jù)用戶手掌中心質(zhì)點與XOY平面的距離變化確定用戶的操作指令的步驟具體為A、根據(jù)用戶手掌相對虛擬觸摸屏的移動確定屏幕操作點的移動。在本實施例中， 根據(jù)獲取的用戶手中心質(zhì)點的坐標(biāo)獲取用戶手掌相對虛擬觸摸屏的移動距離，并進(jìn)而確定屏幕操作點的移動。B、計算用戶手掌在操作中手中心質(zhì)點與XOY平面的距離Hd。作為本發(fā)明的一實施方式獲取用戶手中心質(zhì)點坐標(biāo)和用戶臉中心質(zhì)點坐標(biāo)，并根據(jù)該用戶手中心質(zhì)點坐標(biāo)和用戶臉中心質(zhì)點坐標(biāo)計算用戶手中心質(zhì)點與用戶臉中心質(zhì)點的距離作為Hd，具體在于， 獲取用戶手中心質(zhì)點的坐標(biāo)和用戶臉中心質(zhì)點的坐標(biāo)，并根據(jù)距離公式計算用戶手中心質(zhì)點與用戶臉中心質(zhì)點的距離。作為本發(fā)明的另外一實施方式采用通過雙目視覺坐標(biāo)系統(tǒng)， 精確獲取用戶手中心坐標(biāo)(紐，Yh, ao，其深度分量ai即為手中心質(zhì)點與XOY平面的距離 Hd。C、當(dāng)距離Hd從小于虛擬觸摸屏與XOY平面的距離Dv變?yōu)榇笥诘扔谔摂M觸摸屏與 XOY平面的距離Dv時，判定操作指令為按下指令。D、當(dāng)距離Hd從大于等于虛擬觸摸屏與XOY平面的距離Dv變?yōu)樾∮谔摂M觸摸屏與 XOY平面的距離Dv時，判定操作指令為抬起指令。在步驟S14中，根據(jù)該操作指令執(zhí)行相應(yīng)的操作。
7
其中，根據(jù)該操作指令執(zhí)行相應(yīng)的操作的步驟具體為1、在操作指令為按下指令時，觸發(fā)操作點在實際設(shè)備坐標(biāo)的計算，并根據(jù)操作點所在實際設(shè)備坐標(biāo)確定相應(yīng)的功能操作。在本實施例中，觸發(fā)操作點在實際設(shè)備坐標(biāo)的計算，并根據(jù)操作點在實際設(shè)備坐標(biāo)確定相應(yīng)的功能操作步驟具體為e、觸發(fā)操作點在虛擬觸摸屏坐標(biāo)的采集，并根據(jù)操作點在虛擬觸摸屏的坐標(biāo)映射到操作點在實際設(shè)備的坐標(biāo)。 在本實施例中，操作點在虛擬觸摸屏的坐標(biāo)是通過采集人體特征技術(shù)獲得。獲取實際設(shè)備的屏幕分辨率，并根據(jù)該實際設(shè)備的屏幕分辨率、操作點在虛擬觸摸屏的坐標(biāo)以及虛擬觸摸屏的長度和寬度計算操作點在實際設(shè)備的坐標(biāo)。例如，假設(shè)操作點在虛擬觸摸屏的坐標(biāo)為(Px，Py)，實際設(shè)備的屏幕分辨率為HrXVr，虛擬觸摸屏的長度和寬度分別為H和V，操作點在實際設(shè)備的坐標(biāo)為(Pxx，Pyy)，則Pxx = Px^Hr/H, Pyy = Py*Vr/V。f、預(yù)設(shè)一個判斷閾值，當(dāng)操作點在實際設(shè)備的坐標(biāo)的最大差值小于等于該判斷閾值時，直接執(zhí)行操作點在實際設(shè)備的坐標(biāo)所對應(yīng)的功能操作，否則，執(zhí)行滑屏操作。在本實施例中，當(dāng)操作點在實際設(shè)備的坐標(biāo)變化不大時，說明操作點在實際設(shè)備的坐標(biāo)所對應(yīng)的是同一個功能區(qū)域，則直接執(zhí)行該功能區(qū)域?qū)?yīng)的功能；當(dāng)操作點在實際設(shè)備的坐標(biāo)變化較大時，說明操作點的位置變化較大，則觸發(fā)滑屏功能操作，直到采集到用戶的抬起或按下指令。2、在操作指令為抬起指令時，執(zhí)行結(jié)束功能操作。在本發(fā)明第一實施例中，首先確定虛擬觸摸屏與XOY平面的距離和用戶手臂長度的比例系數(shù)，再結(jié)合用戶的手臂長度和用戶的雙肩寬度確定虛擬觸摸屏的屬性參數(shù)。在虛擬觸摸屏的屬性參數(shù)對應(yīng)的虛擬觸摸屏上采集到用戶發(fā)出的操作指令后，根據(jù)該操作指令執(zhí)行相應(yīng)的功能操作。由于能夠根據(jù)操作者的操作舒適度自由調(diào)整虛擬觸摸屏與XOY平面的距離，因此能夠?qū)⑻摂M觸摸屏與XOY平面的距離、寬度等屬性參數(shù)調(diào)整到操作者更舒服的狀態(tài)，使人機交互更自然、方便。實施例二 圖5示出了本發(fā)明第二實施例提供的基于虛擬觸摸屏的人機交互系統(tǒng)的結(jié)構(gòu)，為了便于說明，僅示出了與本發(fā)明實施例相關(guān)的部分。該基于虛擬觸摸屏的人機交互系統(tǒng)可以用于通過有線或者無線網(wǎng)絡(luò)連接服務(wù)器的各種信息處理終端，例如口袋計算機(Pocket Personal Computer，PPC)、掌上電腦、計算機、筆記本電腦、電視機等，可以是運行于這些終端內(nèi)的軟件單元、硬件單元或者軟硬件相結(jié)合的單元，也可以作為獨立的掛件集成到這些終端中或者運行于這些終端的應(yīng)用系統(tǒng)中，其中用戶特征參數(shù)獲取單元21，用于獲取用戶的手臂長度和用戶的雙肩寬度。在本實施例中，根據(jù)操作者和被操作對象的關(guān)系，構(gòu)建人機交互模型，并獲取人機交互模型中用戶的手臂長度和用戶的雙肩寬度。進(jìn)一步地，用戶特征參數(shù)獲取單元21包括用戶手臂長度確定模塊211和用戶雙肩寬度確定模塊212。該用戶手臂長度確定模塊211用于采用雙目攝像系統(tǒng)，提取人臉中心質(zhì)點坐標(biāo) (Xf, Yf, Zf)與手掌中心質(zhì)點坐標(biāo)(Xh，Yh, ao，根據(jù)坐標(biāo)運算計算手臂長度。在該計算步驟中，還可以計算手臂肩部的坐標(biāo)為(0.5Hs，0，0)，再根據(jù)坐標(biāo)運算，計算手掌中心質(zhì)點坐標(biāo)(Xh, Yh, Zh)與手臂肩部的坐標(biāo)(0.5Hs，0，0)的距離為手臂長度。
該用戶雙肩寬度確定模塊212用于根據(jù)用戶雙肩的投影長度確定用戶實際的雙肩寬度，或者根據(jù)人體標(biāo)準(zhǔn)比例系數(shù)以及用戶的手臂長度確定用戶實際的雙肩寬度。虛擬觸摸屏屬性參數(shù)確定單元22，用于根據(jù)該用戶的手臂長度和用戶的雙肩寬度確定虛擬觸摸屏的屬性參數(shù)，該虛擬觸摸屏的屬性參數(shù)包括虛擬觸摸屏的長度、寬度以及虛擬觸摸屏與XOY平面的距離。進(jìn)一步地，虛擬觸摸屏屬性參數(shù)確定單元22包括距離確定模塊221、投影圓半徑確定模塊222、虛擬觸摸屏長度確定模塊223以及虛擬觸摸屏寬度確定模塊224。該距離確定模塊221用于根據(jù)公式Dv = LMa確定虛擬觸摸屏與XOY平面的距離， 該Dv為虛擬觸摸屏與XOY平面的距離，該Lh為用戶的手臂長度，該a為虛擬觸摸屏與XOY 平面的距離和用戶手臂長度的比例系數(shù)。該投影圓半徑確定模塊222用于根據(jù)公式Lh*(l-a2)1/2確定單手在虛擬觸摸屏的最大投影圓半徑，該Lh為用戶的手臂長度，該a為虛擬觸摸屏與XOY平面的距離和用戶手臂長度的比例系數(shù)。該虛擬觸摸屏長度確定模塊223用于根據(jù)公式H = 2*Hs確定虛擬觸摸屏的長度， 該H為虛擬觸摸屏的長度，該Hs為用戶的雙肩寬度。該虛擬觸摸屏寬度確定模塊2M用于根據(jù)公式V = 2*(R2-(Hs/2)2)1/2確定虛擬觸摸屏的寬度，該V為虛擬觸摸屏的寬度，該R為單手在虛擬觸摸屏的最大投影圓半徑，該Hs 為用戶的雙肩寬度。操作指令確定單元23，用于根據(jù)用戶手掌相對虛擬觸摸屏的移動確定屏幕操作點的移動，再根據(jù)用戶手掌中心質(zhì)點與XOY平面的距離變化確定用戶的操作指令。進(jìn)一步地，操作指令確定單元23包括屏幕操作點確定模塊231、手心距離確定模塊232、按下指令確定模塊233以及抬起指令確定模塊234。屏幕操作點確定模塊231，用于根據(jù)用戶手掌相對虛擬觸摸屏的移動確定屏幕操作點的移動。該手心距離確定模塊232，用于獲取用戶手中心質(zhì)點坐標(biāo)和XOY平面的距離Hd，所述Hd也是用戶手中心質(zhì)點坐標(biāo)坐標(biāo)0(h，Yh, zh)的深度分量跑。作為本發(fā)明的另一實施方式，也可以根據(jù)用戶手中心質(zhì)點坐標(biāo)和用戶臉中心質(zhì)點坐標(biāo)計算用戶手中心質(zhì)點與用戶臉中心質(zhì)點的距離粗略計算為Hd。該按下指令確定模塊233，用于在用戶手中心質(zhì)點與與XOY平面的距離Hd從小于 XOY平面到虛擬觸摸屏的距離變化為大于等于XOY平面到虛擬觸摸屏的距離時，判定操作指令為按下指令。該抬起指令確定模塊234，用于在用戶手中心質(zhì)點與XOY平面的距離Hd從大于等于XOY平面到虛擬觸摸屏的距離變化為小于XOY平面到虛擬觸摸屏的距離時，判定操作指令為抬起指令。操作執(zhí)行單元M，用于根據(jù)該操作指令執(zhí)行相應(yīng)的操作。在本實施例中，在操作指令為按下指令時，觸發(fā)操作點在實際設(shè)備坐標(biāo)的采集，并根據(jù)操作點在實際設(shè)備坐標(biāo)的變化大小執(zhí)行相應(yīng)的功能操作。其中，操作點在實際設(shè)備坐標(biāo)的變化較小的功能操作為直接按下功能，操作點在實際設(shè)備坐標(biāo)的變化較大的功能操作為滑屏功能。而在操作指令為抬起指令時，執(zhí)行結(jié)束功能操作。
在本發(fā)明第二實施例中，根據(jù)用戶特征參數(shù)獲取單元21以及虛擬觸摸屏屬性參數(shù)確定單元22確定虛擬觸摸屏的位置、大小，操作執(zhí)行單元M再根據(jù)操作指令確定單元23 的指令執(zhí)行相應(yīng)的功能操作。由于能夠根據(jù)操作者的操作舒適度自由調(diào)整虛擬觸摸屏與 XOY平面的距離和用戶體手臂長度的比例系數(shù)，因此能夠?qū)⑻摂M觸摸屏與XOY平面的距離、 寬度等屬性參數(shù)調(diào)整到操作者更舒服的狀態(tài)，使人機交互更自然、方便。本發(fā)明實施例中，在確定了虛擬觸摸屏與XOY平面的距離和用戶手臂長度的比例系數(shù)之后，再結(jié)合用戶的手臂長度和用戶的雙肩寬度確定虛擬觸摸屏的屬性參數(shù)。在虛擬觸摸屏的屬性參數(shù)對應(yīng)的虛擬觸摸屏上采集到用戶發(fā)出的操作指令后，根據(jù)該操作指令執(zhí)行相應(yīng)的功能操作。由于能夠根據(jù)操作者的操作舒適度自由調(diào)整虛擬觸摸屏與XOY平面的距離和用戶體手臂長度的比例系數(shù)，因此能夠?qū)⑻摂M觸摸屏與XOY平面的距離、寬度等屬性參數(shù)調(diào)整到操作者更舒服的狀態(tài)，使人機交互更自然、方便。以上所述僅為本發(fā)明的較佳實施例而已，并不用以限制本發(fā)明，凡在本發(fā)明的精神和原則之內(nèi)所作的任何修改、等同替換和改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。
權(quán)利要求
1.一種基于虛擬觸摸屏的人機交互方法，其特征在于，所述方法包括下述步驟 獲取用戶的手臂長度和用戶的雙肩寬度；根據(jù)所述用戶的手臂長度和用戶的雙肩寬度確定虛擬觸摸屏的屬性參數(shù)，所述虛擬觸摸屏的屬性參數(shù)包括虛擬觸摸屏的長度、寬度以及虛擬觸摸屏與XOY平面的距離；根據(jù)用戶手掌相對虛擬觸摸屏的移動確定屏幕操作點的移動，再根據(jù)用戶手掌中心質(zhì)點與XOY平面的距離變化確定用戶的操作指令； 根據(jù)所述操作指令執(zhí)行相應(yīng)的操作。
2.如權(quán)利要求1所述的方法，其特征在于，所述獲取用戶的手臂長度和用戶的雙肩寬度的步驟具體為根據(jù)用戶雙肩的投影長度確定用戶實際的雙肩寬度；根據(jù)人體標(biāo)準(zhǔn)比例系數(shù)以及用戶的雙肩寬度確定用戶實際的手臂長度或者采用雙目攝像系統(tǒng)，提取人臉中心質(zhì)點坐標(biāo)(Xf，Yf，Zf)與手掌中心質(zhì)點坐標(biāo)0(h，％，Zh)，根據(jù)坐標(biāo)運算計算手臂長度。
3.如權(quán)利要求1所述的方法，其特征在于，所述根據(jù)所述用戶的手臂長度和用戶的雙肩寬度確定虛擬觸摸屏的屬性參數(shù)，所述虛擬觸摸屏的屬性參數(shù)包括虛擬觸摸屏的長度、 寬度以及虛擬觸摸屏與XOY平面的距離的步驟具體為根據(jù)公式Dv = Lh^a確定虛擬觸摸屏與XOY平面的距離，所述Dv為虛擬觸摸屏與XOY 平面的距離，所述Lh為用戶的手臂長度，所述a為虛擬觸摸屏與XOY平面的距離和用戶手臂長度的比例系數(shù)；根據(jù)公式Lh*(l-a2)1/2確定單手在虛擬觸摸屏的最大投影圓半徑，所述Lh為用戶的手臂長度，所述a為虛擬觸摸屏與XOY平面的距離和用戶手臂長度的比例系數(shù)；根據(jù)公式H = 2*Hs確定虛擬觸摸屏的長度，所述H為虛擬觸摸屏的長度，所述Hs為用戶的雙肩寬度；根據(jù)公式V = 2* (R2-(Hs/2)2)1/2確定虛擬觸摸屏的寬度，所述V為虛擬觸摸屏的寬度， 所述R為單手在虛擬觸摸屏的最大投影圓半徑，所述Hs為用戶的雙肩寬度。
4.如權(quán)利要求1所述的方法，其特征在于，所述根據(jù)用戶手掌相對虛擬觸摸屏的移動確定屏幕操作點的移動，再根據(jù)用戶手掌中心質(zhì)點與XOY平面的距離變化確定用戶的操作指令的步驟具體為根據(jù)用戶手掌相對虛擬觸摸屏的移動確定屏幕操作點的移動； 獲取用戶手中心質(zhì)點坐標(biāo)與XOY平面的距離；在用戶手中心質(zhì)點與XOY平面的距離從小于虛擬觸摸屏與XOY平面的距離變化為大于等于虛擬觸摸屏與XOY平面的距離時，判定操作指令為按下指令；在用戶手中心質(zhì)點與XOY平面的距離從大于等于虛擬觸摸屏與XOY平面變化為小于虛擬觸摸屏與XOY平面的距離時，判定操作指令為抬起指令。
5.如權(quán)利要求4所述的方法，其特征在于，所述根據(jù)所述操作指令執(zhí)行相應(yīng)的操作的步驟具體為在操作指令為按下指令時，根據(jù)用戶手掌在虛擬觸摸屏的位置計算屏幕實際操作的位置，并根據(jù)屏幕實際位置設(shè)置的功能執(zhí)行相應(yīng)的功能操作； 在操作指令為抬起指令時，執(zhí)行結(jié)束功能操作。
6.一種基于虛擬觸摸屏的人機交互系統(tǒng)，其特征在于，所述系統(tǒng)包括 用戶特征參數(shù)獲取單元，用于獲取用戶的手臂長度和用戶的雙肩寬度；虛擬觸摸屏屬性參數(shù)確定單元，用于根據(jù)所述用戶的手臂長度和用戶的雙肩寬度確定虛擬觸摸屏的屬性參數(shù)，所述虛擬觸摸屏的屬性參數(shù)包括虛擬觸摸屏的長度、寬度以及虛擬觸摸屏與XOY平面的距離；操作指令確定單元，用于根據(jù)用戶手掌相對虛擬觸摸屏的移動確定屏幕操作點的移動，再根據(jù)用戶手掌中心質(zhì)點與XOY平面的距離變化確定用戶的操作指令； 操作執(zhí)行單元，用于根據(jù)所述操作指令執(zhí)行相應(yīng)的操作。
7.如權(quán)利要求6所述的系統(tǒng)，其特征在于，所述用戶特征參數(shù)獲取單元包括 用戶雙肩寬度確定模塊，根據(jù)用戶雙肩的投影長度確定用戶實際的雙肩寬度；用戶手臂長度確定模塊，用于采用雙目攝像系統(tǒng)，提取人臉中心質(zhì)點坐標(biāo)(Xf，Yf, Zf) 與手掌中心質(zhì)點坐標(biāo)0(h，％，zh)，根據(jù)坐標(biāo)運算計算手臂長度或者根據(jù)人體標(biāo)準(zhǔn)比例系數(shù)以及用戶的雙肩寬度確定用戶手臂長度。
8.如權(quán)利要求6所述的系統(tǒng)，其特征在于，所述虛擬觸摸屏屬性參數(shù)確定單元包括 距離確定模塊，用于根據(jù)公式Dv = LMa確定虛擬觸摸屏與XOY平面的距離，所述Dv為虛擬觸摸屏與XOY平面的距離，所述Lh為用戶的手臂長度，所述a為虛擬觸摸屏與XOY平面的距離和用戶手臂長度的比例系數(shù)；投影圓半徑確定模塊，用于根據(jù)公式Lh*(l-a2)1/2確定單手在虛擬觸摸屏的最大投影圓半徑，所述Lh為用戶的手臂長度，所述a為虛擬觸摸屏與XOY平面的距離和用戶手臂長度的比例系數(shù)；虛擬觸摸屏長度確定模塊，用于根據(jù)公式H = 2*Hs確定虛擬觸摸屏的長度，所述H為虛擬觸摸屏的長度，所述Hs為用戶的雙肩寬度；虛擬觸摸屏寬度確定模塊，用于根據(jù)公式V = 2*(R2-(Hs/2)2)"2確定虛擬觸摸屏的寬度，所述V為虛擬觸摸屏的寬度，所述R為單手在虛擬觸摸屏的最大投影圓半徑，所述Hs為用戶的雙肩寬度。
9.如權(quán)利要求6所述的系統(tǒng)，其特征在于，所述操作指令確定單元包括屏幕操作點確定模塊，用于根據(jù)用戶手掌相對虛擬觸摸屏的移動確定屏幕操作點的移動；手心距離確定模塊，用于獲取用戶手中心質(zhì)點坐標(biāo)和XOY平面的距離； 按下指令確定模塊，用于在用戶手中心質(zhì)點與XOY平面的距離從小于XOY平面到虛擬觸摸屏的距離變化為大于等于XOY平面到虛擬觸摸屏的距離時，判定操作指令為按下指令；抬起指令確定模塊，用于在用戶手中心質(zhì)點與XOY平面的距離從大于等于XOY平面到虛擬觸摸屏的距離變化為小于XOY平面到虛擬觸摸屏的距離時，判定操作指令為抬起指令。
10.一種電子設(shè)備，其特征在于，所述電子設(shè)備包含權(quán)利要求6至9任一項所述的基于虛擬觸摸屏的人機交互系統(tǒng)。
全文摘要
本發(fā)明適用于人機交互領(lǐng)域，提供了一種基于虛擬觸摸屏的人機交互方法、裝置及電子設(shè)備。所述方法包括獲取用戶的手臂長度和用戶的雙肩寬度；根據(jù)所述用戶的手臂長度和用戶的雙肩寬度確定虛擬觸摸屏的屬性參數(shù)，所述虛擬觸摸屏的屬性參數(shù)包括虛擬觸摸屏的長度、寬度以及虛擬觸摸屏與XOY平面的距離；根據(jù)用戶手掌相對虛擬觸摸屏的移動確定屏幕操作點的移動，再根據(jù)用戶手掌中心質(zhì)點與XOY平面的距離變化確定用戶的操作指令；根據(jù)所述操作指令執(zhí)行相應(yīng)的操作。本發(fā)明實施例能夠?qū)⑻摂M觸摸屏與XOY平面的距離、寬度等屬性參數(shù)調(diào)整到操作者更舒服的狀態(tài)，使人機交互更自然、方便。
文檔編號G06F3/041GK102306053SQ20111025062
公開日2012年1月4日 申請日期2011年8月29日 優(yōu)先權(quán)日2011年8月29日
發(fā)明者吳倚龍 申請人:Tcl集團(tuán)股份有限公司