專利名稱：一種電子信息設(shè)備的操作方法及系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及三維圖像處理及圖像映射技術(shù)領(lǐng)域，具體涉及一種電子信息設(shè)備的操作方法及系統(tǒng)。
背景技術(shù)：
人觀察2D/3D顯示的系統(tǒng)界面，在不通過任何傳感裝置，也不接觸主機(jī)的情況下， 通過攝像頭或者景深傳感器，將人所處場景的2D/3D信息映射到顯示屏上，在顯示屏的鏡像指示下，對系統(tǒng)進(jìn)行準(zhǔn)確的隔空操作。類似的有非接觸式顯示系統(tǒng)，用戶能通過將手指或指示器移向圖像的所選擇部分來與顯示的圖像交互，對顯示區(qū)域內(nèi)出現(xiàn)的人的手部進(jìn)行動態(tài)監(jiān)測和識別，對手部進(jìn)行識別，使用者可以不接觸任何物體而控制系統(tǒng)。針對現(xiàn)有的非觸摸屏操作系統(tǒng)，手在操作時不清楚自己手部處在顯示屏的位置， 只能通過手部的移動，去尋找要顯示屏上要操作的目標(biāo)(操作圖標(biāo)、軟鍵盤按鈕)，這種操作模式用戶不能精確的找到操作位置，給操作帶來了一定困難。

發(fā)明內(nèi)容
有鑒于此，本發(fā)明所要解決的技術(shù)問題是提供一種電子信息設(shè)備的操作方法及系統(tǒng)，操作者可看到自己手部或者肢體的操作位置，使得操作更加精確。本發(fā)明實(shí)施例提供一種電子信息設(shè)備的操作方法，包括 確定操作點(diǎn)在系統(tǒng)顯示界面的坐標(biāo)；
采集操作者肢體動作信息獲得其空間坐標(biāo)信息和圖像數(shù)據(jù)，將所獲得的圖像數(shù)據(jù)以鏡像形式通過顯示屏輸出；
計算肢體映射在顯示屏中的鏡像點(diǎn)坐標(biāo)；
識別肢體動作并判斷肢體鏡像點(diǎn)與操作點(diǎn)是否對應(yīng)？若對應(yīng)，則系統(tǒng)進(jìn)行該肢體動作響應(yīng)操作，否則不響應(yīng)。本發(fā)明實(shí)施例提供的一種基于立體視覺的操作顯示系統(tǒng)，包括 操作點(diǎn)定位單元，確定操作點(diǎn)在系統(tǒng)顯示界面的坐標(biāo)；
操作信息采集單元，采集操作者肢體動作信息獲得其空間坐標(biāo)信息和圖像數(shù)據(jù)，并輸出所獲得的圖像數(shù)據(jù)；
坐標(biāo)映射單元，計算肢體映射在顯示屏中的鏡像點(diǎn)坐標(biāo)；
識別單元，識別肢體動作并判斷肢體鏡像點(diǎn)與操作點(diǎn)是否對應(yīng)？若對應(yīng)，則指示系統(tǒng)進(jìn)行該肢體動作響應(yīng)操作，否則不響應(yīng)；
顯示單元，用于顯示包含操作者肢體圖像信息的視頻輸出信號。本發(fā)明基于鏡像顯示技術(shù)和機(jī)器視覺技術(shù)，將顯示屏上圖像坐標(biāo)和人的肢體在空間中的坐標(biāo)對應(yīng)，在2D/3D顯示情況下，使用戶可以在顯示屏上看到自己相對與屏幕的操作位置，從而實(shí)現(xiàn)準(zhǔn)確的隔空操作。
本發(fā)明在2D/3D顯示中，通過肢體動作對2D/3D顯示的系統(tǒng)進(jìn)行操作，將攝像頭拍攝到的場景映射到顯示屏上，使用戶可以實(shí)時的看到自己手部和肢體所處的位置，當(dāng)用戶想操作時，可以根據(jù)肢體在顯示屏的移動，來操作控制系統(tǒng)，而用戶本身并不需要接觸任何設(shè)備，但是能精確的，實(shí)時的控制系統(tǒng)。本發(fā)明與這些專利的區(qū)別是在2D/3D顯示的技術(shù)下，利用機(jī)器視覺技術(shù)，實(shí)現(xiàn)了不通過任何輸入設(shè)備，也不需要觸摸到主機(jī)，且將攝像頭或者景深傳感器拍攝到圖像映射到顯示屏上，使用戶面對顯示器可以直接更直觀的看清楚自己所處的環(huán)境，而現(xiàn)有技術(shù)雖然也是屬于非接觸式操作，但是用戶在顯示屏上不能看到自己手部或者肢體的操作位置， 本發(fā)明在鏡像指引下，對2D/3D顯示的操作系統(tǒng)進(jìn)行操作，更加精確，更加靈活的實(shí)現(xiàn)了人機(jī)交互，有益于用戶的操作體驗(yàn)。


圖1為本發(fā)明提供的非接觸式操作系統(tǒng)的原理示意圖； 圖2為本發(fā)明提供的一種電子信息設(shè)備的操作方法流程圖； 圖3為本發(fā)明實(shí)施例提供的非接觸式操作方法流程圖4為本發(fā)明實(shí)施例中攝像頭空間坐標(biāo)系與鏡像坐標(biāo)系之間的關(guān)系示意圖； 圖5為本發(fā)明實(shí)施例中的顯示界面為二維2D時的原理示意圖； 圖6為本發(fā)明實(shí)施例中的顯示界面為三維3D時的原理示意圖； 圖7為本發(fā)明實(shí)施例中的3D顯示光學(xué)原理示意圖8 (a)和圖8 (b)為本發(fā)明實(shí)施例中的3D顯示系統(tǒng)雙目視覺距離傳感器模型圖； 圖9為本發(fā)明提供的基于立體視覺的操作顯示系統(tǒng)的架構(gòu)示意圖。
具體實(shí)施例方式鑒于現(xiàn)有技術(shù)中存在的不足，本發(fā)明提供一種電子信息設(shè)備的操作方法及操作顯示系統(tǒng)，可在2D/3D顯示系統(tǒng)中，通過肢體動作對2D/3D顯示的系統(tǒng)進(jìn)行操作，將攝像頭或者景深傳感器拍攝到的場景映射到顯示屏上，使操作者可以實(shí)時的看到自己手部和肢體所處的位置，當(dāng)需要操作時，可以根據(jù)肢體在顯示屏的移動進(jìn)行操作控制，而操作者本身并不需要接觸任何設(shè)備，但是可以精確地，實(shí)時進(jìn)行操作控制。參照圖1及圖2，本發(fā)明一種電子信息設(shè)備的操作方法，包括如下步驟 S201，確定操作點(diǎn)在系統(tǒng)顯示界面的坐標(biāo)；
S202，采集操作者肢體動作信息獲得其空間坐標(biāo)信息和圖像數(shù)據(jù)，將所獲得的圖像數(shù)據(jù)以鏡像形式通過顯示屏輸出；
S203，計算肢體映射在顯示屏中的鏡像點(diǎn)坐標(biāo)；
S204，識別肢體動作并判斷肢體鏡像點(diǎn)與操作點(diǎn)是否對應(yīng)？若對應(yīng)，則系統(tǒng)進(jìn)行該肢體動作響應(yīng)操作，否則不響應(yīng)。步驟S201中所述確定操作點(diǎn)在系統(tǒng)顯示界面的坐標(biāo)，在本發(fā)明實(shí)施例中具體包括
若系統(tǒng)的顯示界面為二維2D，則以顯示器的左上角為空間原點(diǎn)，顯示界面為XOY 二維坐標(biāo)平面，得到系統(tǒng)操作界面中操作點(diǎn)在顯示器二維平面坐標(biāo)D (X，y)；或若系統(tǒng)的顯示界面為三維3D，則以顯示器的左上角為空間原點(diǎn)，顯示界面為XYZ三維立體圖像，顯示器為XOY面，垂直顯示器方向?yàn)閆軸，得到系統(tǒng)操作界面中操作點(diǎn)三維空間中的坐標(biāo)D (X，y, ζ)。步驟S202中所述采集操作者肢體動作信息獲得其空間坐標(biāo)信息和圖像數(shù)據(jù)，將所獲得的圖像數(shù)據(jù)以鏡像形式通過顯示屏輸出，在本發(fā)明實(shí)施例中具體包括
當(dāng)操作者在顯示界面鏡像指引下移動手部或肢體時，計算出肢體運(yùn)動時的空間坐標(biāo)， 不斷更新肢體在顯示界面中的映射坐標(biāo)，在顯示界面實(shí)時顯示手部或肢體的位置。步驟S203中，所述計算肢體映射在顯示屏中的鏡像坐標(biāo)，在本發(fā)明實(shí)施例中具體包括
若系統(tǒng)的顯示界面為二維2D，攝像頭采集到的圖像映射到顯示屏上，以平面形式呈現(xiàn)， 以顯示器的左上角為空間原點(diǎn)，顯示界面為坐標(biāo)平面，計算手或肢體相對于原點(diǎn)的位置，實(shí)時的得到手或肢體坐標(biāo)P (x，y)；
若系統(tǒng)的顯示界面為三維3D，圖像以三維立體形式呈現(xiàn)，基于所確定的操作點(diǎn)坐標(biāo)D(x，y，ζ)和操作時肢體相對于攝像頭的空間坐標(biāo)P(x，y，ζ)，根據(jù)攝像頭和顯示界面的位置關(guān)系，將P點(diǎn)轉(zhuǎn)換到和D點(diǎn)相同的坐標(biāo)系下，得到在同一坐標(biāo)系下的鏡像點(diǎn)坐標(biāo) P (χ, y, ζ)。步驟S204中所述識別肢體動作并判斷肢體鏡像點(diǎn)與操作點(diǎn)是否對應(yīng)，在本發(fā)明實(shí)施例中具體包括
若系統(tǒng)的顯示界面為二維2D，則檢測手部或肢體的位置映射在顯示界面上的2 D坐標(biāo)和顯示界面上操作點(diǎn)坐標(biāo)是否重合，若重合，則判定肢體鏡像坐標(biāo)與操作點(diǎn)坐標(biāo)對應(yīng)；
若系統(tǒng)的顯示界面為三維3D，操作時手部或肢體動作需要觸碰到在三維空間某一位置的操作點(diǎn)，若操作點(diǎn)坐標(biāo)D和鏡像點(diǎn)坐標(biāo)P’重合，則判定肢體鏡像坐標(biāo)與操作點(diǎn)坐標(biāo)對應(yīng)。為使本發(fā)明的原理、特性和優(yōu)點(diǎn)，下面結(jié)合具體實(shí)施例對本發(fā)明進(jìn)行詳細(xì)描述。參照圖1和圖3，本發(fā)明實(shí)施例中提供的一種電子信息設(shè)備的操作方法，包括如下步驟
S301.確定操作點(diǎn)在顯示器的坐標(biāo)；
對于2D顯示界面，以顯示器的左上角為空間原點(diǎn)0，顯示器面為X O Y平面，可以得到系統(tǒng)操作界面中操作點(diǎn)在顯示器二維平面坐標(biāo)D (X，y)。對于3D顯示系統(tǒng)，通過3D顯示原理，以顯示器的左上角為空間原點(diǎn)0，顯示器面為X O Y平面，垂直顯示器方向?yàn)閆軸，可以得到系統(tǒng)操作界面中操作點(diǎn)三維空間中的坐標(biāo)D(x，y, ζ)。S302.通過采集設(shè)備獲得空間坐標(biāo)信息和圖像數(shù)據(jù)。操作者看到2D/3D顯示屏操作界面，通過肢體動作對看到的界面進(jìn)行操作，并用攝像頭(包括單目攝像頭，雙目攝像頭，景深傳感器等)采集肢體動作。S303.將采集的圖像數(shù)據(jù)以鏡像形式通過顯示屏輸出。通過顯示屏用戶看到自己所處場景，當(dāng)用戶在顯示器中鏡像指引下移動手部或肢體時，顯示器可以實(shí)時顯示手部或肢體的位置，并對它進(jìn)行動作識別，同時計算出肢體運(yùn)動時的空間坐標(biāo)，不斷更新肢體在顯示器中的映射坐標(biāo)。S30.計算肢體在顯示器中的坐標(biāo)。對于2 D顯示器，攝像頭采集到的圖像映射到顯示屏上，以平面形式呈現(xiàn)，以顯示器的左上角為空間原點(diǎn)0，顯示器面為X O Y平面，因此只需計算肢體相對于原點(diǎn)O的位置，實(shí)時的得到肢體坐標(biāo)P (x, y)。
對于3 D顯示系統(tǒng)，通過計算出了操作點(diǎn)坐標(biāo)D(x，y，z)的和人做動作時的肢體相當(dāng)于攝像頭的空間坐標(biāo)P (x, y, ζ)，由于坐標(biāo)D和P不是在同一坐標(biāo)系下，根據(jù)攝像頭和顯示器的位置關(guān)系，將P點(diǎn)轉(zhuǎn)換到和D點(diǎn)相同的坐標(biāo)系下，得到在同一坐標(biāo)系下的P’ (x, y, ζ)。 具體坐標(biāo)轉(zhuǎn)換方式如下
由于攝像頭空間坐標(biāo)系與鏡像坐標(biāo)系不是同一個坐標(biāo)系，需要將攝像頭空間坐標(biāo)映射到鏡像坐標(biāo)系下，設(shè)攝像頭空間坐標(biāo)原點(diǎn)與鏡像坐標(biāo)原點(diǎn)0距離為1，即在以0為原點(diǎn)的空間坐標(biāo)系的X軸上，其光軸與X軸垂直，與X O Y平面夾角為θ，P (x, y, ζ)與光軸夾角為
4，與XOY平面夾角為，兩空間坐標(biāo)關(guān)系如圖4所示。 計算肢體坐標(biāo)時，以左攝像頭光軸為Z軸，那么設(shè)肢體坐標(biāo)點(diǎn)為P(X，y, ζ),則將廣轉(zhuǎn)換到以0為原點(diǎn)的空間坐標(biāo)系下的Ρ’，計算公式如下所示
^=arctan — ζ
嚴(yán)1
χ = -x+l
1 y = ^y2-^z2 Cosff2(1)
ζ 二 ^Jy2 +ζ2 sin &2
S305.利用識別技術(shù)判斷出人的肢體動作，識別肢體動作并判斷肢體鏡像點(diǎn)與操作點(diǎn)是否對應(yīng)？若對應(yīng)，則系統(tǒng)進(jìn)行該肢體動作響應(yīng)操作，否則不響應(yīng)。對于2D顯示系統(tǒng)，肢體的位置映射在顯示器上的2 D坐標(biāo)和顯示器上操作點(diǎn)坐標(biāo)重合后，操作系統(tǒng)作出響應(yīng)。對于3 D顯示系統(tǒng)，此動作需要觸碰到在三維空間某一位置的操作點(diǎn)，若D和P’兩點(diǎn)重合，說明此動作在空間中觸碰到視覺上三維顯示的操作點(diǎn)，但并非觸到顯示器本身，此時操作系統(tǒng)進(jìn)行動作響應(yīng)，否則不響應(yīng)。在上述方法流程中，通過攝像頭采集數(shù)據(jù)，將操作者所處的空間的坐標(biāo)映射到顯示器，并在顯示器上顯示鏡像，操作者可以觀察顯示器中的鏡像，在鏡像指引，移動手部或肢體去操作顯示器上操作點(diǎn)，人體任何部分始終不用接觸顯示器，也不用借助其它的傳感裝置，僅僅在空間中系統(tǒng)界面顯示區(qū)域進(jìn)行運(yùn)動，就可實(shí)現(xiàn)對系統(tǒng)準(zhǔn)確操作，即基于鏡像顯示技術(shù)實(shí)現(xiàn)的操作方法。本發(fā)明的一實(shí)施例中，系統(tǒng)的顯示界面為二維2D，采集2D數(shù)據(jù)且顯示2D圖像。參照圖5，操作者站在顯示屏前，攝像頭拍攝到用戶，將采集的數(shù)據(jù)以鏡像形式映射到顯示界面上，鋪滿整個顯示屏，按鈕R是操作點(diǎn)，以顯示器左上角為原點(diǎn)，顯示器為坐標(biāo)平面，計算按鈕R坐標(biāo)D (x, y)；
當(dāng)用戶有需要操作時，在空間移動自己手或者肢體時，可以在顯示屏上，看到自己肢體或者手部移動的位置，使用戶更清楚自己所做的動作，并且實(shí)時的計算手在顯示器屏幕上的位置坐標(biāo)P(X，y)，如圖5所示，當(dāng)用戶想要去觸發(fā)按鈕R時，用戶只需要觀察顯示屏上的手，當(dāng)顯示屏上的手移動到按鈕R處，P點(diǎn)和D點(diǎn)重合，用戶準(zhǔn)確的觸發(fā)按鈕，而不需要憑空的在空間中去尋找按鈕的位置。本發(fā)明的另一實(shí)施案例中，系統(tǒng)的顯示界面為三維3D，采集3D數(shù)據(jù)且顯示3D圖像。參照圖6，用戶站在顯示器前，利用3D眼鏡或者其它技術(shù)看到在空間顯示的操作界面對于系統(tǒng)操作界面，該系統(tǒng)利用3D顯示技術(shù)，將系統(tǒng)操作界面在三維空間中顯示。3D 顯示技術(shù)就是利用一系列的光學(xué)方法，使人的左右眼產(chǎn)生視差從而接收不同的畫面，在大腦形成3D立體效果。人雙眼能同時看同一方向，但是眼間距離約65mm，因此不能瞄上同一直線，在一定范圍內(nèi)雙眼看到的圖像有差異。如圖7所示，左右眼分別看到左眼圖和右眼圖，那么視線在中間會有一個交點(diǎn)，在這個交叉處，視覺上會形成兩圖合成的立體圖像，這樣大腦將兩幅圖合成為一個在交點(diǎn)處立體圖。通過3D顯示原理，以顯示器的左上角為空間原點(diǎn)0，顯示器面為X O Y平面，垂直顯示器方向?yàn)閆軸，可以得到系統(tǒng)操作界面中操作點(diǎn)在三維空間中的坐標(biāo)D(x，y, ζ)。用戶想要對界面操作，在空間中移動手，就可以從3 D顯示屏上看到自己手移動的方向和位置，當(dāng)在顯示屏上看到手移動到按鈕R處時，去點(diǎn)擊按鈕R，處于顯示器處的兩個攝像機(jī)對手運(yùn)動進(jìn)行采集，判斷是手指點(diǎn)擊動作后，通過式(2)計算出手指的3D坐標(biāo)P。 其次，人看到三維顯示的立體操作界面，并通過肢體動作對看到的界面進(jìn)行操作。用雙目攝像頭采集的肢體動作。并對它進(jìn)行動作識別，同時計算出肢體在運(yùn)動中的3D坐標(biāo)。如圖8所示，兩臺焦距為f的攝像機(jī)平行放置，光軸之間的距離為T,圖8 (a)中的兩個矩形分辨表示左右攝像機(jī)的成像平面，O1和Or為左右攝像機(jī)的焦點(diǎn)，對于場景中的任意一點(diǎn)Λ在左右攝像機(jī)成像平面上的成像點(diǎn)分別為A和凡，它們在成像平面上的成像坐標(biāo) (圖像坐標(biāo))為/和Ζ，則視差定義為d = X1 - Xr，如圖8 (b)所示。以圖8中的左攝像機(jī)焦點(diǎn)O1為原點(diǎn)，O1Or所在直線為X軸，左攝像機(jī)光軸為Z軸， 垂直于XZ軸的為Y軸，則P點(diǎn)在O1坐標(biāo)系中的坐標(biāo)可以按照公式(2)計算
α , h 絲 Z^(2)
d d d
通過上述步驟已計算出了操作點(diǎn)D(x，y，z)的坐標(biāo)和人做動作時的肢體坐標(biāo) P(x, Y, ζ),由于兩個坐標(biāo)不是在同一坐標(biāo)系下，根據(jù)左攝像頭和顯示器的位置關(guān)系，將P點(diǎn)轉(zhuǎn)換到和D點(diǎn)相同的坐標(biāo)系下，得到在同一坐標(biāo)系下的P’ (x, y, ζ)。利用識別技術(shù)判斷出人的肢體動作，此動作需要觸碰到在三維空間某一位置的操作點(diǎn)，若D和P’兩點(diǎn)重合，說明此動作在空間中觸碰到視覺上三維顯示的操作點(diǎn)，但并非觸到顯示器本身，此時操作系統(tǒng)進(jìn)行動作響應(yīng)，否則不響應(yīng)。參照圖9，本發(fā)明還提供一種基于立體視覺的操作顯示系統(tǒng)900，包括 操作點(diǎn)定位單元910，確定操作點(diǎn)在系統(tǒng)顯示界面的坐標(biāo)；
操作信息采集單元920，采集操作者肢體動作信息獲得其空間坐標(biāo)信息和圖像數(shù)據(jù)，并輸出所獲得的圖像數(shù)據(jù)；
坐標(biāo)映射單元930，計算肢體映射在顯示屏中的鏡像點(diǎn)坐標(biāo)；
顯示單元940，用于顯示包含操作者肢體圖像信息的視頻輸出信號；
識別單元950，識別肢體動作并判斷肢體鏡像點(diǎn)與操作點(diǎn)是否對應(yīng)？若對應(yīng)，則指示系
8統(tǒng)進(jìn)行該肢體動作響應(yīng)操作，否則不響應(yīng)。在具體實(shí)施例中，坐標(biāo)映射單元930包括
三維坐標(biāo)計算模塊，用于計算操作者手部的鏡像點(diǎn)三維3D坐標(biāo)；基于所確定的操作點(diǎn)坐標(biāo)D(x，y, ζ)和操作時肢體相對于攝像頭的空間坐標(biāo)P (x，y, ζ)，根據(jù)攝像頭和顯示界面的位置關(guān)系，將P點(diǎn)轉(zhuǎn)換到和D點(diǎn)相同的坐標(biāo)系下，得到在同一坐標(biāo)系下的鏡像點(diǎn)坐標(biāo) P (χ, y, ζ)。具體實(shí)施例中識別單元950，具體包括
三維坐標(biāo)檢測模塊，用于檢測比較操作點(diǎn)坐標(biāo)D和鏡像點(diǎn)坐標(biāo)P’重合是否重合； 若系統(tǒng)的顯示界面為三維3D，操作時手部或肢體動作需要觸碰到在三維空間某一位置的操作點(diǎn)，若操作點(diǎn)坐標(biāo)D和鏡像點(diǎn)坐標(biāo)P’重合，則判定肢體鏡像坐標(biāo)與操作點(diǎn)坐標(biāo)對應(yīng)。該系統(tǒng)的操作方法與前述實(shí)施例基本相同，在此不再贅述。綜上所述，本發(fā)明基于鏡像顯示技術(shù)和機(jī)器視覺技術(shù)，將顯示屏上圖像坐標(biāo)和人的肢體在空間中的坐標(biāo)對應(yīng)，在2D/3D顯示情況下，使用戶可以在顯示屏上看到自己相對與屏幕的操作位置，從而實(shí)現(xiàn)準(zhǔn)確的隔空操作。本發(fā)明在2D/3D顯示中，通過肢體動作對2D/3D顯示的系統(tǒng)進(jìn)行操作，將攝像頭拍攝到的場景映射到顯示屏上，使用戶可以實(shí)時的看到自己手部和肢體所處的位置，當(dāng)用戶想操作時，可以根據(jù)肢體在顯示屏的移動，來操作控制系統(tǒng)，而用戶本身并不需要接觸任何設(shè)備，但是能精確的，實(shí)時的控制系統(tǒng)。本發(fā)明與這些專利的區(qū)別是在2D/3D顯示的技術(shù)下，利用機(jī)器視覺技術(shù)，實(shí)現(xiàn)了不通過任何輸入設(shè)備，也不需要觸摸到主機(jī)，且將攝像頭或者景深傳感器拍攝到圖像映射到顯示屏上，使用戶面對顯示器可以直接更直觀的看清楚自己所處的環(huán)境，而現(xiàn)有技術(shù)雖然也是屬于非接觸式操作，但是用戶在顯示屏上不能看到自己手部或者肢體的操作位置， 本發(fā)明在鏡像指引下，對2D/3D顯示的操作系統(tǒng)進(jìn)行操作，更加精確，更加靈活的實(shí)現(xiàn)了人機(jī)交互，有益于用戶的操作體驗(yàn)。結(jié)合本文的實(shí)施例所描述的方法可直接體現(xiàn)為硬件、由處理器執(zhí)行的軟件模塊或其組合。軟件模塊可以位于RAM存儲器、閃存、ROM存儲器、EPROM存儲器、EEPROM存儲器、寄存器、硬盤、移動磁盤、CD-ROM或者本領(lǐng)域熟知的任何其它形式的存儲介質(zhì)中。一種示例性的存儲介質(zhì)連接至處理器，從而使處理器能夠從該存儲介質(zhì)讀取信息，且可向該存儲介質(zhì)寫入信息。當(dāng)然，存儲介質(zhì)也可以是處理器的組成部分。處理器和存儲介質(zhì)可以位于ASIC 中。該ASIC可以位于用戶終端中。當(dāng)然，處理器和存儲介質(zhì)也可以作為分立組件存在于用戶終端中。對于軟件實(shí)現(xiàn)，本申請中描述的技術(shù)可用執(zhí)行本申請所述功能的模塊(例如，過程、函數(shù)等)來實(shí)現(xiàn)。這些軟件代碼可以存儲在存儲器單元并由處理器執(zhí)行。存儲器單元可以實(shí)現(xiàn)在處理器內(nèi)，也可以實(shí)現(xiàn)在處理器外，在后一種情況下，它經(jīng)由各種手段以通信方式耦合到處理器，這些都是本領(lǐng)域中所公知的。本發(fā)明雖然以較佳實(shí)施例公開如上，但其并不是用來限定本發(fā)明，任何本領(lǐng)域技術(shù)人員在不脫離本發(fā)明的精神和范圍內(nèi)，都可以做出可能的變動和修改，因此本發(fā)明的保護(hù)范圍應(yīng)當(dāng)以本發(fā)明權(quán)利要求所界定的范圍為準(zhǔn)。
權(quán)利要求
1.一種電子信息設(shè)備的操作方法，其特征在于，包括 確定操作點(diǎn)在系統(tǒng)顯示界面的坐標(biāo)；采集操作者肢體動作信息獲得其空間坐標(biāo)信息和圖像數(shù)據(jù)，將所獲得的圖像數(shù)據(jù)以鏡像形式通過顯示屏輸出；計算肢體映射在顯示屏中的鏡像點(diǎn)坐標(biāo)；識別肢體動作并判斷肢體鏡像點(diǎn)與操作點(diǎn)是否對應(yīng)？若對應(yīng)，則系統(tǒng)進(jìn)行該肢體動作響應(yīng)操作，否則不響應(yīng)。
2.如權(quán)利要求1所述的操作方法，其特征在于，所述確定操作點(diǎn)在系統(tǒng)顯示界面的坐標(biāo)，具體包括若系統(tǒng)的顯示界面為二維2D，則以顯示器的左上角為空間原點(diǎn)，顯示界面為XOY 二維坐標(biāo)平面，得到系統(tǒng)操作界面中操作點(diǎn)在顯示器二維平面坐標(biāo)D (X，y)；或若系統(tǒng)的顯示界面為三維3D，則以顯示器的左上角為空間原點(diǎn)，顯示界面為XYZ三維立體圖像，顯示器為XOY面，垂直顯示器方向?yàn)閆軸，得到系統(tǒng)操作界面中操作點(diǎn)三維空間中的坐標(biāo)D (χ, y, ζ)。
3.如權(quán)利要求1所述的操作方法，其特征在于，所述采集操作者肢體動作信息獲得其空間坐標(biāo)信息和圖像數(shù)據(jù)，將所獲得的圖像數(shù)據(jù)以鏡像形式通過顯示屏輸出，具體包括當(dāng)操作者移動肢體時，計算出肢體運(yùn)動時的空間坐標(biāo)，不斷更新肢體在顯示界面中的映射坐標(biāo)，在顯示界面實(shí)時顯示肢體的位置。
4.如權(quán)利要求1所述的操作方法，其特征在于，所述計算肢體映射在顯示屏中的鏡像坐標(biāo)，具體包括若系統(tǒng)的顯示界面為二維2D，攝像頭采集到的圖像映射到顯示屏上，以平面鏡像形式呈現(xiàn)，以顯示器的左上角為空間原點(diǎn)，顯示界面為坐標(biāo)平面，計算手或肢體相對于原點(diǎn)的位置，實(shí)時的得到手或肢體坐標(biāo)P (x，y)；若系統(tǒng)的顯示界面為三維3D，以立體鏡像形式呈現(xiàn)，基于所確定的操作點(diǎn)坐標(biāo) D(x, y, ζ)和操作時肢體相對于攝像頭的空間坐標(biāo)P(x，y，ζ)，根據(jù)攝像頭和顯示界面的位置關(guān)系，將P點(diǎn)轉(zhuǎn)換到和々點(diǎn)相同的坐標(biāo)系下，得到在同一坐標(biāo)系下的肢體鏡像點(diǎn)坐標(biāo) P (χ, y, ζ)。
5.如權(quán)利要求1所述的操作方法，其特征在于，所述識別肢體動作并判斷肢體鏡像點(diǎn)與操作點(diǎn)是否對應(yīng)，具體包括若系統(tǒng)的顯示界面為二維2D，則檢測手部或肢體的位置映射在顯示界面上的2 D坐標(biāo)和顯示界面上操作點(diǎn)坐標(biāo)是否重合，若重合，則判定肢體鏡像坐標(biāo)與操作點(diǎn)坐標(biāo)對應(yīng)；若系統(tǒng)的顯示界面為三維3D，操作時手部或肢體動作需要觸碰到在三維空間某一位置的操作點(diǎn)，若操作點(diǎn)坐標(biāo)D和鏡像點(diǎn)坐標(biāo)P’重合，則判定肢體鏡像坐標(biāo)與操作點(diǎn)坐標(biāo)對應(yīng)。
6.一種基于立體視覺的操作顯示系統(tǒng)，其特征在于，包括 操作點(diǎn)定位單元，確定操作點(diǎn)在系統(tǒng)顯示界面的坐標(biāo)；操作信息采集單元，采集操作者肢體動作信息獲得其空間坐標(biāo)信息和圖像數(shù)據(jù)，并輸出所獲得的圖像數(shù)據(jù)；坐標(biāo)映射單元，計算肢體映射在顯示屏中的鏡像點(diǎn)坐標(biāo)； 顯示單元，用于顯示包含操作者肢體圖像信息的視頻輸出信號；識別單元，識別肢體動作并判斷肢體鏡像點(diǎn)與操作點(diǎn)是否對應(yīng)？若對應(yīng)，則指示系統(tǒng)進(jìn)行該肢體動作響應(yīng)操作，否則不響應(yīng)。
7.權(quán)利要求6所述的操作顯示系統(tǒng)，其特征在于，所述坐標(biāo)映射單元包括三維坐標(biāo)計算模塊，用于計算操作者手部的鏡像點(diǎn)三維3D坐標(biāo)；基于所確定的操作點(diǎn)坐標(biāo)D(x，y, ζ)和操作時肢體相對于攝像頭的空間坐標(biāo)P (x，y, ζ)，根據(jù)攝像頭和顯示界面的位置關(guān)系，將P點(diǎn)轉(zhuǎn)換到和々點(diǎn)相同的坐標(biāo)系下，得到在同一坐標(biāo)系下的鏡像點(diǎn)坐標(biāo) P (χ, y, ζ)。
8.如權(quán)利要求6所述的操作顯示系統(tǒng)，其特征在于，所述識別單元，具體包括 三維坐標(biāo)檢測模塊，用于檢測比較操作點(diǎn)坐標(biāo)D和鏡像點(diǎn)坐標(biāo)P’重合是否重合； 若系統(tǒng)的顯示界面為三維3D，操作時手部或肢體動作需要觸碰到在三維空間某一位置的操作點(diǎn)，若操作點(diǎn)坐標(biāo)D和鏡像點(diǎn)坐標(biāo)P’重合，則判定肢體鏡像坐標(biāo)與操作點(diǎn)坐標(biāo)對應(yīng)。
全文摘要
本發(fā)明公開了一種電子信息設(shè)備的操作方法，包括確定操作點(diǎn)在系統(tǒng)顯示界面的坐標(biāo)；采集操作者肢體動作信息獲得其空間坐標(biāo)信息和圖像數(shù)據(jù)，將所獲得的圖像數(shù)據(jù)以鏡像形式通過顯示屏輸出；計算肢體映射在顯示屏中的鏡像點(diǎn)坐標(biāo)；識別肢體動作并判斷肢體鏡像點(diǎn)與操作點(diǎn)是否對應(yīng)？若對應(yīng)，則系統(tǒng)進(jìn)行該肢體動作響應(yīng)操作，否則不響應(yīng)。另外還提供相應(yīng)到的基于立體視覺的操作顯示系統(tǒng)。本發(fā)明基于鏡像顯示技術(shù)和機(jī)器視覺技術(shù)，將顯示屏上圖像坐標(biāo)和人的肢體在空間中的坐標(biāo)對應(yīng)，在2D/3D顯示情況下，使用戶可以在顯示屏上看到自己相對與屏幕的操作位置，從而實(shí)現(xiàn)準(zhǔn)確的隔空操作。
文檔編號G06F3/01GK102508548SQ20111035167
公開日2012年6月20日 申請日期2011年11月8日 優(yōu)先權(quán)日2011年11月8日
發(fā)明者王嘉, 程懿遠(yuǎn), 鮑東山 申請人:北京新岸線網(wǎng)絡(luò)技術(shù)有限公司