專利名稱：使用全息圖的用戶界面和用于該用戶界面的方法
技術(shù)領(lǐng)域：
本文公開的是使用全息圖的用戶界面和用于該用戶界面的方法。
背景技術(shù)：
本申請要求2010年1月四日提交的韓國專利申請No. 10-2010-0008733的優(yōu)先 權(quán)和權(quán)益，此處以引證的方式并入其內(nèi)容，就像在此進(jìn)行了完整闡述一樣。當(dāng)前，在諸如膝上型計(jì)算機(jī)、桌上型計(jì)算機(jī)或移動(dòng)終端的終端中提供了觸摸式用 戶界面，該觸摸式用戶界面識(shí)別經(jīng)由外部接觸的輸入。在這樣的終端中，通過識(shí)別經(jīng)由觸摸 式用戶界面輸入的用戶接觸來執(zhí)行各種功能。一般而言，觸摸式用戶界面包括觸摸板、觸摸屏等，它們通過畫面提供了二維觸摸 式用戶界面。此時(shí)，在畫面上顯示諸如圖標(biāo)等用于用戶輸入的各種虛擬對(duì)象。如果畫面上出現(xiàn)用戶接觸，這樣的觸摸式用戶界面識(shí)別出由用戶選擇了用戶接觸 在畫面上出現(xiàn)的位置所顯示的虛擬對(duì)象，并識(shí)別出由用戶輸入了用于執(zhí)行與所選擇的虛擬 對(duì)象相對(duì)應(yīng)的指定功能的指令。因此，用戶界面使終端能夠執(zhí)行與在畫面上顯示的虛擬對(duì) 象中由用戶接觸選中的虛擬對(duì)象相對(duì)應(yīng)的指定功能。同時(shí)，作為該二維觸摸式用戶界面的擴(kuò)展，最近開發(fā)了一種用戶界面，該用戶界面 提供了使用全息圖的三維觸摸式用戶界面。在這樣的使用全息圖的用戶界面中，在空間中的任意區(qū)域顯示全息圖顯示區(qū)，并 且在全息圖顯示區(qū)中顯示用于用戶輸入的各種虛擬對(duì)象。用戶界面識(shí)別出由用戶選擇了所 顯示的虛擬對(duì)象中的虛擬對(duì)象，并識(shí)別出由用戶輸入了用于執(zhí)行與所選擇的虛擬對(duì)象相對(duì) 應(yīng)的指定功能的指令。因此，用戶界面使終端能夠執(zhí)行與由用戶接觸選擇的虛擬對(duì)象相對(duì) 應(yīng)的指定功能。然而，如果出現(xiàn)了與顯示的虛擬對(duì)象的接觸，則使用全息圖的用戶界面識(shí)別出由 用戶選擇了該虛擬對(duì)象，并識(shí)別出由用戶輸入了用于執(zhí)行與所選擇的虛擬對(duì)象相對(duì)應(yīng)的指 定功能的指令。因此，當(dāng)真實(shí)對(duì)象(諸如用戶身體的一部分)僅僅經(jīng)過空間中顯示的全息 圖顯示區(qū)時(shí)，即，當(dāng)真實(shí)對(duì)象經(jīng)過全息圖顯示區(qū)同時(shí)與指定的虛擬對(duì)象相接觸時(shí)，用戶界面 識(shí)別出由用戶選擇了指定的虛擬對(duì)象，并識(shí)別出由用戶輸入了用于執(zhí)行與所選擇的虛擬對(duì) 象相對(duì)應(yīng)的指定功能的指令。因此，可能導(dǎo)致終端故障。

發(fā)明內(nèi)容
本文公開了一種使用全息圖的用戶界面，該用戶界面利用全息圖在空間中顯示用 于用戶輸入的虛擬對(duì)象，并識(shí)別經(jīng)由所顯示的虛擬對(duì)象的各種用戶輸入。并且，本文還公開了一種使用全息圖的用戶界面，該用戶界面可以經(jīng)由視覺或觸 覺效果向用戶提供反饋。本發(fā)明的附加特征將在下面的描述中描述且將從描述中部分地顯現(xiàn)，或者可以通 過本發(fā)明的實(shí)踐來了解。
一種示例性實(shí)施方式提供了一種用戶界面，該用戶界面包括存儲(chǔ)單元，其存儲(chǔ)關(guān) 于虛擬對(duì)象的形狀、功能、位置和運(yùn)動(dòng)摸式的信息；全息圖輸出單元，其投射出全息圖顯示 區(qū)并且在所投射的全息圖顯示區(qū)中顯示所述虛擬對(duì)象；真實(shí)對(duì)象感應(yīng)單元，其感應(yīng)所述全 息圖顯示區(qū)中的真實(shí)對(duì)象并且生成關(guān)于所述真實(shí)對(duì)象的位置和運(yùn)動(dòng)摸式的信息；接觸識(shí)別 單元，其根據(jù)由所述真實(shí)對(duì)象感應(yīng)單元生成的關(guān)于所述真實(shí)對(duì)象的位置和運(yùn)動(dòng)摸式的信息 以及所述存儲(chǔ)單元中存儲(chǔ)的信息，來確定所述全息圖顯示區(qū)中的各個(gè)虛擬對(duì)象和所述真實(shí) 對(duì)象的位置和運(yùn)動(dòng)摸式，以識(shí)別所述虛擬對(duì)象和所述真實(shí)對(duì)象之間的接觸；以及控制單元， 其確定所述虛擬對(duì)象和所述真實(shí)對(duì)象之間的所識(shí)別的接觸是否對(duì)應(yīng)于用于選擇所述虛擬 對(duì)象的輸入。一種示例性實(shí)施方式提供了一種用戶界面，該用戶界面包括存儲(chǔ)單元，其存儲(chǔ)關(guān) 于虛擬對(duì)象的形狀、功能、位置和運(yùn)動(dòng)摸式的信息；全息圖輸出單元，其投射出全息圖顯示 區(qū)并且在所投射的全息圖顯示區(qū)中顯示虛擬對(duì)象；通信單元，其接收從發(fā)送無線信號(hào)的真 實(shí)對(duì)象發(fā)送的所述無線信號(hào)，該無線信號(hào)包含信息；真實(shí)對(duì)象感應(yīng)單元，其從所述通信單元 接收所述無線信號(hào)，提取所述無線信號(hào)中包含的所述信息，并且根據(jù)所述無線信號(hào)生成關(guān) 于所述全息圖顯示區(qū)中的所述真實(shí)對(duì)象的位置和運(yùn)動(dòng)摸式的信息；接觸識(shí)別單元，其根據(jù) 由所述真實(shí)對(duì)象感應(yīng)單元生成的關(guān)于所述真實(shí)對(duì)象的位置和運(yùn)動(dòng)摸式的信息以及所述存 儲(chǔ)單元中存儲(chǔ)的信息來確定所述全息圖顯示區(qū)中的各個(gè)虛擬對(duì)象和所述真實(shí)對(duì)象的位置 和運(yùn)動(dòng)摸式，以識(shí)別所述虛擬對(duì)象和所述真實(shí)對(duì)象之間的接觸；以及控制單元，其根據(jù)由所 述真實(shí)對(duì)象感應(yīng)單元提取的所述真實(shí)對(duì)象的信息來確定與所述虛擬對(duì)象接觸的所述真實(shí) 對(duì)象的功能。一種示例性實(shí)施方式提供了一種用戶界面，該用戶界面包括存儲(chǔ)單元，其存儲(chǔ)關(guān) 于虛擬對(duì)象的信息；全息圖輸出單元，其在全息圖顯示區(qū)中投射出所述虛擬對(duì)象；真實(shí)對(duì) 象感應(yīng)單元，其感應(yīng)所述全息圖顯示區(qū)中的真實(shí)對(duì)象；接觸識(shí)別單元，其根據(jù)關(guān)于所述虛擬 對(duì)象的信息以及關(guān)于所感應(yīng)的真實(shí)對(duì)象的信息來確定所述真實(shí)對(duì)象和所述虛擬對(duì)象之間 的接觸；以及控制單元，其確定所識(shí)別的接觸是否對(duì)應(yīng)于用于選擇所述虛擬對(duì)象的輸入。一種示例性實(shí)施方式提供了一種用于用戶界面的方法，該方法包括以下步驟在 全息圖顯示區(qū)中顯示虛擬對(duì)象；確定真實(shí)對(duì)象和所述虛擬對(duì)象之間是否發(fā)生接觸；確定所 述真實(shí)對(duì)象和所述虛擬對(duì)象之間的所述接觸是否對(duì)應(yīng)于用于選擇所述虛擬對(duì)象的輸入；根 據(jù)所述真實(shí)對(duì)象的運(yùn)動(dòng)來使所選擇的虛擬對(duì)象運(yùn)動(dòng)；以及根據(jù)所選擇的虛擬對(duì)象的運(yùn)動(dòng)來 執(zhí)行與所選擇的虛擬對(duì)象相對(duì)應(yīng)的功能。一種示例性實(shí)施方式提供了一種用于用戶界面的方法，該方法包括以下步驟在 全息圖顯示區(qū)中顯示虛擬對(duì)象；確定真實(shí)對(duì)象和所述虛擬對(duì)象之間是否發(fā)生接觸；如果發(fā) 生接觸，則確定所述真實(shí)對(duì)象的功能；以及針對(duì)所述虛擬對(duì)象執(zhí)行所述真實(shí)對(duì)象的功能。應(yīng)當(dāng)理解，上述一般描述和下述詳細(xì)描述是示例性和說明性的，且旨在提供所要 求保護(hù)的本發(fā)明的進(jìn)一步解釋。根據(jù)下述詳細(xì)描述、附圖以及權(quán)利要求書，其它特征和方面 將變得明顯。


附圖被包括在本說明書中以提供對(duì)本發(fā)明的進(jìn)一步理解，并結(jié)合到本說明書中且構(gòu)成本說明書的一部分，附圖示出了本發(fā)明的實(shí)施方式，且與說明書一起用于解釋本發(fā)明 的原理。圖1是示出根據(jù)示例性實(shí)施方式的使用全息圖的用戶界面的框圖。圖2是示出根據(jù)示例性實(shí)施方式的使用全息圖來識(shí)別用戶界面中的輸入的方法 的流程圖。圖3、圖4、圖5、圖6和圖7示出根據(jù)示例性實(shí)施方式的使用全息圖來識(shí)別用戶界 面中的輸入的方法。圖8是示出根據(jù)示例性實(shí)施方式的使用全息圖的用戶界面的構(gòu)造的框圖。圖9是示出根據(jù)示例性實(shí)施方式的使用全息圖來識(shí)別用戶界面中的輸入的方法 的流程圖。圖10示出根據(jù)示例性實(shí)施方式的使用全息圖來識(shí)別用戶界面中的輸入的方法。
具體實(shí)施例方式以下參考附圖更全面地描述本發(fā)明，在附圖中示出了示例性實(shí)施方式。然而，可以 以各種不同的形式來實(shí)施本公開，而不應(yīng)該將其理解為限于此處闡釋的示例性實(shí)施方式。 相反，提供這些示例性實(shí)施方式使得本公開詳盡，并且向本領(lǐng)域技術(shù)人員全面?zhèn)鬟_(dá)本公開 的范圍。在描述中，為了避免不必要地使所示出的實(shí)施方式模糊不清，將省去公知的特征和 技術(shù)的細(xì)節(jié)。本文所使用的術(shù)語僅為了描述具體實(shí)施方式
，而不是為了限制本公開。除非另行 明確地說明，否則如本文中所使用的，單數(shù)形式的“一”、“該”及“所述”旨在同樣包括復(fù)數(shù) 形式。此外，使用術(shù)語“一”等不表示對(duì)數(shù)量的限制，而是表示至少一個(gè)所引用的項(xiàng)目的存 在。使用術(shù)語“第一”、“第二”等不表示任何特定的順序，而是將它們包括以標(biāo)識(shí)各個(gè)要素。 此外，使用術(shù)語“第一”、“第二”等不表示任何順序或重要性，而是使用術(shù)語“第一”、“第二” 以將要素彼此區(qū)分。進(jìn)一步可以理解，當(dāng)用在本說明書中時(shí)，術(shù)語“包括”或“包含”指的是 存在所述的特征、區(qū)域、整體、步驟、操作、要素和/或組件，但不排除存在或添加一個(gè)或更 多個(gè)其它的特征、區(qū)域、整體、步驟、操作、要素、組件和/或其組合。除非另行定義，否則這里所用的所有術(shù)語(包括科技術(shù)語)具有與本領(lǐng)域的普通 技術(shù)人員所通常理解的相同含義。進(jìn)一步可以理解的是，諸如那些在通常使用的辭典中定 義的術(shù)語應(yīng)當(dāng)被理解為具有與其在相關(guān)技術(shù)和本公開的上下文環(huán)境中的含義相一致的含 義，并且，除非在此明確地定義，否則不應(yīng)當(dāng)以理想化或過于形式的方式來理解。在附圖中，相同的標(biāo)號(hào)表示相同的元件。為清楚起見，可能會(huì)夸大地表示附圖的形 狀、尺寸和區(qū)域等。以下，將參考附圖詳細(xì)地描述根據(jù)示例性實(shí)施方式的使用全息圖的用戶界面以及 識(shí)別用戶界面的輸入的方法。圖1是示出根據(jù)示例性實(shí)施方式的使用全息圖的用戶界面的框圖。如圖1所示，根 據(jù)示例性實(shí)施方式的使用全息圖的觸摸式用戶界面100包括存儲(chǔ)單元110、全息圖輸出單 元120、真實(shí)對(duì)象感應(yīng)單元130、觸覺提供單元140、接觸識(shí)別單元150和控制單元160。盡 管此處被描述為觸摸式用戶界面100，但是，就各方面而言，用戶界面100并非必須是觸摸 式的。
存儲(chǔ)單元110存儲(chǔ)關(guān)于各個(gè)虛擬對(duì)象的形狀、功能、初始位置和初始運(yùn)動(dòng)模式的 信息。關(guān)于初始位置的信息包括三維位置坐標(biāo)等。關(guān)于初始運(yùn)動(dòng)模式的信息包括三維位置 坐標(biāo)、向量值(即，運(yùn)動(dòng)距離、方向和速度)等。全息圖輸出單元120在控制單元160的控制下在空間中的任意區(qū)域中投射全息圖 顯示區(qū)，并在所投射的全息圖顯示區(qū)中顯示虛擬對(duì)象。投射了全息圖顯示區(qū)的空間可以與 觸摸式用戶界面100相鄰和/或在其外部。真實(shí)對(duì)象感應(yīng)單元130感應(yīng)全息圖顯示區(qū)中存在的真實(shí)對(duì)象，并生生關(guān)于真實(shí)對(duì) 象10(圖3所示)的位置和運(yùn)動(dòng)模式的信息。真實(shí)對(duì)象感應(yīng)單元130獲取全息圖顯示區(qū)中 存在的真實(shí)對(duì)象10的三維位置坐標(biāo)，并利用所獲取的三維位置坐標(biāo)生成關(guān)于真實(shí)對(duì)象10 的位置的信息。然后，真實(shí)對(duì)象感應(yīng)單元130利用真實(shí)對(duì)象10的三維位置坐標(biāo)的變化來計(jì) 算基于真實(shí)對(duì)象10的位置變化的向量值，并利用所計(jì)算出的向量值生成關(guān)于真實(shí)對(duì)象10 的運(yùn)動(dòng)模式的信息。真實(shí)對(duì)象10包括用戶手指、具有無線信號(hào)發(fā)送功能的小尺寸設(shè)備等。 可以以可附接到用戶手指的形狀來形成所述小尺寸設(shè)備。真實(shí)對(duì)象感應(yīng)單元130利用電容性觸摸屏方法、紅外(IR)觸摸屏方法、電磁共振 (EMR electromagnetic resonance)數(shù)字轉(zhuǎn)換器方法和圖像識(shí)別方法等中的一種方法來獲 取全息圖顯示區(qū)中存在的真實(shí)對(duì)象10的三維坐標(biāo)。真實(shí)對(duì)象感應(yīng)單元130接收從真實(shí)對(duì)象10發(fā)送的無線信號(hào)，并利用所接收的無線 信號(hào)的接收強(qiáng)度來確定與真實(shí)對(duì)象10的距離。然后，真實(shí)對(duì)象感應(yīng)單元130利用所確定的 與真實(shí)對(duì)象10的距離以及無線信號(hào)的接收方向來確定真實(shí)對(duì)象10的三維位置坐標(biāo)。真實(shí) 對(duì)象感應(yīng)單元130具有通信單元(未示出)來執(zhí)行與真實(shí)對(duì)象10的無線通信。觸覺提供單元140通過在控制單元160的控制下輻射聲波來向全息圖顯示區(qū)提供 聲輻射壓。結(jié)果，全息圖顯示區(qū)中存在的真實(shí)對(duì)象10受到由觸覺提供單元140提供的聲輻 射壓的影響。接觸識(shí)別單元150利用由真實(shí)對(duì)象感應(yīng)單元130生成的關(guān)于真實(shí)對(duì)象10的位置 和運(yùn)動(dòng)模式的信息以及存儲(chǔ)單元110中存儲(chǔ)的信息，來實(shí)時(shí)地識(shí)別由全息圖輸出單元120 投射的全息圖顯示區(qū)中的各個(gè)真實(shí)對(duì)象10和虛擬對(duì)象的位置和運(yùn)動(dòng)模式。因此，接觸識(shí)別 單元150確定在全息圖顯示區(qū)中是否發(fā)生虛擬對(duì)象和真實(shí)對(duì)象10之間的接觸。如果接觸 識(shí)別單元150確定了在全息圖顯示區(qū)中發(fā)生虛擬對(duì)象和真實(shí)對(duì)象10之間的接觸，則接觸識(shí) 別單元150檢測虛擬對(duì)象與真實(shí)對(duì)象10相接觸的接觸部分。如果通過實(shí)時(shí)地識(shí)別全息圖 顯示區(qū)中的各個(gè)真實(shí)對(duì)象10和虛擬對(duì)象的位置和運(yùn)動(dòng)模式，在全息圖顯示區(qū)中出現(xiàn)了相 互交疊的各個(gè)虛擬對(duì)象和真實(shí)對(duì)象10的三維位置坐標(biāo)的一部分，則接觸識(shí)別單元150識(shí)別 出在虛擬對(duì)象和真實(shí)對(duì)象10之間發(fā)生了接觸。接觸識(shí)別單元150還將與在全息圖顯示區(qū) 中出現(xiàn)的相互交疊的各個(gè)虛擬對(duì)象和真實(shí)對(duì)象10的三維位置坐標(biāo)的一部分相對(duì)應(yīng)的三維 位置坐標(biāo)識(shí)別為虛擬對(duì)象與真實(shí)對(duì)象10接觸的接觸部分的三維位置坐標(biāo)。同時(shí)，控制單元160控制全息圖輸出單元120以投射全息圖顯示區(qū)，并控制將要顯 示在所投射的全息圖顯示區(qū)中的虛擬對(duì)象。控制單元160利用存儲(chǔ)單元110中存儲(chǔ)的信息 來控制虛擬對(duì)象以提供將分別在它們的初始位置處顯示或者將分別以它們的初始模式運(yùn) 動(dòng)的各種功能。如果接觸識(shí)別單元150識(shí)別出在全息圖顯示區(qū)中發(fā)生了虛擬對(duì)象和真實(shí)對(duì)象10之間的接觸，則控制單元160確定虛擬對(duì)象和真實(shí)對(duì)象10之間的接觸是否是用于虛擬對(duì)象 選擇的輸入。結(jié)果，如果控制單元160確定了虛擬對(duì)象和真實(shí)對(duì)象10之間的接觸是用于選 擇虛擬對(duì)象的輸入，則控制單元160通過搜索存儲(chǔ)單元110中存儲(chǔ)的信息來檢測與真實(shí)對(duì) 象10接觸的虛擬對(duì)象的功能，并識(shí)別出用于執(zhí)行所檢測到的功能的指令被輸入。如果接觸識(shí)別單元150識(shí)別出在全息圖顯示區(qū)中發(fā)生了虛擬對(duì)象和真實(shí)對(duì)象10 之間的接觸，則控制單元160確定虛擬對(duì)象和真實(shí)對(duì)象10之間的接觸是虛擬對(duì)象的選擇。 結(jié)果，如果控制單元160確定了虛擬對(duì)象和真實(shí)對(duì)象10之間的接觸是用于選擇虛擬對(duì)象的 輸入或者用于取消虛擬對(duì)象的輸入，則控制單元160控制全息圖輸出單元120，由此改變與 真實(shí)對(duì)象10接觸的虛擬對(duì)象的顏色或形狀。因此，用戶可以可視地識(shí)別出是否選擇了虛擬 對(duì)象?？刂茊卧?60控制觸覺提供單元140以向全息圖顯示區(qū)提供聲輻射壓。結(jié)果，當(dāng)真 實(shí)對(duì)象10對(duì)應(yīng)于用戶身體的一部分時(shí)，用戶可以經(jīng)由觸覺來識(shí)別是否選擇了虛擬對(duì)象。當(dāng)真實(shí)對(duì)象10與虛擬對(duì)象接觸的時(shí)間比基準(zhǔn)時(shí)間更長時(shí)或者當(dāng)真實(shí)對(duì)象10同時(shí) 與虛擬對(duì)象的部分處存在的多個(gè)標(biāo)記相接觸時(shí)，控制單元160可以確定虛擬對(duì)象和真實(shí)對(duì) 象10之間的接觸是用于選擇虛擬對(duì)象的輸入。可預(yù)先確定或者選擇該基準(zhǔn)時(shí)間。如果確定了虛擬對(duì)象和真實(shí)對(duì)象10之間的接觸是用于選擇虛擬對(duì)象的輸入，則 控制單元160利用由真實(shí)對(duì)象感應(yīng)單元130生成的關(guān)于真實(shí)對(duì)象10的運(yùn)動(dòng)模式的信息來 實(shí)時(shí)地跟蹤真實(shí)對(duì)象10在全息圖顯示區(qū)中的運(yùn)動(dòng)。控制單元160通過確定與虛擬對(duì)象接 觸的真實(shí)對(duì)象10是否處于全息圖顯示區(qū)之外，即，是否處于由真實(shí)對(duì)象感應(yīng)單元130感應(yīng) 的范圍之外。如果控制單元160確定了真實(shí)對(duì)象10處于所述范圍之外或者退出所述范圍， 或者真實(shí)對(duì)象10與真實(shí)對(duì)象10所同時(shí)接觸的多個(gè)標(biāo)記中的一個(gè)脫離接觸，則控制單元160 確定了取消用于選擇虛擬對(duì)象的輸入，并控制全息圖輸出單元120改變與真實(shí)對(duì)象10接觸 的虛擬對(duì)象的顏色或形狀?？刂茊卧?60還控制觸覺提供單元140以向全息圖顯示區(qū)提供 聲輻射壓。如果確定了虛擬對(duì)象和真實(shí)對(duì)象10之間的接觸是用于選擇虛擬對(duì)象的輸入，則 控制單元160利用由真實(shí)對(duì)象感應(yīng)單元130生成的關(guān)于真實(shí)對(duì)象10的運(yùn)動(dòng)模式的信息來 實(shí)時(shí)地跟蹤真實(shí)對(duì)象10在全息圖顯示區(qū)中的運(yùn)動(dòng)?？刂茊卧?60還控制全息圖輸出單元 120，使得與真實(shí)對(duì)象10接觸的虛擬對(duì)象能夠與真實(shí)對(duì)象10的運(yùn)動(dòng)相對(duì)應(yīng)地運(yùn)動(dòng)?；谒?述虛擬對(duì)象的運(yùn)動(dòng)，控制單元160識(shí)別出由用戶輸入了用于執(zhí)行指定功能的指令或者由所 述用戶輸入了用于取消所述指定功能的執(zhí)行的指令。例如，控制單元160控制全息圖輸出單元120，以基于與虛擬對(duì)象接觸的真實(shí)對(duì)象 10的旋轉(zhuǎn)運(yùn)動(dòng)來旋轉(zhuǎn)虛擬對(duì)象，或者基于與虛擬對(duì)象接觸的真實(shí)對(duì)象10的運(yùn)動(dòng)來將虛擬 對(duì)象拖動(dòng)到真實(shí)對(duì)象10的運(yùn)動(dòng)位置?；谔摂M對(duì)象的旋轉(zhuǎn)或拖動(dòng)位置，控制單元160識(shí)別 出由用戶輸入了用于執(zhí)行指定功能的指令，或者由所述用戶輸入了用于取消所述指定功能 的執(zhí)行的指令。例如，如果虛擬對(duì)象在任意方向以任意角度旋轉(zhuǎn)；如果虛擬對(duì)象被拖動(dòng)到諸 如圖標(biāo)的任意虛擬對(duì)象所處的位置，以提供在全息圖顯示區(qū)中顯示的執(zhí)行或取消功能；或 者如果用于提供執(zhí)行或取消功能的諸如圖標(biāo)的任意虛擬對(duì)象被拖動(dòng)到在全息圖顯示區(qū)中 顯示將要執(zhí)行或取消的虛擬對(duì)象的位置，則控制單元160識(shí)別出由用戶輸入了用于執(zhí)行指 定功能的指令或者由所述用戶輸入了用于取消所述指定功能的指令。如果利用由真實(shí)對(duì)象感應(yīng)單元120生成的關(guān)于真實(shí)對(duì)象10的運(yùn)動(dòng)模式的信息來將真實(shí)對(duì)象10的運(yùn)動(dòng)模式與指定運(yùn)動(dòng)模式進(jìn)行匹配，則控制單元160識(shí)別出由用戶輸入了 用于執(zhí)行指定功能的指令或者由所述用戶輸入了用于取消所述指定功能的指令。如果控制單元160識(shí)別出由用戶輸入了用于執(zhí)行指定功能的指令或者由所述用 戶輸入了用于取消所述指定功能的指令，則控制單元160控制全息圖輸出單元120改變?nèi)?息圖顯示區(qū)的顏色或形狀或者全息圖顯示區(qū)中所顯示的虛擬對(duì)象的顏色或形狀。控制單元 160控制觸覺提供單元140向全息圖顯示區(qū)提供聲輻射壓。以下，將參照圖2描述根據(jù)示例性實(shí)施方式的使用全息圖來識(shí)別用戶界面中的輸 入的方法。圖2是示出根據(jù)示例性實(shí)施方式的使用全息圖來識(shí)別用戶界面中的輸入的方法 的流程圖。首先，使用全息圖的用戶界面100在空間中投射全息圖顯示區(qū)，并在所投射的全 息圖顯示區(qū)中顯示虛擬對(duì)象(S200)。如果真實(shí)對(duì)象10和操作S200中顯示的虛擬對(duì)象中的一個(gè)之間發(fā)生了接觸 (S210)，則控制單元160確定虛擬對(duì)象和真實(shí)對(duì)象10之間的接觸是否對(duì)應(yīng)于用于選擇虛擬 對(duì)象的輸入(S220)。當(dāng)在操作S220中確定了虛擬對(duì)象和真實(shí)對(duì)象10之間的接觸對(duì)應(yīng)于用于選擇虛擬 對(duì)象的輸入時(shí)，控制單元160控制全息圖輸出單元120改變與真實(shí)對(duì)象10接觸的虛擬對(duì)象 的顏色或形狀。然后，控制單元160控制觸覺提供單元140向全息圖顯示區(qū)提供聲輻射壓。在操作S220中，如果真實(shí)對(duì)象10與虛擬對(duì)象接觸的時(shí)間比基準(zhǔn)時(shí)間更長，或者如 果真實(shí)對(duì)象10同時(shí)與虛擬對(duì)象的部分處存在的多個(gè)標(biāo)記相接觸，則控制單元160確定了虛 擬對(duì)象和真實(shí)對(duì)象10之間的接觸對(duì)應(yīng)于用于選擇虛擬對(duì)象的輸入。例如，如果用戶手指 (即真實(shí)對(duì)象10)與具有執(zhí)行功能的圖標(biāo)(即虛擬對(duì)象)接觸的時(shí)間比基準(zhǔn)時(shí)間更長，如 圖3所示；如果用戶手指(即真實(shí)對(duì)象10)分別與多個(gè)字符(即虛擬對(duì)象)接觸的時(shí)間比 基準(zhǔn)時(shí)間更長，如圖4所示；或者如果用戶手指(即真實(shí)對(duì)象10)與圖標(biāo)(即虛擬對(duì)象)的 部分處存在的兩個(gè)標(biāo)記接觸，如圖5和圖6所示，則控制單元160確定出虛擬對(duì)象和真實(shí)對(duì) 象10之間的接觸是用于選擇虛擬對(duì)象的輸入。如果在操作S220中確定了虛擬對(duì)象和真實(shí)對(duì)象10之間的接觸是用于選擇所述虛 擬對(duì)象的輸入，則控制單元160實(shí)時(shí)地跟蹤真實(shí)對(duì)象10在全息圖顯示區(qū)中的運(yùn)動(dòng)，并控制 全息圖輸出單元120，使得與真實(shí)對(duì)象10接觸的虛擬對(duì)象能夠與真實(shí)對(duì)象10的運(yùn)動(dòng)相對(duì)應(yīng) 地運(yùn)動(dòng)(S230)?；谒鎏摂M對(duì)象的運(yùn)動(dòng)，控制單元160識(shí)別出由用戶輸入了用于執(zhí)行指 定功能的指令或者由所述用戶輸入了用于取消所述指定功能的執(zhí)行的指令(SMO)。在操作S240中，如果圖標(biāo)(即虛擬對(duì)象)在操作S230中在任意方向以任意角度旋 轉(zhuǎn)，如圖6所示；如果虛擬對(duì)象被拖動(dòng)到諸如圖標(biāo)的任意虛擬對(duì)象所處的位置，以提供在全 息圖顯示區(qū)中顯示的執(zhí)行或取消功能，如圖5所示；如果用于提供執(zhí)行或取消功能的諸如 圖標(biāo)的任意虛擬對(duì)象被拖動(dòng)到在全息圖顯示區(qū)中顯示將要執(zhí)行或取消的虛擬對(duì)象的位置， 如圖3所示；或者，如果真實(shí)對(duì)象10的運(yùn)動(dòng)模式與任意運(yùn)動(dòng)模式相匹配，即，與如圖7所示 的三維坐標(biāo)軸中任意一個(gè)相匹配，則控制單元160識(shí)別出由用戶輸入了用于執(zhí)行任意功能 (諸如顯示關(guān)閉)的指令或者由所述用戶輸入了用于取消指定功能的執(zhí)行的指令。如果在操作S240中識(shí)別出由用戶輸入了用于執(zhí)行指定功能的指令或者由所述用 戶輸入了用于取消指定功能的執(zhí)行的指令，則控制單元160控制全息圖輸出單元120改變?nèi)D顯示區(qū)的顏色或形狀或者在全息圖顯示區(qū)中顯示的虛擬對(duì)象的顏色或形狀。然后， 控制單元160控制觸覺提供單元140向全息圖顯示區(qū)提供聲輻射壓。當(dāng)在操作S220中確定了虛擬對(duì)象和真實(shí)對(duì)象10之間的接觸是用于選擇虛擬對(duì)象 的輸入時(shí)，控制單元160跟蹤真實(shí)對(duì)象10在全息圖顯示區(qū)中的運(yùn)動(dòng)，并確定與虛擬對(duì)象接 觸的真實(shí)對(duì)象10是否處于全息圖顯示區(qū)(即，用于跟蹤真實(shí)對(duì)象10的運(yùn)動(dòng)的范圍)之外 或者退出全息圖顯示區(qū)。如果確定了真實(shí)對(duì)象10處于所述范圍之外或者退出所述范圍，或 者真實(shí)對(duì)象10與真實(shí)對(duì)象10所同時(shí)接觸的多個(gè)標(biāo)記中的一個(gè)脫離接觸，則控制單元160 確定了取消用于選擇虛擬對(duì)象的輸入，并控制全息圖輸出單元120改變在全息圖顯示區(qū)中 顯示的虛擬對(duì)象的顏色或形狀。然后，控制單元160控制觸覺提供單元140向全息圖顯示 區(qū)提供聲輻射壓。圖3示出根據(jù)示例性實(shí)施方式的使用全息圖來識(shí)別用戶界面中的輸入的方法。如 圖3所示，用戶利用真實(shí)對(duì)象10 (例如，手指)來選擇與執(zhí)行功能相關(guān)聯(lián)的虛擬對(duì)象12，并 將虛擬對(duì)象拖動(dòng)至代表將要執(zhí)行的功能的另一個(gè)虛擬對(duì)象14。在這樣的情況下，控制單元 160執(zhí)行與虛擬對(duì)象14相關(guān)聯(lián)的功能。圖4示出根據(jù)示例性實(shí)施方式的使用全息圖來識(shí)別用戶界面中的輸入的方法。如 圖4所示，用戶利用多個(gè)真實(shí)對(duì)象10 (例如，附接到用戶手指上的小尺寸設(shè)備)來選擇多個(gè) 虛擬對(duì)象C、c和A，響應(yīng)于該選擇操作，控制單元160執(zhí)行功能。圖5示出根據(jù)示例性實(shí)施方式的使用全息圖來識(shí)別用戶界面中的輸入的方法。如 圖5所示，用戶利用多個(gè)真實(shí)對(duì)象10 (例如，手指)來接觸虛擬對(duì)象16的多個(gè)標(biāo)記以選擇 虛擬對(duì)象16，并可將虛擬對(duì)象16拖動(dòng)至另一個(gè)虛擬對(duì)象，例如，拖動(dòng)至代表執(zhí)行功能的虛 擬對(duì)象18。在這種情況下，控制單元160執(zhí)行與虛擬對(duì)象16相關(guān)聯(lián)的功能。圖6示出根據(jù)示例性實(shí)施方式的使用全息圖來識(shí)別用戶界面中的輸入的方法。如 圖6所示，用戶利用多個(gè)真實(shí)對(duì)象10 (例如，手指)來接觸虛擬對(duì)象20的多個(gè)標(biāo)記以選擇 虛擬對(duì)象20，并操作該虛擬對(duì)象20。例如，用戶可以旋轉(zhuǎn)虛擬對(duì)象20。圖7示出根據(jù)示例性實(shí)施方式的使用全息圖來識(shí)別用戶界面中的輸入的方法。如 圖7所示，用戶利用一個(gè)或多個(gè)真實(shí)對(duì)象10 (例如，手指)來執(zhí)行穿過所顯示的或所投射的 虛擬對(duì)象22的揮擊(swipe)，響應(yīng)于該揮擊，控制單元160可以執(zhí)行功能。例如，在圖7中， 控制單元160響應(yīng)于揮擊來執(zhí)行顯示關(guān)閉功能。圖8是示出根據(jù)示例性實(shí)施方式的使用全息圖的用戶界面的構(gòu)造的框圖。圖10 示出根據(jù)示例性實(shí)施方式的使用全息圖來識(shí)別用戶界面中的輸入的方法。如圖8所示，使 用全息圖的觸摸式用戶界面200包括存儲(chǔ)單元110、全息圖輸出單元120、真實(shí)對(duì)象感應(yīng)單 元130、觸覺提供單元140、接觸識(shí)別單元150、控制單元160和通信單元170。以下參照圖 8和圖10來描述觸摸式用戶界面200。盡管此處被描述為觸摸式用戶界面200，但是，就各 方面而言，用戶界面200并非必須是觸摸式的。存儲(chǔ)單元110存儲(chǔ)關(guān)于各個(gè)虛擬對(duì)象的形狀、功能、初始位置和初始運(yùn)動(dòng)模式的 信息。關(guān)于初始位置的信息包括三維位置坐標(biāo)等。關(guān)于初始運(yùn)動(dòng)模式的信息包括三維位置 坐標(biāo)、向量值(即，運(yùn)動(dòng)距離、方向和速度)等。全息圖輸出單元120在控制單元160的控制下在空間中的任意區(qū)域中投射全息圖 顯示區(qū)，并在所投射的全息圖顯示區(qū)中顯示虛擬對(duì)象。
如果在通信單元170中接收來自全息圖顯示區(qū)中存在的真實(shí)對(duì)象IOa和/或IOb 的無線信號(hào)，則真實(shí)對(duì)象感應(yīng)單元130提取包含在所接收的無線信號(hào)中的真實(shí)對(duì)象IOa和 /或IOb的功能信息，并利用所接收的無線信號(hào)來生成關(guān)于全息圖顯示區(qū)中的真實(shí)對(duì)象IOa 和/或IOb的位置和運(yùn)動(dòng)模式的信息。然后，真實(shí)對(duì)象感應(yīng)單元130向控制單元160提供 所生成的信息。真實(shí)對(duì)象IOa和IOb包括不同的功能。例如，真實(shí)對(duì)象IOa包括或代表輸入選擇 的功能、輸入執(zhí)行指令的功能等，而真實(shí)對(duì)象IOb包括或代表輸入取消選擇的功能、輸入取 消指令的功能等。真實(shí)對(duì)象IOa和IOb可以是具有發(fā)送無線信號(hào)的功能的小尺寸設(shè)備，其 中，所述無線信號(hào)包含關(guān)于所包含的功能的信息?？梢砸钥筛浇拥接脩羰种傅男螤顏硇纬?所述小尺寸設(shè)備。通信單元170與真實(shí)對(duì)象IOa和/或IOb進(jìn)行無線通信。通信單元170接收從真 實(shí)對(duì)象發(fā)送的無線信號(hào)，并向真實(shí)對(duì)象感應(yīng)單元130提供所接收的無線信號(hào)。例如，通信單 元170包括定向天線模塊(未示出)等。真實(shí)對(duì)象感應(yīng)單元130從通信單元170接收從全息圖顯示區(qū)中存在的真實(shí)對(duì)象 IOa和/或IOb發(fā)送的無線信號(hào)，并且，真實(shí)對(duì)象感應(yīng)單元130利用所接收的無線信號(hào)的接 收強(qiáng)度來確定與真實(shí)對(duì)象IOa和/或IOb的距離。然后，真實(shí)對(duì)象感應(yīng)單元130利用所確定 的與真實(shí)對(duì)象IOa和/或IOb的距離以及無線信號(hào)的接收方向來獲取在全息圖顯示區(qū)中發(fā) 送無線信號(hào)的真實(shí)對(duì)象IOa和/或IOb的三維位置坐標(biāo)，并且真實(shí)對(duì)象感應(yīng)單元130利用 所獲得的三維位置坐標(biāo)生成關(guān)于真實(shí)對(duì)象IOa和/或IOb的位置的信息。真實(shí)對(duì)象感應(yīng)單 元130利用基于真實(shí)對(duì)象10的位置變化的真實(shí)對(duì)象IOa和/或IOb的三維位置坐標(biāo)的變 化來計(jì)算基于真實(shí)對(duì)象IOa和/或IOb的位置變化的向量值，并且，真實(shí)對(duì)象感應(yīng)單元130 利用所計(jì)算出的向量值來生成關(guān)于真實(shí)對(duì)象IOa和/或IOb的運(yùn)動(dòng)模式的信息。觸覺提供單元140在控制單元160的控制下通過輻射聲波來向全息圖顯示區(qū)提供 聲輻射壓。結(jié)果，全息圖顯示區(qū)中存在的真實(shí)對(duì)象IOa和/或IOb受到由觸覺提供單元140 提供的聲輻射壓的影響?？刂茊卧?60控制全息圖輸出單元120投射全息圖顯示區(qū)，并控制虛擬對(duì)象以使 其顯示在所投射的全息圖顯示區(qū)中。控制單元160利用存儲(chǔ)單元110中存儲(chǔ)的信息來控制 虛擬對(duì)象，以提供將分別在它們的初始位置處顯示或者將分別以它們的初始模式運(yùn)動(dòng)的各 種功能。接觸識(shí)別單元150利用由真實(shí)對(duì)象感應(yīng)單元130生成的關(guān)于真實(shí)對(duì)象IOa和/或 IOb的位置和運(yùn)動(dòng)模式的信息以及存儲(chǔ)單元110中存儲(chǔ)的信息，來實(shí)時(shí)地識(shí)別由全息圖輸 出單元120投射的全息圖顯示區(qū)中的各個(gè)真實(shí)對(duì)象IOa和/或IOb以及虛擬對(duì)象的位置和 運(yùn)動(dòng)模式。因此，接觸識(shí)別單元150確定在全息圖顯示區(qū)中是否發(fā)生虛擬對(duì)象與真實(shí)對(duì)象 IOa和/IOb之間的接觸。如果與各個(gè)虛擬對(duì)象及真實(shí)對(duì)象IOa和/或IOb的形狀相對(duì)應(yīng)的 三維位置坐標(biāo)的一部分在全息圖顯示區(qū)中交疊，則接觸識(shí)別單元150識(shí)別出在虛擬對(duì)象和 真實(shí)對(duì)象IOa和/或IOb之間發(fā)生接觸。如果接觸識(shí)別單元150識(shí)別出在全息圖顯示區(qū)中發(fā)生了虛擬對(duì)象和真實(shí)對(duì)象IOa 和/或IOb之間的接觸，則控制單元160利用由真實(shí)對(duì)象感應(yīng)單元130提取的真實(shí)對(duì)象IOa 和/或IOb的功能信息來識(shí)別與虛擬對(duì)象接觸的真實(shí)對(duì)象IOa和/或IOb的功能，并基于所識(shí)別的真實(shí)對(duì)象IOa和/或IOb的功能來識(shí)別出虛擬對(duì)象和真實(shí)對(duì)象IOa和/或IOb之 間的接觸是用戶輸入。控制器160可確定出虛擬對(duì)象和真實(shí)對(duì)象IOa和/或IOb之間的接 觸是否對(duì)應(yīng)于用于選擇所述虛擬對(duì)象的輸入或者用于取消所述選擇的輸入，虛擬對(duì)象和真 實(shí)對(duì)象IOa和/或IOb之間的接觸是否對(duì)應(yīng)于用于執(zhí)行任意功能的指令或者用于取消所述 任意功能的執(zhí)行的指令等。如果確定了虛擬對(duì)象和真實(shí)對(duì)象IOa和/或IOb之間的接觸對(duì)應(yīng)于用于選擇所述 虛擬對(duì)象的輸入或者用于取消所述選擇的輸入，則控制單元160可以控制全息圖輸出單元 120改變與真實(shí)對(duì)象IOa和/或IOb接觸的虛擬對(duì)象的顏色或形狀。控制單元160還可以 控制觸覺提供單元140以向全息圖顯示區(qū)提供聲輻射壓。如果確定了虛擬對(duì)象和真實(shí)對(duì)象IOa和/或IOb之間的接觸是用于選擇虛擬對(duì)象 的輸入，則控制單元160利用由真實(shí)對(duì)象感應(yīng)單元130生成的關(guān)于真實(shí)對(duì)象IOa和/或IOb 的運(yùn)動(dòng)模式的信息來實(shí)時(shí)地跟蹤真實(shí)對(duì)象IOa和/或IOb在全息圖顯示區(qū)中的運(yùn)動(dòng)。然后， 控制單元160控制全息圖輸出單元120以使與真實(shí)對(duì)象IOa和/或IOb接觸的虛擬對(duì)象能 夠與真實(shí)對(duì)象IOa和/或IOb的運(yùn)動(dòng)相對(duì)應(yīng)地運(yùn)動(dòng)。如果識(shí)別出由用戶輸入了用于執(zhí)行任意功能的指令或者由用戶輸入了用于取消 所述任意功能的指令，則控制單元160控制全息圖輸出單元120改變?nèi)D顯示區(qū)的顏色 或形狀或者在全息圖顯示區(qū)中顯示的虛擬對(duì)象的顏色或形狀。控制單元160可以控制觸覺 提供單元140以向全息圖顯示區(qū)提供聲輻射壓。以下將參照圖9和圖10來描述根據(jù)示例性實(shí)施方式的使用全息圖來識(shí)別用戶界 面中的輸入的方法。圖9是示出根據(jù)示例性實(shí)施方式的使用全息圖來識(shí)別用戶界面中的輸 入的方法的流程圖。首先，使用全息圖的用戶界面200在空間中投射全息圖顯示區(qū)，并在所投射的全 息圖顯示區(qū)中顯示虛擬對(duì)象(S300)。如果確定了真實(shí)對(duì)象IOa和/或IOb與操作S300中顯示的虛擬對(duì)象中的一個(gè)之 間發(fā)生了接觸(S310)，則控制單元160識(shí)別與虛擬對(duì)象接觸的真實(shí)對(duì)象IOa和/或IOb的 功能(S320)，并基于所識(shí)別的真實(shí)對(duì)象IOa和/或IOb的功能來識(shí)別出虛擬對(duì)象與真實(shí)對(duì) 象IOa和/或IOb之間的接觸是用戶輸入(S330)。在操作S330中，控制單元160可以確定虛擬對(duì)象和真實(shí)對(duì)象IOa和/或IOb之間 的接觸是否對(duì)應(yīng)于用于選擇所述虛擬對(duì)象的輸入或者用于取消所述選擇的輸入，或者，控 制單元160可確定由用戶輸入了用于執(zhí)行指定功能的指令，或者由所述用戶輸入了用于取 消所述指定功能的執(zhí)行的指令。如果在操作S330中確定了虛擬對(duì)象和真實(shí)對(duì)象IOa和/或IOb之間的接觸對(duì)應(yīng) 于用于選擇所述虛擬對(duì)象的輸入，則控制單元160實(shí)時(shí)地跟蹤真實(shí)對(duì)象IOa和/或IOb的 運(yùn)動(dòng)，并控制全息圖輸出單元120以使與真實(shí)對(duì)象IOa和/或IOb接觸的虛擬對(duì)象能夠與 真實(shí)對(duì)象IOa和/或IOb的運(yùn)動(dòng)相對(duì)應(yīng)地運(yùn)動(dòng)。如果在操作S330中確定了虛擬對(duì)象和真實(shí)對(duì)象IOa和/或IOb之間的接觸對(duì)應(yīng) 于用于選擇所述虛擬對(duì)象的輸入或者用于取消所述選擇的輸入，則控制單元160控制全息 圖輸出單元120改變與真實(shí)對(duì)象IOa和/或IOb接觸的虛擬對(duì)象的顏色或形狀。例如，在 操作S330中，如果具有輸入選擇的功能的真實(shí)對(duì)象IOa與虛擬對(duì)象接觸，如圖10所示，則控制單元160確定了虛擬對(duì)象和真實(shí)對(duì)象IOa之間的接觸對(duì)應(yīng)于用于選擇所述虛擬對(duì)象的 輸入。如果具有輸入取消選擇的功能的真實(shí)對(duì)象IOb與虛擬對(duì)象接觸，則控制單元160確 定了虛擬對(duì)象和真實(shí)對(duì)象IOb之間的接觸對(duì)應(yīng)于用于取消所述虛擬對(duì)象的選擇的輸入。如 果在操作S330中識(shí)別出由用戶輸入了用于執(zhí)行指定功能的指令，或者由所述用戶輸入了 用于取消指定功能的執(zhí)行的指令，則控制單元160控制全息圖輸出單元120改變?nèi)D顯 示區(qū)的顏色或形狀或者與真實(shí)對(duì)象IOa和/或IOb接觸的虛擬對(duì)象的顏色或形狀。然后， 控制單元160控制觸覺提供單元140以向全息圖顯示區(qū)提供聲輻射壓。例如，在操作S330中，如果具有輸入執(zhí)行指令的功能的真實(shí)對(duì)象IOa與虛擬對(duì)象 接觸，如圖10所示，則控制單元160識(shí)別出由于虛擬對(duì)象與具有輸入所述執(zhí)行指令的功能 的真實(shí)對(duì)象IOa之間的接觸而輸入了用于執(zhí)行指定功能的指令。如果具有輸入用于取消所 述執(zhí)行的指令的功能的真實(shí)對(duì)象IOb與虛擬對(duì)象接觸，則控制單元160識(shí)別出由于虛擬對(duì) 象與具有輸入用于取消所述執(zhí)行的指令的功能的真實(shí)對(duì)象IOb之間的接觸而輸入了用于 取消指定功能的執(zhí)行的指令。由于多個(gè)真實(shí)對(duì)象IOa和/或IOb具有各種不同的功能，所 以用戶可以在不同的手指上放置具有不同功能的真實(shí)對(duì)象IOa和/或10b，以操作使用全息 圖的用戶界面。此處公開的使用全息圖的用戶界面不限于前述實(shí)施方式，但是可以在由此處公開 的技術(shù)精神允許的范圍內(nèi)進(jìn)行各種修改。根據(jù)此處公開的使用全息圖的用戶界面，利用全息圖在空間中顯示用于用戶輸入 的虛擬對(duì)象，并且通過所顯示的虛擬對(duì)象來識(shí)別用戶輸入。并且，根據(jù)此處公開的使用全息圖的用戶界面，由于用戶輸入被識(shí)別，所以可通過 視覺或觸覺效果將用戶輸入的識(shí)別反饋給用戶。對(duì)于本領(lǐng)域技術(shù)人員而言很明顯，在不脫離本發(fā)明的精神或范圍的情況下可在本 發(fā)明中做出各種修改和變型。因此，本發(fā)明旨在涵蓋落入所附權(quán)利要求及其等同物的范圍 內(nèi)的本發(fā)明的修改和變型。
權(quán)利要求
1.一種用戶界面，該用戶界面包括存儲(chǔ)單元，其存儲(chǔ)關(guān)于虛擬對(duì)象的形狀、功能、位置和運(yùn)動(dòng)摸式的信息；全息圖輸出單元，其投射出全息圖顯示區(qū)并且在所投射的全息圖顯示區(qū)中顯示所述虛 擬對(duì)象；真實(shí)對(duì)象感應(yīng)單元，其感應(yīng)所述全息圖顯示區(qū)中的真實(shí)對(duì)象并且生成關(guān)于所述真實(shí)對(duì) 象的位置和運(yùn)動(dòng)摸式的信息；接觸識(shí)別單元，其根據(jù)由所述真實(shí)對(duì)象感應(yīng)單元生成的關(guān)于所述真實(shí)對(duì)象的位置和運(yùn) 動(dòng)摸式的信息以及所述存儲(chǔ)單元中存儲(chǔ)的信息，來確定所述全息圖顯示區(qū)中的各個(gè)虛擬對(duì) 象和所述真實(shí)對(duì)象的位置和運(yùn)動(dòng)摸式，以識(shí)別所述虛擬對(duì)象和所述真實(shí)對(duì)象之間的接觸； 以及控制單元，其確定所述虛擬對(duì)象和所述真實(shí)對(duì)象之間的所識(shí)別的接觸是否對(duì)應(yīng)于用于 選擇所述虛擬對(duì)象的輸入。
2.根據(jù)權(quán)利要求1所述的用戶界面，其中，如果確定了所述虛擬對(duì)象和所述真實(shí)對(duì)象 之間的所述接觸對(duì)應(yīng)于用于選擇所述虛擬對(duì)象的輸入，則所述控制單元搜索所述存儲(chǔ)單元 中存儲(chǔ)的信息以確定與所述真實(shí)對(duì)象接觸的所述虛擬對(duì)象的功能，并確定出輸入了用于執(zhí) 行所確定的功能的指令。
3.根據(jù)權(quán)利要求1所述的用戶界面，其中，如果確定了所述虛擬對(duì)象和所述真實(shí)對(duì)象 之間的所述接觸對(duì)應(yīng)于用于選擇所述虛擬對(duì)象的輸入，則控制單元控制所述全息圖輸出單 元改變與所述真實(shí)對(duì)象接觸的所述虛擬對(duì)象的顏色或形狀。
4.根據(jù)權(quán)利要求1所述的用戶界面，其中，如果所述控制單元確定了所述虛擬對(duì)象和 所述真實(shí)對(duì)象之間的所述接觸對(duì)應(yīng)于用于取消所述選擇的輸入，則所述控制單元控制所述 全息圖輸出單元改變與所述真實(shí)對(duì)象接觸的所述虛擬對(duì)象的顏色或形狀。
5.根據(jù)權(quán)利要求1所述的用戶界面，其中，如果所述控制單元確定了所述虛擬對(duì)象和 所述真實(shí)對(duì)象之間的所述接觸對(duì)應(yīng)于用于選擇所述虛擬對(duì)象的輸入，則所述控制單元根據(jù) 由所述真實(shí)對(duì)象感應(yīng)單元生成的關(guān)于所述真實(shí)對(duì)象的運(yùn)動(dòng)模式的信息來跟蹤所述真實(shí)對(duì) 象在所述全息圖顯示區(qū)中的運(yùn)動(dòng)，并且所述控制單元控制所述全息圖輸出單元以使與所述 真實(shí)對(duì)象接觸的所述虛擬對(duì)象與所述真實(shí)對(duì)象的運(yùn)動(dòng)相對(duì)應(yīng)地運(yùn)動(dòng)。
6.根據(jù)權(quán)利要求1所述的用戶界面，其中，如果所述真實(shí)對(duì)象與所述虛擬對(duì)象接觸的 時(shí)間比基準(zhǔn)時(shí)間長，則所述控制單元確定出所述虛擬對(duì)象和所述真實(shí)對(duì)象之間的所述接觸 對(duì)應(yīng)于用于選擇所述虛擬對(duì)象的輸入。
7.根據(jù)權(quán)利要求1所述的用戶界面，其中，如果多個(gè)所述真實(shí)對(duì)象與所述虛擬對(duì)象的 多個(gè)標(biāo)記接觸，則所述控制單元確定出所述虛擬對(duì)象和多個(gè)所述真實(shí)對(duì)象之間的所述接觸 對(duì)應(yīng)于用于選擇所述虛擬對(duì)象的輸入。
8.根據(jù)權(quán)利要求1所述的用戶界面，其中，如果所述控制單元確定了所述虛擬對(duì)象和 所述真實(shí)對(duì)象之間的所述接觸對(duì)應(yīng)于用于選擇所述虛擬對(duì)象的輸入，則所述控制單元根據(jù) 由所述真實(shí)對(duì)象感應(yīng)單元生成的關(guān)于所述真實(shí)對(duì)象的運(yùn)動(dòng)模式的信息來跟蹤所述真實(shí)對(duì) 象在所述全息圖顯示區(qū)中的運(yùn)動(dòng)，并且，如果與所述虛擬對(duì)象接觸的所述真實(shí)對(duì)象處于由 所述真實(shí)對(duì)象感應(yīng)單元感應(yīng)的范圍之外，則所述控制單元確定出取消了用于選擇所述虛擬 對(duì)象的輸入。
9.根據(jù)權(quán)利要求1所述的用戶界面，其中，如果所述控制單元確定了所述虛擬對(duì)象和 所述真實(shí)對(duì)象之間的所述接觸對(duì)應(yīng)于用于選擇所述虛擬對(duì)象的輸入，則所述控制單元根據(jù) 由所述真實(shí)對(duì)象感應(yīng)單元生成的關(guān)于所述真實(shí)對(duì)象的運(yùn)動(dòng)模式的信息來跟蹤所述真實(shí)對(duì) 象在所述全息圖顯示區(qū)中的運(yùn)動(dòng)，并且，如果多個(gè)所述真實(shí)對(duì)象中的一個(gè)與所述多個(gè)真實(shí) 對(duì)象所接觸的所述多個(gè)標(biāo)記中的一個(gè)脫離接觸，則所述控制單元確定出取消了用于選擇所 述虛擬對(duì)象的輸入。
10.根據(jù)權(quán)利要求1所述的用戶界面，其中，所述控制單元對(duì)所述全息圖輸出單元進(jìn)行 控制，以響應(yīng)于與所述虛擬對(duì)象接觸的所述真實(shí)對(duì)象的旋轉(zhuǎn)運(yùn)動(dòng)來旋轉(zhuǎn)所述虛擬對(duì)象，或 者基于與所述虛擬對(duì)象接觸的所述真實(shí)對(duì)象的運(yùn)動(dòng)響應(yīng)于所述真實(shí)對(duì)象的運(yùn)動(dòng)位置來拖 動(dòng)所述虛擬對(duì)象，并且，所述控制單元確定出輸入了用于執(zhí)行指定功能的指令，或者輸入了 用于取消所述指定功能的執(zhí)行的指令。
11.根據(jù)權(quán)利要求1所述的用戶界面，其中，如果所述虛擬對(duì)象沿一方向以一角度旋 轉(zhuǎn)，如果所述虛擬對(duì)象被拖動(dòng)到用于提供執(zhí)行功能或取消功能的虛擬對(duì)象被顯示的位置， 如果用于提供所述執(zhí)行功能或所述取消功能的所述虛擬對(duì)象被拖動(dòng)到要被執(zhí)行或取消的 虛擬對(duì)象被顯示的位置，或者如果所述真實(shí)對(duì)象的所述運(yùn)動(dòng)模式對(duì)應(yīng)于指定的運(yùn)動(dòng)模式， 則所述控制單元識(shí)別出輸入了用于執(zhí)行指定功能的指令或者輸入了用于取消所述指定功 能的執(zhí)行的指令。
12.根據(jù)權(quán)利要求11所述的用戶界面，其中，如果確定出輸入了用于執(zhí)行所述指定功 能的指令或者輸入了用于取消所述指定功能的執(zhí)行的指令，則所述控制單元控制所述全息 圖輸出單元改變所述全息圖顯示區(qū)的顏色或形狀或者改變所述全息圖顯示區(qū)中顯示的所 述虛擬對(duì)象的顏色或形狀。
13.根據(jù)權(quán)利要求1所述的用戶界面，該用戶界面還包括觸覺提供單元，該觸覺提供單 元輻射聲波以向所述全息圖顯示區(qū)提供聲輻射壓。
14.根據(jù)權(quán)利要求1所述的用戶界面，其中，所述真實(shí)對(duì)象感應(yīng)單元確定所述真實(shí)對(duì)象 在所述全息圖顯示區(qū)中的三維位置坐標(biāo)，利用所確定的三維位置坐標(biāo)來生成關(guān)于所述真實(shí) 對(duì)象的位置的信息，根據(jù)所述真實(shí)對(duì)象的所述三維位置坐標(biāo)的變化來計(jì)算根據(jù)所述真實(shí)對(duì) 象的位置變化的向量值，并根據(jù)所計(jì)算出的向量值來生成關(guān)于所述真實(shí)對(duì)象的所述運(yùn)動(dòng)模 式的信息。
15.根據(jù)權(quán)利要求14所述的用戶界面，其中，所述真實(shí)對(duì)象感應(yīng)單元根據(jù)電容性觸摸 屏方法、紅外觸摸屏方法、電磁共振數(shù)字轉(zhuǎn)換器方法或者圖像識(shí)別方法中的一種方法來確 定所述真實(shí)對(duì)象在所述全息圖顯示區(qū)中的三維坐標(biāo)。
16.根據(jù)權(quán)利要求14所述的用戶界面，其中，所述真實(shí)對(duì)象發(fā)送無線信號(hào)。
17.根據(jù)權(quán)利要求16所述的用戶界面，其中，所述真實(shí)對(duì)象感應(yīng)單元包括與所述真實(shí) 對(duì)象通信的通信單元，并且其中，所述真實(shí)對(duì)象感應(yīng)單元通過所述通信單元接收從所述真實(shí)對(duì)象發(fā)送的所述無線 信號(hào)，根據(jù)所接收的無線信號(hào)的接收強(qiáng)度來確定與所述真實(shí)對(duì)象的距離，并根據(jù)所確定的 與所述真實(shí)對(duì)象的距離以及所接收的無線信號(hào)的接收方向來確定所述真實(shí)對(duì)象的三維坐 標(biāo)。
18.一種用戶界面，該用戶界面包括存儲(chǔ)單元，其存儲(chǔ)關(guān)于虛擬對(duì)象的形狀、功能、位置和運(yùn)動(dòng)摸式的信息；全息圖輸出單元，其投射出全息圖顯示區(qū)并且在所投射的全息圖顯示區(qū)中顯示虛擬對(duì)象；通信單元，其接收從發(fā)送無線信號(hào)的真實(shí)對(duì)象發(fā)送的所述無線信號(hào)，該無線信號(hào)包含 fn息；真實(shí)對(duì)象感應(yīng)單元，其從所述通信單元接收所述無線信號(hào)，提取所述無線信號(hào)中包含 的所述信息，并且根據(jù)所述無線信號(hào)生成關(guān)于所述全息圖顯示區(qū)中的所述真實(shí)對(duì)象的位置 和運(yùn)動(dòng)摸式的信息；接觸識(shí)別單元，其根據(jù)由所述真實(shí)對(duì)象感應(yīng)單元生成的關(guān)于所述真實(shí)對(duì)象的位置和運(yùn) 動(dòng)摸式的信息以及所述存儲(chǔ)單元中存儲(chǔ)的信息來確定所述全息圖顯示區(qū)中的各個(gè)虛擬對(duì) 象和所述真實(shí)對(duì)象的位置和運(yùn)動(dòng)摸式，以識(shí)別所述虛擬對(duì)象和所述真實(shí)對(duì)象之間的接觸； 以及控制單元，其根據(jù)由所述真實(shí)對(duì)象感應(yīng)單元提取的所述真實(shí)對(duì)象的信息來確定與所述 虛擬對(duì)象接觸的所述真實(shí)對(duì)象的功能。
19.根據(jù)權(quán)利要求18所述的用戶界面，其中，如果所述控制單元確定了所述虛擬對(duì)象 和所述真實(shí)對(duì)象之間的所述接觸對(duì)應(yīng)于用于選擇所述虛擬對(duì)象的輸入或者用于取消所述 選擇的輸入，則所述控制單元控制所述全息圖輸出單元改變與所述真實(shí)對(duì)象接觸的所述虛 擬對(duì)象的顏色或形狀。
20.根據(jù)權(quán)利要求18所述的用戶界面，其中，如果所述控制單元確定了所述虛擬對(duì)象 和所述真實(shí)對(duì)象之間的所述接觸對(duì)應(yīng)于用于選擇所述虛擬對(duì)象的輸入，則所述控制單元根 據(jù)由所述真實(shí)對(duì)象感應(yīng)單元生成的關(guān)于所述真實(shí)對(duì)象的運(yùn)動(dòng)模式的信息來跟蹤所述真實(shí) 對(duì)象在所述全息圖顯示區(qū)中的運(yùn)動(dòng)，并且所述控制單元控制所述全息圖輸出單元以使與所 述真實(shí)對(duì)象接觸的所述虛擬對(duì)象與所述真實(shí)對(duì)象的運(yùn)動(dòng)相對(duì)應(yīng)地運(yùn)動(dòng)。
21.根據(jù)權(quán)利要求18所述的用戶界面，其中，如果所述控制單元確定出通過所述虛擬 對(duì)象和所述真實(shí)對(duì)象之間的接觸而輸入了用于執(zhí)行指定功能的指令或者通過所述虛擬對(duì) 象和所述真實(shí)對(duì)象之間的接觸而輸入了用于取消所述指定功能的執(zhí)行的指令，則所述控制 單元控制所述全息圖輸出單元改變所述全息圖顯示區(qū)的顏色或形狀或者改變所述全息圖 顯示區(qū)中所顯示的所述虛擬對(duì)象的顏色或形狀。
22.根據(jù)權(quán)利要求18所述的用戶界面，該用戶界面還包括觸覺提供單元，該觸覺提供 單元輻射聲波以向所述全息圖顯示區(qū)提供聲輻射壓。
23.根據(jù)權(quán)利要求18所述的用戶界面，其中，所述真實(shí)對(duì)象感應(yīng)單元從所述通信單元 接收由所述真實(shí)對(duì)象發(fā)送的所述無線信號(hào)，所述真實(shí)對(duì)象感應(yīng)單元根據(jù)所接收的無線信號(hào) 的接收強(qiáng)度來確定與所述真實(shí)對(duì)象的距離，根據(jù)所確定的與所述真實(shí)對(duì)象的距離以及所述 無線信號(hào)的接收方向來確定所述真實(shí)對(duì)象的所述三維位置坐標(biāo)，根據(jù)所確定的三維位置坐 標(biāo)來生成關(guān)于所述真實(shí)對(duì)象的位置的信息，根據(jù)基于所述真實(shí)對(duì)象的位置變化的所述真實(shí) 對(duì)象的所述三維位置坐標(biāo)的變化來計(jì)算根據(jù)所述真實(shí)對(duì)象的位置變化的向量值，并且根據(jù) 所計(jì)算出的向量值來生成關(guān)于所述真實(shí)對(duì)象的所述運(yùn)動(dòng)模式的信息。
24.一種用戶界面，該用戶界面包括存儲(chǔ)單元，其存儲(chǔ)關(guān)于虛擬對(duì)象的信息；全息圖輸出單元，其在全息圖顯示區(qū)中投射出所述虛擬對(duì)象； 真實(shí)對(duì)象感應(yīng)單元，其感應(yīng)所述全息圖顯示區(qū)中的真實(shí)對(duì)象； 接觸識(shí)別單元，其根據(jù)關(guān)于所述虛擬對(duì)象的信息以及關(guān)于所感應(yīng)的真實(shí)對(duì)象的信息來 確定所述真實(shí)對(duì)象和所述虛擬對(duì)象之間的接觸；以及控制單元，其確定所識(shí)別的接觸是否對(duì)應(yīng)于用于選擇所述虛擬對(duì)象的輸入。
25.一種用于用戶界面的方法，該方法包括以下步驟 在全息圖顯示區(qū)中顯示虛擬對(duì)象；確定真實(shí)對(duì)象和所述虛擬對(duì)象之間是否發(fā)生接觸；確定所述真實(shí)對(duì)象和所述虛擬對(duì)象之間的所述接觸是否對(duì)應(yīng)于用于選擇所述虛擬對(duì) 象的輸入；根據(jù)所述真實(shí)對(duì)象的運(yùn)動(dòng)來使所選擇的虛擬對(duì)象運(yùn)動(dòng)；以及 根據(jù)所選擇的虛擬對(duì)象的運(yùn)動(dòng)來執(zhí)行與所選擇的虛擬對(duì)象相對(duì)應(yīng)的功能。
26.一種用于用戶界面的方法，該方法包括以下步驟 在全息圖顯示區(qū)中顯示虛擬對(duì)象；確定真實(shí)對(duì)象和所述虛擬對(duì)象之間是否發(fā)生接觸； 如果發(fā)生接觸，則確定所述真實(shí)對(duì)象的功能；以及 針對(duì)所述虛擬對(duì)象執(zhí)行所述真實(shí)對(duì)象的功能。
27.根據(jù)權(quán)利要求沈所述的方法，其中，確定所述真實(shí)對(duì)象的所述功能的步驟包括接 收從所述真實(shí)對(duì)象發(fā)送的信號(hào)。
全文摘要
本發(fā)明涉及使用全息圖的用戶界面和用于該用戶界面的方法。該使用全息圖的用戶界面包括存儲(chǔ)單元，其存儲(chǔ)關(guān)于虛擬對(duì)象的形狀、功能、位置和運(yùn)動(dòng)摸式的信息；全息圖輸出單元，其投射出全息圖顯示區(qū)并且在所投射的全息圖顯示區(qū)中顯示所述虛擬對(duì)象；真實(shí)對(duì)象感應(yīng)單元，其感應(yīng)所述全息圖顯示區(qū)中的真實(shí)對(duì)象并且生成關(guān)于所述真實(shí)對(duì)象的位置和運(yùn)動(dòng)摸式的信息；接觸識(shí)別單元，其確定各個(gè)虛擬對(duì)象和所述真實(shí)對(duì)象的位置和運(yùn)動(dòng)摸式，以識(shí)別所述虛擬對(duì)象和所述真實(shí)對(duì)象之間的接觸；以及控制單元，其確定所述虛擬對(duì)象和所述真實(shí)對(duì)象之間的所識(shí)別的接觸是否對(duì)應(yīng)于用于選擇所述虛擬對(duì)象的輸入。
文檔編號(hào)G06F3/048GK102141877SQ20101025518
公開日2011年8月3日 申請日期2010年8月13日 優(yōu)先權(quán)日2010年1月29日
發(fā)明者元奇燮, 安秀彬, 李瀚權(quán), 林亨衍, 林鉉瑾, 鄭燦成, 金應(yīng)奉, 金起正, 韓義錫 申請人:株式會(huì)社泛泰