本發(fā)明涉及一種移動終端,并且更加特別地,涉及一種具有全息輸出單元的移動終端及其控制方法。
2.
背景技術(shù):
根據(jù)它們的移動性,終端通??梢员环诸惓梢苿?便攜式終端或者固定終端。根據(jù)是否用戶能夠直接地攜帶終端,移動終端可以進(jìn)一步被分類成手持式終端或者車載終端。
移動終端已經(jīng)變成日益增加的更多功能。這樣的功能的示例包括數(shù)據(jù)和語音通信、經(jīng)由相機捕獲圖像和視頻、記錄音頻、經(jīng)由揚聲器系統(tǒng)播放音樂文件、以及在顯示器上顯示圖像和視頻。一些移動終端包括支持玩游戲的附加的功能,而其它的終端也被配置為多媒體播放器。最近,移動終端已經(jīng)被配置成接收允許諸如視頻和電視節(jié)目的內(nèi)容的觀看的廣播和多播信號。
對支持和增加移動終端的功能性正在進(jìn)行努力。這樣的努力包括軟件和硬件改進(jìn),以及在結(jié)構(gòu)組件中的變化和改進(jìn)。
作為這樣的結(jié)構(gòu)變化和改進(jìn)之一,具有全息輸出單元的移動終端、和在通過全息輸出單元輸出的全息對象和用戶之間的交互可以被考慮。
技術(shù)實現(xiàn)要素:
因此,詳細(xì)描述的一個方面是為了提供一種移動終端,該移動終端能夠提供與全息對象有關(guān)的用戶交互。
詳細(xì)描述的另一方面是為了提供一種能夠根據(jù)與全息對象相對應(yīng)的對象的特性提供真實的用戶交互的移動終端。
詳細(xì)描述的另一方面是為了提供一種用于根據(jù)與全息對象相對應(yīng)的對象的特性更加有效地感測用戶的接近的方法。
為了實現(xiàn)這些和其它的優(yōu)點并且根據(jù)本說明書的用途,如在此具體化和廣泛地描述的,提供一種移動終端,包括:全息輸出單元,該全息輸出單元被配置成將全息對象輸出到預(yù)設(shè)空間;圖像傳感器,該圖像傳感器被配置成感測位于全息對象的輸出空間處的人體;輸出單元,該輸出單元被配置成輸出反饋信號;以及控制器,該控制器被配置成基于在全息對象和人體之間的相對位置檢測人體對全息對象的接近,并且被配置成基于檢測的結(jié)果,控制輸出單元使得反饋信號被發(fā)送到已經(jīng)接近全息對象的人體。
在實施例中,輸出單元可以包括激光輸出模塊和聲波輸出模塊中的至少一個。并且反饋信號可以包括從激光輸出模塊輸出的激光,和從聲波輸出模塊輸出的聲波中的至少一個。
在實施例中,反饋信號可以是多個不同反饋信號中的一個。并且多個反饋信號可以在激光或者聲波的強度、振幅、頻率以及波形中的至少一個中相互不同。
在實施例中,當(dāng)在輸出單元的停用狀態(tài)下檢測到人體對全息對象的接近時,控制器可以將輸出單元的停用狀態(tài)轉(zhuǎn)換成激活狀態(tài)使得反饋信號被輸出。
在實施例中,全息對象的輸出空間可以包括全息對象位于的第一區(qū)域,和與第一區(qū)域相鄰的第二區(qū)域。當(dāng)人體位于第一區(qū)域和第二區(qū)域中的一個時,控制器可以控制輸出單元使得反饋信號被輸出。
在實施例中,根據(jù)是否人體位于第一區(qū)域或者第二區(qū)域上,控制器可以控制輸出單元以輸出不同的反饋信號。
在實施例中,通過將全息對象位于的第一區(qū)域和在預(yù)設(shè)空間中與第一區(qū)域相鄰的第二區(qū)域的坐標(biāo)信息與人體的坐標(biāo)信息進(jìn)行比較,控制器可以確定在全息對象和人體之間的相對位置。并且控制器可以基于確定的結(jié)果確定人體位于的第一和第二區(qū)域中的一個。
在實施例中,通過相對于全息對象和人體中的每個的特定類型的建??梢垣@取全息對象位于的第一區(qū)域和在預(yù)設(shè)空間中與第一區(qū)域相鄰的第二區(qū)域的坐標(biāo)信息,和人體的坐標(biāo)信息。
在實施例中,控制器可以從通過圖像傳感器獲取的圖像執(zhí)行相對于與人體相對應(yīng)的圖像對象的特定類型的建模。
在實施例中,通過基于在多個建模方法當(dāng)中的基于與全息對象相對應(yīng)的對象的特性確定的方法,可以執(zhí)行相對于全息對象的特定類型的建模。
在實施例中,控制器可以控制輸出單元使得根據(jù)與全息對象相對應(yīng)的對象的特性發(fā)送不同的反饋信號。對象的特性可以包括對象的類型、重量、大小、強度、形狀以及表面中的至少一個。
在實施例中,通過控制反饋信號的強度、振幅、頻率以及波形中的至少一個,控制器可以根據(jù)對象的特性輸出不同的反饋信號。
在實施例中,當(dāng)人體位于全息對象的外圍區(qū)域時,控制器可以輸出指示反饋信號是可輸出的通知信息。
在實施例中,通知信息可以包括視頻信息。并且控制器可以控制全息輸出單元以將通知信息輸出到全息對象的外圍區(qū)域當(dāng)中的區(qū)域,該區(qū)域?qū)?yīng)于人體的位置并且反饋信號是可發(fā)送的。
在實施例中,當(dāng)人體以第一速度接近全息對象時控制器可以輸出第一反饋信號。并且當(dāng)人體以不同于第一速度的第二速度接近全息對象時控制器可以輸出不同于第一反饋信號的第二反饋信號。
在實施例中,圖像傳感器可以被配置成感測接近全息對象的人體的手勢。并且控制器可以控制全息輸出單元使得響應(yīng)于感測到的人體的手勢而改變?nèi)ο蟮妮敵鑫恢煤托螤钪械闹辽僖粋€。
在實施例中,響應(yīng)于人體的手勢,控制器可以在預(yù)設(shè)輸出空間中移動全息對象。當(dāng)全息對象位于預(yù)設(shè)空間的邊界區(qū)域處時,控制器可以響應(yīng)于人體的手勢改變?nèi)ο蟮男螤睢?/p>
為了實現(xiàn)這些和其它的優(yōu)點并且根據(jù)本說明書的用途,如在此具體化和廣泛地描述的,也提供一種用于控制移動終端的方法,包括:將全息對象輸出到預(yù)設(shè)空間;感測位于全息對象的預(yù)設(shè)輸出空間處的人體;基于在全息對象和人體之間的相對位置,檢測人體對全息對象的接近;以及基于檢測的結(jié)果,控制觸覺模塊使得反饋信號被發(fā)送到接近全息對象的人體。
全息對象的輸出空間可以包括全息對象位于的第一區(qū)域,和與第一區(qū)域相鄰的第二區(qū)域。在控制觸覺模塊中,根據(jù)是否人體位于第一區(qū)域或者第二區(qū)域上,可以輸出不同的反饋信號。
反饋信號可以包括激光和聲波中的至少一個。在控制觸覺模塊中,可以輸出在強度、振幅、頻率以及波形中的至少一個中相互不同的多個反饋信號中的一個,基于與全息對象相對應(yīng)的對象的特性確定的一個。
為了實現(xiàn)這些和其它的優(yōu)點并且根據(jù)本說明書的用途,如在此具體化和廣泛地描述,也提供一種移動終端,包括:全息輸出模塊,該全息輸出模塊被配置成將全息對象輸出到移動終端外部的輸出空間;圖像傳感器,該圖像傳感器被配置成感測位于全息對象的輸出空間內(nèi)的人體的部分;反饋輸出單元,該反饋輸出單元被配置成輸出反饋信號;以及控制器,該控制器被配置成:確定在通過全息輸出單元輸出的全息對象和通過圖像傳感器感測到的人體的部分之間的相對位置;基于在全息對象和人體的部分之間的相對位置,檢測人體的部分接近全息對象,并且基于人體的部分接近全息對象的檢測,控制反饋輸出單元以朝著被檢測為接近全息對象的人體的部分發(fā)送反饋信號。
在實施例中,反饋輸出單元包括激光輸出模塊或者聲波輸出模塊中的至少一個,并且其中反饋信號包括從激光輸出模塊輸出的激光和從聲波輸出模塊輸出的聲波中的至少一個。
在實施例中,反饋信號是多個不同反饋信號中的一個,并且其中多個反饋信號在激光或者聲波的強度、振幅、頻率、或者波形中的至少一個中是相互不同的。
在實施例中,控制器被配置成:確定在反饋輸出單元的停用狀態(tài)下人體的部分接近全息對象的檢測出現(xiàn);并且將反饋輸出單元的停用狀態(tài)轉(zhuǎn)換成激活狀態(tài)以從反饋輸出單元輸出反饋信號。
在實施例中,其中全息對象的輸出空間包括全息對象位于的第一區(qū)域和與第一區(qū)域相鄰的第二區(qū)域,并且其中控制器被配置成:確定是否人體的部分位于第一區(qū)域或者第二區(qū)域中;并且根據(jù)是否人體的部分位于第一區(qū)域或者第二區(qū)域的確定來控制反饋輸出單元以輸出反饋信號。
在實施例中,控制器被配置成根據(jù)是否人體的部分位于第一區(qū)域或者第二區(qū)域,控制反饋輸出單元以分別輸出第一反饋信號或者第二反饋信號。
在實施例中,控制器被配置成:將人體的部分的坐標(biāo)信息與全息對象位于的第一區(qū)域的坐標(biāo)信息和與第一區(qū)域相鄰的第二區(qū)域的坐標(biāo)信息進(jìn)行比較;基于人體的部分的坐標(biāo)信息和全息對象位于的第一區(qū)域的坐標(biāo)信息和與第一區(qū)域相鄰的第二區(qū)域的坐標(biāo)信息的比較確定在全息對象和人體的部分之間的相對位置;并且基于在全息對象和人體的部分之間的相對位置的確定來確定人體的部分位于第一區(qū)域或者第二區(qū)域中的一個中。
在實施例中,其中控制器被配置成:確定全息對象的模型和人體的部分的模型,并且基于全息對象的模型和人體的部分的模型,確定全息對象位于的第一區(qū)域的坐標(biāo)信息、與第一區(qū)域相鄰的第二區(qū)域的坐標(biāo)信息、以及人體的部分的坐標(biāo)信息。
在實施例中,控制器被配置成,通過下述確定人體的部分的模型:確定通過圖像傳感器獲取的人體的部分的圖像;從通過圖像傳感器獲取的圖像中確定與人體的部分相對應(yīng)的圖像對象;并且基于與從通過圖像傳感器獲取的圖像確定的人體的部分相對應(yīng)的圖像對象確定人體的部分的模型。
在實施例中,控制器被配置成通過下述確定全息對象的模型:確定與全息對象相對應(yīng)的對象的特性;基于確定的與全息對象相對應(yīng)的對象的特性,從多個建模方法當(dāng)中選擇建模方法;并且基于執(zhí)行從多個建模方法當(dāng)中選擇的建模方法確定全息對象的模型。
在實施例中,控制器被配置成通過下述控制反饋輸出單元:確定與全息對象相對應(yīng)的對象的特性;以及根據(jù)確定的與全息對象相對應(yīng)的對象的特性控制反饋輸出單元以發(fā)送反饋信號,其中確定與全息對象相對應(yīng)的對象的特性包括,確定與全息對象相對應(yīng)的對象的類型、重量、大小、強度、形狀、或者表面中的至少一個。
在實施例中,控制器被配置成,通過控制反饋信號的強度、振幅、頻率或者波形中的至少一個,根據(jù)確定的與全息對象相對應(yīng)的對象的特性,控制反饋輸出單元以發(fā)送反饋信號。
在實施例中,控制器被配置成:確定人體的部分位于全息對象的預(yù)先確定的距離內(nèi)的外圍區(qū)域中;并且,基于人體的部分位于全息對象的外圍區(qū)域中的確定,輸出指示反饋信號能夠被輸出的通知信息。
在實施例中,通知信息包括視頻信息,并且其中控制器被配置成,通過下述輸出指示反饋信號能夠被輸出的通知信息:確定在全息對象的外圍區(qū)域內(nèi)的對應(yīng)于人體的部分的位置并且反饋信號能夠被發(fā)送的區(qū)域;并且控制全息輸出單元以將通知信息輸出到全息對象的外圍區(qū)域內(nèi)的對應(yīng)于人體的部分的位置并且反饋信號能夠被發(fā)送的所確定的區(qū)域。
在實施例中,控制器被配置成通過下述來控制反饋輸出單元以朝著人體的部分發(fā)送反饋信號:確定人體的部分接近全息對象的速度;基于人體的部分以第一速度接近全息對象的確定輸出第一反饋信號,并且基于人體的部分以不同于第一速度的第二速度接近全息對象的確定輸出不同于第一反饋信號的第二反饋信號。
在實施例中,圖像傳感器被配置成感測接近全息對象的人體的部分的手勢,并且其中控制器被配置成,響應(yīng)于感測到的人體的部分的手勢,控制全息輸出單元以改變?nèi)ο蟮妮敵鑫恢没蛘咝螤钪械闹辽僖粋€。
在實施例中,控制器被配置成,響應(yīng)于人體的手勢控制全息輸出單元以改變在輸出空間內(nèi)的全息對象的輸出位置,并且其中控制器進(jìn)一步被配置成:確定是否全息對象位于輸出空間的邊界區(qū)域處;并且基于全息對象位于輸出空間的邊界區(qū)域處的確定,控制全息輸出單元以響應(yīng)于人體的手勢改變?nèi)ο蟮男螤睢?/p>
為了實現(xiàn)這些和其它的優(yōu)點并且根據(jù)本說明書的用途,如在此具體化和廣泛地描述的,也提供一種用于控制移動終端的方法,包括:將全息對象輸出到移動終端外部的輸出空間;感測位于全息對象的輸出空間內(nèi)的人體的部分;確定在全息對象和人體的部分之間的相對位置;基于在全息對象和人體的部分之間的相對位置,檢測人體的部分接近全息對象;以及基于人體的部分接近全息對象的檢測,控制觸覺模塊使得朝著接近全息對象的人體的部分發(fā)送反饋信號。
在實施例中,全息對象的輸出空間包括全息對象位于的第一區(qū)域和與第一區(qū)域相鄰的第二區(qū)域,并且其中控制器被配置成:確定是否人體的部分位于第一區(qū)域或者第二區(qū)域中;以及根據(jù)人體位于第一區(qū)域或者第二區(qū)域中的確定控制觸覺模塊以輸出反饋信號。
在實施例中,反饋信號包括激光或者聲波中的至少一個,并且其中控制器被配置成:確定與全息對象相對應(yīng)的對象的特性;以及基于所確定的與全息對象相對應(yīng)的對象的特性控制觸覺模塊以輸出反饋信號的強度、振幅、頻率或者波形中的至少一個。
從下文中給出的詳細(xì)描述,本申請的適用性的更寬范圍將會變得更顯而易見。然而,應(yīng)理解的是,在指示本發(fā)明的優(yōu)選實施例時,僅通過舉例說明給出詳細(xì)描述和具體示例,因為對本領(lǐng)域的技術(shù)人員來說,在本發(fā)明的精神和范圍內(nèi)的各種變化和修改將會變得顯而易見。
附圖說明
附圖被包括以提供本發(fā)明的進(jìn)一步理解并且被合并且組成本說明書的一部分,附圖圖示示例性示例并且連同描述一起用作解釋本發(fā)明的原理。
在附圖中:
圖1A是根據(jù)本發(fā)明的移動終端的框圖;
圖1B和圖1C是從不同的方向看到的根據(jù)本發(fā)明的實施例的移動終端的概念視圖;
圖2A和圖2B是圖示通過全息輸出單元實現(xiàn)全息圖像的概念視圖;
圖3A和圖3B是圖示全息原理的概念視圖;
圖4A至圖4C是圖示透射型全息方法的概念視圖;
圖5A至圖5C是圖示反射型全息方法的概念視圖;
圖6是圖示根據(jù)本發(fā)明的用于控制移動終端,用于在全息對象和用戶之間的交互的方法的流程圖;
圖7是圖示根據(jù)本發(fā)明的在移動終端中在全息對象和用戶之間的交互的概念視圖;
圖8A至圖8E是圖示用于在根據(jù)本發(fā)明的移動終端中建模全息對象和用戶的身體的方法的概念視圖;
圖9A至圖9G是圖示在根據(jù)本發(fā)明的移動終端中在全息對象和用戶的身體之間的位置關(guān)系的概念視圖;
圖10A至圖10C是圖示根據(jù)本發(fā)明的反饋信號的概念視圖;
圖11是圖示用于在根據(jù)本發(fā)明的移動終端中通知能夠輸出反饋信號的區(qū)域的方法的概念視圖;以及
圖12A和圖12B是圖示輸出反饋信號的另一實施例的概念視圖。
具體實施方式
參考附圖,現(xiàn)在根據(jù)在此公開的示例性實施例詳細(xì)地給出描述。為了參考附圖簡要描述,相同的或者等效的組件可以設(shè)有相同或者相似的附圖標(biāo)記,并且其描述將不會被重復(fù)。通常,諸如“模塊”和“單元”的后綴可以被用于指代元件或者組件。這樣的后綴的使用在此僅旨在有助于說明書的描述,并且后綴本身旨在沒有給予任何特殊的意義或者功能。在本公開中,為了簡潔通常已經(jīng)省略了對于相關(guān)領(lǐng)域中的普通技術(shù)人員來說公知的內(nèi)容。附圖被用于幫助容易地理解各種技術(shù)特征并且應(yīng)理解附圖沒有限制在此提出的實施例。正因如此,除了在附圖中特別地陳述的之外,本公開應(yīng)被解釋為延伸到任何變更、等同物以及替代。
將會理解的是,盡管在此可以使用術(shù)語第一、第二等以描述各種元件,通過這些術(shù)語不應(yīng)限制這些元件。這些術(shù)語通常僅被用于區(qū)分一個元件與另一元件。
將會理解的是,當(dāng)元件被稱為“與”另一元件“相連接”時,元件能夠與其它元件相連接或者也可以存在中間元件。相反地,當(dāng)元件被稱為“直接地與”另一元件“相連接”時,不存在中間元件。
單數(shù)表示可以包括復(fù)數(shù)表示,除非從上下文其表示明確不同的意義。在此使用諸如“包括”或者“具有”的術(shù)語,并且應(yīng)理解,它們旨在指示在本說明書中公開的數(shù)個組件、功能或者步驟的存在,并且也理解,可以同樣地利用更多或者更少的組件、功能、或者步驟。
可以使用各種不同類型的終端實現(xiàn)在此提出的移動終端。這樣的終端的示例包括蜂窩電話、智能電話、用戶設(shè)備、膝上型計算機、數(shù)字廣播終端、個人數(shù)字助理(PDA)、便攜式多媒體播放器(PMP)、導(dǎo)航儀、便攜式計算機(PC)、板式PC、平板PC、超級本、可佩戴設(shè)備(例如,智能手表、智能眼鏡、頭戴式顯示器(HMD))等等。
僅通過非限制性示例,將會參考特定類型的移動終端進(jìn)行進(jìn)一步的描述。然而,這樣的教導(dǎo)同等地應(yīng)用于其它類型的終端,諸如在上面注明的那些類型。另外,這樣的教導(dǎo)也可以被應(yīng)用于諸如數(shù)字TV、桌上型計算機等的固定終端。
現(xiàn)在參考圖1A-圖1C,其中圖1A是根據(jù)本公開的移動終端的框圖,并且圖1B和圖1C是從不同的方向看到的移動終端的一個示例的概念視圖。
示出移動終端100,該移動終端100具有諸如無線通信單元110、輸入單元120、感測單元140、輸出單元150、接口單元160、存儲器170、控制器180、以及電源單元190的組件。要理解的是,不要求實現(xiàn)所有圖示的組件,并且可以可替選地實現(xiàn)更多或者更少的組件。
現(xiàn)在參考圖1A,示出移動終端100,其具有被配置有數(shù)個共同實現(xiàn)的組件的無線通信單元110。例如,無線通信單元110通常包括允許在移動終端100和無線通信系統(tǒng)或者移動終端位于的網(wǎng)絡(luò)之間的無線通信的一個或者多個組件。
無線通信單元110通常包括一個或者多個模塊,其允許諸如在移動終端100和無線通信系統(tǒng)之間的無線通信的通信、在移動終端100和另一移動終端之間的通信、在移動終端100與外部服務(wù)器之間通信。此外,無線通信單元110通常包括將移動終端100連接到一個或者多個網(wǎng)絡(luò)的一個或者多個模塊。為了有助于這樣的通信,無線通信單元110包括廣播接收模塊111、移動通信模塊112、無線互聯(lián)網(wǎng)模塊113、短程通信模塊114、以及位置信息模塊115中的一個或者多個。
輸入單元120包括:用于獲得圖像或者視頻的相機121;麥克風(fēng)122,該麥克風(fēng)122是一種用于輸入音頻信號的音頻輸入設(shè)備;以及用于允許用戶輸入信息的用戶輸入單元123(例如,觸摸鍵、推動鍵、機械鍵、軟鍵等)。數(shù)據(jù)(例如,音頻、視頻、圖像等)通過輸入單元120獲得,并且可以根據(jù)設(shè)備參數(shù)、用戶命令、以及其組合通過控制器180分析和處理。
在根據(jù)本發(fā)明的移動終端中,相機121可以包括三維(3D)相機或者深度相機。在本發(fā)明中,通過被設(shè)置在3D相機(深度相機)處的圖像傳感器感測位于其中輸出全息圖像(全息對象)的任意空間(預(yù)設(shè)空間)中的用戶的身體。圖像傳感器可以被配置成在任意空間中感測用戶的身體或者感測用戶的手勢。在根據(jù)本發(fā)明的移動終端中,與接近全息圖像的對象(用戶的身體)相對應(yīng)的3D圖像可以通過3D相機獲取。
通常使用被配置成感測移動終端的內(nèi)部信息、移動終端的周圍環(huán)境、用戶信息等的一個或者多個傳感器實現(xiàn)感測單元140。例如,在圖1A中,示出具有接近傳感器141和照明傳感器142的感測單元140。
必要時,感測單元140可以可替選地或者附加地包括其它類型的傳感器或者設(shè)備,諸如觸摸傳感器、加速度傳感器、磁傳感器、G傳感器、陀螺儀傳感器、運動傳感器、RGB傳感器、紅外(IR)傳感器、手指掃描傳感器、超聲傳感器、光學(xué)傳感器(例如,相機121)、麥克風(fēng)122、電池量表、環(huán)境傳感器(例如,氣壓計、濕度計、溫度計、輻射檢測傳感器、熱傳感器、以及氣體傳感器等)、以及化學(xué)傳感器(例如,電子鼻、醫(yī)療傳感器、生物傳感器等),舉了一些例子。移動終端100可以被配置成利用從感測單元140獲得的信息,并且特別地,從感測單元140的一個或者多個傳感器、和其組合獲得的信息。
輸出單元150被配置成以視覺、聽覺或者觸覺方式輸出,可以包括顯示單元151、音頻輸出單元152、觸覺單元153、以及光學(xué)輸出單元154、以及全息輸出單元(全息模塊)155中的至少一個。顯示單元151可以具有與觸摸傳感器的分層結(jié)構(gòu),或者可以與觸摸傳感器一體化地形成,從而實現(xiàn)觸摸屏。觸摸屏可以用作用于提供在移動終端100和用戶之間的輸入界面的用戶輸入單元123,或者可以提供在移動終端100和用戶之間的輸出界面。
接口單元160用作與能夠被耦合到移動終端100的各種類型的外部設(shè)備的接口。例如,接口單元160可以包括任何有線或者無線端口、外部電源端口、有線或者無線數(shù)據(jù)端口、存儲卡端口、用于連接具有識別模塊的設(shè)備的端口、音頻輸入/輸出(I/O)端口、視頻I/O端口、耳機端口等。在一些情況下,響應(yīng)于被連接到接口單元160的外部設(shè)備,移動終端100可以執(zhí)行與被連接的外部設(shè)備相關(guān)聯(lián)的各種控制功能。
存儲器170通常被實現(xiàn)為存儲數(shù)據(jù)以支持移動終端100的各種功能或者特征。例如,存儲器170可以被配置成存儲在移動終端100中執(zhí)行的應(yīng)用程序、用于移動終端100的操作的數(shù)據(jù)或者指令等。經(jīng)由無線通信可以從外部服務(wù)器下載這些應(yīng)用程序中的一些。在制造或者裝運時其它的應(yīng)用程序可以被安裝在移動終端100內(nèi),其通常是用于移動終端100的基本功能(例如,接收呼叫、撥打電話、接收消息、發(fā)送消息等)的情況。通常,應(yīng)用程序被存儲在存儲器170中、安裝在移動終端100中,并且通過控制器180執(zhí)行以執(zhí)行用于移動終端100的操作(或者功能)。
除了與應(yīng)用程序相關(guān)聯(lián)的操作之外,控制器180通常用作控制移動終端100的整體操作??刂破?80可以通過處理通過在圖1A中描述的各種組件輸入或者輸出的信號、數(shù)據(jù)、信息等,或者激活被存儲在存儲器170中的應(yīng)用提供或者處理適合于用戶的信息或者功能。作為一個示例,控制器180根據(jù)已經(jīng)被存儲在存儲器170中的應(yīng)用程序的執(zhí)行控制在圖1A-1C中圖示的一些組件或者所有組件。
存儲器170可以在其中存儲關(guān)于全息干涉圖案的信息使得通過全息輸出模塊155支持全息圖像的投射。基于被存儲在存儲器170中的信息,通過全息輸出單元155,控制器180可以以全息圖像的形式輸出從移動終端能夠視覺輸出的信息。
電源單元190能夠被配置成接收外部電力或者提供內(nèi)部電力使得供應(yīng)對于操作被包括在移動終端100中的元件和組件所要求的適當(dāng)?shù)碾娏Αk娫磫卧?90可以包括電池,并且電池可以被配置成被嵌入在終端主體中,或者被配置成從終端主體可拆卸。
繼續(xù)參考圖1A,現(xiàn)在將會更加詳細(xì)地描述在本附圖中描述的各種組件。關(guān)于無線通信單元110,廣播接收模塊111通常被配置成經(jīng)由廣播信道從外部廣播管理實體接收廣播信號和/或廣播相關(guān)信息。廣播信道可以包括衛(wèi)星信道、陸地信道、或者兩者。在一些實施例中,可以利用兩個或者更多個廣播接收模塊111以有助于同時接收兩個或者更多個廣播信道,或者支持廣播信道之間的切換。
移動通信模塊112能夠?qū)o線信號發(fā)送到一個或者多個網(wǎng)絡(luò)實體并且/或者從一個或者多個網(wǎng)絡(luò)實體接收無線信號。網(wǎng)絡(luò)實體的典型示例包括基站、外部移動終端、服務(wù)器等等。這樣的網(wǎng)絡(luò)實體形成移動通信網(wǎng)絡(luò)的一部分,其根據(jù)用于移動通信(例如,全球移動通信系統(tǒng)(GSM)、碼分多址(CDMA)、CDMA 2000(碼分多址2000)、EV-DO(增強的語音數(shù)據(jù)優(yōu)化或者僅增強的語音數(shù)據(jù))、寬帶CDMA(WCDMA)、高速下行鏈路分組接入(HSDPA)、HSUPA(高速上行鏈路分組接入)、長期演進(jìn)(LTE)、LTE-A(高級長期演進(jìn))等)的技術(shù)標(biāo)準(zhǔn)或者通信方法構(gòu)造。經(jīng)由移動通信模塊112發(fā)送和/或接收的無線信號的示例包括音頻呼叫信號、視頻(電話)呼叫信號、或者各種格式的數(shù)據(jù)以支持文本和多媒體消息的通信。
無線互聯(lián)網(wǎng)模塊113被配置成有助于無線互聯(lián)網(wǎng)接入。此模塊可以被內(nèi)部地或者外部地耦合到移動終端100。無線互聯(lián)網(wǎng)模塊113可以根據(jù)無線互聯(lián)網(wǎng)技術(shù)經(jīng)由通信網(wǎng)絡(luò)發(fā)送和/或接收無線信號。
這樣的無線互聯(lián)網(wǎng)接入的示例包括無線LAN(WLAN)、無線保真(Wi-Fi)、Wi-Fi直連、數(shù)字生活網(wǎng)絡(luò)聯(lián)盟(DLNA)、無線寬帶(Wibro)、全球微波接入互操作(Wimax)、高速下行鏈路分組接入(HSDPA)、HSUPA(高速上行鏈路分組接入)、長期演進(jìn)(LTE)、LTE-A(高級長期演進(jìn))等。無線互聯(lián)網(wǎng)模塊113可以根據(jù)一個或者多個這樣的無線互聯(lián)網(wǎng)技術(shù),或者其它的互聯(lián)網(wǎng)技術(shù)發(fā)送/接收數(shù)據(jù)。
在一些實施例中,當(dāng)根據(jù)例如WiBro、HSDPA、HSUPA、GSM、CDMA、WCDMA、LTE、LTE-A等作為移動通信網(wǎng)絡(luò)的一部分實現(xiàn)無線互聯(lián)網(wǎng)接入時,無線互聯(lián)網(wǎng)模塊113執(zhí)行這樣的無線互聯(lián)網(wǎng)接入。正因如此,互聯(lián)網(wǎng)模塊113可以與移動通信模塊112協(xié)作,或者用作移動通信模塊112。
短程通信模塊114被配置成有助于短程通信。適合于實現(xiàn)這樣的短程通信的技術(shù)包括:藍(lán)牙(BLUETOOTHTM)、射頻識別(RFID)、紅外數(shù)據(jù)協(xié)會(IrDA)、超寬帶(UWB)、紫蜂(ZigBee)、近場通信(NFC)、無線保真(Wi-Fi)、Wi-Fi直連、無線USB(無線通用串行總線)等。經(jīng)由無線局域網(wǎng),短程通信模塊114通常支持在移動終端100和無線通信系統(tǒng)之間的無線通信,在移動終端100和另一移動終端100之間的通信、或者在移動終端和另一移動終端100(或者外部服務(wù)器)位于的網(wǎng)絡(luò)之間的通信。無線局域網(wǎng)的一個示例是無線個域網(wǎng)。
在一些實施例中,另一移動終端(可以類似于移動終端100配置)可以是可佩戴設(shè)備,例如,智能手表、智能眼鏡或者頭戴式顯示器(HMD),其能夠與移動終端100交換數(shù)據(jù)(或者以其它方式與移動終端100協(xié)作)。短程通信模塊114可以感測或者識別可佩戴設(shè)備,并且允許在可佩戴設(shè)備和移動終端100之間的通信。另外,當(dāng)感測到的可佩戴設(shè)備是被授權(quán)與移動終端100通信的設(shè)備時,例如,控制器180可以使在移動終端100中處理的數(shù)據(jù)經(jīng)由短程通信模塊114傳輸?shù)娇膳宕髟O(shè)備。因此,可佩戴設(shè)備的用戶可以在可佩戴設(shè)備上使用在移動終端100中處理的數(shù)據(jù)。例如,當(dāng)在移動終端100中接收到呼叫時,用戶可以使用可佩戴設(shè)備應(yīng)答呼叫。而且,當(dāng)在移動終端100中接收到消息時,用戶能夠使用可佩戴設(shè)備檢查接收到的消息。
位置信息模塊115通常被配置成檢測、計算、導(dǎo)出或者以其它方式識別移動終端的位置。作為示例,位置信息模塊115包括全球定位系統(tǒng)(GPS)模塊、Wi-Fi模塊、或者兩者。如有必要,位置信息模塊115可以與無線通信單元110中的任意其它模塊可替選地或者附加地發(fā)揮作用以獲得與移動終端的位置有關(guān)的信息。
作為一個示例,當(dāng)移動終端使用GPS模塊時,可以使用從GPS衛(wèi)星發(fā)送的信號獲取移動終端的位置。作為另一示例,當(dāng)移動終端使用Wi-Fi模塊時,能夠基于將無線信號發(fā)送到Wi-Fi模塊或者從Wi-Fi模塊接收無線信號的無線接入點(AP)有關(guān)的信息獲取移動終端的位置。
輸入單元120可以被配置成允許對移動終端120的各種類型的輸入。這樣的輸入的示例包括音頻、圖像、視頻、數(shù)據(jù)、以及用戶輸入。經(jīng)常使用一個或者多個相機121獲得圖像和視頻輸入。這樣的相機121可以處理在視頻或者圖像捕獲模式下通過圖像傳感器獲得的靜止圖片或者視頻的圖像幀。被處理的圖像幀能夠被顯示在顯示單元151上或者被存儲在存儲器170中。在一些情況下,相機121可以以矩陣配置排列以允許具有多個角度或者焦點的多個圖像被輸入到移動終端100。作為另一示例,相機121可以位于立體排列以獲取用于實現(xiàn)立體圖像的左圖像和右圖像。
麥克風(fēng)122通常被實現(xiàn)以允許對移動終端100的音頻輸入。根據(jù)在移動終端100中執(zhí)行的功能以各種方式能夠處理音頻輸入。如有必要,麥克風(fēng)122可以包括各種噪聲去除算法以去除在接收外部音頻的過程中產(chǎn)生的不想要的噪聲。
用戶輸入單元123是允許用戶輸入的組件。這樣的用戶輸入可以使控制器180能夠控制移動終端100的操作。用戶輸入單元123可以包括機械輸入元件中的一個或者多個(例如,鍵、位于移動終端100的前和/或后表面或者側(cè)表面上的按鈕、薄膜開關(guān)、滾動輪、滾動開關(guān)等)、或者觸摸靈敏的輸入等。作為一個示例,觸摸靈敏的輸入可以是通過軟件處理被顯示在觸摸屏上的虛擬鍵或者軟鍵、或者位于在除了觸摸屏之外的位置處的移動終端上的觸摸鍵。另一方面,虛擬鍵或者可視鍵可以以例如,圖形、文本、圖標(biāo)、視頻、或者其組合的各種形狀顯示在觸摸屏上。
感測單元140通常被配置成感測移動終端的內(nèi)部信息、移動終端的周圍環(huán)境信息、用戶信息等中的一個或者多個。控制器180通常與感測單元140協(xié)作以基于通過感測單元140提供的感測控制移動終端100的操作或執(zhí)行與被安裝在移動終端中的應(yīng)用程序相關(guān)聯(lián)的數(shù)據(jù)處理、功能或者操作。使用任何種類的傳感器可以實現(xiàn)感測單元140,現(xiàn)在將會更加詳細(xì)地描述其中的一些。
接近傳感器141可以包括在沒有機械接觸的情況下通過使用電磁場、紅外線等感測接近表面的對象、或者位于表面附近的對象的存在或者不存在的傳感器。接近傳感器141可以被布置在通過觸摸屏覆蓋的移動終端的內(nèi)部區(qū)域處,或者觸摸屏附近。
例如,接近傳感器141可以包括任何透射型光電傳感器、直接反射型光電傳感器、鏡反射型光電傳感器、高頻振蕩接近傳感器、電容型接近傳感器、磁型接近傳感器、紅外線接近傳感器等。當(dāng)觸摸屏被實現(xiàn)為電容型時,接近傳感器141能夠通過電磁場響應(yīng)于具有導(dǎo)電性的對象的接近的變化來感測指示器相對于觸摸屏的接近。在這樣的情況下,觸摸屏(觸摸傳感器)也可以被歸類成接近傳感器。
術(shù)語“接近觸摸”將會在此被經(jīng)常引用以表示其中指示器被定位為接近觸摸屏而沒有接觸觸摸屏的場景。術(shù)語“接觸觸摸”將會在此被經(jīng)常引用以表示其中指示器物理接觸觸摸屏的場景。對于與指示器相對于觸摸屏的接近觸摸相對應(yīng)的位置,這樣的位置將會對應(yīng)于其中指示器垂直于觸摸屏的位置。接近傳感器141可以感測接近觸摸,和接近觸摸模式(例如,距離、方向、速度、時間、位置、移動狀態(tài)等)。
通常,控制器180處理與通過接近傳感器141感測到的接近觸摸和接近觸摸模式相對應(yīng)的數(shù)據(jù),并且使在觸摸屏上能夠輸出可視信息。另外,根據(jù)是否相對于觸摸屏上的點的觸摸是接近觸摸或者接觸觸摸,控制器180能夠控制移動終端100執(zhí)行不同的操作或者處理不同的數(shù)據(jù)。
使用任何各種觸摸方法,觸摸傳感器能夠感測被施加到諸如顯示單元151的觸摸屏的觸摸。這樣的觸摸方法的示例包括電阻型、電容型、紅外型、以及磁場型等。
作為一個示例,觸摸傳感器可以被配置成將被施加到顯示單元151的特定部分的壓力的變化轉(zhuǎn)換成電輸入信號,或者將在顯示單元151的特定部分處出現(xiàn)的電容轉(zhuǎn)換成電輸入信號。觸摸傳感器也可以被配置成不僅感測被觸摸的位置和被觸摸的區(qū)域,而且感測觸摸壓力和/或觸摸電容。觸摸對象通常被用于將觸摸輸入施加到觸摸傳感器。典型的觸摸對象的示例包括手指、觸摸筆、觸筆、指示器等等。
當(dāng)通過觸摸傳感器感測觸摸輸入時,相對應(yīng)的信號可以被傳送到觸摸控制器。觸摸控制器可以處理接收到的信號,并且然后將相對應(yīng)的數(shù)據(jù)傳送到控制器180。因此,控制器180可以感測已經(jīng)觸摸顯示單元151的哪一個區(qū)域。在此,觸摸控制器可以是與控制器180分離的組件、控制器180、或者其組合。
在一些實施例中,控制器180可以根據(jù)觸摸了觸摸屏或者除了觸摸屏之外被設(shè)置的觸摸鍵的觸摸對象的類型執(zhí)行相同或者不同的控制。例如,基于移動終端100的當(dāng)前操作狀態(tài)或者當(dāng)前執(zhí)行的應(yīng)用程序,可以決定根據(jù)提供觸摸輸入的對象是否執(zhí)行相同或者不同的控制。
觸摸傳感器和接近傳感器可以被單獨地或者組合實現(xiàn),以感測各種類型的觸摸。這樣的觸摸包括短(或者輕敲)觸摸、長觸摸、多觸摸、拖動觸摸、輕擊觸摸、捏縮觸摸、捏放觸摸、輕掃觸摸、懸停觸摸等。
如有必要,超聲傳感器可以被實現(xiàn)以使用超聲波識別與觸摸對象有關(guān)的位置信息。例如,控制器180可以基于通過照明傳感器和多個超聲傳感器感測到的信息計算波生成源的位置。因為光比超聲波快得多,所以光到達(dá)光學(xué)傳感器的時間遠(yuǎn)遠(yuǎn)比超聲波到達(dá)超聲傳感器的時間短。使用此事實可以計算波生成源的位置。例如,可以基于光作為參考信號使用與超聲波到達(dá)傳感器的時間的時間差計算波生成源的位置。
相機121通常包括至少一個相機傳感器(CCD、CMOS等等)、光傳感器(或者圖像傳感器)、以及激光傳感器。
實現(xiàn)具有激光傳感器的相機121可以允許相對于3D立體圖像的物理對象的觸摸的檢測。光傳感器可以被層壓在顯示設(shè)備上,或者與顯示設(shè)備重疊。光傳感器可以被配置成掃描接近觸摸屏的物理對象的移動。更加詳細(xì)地,光傳感器可以包括在行和列處的光電二極管和晶體管以使用根據(jù)被施加的光的量改變的電信號掃描在光傳感器處接收到的內(nèi)容。即,光傳感器可以根據(jù)光的變化計算物理對象的坐標(biāo)從而獲得物理對象的位置信息。
顯示單元151通常被配置成輸出在移動終端100中處理的信息。例如,顯示單元151可以顯示在移動終端100處執(zhí)行的應(yīng)用程序的執(zhí)行屏幕信息或者響應(yīng)于屏幕執(zhí)行信息的用戶界面(UI)和圖形用戶界面(GUI)信息。
在一些實施例中,顯示單元151可以被實現(xiàn)為用于顯示立體圖像的立體顯示單元。典型的立體顯示單元可以采用諸如立體方案(眼鏡方案)、自動立體方案(無眼鏡方案)、投影方案(全息方案)等的立體顯示方案。
音頻輸出模塊152通常被配置成輸出音頻數(shù)據(jù)。可以從任何數(shù)量的不同的來源獲得這樣的音頻數(shù)據(jù),使得可以從無線通信單元110接收音頻數(shù)據(jù)或者可以已經(jīng)將其存儲在存儲器170中。可以在諸如信號接收模式、呼叫模式、記錄模式、語音識別模式、廣播接收模式等的模式期間輸出音頻數(shù)據(jù)。音頻輸出模塊152能夠提供與由移動終端100執(zhí)行的特定功能(例如,呼叫信號接收聲音、消息接收聲音等)有關(guān)的音頻輸出。音頻輸出模塊152也可以被實現(xiàn)為接收器、揚聲器、蜂鳴器等。
觸覺模塊153能夠被配置成產(chǎn)生用戶能夠感覺、感知、或者以其它方式體驗的各種觸覺效果。通過觸覺模塊153產(chǎn)生的觸覺效果的典型示例是振動。能夠通過用戶選擇或者通過控制器進(jìn)行設(shè)置來控制通過觸覺模塊155產(chǎn)生的振動的強度、模式等。例如,觸覺模塊153可以以組合的方式或者順序的方式輸出不同的振動。
除了振動之外,觸覺模塊153能夠生成各種其它的觸覺效果,包括通過諸如垂直移動以接觸皮膚的針排列的刺激的效果、通過噴孔或者吸入口的空氣的噴射力或者吸力、對皮膚的觸摸、電極的接觸、靜電力、通過使用能夠吸收或者產(chǎn)生熱的元件再現(xiàn)冷和暖的感覺的效果等等。
觸覺模塊153也能夠被實現(xiàn)為允許用戶通過諸如用戶的手指或者手臂的肌肉感覺來感覺觸覺效果,以及通過直接接觸傳遞觸覺效果。根據(jù)移動終端100的特定配置也可以設(shè)置兩個或者更多個觸覺模塊153。
光學(xué)輸出模塊154能夠使用光源的光輸出用于指示事件產(chǎn)生的信號。在移動終端100中產(chǎn)生的事件的示例可以包括消息接收、呼叫信號接收、未接來電、報警、日程表通知、電子郵件接收、通過應(yīng)用的信息接收等。
也可以以移動終端發(fā)射單色光或者具有多種顏色的光的方式實現(xiàn)通過光學(xué)輸出模塊154輸出的信號。例如,當(dāng)移動終端感測用戶已經(jīng)檢查了產(chǎn)生的事件時信號輸出可以結(jié)束。
全息輸出單元(全息模塊155)被配置成將全息圖像輸出到預(yù)設(shè)空間。將會參考圖2A至圖5B更加詳細(xì)地解釋全息模塊155的結(jié)構(gòu),和用于使用該結(jié)構(gòu)投射全息圖像的方法。
接口單元160用作用于要連接到移動終端100的外部設(shè)備的接口。例如,接口單元160能夠接收從外部設(shè)備發(fā)送的數(shù)據(jù),接收電力以傳送到移動終端100內(nèi)的元件和組件,或者將移動終端100的內(nèi)部數(shù)據(jù)發(fā)送到這樣的外部設(shè)備。接口單元160可以包括有線或者無線頭戴式受話器端口、外部電源端口、有線或者無線數(shù)據(jù)端口、存儲卡端口、用于連接具有標(biāo)識模塊的設(shè)備的端口、音頻輸入/輸出(I/O)端口、視頻I/O端口、耳機端口等。
標(biāo)識模塊可以是存儲用于認(rèn)證使用移動終端100的權(quán)限的各種信息的芯片并且可以包括用戶識別模塊(UIM)、訂戶識別模塊(SIM)、通用訂戶識別模塊(USIM)等。另外,具有標(biāo)識模塊的設(shè)備(在此也被稱為“識別設(shè)備”)可以采用智能卡的形式。因此,標(biāo)識設(shè)備經(jīng)由接口單元160能夠與終端100相連接。
當(dāng)移動終端100與外部托架相連接時,接口單元160能夠用作允許電力從托架供應(yīng)到移動終端100的通道或者可以用作允許用戶從托架輸入的各種命令信號傳遞到移動終端的通道。從托架輸入的各種命令信號或者電力可以作為用于識別移動終端被正確地安裝在托架上的信號操作。
存儲器170能夠存儲程序以支持移動終端180的操作并且存儲輸入/輸出數(shù)據(jù)(例如,電話簿、消息、靜止圖像、視頻等)。存儲器170可以存儲與響應(yīng)于觸摸屏上的觸摸輸入輸出的各種模式的振動和音頻有關(guān)的數(shù)據(jù)。
存儲器170可以包括一種或者多種類型的存儲介質(zhì),包括閃存、硬盤、固定盤、硅盤、多媒體微型卡式、卡型存儲器(例如,SD或DX存儲器等)、隨機存取存儲器(RAM)、靜態(tài)隨機存取存儲器(SRAM)、只讀存儲器(ROM)、電可擦除可編程只讀存儲器(EEPROM)、可編程只讀存儲器(PROM)、磁存儲器、磁盤、光盤等。也可以關(guān)于在諸如互聯(lián)網(wǎng)的網(wǎng)絡(luò)上執(zhí)行存儲器170的存儲功能的網(wǎng)絡(luò)存儲設(shè)備操作移動終端100。
控制器180通??梢钥刂埔苿咏K端100的一般操作。例如,當(dāng)移動終端的狀態(tài)滿足預(yù)設(shè)條件時控制器180可以設(shè)置或者釋放用于限制用戶輸入與應(yīng)用有關(guān)的控制命令的鎖定狀態(tài)。
控制器180也能夠執(zhí)行與語音呼叫、數(shù)據(jù)通信、視頻呼叫等相關(guān)聯(lián)的控制和處理,或者執(zhí)行模式識別處理以將在觸摸屏上執(zhí)行的手寫輸入或者繪圖輸入分別識別為字符或者圖像。另外,控制器180能夠控制這些組件中的一個或者組合以便實現(xiàn)在此公開的各種示例性實施例。
電源單元190接收外部電力或者提供內(nèi)部電力并且供應(yīng)對于操作被包括在移動終端100中的各自的元件和組件所需的適當(dāng)?shù)碾娏Αk娫磫卧?90可以包括電池,該電池通常是可充電的或者可拆卸地耦合到終端主體,用于充電。
電源單元190可以包括連接端口。連接端口可以被配置為接口單元160的一個示例,用于供應(yīng)電力以對電池再充電的外部充電器被電氣地連接到該接口單元160。
作為另一示例,電源單元190可以被配置成在沒有使用連接端口的情況下以無線的方式對電池再充電。在本示例中,使用以磁感應(yīng)為基礎(chǔ)的感應(yīng)耦合方法或者以電磁諧振為基礎(chǔ)的磁諧振耦合方法,電源單元190能夠接收從外部無線電力發(fā)射器傳遞的電力。
可以使用例如軟件、硬件、或者其任何組合,以計算機可讀介質(zhì)、機器可讀介質(zhì)、或者類似介質(zhì)實現(xiàn)在此描述的各種實施例。
現(xiàn)在參考圖1B和圖1C,參考直板式終端主體描述移動終端100。然而,可以以任何各種不同的配置可替選地實現(xiàn)移動終端100。這樣的配置的示例包括其中兩個和更多個主體以相對可移動的方式相互組合的手表式、夾式、眼鏡式、或者折疊式、翻蓋式、滑蓋式、搖擺式、以及旋轉(zhuǎn)式和其組合。在此論述將會經(jīng)常涉及特定類型的移動終端(例如,直板式、手表式、眼鏡式等)。然而,與特定類型的移動終端有關(guān)的這樣的教導(dǎo)通常也將會應(yīng)用于其它類型的移動終端。
移動終端100通常將會包括形成終端的外觀的殼體(例如,框架、外罩、蓋等)。在本實施例中,使用前殼體101和后殼體102形成殼體。各種電子組件被包含在前殼體101和后殼體102之間形成的空間中。至少一個中間外殼可以被附加地布置在前殼體101和后殼體102之間。
顯示單元151被示出位于終端主體的前側(cè)上以輸出信息。如圖所示的,顯示單元151的窗口151a可以被安裝到前殼體101以與前殼體101一起形成終端主體的前表面。
在一些實施例中,電子組件也可以被安裝到后殼體102。這樣的電子組件的示例包括可拆卸的電池191、識別模塊、存儲卡等等。后蓋103被示出為覆蓋電子組件,并且此蓋可以被可拆卸地耦合到后殼體102。因此,當(dāng)從后殼體102拆卸后蓋103時,被安裝到后殼體102的電子組件被外部地暴露。
如圖所示的,當(dāng)后蓋103被耦合到后殼體102時,后殼體102的側(cè)表面被部分地暴露。在一些情況下,一旦耦合,后殼體102也可以被后蓋103完全地屏蔽。在一些實施例中,后蓋103可以包括用于外部暴露相機121b或者音頻輸出模塊152b的開口。
殼體101、102、103可以通過注入成型合成樹脂形成或者可以由例如不銹鋼(STS)、鋁(Al)、鈦(Ti)等的金屬形成。
作為對多個殼體形成用于容納組件的內(nèi)部空間的示例的替代,移動終端100可以被配置使得一個殼體形成內(nèi)部空間。在本示例中,以合成樹脂或者金屬從側(cè)表面延伸到后表面的形式形成具有一體的移動終端100。
如有必要,移動終端100可以包括防水單元(未示出),用于防止水進(jìn)入到終端主體。例如,防水單元可以包括防水構(gòu)件,其位于窗口151a和前殼體101之間、在前殼體101和后殼體102之間、或者后殼體102和后蓋103之間,當(dāng)這些殼體被耦合時密閉地密封內(nèi)部空間。
圖1B和圖1C描述如被布置在移動終端上的特定的組件。然而,要理解的是,可替選的布置是可能的并且在本公開的教導(dǎo)內(nèi)。一些組件可以被省略或者重新布置。例如,第一操縱單元123a可以位于終端主體的另一表面上,并且第二音頻輸出模塊152b可以位于終端主體的側(cè)表面上。
顯示單元151輸出在移動終端100中處理的信息。使用一個或者多個適當(dāng)?shù)娘@示裝置可以實現(xiàn)顯示單元151。這樣的適當(dāng)?shù)娘@示裝置的示例包括液晶顯示器(LCD)、薄膜晶體管-液晶顯示器(TFT-LCD)、有機發(fā)光二極管(OLED)、柔性顯示器、3維(3D)顯示器、電子墨水顯示器、以及其組合。
使用能實現(xiàn)相同或者不同的顯示技術(shù)的兩個顯示裝置可以實現(xiàn)顯示單元151。例如,多個顯示單元151可以被布置在一側(cè)上,或者被相互分開,或者這些設(shè)備可以被集成,或者這些設(shè)備可以被布置在不同的表面上。
顯示單元151也可以包括觸摸傳感器,該觸摸傳感器感測在顯示單元處接收到的觸摸輸入。當(dāng)觸摸被輸入到顯示單元151時,觸摸傳感器可以被配置成感測此觸摸,并且例如控制器180可以生成與觸摸相對應(yīng)的控制命令或者其它信號。以觸摸方式輸入的內(nèi)容可以是文本或者數(shù)值,或者能夠以各種模式指示或者指定的菜單項目。
觸摸傳感器可以以被布置在窗口151a和窗口151a的后表面上的顯示器之間的具有觸摸圖案的膜或者在窗口151a的后表面上直接構(gòu)圖的金屬線的形式配置??商孢x地,觸摸傳感器可以與顯示器集成地形成。例如,觸摸傳感器可以被布置在顯示器的基板上或者顯示器內(nèi)。
顯示單元151也可以與觸摸傳感器一起形成觸摸屏。在此,觸摸屏可以用作用戶輸入單元123(參見圖1)。因此,觸摸屏可以替換第一操縱單元123a的功能中的至少一些。
第一音頻輸出模塊152a可以以揚聲器的形式被實現(xiàn),以輸出語音音頻、報警聲音、多媒體音頻再現(xiàn)等等。
顯示單元151的窗口151a通常將會包括允許通過第一音頻輸出模塊152a生成的音頻通過的孔徑。一個替選是允許音頻沿著結(jié)構(gòu)主體之間的組裝間隙(例如,在窗口151a和前殼體101之間的間隙)被釋放。在這樣的情況下,被獨立地形成以輸出音頻聲音的孔可以不被看到或者在外觀上以其它方式被隱藏,從而進(jìn)一步簡化移動終端100的外觀和制造。
光學(xué)輸出模塊154能夠被配置成輸出用于指示事件產(chǎn)生的光。這樣的事件的示例包括消息接收、呼叫信號接收、未接來電、報警、日程表通知、郵件接收、通過應(yīng)用的信息接收等。當(dāng)用戶已經(jīng)檢查了產(chǎn)生的事件時,控制器能夠控制光學(xué)輸出單元154停止光輸出。
全息輸出單元155可以被設(shè)置在終端主體處。全息輸出單元155可以被配置成將全息圖像155’(參考圖2A)輸出到終端主體的前表面,例如,在顯示單元151上方的空間。在本發(fā)明中,全息輸出單元155被設(shè)置在顯示單元151的一個區(qū)域處。在本發(fā)明中,全息輸出單元155可以被布置在終端主體的任何區(qū)域上,并且根據(jù)設(shè)計可以不同地改變?nèi)⑤敵鰡卧?55的位置。
第一相機121能夠處理諸如在捕獲模式或者視頻呼叫模式下通過圖像傳感器獲得的靜止或者運動圖像的圖像幀。然后被處理的圖像幀能夠被顯示在顯示單元151上或者被存儲在存儲器170中。
第一操縱單元123a和第二操縱單元123b是用戶輸入單元123的示例,用戶可以對其進(jìn)行操縱以將輸入提供給移動終端100。第一操縱單元123a和第二操縱單元123b也可以被統(tǒng)稱為操縱部分,并且可以采用允許用戶執(zhí)行諸如觸摸、推動、滾動等的操縱的任何觸覺方法。第一和第二操縱單元123a和123b也可以采用允許用戶執(zhí)行諸如接近觸摸、盤旋等的操縱的任何非觸覺方法。
圖1B圖示作為觸摸鍵的第一操縱單元123a,但是可能的替選包括機械鍵、推動鍵、觸摸鍵、以及其組合。
可以以各種方式使用在第一操縱單元123a和第二操縱單元123b處接收到的輸入。例如,用戶可以使用第一操縱單元123a將輸入提供給菜單、主屏鍵、取消、搜索等,并且用戶可以使用第二操縱單元123b提供輸入以控制從第一音頻輸出模塊152a或者第二音頻輸出模塊152b輸出的音量級,切換到顯示單元151的觸摸識別模式等。
作為用戶輸入單元123的另一示例,后輸入單元(未示出)可以位于終端主體的后表面上。用戶能夠操縱后輸入單元以將輸入提供給移動終端100??梢砸愿鞣N不同的方式使用輸入。例如,用戶可以使用后輸入單元提供用于從第一音頻輸出模塊152a或者第二音頻輸出模塊152b輸出的電源開/關(guān)、開始、結(jié)束、滾動、控制音量級的輸入,切換到顯示單元151的觸摸識別模式等。后輸入單元可以被配置成允許觸摸輸入、推動輸入、或者其組合。
后輸入單元可以位于在終端主體的厚度方向中重疊前側(cè)的顯示單元151。作為一個示例,后輸入單元可以位于終端主體的后側(cè)的上端部分上使得當(dāng)用戶使用一只手抓握終端主體時用戶能夠使用食指容易地操縱它??商孢x地,后輸入單元能夠位于終端主體的后側(cè)的至多任何位置處。
包括后輸入單元的實施例可以在后輸入單元中實現(xiàn)第一操縱單元123a的功能性的一些或者全部。正因如此,在從前側(cè)省略第一操縱單元123a的情形下,顯示單元151能夠具有更大的屏幕。
作為又一替代,移動終端100可以包括手指掃描傳感器,該手指掃描傳感器掃描用戶的指紋。然后控制器180能夠使用通過手指掃描傳感器感測的指紋信息作為認(rèn)證過程的一部分。手指掃描傳感器也可以被安裝在顯示單元151中或者在用戶輸入單元123中被實現(xiàn)。
示出麥克風(fēng)122位于移動終端100的末端處,但是其它的位置是可能的。如有必要,可以實現(xiàn)多個麥克風(fēng),利用這樣的布置允許接收立體聲音。
全息輸出單元155可以被設(shè)置在終端主體的后表面上,并且可以被配置成將全息圖像155’(參考圖2B)輸出到在終端主體的后表面上方的空間。在本發(fā)明中,全息輸出單元155可以被設(shè)置在終端主體的前表面、側(cè)表面以及后表面中的至少一個上。
接口單元160可以用作允許移動終端100對接外部設(shè)備的路徑。例如,接口單元160可以包括用于連接到另一設(shè)備(例如,耳機、外部揚聲器等)的連接端子、用于近場通信的端口(例如,紅外數(shù)據(jù)協(xié)會(IrDA)端口、藍(lán)牙端口、無線LAN端口等)、或者用于將電力供應(yīng)到移動終端100的電源端子中的一個或多個。接口單元160可以以用于容納諸如訂戶識別模塊(SIM)、用戶識別模塊(UIM)、或者用于信息存儲的存儲卡的外部卡的插槽的形式實現(xiàn)。
示出第二相機121b位于終端主體的后側(cè)處并且包括與第一相機單元121a的圖像捕獲方向大體上相反的圖像捕獲方向。如有必要,第二相機121a可以被可替選地位于其它的位置處,或者使其可移動,以便于具有不同于被示出的圖像捕獲方向。
第二相機121b能夠包括沿著至少一條線布置的多個鏡頭。多個鏡頭也可以布置成矩陣配置。相機可以被稱為“陣列相機”。當(dāng)?shù)诙鄼C121b被實現(xiàn)為陣列相機時,可以使用多個鏡頭以各種方式捕獲圖像,并且圖像具有更好的質(zhì)量。
如在圖1C中所示,示出閃光燈124與第二相機121b相鄰。當(dāng)通過相機121b捕獲物體的圖像時,閃光燈124可以照明物體。
如在圖1B中所示,第二音頻輸出模塊152b能夠位于終端主體上。第二音頻輸出模塊152b可以結(jié)合第一音頻輸出模塊152a實現(xiàn)立體聲功能,并且也可以被用于實現(xiàn)進(jìn)行呼叫通信的揚聲器電話模式。
用于無線通信的至少一個天線可以位于終端主體上。天線可以被安裝在終端主體中或者通過殼體形成。例如,配置廣播接收模塊111的一部分的天線可以可伸縮到終端主體中。可替選地,使用被附接到后蓋103的內(nèi)表面的膜,或者包括導(dǎo)電材料的殼體,可以形成天線。
用于將電力供應(yīng)到移動終端100的電源單元190可以包括電池191,該電池191被安裝在終端主體中或者可拆卸地耦合到終端主體的外部。電池191可以經(jīng)由被連接到接口單元160的電源電纜接收電力。而且,使用無線充電器能夠以無線方式對電池191再充電。通過磁感應(yīng)或者電磁諧振可以實現(xiàn)無線充電。
示出后蓋103,其被耦合到后殼體102用于遮蓋電池191,以防止電池191的分離,并且保護(hù)電池191免受外部沖擊或者外來物質(zhì)。當(dāng)從終端主體可拆卸電池191時,后殼體103可以被可拆卸地耦合到后殼體102。
用于保護(hù)外觀或者輔助或者擴(kuò)展移動終端100的功能的附件也能夠被提供在移動終端100上。作為附件的一個示例,可以提供用于覆蓋或者容納移動終端100的至少一個表面的蓋或者袋。蓋或者袋可以與顯示單元151協(xié)作以擴(kuò)展移動終端100的功能。附件的另一示例是用于輔助或者擴(kuò)展對觸摸屏的觸摸輸入的觸摸筆。
在下文中,將會參考附圖更加詳細(xì)地解釋通過全息輸出單元155輸出全息圖像的原理及其方法。
圖2A和2B是圖示通過全息輸出單元實施全息圖像的概念圖。圖3A和3B是示出全息原理的概念圖。圖4A至4C是圖示透射型全息方法的概念圖。并且圖5A至5C是示出反射型全息方法的概念圖。
如上所述,本發(fā)明的移動終端具有全息輸出單元155,并且被配置成通過全息輸出單元155輸出全息圖像。為了支持通過全息輸出單元155輸出全息圖像,存儲器170可以在其中存儲關(guān)于全息干涉圖案的信息??刂破?80可以通過使用存儲在存儲器170內(nèi)的信息,輸出能夠通過全息輸出單元155作為全息圖像從移動終端視覺輸出的信息。
全息輸出單元155可以被設(shè)置在終端主體的前表面、后表面和側(cè)表面中的至少其中之一上,并且可以被配置成向終端主體的后表面上方的空間輸出全息圖像155’。
圖2A和2B是圖示通過圖1B和1C中所示的全息輸出單元155實施全息圖像155’的概念圖。
參考圖2A,全息輸出單元155可以被布置在移動終端100的前表面上。全息輸出單元155可以與顯示單元155獨立地操作。如圖所示,全息輸出單元155可以被配置成即使還未將視覺信息顯示到顯示單元151,也輸出全息圖像155’。全息輸出單元155可以被安裝至為了封閉顯示單元151而形成的邊框部分。
如圖所示,被配置成發(fā)送反饋信號的輸出單元(或者觸覺模塊153,或者反饋輸出單元)可以被布置在全息輸出單元155附近,并且可以被配置成響應(yīng)于用戶相對于通過全息輸出單元155輸出的全息對象的手勢向用戶發(fā)送反饋信號。
可以彼此獨立地布置被配置成輸出光以便輸出全息對象的光源,以及被配置成輸出反饋信號的觸覺模塊153。
雖然未示出,但是用于輸出全息對象的光源和用于輸出反饋信號的觸覺模塊153可以具有相同光源。在這種情況下,控制器180可以控制與用于輸出全息對象的光源相對應(yīng)的激光的強度,由此通過激光的強度實施反饋信號。
如圖2B中所示,全息輸出單元155可以被布置在移動終端100的后表面上,并且可以被配置成在移動終端的后表面上方的預(yù)設(shè)空間內(nèi)輸出全息圖像155’。
全息輸出單元155的安裝位置以及全息圖像155’的輸出空間不限于前述。全息輸出單元155可以形成為可旋轉(zhuǎn)或者彈出,并且可以作為附加的裝置可拆裝地安裝在終端主體處。全息圖像155’可以被以傾斜方式,或者通過附加的反射結(jié)構(gòu)等而輸出至與全息輸出單元155的安裝方向無關(guān)的空間。
能夠通過全息輸出單元155實施的全息圖像155’可以包括二維(2D)平面圖像和三維(3D)立體圖像。
平面顯示方法,用于向雙眼提供相同圖像的單視場方法被配置成在虛擬立體空間中布置由一個或者更多點、線和平面或者其組合產(chǎn)生的多面體,并且顯示隨著從特定視點觀看該多面體而獲得的圖像。
接下來,立體顯示方法,用于向雙眼提供不同圖像的立體方法是允許用戶在他或者她以裸眼觀看對象時感覺到立體效果的方法。即,由于雙眼之間的距離,所以人類的雙眼在觀看相同對象時觀看到不同的平面圖像。通過視網(wǎng)膜將不同的平面圖像發(fā)送至大腦,并且大腦分析彼此的圖像。結(jié)果,人類感覺到立體圖像的深度和真實性。人類可以通過雙眼之間的距離,即雙眼視差感覺到立體效果,即使人存在不同也是如此。使用這種雙眼視差顯示圖像的方法是立體顯示方法。
稍后將解釋的全息輸出單元155形成的全息圖像155’可以包括2D圖像和3D圖像兩者。下面,為了解釋,平面顯示方法的圖像表示可以包括立體顯示方法的圖像表示。
下面將更詳細(xì)地解釋根據(jù)本發(fā)明的用于顯示全息圖像155’的方法,和實施全息圖像155’的結(jié)構(gòu)。
向顯示單元151輸出的圖像僅記錄對象的亮和暗表面的分布,而全息圖像155’可以被理解為同時積累并且再現(xiàn)所有信息的圖像,即,其光作為波包含振幅和相位。
圖3A和3B是示出全息原理的概念圖。
參考圖3A,通過分束器202將從激光光源輸出的相干光分為兩束。
兩束光中的一束被用于照亮物體207,并且從物體207的表面漫反射的光到達(dá)全息感光材料205。下面,這種光束被稱為物波(object wave)。為了變換光束的路徑,可以使用鏡203、204。
兩束光中的另一束沿變換的路徑到達(dá)鏡208,并且穿過透鏡206散射,由此直接到達(dá)全息感光材料205的前表面。下面,這種光束被稱為參考波。
由于物波和參考波在全息感光參考205上彼此干涉,所以產(chǎn)生非常細(xì)微并且復(fù)雜的每1mm約500~1,500干涉圖案。其中記錄這些干涉圖案的全息存儲介質(zhì)被稱為全息圖。
然后,如圖3B中所示,當(dāng)光束,諸如參考波,即重構(gòu)波被投射至全息感光材料205時,干涉條紋可以起衍射光柵的作用,使得光束能夠相對于參考波的入射方向在不同位置衍射。衍射光束可以被會聚,以便形成為與從對象初始反射的光束相同,由此投射全息圖像209。即,可以通過全息重構(gòu)初始物波使得實現(xiàn)全息圖像209。
這里,當(dāng)從重構(gòu)波前的內(nèi)部觀看時,原始對象被觀看,但是看起來該對象位于內(nèi)部。并且如果觀看點(視點)移動,則觀看到對象的位置也改變。這感覺像是在觀看3D圖像。同樣地,由于原始對象的波前被重構(gòu),所以可能引起與來自非常輕微變形對象的波前的干涉。
根據(jù)重構(gòu)方法,全息圖像209的顯示方法可以被分為透射型顯示方法和反射型顯示方法。圖4A至4C是圖示透射型全息方法的概念圖,并且圖5A至5C是圖示反射型全息方法的概念圖。
透射型全息方法是一種從全息圖的后側(cè)照亮,并且在全息圖的前面觀看所透射的圖像的方法。在透射型全息方法中,物波和參考波在產(chǎn)生全息圖像時在相同方向中暴露于全息感光材料,并且所產(chǎn)生的全息圖像具有生動和明亮的顏色。
參考圖4A,從激光光源301發(fā)出的光穿過空間濾波器302,并且然后散射為平滑的球面波。球面波被分束器305分為兩束。兩個被分束的球面波其中之一被照射在對象308上,由此形成物波。另一束球面波被照射在全息感光材料307上,由此形成參考波。被照射在對象308上的物波也被照射在全息感光材料307上。為了變換光束的路徑,可以使用鏡304、306、309。
由于被照射到全息感光材料307上的物波和參考波彼此干涉,所以產(chǎn)生了干涉圖案。所產(chǎn)生的干涉圖案被記錄在全息感光材料307中。
即,如圖4B中所示,物波和參考波兩者都被投射到全息感光材料307的相同表面上,由此產(chǎn)生干涉圖案。
然后,如圖4C中所示,如果與參考波相同的重構(gòu)波被投射到全息感光材料307上,則物波以相反方向被投射至物波和參考波先前已經(jīng)入射的表面。結(jié)果,產(chǎn)生了全息圖像。
反射型全息方法,一種通過照亮全息圖的前側(cè),并且然后在全息圖的前面觀看所反射的圖像而觀察圖像的方法,被制造以使得物波和參考波以相反方向入射到全息感光材料上。反射型全息方法產(chǎn)生的全息圖像具有出色的立體效果。
參考圖5A,與圖4A中相同,激光光源401發(fā)出的光穿過空間濾波器402,并且然后散射為平滑球面波。通過分束器405將球面波分為兩束。兩個光束中的一束被照射到對象上,由此形成物波。兩個光束中的另一束被照射到全息感光材料407(感光膜)上,由此形成參考波。為了變換光束的路徑,可以使用鏡404、406、409。與圖4A中不同,參考波和物波被從彼此相反的位置照射到全息感光材料407上。
即,如圖5B中所示,參考波被投射到全息感光材料407的左側(cè)表面上,并且物波被投射到全息感光材料407的右側(cè)表面上。然后,如圖5C中所示,如果與參考波相同的重構(gòu)波被投射到全息感光材料407上,則在相反方向中發(fā)出物波。結(jié)果,產(chǎn)生了全息圖像。
根據(jù)本發(fā)明的實施例,可以根據(jù)預(yù)設(shè)全息圖案顯示全息圖像。全息圖案意指通過全息輸出單元155投射的全息圖像變?yōu)轭A(yù)設(shè)圖案,從而提供給用戶。
可以根據(jù)將在下文解釋的方法不同地設(shè)置全息圖案。
首先,可以隨著全息輸出單元和全息圖像之間的距離根據(jù)時間的流逝改變而設(shè)置全息圖案。采用這種結(jié)構(gòu),由于通過全息輸出單元155投射的全息圖像可上下移動,所以能夠設(shè)置預(yù)先確定的全息圖案。
其次,可以隨著從全息輸出單元155投射的全息圖像的形狀根據(jù)時間的流逝改變而設(shè)置全息圖案。例如,控制器180可以控制從全息輸出單元155投射的全息圖像具有圓形形狀。然后,控制器180可以隨著時間流逝而控制全息圖像的圓形形狀變?yōu)樗倪呅涡螤睢?/p>
從全息輸出單元155投射的全息圖像可以左右移動,或者可以旋轉(zhuǎn)。即,在其中全息輸出單元155和全息圖像之間的距離保持恒定的狀態(tài)下,可以通過左右移動所投射的全息圖像,旋轉(zhuǎn)全息圖像,或者隨著左右地移動全息圖像而旋轉(zhuǎn)全息圖像來設(shè)置全息圖案。
可替選地,可以隨著所投射的全息圖像的顏色或者大小根據(jù)時間的流逝改變而設(shè)置全息圖案。此外,可以通過控制投射亮度或者重構(gòu)頻率(重構(gòu)的次數(shù)),或者通過執(zhí)行照明(照亮)、振動反饋、聲音插入、圖像插入、重復(fù)投影等設(shè)置全息圖案。
在上述描述中,通過各個因素設(shè)置全息圖案。然而,通過多個因素可以設(shè)置全息圖案。例如,在根據(jù)時間的流逝改變在全息輸出單元155和全息圖像之間的距離的狀態(tài)下,全息圖案可以被設(shè)置為當(dāng)全息圖像左右移動時旋轉(zhuǎn)的全息圖像。
在上面的描述中,相對于全息圖像的整個區(qū)域設(shè)置全息圖案。然而,這僅為示例性的。即,全息圖案可以適用于全息圖像的部分區(qū)域。
迄今為止,解釋了透射型全息顯示方法和反射型全息顯示方法。然而,可以通過各種方式輸出全息圖像。
根據(jù)全息圖的生成和再現(xiàn)方法,全息方法可以被分為三種。全息方法可以包括:i)模擬全息方法,諸如上述透射型全息顯示方法和反射型全息顯示方法;ii)數(shù)字全息方法,用于通過由成像傳感器,諸如CCD相機或者CMOS傳感器捕捉的3D數(shù)字?jǐn)?shù)據(jù)生成全息圖,并且用于存儲、處理和編輯所生成的全息圖,以及iii)偽全息方法,用于通過捕捉超多視點的立體圖像,即使該立體圖像不是完全的全息圖而實施全息效果,并且用于通過經(jīng)由半透射型屏幕投射圖像而模仿全息圖像效果。
偽全息方法包括自由格式方法、佩珀爾幻象方法(peppers ghost method)和Leia顯示系統(tǒng)。
3D全息方法包括投影弗米爾(project vermeer)、voixe box、3D半空等離子顯示方法等。
在根據(jù)本發(fā)明的移動終端中,全息圖像可以由上述方法其中之一,或者由不是上述方法的方法實施。
全息圖像是被輸出至任意空間的三維(3D)圖像。為了觸摸全息圖像,用戶應(yīng)將他或者她的手部置于已經(jīng)在其中輸出全息圖像的任意空間。然而,用戶不能真實地觸摸全息圖像,因為全息圖像不是實體,而是被輸出至3D空間的圖像。因而,本發(fā)明提供一種能夠提供感覺到用戶真實地觸摸全息圖像或者相應(yīng)于全息圖像的對象的用戶體驗的移動終端及其控制方法。
本發(fā)明在于基于相應(yīng)于全息對象的對象的特征提供全息圖像和用戶之間的交互,以及更真實的用戶交互。
下面將參考附圖更詳細(xì)地解釋用于提供全息圖像和用戶之間的交互的方法。
圖6是圖示根據(jù)本發(fā)明的用于控制移動終端,用于全息對象和用戶之間的交互的方法流程圖,并且圖7是圖示在根據(jù)本發(fā)明的移動終端中的全息對象和用戶之間的交互的概念圖。
為了在從根據(jù)本發(fā)明的移動終端輸出的全息圖像和用戶之間交互,全息對象被輸出至預(yù)設(shè)空間(S610)。全息對象可以意指全息圖像,或者部分全息圖像。部分全息圖像可以是全息圖像中所包括的特定圖像。特定圖像可以是相應(yīng)于任何對象的圖像。下面,通過全息輸出單元155輸出的全息圖像將被稱為‘全息對象’。
全息對象通過全息輸出單元155被輸出,并且可以被輸出至預(yù)設(shè)空間(預(yù)設(shè)3D空間)。預(yù)設(shè)空間可以對應(yīng)于全息輸出單元155的投影范圍。
如圖7中所示,全息對象710可以被輸出至預(yù)設(shè)空間。在全息對象710的輸出狀態(tài)下,執(zhí)行感測放置在預(yù)設(shè)空間內(nèi)的人體1000(例如,用戶的手部,參考圖7)的步驟(S620)(參考圖6)。在本說明書中,人體位于預(yù)設(shè)空間內(nèi)。然而,本發(fā)明不限于此。即,在本發(fā)明中,也可以感測到位于預(yù)設(shè)空間處的對象。
在本發(fā)明中,不僅可以感測到位于預(yù)設(shè)空間處的人體,而且也可以感測到位于全息對象710的輸出區(qū)域和外圍區(qū)域處的人體。
在本發(fā)明的移動終端中,感測單元140的位置可以被預(yù)設(shè),以便感測到與其中輸出單元155投影全息對象的投影范圍相對應(yīng)的預(yù)設(shè)空間。
可以通過各種方式實施用于感測位于預(yù)設(shè)空間處的人體的感測單元(或者感測裝置)。例如,感測單元可以被實施為3D相機。
更特別地,在根據(jù)本發(fā)明的移動終端中,相機121可以包括3D相機或者深度相機。在本發(fā)明中,設(shè)置在3D相機(深度相機)處的圖像傳感器可以被配置成感測位于對其輸出全息圖像(或者全息對象)的任意空間(或者預(yù)設(shè)空間)處的人體。圖像傳感器可以被配置成感測用戶的身體,并且感測被應(yīng)用于任意空間的用戶手勢。在根據(jù)本發(fā)明的移動終端中,可以由3D相機獲取具有立體效果的圖像(或者3D圖像),該圖像對應(yīng)于位于全息對象附近的對象(或者人體)或者接近全息對象的對象(或者用戶身體)。
圖像傳感器不是始終都被激活,而是可以僅在已經(jīng)輸出全息對象時被激活。在已經(jīng)輸出了全息對象的情況下,如果接近傳感器、照明傳感器等感測到對象(或者用戶的身體)位于全息對象附近,則控制器可以激活圖像傳感器,使得感測到身體接近全息對象。
在本發(fā)明中,可以基于圖像傳感器獲取的感測信息感測身體接近全息對象(S630)。更特別地,控制器180基于全息對象和身體之間的相對位置而檢測身體接近全息對象。
身體接近全息對象可以被理解為相對于全息對象的用戶手勢??刂破?80可以基于圖像傳感器獲取的感測信息,例如,根據(jù)用戶是否接近全息對象(i),用戶是否觸摸全息對象(ii),用戶是否輕擦全息對象(iii),用戶是否穿過全息對象(iv),用戶是否以恒定速度推動全息對象(v)等確定相對于全息對象的用戶的各種手勢。
例如,控制器180可以基于從圖像傳感器獲取的圖像比較全息對象的輸出位置的坐標(biāo)信息和人體的坐標(biāo)信息。控制器180基于坐標(biāo)信息確定全息對象和人體之間的相對位置。如果作為比較的結(jié)果,人體的坐標(biāo)信息與全息對象的坐標(biāo)信息相同或者類似,則可以確定人體已經(jīng)接近(i)、接觸(ii)或者穿過全息對象(iii)。
可以通過相對于全息對象和人體建模而分別獲取全息對象的坐標(biāo)信息和人體的坐標(biāo)信息。將參考圖8A至8C更詳細(xì)地解釋用于對全息對象和人體建模的方法。
一旦檢測到人體接近全息對象,則控制器180基于檢測結(jié)果控制輸出單元,使得將反饋信號發(fā)送至已經(jīng)接近全息對象的人體(S640)。
即,在本發(fā)明中,反饋信號被發(fā)送至已經(jīng)接近全息對象的對象,以便用戶感覺到像是他或者她真實地觸摸與全息對象相對應(yīng)的對象。
可以通過各種方式實施反饋信號。例如,輸出單元可以包括激光輸出模塊和聲波輸出模塊中的至少一個。反饋信號可以包括通過激光輸出模塊輸出的激光和通過聲波輸出模塊輸出的聲波中的至少一個。激光或者聲波具有預(yù)定強度(例如,力度或者振幅)、周期(例如,頻率)、波形(例如,脈沖波、正弦波等)。通過輸出單元輸出的激光或者聲波被發(fā)送至用戶身體,以便用戶可以具有真實地觸摸全息對象的體驗。反饋信號也可以被稱為“全息信號”。輸出單元可以被實現(xiàn)為觸覺模塊153。
控制器180可以基于在對已經(jīng)接近全息對象的人體建模后獲得的坐標(biāo)信息,獲取將對其發(fā)送反饋信號的目標(biāo)點的坐標(biāo)信息。即,控制器180可以利用所建模的人體的坐標(biāo)信息,以便將反饋信號發(fā)送至人體當(dāng)前所在的位置。在這種情況下,控制器180可以不向其中已經(jīng)輸出全息對象的所有區(qū)域,而是僅向人體所在的區(qū)域輸出反饋信號。
在本發(fā)明中,全息輸出單元155可以獨立于用于輸出反饋信號的輸出單元被實現(xiàn)。即,全息輸出單元155可以獨立操作,而不管用于輸出反饋信號的輸出單元的激活或者停用狀態(tài)。在這種情況下,全息輸出單元155和用于輸出反饋信號的輸出單元可以具有單獨的配置。即,全息輸出單元155可以被實現(xiàn)作為光源,諸如LED或者可見光線范圍的激光器。并且用于輸出反饋信號的輸出單元可以被實現(xiàn)為與全息輸出單元155分離設(shè)置的激光輸出模塊、聲波輸出模塊、超聲波輸出模塊、風(fēng)輸出模塊、霧輸出模塊等。
如果在輸出單元的停用狀態(tài)下檢測出人體接近全息對象,則控制器180可以將輸出單元的停用狀態(tài)轉(zhuǎn)換為激活狀態(tài),以便輸出反饋信號。即,當(dāng)將輸出反饋信號時,平時處于停用狀態(tài)的輸出單元被轉(zhuǎn)換為激活狀態(tài)。停用狀態(tài)意指“關(guān)”狀態(tài),并且激活狀態(tài)意指“開”狀態(tài)。
在本發(fā)明中,輸出單元被控制成僅當(dāng)感測到用戶接近全息對象時才輸出反饋信號。與輸出單元始終處于“開”狀態(tài)的情況相比,這能夠降低功率消耗。
此外,在本發(fā)明中,當(dāng)人體已經(jīng)接近全息對象時,基于人體的坐標(biāo)信息,反饋信號僅被輸出至人體,不輸出至全息對象的整個區(qū)域。與反饋信號被輸出至全息對象的整個區(qū)域的情況相比,這能夠降低功率消耗。
在根據(jù)本發(fā)明的移動終端中,當(dāng)存在與用戶的接觸部分相關(guān)聯(lián)的功能時,控制器可以執(zhí)行該功能。例如,如果用戶的接觸部分的全息對象是圖標(biāo),則控制器可以執(zhí)行與圖標(biāo)相關(guān)的功能。在該情況下,全息輸出單元155可以通過全息圖的形式輸出與所執(zhí)行的功能相對應(yīng)的屏幕信息。
如上所述,在根據(jù)本發(fā)明的移動終端和控制方法中,當(dāng)感測到人體接近全息對象時,反饋信號被輸出至人體。這能夠允許用戶具有基本上觸摸全息對象的感覺。下面將更詳細(xì)地解釋本發(fā)明。
首先將參考附圖更詳細(xì)地解釋用于通過對全息對象和人體建模而檢測人體接近全息對象的方法。
圖8A至8E是示出在根據(jù)本發(fā)明的移動終端中的用于對全息對象和用戶身體建模(渲染)的方法的概念圖。
如圖8A中所示,移動終端可以對圖像傳感器感測到的全息對象810和人體建模。
參考圖8A,控制器180可以對全息對象810、全息對象810的外圍區(qū)域和人體1000建模。作為建模的結(jié)果,可以存在與全息對象810相對應(yīng)的第一建模對象810a、與全息對象810的外圍區(qū)域相對應(yīng)的第二建模對象810b和與人體相對應(yīng)的第三建模對象1000a。
基于全息對象810的輸出區(qū)域,外圍區(qū)域可以是預(yù)定距離內(nèi)的區(qū)域??梢栽诳刂破?80的控制下,或者根據(jù)用戶的選擇而設(shè)置外圍區(qū)域的范圍。
控制器180執(zhí)行相對于全息對象810、外圍區(qū)域和感測到的人體的建模,并且向已建模的對象應(yīng)用預(yù)設(shè)物理引擎從而執(zhí)行沖突檢測。通過沖突檢測,控制器180可以檢測是否已經(jīng)在人體、全息對象810和外圍區(qū)域之間發(fā)生沖突。
例如,一旦對第一至第三建模對象810a、810b、1000a建模,則控制器180可以獲取建模對象的坐標(biāo)信息。通過這種結(jié)構(gòu),控制器180可以識別全息對象810在預(yù)設(shè)空間中的輸出位置,并且可以識別全息對象810的外圍區(qū)域。
對人體建模可以意指使用3D相機捕捉人體,并且對與被包括在所捕捉的圖像內(nèi)的人體相對應(yīng)的圖像對象進(jìn)行建模。
控制器180可以通過建模獲取全息對象810和全息對象810的外圍區(qū)域的坐標(biāo)信息,并且獲取人體的坐標(biāo)信息。然后,控制器180可以將坐標(biāo)信息相互比較,由此確定全息對象810的外圍區(qū)域和人體的相對位置。
控制器180可以將全息對象的輸出位置的坐標(biāo)信息、外圍區(qū)域的坐標(biāo)信息和人體的坐標(biāo)信息相互比較。然后,控制器180可以確定人體的坐標(biāo)信息是否與全息對象810或者外圍區(qū)域的坐標(biāo)信息相同?;诒容^的結(jié)果,控制器180可以確定人體已經(jīng)接近全息對象(i)、已經(jīng)接觸全息對象(ii),或者已經(jīng)穿過全息對象(iii)。
在其中輸出全息對象810的預(yù)設(shè)空間中,可以通過相對于全息對象和人體的特定類型的建模,獲取全息對象810所在的第一區(qū)域的坐標(biāo)信息、與第一區(qū)域相鄰的第二區(qū)域(或者外圍區(qū)域)的坐標(biāo)信息,以及人體所在的區(qū)域的坐標(biāo)信息。
圖8B是圖示多種建模類型的概念圖。用于對全息對象建模的方法可以包括如圖8B(a)中所示的基于頂點建模類型、如圖8B(b)中所示的基于線(邊緣)建模類型、如圖8B(c)中所示的基于球建模類型,以及如圖8B(d)中所示的基于網(wǎng)格建模類型。
如圖8B(a)中所示,根據(jù)基于頂點建模類型,當(dāng)用戶將選擇全息對象的特定區(qū)域時,控制器180可以激活與所建模的全息對象當(dāng)中的特定區(qū)域相對應(yīng)的部分的頂點,由此識別用戶接近全息對象。
如圖8B(b)中所示,根據(jù)基于線(邊緣)建模類型,當(dāng)用戶將選擇全息對象的特定區(qū)域時,控制器180可以激活與所建模的全息對象當(dāng)中的特定區(qū)域相對應(yīng)的部分的線,由此識別用戶接近全息對象。
如圖8B(c)中所示,根據(jù)基于球建模類型,當(dāng)用戶將選擇全息對象的特定區(qū)域時,控制器180可以激活與所建模的全息對象當(dāng)中的特定區(qū)域相對應(yīng)的部分的球,由此識別用戶接近全息對象。
如圖8B(d)中所示,根據(jù)基于網(wǎng)格建模類型,當(dāng)用戶將選擇全息對象的特定區(qū)域時,控制器180可以激活與所建模的全息對象當(dāng)中的特定區(qū)域相對應(yīng)的部分的網(wǎng)格,由此識別用戶接近全息對象。
上述基于頂點建模類型、基于線(邊緣)建模類型、基于球建模類型,以及基于網(wǎng)格建模類型是本領(lǐng)域技術(shù)人員所熟知的,并且因而將省略其詳細(xì)解釋。
全息對象的建模類型和全息對象的外圍區(qū)域的建模類型可以彼此相同或者不同。
如圖8C中所示,可以通過上述多個建模類型中的一個對用戶身體建模。例如,控制器180可以基于從3D相機(或者深度相機)獲得的圖像對接近全息對象的人體建模。更特別地,控制器180可以應(yīng)用圖8C(a)中所示的點建模類型、圖8C(b)中所示的球建模類型,或者圖8C(c)中所示的網(wǎng)格建模類型。作為這種建模的結(jié)果,可以如圖所示地實現(xiàn)人體的形狀。
控制器180可以使用諸如環(huán)類型、套管類型或者手套類型的位置識別傳感器,而非3D相機,對人體(更特別地,用戶的手部)建模。
如所示,控制器180基于相對于全息對象和人體的建模結(jié)果,檢測人體接近全息對象??刂破?80確定3D點是否被包括在作為建模的結(jié)果獲取的人體的3D點(坐標(biāo)信息)內(nèi),以及全息對象模型內(nèi)(例如,網(wǎng)格模型,或者與全息對象的模型相對應(yīng)的坐標(biāo)信息)??商孢x地,控制器180確定組成全息對象的球當(dāng)中是否存在包括人體的3D點的球,由此感測人體接近全息對象。
又可替選地,控制器180確定組成全息對象的頂點或者線當(dāng)中是否存在與人體的3D點相對應(yīng)的頂點或者線,由此感測人體接近全息對象。
已經(jīng)基于上述建模獲取的全息對象、外圍區(qū)域和人體的坐標(biāo)信息可以根據(jù)每種建模類型可變。例如,基于球的建模類型的坐標(biāo)值可以與基于線的建模類型的坐標(biāo)值不同。
在上述說明中,確定人體的3D點是否被包括在與全息對象相對應(yīng)的模型中。但是這可以被理解為確定人體的3D點(坐標(biāo)信息)是否對應(yīng)于與全息對象相應(yīng)的模型的坐標(biāo)信息。
在根據(jù)本發(fā)明的移動終端中,可以通過多種建模類型當(dāng)中的基于對象特征的建模類型對全息對象建模。控制器180可以基于與全息對象相對應(yīng)的對象特征對全息對象建模。與全息對象相對應(yīng)的對象特征可以包括對象的類型、重量、尺寸、強度、形狀和表面中的至少一個。例如,如圖8D中所示,如果與全息對象相對應(yīng)的對象具有單調(diào)外觀(例如,書本),則控制器180可以通過相對簡單的建模類型而非復(fù)雜的建模類型對全息對象建模。可替選地,如圖8E中所示,如果與全息對象相對應(yīng)的對象具有復(fù)雜外觀(例如,仙人掌),則控制器180可以通過復(fù)雜的建模類型對全息對象建模,以便確定用戶已經(jīng)接近的區(qū)域或者部分。
控制器可以以不同方式執(zhí)行用于視覺輸出全息對象的建模,以及用于檢測用戶身體接近全息對象的建模。例如,如圖8D中所示,由于書本具有完全相同的紋理或者形狀,所以用戶具有與所觸摸的區(qū)域無關(guān)的類似觸覺感覺。因而,控制器180通過相對簡單的建模類型對具有這種特征的對象建模。作為另一示例,如圖8E中所示,由于仙人掌具有完全不同的紋理或者形狀,所以用戶根據(jù)觸摸區(qū)域具有不同的觸覺感覺。因而,控制器180通過詳細(xì)建模類型對具有這種特征的對象建模。
控制器可以對于全息對象相對應(yīng)的對象的部分,將被接觸的部分(例如,按鈕、凸起(把手)等等)建模。然后,控制器可以檢測用戶是否已經(jīng)接觸或者接近將被接觸的該部分。
可替選地,控制器可以根據(jù)區(qū)域,相對于單個全息對象執(zhí)行不同的建模類型。并且控制器可以通過詳細(xì)的方式對將被接觸的部分(例如,按鈕、凸起(把手)等等)建模。
如上所述,在根據(jù)本發(fā)明的移動終端中,可以通過對人體和全息對象建模而確定人體接近全息對象,并且反饋信號可以被輸出至人體。
下面將參考附圖更詳細(xì)地解釋輸出反饋信號的示例。
圖9A至9G是示出在根據(jù)本發(fā)明的移動終端中的全息對象和用戶身體之間的位置關(guān)系的概念圖。圖10A至10C是示出根據(jù)本發(fā)明的反饋信號的概念圖。圖11A至11D是示出與全息對象相對應(yīng)的對象特征的概念圖。
在根據(jù)本發(fā)明的移動終端中,不僅可以在用戶身體位于全息對象的輸出區(qū)域內(nèi)時,而且也在用戶身體處于全息對象的外圍區(qū)域處時將反饋信號發(fā)送至人體。
例如,如圖9A中所示,全息對象的輸出空間可以包括全息對象位于其中的第一區(qū)域910,以及與第一區(qū)域910相鄰的第二區(qū)域920(外圍區(qū)域)??刂破?80可以控制輸出單元以在人體1000位于第一區(qū)域910和第二區(qū)域920中的一個上時輸出反饋信號。
更特別地,當(dāng)人體位于第一區(qū)域910中或者位于第一區(qū)域910的邊界處時,控制器180可以確定人體位于第一區(qū)域910處。
當(dāng)人體位于第一區(qū)域910和第二區(qū)域920之間并且位于第二區(qū)域920的邊界處時,控制器180可以確定人體位于第二區(qū)域920處。
如上所述,控制器180將其中全息對象位于預(yù)設(shè)空間內(nèi)的第一區(qū)域910的坐標(biāo)信息、與第一區(qū)域910相鄰的第二區(qū)域920的坐標(biāo)信息和人體1000的坐標(biāo)信息相互比較。然后,控制器180確定全息對象和人體1000的相對位置,并且基于確定結(jié)果確定人體1000是否位于第一區(qū)域910或者第二區(qū)域920。
圖9A圖示人體1000位于第二區(qū)域920,并且圖9B至9D圖示人體1000位于第一區(qū)域910。特別地,圖9D示出人體1000已經(jīng)穿過全息對象。在本發(fā)明中,不僅在人體1000位于第一區(qū)域910處時,而且也在人體1000位于第二區(qū)域920處時,可以輸出反饋控制??刂破?80可以控制輸出單元以根據(jù)人體1000是否位于第一區(qū)域910處或者第二區(qū)域920處而輸出不同的反饋信號。
根據(jù)本發(fā)明的反饋信號可以由強度(例如,力度或者振幅)、周期(例如,頻率)和波形(例如,脈沖波、正弦波等)中的至少一個限定。即,由信號的強度、周期和波形的組合確定反饋信號的特征??刂破?80通過改變反饋信號的強度、周期和波形由輸出單元生成不同的反饋信號。即,在控制器的控制下,輸出單元可以生成在強度、周期和波形的至少一個中彼此不同的反饋信號。
因而,當(dāng)反饋信號被形成為激光或者聲波時,控制器180可以通過控制激光或者聲波的強度、振幅、頻率和波形中的至少一個而生成不同的反饋信號。
如圖10a中所示,信號力度可以意指是信號強度和信號大小中的一個。如圖10B中所示,信號周期意指是信號頻率。圖10B(b)中所示的信號具有比圖10B(a)中所示的信號更低的頻率。例如,反饋信號被實現(xiàn)為激光,具有圖10B(a)中所示的頻率的激光信號到達(dá)人體的次數(shù)比具有圖10B(b)中所示的頻率的激光信號到達(dá)人體的次數(shù)更多。
如圖10C中所示,信號波形是可變的。例如,信號波形可以是圖10C(a)中所示的脈沖波形、圖10C(b)中所示的正弦波形、圖10C(c)中所示的沖擊波形等等。如圖10C(d)中所示,信號波形可以是多種波形的組合。此外,在相同脈沖波的情況下,可以根據(jù)脈沖寬度實施不同類型的信號。
與當(dāng)人體1000處于第二區(qū)域920上時相比,當(dāng)人體1000處于第一區(qū)域910上時,控制器180可以輸出具有更高頻率的信號。
而且,控制器180可以在人體1000更接近全息對象時輸出不同的反饋信號。例如,當(dāng)人體1000更接近全息對象時,控制器180可以輸出更高頻率的信號,或者更高強度的信號??商孢x地,當(dāng)人體1000更接近全息對象時,控制器180可以通過改變波形輸出反饋信號,使得反饋信號具有不同的波形。
控制器180可以根據(jù)全息對象和人體1000之間的距離輸出具有不同強度、頻率和波形中的至少一個的反饋信號。
可替選地,當(dāng)人體1000更接近全息對象時,控制器180可以輸出具有線性增大強度的反饋信號,或者具有非線性增大強度(例如,非線性,諸如對數(shù))的反饋信號。
相反,當(dāng)人體變得遠(yuǎn)離全息對象時,控制器180可以輸出不同的反饋信號。在這種情況下,反饋信號的強度可以逐漸降低,或者反饋信號的頻率可以逐漸降低。
在本發(fā)明中,根據(jù)全息對象和人體之間的距離輸出不同的反饋信號。因而,用戶可以感覺到他或者她正在遠(yuǎn)離或者接近全息對象。
控制器180可以在人體1000已經(jīng)達(dá)到閾值范圍時,例如當(dāng)人體1000已經(jīng)接近全息對象或者已經(jīng)到達(dá)預(yù)設(shè)距離內(nèi)時,連續(xù)地輸出具有預(yù)定強度的信號。
控制器180可以根據(jù)正在接近全息對象的人體100的速度,即人體1000與全息對象的碰撞速度而輸出不同的反饋信號。假定存在第一速度和大于第一速度的第二速度,如果人體1000以第一速度與全息對象碰撞,則控制器180可以輸出具有第一大小的信號。相反,如果人體1000以第二速度與全息對象碰撞,則控制器180可以輸出具有比第一大小更大的第二大小的信號。
可替選地,當(dāng)人體1000以第一速度與全息對象碰撞時,控制器180可以輸出具有預(yù)定大小的正弦波。當(dāng)人體1000以第二速度與全息對象碰撞時,控制器180可以輸出沖擊波。
當(dāng)人體以第一速度接近全息對象時,控制器180可以輸出第一反饋信號。另一方面,當(dāng)人體以與第一速度不同的第二速度接近全息對象時,控制器180可以輸出與第一反饋信號不同的第二反饋信號。
如圖9B中所示,當(dāng)人體1000已經(jīng)接觸全息對象時,控制器180可以根據(jù)與全息對象相對應(yīng)的對象特征而輸出不同類型的反饋信號。對象特征可以包括對象的類型、重量、大小、強度、形狀和表面中的至少一個。
控制器180可以通過根據(jù)對象特征控制反饋信號的強度、頻率和波形中的至少一個輸出最適合對象特征的反饋信號。
例如,控制器180可以控制反饋信號,以便用戶感覺到與全息對象相對應(yīng)的紋理。例如,如果與全息對象相對應(yīng)的對象具有粗糙表面(例如,樹木)(參考圖9D),則控制器180可以響應(yīng)于用戶接觸全息對象的手勢(參考圖9B),或者用戶輕擦(觸摸)全息對象(參考圖9C)的手勢而輸出脈沖波。作為另一示例,如果與全息對象相對應(yīng)的對象具有柔軟表面(例如,棉花糖)(參考圖9E),則控制器180可以響應(yīng)于用戶接觸全息對象的手勢(參考圖9B),或者用戶輕擦(觸摸)全息對象(參考圖9C)的手勢而輸出正弦波。
作為又另一示例,如果與全息對象相對應(yīng)的對象具有諸如不規(guī)則砂礫場的表面,則控制器180可以響應(yīng)于用戶接觸全息對象的手勢(參考圖9B),或者用戶輕擦(觸摸)全息對象(參考圖9C)的手勢,通過組合正弦波、脈沖波和沖擊波中的至少兩個輸出反饋信號。
控制器180響應(yīng)于用戶相對于全息對象的手勢輸出不同的反饋信號。在這種情況下,可以根據(jù)與全息對象相對應(yīng)的對象特征確定反饋信號的特征。
例如,如果用戶手勢是如圖9F(a)或者9F(b)中所示的推或者拉全息對象,則控制器180可以根據(jù)與全息對象相對應(yīng)的對象特征而輸出適當(dāng)?shù)姆答佇盘枴?/p>
例如,基于推或者拉全息對象的相同手勢,控制器可以根據(jù)與全息對象相對應(yīng)的對象的重量,或者表面紋理而輸出不同的反饋信號。
例如,當(dāng)與全息對象相對應(yīng)的對象的重量重時,可以輸出大強度的反饋信號。通過這種配置,用戶可以感覺到他或者她基本上推或者拉對象。
根據(jù)本發(fā)明的移動終端的控制器180可以響應(yīng)于人體相對于全息對象的手勢輸出反饋信號。此外,控制器180可以控制全息圖輸出單元,使得全息對象的輸出位置和形狀中的至少一個被改變。
即,如圖9F(a)和9F(b)中所示,控制器180可以響應(yīng)于人體的手勢移動預(yù)設(shè)輸出空間中的全息對象。同樣地,如果與全息對象相對應(yīng)的對象不可推動,則控制器180可以通過改變?nèi)ο蟮男螤疃ㄖ脩粼撊ο蟛豢赏苿印@?,全息對象可以具有扭曲形狀?/p>
如圖9F(c)中所示,即使與全息對象相對應(yīng)的對象是可移動的,如果全息對象位于預(yù)設(shè)空間的邊界區(qū)域(例如,可輸出范圍)處,則響應(yīng)于人體手勢,控制器180可以改變?nèi)ο蟮男螤疃灰苿尤ο蟆?商孢x地,即使全息對象位于預(yù)設(shè)空間的邊界區(qū)域處,但是如果在全息對象附近存在外部對象(例如,墻壁),則即使感測到用戶推動全息對象的手勢,控制器180也可以不移動全息對象。外部對象可以被3D相機、接近傳感器等等感測。
如果與全息對象相對應(yīng)的對象是不可變形的(例如,樹木),則即使全息對象不再是可推動的,控制器180也可以不改變?nèi)ο蟮男螤?。在這種情況下,控制器180可以連續(xù)地輸出具有預(yù)定強度、頻率和波形中的至少一個的信號。
如果全息對象由于用戶的手勢而移動或者變形,則控制器可以將與全息對象的移動或者變形有關(guān)的反饋信號輸出給用戶。在這種情況下,反饋信號可以根據(jù)對象特征改變。例如,控制器可以在與全息對象相對應(yīng)的對象為氣球和樹木時輸出具有不同強度的信號。
如果全息對象被移動,則全息對象可以遠(yuǎn)離用戶的身體。因而,控制器180可以另外地提供反饋信號。即,控制器180基于全息對象和用戶之間的距離提供反饋信號。已經(jīng)參考圖9A和9B解釋了上述內(nèi)容,并且因而將省略其詳細(xì)解釋。
如果與全息對象相對應(yīng)的對象是用戶將穿過的對象,則如圖9F(d)中所示,控制器可以提供用戶的身體看起來已經(jīng)穿過全息對象的視覺效果。在這種情況下,控制器180可以輸出適當(dāng)?shù)姆答佇盘?,使得用戶感覺到他或者她好像已經(jīng)進(jìn)入與全息對象相對應(yīng)的對象。例如,對象可以為奶酪,并且反饋信號可以是激光或者是具有正弦波形的聲波。
在移動全息對象的情況下,控制器180可以基于參考軸、參考點、參考線或者參考表面移動全息對象的整個部分,或者可以移動全息對象的一部分。例如,如圖9G(a)中所示,如果與全息對象相對應(yīng)的對象具有參考軸(參考線或者參考表面)(例如,旋轉(zhuǎn)點、旋轉(zhuǎn)表面、接合點或者接合表面),則如圖9B(b)中所示,控制器180可以基于參考軸僅移動全息對象的區(qū)域920。對象可以是可旋轉(zhuǎn)的門,具有關(guān)節(jié)的用戶的身體等。
如上所述,在根據(jù)本發(fā)明的移動終端中,基于與全息對象相對應(yīng)的對象特征,并且基于全息對象和用戶之間的相對位置提供不同的反饋信號。結(jié)果,可以通過更真實的方式向用戶提供反饋。
在本發(fā)明中,可以通過使用視覺、觸覺和聽覺方法中的至少一個輸出關(guān)于能夠在其上輸出反饋信號的區(qū)域的信息。將參考附圖更詳細(xì)地解釋該內(nèi)容。
圖11是圖示在根據(jù)本發(fā)明的移動終端中的用于通知能夠在其中輸出反饋信號的區(qū)域的方法的概念圖。
在根據(jù)本發(fā)明的移動終端中,當(dāng)用戶接近全息對象時,可以輸出指示反饋信號的輸出區(qū)域的引導(dǎo)信息。在該情況下,引導(dǎo)信息可以實現(xiàn)為視覺信息、觸覺信息和聽覺信息。
控制器180可以向全息對象的外圍區(qū)域(或者第二區(qū)域,參考圖9A的920)輸出特定的圖形對象。即,控制器180可以在用戶進(jìn)入相應(yīng)區(qū)域時,通過輸出這種圖形對象而通知用戶反饋信號是可輸出的。控制器180可以在用戶的身體位于全息對象的外圍區(qū)域處時輸出指示能夠輸出反饋信號的引導(dǎo)信息或者通知信息。
此外,控制器180可以控制全息輸出單元155,以向全息對象的外圍區(qū)域當(dāng)中的其中能夠傳送反饋信號的區(qū)域、與人體的位置相對應(yīng)的區(qū)域輸出通知信息。在這種情況下,控制器180可以向與人體位于其中的區(qū)域相對應(yīng)的部分1320、1330而非外圍區(qū)域的整個部分輸出通知信息。在這種情況下,即使當(dāng)用戶位于其中能夠輸出反饋信號的區(qū)域附近,也可以輸出通知信息。通過這種配置,用戶可以通過更真實的方式感覺到他或者她正在接近全息對象。
圖12A和12B是圖示輸出反饋信號的另一實施例的概念圖。
在上述實施例中,通過移動終端的輸出單元發(fā)送反饋信號。然而,在根據(jù)本發(fā)明的移動終端中,可以通過與無線通信單元110通信的外部裝置將反饋信號發(fā)送至用戶。例如,控制器180可以通過與圖12A中所示的環(huán)式外部裝置或者圖12B中所示的手表式外部裝置數(shù)據(jù)通信而將反饋信號發(fā)送至用戶。環(huán)式或者手表式外部裝置可以包括用于輸出反饋信號的觸覺模塊。
環(huán)式或者手表式外部裝置可以向正在接近或者接觸全息對象的用戶的身體發(fā)送反饋信號。在這種情況下,可以從移動終端接收關(guān)于發(fā)送反饋信號的坐標(biāo)的信息。由于環(huán)式或者手表式外部裝置始終被布置成貼近正在接近或者接觸全息對象的用戶的身體,所以可以通過更真實的方式向用戶提供反饋。
環(huán)式或者手表式外部裝置還可以具有脈沖傳感器或者光電容積脈搏波(PPG)傳感器。PPG傳感器意指一種用于感測指示基于入射光的量和變化的血流速度,并且指示心跳產(chǎn)生的脈動分量的生物信息的傳感器。PPG傳感器被配置成通過使用其中設(shè)置的發(fā)光單元將特定波長的光照射至人體,并且隨著所照射的光穿過人體后被反射,通過使用其中設(shè)置的光接收單元接收所照射的光,來測量血流速度。
當(dāng)反饋信號被發(fā)送至用戶時,環(huán)式或者手表式外部終端可以通過經(jīng)由PPG傳感器感測用戶的血流速度而感測用戶對反饋信號的響應(yīng)。
在其中反饋信號被發(fā)送至用戶的情況下,如果PPG傳感器感測的用戶的血流速度與反饋信號被發(fā)送至用戶之前不同(即,如果血流速度具有不同模式或者劇烈變化),則環(huán)式或者手表式外部終端可以確定用戶已經(jīng)接收到反饋信號。
即,如果PPG傳感器所感測的用戶的血流速度(或者脈動分量)具有劇烈變化,則環(huán)式或者手表式外部終端可以確定用戶處于壓力下。此外,環(huán)式或者手表式外部終端可以確定已經(jīng)由于對用戶應(yīng)用的觸覺反饋信號而導(dǎo)致壓力。結(jié)果,環(huán)式或者手表式外部終端可以確定用戶已經(jīng)接收到了反饋信號。
當(dāng)從移動終端而非環(huán)式或者手表式外部終端發(fā)送反饋信號時,也可以由環(huán)式或者手表式外部終端通過PPG傳感器感測相對于反饋信號的用戶生物信息。
在這種情況下,環(huán)式或者手表式外部裝置的PPG傳感器感測的時間點可以與從移動終端發(fā)送反饋信號的時間點相同或者類似。關(guān)于時間點的信息可以從移動終端被發(fā)送至環(huán)式或者手表式外部裝置。環(huán)式或者手表式外部裝置的PPG傳感器可以由移動終端的控制器180控制。
通過PPG傳感器的感測信息可以從環(huán)式或者被手表式外部終端發(fā)送至移動終端。然后,移動終端的控制器180可以基于所接收的感測信息控制反饋信號的強度。即,如果用戶的血流速度隨著感測結(jié)果劇烈變化,則可以確定用戶由于反饋信號而受到很大壓力。在這種情況下,控制器180可以通過比傳統(tǒng)情況下低的強度輸出反饋信號。
如前述的,根據(jù)本發(fā)明的移動終端可以具有下述優(yōu)點。
首先,從移動終端通過單獨的配置發(fā)送反饋信號。即,根據(jù)各種修改以更加真實的方式向用戶提供反饋。通過這樣的配置,通過使用輸出單元,特別地,觸覺模塊,反饋信號可以被發(fā)送到接近全息對象的用戶的身體。因此,用戶可以感覺到他或者她實際觸摸被輸出到任意空間的全息對象。
其次,根據(jù)與全息對象相對應(yīng)的對象特性,可以向用戶的身體發(fā)送不同的反饋信號。例如,當(dāng)與全息對象相對應(yīng)的對象是棉花糖和木頭時可以向用戶提供不同的反饋信號。
第三,隨著反饋信號的振幅、強度、頻率、波形等被不同地改變可以表示與全息對象相對應(yīng)的對象特性。因此,用戶可以感到他或者她實際上正在觸摸與全息對象相對應(yīng)的對象。
第四,因為根據(jù)與全息對象相對應(yīng)的對象的類型不同地執(zhí)行全息對象的建模,所以可以增強處理速度。
使用機器可讀介質(zhì)可以實現(xiàn)各種實施例,在機器可讀介質(zhì)上存儲有用于通過處理器執(zhí)行在此陳述的各種方法的執(zhí)行的指令??赡艿臋C器可讀介質(zhì)的示例包括在此陳述的HDD(硬盤驅(qū)動)、SSD(固態(tài)盤)、SDD(硅盤驅(qū)動)、ROM、RAM、CD-ROM、磁帶、軟盤、以及光數(shù)據(jù)存儲裝置、其它類型的存儲介質(zhì),及其組合。如有必要,以載波(例如,互聯(lián)網(wǎng)上的傳輸)的形式可以實現(xiàn)機器可讀介質(zhì)。處理器可以包括移動終端的控制器180。
當(dāng)在沒有脫離其特性的情況下可以以多種形式實現(xiàn)本特征時,也應(yīng)理解的是,上述實施例不受前面描述的任何細(xì)節(jié)的限制,除非另有規(guī)定,而是應(yīng)在所附權(quán)利要求中限定的范圍內(nèi)被廣泛地解釋,并且因此旨在由所附的權(quán)利要求涵蓋落入權(quán)利要求的范圍和界限或者該范圍和界限的等同物內(nèi)的所有變化和變型。