產(chǎn)生增強現(xiàn)實內(nèi)容的方法和使用所述增強現(xiàn)實內(nèi)容的終端的制作方法
【專利摘要】提供了一種產(chǎn)生增強現(xiàn)實內(nèi)容的方法和使用所述增強現(xiàn)實內(nèi)容的終端。用于產(chǎn)生增強現(xiàn)實內(nèi)容的方法包括：接收用于基于電子書內(nèi)容來產(chǎn)生增強現(xiàn)實內(nèi)容的增強現(xiàn)實模式執(zhí)行請求；響應(yīng)于所述請求來激活相機以提供預(yù)覽圖像；將電子書的書數(shù)據(jù)加載到預(yù)覽圖像上；檢測在增強現(xiàn)實模式下發(fā)生的事件；檢索被預(yù)先映射到所述事件的反應(yīng)數(shù)據(jù)；將所述反應(yīng)數(shù)據(jù)加載到預(yù)覽圖像上。
【專利說明】產(chǎn)生增強現(xiàn)實內(nèi)容的方法和使用所述增強現(xiàn)實內(nèi)容的終端
【技術(shù)領(lǐng)域】
[0001]本發(fā)明總體上涉及增強現(xiàn)實，并且具體地講，涉及一種用于產(chǎn)生增強現(xiàn)實內(nèi)容的方法和使用所述內(nèi)容的終端，所述方法能夠通過加載經(jīng)由反映用戶的運動、其他傳感器值和通過解析電子書而獲取的數(shù)據(jù)構(gòu)造真實環(huán)境的預(yù)覽圖像，來提高用戶參與和沉浸水平。
【背景技術(shù)】
[0002]數(shù)字技術(shù)的進步已經(jīng)見證了能夠通信和處理信息的各種類型的移動裝置(諸如移動通信終端、個人數(shù)字助理(PDA)、電子記事本、智能電話和平板個人計算機(PC))的擴散。這種移動終端以用于諸如通訊、召開會議、組織、圖片拍攝、日程安排、游戲、閱讀和視頻的任務(wù)的各種已知的應(yīng)用為特色。
[0003]電子書是在文本和/圖片中包含信息的已出版的實體書的數(shù)字版本。相比于平裝書，電子書價格低廉，并可被部分購買。
[0004]電子書還能夠存儲在便攜式裝置中，從而讓用戶在做其他事情(諸如聽音樂)時靈活地閱讀電子書。
[0005]從出版商的角度看，電子書在以下方面有利:不涉及裝訂、分銷和存儲成本最低、電子書的內(nèi)容可被容易更新。
[0006]最近，增強現(xiàn)實正在用數(shù)字動畫豐富電子書，以使用戶使用智能裝置享受實體書的現(xiàn)實。
[0007]增強現(xiàn)實的書是新概念電子書。當啟用增強現(xiàn)實的電子裝置接近實體書時，增強現(xiàn)實動畫被播放。也就是說，增強現(xiàn)實的書是用以3維(3D)圖形和視頻實現(xiàn)的補充信息增強書的內(nèi)容的新技術(shù)。
[0008]由于各種2維(2D)和3D圖形和多媒體內(nèi)容被添加到電子書的頁面，因此電子書的內(nèi)容豐富并變得更生動。
[0009]雖然具有3D圖形的電子書是已知的，但是缺乏用于允許用戶的參與和與電子書的交互以及用于滿足各種用戶需求的技術(shù)。
[0010]也就是說，由于一個裝置不能反映每個用戶的行為和環(huán)境變化，因此在本領(lǐng)域中需要手動操作，諸如觸摸手勢。

【發(fā)明內(nèi)容】

[0011]本發(fā)明提供一種用于增強現(xiàn)實內(nèi)容產(chǎn)生的方法和使用所述增強現(xiàn)實內(nèi)容的移動終端，所述方法能夠通過將經(jīng)由預(yù)覽圖像獲取的用戶的運動或基于通過各種傳感器獲取的傳感器而提取的反應(yīng)數(shù)據(jù)以及通過解析電子書而獲取的默認數(shù)據(jù)加載到預(yù)覽圖像上，來提高用戶的參與水平和沉浸水平。
[0012]根據(jù)本發(fā)明的一方面，增強現(xiàn)實內(nèi)容產(chǎn)生方法包括:接收用于基于電子書內(nèi)容來產(chǎn)生增強現(xiàn)實內(nèi)容的增強現(xiàn)實模式執(zhí)行請求；響應(yīng)于所述請求來激活相機以提供預(yù)覽圖像；將電子書的書數(shù)據(jù)加載到預(yù)覽圖像上；檢測在增強現(xiàn)實模式下發(fā)生的事件；檢索被預(yù)先映射到所述事件的反應(yīng)數(shù)據(jù)；將所述反應(yīng)數(shù)據(jù)加載到預(yù)覽圖像上。
[0013]根據(jù)本發(fā)明的另一方面，被構(gòu)造為產(chǎn)生增強現(xiàn)實內(nèi)容的移動終端包括:顯示單元，被構(gòu)造為在增強現(xiàn)實模式下顯示從電子書的執(zhí)行屏幕轉(zhuǎn)換的預(yù)覽圖像，并呈現(xiàn)電子書的書數(shù)據(jù)和根據(jù)事件而檢索到的反應(yīng)數(shù)據(jù)；存儲單元，被構(gòu)造為存儲書數(shù)據(jù)、反應(yīng)數(shù)據(jù)和書數(shù)據(jù)和反應(yīng)數(shù)據(jù)被加載的預(yù)覽圖像；控制單元，被構(gòu)造為激活相機以獲取預(yù)覽圖像，獲得在增強現(xiàn)實模式下用戶的運動或傳感器值，基于用戶的運動或傳感器值檢索反應(yīng)數(shù)據(jù)，并加載書數(shù)據(jù)和反應(yīng)數(shù)據(jù)以產(chǎn)生增強現(xiàn)實內(nèi)容。
【專利附圖】

【附圖說明】
[0014]當結(jié)合附圖進行描述時，通過以下詳細描述，本發(fā)明的以上和其他方面、特征和優(yōu)點將會更加明顯，其中:
[0015]圖1示出根據(jù)本發(fā)明的實施例的移動終端的構(gòu)造；
[0016]圖2示出根據(jù)本發(fā)明的實施例的增強現(xiàn)實(AR)識別跟蹤引擎模塊的構(gòu)造；
[0017]圖3示出根據(jù)本發(fā)明的實施例的移動終端的AR內(nèi)容產(chǎn)生方法；
[0018]圖4示出根據(jù)本發(fā)明的實施例的用于解釋AR內(nèi)容產(chǎn)生方法的屏幕顯示；
[0019]圖5示出根據(jù)本發(fā)明的實施例的用于解釋在AR內(nèi)容產(chǎn)生方法中加載AR內(nèi)容的過程的屏幕顯示。
【具體實施方式】
[0020]參照附圖詳細描述本發(fā)明的實施例。相同的參考標號被用于在整個附圖中始終指示相同或相似部件。為了清楚和簡明，可省略在本領(lǐng)域中已知的結(jié)構(gòu)或處理的詳細描述。
[0021]根據(jù)本發(fā)明的實施例的移動終端的構(gòu)造及其控制方法不限于以下描述。在不脫離本發(fā)明的范圍的情況下，可做出各種修改。以硬件方式來進行以下描述。然而，本發(fā)明包括使用硬件和軟件兩者的技術(shù)。
[0022]在本發(fā)明的實施例中，移動終端可以是任意一種公知的信息通信和多媒體裝置，包括平板PC、移動通信終端、移動電話、個人數(shù)字助理(PDA)、智能電話、國際移動通信2000(IMT-2000)終端、碼分多址(CDMA)終端、寬帶碼分多址(WCDMA)終端、全球移動通信系統(tǒng)(GSM)終端、通用分組無線業(yè)務(wù)(GPRS )終端、增強數(shù)據(jù)GSM環(huán)境(EDGE )終端、通用移動通信業(yè)務(wù)(UMTS)終端、數(shù)字廣播終端和異步傳輸模式(ATM)終端。
[0023]圖1示出根據(jù)本發(fā)明的實施例的移動終端的構(gòu)造。
[0024]如圖1所示,移動終端100包括無線電通信單元105、控制單元200、存儲單元120、觸摸屏130、傳感器單元140、音頻處理單元160、按鍵輸入單元150、觸控筆180和相機單元190。
[0025]無線電通信單元105負責與基站或其他裝置進行無線電通信。無線電通信單元105可以是射頻(RF)通信單元，射頻(RF)通信單元包括用于對發(fā)送信號進行上變頻和放大的發(fā)送器(未示出)和用于對接收到的信號進行低噪聲放大和下變頻的接收器(未示出)。無線電通信單元105包括調(diào)制器(未示出)和解調(diào)器(未示出)。調(diào)制器對發(fā)送信號進行調(diào)制并將調(diào)制后的信號輸出到發(fā)送器，解調(diào)器對由接收器接收到的信號進行解調(diào)。調(diào)制器/解調(diào)器可以是長期演進(LTE)、寬帶碼分多址(WCDMA)、全球移動通信系統(tǒng)(GSM)、W1-Fi和WIBRO。無線電通信單元105能夠連接到公共無線電通信網(wǎng)絡(luò)和/或互聯(lián)網(wǎng)，以執(zhí)行與另一終端的無線電通信。無線電通信單元105可被設(shè)置有用于與LTE演進節(jié)點B (eNB)進行通信的LTE通信模塊以及W1-Fi通信模塊。
[0026]存儲單元120是控制單元200的存儲裝置。存儲單元120可以是硬盤、隨機存取存儲器(RAM)、只讀存儲器(ROM)或閃存。存儲單元120可存儲在移動終端100的內(nèi)部產(chǎn)生的數(shù)據(jù)以及通過無線電通信單元105或外部裝置連接接口(未示出)從外部裝置(例如，服務(wù)器、桌上型PC和平板PC)接收到的數(shù)據(jù)。
[0027]存儲單元120存儲啟動程序和用于管理移動終端100的操作系統(tǒng)(OS)。
[0028]存儲單元120存儲嵌入式應(yīng)用和第三方應(yīng)用。嵌入式應(yīng)用被安裝在移動終端中，并包括例如web瀏覽器、電子郵件應(yīng)用和即時消息應(yīng)用。第三方應(yīng)用包括能夠從網(wǎng)上市場下載并安裝在移動終端100中的多種多樣的應(yīng)用。第三方應(yīng)用可被容易地安裝和控制。當移動終端100通電時，啟動程序被加載到控制單元200的主存儲裝置(例如，RAM)上。啟動程序?qū)S加載到主存儲裝置上以操作移動終端100。OS將應(yīng)用加載到主存儲裝置上。
[0029]觸摸屏130包括觸摸面板132和顯示面板134。觸摸面板132可以以附加型被放置在顯示面板134的表面上，或者可以以on-cell型或in-cell型被插入到顯示面板134中。
[0030]觸摸面板132響應(yīng)于在其上做出的用戶的手勢來產(chǎn)生模擬信號(例如，觸摸事件)，并將模擬信號轉(zhuǎn)換為被發(fā)送到控制單元200的數(shù)字信號。
[0031]控制單元200基于來自觸摸面板132的信號來檢測用戶手勢?？刂茊卧?00響應(yīng)于可被分類為觸摸和觸摸手勢的用戶手勢來控制組件。
[0032]觸摸手勢包括“輕擊”、“拖動”和“輕彈”。也就是說，觸摸指示在觸摸屏上接觸的狀態(tài)，觸摸手勢指示觸摸狀態(tài)的任何改變。
[0033]觸摸面板132可以是包括用于檢測手部手勢的手觸摸面板和用于檢測筆手勢的筆觸摸面板的集成觸摸面板。手部觸摸面板被實現(xiàn)為電容型。手觸摸面板可被實現(xiàn)為電阻型、紅外型或微波型。
[0034]手觸摸面板能夠檢測由物體(例如，能夠影響電容量的導(dǎo)電材料物體)做出的觸摸事件以及由用戶的手部手勢做出的觸摸事件。筆觸摸面板可被實現(xiàn)為電磁感應(yīng)型。在此情況下，筆觸摸面板檢測由被制造來形成磁場的觸控筆180做出的觸摸事件。
[0035]在控制單元200的控制下，顯示面板134將從控制單元200輸入的視頻數(shù)據(jù)轉(zhuǎn)換為用于顯示的模擬信號。顯示面板134顯示各種屏幕，諸如鎖定、主頁、環(huán)境配置和應(yīng)用(App)執(zhí)行屏幕和鍵區(qū)。
[0036]如果檢測到用于屏幕解鎖的用戶手勢，則控制單元200可將鎖屏改變?yōu)橹黜撈聊换騛pp執(zhí)行屏幕。
[0037]主頁屏幕可包括多個頁面。用戶可選擇所述頁面中的一個，以便選擇的頁面被呈現(xiàn)。所述頁面包括至少一個應(yīng)用執(zhí)行屏幕(可選地，執(zhí)行圖像和執(zhí)行視圖)。所述頁面包括表示應(yīng)用的至少一個圖標(例如，環(huán)境設(shè)置、瀏覽器、電話和消息)。
[0038]所述頁面還包括至少一個應(yīng)用執(zhí)行屏幕(可選地，執(zhí)行圖像、執(zhí)行視圖)、至少一個圖標和空頁面。如果用戶選擇了(例如，觸摸了)圖標，則控制單元200執(zhí)行相應(yīng)應(yīng)用，并控制顯示面板134顯示執(zhí)行屏幕。[0039]顯示面板134在背景上顯示以上屏幕中的一個(主頁屏幕頁面)并在前景上顯示另一個(例如，鍵區(qū))，使得主屏幕頁面和鍵區(qū)重疊。顯示面板134還可在控制單元200的控制下顯示多個屏幕而彼此不重疊。例如，顯示面板134可在第一屏幕區(qū)域上顯示多個屏幕中的一個并在第二屏幕區(qū)域上顯示另一個。
[0040]可用液晶顯示器(IXD)、有機發(fā)光二極管(OLED)和有源矩陣OLED (AMOLED)中的一個來實現(xiàn)顯示面板134。
[0041]在本文中的實施例中，顯示面板134可顯示電子書中的至少一個頁面、在AR模式下執(zhí)行的預(yù)覽圖像、被加載到預(yù)覽圖像上的電子書的默認數(shù)據(jù)以及用戶的運動，其中，通過預(yù)覽圖像或者基于預(yù)覽圖像上的由傳感器單元140檢測到的傳感器值而提取的反應(yīng)數(shù)據(jù)檢測到所述用戶的運動。
[0042]音頻處理單元160與揚聲器(SPK)和麥克風(MIC)連接，以執(zhí)行語音識別、語音記錄、數(shù)字記錄和用于電話功能的音頻信號輸入/輸出。
[0043]音頻處理單元從控制單元200接收數(shù)字音頻信號，將數(shù)字音頻信號轉(zhuǎn)換為模擬音頻信號，對模擬音頻信號進行放大，并通過SPK輸出音頻信號。音頻處理單元160將通過MIC輸入的模擬音頻信號轉(zhuǎn)換為數(shù)字音頻信號，并將數(shù)字音頻信號輸出到控制單元200。
[0044]揚聲器轉(zhuǎn)換從音頻處理單兀160接收到的音頻信號，以按可聽聲波的形式輸出音頻信號。MIC將來自其他聲源的語音和聲波轉(zhuǎn)換為音頻信號。在處于AR模式下,揚聲器可輸出從電子書的文本數(shù)據(jù)轉(zhuǎn)換的語音數(shù)據(jù)。
[0045]傳感器單元140可包括例如速度傳感器、加速度傳感器、高度傳感器、溫度傳感器、陀螺儀傳感器和羅盤傳感器。傳感器單元140檢測物理量(諸如速度、加速度、高度、溫度、陀螺儀和羅盤)的改變，并能夠在AR模式下檢測外部環(huán)境的改變的變化，使用檢測到的變化來產(chǎn)生傳感器值，并將傳感器值發(fā)送到控制單元200。
[0046]鍵輸入單元150包括用于接收字母數(shù)字信息輸入的多個鍵(按鈕)和用于構(gòu)造和執(zhí)行各種功能的功能鍵。這些功能鍵包括例如菜單鍵、屏幕開/關(guān)鍵、電源開/關(guān)鍵和音量控制鍵。
[0047]鍵輸入單元150將與移動終端100的用戶配置和功能控制相關(guān)聯(lián)的鍵信號產(chǎn)生給控制單元200。
[0048]鍵信號包括例如電源開/關(guān)信號、音量控制信號和屏幕開/關(guān)信號?？刂茊卧?00響應(yīng)于這種鍵信號來控制組件。鍵輸入單元150的鍵(按鈕)被稱為硬鍵，而呈現(xiàn)在觸摸屏130上的鍵(按鈕)被稱為軟鍵。
[0049]控制單元200控制移動終端100的全部操作以及在終端100的內(nèi)部組件中的信號流，處理數(shù)據(jù)，并控制電池向組件的電力供應(yīng)。控制單元200包括用于存儲應(yīng)用和操作系統(tǒng)
(OS)的主存儲裝置、用于臨時存儲將被寫入存儲單元120的數(shù)據(jù)和從存儲單元120讀取的數(shù)據(jù)的高速緩沖存儲器、中央處理單元(CPU)和圖形處理單元(GPU)。OS提供硬件和程序之間的接口，并管理計算資源(諸如CPU、圖形處理單元(GPU)、主存儲裝置和輔助存儲裝置)。
[0050]也就是說，OS操作移動終端100，調(diào)度任務(wù)并控制CPU和GPU操作。OS負責控制應(yīng)用程序的執(zhí)行并管理數(shù)據(jù)和文件。
[0051]如本領(lǐng)域中公知的，CPU是計算機系統(tǒng)的用于執(zhí)行數(shù)據(jù)運算和比較并解釋和執(zhí)行命令的核心控制單元。GPU是用于代替CPU對圖形數(shù)據(jù)執(zhí)行運算和比較并解釋和執(zhí)行與圖形數(shù)據(jù)相關(guān)的命令的圖形控制單元。CPU和GPU中的每個都可被制造為兩個或更多個獨立核(例如，四核)的封裝件。CPU和GPU可集成為片上系統(tǒng)(SoC)。CPU和GPU也可以是多層封裝件。CPU和GPU的結(jié)構(gòu)可被稱為應(yīng)用處理器(AP)。
[0052]在本發(fā)明的實施例中，控制單元200包括管理器模塊210、電子書內(nèi)容獲取模塊114、AR識別跟蹤引擎模塊230和數(shù)據(jù)加載模塊118。
[0053]管理器模塊210監(jiān)視以檢測當電子書的頁面被顯示在顯示面板134上時或當電子書被執(zhí)行時的用戶的AR模式執(zhí)行請求。在檢測到AR模式執(zhí)行請求時,管理器模塊210執(zhí)行與AR模式執(zhí)行請求相關(guān)的至少一個模塊。
[0054]當檢測到用戶的AR模式執(zhí)行請求時，管理器模塊210執(zhí)行電子書數(shù)據(jù)獲取模塊220、AR識別跟蹤引擎模塊230、數(shù)據(jù)加載模塊240和相機單元190。用戶可使用在觸摸屏130上以文本“AR”的形式呈現(xiàn)的軟鍵、硬鍵或手勢來輸入AR模式執(zhí)行請求。
[0055]電子書數(shù)據(jù)獲取模塊220由管理器模塊210激活，并解析已經(jīng)執(zhí)行或正在執(zhí)行的電子書中的至少一個頁面。通過電子書解析，至少一種預(yù)先存儲的書數(shù)據(jù)被映射到相應(yīng)頁面，并且提取的數(shù)據(jù)被顯示在顯示面板134上。
[0056]所述書數(shù)據(jù)包括與相應(yīng)的電子書庫相關(guān)聯(lián)的文本數(shù)據(jù)、圖像數(shù)據(jù)、2D圖形數(shù)據(jù)、3D圖形數(shù)據(jù)、視頻數(shù)據(jù)、音頻數(shù)據(jù)和振動數(shù)據(jù)中的至少一種。
[0057]如圖2中所示，AR識別跟蹤引擎模塊230包括預(yù)覽圖像獲取器232、默認數(shù)據(jù)提取器234、特定事件檢測器236和反應(yīng)數(shù)據(jù)提取器238。
[0058]預(yù)覽圖像獲取器232將來自相機單元190的預(yù)覽圖像輸出到顯示面板134。預(yù)覽圖像通過相機單元190的圖像傳感器被得到并被顯示在顯示面板134上。
[0059]默認數(shù)據(jù)提取器234從由電子書數(shù)據(jù)獲取模塊220獲取的數(shù)據(jù)中提取將在AR模式下輸出到預(yù)覽圖像上的數(shù)據(jù)。
[0060]例如，由于AR模式將當前的實際用戶環(huán)境的預(yù)覽圖像用為背景，因此除了默認的背景圖像之外，在電子書的圖像數(shù)據(jù)中僅可提取特征圖像。
[0061]默認數(shù)據(jù)提取器234能夠一起提取音頻數(shù)據(jù)和預(yù)覽圖像。隨著電子書的執(zhí)行而顯示的文本數(shù)據(jù)可在AR模式下被轉(zhuǎn)換為語音(文本到語音)。
[0062]上述默認數(shù)據(jù)是示例，并且可根據(jù)用戶的配置或電子書設(shè)計者的配置用各種數(shù)據(jù)來替代。
[0063]特定事件檢測器236檢測在通過在AR模式下執(zhí)行的相機單元190獲取的預(yù)覽圖像中的用戶的運動。用戶的運動表示通過相機單元190檢測到的物體或用戶的移動，或者特定事件檢測器236能夠檢測到的用戶或?qū)ο蟮奈恢?、角度和方向中的改變。例如，沒有運動的周圍環(huán)境圖像不被檢測為用戶的運動。
[0064]特定事件檢測器236能夠?qū)⒃谙嗤鴺藚^(qū)域處發(fā)生的用戶的運動檢測為預(yù)覽圖像中的默認數(shù)據(jù)。
[0065]特定事件檢測器236接收通過傳感器單元140的各種傳感器(諸如加速度傳感器、重力傳感器、羅盤傳感器、陀螺儀傳感器、溫度傳感器和運動識別傳感器)獲取的傳感器值中的至少一個。運動識別傳感器檢測物體的運動或位置，并且可被實現(xiàn)為與例如電磁傳感器、加速度傳感器、高度計或陀螺儀傳感器封裝在一個芯片中的集成傳感器。
[0066]在實施例中，如果用戶按與水平線的角度傾斜了移動終端，則傳感器單元140檢測斜率，并將與所述斜率相應(yīng)的傳感器值產(chǎn)生給特定事件檢測器236。
[0067]在另一實施例中，如果用戶對MIC吹氣，則傳感器單元140檢測到用戶的呼吸，并將傳感器值產(chǎn)生給特定事件檢測器236。
[0068]反應(yīng)數(shù)據(jù)提取器238可從元數(shù)據(jù)表提取映射到用戶運動和/或由特定事件檢測器236提供的傳感器值的反應(yīng)數(shù)據(jù)。
[0069]元數(shù)據(jù)表可存儲根據(jù)與默認數(shù)據(jù)的坐標區(qū)域相應(yīng)地產(chǎn)生的特定事件而被輸出到預(yù)覽圖像的反應(yīng)數(shù)據(jù)。反應(yīng)數(shù)據(jù)是根據(jù)特定事件加載到預(yù)覽圖像上的新數(shù)據(jù)，并且可以是從預(yù)覽圖像上的默認數(shù)據(jù)改變的數(shù)據(jù)或者替換預(yù)覽圖像上的默認數(shù)據(jù)的數(shù)據(jù)。
[0070]元數(shù)據(jù)表還可包括被預(yù)定根據(jù)在除了相同坐標區(qū)域以外的坐標區(qū)域處產(chǎn)生的特定事件被加載到預(yù)覽圖像上的作為默認數(shù)據(jù)的反應(yīng)數(shù)據(jù)。反應(yīng)數(shù)據(jù)可被加載到相同坐標區(qū)域上作為默認數(shù)據(jù)，或者被加載為其他坐標區(qū)域上。
[0071]數(shù)據(jù)加載模塊240將反應(yīng)數(shù)據(jù)加載到輸出默認數(shù)據(jù)的預(yù)覽圖像上以便被顯示在顯示面板134上。數(shù)據(jù)加載模塊240可加載響應(yīng)于特定事件而從默認數(shù)據(jù)改變的反應(yīng)數(shù)據(jù)，或可加載用于替換預(yù)覽圖像上的默認數(shù)據(jù)的反應(yīng)數(shù)據(jù)。
[0072]雖然難以列舉可融合的所有的功能組件，但是移動終端100還可包括全球定位系統(tǒng)(GPS)模塊、近場通信(NFC)模塊和振動電機。GPS模塊可用來定位移動終端漫游的區(qū)域。振動電機可用來向用戶告警特定情況的開始和結(jié)束。移動終端100可被實現(xiàn)為具有或不具有上述和其他組件中的任意一種。
[0073]圖3示出根據(jù)本發(fā)明的實施例的移動終端的AR內(nèi)容產(chǎn)生方法。
[0074]在步驟301，控制單元200響應(yīng)于用戶請求來執(zhí)行電子書功能，并顯示由用戶選擇的原始數(shù)據(jù)?？刂茊卧?00可在移動終端100的顯示面板134上顯示電子書中的至少一個頁面。
[0075]控制單元200監(jiān)視以檢測用戶請求，并且如果檢測到用戶請求，則在步驟303確定用戶請求是否是AR模式請求。如上所述，在AR模式下，與電子書相關(guān)的默認數(shù)據(jù)被加載到真實環(huán)境的預(yù)覽圖像上，并且反應(yīng)數(shù)據(jù)響應(yīng)于特定事件的發(fā)生被加載到具有默認數(shù)據(jù)的預(yù)覽圖像上，以便產(chǎn)生AR內(nèi)容。用戶可使用移動終端的按鈕或基于觸摸的輸入界面來輸入AR模式請求。
[0076]如果用戶請求不是AR模式請求，則在步驟305控制單元200執(zhí)行與用戶請求相應(yīng)的功能。例如，控制單元200可響應(yīng)于用戶請求顯示電子書執(zhí)行屏幕并結(jié)束電子書。
[0077]如果用戶請求是AR模式請求，則在步驟307控制單元200執(zhí)行相機單元190并從電子書提取默認數(shù)據(jù)。
[0078]在AR模式下控制單元200提取作為默認數(shù)據(jù)將被顯示在顯示面板134上的數(shù)據(jù)，其中，所述默認數(shù)據(jù)為預(yù)先映射到電子書的文本、圖像、2D圖形、3D圖形、視頻、音頻和振動數(shù)據(jù)中的至少一種。
[0079]當AR模式將當前的真實用戶環(huán)境的預(yù)覽圖像用作背景時，除了在AR模式下的電子書的基本背景屏幕圖像以外，控制單元200能夠提取上述數(shù)據(jù)中的至少一種。電子書的文本數(shù)據(jù)可被轉(zhuǎn)換為音頻數(shù)據(jù)(文本到語音)。
[0080]默認數(shù)據(jù)可由電子書設(shè)計者預(yù)先存儲。
[0081]在步驟309，控制單元200將默認數(shù)據(jù)加載到預(yù)覽圖像上?？刂茊卧?00可通過預(yù)覽圖像識別真實環(huán)境中的物體、背景和人，檢測構(gòu)成真實環(huán)境的組件的坐標，并基于所述檢測結(jié)果來配置參考坐標平面以輸出默認數(shù)據(jù)和反應(yīng)數(shù)據(jù)。也就是說，控制單元200可基于配置的參考坐標平面將默認數(shù)據(jù)加載到預(yù)覽圖像上。
[0082]在步驟311，控制單元200確定特定事件是否發(fā)生。例如，控制單元200可將兩個事件檢測為特定事件。
[0083]所述事件之一可以是通過預(yù)覽圖像檢測到的用戶的運動。用戶的運動表示通過相機單元190檢測到的用戶或物體的移動，或者控制單元200能夠檢測的用戶或物體的位置、角度和方向的改變。例如，不具有運動的周圍環(huán)境圖像不被檢測為用戶的運動。
[0084]控制單元200可通過預(yù)覽圖像檢測在與默認數(shù)據(jù)相應(yīng)的坐標區(qū)域上發(fā)生的用戶的運動。
[0085]另一事件可由傳感器單元140檢測。例如，由上述傳感器中的至少一個檢測的在移動終端中發(fā)生的改變可被視為特定事件。
[0086]如果沒有檢測到特定事件，則控制單元220返回步驟309以繼續(xù)將默認數(shù)據(jù)加載到預(yù)覽圖像上。
[0087]如果特定事件被檢測到，則在步驟313，控制單元200響應(yīng)于檢測到特定事件來提取反應(yīng)數(shù)據(jù)?？刂茊卧?00可檢索被預(yù)先映射到用戶運動和/或從特定事件提取的傳感器值的反應(yīng)數(shù)據(jù)。反應(yīng)數(shù)據(jù)可被存儲為被映射到相應(yīng)的用戶運動和傳感器值。
[0088]例如，可以以輸出形式從默認數(shù)據(jù)來改變反應(yīng)數(shù)據(jù)，或者反應(yīng)數(shù)據(jù)可替換默認數(shù)據(jù)，以在預(yù)覽圖像上示出默認數(shù)據(jù)的改變。除默認數(shù)據(jù)之外，反應(yīng)數(shù)據(jù)還可被重新加載到預(yù)覽圖像上。
[0089]反應(yīng)數(shù)據(jù)可在相同坐標區(qū)域被加載為默認數(shù)據(jù)，或者在與默認數(shù)據(jù)相鄰的預(yù)定坐標區(qū)域被加載到預(yù)覽圖像上。
[0090]反應(yīng)數(shù)據(jù)可由電子書設(shè)計者或移動終端設(shè)計者來構(gòu)造并被存儲在元數(shù)據(jù)表中。
[0091]控制單元200可將反應(yīng)數(shù)據(jù)加載到示出默認數(shù)據(jù)的預(yù)覽圖像上。也就是說，控制單元200將反應(yīng)數(shù)據(jù)與默認數(shù)據(jù)一起加載到預(yù)覽圖像上以顯示具有默認數(shù)據(jù)的預(yù)覽圖像，并且反應(yīng)數(shù)據(jù)被顯示在顯示面板134上。
[0092]通過將響應(yīng)于特定事件所提取的反應(yīng)數(shù)據(jù)加載到已經(jīng)加載了電子書的默認數(shù)據(jù)的預(yù)覽圖像上而產(chǎn)生的數(shù)據(jù)被稱為AR內(nèi)容。
[0093]在步驟317，控制單元200確定AR模式終止請求是否被檢測到，并且如果AR模式終止請求被檢測到，則在步驟319控制單元200結(jié)束AR模式?？刂茊卧?00可停用相機190，并將在先前步驟中所產(chǎn)生的AR內(nèi)容存儲在存儲單元120中。如果在步驟317沒有檢測到AR模式終止請求，則所述方法進行到步驟318以執(zhí)行相應(yīng)功能。
[0094]AR內(nèi)容由加載到在用戶執(zhí)行AR模式時的真實環(huán)境圖像的預(yù)覽圖像上的電子書的默認數(shù)據(jù)和反應(yīng)數(shù)據(jù)構(gòu)成。因此，與傳統(tǒng)的電子書相比，AR內(nèi)容在允許其他用戶的參與方面是全新的，并且是逼真的。
[0095]如以上所描述的，本發(fā)明的AR內(nèi)容產(chǎn)生系統(tǒng)和方法能夠?qū)⒄鎸嵀h(huán)境的預(yù)覽圖像以及根據(jù)通過移動終端的各種傳感器獲得的傳感器值而檢索的反應(yīng)數(shù)據(jù)和通過解析電子書而獲得的數(shù)據(jù)一起輸出，以便為用戶提供更生動和更逼真的電子書AR內(nèi)容。
[0096]本發(fā)明的AR內(nèi)容產(chǎn)生系統(tǒng)和方法響應(yīng)于通過預(yù)覽圖像檢測到的用戶的運動來提取反應(yīng)數(shù)據(jù)，并將所述反應(yīng)數(shù)據(jù)加載到真實環(huán)境的預(yù)覽圖像上，以便實現(xiàn)用戶參與和動態(tài)AR內(nèi)容，從而提高用戶在電子書中的沉浸感。
[0097]圖4示出根據(jù)本發(fā)明的實施例的用于解釋AR內(nèi)容產(chǎn)生方法的屏幕顯示。
[0098]如圖4中所示，執(zhí)行屏幕示出在移動終端中執(zhí)行的電子書的原始數(shù)據(jù)(如顯示器401中所示)。
[0099]執(zhí)行屏幕示出電子書的頁面之一。詳細地講，電子書頁面示出了刷牙動作，所述電子書頁面包括口腔環(huán)境圖像410和特定文本數(shù)據(jù)435?？谇画h(huán)境圖像410包括細菌人物圖像 420。
[0100]呈現(xiàn)出電子書的原始數(shù)據(jù)的執(zhí)行屏幕可提供用于將模式切換到AR模式的軟鍵“AR”，如圖4的410中所示。如果用戶使用AR鍵請求執(zhí)行AR模式，則控制單元200將模式切換到具有如圖4的顯示器402中所示的AR模式執(zhí)行屏幕的AR模式。
[0101]顯示器402中所示的AR模式執(zhí)行屏幕將通過相機單元415輸入的用戶的實際客廳圖像430顯示為預(yù)覽圖像。
[0102]在AR模式下，控制單元200可檢查通過相機415輸入的預(yù)覽圖像上的坐標，并識別物體、人和背景。假設(shè)兒童、客廳地板、書架、沙發(fā)和玩具被區(qū)別地檢測出。
[0103]在電子書的多個數(shù)據(jù)中，細菌人物圖像數(shù)據(jù)420可被顯示在如圖4的顯示器402中所示的執(zhí)行屏幕上，并且電子書的文本數(shù)據(jù)“請戰(zhàn)勝細菌”可被轉(zhuǎn)換為將通過SPK被輸出的語音數(shù)據(jù)。
[0104]細菌人物圖像420可以是預(yù)先構(gòu)造為在顯示器401的執(zhí)行屏幕期間當模式被切換到AR模式時被加載到預(yù)覽圖像上的默認數(shù)據(jù)?？蓪⒓毦宋飯D像420構(gòu)造為被呈現(xiàn)于在預(yù)覽圖像中被檢測到的人的坐標區(qū)域。
[0105]通過相機415輸入的預(yù)覽圖像也可根據(jù)在AR模式下的移動終端的位置的改變而改變。這表示預(yù)覽圖像是被實時拍攝的環(huán)境的實時圖像。
[0106]雖然預(yù)覽圖像改變，但是控制單元200可用預(yù)覽圖像上的坐標來區(qū)分人、物體和背景，并且默認數(shù)據(jù)可根據(jù)檢測到的坐標被顯示在新的坐標區(qū)域。
[0107]例如，如果在客廳被拍攝為如顯示器402中所示的預(yù)覽的狀態(tài)下移動終端移動到臥室，則臥室圖像450被顯示在如圖4的顯示器403中所示的執(zhí)行屏幕上。細菌圖像420可被加載在人的特定坐標區(qū)域。
[0108]如果在人的特定坐標區(qū)域440檢測到刷牙運動445，則控制單元200可將被預(yù)先映射到刷牙運動445的新的反應(yīng)數(shù)據(jù)460加載到預(yù)覽圖像上。新的人物460可以是具有預(yù)定逃走動作的細菌人物圖像460。圖4的顯示器403中的刷牙運動是用戶的運動。
[0109]圖5示出根據(jù)本發(fā)明的實施例的用于解釋在AR內(nèi)容產(chǎn)生方法中加載AR內(nèi)容的過程的屏幕顯示。
[0110]如圖5中所示，顯示器501的執(zhí)行屏幕顯示由移動終端執(zhí)行的電子書的原始數(shù)據(jù)。例如，顯示器501的執(zhí)行屏幕包括作為背景的天空圖像510、蒲公英圖像520和作為電子數(shù)據(jù)的一部分的文本數(shù)據(jù)525。
[0111]如顯示器501中所示的顯示電子書的原始數(shù)據(jù)的執(zhí)行屏幕可提供能夠切換到AR模式的標志“AR”511。如果用戶選擇標志511，則電子書的模式被切換到如顯示器502的執(zhí)行屏幕中所示的AR模式。[0112]如顯示器502中所示的AR模式執(zhí)行屏幕示出了通過相機415被生動地輸入為預(yù)覽圖像530的用戶的房間的圖像。
[0113]控制單元200檢查被識別為平面的區(qū)域的坐標，并將蒲公英圖像520作為默認數(shù)據(jù)加載到平面坐標區(qū)域上。這種執(zhí)行也可由控制單元200預(yù)先配置。
[0114]執(zhí)行屏幕503示出了蒲公英圖像520被加載到桌子的坐標區(qū)域540上的預(yù)覽圖像，其中，控制單元220將桌子的坐標區(qū)域540部分地識別為平面。
[0115]當蒲公英圖像520被加載時，文本數(shù)據(jù)“溫暖的春風輕輕地在陽光下的田地上吹過”被轉(zhuǎn)換為將通過SPK輸出的語音數(shù)據(jù)。
[0116]如果用戶對著移動終端的吹氣傳感器526吹氣，則吹氣傳感器526將與吹的氣相應(yīng)的傳感器值產(chǎn)生給控制單元200，使得控制單元200基于傳感器值檢索反應(yīng)數(shù)據(jù)550，并將反應(yīng)數(shù)據(jù)550加載到預(yù)覽圖像上，如顯示器503的執(zhí)行屏幕中所示。
[0117]例如，控制單元200檢索花瓣在風中旋轉(zhuǎn)的圖像數(shù)據(jù)550，并將所述圖像數(shù)據(jù)加載到蒲公英圖像520的坐標區(qū)域周圍和/或加載到蒲公英圖像520的相同坐標區(qū)域上，其中，圖像數(shù)據(jù)550被預(yù)先映射到來自映射表的傳感器值。
[0118]如上所述，本發(fā)明的AR內(nèi)容產(chǎn)生方法和移動終端能夠顯示真實環(huán)境的預(yù)覽圖像連同根據(jù)通過移動終端的各種傳感器獲取的傳感器值而檢索到的反應(yīng)數(shù)據(jù)，以及通過解析電子書而獲取的數(shù)據(jù)，從而提供更生動的電子書內(nèi)容和更逼真的AR內(nèi)容。
[0119]此外，根據(jù)本發(fā)明的AR內(nèi)容產(chǎn)生方法和移動終端能夠響應(yīng)于通過預(yù)覽圖像檢索到的用戶的運動來檢索反應(yīng)數(shù)據(jù)，并將所述反應(yīng)數(shù)據(jù)加載到真實環(huán)境的預(yù)覽圖像上，從而實現(xiàn)用戶參與和動態(tài)AR內(nèi)容，并提高電子書閱讀者的沉浸水平。
[0120]以上描述的根據(jù)本發(fā)明的實施例的移動終端的AR內(nèi)容產(chǎn)生方法和設(shè)備可以以計算機可執(zhí)行程序命令的形式來實現(xiàn)，并被存儲在計算機可讀存儲介質(zhì)中。計算機可讀存儲介質(zhì)可以以單獨形式或組合形式來存儲程序命令、數(shù)據(jù)文件和數(shù)據(jù)結(jié)構(gòu)。記錄在存儲介質(zhì)中的程序命令可被設(shè)計并被實現(xiàn)用于本發(fā)明的各種實施例，或可被計算機軟件領(lǐng)域的技術(shù)人員使用。計算機可讀存儲介質(zhì)包括磁介質(zhì)(諸如軟盤和磁帶)、包括高密度盤(CD) ROM和數(shù)字視頻盤(DVD) ROM的光學(xué)介質(zhì)、磁光介質(zhì)(諸如光磁盤)和被設(shè)計用于存儲和執(zhí)行程序命令的硬件裝置(諸如R0M、RAM和閃存)。程序命令包括可由計算機使用解釋器來執(zhí)行的語言代碼以及由編譯器創(chuàng)建的機器語言代碼?？墒褂糜糜趫?zhí)行本發(fā)明的各種實施例的一個或更多個軟件模塊來實現(xiàn)上述硬件裝置。
[0121]雖然已經(jīng)使用特定術(shù)語描述了本發(fā)明的優(yōu)選實施例，但是說明書和附圖將被認為是說明性的而不是限制性的，以幫助理解本發(fā)明?？稍诓幻撾x由權(quán)利要求限定的本發(fā)明的精神和范圍的情況下，在本文中做出形式和細節(jié)上的各種改變。
【權(quán)利要求】
1.一種增強現(xiàn)實內(nèi)容產(chǎn)生方法，包括: 接收用于基于電子書內(nèi)容來產(chǎn)生增強現(xiàn)實內(nèi)容的增強現(xiàn)實模式執(zhí)行請求； 響應(yīng)于所述請求執(zhí)行相機，并提供預(yù)覽圖像； 將電子書的書數(shù)據(jù)加載到預(yù)覽圖像上； 檢測在增強現(xiàn)實模式下發(fā)生的事件； 提取被預(yù)先映射到所述事件的反應(yīng)數(shù)據(jù)； 將提取的反應(yīng)數(shù)據(jù)加載到預(yù)覽圖像上。
2.如權(quán)利要求1所述的方法，還包括:在增強現(xiàn)實模式下從電子書的書數(shù)據(jù)中提取將被呈現(xiàn)在預(yù)覽圖像上的默認數(shù)據(jù)。
3.如權(quán)利要求1所述的方法，還包括: 存儲被加載了反應(yīng)數(shù)據(jù)和書數(shù)據(jù)的預(yù)覽圖像； 識別被提供為預(yù)覽圖像的真實環(huán)境的物體、人和背景； 確定在預(yù)覽圖像上的物體、人和背景的坐標， 其中，在與書數(shù)據(jù)相同的坐標區(qū)域處或在與書數(shù)據(jù)相鄰的另一坐標區(qū)域處加載反應(yīng)數(shù)據(jù)， 其中，書數(shù)據(jù)被加載到通過對預(yù)覽圖像的坐標檢測而被識別為平面的參考坐標的區(qū)域上。
4.如權(quán)利要求1所述的方法，其中，檢測所述事件的步驟包括以下步驟中的至少一個: 檢測預(yù)覽圖像中的用戶的運動； 檢測通過移動終端的傳感器單元獲得的傳感器值。
5.如權(quán)利要求4所述的方法，其中，傳感器單元包括加速度傳感器、重力傳感器、羅盤傳感器、陀螺儀傳感器、溫度傳感器和運動傳感器中的至少一個， 其中，反應(yīng)數(shù)據(jù)包括從預(yù)覽圖像上的默認數(shù)據(jù)改變的數(shù)據(jù)或者替換預(yù)覽圖像上的默認數(shù)據(jù)的數(shù)據(jù)。
6.如權(quán)利要求4所述的方法，還包括:將被映射到用戶的運動和傳感器值的反應(yīng)數(shù)據(jù)存儲在映射表中。
7.如權(quán)利要求1所述的方法，其中，除了基本的背景圖像數(shù)據(jù)以外，電子書的書數(shù)據(jù)包括人物圖像數(shù)據(jù)、音頻數(shù)據(jù)、振動數(shù)據(jù)、視頻數(shù)據(jù)、2維(2D)圖形數(shù)據(jù)和3D圖形數(shù)據(jù)中的至少一個。
8.如權(quán)利要求1所述的方法，其中，加載電子書的書數(shù)據(jù)的步驟包括: 將電子書的文本數(shù)據(jù)轉(zhuǎn)換為語音數(shù)據(jù)； 輸出所述語音數(shù)據(jù)。
9.一種被構(gòu)造為廣生增強現(xiàn)實內(nèi)各的移動終端，所述終端包括: 顯示單元，被構(gòu)造為在增強現(xiàn)實模式下顯示從電子書的執(zhí)行屏幕轉(zhuǎn)換的預(yù)覽圖像，并呈現(xiàn)電子書的書數(shù)據(jù)和根據(jù)事件檢索的反應(yīng)數(shù)據(jù)； 存儲單元，被構(gòu)造為存儲書數(shù)據(jù)、反應(yīng)數(shù)據(jù)以及書數(shù)據(jù)和預(yù)覽圖像被加載的預(yù)覽圖像； 控制單元，被構(gòu)造為激活相機以獲取預(yù)覽圖像，獲得在增強現(xiàn)實模式下的用戶的運動或傳感器值，基于用戶的運動或傳感器值來檢索反應(yīng)數(shù)據(jù)，并加載書數(shù)據(jù)和反應(yīng)數(shù)據(jù)以產(chǎn)生增強現(xiàn)實內(nèi)容。
10.如權(quán)利要求9所述的終端，其中，控制單元包括: 電子書數(shù)據(jù)獲取模塊，解析電子書中的至少一個頁面以提取書數(shù)據(jù)，并將書數(shù)據(jù)發(fā)送到顯示單元； 預(yù)覽圖像獲取器，從相機獲取預(yù)覽圖像； 默認數(shù)據(jù)提取器，在增強現(xiàn)實模式下從書數(shù)據(jù)提取默認數(shù)據(jù)以輸出到預(yù)覽圖像上； 特定事件檢測器，在增強現(xiàn)實模式下檢測用戶的運動或獲取傳感器值； 反應(yīng)數(shù)據(jù)提取器，提取被預(yù)先映射到用戶的運動或傳感器值的反應(yīng)數(shù)據(jù)； 管理器模塊，響應(yīng)于增強現(xiàn)實模式執(zhí)行請求來激活預(yù)覽圖像獲取器、默認數(shù)據(jù)提取器、特定事件檢測器和反應(yīng)數(shù)據(jù)提取器。
11.如權(quán)利要求9所述的終端，其中，控制單元識別被提供為預(yù)覽圖像的真實環(huán)境的物體、人和背景，并確定在預(yù)覽圖像上的物體、人和背景的坐標，其中，書數(shù)據(jù)被加載到通過對預(yù)覽圖像的坐標檢測而被識別為平面的參考坐標的區(qū)域上。
12.如權(quán)利要求11所述的終端，其中，在與書數(shù)據(jù)相同的坐標區(qū)域處或在與書數(shù)據(jù)相鄰的另一坐標區(qū)域處加載反應(yīng)數(shù)據(jù)。
13.如權(quán)利要求9所述的終端，其中，控制單元將被映射到用戶的運動和傳感器值的反應(yīng)數(shù)據(jù)存儲在映射表中，將電子書的文本數(shù)據(jù)轉(zhuǎn)換為語音數(shù)據(jù)，并輸出所述語音數(shù)據(jù)。
14.如權(quán)利要求9所述的終端，其中，反應(yīng)數(shù)據(jù)包括從預(yù)覽圖像上的默認數(shù)據(jù)改變的數(shù)據(jù)或者替換預(yù)覽圖像 上的默認數(shù)據(jù)的數(shù)據(jù)。
15.如權(quán)利要求9所述的終端，其中，除了基本的背景圖像數(shù)據(jù)以外，電子書的書數(shù)據(jù)包括人物圖像數(shù)據(jù)、音頻數(shù)據(jù)、振動數(shù)據(jù)、視頻數(shù)據(jù)、2維(2D)圖形數(shù)據(jù)和3D圖形數(shù)據(jù)中的至少一個。
【文檔編號】G06F3/0487GK103970409SQ201410041446
【公開日】2014年8月6日 申請日期:2014年1月28日 優(yōu)先權(quán)日:2013年1月28日
【發(fā)明者】慎大揆, 曹圭星, 曹益煥 申請人:三星電子株式會社