戶輸入相對(duì)應(yīng) 的輸入信號(hào)??梢杂冒粹o、梭動(dòng)盤(jog dial)、滾輪、觸摸傳感器、電磁傳感器、接近傳感器、 IR傳感器等中的至少一個(gè)來實(shí)現(xiàn)輸入單元120,以檢測(cè)用人體的一部分、筆等做出的用戶 輸入。
[0052] 可以用輸入板來實(shí)現(xiàn)輸入單元120。可以用輸入板上安裝的多個(gè)傳感器來實(shí)現(xiàn)輸 入單元120。還可以用以薄膜或面板的形式在輸入板的表面上層壓的觸摸傳感器來實(shí)現(xiàn)輸 入單元120??梢允褂美秒姶艂鞲衅鞯碾姶殴舱瘢‥MR)或電磁干擾(EMI)類型輸入板來 實(shí)現(xiàn)輸入單元120??梢杂弥辽僖粋€(gè)分層傳感器的形式實(shí)現(xiàn)輸入單元120,至少一個(gè)分層傳 感器用于使用多個(gè)傳感器來檢測(cè)任意輸入。
[0053] 可以用在顯示單元150的屏幕表面上分層的輸入屏幕的形式來實(shí)現(xiàn)輸入單元 120。例如,輸入單元120可以包括具有觸摸傳感器的輸入板和與顯示單元150組合的觸摸 屏面板(TSP)。
[0054] 根據(jù)本公開的各實(shí)施例,輸入單元120可以檢測(cè)AR內(nèi)容生成請(qǐng)求、編輯請(qǐng)求(例 如,添加 AR信息的請(qǐng)求、刪除AR信息的請(qǐng)求等)、AR內(nèi)容顯示請(qǐng)求等。
[0055] 攝像機(jī)單元130可以構(gòu)建(frame)包括至少一個(gè)對(duì)象的圖像,并向控制單元150 發(fā)送從圖像轉(zhuǎn)換得到的數(shù)據(jù)信號(hào)??刂茊卧?50可以基于從攝像機(jī)單元130接收的數(shù)據(jù)信 號(hào)來識(shí)別圖像中的特定對(duì)象,或控制顯示單元170在預(yù)覽中顯示圖像。如果檢測(cè)到拍攝請(qǐng) 求,則控制單元150可以將圖像處理成圖片??刂茊卧?50可以臨時(shí)地或半永久地在存儲(chǔ) 單元160中存儲(chǔ)圖片。
[0056] 傳感器單元140可以包括用于檢測(cè)移動(dòng)終端100的當(dāng)前狀態(tài)的多個(gè)傳感器。例如, 傳感器單元140可以檢測(cè)與移動(dòng)終端100有關(guān)的上下文信息。傳感器單元140生成到控制 單元150的與移動(dòng)終端的當(dāng)前狀態(tài)相對(duì)應(yīng)的控制信號(hào)。
[0057] 根據(jù)本公開的各實(shí)施例,傳感器單元140包括全球定位系統(tǒng)(GPS)傳感器141、重 力傳感器142、陀螺儀傳感器143等。
[0058] GPS傳感器141生成移動(dòng)終端100的位置信息。例如,GPS傳感器141基于通過 通信單元110從GPS衛(wèi)星接收到的GPS信號(hào)來生成移動(dòng)終端100的位置信息。GPS傳感器 141可以基于從GPS衛(wèi)星接收到的GPS信號(hào)通過三角測(cè)量來確定移動(dòng)終端100的煒度、經(jīng)度 和高度。
[0059] 重力傳感器142檢測(cè)重力。重力傳感器能夠基于檢測(cè)到的重力和加速度方向來確 定移動(dòng)終端100的傾斜,并基于移動(dòng)終端周圍的電磁場(chǎng)來確定移動(dòng)終端100的方位。重力 傳感器142與電磁傳感器類似之處在于基于電磁來檢測(cè)方位。
[0060] 陀螺儀傳感器143可以測(cè)量移動(dòng)終端100的旋轉(zhuǎn)角度,并可以基于三維參考軸來 檢測(cè)旋轉(zhuǎn)的角度。例如,陀螺儀傳感器可以檢測(cè)以移動(dòng)終端100為中心的X、y和z軸上的 旋轉(zhuǎn)角度(例如俯仰、滾動(dòng)、偏航等)。
[0061] 控制單元150可以控制通信單元110向服務(wù)器發(fā)送通過傳感器單元140獲取的信 息,以用于生成AR信息。
[0062] 控制單元150可以控制移動(dòng)終端100的組件。例如,控制單元150可以控制移動(dòng) 終端100的組件,以生成并管理AR內(nèi)容。
[0063] 根據(jù)本公開的各實(shí)施例,控制單元150可以將通過攝像機(jī)單元130輸入的預(yù)覽圖 像處理成為圖片,并且可以通過將該圖片與AR信息融合來生成AR內(nèi)容。
[0064] 控制單元150可以響應(yīng)于AR內(nèi)容顯示請(qǐng)求和來自服務(wù)器的更新推送來向服務(wù)器 請(qǐng)求(更新后的)AR信息,并用接收到的AR信息來更新AR內(nèi)容。
[0065] 根據(jù)本公開的各實(shí)施例,控制單元150可以響應(yīng)于在特定時(shí)間的選擇輸入來控制 顯示單元170顯示AR內(nèi)容并用新更新的版本來更新AR內(nèi)容。
[0066] 以下參照附圖更詳細(xì)地描述控制單元150的操作。
[0067] 存儲(chǔ)單元160可以存儲(chǔ)在移動(dòng)終端100中使用的程序和/或命令。控制單元150 可以執(zhí)行存儲(chǔ)單元160中所存儲(chǔ)的程序和/或命令。
[0068] 存儲(chǔ)單元160可以包括閃存卡、硬盤、微型多媒體卡(例如SD和XD卡)、隨機(jī)存 取存儲(chǔ)器(RAM)、靜態(tài)RAM(SRAM)、只讀存儲(chǔ)器(ROM)、電可擦除可編程ROM (EEPROM)、可編程 ROM (PROM)、磁性存儲(chǔ)器、磁盤、光盤等中的至少一個(gè)。
[0069] 根據(jù)本公開的各實(shí)施例,存儲(chǔ)單元160可以存儲(chǔ)至少一個(gè)AR內(nèi)容項(xiàng)。存儲(chǔ)單元 160還可以存儲(chǔ)關(guān)于AR內(nèi)容創(chuàng)建/更新時(shí)間的信息。
[0070] 顯示單元170可以顯示(輸出)在移動(dòng)終端100中處理的信息。例如顯示單元 170可以顯示與當(dāng)前在用戶界面(UI)上運(yùn)行的應(yīng)用、程序或服務(wù)相對(duì)應(yīng)的信息。
[0071] 可以用以下各項(xiàng)之一來實(shí)現(xiàn)顯示單元170 :液晶顯示器(IXD)、薄膜晶體管 IXD(TFT IXD)、有機(jī)發(fā)光二極管(OLED)、柔性顯示器、3D顯示器等。
[0072] 可以用具有觸摸傳感器和/或電磁傳感器的分層結(jié)構(gòu)的觸摸屏的形式來實(shí)現(xiàn)顯 示單元170,作為輸入單元120的一部分。根據(jù)本公開的各實(shí)施例,具有觸摸屏的顯示單元 170可以用于輸入功能。
[0073] 根據(jù)本公開的各實(shí)施例,顯示單元170可以在控制單元150的控制下顯示AR內(nèi)容 列表和/或AR內(nèi)容。
[0074] 盡管用特定組件示出了圖1,但是根據(jù)本公開的各實(shí)施例,移動(dòng)終端100還可以用 或不用以上組件和其等價(jià)形式中的至少一個(gè)來實(shí)現(xiàn)。
[0075] 圖2是示出了根據(jù)本公開的實(shí)施例創(chuàng)建AR內(nèi)容的過程的流程圖。
[0076] 參照?qǐng)D2,在操作210,控制單元150可以檢查到移動(dòng)終端100處于空閑狀態(tài)。
[0077] 在空閑狀態(tài)中,控制單元150可以控制移動(dòng)終端100。在空閑狀態(tài)中,控制單元150 可以執(zhí)行應(yīng)用、程序、服務(wù)等。
[0078] 在操作220,控制單元150可以確定是否檢測(cè)到AR信息請(qǐng)求。例如,在空閑狀態(tài) 中,控制單元150監(jiān)視以確定是否檢測(cè)到AR信息請(qǐng)求。
[0079] 根據(jù)本公開的各實(shí)施例,控制單元150可以確定用戶是否通過輸入單元120來輸 入AR信息請(qǐng)求。根據(jù)本公開的各實(shí)施例,控制單元150可以通過通信單元110來接收與AR 信息請(qǐng)求相對(duì)應(yīng)的數(shù)據(jù)。根據(jù)本公開的各實(shí)施例,控制單元150可以確定是否通過程序、月艮 務(wù)、應(yīng)用等來生成任意AR請(qǐng)求信息。
[0080] 根據(jù)本公開的各實(shí)施例,AR信息請(qǐng)求可以是用于執(zhí)行攝像機(jī)應(yīng)用、AR應(yīng)用等的請(qǐng) 求??梢栽诖鎯?chǔ)單元160中存儲(chǔ)或可以通過通信單元110下載應(yīng)用。
[0081] 如果控制單元150在操作220確定未檢測(cè)到AR信息請(qǐng)求,則控制單元150可以返 回操作210。例如,如果控制單元150確定沒有檢測(cè)到AR信息請(qǐng)求,則控制單元150可以控 制移動(dòng)終端100保持在空閑狀態(tài)中。
[0082] 如果控制單元150在操作220確定檢測(cè)到AR信息請(qǐng)求,則控制單元150可以進(jìn)行 至操作230,在操作230,控制單元150將AR信息融合到預(yù)覽圖像上,來顯示AR圖像。
[0083] 根據(jù)本公開的各實(shí)施例,控制單元150可以響應(yīng)于AR信息請(qǐng)求的檢測(cè)來激活攝像 機(jī)單元130。根據(jù)本公開的各實(shí)施例,控制單元150可以控制顯示單元170來顯示通過將 AR信息融合到通過攝像機(jī)單元130輸入的圖像上而生成的AR圖像。
[0084] 圖3是示出了根據(jù)本公開的實(shí)施例通過將AR信息組合到預(yù)覽圖像上來創(chuàng)建AR內(nèi) 容的過程的流程圖。
[0085] 參照?qǐng)D3,在操作231,控制單元150可以通過攝像機(jī)單元130來收集圖像。例如, 在操作231,控制單元150可以接收通過攝像機(jī)單元130輸入(例如,捕獲)的圖像。
[0086] 控制單元150可以向攝像機(jī)單元130發(fā)送控制信號(hào)以拍攝圖像。攝像機(jī)單元130 可以響應(yīng)于控制信號(hào)來驅(qū)動(dòng)攝像機(jī),并可以向控制單元150發(fā)送包括至少一個(gè)對(duì)象的圖 像。通過攝像機(jī)單元130捕獲的圖像可以包括至少一個(gè)對(duì)象。
[0087] 圖4是示出了根據(jù)本公開的實(shí)施例通過攝像機(jī)單元(例如圖1的攝像機(jī)單元)來 拍攝的圖像的屏幕顯示的圖。
[0088] 參照?qǐng)D4,圖像包括人10和多個(gè)建筑20和30作為對(duì)象。
[0089] 在操作232,控制單元150可以獲取AR相關(guān)信息。
[0090] 根據(jù)本公開的各實(shí)施例,控制單元150可以收集AR相關(guān)信息作為對(duì)于獲取AR信 息必要的信息。
[0091] 根據(jù)本公開的各實(shí)施例,控制單元150可以識(shí)別通過攝像機(jī)單元130輸入的圖像 中的至少一個(gè)對(duì)象,并可以處理該對(duì)象作為AR相關(guān)信息。根據(jù)本公開的各實(shí)施例,控制單 元150可以使用面部識(shí)別算法、特征提取算法、顏色檢測(cè)算法、輪廓提取算法等來提取對(duì) 象。控制單元150可以將對(duì)象識(shí)別為提供AR信息的目標(biāo)。可以基于由用戶輸入或從服務(wù) 器接收并然后在存儲(chǔ)單元160中存儲(chǔ)的數(shù)據(jù)來處理作為提供AR信息的目標(biāo)的對(duì)象的有關(guān) 信息。
[0092] 根據(jù)本公開的各實(shí)施例,作為提供AR信息的目標(biāo)的對(duì)象可以是以下任何一項(xiàng):文 本、人、建筑、自然對(duì)象、條形碼、QR碼、書籍、電影海報(bào)等。
[0093] 參照?qǐng)D4的屏幕顯示,控制單元150可以識(shí)別人10及建筑20和30作為AR信息 提供對(duì)象,并且可以生成關(guān)于人10和建筑20和30中的至少一個(gè)的AR相關(guān)信息。
[0094] 例如,控制單元150可以通過傳感器單元140來收集關(guān)于終端的狀態(tài)信息并根據(jù) 狀態(tài)信息獲取AR相關(guān)信息。控制單元150可以使用多個(gè)傳感器來獲取位置信息、煒度/經(jīng) 度信息和傾斜/重力方向信息。
[0095] 根據(jù)本公開的各實(shí)施例,通過控制單元150獲取的AR相關(guān)信息不限于上述信息。
[0096] 在操作233,控制單元150可以向服務(wù)器發(fā)送AR信息請(qǐng)求。
[0097] 控制單元150可以控制通信單元110向提供AR信息的服務(wù)器發(fā)送AR信息請(qǐng)求。 AR信息請(qǐng)求可以包括通過控制單元150獲取的AR相關(guān)信息,例如從圖像提取出的對(duì)象信 息、GPS信息、傾斜/重力方向信息等。
[0098] 作為示例,參照?qǐng)D4,控制單元150可以向服務(wù)器發(fā)送關(guān)于在圖像中識(shí)別出的人10 和建筑20和30的至少一個(gè)的信息??刂茊卧?50可以向服務(wù)器發(fā)送