擴(kuò)增實(shí)境的頭戴式電子裝置及產(chǎn)生擴(kuò)增實(shí)境的方法
【專利摘要】本發(fā)明公開一種產(chǎn)生擴(kuò)增實(shí)境的方法，其包括以下步驟：以一影像擷取模塊擷取第一人稱視角的真實(shí)環(huán)境串流視頻信號，且該串流視頻信號具有至少一對象以及一身體部位；以一處理模塊依據(jù)該串流視頻信號計(jì)算對象以及身體部位的串流景深數(shù)據(jù)；以一體特征辨識模塊追蹤身體部位，并輸出一動作數(shù)據(jù)；以及以處理模塊依據(jù)對象及身體部位的該串流景深數(shù)據(jù)以及動作數(shù)據(jù)，顯示一虛擬串流視頻信號于一透光顯示模塊。
【專利說明】擴(kuò)增實(shí)境的頭戴式電子裝置及產(chǎn)生擴(kuò)增實(shí)境的方法

【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種擴(kuò)增實(shí)境的頭戴式電子裝置及產(chǎn)生擴(kuò)增實(shí)境方法。

【背景技術(shù)】
[0002]視覺是人類取得外界信息最簡單又最直接的方式。在科技還不夠進(jìn)步的過去，人類只能看到真實(shí)環(huán)境中實(shí)際存在的物體，從中所得到的信息有限，難以滿足人類無窮的好奇心與求知欲。
[0003]擴(kuò)增實(shí)境(Augmentedreality)是一種用于將虛擬化影像或畫面,與用戶觀察到的真實(shí)環(huán)境結(jié)合的技術(shù)。擴(kuò)增實(shí)境能提供更實(shí)時(shí)及更多樣性的信息，尤其是非肉眼可直接看到的信息，大大提升使用上的便利性，以及讓使用者開始能與環(huán)境產(chǎn)生實(shí)時(shí)互動。
[0004]奠基于顯示與傳輸技術(shù)的突破，今日已有廠商推出擴(kuò)增實(shí)境的產(chǎn)品，例如圖7所示的電子眼鏡70。電子眼鏡70具有透明顯示投影顯示鏡片71、攝影模塊72、感應(yīng)模塊73、無線傳輸模塊74以及處理模塊75。藉由無線傳輸模塊74接收定位數(shù)據(jù)，攝影模塊72擷取周圍環(huán)境畫面而辨識模塊76辨識其中的對象，感應(yīng)模塊73感應(yīng)環(huán)境的溫度及亮度數(shù)據(jù)，以及處理模塊75提供時(shí)間數(shù)據(jù)。如圖8所示，上述數(shù)據(jù)綜合后可被顯示于投影透明顯示鏡片71上，用戶通過電子眼鏡70，不僅可以看到真實(shí)環(huán)境中的對象80，更可以同時(shí)看到所需的數(shù)字信息，擴(kuò)大了實(shí)境的內(nèi)容。
[0005]然而，在這樣的應(yīng)用中，距離真正的互動尚有一段距離，例如電子眼鏡70所顯示的虛擬內(nèi)容，與真實(shí)環(huán)境中的對象只能有位置上的配合，如圖8中僅顯示「A大樓」的字樣于A大樓旁，并無法利用真實(shí)環(huán)境中對象間的遠(yuǎn)近距離關(guān)系以有景深的方式呈現(xiàn)虛擬圖像。另夕卜，電子眼鏡I提供的擴(kuò)增實(shí)境內(nèi)容，也無法隨著使用者的肢體動作而有所反應(yīng)，讓虛擬產(chǎn)生的影像畫面缺乏真實(shí)性。
[0006]所以，如何提供一種擴(kuò)增實(shí)境裝置及方法，其可以利用真實(shí)環(huán)境中的景深信息，以及用戶的動作信息，從而讓擴(kuò)增實(shí)境的內(nèi)容能與實(shí)際觀察到的環(huán)境及使用者動作產(chǎn)生更好的互動，已經(jīng)成為本領(lǐng)域重要的課題之一。


【發(fā)明內(nèi)容】

[0007]本發(fā)明的目的在于提供一種擴(kuò)增實(shí)境的頭戴式電子裝置及產(chǎn)生擴(kuò)增實(shí)境方法，其可以利用真實(shí)環(huán)境中的景深信息，以及用戶的動作信息，從而讓擴(kuò)增實(shí)境的內(nèi)容能與實(shí)際觀察到的環(huán)境及使用者動作產(chǎn)生更好的互動。
[0008]為達(dá)到上述發(fā)明目的，本發(fā)明的產(chǎn)生擴(kuò)增實(shí)境的方法，其實(shí)施于一頭戴式電子裝置，該頭戴式電子裝置包括一影像擷取模塊、一體特征辨識模塊、至少一透光顯示模塊以及一處理模塊，該擴(kuò)增實(shí)境的方法包括有以下步驟:
[0009]以該影像擷取模塊擷取第一人稱視角的真實(shí)環(huán)境串流視頻信號，且該些串流視頻信號具有至少一對象以及一身體部位；
[0010]以該處理模塊依據(jù)該串流視頻信號計(jì)算該對象以及該身體部位的該些串流景深數(shù)據(jù)；
[0011]以該體特征辨識模塊追蹤該身體部位，并輸出一動作數(shù)據(jù)；
[0012]以該處理模塊依據(jù)該對象及該身體部位的該些串流景深數(shù)據(jù)以及該動作數(shù)據(jù)，分別顯示至少一虛擬串流視頻信號于該至少一透光顯示模塊。
[0013]所述的處理模塊是利用光流法，以計(jì)算出該對象以及該身體部位的該些串流景深數(shù)據(jù)。
[0014]所述的頭戴式電子裝置包括二該影像擷取模塊，其分別擷取第一人稱視角的真實(shí)環(huán)境串流視頻信號，且該些串流視頻信號中分別具有該對象以及該身體部位，該處理模塊是利用立體匹配法，取得立體視差值，以計(jì)算出該對象以及該身體部位的該些串流景深數(shù)據(jù)。
[0015]所述的該頭戴式電子裝置包括一動作傳感器模塊，其感測用戶頭部的方向、位置或動作以輸出一頭部參考數(shù)據(jù)，且該處理模塊依據(jù)該頭部參考數(shù)據(jù)分別輸出另至少一虛擬串流視頻信號于該至少一透光顯示模塊。
[0016]所述的該頭戴式電子裝置包括一動作傳感器模塊，其感測用戶頭部的方向、位置或動作以輸出一頭部參考數(shù)據(jù)，且該處理模塊依據(jù)該頭部參考數(shù)據(jù)分別調(diào)整該至少一虛擬串流視頻信號于該至少一透光顯示模塊的顯示位置。
[0017]所述的體特征辨識模塊追蹤該身體部位是依據(jù)該身體部位的輪廓、形狀、顏色或距離以過濾出該身體部位,再對部分該身體部位的該些串流景深信息轉(zhuǎn)換成一三維點(diǎn)云(Point Cloud),接著可利用算法以內(nèi)建或接收的三維模型對應(yīng)到該三維點(diǎn)云，并比較一時(shí)間內(nèi)該身體部位的位置而達(dá)成。
[0018]所述的產(chǎn)生擴(kuò)增實(shí)境的方法更包括以下步驟:
[0019]以該處理模塊依據(jù)一三維環(huán)境地圖數(shù)據(jù)，分別顯示一三維環(huán)境地圖串流數(shù)據(jù)于該至少一透光顯示模塊。
[0020]所述的三維環(huán)境地圖數(shù)據(jù)是通過該頭戴式電子裝置的一無線傳輸模塊接收所得，或由該處理模塊依據(jù)該真實(shí)環(huán)境的串流景深數(shù)據(jù)及多個(gè)環(huán)境彩度數(shù)據(jù)計(jì)算所得。
[0021]所述的頭戴式電子裝置包括二該透光顯示模塊，其分別顯示供左右眼觀看的該虛擬串流視頻信號。
[0022]為達(dá)到上述發(fā)明目的，本發(fā)明的擴(kuò)增實(shí)境的頭戴式電子裝置包括有一影像擷取模塊、一處理模塊、一體特征辨識模塊以及至少一透光顯不模塊。
[0023]該影像擷取模塊擷取第一人稱視角的真實(shí)環(huán)境串流視頻信號，且該些串流視頻信號具有至少一對象以及一身體部位。
[0024]該處理模塊耦接該影像擷取模塊，并依據(jù)該影像計(jì)算該對象以及該身體部位的串流景深數(shù)據(jù)。
[0025]該體特征辨識模塊耦接該處理模塊，并追蹤該身體部位并輸出一動作數(shù)據(jù)。
[0026]該至少一透光顯示模塊耦接該處理模塊，該處理模塊依據(jù)該對象及該身體部位的該些串流景深數(shù)據(jù)以及該動作數(shù)據(jù)，顯示一虛擬串流視頻信號于該至少一透光顯示模塊。
[0027]所述的處理模塊是利用光流法，以計(jì)算出該對象以及該身體部位的該些串流景深數(shù)據(jù)。
[0028]所述的頭戴式電子裝置包括二該影像擷取模塊，該些影像擷取模塊分別擷取第一人稱視角的真實(shí)環(huán)境串流視頻信號，且該些真實(shí)環(huán)境串流視頻信號中分別具有該對象以及該身體部位，該處理模塊是利用立體匹配法，取得立體視差值，以計(jì)算出該對象以及該身體部位的該些串流景深數(shù)據(jù)。
[0029]所述的頭戴式電子裝置更包括一動作傳感器模塊，其耦接該處理模塊，該動作感測模塊感測用戶頭部的方向、位置或動作以輸出一頭部參考數(shù)據(jù)，且該處理模塊依據(jù)該頭部參考數(shù)據(jù)分別輸出另至少一虛擬串流視頻信號于該至少一透光顯示模塊。
[0030]所述的頭戴式電子裝置更包括一動作傳感器模塊，其耦接該處理模塊，該動作感測模塊感測用戶頭部的方向、位置或動作以輸出一頭部參考數(shù)據(jù)，且該處理模塊依據(jù)該頭部參考數(shù)據(jù)調(diào)整該至少一虛擬串流視頻信號于該至少一透光顯示模塊的顯示位置。
[0031]所述的體特征辨識模塊追蹤該身體部位是依據(jù)該身體部位的輪廓、形狀、顏色或距離以過濾出該身體部位,再對部分該身體部位的該些串流景深信息轉(zhuǎn)換成一三維點(diǎn)云(Point Cloud),接著可利用算法以內(nèi)建或接收的三維模型對應(yīng)到該三維點(diǎn)云，并比較一時(shí)間內(nèi)該身體部位的位置而達(dá)成。
[0032]所述的處理模塊依據(jù)一三維環(huán)境地圖數(shù)據(jù)，分別顯示一三維環(huán)境地圖串流數(shù)據(jù)于該至少一透光顯示模塊。
[0033]所述的三維環(huán)境地圖數(shù)據(jù)是通過該頭戴式電子裝置的一無線傳輸模塊接收所得，或由該處理模塊依據(jù)該真實(shí)環(huán)境的串流景深數(shù)據(jù)及多個(gè)環(huán)境彩度數(shù)據(jù)計(jì)算所得。
[0034]所述的頭戴式電子裝置，其包括二該透光顯示模塊，分別顯示供左右眼觀看的該些虛擬串流視頻信號。
[0035]綜上所述，藉由本發(fā)明的擴(kuò)增實(shí)境的頭戴式電子裝置及方法，可以通過影像擷取模塊及處理模塊分別計(jì)算出位于真實(shí)環(huán)境中對象的景深與身體部位的景深，再結(jié)合體特征辨識模塊追蹤用戶動作，使得用戶與對象所在的真實(shí)環(huán)境的間有了立體的互動關(guān)是。也就是，例如真實(shí)環(huán)境中不同對象所在的遠(yuǎn)近不同，當(dāng)使用者的手往前伸長的距離不同時(shí)，本發(fā)明的裝置或方法，便可以判斷手是與不同對象進(jìn)行互動，從而提供使用者看到不同的擴(kuò)增實(shí)境內(nèi)容，使得實(shí)境與虛擬之間有更緊密的結(jié)合。
[0036]另外，本發(fā)明一實(shí)施例中，頭戴式電子裝置可以具有二透光顯示模塊，以利用例如左右眼視差方式，產(chǎn)生立體的虛擬圖像或影像，更進(jìn)一步提升用戶與真實(shí)環(huán)境的立體互動效果。
[0037]又再另一實(shí)施例中，頭戴式電子裝置可以包括一動作傳感器模塊，以掌握用戶的位置、頭部轉(zhuǎn)向或動作等數(shù)據(jù)，隨時(shí)改變或調(diào)整虛擬圖像或影像，讓用戶有更佳的第一人稱體驗(yàn)效果，或者讓擴(kuò)增實(shí)境所產(chǎn)生的圖像或圖像映射到各類型的三維空間。
[0038]以下結(jié)合附圖和具體實(shí)施例對本發(fā)明進(jìn)行詳細(xì)描述，但不作為對本發(fā)明的限定。

【專利附圖】

【附圖說明】
[0039]圖1為依據(jù)本發(fā)明一實(shí)施例的一種擴(kuò)增實(shí)境的頭戴式電子裝置的外觀示意圖；
[0040]圖2為圖1所示的頭戴式電子裝置的系統(tǒng)方框圖；
[0041]圖3a及圖3b為圖1所示的頭戴式電子裝置運(yùn)作時(shí)所擷取第一人稱視角影像的示意圖；
[0042]圖3c為圖1所示的頭戴式電子裝置產(chǎn)生虛擬圖像時(shí)，與真實(shí)環(huán)境的互動示意圖；
[0043]圖3d為圖1所示的頭戴式電子裝置產(chǎn)生虛擬圖像時(shí)，與真實(shí)環(huán)境的另一互動示意圖；
[0044]圖4為依據(jù)本發(fā)明另一實(shí)施例的一種擴(kuò)增實(shí)境的頭戴式電子裝置的外觀示意圖；
[0045]圖5為圖4所示擴(kuò)增實(shí)境的頭戴式電子裝置的系統(tǒng)方框圖；
[0046]圖6為據(jù)本發(fā)明的一種產(chǎn)生擴(kuò)增實(shí)境的方法的流程圖；
[0047]圖7為現(xiàn)有技術(shù)的電子眼鏡；
[0048]圖8為圖7中電子眼鏡所顯示擴(kuò)增實(shí)境內(nèi)容的示意圖。
[0049]其中，附圖標(biāo)記:
[0050]10頭戴式電子裝置1a頭戴式電子裝置
[0051]1a頭戴式電子裝置 11影像擷取模塊
[0052]Ila影像擷取模塊12處理模塊
[0053]13體特征辨識模塊14透光顯示模塊
[0054]14a透光顯示模塊141透光玻璃板
[0055]15動作傳感器模塊31物件
[0056]311咖啡桌32身體部位
[0057]321手33虛擬串流視訊
[0058]331咖啡杯331a虛擬鍵盤
[0059]5影像70電子眼鏡
[0060]71顯示鏡片72攝影模塊
[0061]73感應(yīng)模塊74無線傳輸模塊
[0062]75處理模塊76辨識模塊

【具體實(shí)施方式】
[0063]以下配合附圖及本發(fā)明的較佳實(shí)施例，進(jìn)一步闡述本發(fā)明為達(dá)成預(yù)定發(fā)明目的所采取的技術(shù)手段。
[0064]以下將參照相關(guān)附圖，說明依據(jù)本發(fā)明較佳實(shí)施例的一種擴(kuò)增實(shí)境的頭戴式電子裝置及方法，其中相同的組件將以相同的參照符號加以說明。
[0065]圖1為依據(jù)本發(fā)明一實(shí)施例的一種擴(kuò)增實(shí)境的頭戴式電子裝置的外觀示意圖，圖2為圖1所示的頭戴式電子裝置的系統(tǒng)方框圖。請同時(shí)參考圖1及圖2所示，在本實(shí)施例中，頭戴式電子裝置10可以為一具有擴(kuò)增實(shí)境功能的電子眼鏡，其包括一影像擷取模塊11、一處理模塊12、一體特征辨識模塊13以及一透光顯不模塊14。處理模塊12可以包括中央處理器(Central Processing Unit, CPU)、繪圖處理器(Graphic Processing Unit,GPU)、特殊應(yīng)用集成電路(Applicat1n-specific integrated circuit, ASIC)、現(xiàn)場可編輯邏輯門陣列(Field Programmable Gate Array, FPGA)或數(shù)字信號處理器(Digital SignalProcessor, DSP)等各種具有信號處理、邏輯運(yùn)算以及算法執(zhí)行的單元，以進(jìn)行如影像演算、影像校正、影像列位、景深抽出、三維環(huán)境重建、物體辨認(rèn)、動作追蹤及預(yù)測等功能，且該些單元可以設(shè)置于同一電路板，以節(jié)省空間。如圖2所示，上述其他模塊均可以與處理模塊12耦接，較佳為直接電性連接，以將產(chǎn)生的信號或數(shù)據(jù)送入處理模塊12處理，或獲得處理模塊12輸出的信號或數(shù)據(jù)。當(dāng)然，頭戴式電子裝置10還包括一或多個(gè)記憶模塊(圖未示)，其中可以設(shè)置有各式內(nèi)存(Memory)，另外也還包括硬盤等儲存裝置、電源電路等一般計(jì)算機(jī)系統(tǒng)運(yùn)作的架構(gòu)。
[0066]影像擷取模塊11用于實(shí)時(shí)擷取第一人稱視角的真實(shí)環(huán)境串流視頻信號，具體可為微型攝影機(jī)，具有拍攝影片的功能，且較佳地，拍攝或攝影是以第一人稱視角的方式進(jìn)行。圖3a及3b為圖1所示的頭戴式電子裝置運(yùn)作時(shí)所擷取的影像示意圖，在本實(shí)施例中，擷取的影像30包括至少一真實(shí)環(huán)境中存在的對象31，例如咖啡桌，以及使用者身體的一部分32，例如手的前臂與手掌。
[0067]體特征辨識模塊13用于追蹤用戶的動作，并輸出動作數(shù)據(jù)。體特征辨識模塊13可以具有獨(dú)立的FGPA、ASIC、DSP、GPU及CPU，以提升反應(yīng)靈敏度與降低動作數(shù)據(jù)輸出的延遲。在本實(shí)施例中，配合單一個(gè)影像擷取模塊11，處理模塊12可以先依據(jù)擷取串流視頻信號的影像，利用光流法(Optical flow),以計(jì)算出對象31以及身體部位32的串流景深數(shù)據(jù)，并分別輸出二者的串流景深數(shù)據(jù)，或于一個(gè)整合的景深數(shù)據(jù)中同時(shí)包括二者，本發(fā)明在此不限。體特征辨識模塊13取得景深數(shù)據(jù)后，可先利用例如輪廓、形狀、顏色或距離(可由各景深數(shù)據(jù)中得到)作為參數(shù)，取出身體部位32，轉(zhuǎn)換該身體部位32 —部分的串流景深為一三維點(diǎn)云(Point Cloud),並以一演算法將其對應(yīng)一內(nèi)建或接收到的三維點(diǎn)云模型，以判斷是否確為使用者身體的一部分。接著，于一段時(shí)間后，體特征辨識模塊13重新辨識出該身體部位32，并將其于影像30中的更新位置與原先位置比較，達(dá)到追蹤動作的功能，并輸出動作數(shù)據(jù)。其中，光流法是通過檢測影像像素點(diǎn)的強(qiáng)度隨時(shí)間的變化，進(jìn)而推斷出物體移動速度及方向的方法，其實(shí)施細(xì)節(jié)是為本領(lǐng)域所屬領(lǐng)域中具有通常知識者所能理解者，于此不再贅述。另外，體特征辨識模塊13也可輔以預(yù)測算法，增加動作追蹤的穩(wěn)定性及速度。
[0068]當(dāng)處理模塊12取得對象31的景深數(shù)據(jù)、身體部位32的景深數(shù)據(jù)以及動作數(shù)據(jù)后，可以綜合運(yùn)算，以判斷出使用者藉由什么動作與真實(shí)環(huán)境中的對象31進(jìn)行互動，再據(jù)以找出儲存于記憶模塊內(nèi)，或藉由數(shù)據(jù)傳輸比對云端系統(tǒng)內(nèi)默認(rèn)的指令，而對應(yīng)顯示一虛擬串流視頻信號33于透光顯示模塊14(如圖3b所示)。
[0069]透光顯示模塊14可以藉由一半反射鏡與一微投影單元，將所欲呈現(xiàn)的虛擬串流視頻信號33呈現(xiàn)于一透光玻璃板141上來達(dá)成，使得用戶不會受到顯示模塊的遮蔽，而失去正常觀察實(shí)境的視覺功能。當(dāng)然，在其他實(shí)施例中，透光顯示模塊14亦可以藉由有機(jī)發(fā)光二極管(Organic Light-Emitting D1de, 0LED)的技術(shù)來達(dá)成,其利用OLED自發(fā)光的特性，免除背光源而實(shí)現(xiàn)透光顯示的效果。
[0070]本實(shí)施例具體實(shí)現(xiàn)時(shí)，可如圖3c所示，當(dāng)使用者通過透光玻璃板141看到真實(shí)環(huán)境中有一咖啡桌311 (即真實(shí)環(huán)境中的對象)，同時(shí)，影像擷取模塊11可以以第一人稱的視角取得含有該咖啡桌311的串流視頻信號，并頭戴式電子裝置10可依據(jù)上述光流法計(jì)算出咖啡桌311的串流景深數(shù)據(jù)，以及依據(jù)前述對象特征辨識方法，識別出該對象是咖啡桌311。接著，當(dāng)用戶的手也出現(xiàn)在視線中時(shí)，頭戴式電子裝置10可再計(jì)算出手321的串流景深數(shù)據(jù)，并藉由與儲存手321的模型比較，識別出是使用者的手321。當(dāng)然，頭戴式電子裝置10也可以在咖啡桌311、手321兩者同時(shí)出現(xiàn)時(shí)一并計(jì)算并識別，本發(fā)明在此不限。
[0071]當(dāng)使用者以手321靠近咖啡桌311的過程中，體特征辨識模塊13可追蹤出手321的動作，并輸出手321在真實(shí)環(huán)境中進(jìn)行的三維動作數(shù)據(jù)。有別于傳統(tǒng)只能辨識出在觸控平面上的二維動作，當(dāng)?shù)弥?21的三維動作數(shù)據(jù)，并結(jié)合串流景深數(shù)據(jù)后，頭戴式電子裝置10可以知道手321是由使用者而伸向咖啡桌311，當(dāng)與記憶模塊中的指令比對后，可以在手321到達(dá)咖啡桌311旁時(shí)，輸出控制信號，使透光顯示模塊14顯示一個(gè)虛擬的咖啡杯531，且因?yàn)樵摽Х缺?31影像的位置會與真實(shí)的咖啡桌311配合，使得用戶的整體視覺可以產(chǎn)生有一咖啡杯531在咖啡桌311上的印象，是為擴(kuò)增實(shí)境的結(jié)果。
[0072]圖3d是為圖1所示的頭戴式電子裝置產(chǎn)生虛擬圖像時(shí)，與真實(shí)環(huán)境的另一互動示意圖。請參考圖3d所示，在此種使用狀態(tài)下，因?yàn)槭褂谜叩氖州^為靠近咖啡桌，且有打按鍵盤的動作，所以頭戴式電子裝置10會顯示一個(gè)虛擬鍵盤331a的圖像于透光顯示模塊14，且此實(shí)施例中，頭戴式電子裝置10還可具有音效模塊或震動模塊(圖未示)，故當(dāng)用戶向特定的按鍵按壓下去時(shí)，頭戴式電子裝置10會辨識該特定動作，或者辨識該按壓按鍵，從而產(chǎn)生相應(yīng)的其他虛擬串流視頻信號，例如按鍵顏色改變或呼叫出其他虛擬的操作接口，或者產(chǎn)生音效或聲響或震動，以對使用者的動作產(chǎn)生反應(yīng)或回饋，從而有更佳的互動效果。
[0073]圖4是為依據(jù)本發(fā)明另一實(shí)施例的頭戴式電子裝置的外觀示意圖。請參考圖4所示，在本實(shí)施例中，頭戴式電子裝置1a與前述的頭戴式電子裝置10具有大致相同的組件結(jié)構(gòu)與作動方式，惟頭戴式電子裝置1a具有二影像擷取模塊Ila以及二透光顯示模塊14a。二個(gè)影像擷取模塊Ila可分別以不同視角擷取的第一人稱視角的真實(shí)環(huán)境串流視頻信號，產(chǎn)生人類雙眼視覺的效果。當(dāng)二個(gè)影像中分別具有對象以及身體部位，也就是二個(gè)影像擷取模塊Ila都同時(shí)拍攝到對象以及身體部位時(shí)，處理模塊是利用立體匹配法(StereoMatching)的方式，取得立體視差值，再據(jù)以計(jì)算出對象以及身體部位的串流景深數(shù)據(jù)，而產(chǎn)生更為精確的景深數(shù)據(jù)。立體匹配法是通過分析平行的左右兩串流視頻信號，利用近物移動大遠(yuǎn)物移動小的原理進(jìn)而推斷影像景深。另外，二個(gè)透光顯示模塊14a可以分別顯示供左右眼觀看的虛擬圖像或影像，藉由雙眼視差，使得顯示的虛擬圖像或圖像產(chǎn)生立體的視覺效果，讓虛擬對象與實(shí)境更緊密地結(jié)合。
[0074]圖5為依據(jù)本發(fā)明又一實(shí)施例的頭戴式電子裝置的系統(tǒng)方框圖。請參考圖5所示，在本實(shí)施例中，頭戴式電子裝置與圖4所示者大致相同，惟頭戴式電子裝置1b更包括一動作傳感器模塊15，以感測用戶頭部的方向、位置或動作。動作傳感器模塊15可以包括陀螺儀(Gyroscope)、加速度傳感器(Accelerometer)Jl^iH+ (Magnetometer)或三者的任意組合，由于頭戴式電子裝置1b是固定穿戴于使用者的頭部，故當(dāng)轉(zhuǎn)動頭部觀看不同真實(shí)環(huán)境時(shí)，動作傳感器模塊15可以同步輸出一頭部參考數(shù)據(jù)。當(dāng)處理模塊接收到頭部參考數(shù)據(jù)時(shí)，可以有例如兩種對應(yīng)效果。
[0075]其一是由處理模塊12輸出另一虛擬串流視頻信號于透光顯示模塊14，此效果可以與頭戴式電子裝置1b中接收全球定位系統(tǒng)的模塊配合，使得例如原本擴(kuò)增實(shí)境的內(nèi)容是顯示北方相關(guān)的地圖或景物數(shù)據(jù)，在頭部轉(zhuǎn)動后，即同步改變成顯示東或西方的地圖或景物數(shù)據(jù)。又或者，當(dāng)用戶頭部轉(zhuǎn)動后，對應(yīng)顯示不同的虛擬串流視頻信號，以產(chǎn)生如智能型手機(jī)操作接口換頁的效果，是為一種以使用者為中心的三維人機(jī)操作接口。
[0076]其二是由處理模塊12依據(jù)頭部參考數(shù)據(jù)調(diào)整原本的虛擬串流視頻信號于透光顯示模塊14的顯示位置，而達(dá)成的方式同樣可以與頭戴式電子裝置1b中的一接收全球定位系統(tǒng)的模塊配合，換言之，由于轉(zhuǎn)動頭部后，原本咖啡桌在視野中的位置也會發(fā)生變化，此時(shí)可以依據(jù)頭部參考數(shù)據(jù)改變咖啡杯于透光顯示模塊上的顯示位置，使得咖啡杯看起來還是位于咖啡桌上，讓擴(kuò)增出來的虛擬數(shù)據(jù)與實(shí)境有更真實(shí)的結(jié)合。
[0077]在本發(fā)明又一實(shí)施例中，頭戴式電子裝置可以以處理模塊依據(jù)一三維環(huán)境地圖數(shù)據(jù)，顯示一三維環(huán)境地圖串流數(shù)據(jù)于透光顯示模塊，使得用戶觀看的內(nèi)容，除真實(shí)的三維環(huán)境影像，還可以包括對應(yīng)該環(huán)境的虛擬的三維環(huán)境或地圖影像畫面。上述應(yīng)用包括提升取得的信息的量與質(zhì)，以應(yīng)用于軍事方面，例如將衛(wèi)星提供的體熱感測數(shù)據(jù)與真實(shí)環(huán)境結(jié)合，以使使用者可以從擴(kuò)增實(shí)境的內(nèi)容中看到墻后方的敵人。當(dāng)然，上開應(yīng)用更可以用于三維擴(kuò)增實(shí)境游戲，使用戶能將電子游戲帶入現(xiàn)實(shí)生活的環(huán)境的中。
[0078]三維環(huán)境地圖數(shù)據(jù)可以通過前述的串流景深數(shù)據(jù)進(jìn)一步處理所得。具體而言，隨著使用者在真實(shí)環(huán)境中的移動，處理模塊除可以實(shí)時(shí)處理串流景深數(shù)據(jù)，即多個(gè)深度圖(Depth map image)外，可以依據(jù)影像擷取模塊所得供的串流視頻信號，處理得到多個(gè)環(huán)境彩度數(shù)據(jù)，即彩度圖。
[0079]顯示擴(kuò)增實(shí)境內(nèi)容在透光顯示模塊14上有三種方式，分別為(I)顯示在固定的X及y坐標(biāo)上；(2)根據(jù)三維環(huán)境的三維模型的三維坐標(biāo)來顯示；(3)顯示在用戶頭部的旋轉(zhuǎn)中心上。在選項(xiàng)(2)中，一三維環(huán)境地圖建構(gòu)(SimultaneousLocalizat1nandMapping, SLAM)算法用來產(chǎn)生三維環(huán)境地圖數(shù)據(jù)并同時(shí)追蹤用來定位擴(kuò)增實(shí)境內(nèi)容參考位置的用戶三維室內(nèi)空間的位置及虛擬視角。在室外環(huán)境時(shí)，除了該三維環(huán)境地圖建構(gòu)算法，另需一 GPS裝置。在選項(xiàng)(2)中，前述的動作傳感器模塊15所量測的數(shù)據(jù)可用作定為擴(kuò)增實(shí)境內(nèi)容的頭部參考位置。具體來說，陀螺儀可以檢測出傾斜角度(包括Roll代表左右傾斜；Yaw代表左右轉(zhuǎn)動；Pitch代表前后傾斜)；加速度傳感器可以檢測實(shí)體三維空間中X、Y、Z三軸的加速度信息；而磁強(qiáng)計(jì)可以檢測地球磁力線信息，藉以找出東南西北平衡。所以。通過上述三者或其任意組合可以使得擴(kuò)增實(shí)境的內(nèi)容可以對應(yīng)到以透光顯示模塊為中心并向外延伸的三維空間，亦即對應(yīng)到頭部轉(zhuǎn)動方向?yàn)橹行牡娜S真實(shí)環(huán)境。
[0080]圖6為據(jù)本發(fā)明的一種產(chǎn)生擴(kuò)增實(shí)境的方法的流程圖，該方法是通過一頭戴式電子裝置實(shí)施。在一實(shí)施例中，該產(chǎn)生擴(kuò)增實(shí)境的方法包括以下步驟:
[0081]步驟601:以一影像擷取模塊擷取第一人稱視角的真實(shí)環(huán)境串流視頻信號，且該串流視頻信號具有至少一對象以及一身體部位。
[0082]步驟602:以一處理模塊依據(jù)該串流視頻信號計(jì)算對象以及身體部位的串流景深數(shù)據(jù)。
[0083]步驟603:以一體特征辨識模塊追蹤身體部位，并輸出一動作數(shù)據(jù)。
[0084]步驟604:以處理模塊依據(jù)對象及身體部位的該串流景深數(shù)據(jù)以及動作數(shù)據(jù)，顯示一虛擬串流視頻信號于一透光顯示模塊。惟擴(kuò)增實(shí)境的方法即實(shí)施該方法的頭戴式電子裝置，其步驟流程與組件結(jié)構(gòu)的細(xì)節(jié)均與前述實(shí)施例大致相同，可參考前述，于此不再贅述。
[0085]承上所述，藉由本發(fā)明的擴(kuò)增實(shí)境的頭戴式電子裝置及方法，可以通過影像擷取模塊及處理模塊分別計(jì)算出位于真實(shí)環(huán)境中對象的景深與身體部位的景深，再結(jié)合體特征辨識模塊追蹤用戶動作，使得用戶與對象所在的真實(shí)環(huán)境的間有了立體的互動關(guān)系。也就是，例如真實(shí)環(huán)境中不同對象所在的遠(yuǎn)近不同，當(dāng)使用者的手往前伸長的距離不同時(shí)，本發(fā)明的裝置或方法，便可以判斷手是與不同對象進(jìn)行互動，從而提供使用者看到不同的擴(kuò)增實(shí)境內(nèi)容，使得實(shí)境與虛擬的間有更緊密的結(jié)合。
[0086]另外，本發(fā)明一實(shí)施例中，頭戴式電子裝置可以具有二透光顯示模塊，以利用例如左右眼視差方式，產(chǎn)生立體的虛擬圖像或影像，更進(jìn)一步提升用戶與真實(shí)環(huán)境的立體互動效果。
[0087]又再另一實(shí)施例中，頭戴式電子裝置可以包括一動作傳感器模塊，以掌握用戶的位置、頭部轉(zhuǎn)向或或動作等數(shù)據(jù)，隨時(shí)改變或調(diào)整虛擬圖像或影像，讓用戶有更佳的第一人稱體驗(yàn)效果，或者讓擴(kuò)增實(shí)境所產(chǎn)生的圖像或圖像映射到各類型的三維空間。
[0088]當(dāng)然，本發(fā)明還可有其它多種實(shí)施例，在不背離本發(fā)明精神及其實(shí)質(zhì)的情況下，熟悉本領(lǐng)域的技術(shù)人員當(dāng)可根據(jù)本發(fā)明作出各種相應(yīng)的改變和變形，但這些相應(yīng)的改變和變形都應(yīng)屬于本發(fā)明所附的權(quán)利要求的保護(hù)范圍。
【權(quán)利要求】
1.一種產(chǎn)生擴(kuò)增實(shí)境的方法，實(shí)施于一頭戴式電子裝置，該頭戴式電子裝置包括一影像擷取模塊、一體特征辨識模塊、至少一透光顯示模塊以及一處理模塊，該產(chǎn)生擴(kuò)增實(shí)境的方法，其特征在于，其包括有以下步驟: 以該影像擷取模塊擷取第一人稱視角的真實(shí)環(huán)境串流視頻信號，且該些串流視頻信號具有至少一對象以及一身體部位； 以該處理模塊依據(jù)該串流視頻信號計(jì)算該對象以及該身體部位的串流景深數(shù)據(jù)； 以該體特征辨識模塊追蹤該身體部位，并輸出一動作數(shù)據(jù)； 以該處理模塊依據(jù)該對象及該身體部位的該些串流景深數(shù)據(jù)以及該動作數(shù)據(jù)，顯示至少一虛擬串流視頻信號于該至少一透光顯示模塊。
2.根據(jù)權(quán)利要求1所述產(chǎn)生擴(kuò)增實(shí)境的方法，其特征在于，該處理模塊是利用光流法，以計(jì)算出該對象以及該身體部位的該些串流景深數(shù)據(jù)。
3.根據(jù)權(quán)利要求1所述產(chǎn)生擴(kuò)增實(shí)境的方法，其特征在于，該頭戴式電子裝置包括二該影像擷取模塊，其分別擷取第一人稱視角的真實(shí)環(huán)境串流視頻信號，且該些串流視頻信號中分別具有該對象以及該身體部位，該處理模塊是利用立體匹配法，取得立體視差值，以計(jì)算出該對象以及該身體部位的該些串流景深數(shù)據(jù)。
4.根據(jù)權(quán)利要求1所述產(chǎn)生擴(kuò)增實(shí)境的方法，其特征在于，該頭戴式電子裝置包括一動作傳感器模塊，其感測用戶頭部的方向、位置、動作或其組合以輸出一頭部參考數(shù)據(jù)，且該處理模塊依據(jù)該頭部參考數(shù)據(jù)輸出另至少一虛擬串流視頻信號于該至少一透光顯示模塊。
5.根據(jù)權(quán)利要求1所述產(chǎn)生擴(kuò)增實(shí)境的方法，其特征在于，該頭戴式電子裝置包括一動作傳感器模塊，其感測用戶頭部的方向、位置、動作或其組合以輸出一頭部參考數(shù)據(jù)，且該處理模塊依據(jù)該頭部參考數(shù)據(jù)調(diào)整該至少一虛擬串流視頻信號于該至少一透光顯示模塊的顯示位置。
6.根據(jù)權(quán)利要求1所述產(chǎn)生擴(kuò)增實(shí)境的方法，其特征在于，該體特征辨識模塊追蹤該身體部位是依據(jù)該身體部位的輪廓、形狀、顏色或距離以辨識出該身體部位，再對部分該身體部位的該些串流景深數(shù)據(jù)轉(zhuǎn)換成一三維點(diǎn)云，接著利用一演算法將該三維點(diǎn)云對應(yīng)一內(nèi)建或接收的三維模型，并比較一時(shí)間內(nèi)該身體部位的位置而達(dá)成。
7.根據(jù)權(quán)利要求1所述產(chǎn)生擴(kuò)增實(shí)境的方法，其特征在于，更包括以下步驟: 以該處理模塊依據(jù)一三維環(huán)境地圖數(shù)據(jù)，分別顯示一三維環(huán)境地圖串流數(shù)據(jù)于該至少一透光顯不模塊。
8.根據(jù)權(quán)利要求7所述產(chǎn)生擴(kuò)增實(shí)境的方法，其特征在于，該三維環(huán)境地圖數(shù)據(jù)是通過該頭戴式電子裝置的一無線傳輸模塊接收所得，或由該處理模塊依據(jù)該些真實(shí)環(huán)境串流景深數(shù)據(jù)及多個(gè)環(huán)境彩度數(shù)據(jù)計(jì)算所得。
9.根據(jù)權(quán)利要求1所述產(chǎn)生擴(kuò)增實(shí)境的方法，其特征在于，該頭戴式電子裝置包括二該透光顯示模塊，其分別顯示供左右眼觀看的該虛擬串流視頻信號。
10.一種擴(kuò)增實(shí)境的頭戴式電子裝置，其特征在于，其包括有: 一影像擷取模塊，擷取第一人稱視角的真實(shí)環(huán)境串流視頻信號，且該些串流視頻信號具有至少一對象以及一身體部位； 一處理模塊，耦接該影像擷取模塊，該處理模塊依據(jù)該影像計(jì)算該對象以及該身體部位的串流景深數(shù)據(jù)； 一體特征辨識模塊，耦接該處理模塊，該體特征辨識模塊追蹤該身體部位并輸出一動作數(shù)據(jù)；以及 至少一透光顯示模塊，耦接該處理模塊，該處理模塊依據(jù)該對象及該身體部位的該些串流景深數(shù)據(jù)以及該動作數(shù)據(jù)，顯示一虛擬串流視頻信號于該至少一透光顯示模塊。
11.根據(jù)權(quán)利要求10所述的擴(kuò)增實(shí)境的頭戴式電子裝置，其特征在于，該處理模塊是利用光流法，以計(jì)算出該對象以及該身體部位的該些串流景深數(shù)據(jù)。
12.根據(jù)權(quán)利要求10所述的擴(kuò)增實(shí)境的頭戴式電子裝置，其特征在于，包括二該影像擷取模塊，該些影像擷取模塊分別擷取第一人稱視角的真實(shí)環(huán)境串流視頻信號，且該些真實(shí)環(huán)境串流視頻信號中分別具有該對象以及該身體部位，該處理模塊是利用立體匹配法，取得立體視差值，以計(jì)算出該對象以及該身體部位的該些串流景深數(shù)據(jù)。
13.根據(jù)權(quán)利要求10所述的擴(kuò)增實(shí)境的頭戴式電子裝置，其特征在于，更包括: 一動作傳感器模塊，耦接該處理模塊，該動作感測模塊感測用戶頭部的方向、位置或動作以輸出一頭部參考數(shù)據(jù)，且該處理模塊依據(jù)該頭部參考數(shù)據(jù)分輸出另至少一虛擬串流視頻信號于該至少一透光顯示模塊。
14.根據(jù)權(quán)利要求10所述的擴(kuò)增實(shí)境的頭戴式電子裝置，其特征在于，更包括: 一動作傳感器模塊，耦接該處理模塊，該動作感測模塊感測用戶頭部的方向、位置、動作或其組合以輸出一頭部參考數(shù)據(jù)，且該處理模塊依據(jù)該頭部參考數(shù)據(jù)調(diào)整該至少一虛擬串流視頻信號于該至少一透光顯示模塊的顯示位置。
15.根據(jù)權(quán)利要求10所述的擴(kuò)增實(shí)境的頭戴式電子裝置，其特征在于，該體特征辨識模塊追蹤該身體部位是依據(jù)該身體部位的輪廓、形狀、顏色或距離以過濾出該身體部位，再對部分該身體部位的該些串流景深信息轉(zhuǎn)換成一三維點(diǎn)云，接著可利用一演算法將該三維點(diǎn)云對應(yīng)到一內(nèi)建或接收的三維模型，并比較一時(shí)間內(nèi)該身體部位的位置而達(dá)成。
16.根據(jù)權(quán)利要求10所述的擴(kuò)增實(shí)境的頭戴式電子裝置，其特征在于，該處理模塊依據(jù)一三維環(huán)境地圖數(shù)據(jù)，顯示一三維環(huán)境地圖串流數(shù)據(jù)于該至少一透光顯示模塊。
17.根據(jù)權(quán)利要求16所述的擴(kuò)增實(shí)境的頭戴式電子裝置，其特征在于，該三維環(huán)境地圖數(shù)據(jù)是通過該頭戴式電子裝置的一無線傳輸模塊接收所得，或由該處理模塊依據(jù)該些真實(shí)環(huán)境串流景深數(shù)據(jù)及多個(gè)環(huán)境彩度數(shù)據(jù)計(jì)算所得。
18.根據(jù)權(quán)利要求10所述的擴(kuò)增實(shí)境的頭戴式電子裝置，其特征在于，包括二該透光顯示模塊，顯示供左右眼觀看的該些虛擬串流視頻信號。
【文檔編號】G06F3/01GK104243962SQ201410257945
【公開日】2014年12月24日 申請日期:2014年6月11日 優(yōu)先權(quán)日:2013年6月13日
【發(fā)明者】葉修齊 申請人:亞琛科技股份有限公司