互動系統(tǒng)、遙控器及其運作方法
【專利摘要】一種互動系統(tǒng)，所述互動系統(tǒng)包含遙控器。所述遙控器具有用來獲取包含人體圖像以及背景圖像的工作圖像的攝影機；分析所述工作圖像用來取得所述工作圖像中屬于所述人體圖像的人體圖像區(qū)域以及屬于所述背景圖像的背景圖像區(qū)域的處理單元；其中所述處理單元根據(jù)所述人體圖像區(qū)域與所述背景圖像區(qū)域的亮度分布產(chǎn)生所述遙控器的移動信息。
【專利說明】
互動系統(tǒng)、遙控器及其運作方法
技術(shù)領(lǐng)域
[0001]本發(fā)明有關(guān)一種互動系統(tǒng)，更特別有關(guān)一種可藉由遙控器與人體相對位置關(guān)系產(chǎn)生互動信息的互動系統(tǒng)、遙控器及其運作方法。
【背景技術(shù)】
[0002]傳統(tǒng)互動系統(tǒng)中的指向裝置藉由檢測特定對象在圖像中的位置來實現(xiàn)，由于特定對象本身相對環(huán)境以及顯示器皆是不動的，因此特定對象與顯示器之間具有固定的空間位置關(guān)系，因此根據(jù)特定位置在圖像中的位置即可計算出攝影機所指向的方向。
[0003]上述方法廣泛應(yīng)用于電視、游戲機等指向應(yīng)用，然而，此方法無法計算出攝影機本身所在位置，以游戲機為例，使用者可利用游戲機的遙控器的攝影機瞄準屏幕上的對象，但游戲機僅能計算出用戶所瞄準屏幕的坐標位置，而無法藉由攝影機所獲取圖像得知用戶與手部運動軌跡間的關(guān)系，使游戲類型受限。

【發(fā)明內(nèi)容】

[0004]有鑒于此，本發(fā)明提供一種藉由檢測遙控器與用戶之間相互位置的變化來計算用戶的手部運動軌跡。
[0005]本發(fā)明提供一種互動系統(tǒng)、遙控器及其運作方法，其可搭配人臉識別以區(qū)別工作圖像中的人體圖像區(qū)域及背景圖像區(qū)域，用在計算遙控器坐標時僅根據(jù)工作圖像的部分圖像區(qū)域計算并忽略其他圖像區(qū)域。
[0006]本發(fā)明提供一種互動系統(tǒng)，所述互動系統(tǒng)包含遙控器。所述遙控器包含攝影機以及處理單元。所述攝影機用來獲取包含人體圖像及背景圖像的工作圖像。所述處理單元用來接收所述工作圖像，分析所述工作圖像以取得所述工作圖像中屬于所述人體圖像的人體圖像區(qū)域以及屬于所述背景圖像的背景圖像區(qū)域，并根據(jù)所述人體圖像區(qū)域及所述背景圖像區(qū)域的亮度分布產(chǎn)生所述遙控器的移動信息。
[0007]本發(fā)明還提供一種遙控器，包含攝影機、儲存單元以及處理單元。所述攝影機用來獲取包含人體圖像及背景圖像的初始工作圖像及目前工作圖像。所述儲存單元用來儲存所述初始工作圖像、相對所述初始工作圖像的預(yù)設(shè)深度圖及預(yù)設(shè)位置信息。所述處理單元用來改變所述預(yù)設(shè)位置信息及所述預(yù)設(shè)深度圖以根據(jù)所述初始工作圖像產(chǎn)生多個估測圖像，比較所述多個估測圖像與所述目前工作圖像以求得最大相似度，并將所述最大相似度所對應(yīng)的最佳估測圖像的位置信息作為所述遙控器的目前位置信息。
[0008]本發(fā)明還提供一種遙控器的運作方法，所述遙控器包含攝影機。所述運作方法包含下列步驟:以所述攝影機獲取包含人體圖像及背景圖像的初始工作圖像及目前工作圖像；改變相對所述初始工作圖像的預(yù)設(shè)位置信息及預(yù)設(shè)深度圖以產(chǎn)生多個估測圖像；比較所述多個估測圖像與所述目前工作圖像以求得最佳估測圖像；以及輸出所述最佳估測圖像相對應(yīng)的位置信息以作為所述遙控器的目前位置信息。
[0009]本發(fā)明還提供一種遙控器，所述互動系統(tǒng)包含遙控器。所述遙控器包含攝影機以及處理單元。所述攝影機用來獲取包含至少一人體圖像的工作圖像。所述處理單元用來接收所述工作圖像，從所述工作圖像中抽取出臉部圖像，對比所述臉部圖像與臉部特征數(shù)據(jù)庫以產(chǎn)生臉部特征信息，對比所述臉部特征信息與臉部幾何數(shù)據(jù)庫以求出所述攝影機的攝影機姿勢。
[0010]為了讓本發(fā)明的上述和其他目的、特征和優(yōu)點能更明顯，下文將配合所附圖示，詳細說明如下。此外，在本發(fā)明的說明中，相同的構(gòu)件以相同的符號表示，在此先述明。
【附圖說明】
[0011]圖1為本發(fā)明一實施例的系統(tǒng)架構(gòu)圖；
[0012]圖2為本發(fā)明一實施例中一遙控器的示意圖；
[0013]圖3為本發(fā)明一實施例中所獲取圖像的示意圖；
[0014]圖4為本發(fā)明一實施例中所獲取圖像的示意圖；
[0015]圖5為本發(fā)明一實施例中攝影機所建立三維坐標空間的示意圖；
[0016]圖6為本發(fā)明一實施例中計算并更新攝影機坐標及對象距離的流程圖；
[0017]圖7為本發(fā)明一實施例中計算并更新攝影機坐標的示意圖；
[0018]圖8為本發(fā)明一實施例中根據(jù)臉部分析建立三維位置信息的流程圖；以及
[0019]圖9為本發(fā)明一實施例中計算并更新攝影機對象距離的示意圖。
[0020]附圖標記說明
[0021]1000 遙控器
[0022]3000 顯示器
【具體實施方式】
[0023]本發(fā)明采用全新架構(gòu)，將攝影機置于手持裝置，攝影機的安裝位置利于觀察用戶的頭部及/或肩膀等身體其他部位(以下簡稱人體)等部位，當(dāng)使用者進行游戲時，隨著使用者手部運動，攝影機可觀測到使用者人體以及其后的背景區(qū)域的變化，藉此計算使用者手部運動軌跡，提高游戲經(jīng)驗。由于本發(fā)明的攝影機并非獲取顯示器方向的圖像，顯示器上或其附近無須另行設(shè)置參考光源。
[0024]請參照圖1所示為本發(fā)明互動系統(tǒng)的系統(tǒng)示意圖，所述互動系統(tǒng)包含用來檢測用戶的圖像的遙控器1000，并從不同角度觀察所述人體以及背景區(qū)域的圖像，進而計算所述遙控器1000與人體及/或背景區(qū)域的相對位置變化來產(chǎn)生運動信息，再根據(jù)所述運動信息控制顯示器3000的操作(例如控制所述顯示器3000的光標的移動)。
[0025]參考圖2，所述遙控器1000具有本體1100、攝影機1200以及光源1300，其中所述本體1100較佳是具有用來提供所述使用者持握的長軸，所述本體1100可設(shè)置多個按鈕(圖未顯示)作為控制信號的輸入單元，所述攝影機1200設(shè)置在所述本體1100的第一側(cè)，當(dāng)使用者持握所述遙控器1000進行操作時，所述第一側(cè)較佳是面對著所述使用者，用來讓所述攝影機1200得以獲取人體及/或背景區(qū)域的部份圖像。所述光源1300設(shè)置于與所述第一側(cè)相對的第二側(cè)，用來提供所述用戶作為指向輸入的視覺標示(可視系統(tǒng)需求設(shè)置或不設(shè)置)以作為指示燈，提供明顯的視覺標示，所述光源1300較佳為一個雷射投影光源，用來投射光束至所述顯示器3000以提示目前操作坐標。
[0026]例如，所述遙控器1000包含處理單元，例如微控制器(MCU)或中央處理單元(CPU)等，用來接收所述攝影機1200獲取的工作圖像，分析所述工作圖像以取得所述工作圖像中屬于人體圖像的人體圖像區(qū)域以及屬于背景圖像的背景圖像區(qū)域，并根據(jù)所述人體圖像區(qū)域及所述背景圖像區(qū)域產(chǎn)生所述遙控器1000的移動信息。所述遙控器1000還包含傳輸接口，利用有線或無線傳輸方式輸出所述移動信息以相對控制所述顯示器3000的光標動作。某些實施例中，計算所述遙控器1000的坐標時，可僅使用人體圖像區(qū)域或背景圖像區(qū)域其中的一者進行計算。
[0027]如圖3所示，所述攝影機1200在獲取一個工作圖像1500時會同時獲取到包含所述用戶的人體圖像1510以及背景區(qū)域的一個或多個背景圖像1521/1522?？梢粤私獾氖?，圖3雖顯示兩背景圖像1521、1522，其僅用于說明而并非用來限定本發(fā)明。當(dāng)使用者操作所述攝影機1200時，由于手部會持續(xù)的移動，因此所述攝影機1200可以從相對所述人體及背景區(qū)域的不同視角取得多張工作圖像，利用前后時間獲取的不同視角的兩張工作圖像可仿真出與用戶人體及/或背景區(qū)域有關(guān)的立體視覺，藉此建立起所述攝影機1200、所述使用者人體以及所述背景區(qū)域之間的3D位置關(guān)系。
[0028]由于所述工作圖像1500同時包含了人體圖像1510以及背景圖像1521/1522，當(dāng)使用者移動手部時，人體圖像1510以及背景圖像1521/1522在所述工作圖像1500的成像位置都會改變，因此所述遙控器1000即可根據(jù)人體圖像1510以及背景圖像1521/1522的成像位置變化來計算所述遙控器1000本身的移動信息。更詳而言之，所述工作圖像1500中的成像位置變化會顯示在亮度分布中。若使用者持握所述遙控器1000的手部未移動，但使用者上半身進行旋轉(zhuǎn)動作，例如在射擊游戲中的游戲角色持槍左右旋轉(zhuǎn)視察，雖然所述人體圖像1510在所述工作圖像1500中的成像位置不變，可是所述背景圖像1521/1522在所述工作圖像1500中還是會產(chǎn)生變化，因此所述遙控器1000仍然可以僅通過所述背景圖像1521/1522計算出用戶旋轉(zhuǎn)的運動信息。某些實施例中，當(dāng)背景區(qū)域所包含的對象發(fā)生變動時，分辨出人體圖像區(qū)域及背景圖像區(qū)域后，所述遙控器1000仍然可以僅通過所述人體圖像1510計算出用戶的運動信息。換句話說，本發(fā)明中，所述遙控器1000(例如其處理單元)可分辨所獲取的工作圖像1500中的人體圖像區(qū)域及背景圖像區(qū)域，并在不同條件下選擇至少其中的一者來計算所述遙控器1000的目前位置信息。
[0029]在一實施例中，所述遙控器1000在分析所述工作圖像1500時，可直接判斷整張圖像，不需另外識別出所述人體圖像1510及/或所述背景圖像1521/1522，而是直接判斷所述工作圖像1500的所有像素的亮度分布變化，并進而判斷各像素與所述攝影機1200之間的距離及相對位置變化。
[0030]在另一實施例中，所述遙控器1000在分析所述工作圖像1500時，可先根據(jù)所述工作圖像1500的亮度分布或其他像素信息識別出人體圖像1510(例如通過人臉識別判斷出臉部并將與臉部具有相同深度的圖像區(qū)域識別為所述人體圖像1510)及/或所述背景圖像1521/1522(例如將所述人體圖像1510以外的圖像區(qū)域判斷為所述背景圖像1521/1522)，藉由人體圖像1510及/或背景圖像1521/1522的成像位置變化來判斷人體及/或背景區(qū)域與所述攝影機1200之間的距離、傾角及相對位置變化。
[0031]參考圖4顯示所述攝影機1200、所述人體及/或背景區(qū)域之間的3D位置關(guān)系的示意圖，在一實施例中，可將開機(或開始進行操作)后的時間t。所獲取第一張圖像(例如稱為初始工作圖像)時所述攝影機1200的位置P40設(shè)為3D坐標空間的原點O，而在下一時間h所述攝影機1200在位置P41獲取第二張圖像(例如稱為目前工作圖像)時的坐標位置即以所述位置P40為原點O的3D坐標空間表示。所述遙控器1000則根據(jù)兩張圖像間的亮度分布來計算所述位置P41的三維坐標。當(dāng)所述兩張圖像為兩連續(xù)圖像時，時間t。與t!的時間差則為取樣周期，所述兩張圖像也可能為不連續(xù)的兩張圖像。
[0032]在計算所述3D位置關(guān)系時，由于所述人體及/或背景區(qū)域以及所述遙控器1000之間的相對關(guān)系及距離皆為未知，因此可先假設(shè)一組基本的參數(shù)(例如包含預(yù)設(shè)深度圖及預(yù)設(shè)位置信息)，再經(jīng)由多次獲取工作圖像來反復(fù)計算，藉此取得更精確的3D位置關(guān)系。例如參考圖5，其說明用于反復(fù)計算并更新所述攝影機1200在3D坐標空間的位置以及各像素所對應(yīng)的用戶人體及背景區(qū)域與攝影機之間的距離(以下簡稱對象距離)。
[0033]在步驟5100，由所述攝影機1200獲取初始的第一張工作圖像(稱為初始工作圖像)，并假定所述攝影機1200的位置P40為3D坐標空間的原點0，且將所獲取所述第一張工作圖像中每個像素的對象距離皆給定一個預(yù)設(shè)值(例如全部設(shè)為I)，其中每個像素所給定的對象距離的預(yù)設(shè)值可以是預(yù)存于所述遙控器1000或所述攝影機1200的儲存單元(例如內(nèi)存、緩沖器等)中。
[0034]換句話說，獲取所述初始工作圖像時，所述儲存單元至少儲存有所述初始工作圖像的預(yù)設(shè)深度圖、亮度圖(即所述初始工作圖像)、所述攝影機1200的預(yù)設(shè)位置信息(例如，但不限于，三維坐標及三維傾角)以及取像焦距等；其中，所述預(yù)設(shè)深度圖包含相對每個像素的對象距離(例如皆設(shè)為1，但并不以此為限)，所述亮度圖包含每個像素的灰階值，所述三維坐標例如設(shè)為(0，O, O)，而所述三維傾角例如包含第一軸向傾角、第二軸向傾角及第三軸向傾角，其均設(shè)為0，但本發(fā)明中的預(yù)設(shè)值設(shè)定并不以此為限。
[0035]在步驟5300，由所述攝影機1200依據(jù)工作頻率獲取目前工作圖像(例如第二張工作圖像)；其中，所述工作頻率有時稱為幀率(frame rate)。也即，步驟5100及5300中，所述攝影機1200分別獲取包含人體圖像及背景圖像的初始工作圖像及目前工作圖像。
[0036]在步驟5500，根據(jù)目前各像素所對應(yīng)的對象距離以及所述攝影機1200所獲取前一張工作圖像與目前工作圖像的間的圖像變化來計算并更新所述攝影機1200的目前坐標。參考圖4，例如在第一時間t。所述攝影機1200的預(yù)設(shè)坐標P40為原點O (0，O, O)，其根據(jù)步驟5100所獲取的初始工作圖像所決定；更詳言之，所述原點坐標O可視為所述遙控器1000或所述攝影機1200相對人體的初始三維空間關(guān)系。在第二時間^獲取第二張圖像時，計算并更新所述攝影機1200的坐標為ΡΓ (χΓ，yl’，zl’)，其根據(jù)步驟5200所獲取的目前工作圖像所決定；更詳言之，所述目前坐標P1’可視為所述遙控器1000或所述攝影機1200相對人體的目前三維空間關(guān)系。例如一種實施例中，所述遙控器1000包含處理單元，用來利用圖像處理的方式改變所述預(yù)設(shè)位置信息及所述預(yù)設(shè)深度圖以根據(jù)所述初始工作圖像產(chǎn)生多個估測圖像(例如一組三維坐標、三維傾角及深度可產(chǎn)生一張估測圖像)，比較所述多個估測圖像與所述目前工作圖像以求得最大相似度，并將所述最大相似度所對應(yīng)的最佳估測圖像的位置信息作為所述遙控器的目前位置信息，例如包含三維坐標及三維傾角等。
[0037]更詳而言之，所述遙控器1000根據(jù)所述目前工作圖像求出所述遙控器1000或所述攝影機1200相對所述原點O的目前坐標的方式為，所述處理單元依序產(chǎn)生不同坐標(即改變位置信息及深度信息)下所述目前工作圖像可能的亮度分布情形以作為估測圖像，當(dāng)某一估測圖像與所述攝影機1200實際所獲取的目前工作圖像相似度最高時，則將所述估測圖像視作為最佳估測圖像?？梢粤私獾氖牵捎谒鲞b控器1000用圖像比較的方式來確認所述最佳估測圖像，所述最佳估測圖像的亮度分布可能并非完全相同于所述目前工作圖像，或以閾值來確認是否中止比較程序并將相似度大于所述閾值的估測圖像作為所述最佳估測圖像。
[0038]在步驟5700，根據(jù)所述攝影機1200所更新的坐標(例如P1’ )重新計算并更新人體或背景區(qū)域與攝影機1200之間的對象距離(例如更新所述預(yù)設(shè)深度圖)，再回到步驟5300ο
[0039]可以理解的是由于在步驟5500中，所述攝影機1200的各像素的對象距離是直接讀取所儲存的對象距離的數(shù)值(例如在獲取第二張工作圖像時所獲取是預(yù)存所給定各像素的對象距離的預(yù)設(shè)值，在獲取第三張工作圖像或后續(xù)的工作圖像則是讀取更新過的對象距離)，并非實際上各像素所對應(yīng)的用戶人體或背景區(qū)域與所述攝影機1200之間的距離，因此所計算新的所述攝影機1200的坐標ΡΓ (χΓ，yl’，zl’ )與實際上所述攝影機1200的坐標Pl (xl，yl, zl)之間可能會存在一定差距。而在多次的進行步驟5300/5500/5700之后可藉由多次的更新將所計算所述攝影機1200的坐標Pn’與實際上所述攝影機1200的坐標Pn之間的差距逐步減少。所述遙控器1000例如輸出坐標ΡΓ (xl’，yl’，zl’ )至主機以進行相對應(yīng)控制。
[0040]當(dāng)然在一實施例中所述遙控器1000可進一步包含距離量測單元(圖中未顯示)，如此所述遙控器1000可取得所述攝影機1200所有像素的實際對象距離，則步驟5700即可忽略。
[0041]當(dāng)所述攝影機1200再次獲取工作圖像(例如第三張工作圖像)，則可以從步驟5500以及步驟5700中獲得并更新所述攝影機1200的坐標以及各像素的對象距離。因此所述攝影機1200藉由多次的獲取工作圖像以及反復(fù)的進行步驟5500以及5700即可使所述攝影機1200所計算的坐標與實際的坐標更為接近，也可使得所計算各像素的對象距離(例如預(yù)設(shè)深度圖)與實際的對象距離更為接近。因此，某些實施例中，所述攝影機1200可具有校正階段，其可為開機時、結(jié)束休眠時或使用者自行選擇時執(zhí)行，藉以增加正式操作時精確度。
[0042]可以理解的是，為了增加操作的穩(wěn)定性，也可以設(shè)定在遙控器1000進行操作之后每隔預(yù)定時間重新回到步驟5100，或者超過一定比例的像素在所計算出所述多個對象距離或與前一張圖像(或初始圖像幀)所取得對象距離的變化超過閾值或無法計算出有效對象距離時，重設(shè)所述攝影機1200的操作狀態(tài)而重新回到步驟5100。
[0043]參考圖6為步驟5500更新所述攝影機1200的坐標的示意圖，在所述步驟5500之中，當(dāng)讀取所述攝影機1200各像素的對象距離(例如預(yù)設(shè)深度圖)之后，所述多個對象距離可視為所述攝影機1200在獲取前一張工作圖像(或初始圖像幀)時各像素的對象距離，再根據(jù)所述多個對象距離來計算所述攝影機1200新的坐標。
[0044]在一實施例中，當(dāng)所述攝影機1200在前后時間(例如t。、ti)在C61以及C62這兩個位置分別獲取兩張工作圖像161/162時，所獲取工作圖像161/162都包含了人體6510及背景區(qū)域6521/6522 (利用處理單元識別人體圖像區(qū)域及背景圖像區(qū)域已說明于前)，其中所述用戶人體6510的特征點P60在所述兩張工作圖像161/162的成像位置分別為P61/P62。所述處理單元例如通過算法改變相對所述初始工作圖像(例如161)的預(yù)設(shè)位置信息及預(yù)設(shè)深度信息(其儲存于儲存單元中)以產(chǎn)生多個估測工作圖像，以仿真所述工作圖像162在不同位置時的亮度分布。所述處理單元并比較所述多個估測工作圖像與所述工作圖像162的相似度，例如計算相關(guān)性(correlat1n)，并將具有最高相似度的最佳估測工作圖像所對應(yīng)的位置信息視為所述工作圖像162的目前位置信息。如前所述，所述處理單元可比較所述目前工作圖像中所述人體圖像區(qū)域及所述背景圖像區(qū)域至少其中的一者與所述多個估測圖像中相對應(yīng)區(qū)域(即人體圖像區(qū)域及背景圖像區(qū)域)的相似度，例如計算相對應(yīng)區(qū)域間的相關(guān)性。
[0045]可以理解的是，用于判斷成像位置變化的特征點P60通常是在所獲取工作圖像中容易分辨的點，例如是具有超過閾值的亮度值的像素所對應(yīng)的特征點；或者是一群特征點的組合，例如是具有相同或類似亮度值的像素的集合所對應(yīng)特征點的集合。
[0046]當(dāng)所用來判斷的特征點越多，所計算出來所述攝影機1200的位置變化就可以越準確，而若可以用于判斷的特征點所對應(yīng)的像素數(shù)量少于一個閾值，所述遙控器1000即需要回到步驟5100重新獲取初始工作圖像，當(dāng)然此張初始工作圖像的各像素的對象距離可使用預(yù)存的預(yù)設(shè)值(例如I)或者是前一次有效用于計算攝影機1200位置變化的工作圖像所對應(yīng)的最后一次更新的對象距離的值。
[0047]在另一實施例中，可先從前后張工作圖像161/162識別出一個或多個特征點P60或特征點集合，再從這些特征點P60或其特征點集合的相似度來計算所述攝影機1200在獲取所述兩張工作圖像161/162時的位置C61/C62的坐標變化。
[0048]參考圖7為步驟5700更新所述攝影機1200各像素的對象距離(即更新所儲存的深度信息)的示意圖，在所述步驟5700之中，由于已從前一個步驟5500取得所述攝影機1200獲取目前工作圖像的坐標，因此可根據(jù)所述攝影機1200在獲取前后張工作圖像時的坐標變化來計算并更新已儲存的所述攝影機1200每個像素的對象距離。
[0049]當(dāng)攝影機1200在坐標C71 (例如對應(yīng)圖6的位置C61)獲取前一張工作圖像171時，特征點P70在所述工作圖像171的成像位置是P71，當(dāng)所述攝影機1200獲取目前工作圖像172 (例如對應(yīng)圖6的位置C62)時的坐標已經(jīng)移至C72，根據(jù)前一次的步驟5500可以取得C71/C72的坐標及其位置變化。
[0050]由于所述遙控器1000具有已儲存上一次更新的對象距離，故可根據(jù)所述特征點P70在所述工作圖像171所對應(yīng)像素目前所更新對象距離設(shè)定搜尋距離S71 (例如是目前所更新對象距離往前及往后預(yù)定距離)，且因所述攝影機1200的目前坐標C72為已知，因此可從所述搜尋距離S71以及所述坐標C72利用三角運算定義出所述工作圖像172中對應(yīng)所述搜尋距離S71的一個搜尋范圍S72，并從所述搜尋范圍S72之中找出對應(yīng)所述特征點P70的成像的像素P72。因此可根據(jù)C71/C72的前后坐標變化，前一張工作圖像171中所述特征點P70所對應(yīng)對象距離以及目前工作圖像172中所述特征點P70所對應(yīng)的像素位置P72計算出所述特征點P70與所述攝影機1200在所述坐標C72之間的對象距離，藉此讓所述遙控器1000可更新已儲存的所述特征點P70所對應(yīng)的對象距離。所述遙控器1000持續(xù)根據(jù)新的目前工作圖像更新所述儲存單元內(nèi)所儲存的對象距離(即深度圖)。
[0051]在一實施例中，可先從前后兩張工作圖像171/172識別出一個或多個特征點P70或特征點集合，再從這些特征點P70或其特征點集合的成像位置變化來計算所述攝影機1200在獲取目前工作圖像172時對應(yīng)所述特征點P70或其特征點集合與攝影機1200之間的對象距離。
[0052]由上可知，當(dāng)使用者持握所述遙控器1000的本體1100并進行連續(xù)移動時，即可藉由所述攝影機1200所獲取連續(xù)的工作圖像來計算所述攝影機1200的相對移動，也即可計算出所述遙控器1000的相對移動。
[0053]在一實施例中，可進行校正程序，也即由用戶將所述遙控器1000的雷射光源1300投射光束瞄準顯示器3000的一個特定目標點，藉此建立所述攝影機1200的3D坐標空間跟所述使用者人體與所述顯示器3000之間一個坐標空間的連結(jié)，提供使用者進行直接指向控制。
[0054]在一實施例中，可進一步將所獲取工作圖像中的用戶人體與背景區(qū)域進行分離，例如使用工作圖像中各像素點的亮度值來進行區(qū)隔，如此即可區(qū)分出前景(使用者人體)以及背景(背景區(qū)域)，并進而將用戶人體從所獲取工作圖像中獨立出來，進而提供后端應(yīng)用程序進行判斷，例如用戶臉部分析，或者僅利用攝影機1200與人體之間的相對關(guān)系計算所述攝影機1200的位置。
[0055]參考圖8，其為本發(fā)明中根據(jù)臉部分析建立三維位置信息的流程圖，包含下列步驟:圖像獲取(步驟S81);臉部檢測(步驟S82);臉部特征檢測(步驟S83);攝影機姿勢估測(步驟S84);以及應(yīng)用控制(步驟S85);其中，所述多個步驟例如由所述攝影機1200內(nèi)的處理單元1210所執(zhí)行。如前所述，所述三維位置信息(即攝影機姿勢)例如包含三維坐標及三維傾角等。本實施例中，所述處理單元1210可根據(jù)一張工作圖像求出三維位置信息。所述處理單元1210包含臉部數(shù)據(jù)庫、臉部特征數(shù)據(jù)庫以及臉部幾何數(shù)據(jù)庫，預(yù)先儲存于所述處理單元1210中，例如內(nèi)存或緩沖器。如前所述，所述處理單元1210例如為微控制器或中央處理器。
[0056]步驟S81:所述遙控器100的攝影機1200獲取包含至少一個人體圖像的工作圖像(如圖3所示)，并將所述工作圖像傳送至處理單元1210進行后處理?？梢粤私獾氖?，所述工作圖像可包含人體圖像以外的對象圖像。
[0057]步驟S82:所述處理單元1210首先對比所述工作圖像與所述臉部數(shù)據(jù)庫，以從所述工作圖像中抽取出臉部圖像，并將所述臉部圖像范圍以外的圖像數(shù)據(jù)(即畫素數(shù)據(jù))忽略，例如從緩存器中移除或計算時不予計算。所述處理單元1210例如包含臉部檢測引擎(其可由軟件及/或硬件實現(xiàn))利用人臉檢測算法與所述臉部數(shù)據(jù)庫進行對比以產(chǎn)生所述臉部圖像；其中，所使用的人臉檢測算法并無特定限制，例如參照2013年11月I日公告的TW I414179B、2014年11月21日公告的TW I462029B以及2013年7月11日公告的TWI401963B1。另一實施例中，所述處理單元1210可不使用人臉檢測算法，而采用面積及/或形狀等參數(shù)從所述工作圖像中抽取出所述臉部圖像；例如，圖像區(qū)域的面積大于預(yù)設(shè)面積閾值及/或圖像區(qū)域的形狀符合預(yù)設(shè)形狀；其中，所述圖像區(qū)域例如為介于預(yù)設(shè)灰階范圍的畫素區(qū)域。
[0058]步驟S83:所述處理單元1210接著對比所述臉部圖像與所述臉部特征數(shù)據(jù)庫以產(chǎn)生臉部特征信息；其中，所述臉部特征例如包含五官、眉毛、下巴、輪廓等至少其中一部分的二維位置。所述處理單元1210例如包含臉部特征檢測引擎(其可由軟件及/或硬件實現(xiàn))，用來對比出所述臉部圖像中的多個臉部特征及求出相對應(yīng)的二維位置。換句話說，所述臉部特征信息包含所述臉部圖像中多個臉部特征的二維位置；其中，所述多個臉部特征根據(jù)所述臉部特征檢測引擎所使用的算法或所述臉部特征數(shù)據(jù)庫所預(yù)存的臉部特征而定，并無特定限制。
[0059]步驟S84:所述處理單元1210接著對比所述臉部特征信息與所述臉部幾何數(shù)據(jù)庫以求出所述攝影機1200的攝影機姿勢，例如三維位置信息。換句話說，所述臉部幾何數(shù)據(jù)庫包含所述多個臉部特征的三維位置。所述處理單元1210例如包含姿勢估測引擎(其可由軟件及/或硬件實現(xiàn))，其利用三維姿勢估測(3D pose estimat1n)算法來求出所述攝影機姿勢。三維姿勢估測算法例如可參照論文“Synthesizing stereo 3D views from focuscues in monoscopic 2D images”, Ramon M.Rodriguez-Dagnino、‘‘Globally Optimal 0(n)Solut1n to the PnP Problem for General Camera Models，，，Gerald Schweighofer、“Synthesizing stereo 3D views from focus cues in monoscopic2D images”，RamonM.Rodriguez-Dagnino，但并不以此為限。
[0060]步驟S85:所述處理單元1210最后根據(jù)單一工作圖像的位置信息或連續(xù)工作圖像的位置信息變化進行后續(xù)的應(yīng)用控制，例如控制光標移動、游戲參數(shù)等，并無特定限制。
[0061]參考圖9，在一實施例中，使用者可同時持握兩支遙控器8100與8300，由于各遙控器8100與8300皆可根據(jù)上述方法(圖5或8)建立與所述用戶人體以及背景區(qū)域之間的一個3D坐標空間，因此通過矩陣轉(zhuǎn)換即可讓兩支遙控器8100與8300的3D坐標空間結(jié)合，讓兩支遙控器8100與8300知悉彼此的相對位置關(guān)系，并進而讓使用者可進行雙手互動或手勢的操作。
[0062]必須說明的是，上述說明中，由于攝影機1200包含在遙控器1000內(nèi)，所述遙控器1000的位置信息即為所述攝影機1200的位置信息。
[0063]雖然本發(fā)明已通過前述實例披露，但是其并非用來限定本發(fā)明，任何本發(fā)明所屬技術(shù)領(lǐng)域中具有通常知識的技術(shù)人員，在不脫離本發(fā)明的精神和范圍內(nèi)，當(dāng)可作各種的更動與修改。因此本發(fā)明的保護范圍當(dāng)視后附的權(quán)利要求所界定的范圍為準。
【主權(quán)項】
1.一種互動系統(tǒng)，該互動系統(tǒng)包含: 遙控器，所述遙控器包含: 攝影機，用來獲取包含人體圖像及背景圖像的工作圖像；以及 處理單元，用來接收所述工作圖像，分析所述工作圖像以取得所述工作圖像中屬于所述人體圖像的人體圖像區(qū)域以及屬于所述背景圖像的背景圖像區(qū)域，并根據(jù)所述人體圖像區(qū)域及所述背景圖像區(qū)域的亮度分布產(chǎn)生所述遙控器的移動信息。2.根據(jù)權(quán)利要求1所述的互動系統(tǒng)，其中所述互動系統(tǒng)還包含顯示器，所述遙控器還包含用來投射光束至所述顯示器的指示燈，以提示目前操作坐標。3.根據(jù)權(quán)利要求2所述的互動系統(tǒng)，其中所述攝影機及所述指示燈設(shè)置于所述遙控器的兩相對側(cè)。4.根據(jù)權(quán)利要求1所述的互動系統(tǒng)，其中所述處理單元用來比較所述工作圖像與多個估測工作圖像的相似度，以決定所述工作圖像的目前坐標。5.根據(jù)權(quán)利要求4所述的互動系統(tǒng)，其中通過改變初始工作圖像的預(yù)設(shè)位置信息及預(yù)設(shè)深度信息而獲得所述多個估測工作圖像。6.根據(jù)權(quán)利要求5所述的互動系統(tǒng)，其中所述遙控器還包含用來儲存所述預(yù)設(shè)位置信息及所述預(yù)設(shè)深度信息的儲存單元，所述處理單元還用來根據(jù)所述目前坐標更新所述預(yù)設(shè)深度信息。7.根據(jù)權(quán)利要求1所述的互動系統(tǒng)，其中所述互動系統(tǒng)還包含顯示器，所述遙控器還包含傳輸接口，該傳輸接口用來輸出所述移動信息以相對控制所述顯示器的光標動作。8.一種遙控器，該遙控器包含: 攝影機，用來獲取包含人體圖像及背景圖像的初始工作圖像及目前工作圖像； 儲存單元，用來儲存所述初始工作圖像、相對所述初始工作圖像的預(yù)設(shè)深度圖及預(yù)設(shè)位置信息；以及 處理單元，用來改變所述預(yù)設(shè)位置信息及所述預(yù)設(shè)深度圖以根據(jù)所述初始工作圖像產(chǎn)生多個估測圖像，比較所述多個估測圖像與所述目前工作圖像以求得最大相似度，并將所述最大相似度所對應(yīng)的最佳估測圖像的位置信息作為所述遙控器的目前位置信息。9.根據(jù)權(quán)利要求8所述的遙控器，其中所述預(yù)設(shè)位置信息及所述目前位置信息包含三維坐標及三維傾角。10.根據(jù)權(quán)利要求8所述的遙控器，其中所述處理單元還根據(jù)所述目前位置信息更新所述預(yù)設(shè)深度圖。11.根據(jù)權(quán)利要求8所述的遙控器，其中所述處理單元還用來分辨所述初始工作圖像及所述目前工作圖像中的人體圖像區(qū)域及背景圖像區(qū)域。12.根據(jù)權(quán)利要求11所述的遙控器，其中所述處理單元比較所述目前工作圖像中所述人體圖像區(qū)域及所述背景圖像區(qū)域至少其中的一者與所述多個估測圖像中相對應(yīng)區(qū)域的相似度。13.根據(jù)權(quán)利要求8所述的遙控器，其中所述遙控器包含彼此相對的第一側(cè)及第二側(cè)，所述攝影機設(shè)置于所述第一側(cè)而光源設(shè)置于所述第二側(cè)。14.一種遙控器的運作方法，該遙控器包含攝影機，該運作方法包含: 用所述攝影機獲取包含人體圖像及背景圖像的初始工作圖像及目前工作圖像； 改變相對所述初始工作圖像的預(yù)設(shè)位置信息及預(yù)設(shè)深度圖以產(chǎn)生多個估測圖像； 比較所述多個估測圖像與所述目前工作圖像以求得最佳估測圖像；以及 輸出所述最佳估測圖像相對應(yīng)的位置信息以作為所述遙控器的目前位置信息。15.根據(jù)權(quán)利要求14所述的運作方法，該運作方法還包含: 根據(jù)所述目前位置信息更新所述預(yù)設(shè)深度圖。16.根據(jù)權(quán)利要求14所述的運作方法，該運作方法還包含: 分辨所述初始工作圖像及所述目前工作圖像中的人體圖像區(qū)域及背景圖像區(qū)域。17.根據(jù)權(quán)利要求16所述的運作方法，該運作方法還包含: 比較所述目前工作圖像中所述人體圖像區(qū)域及所述背景圖像區(qū)域至少其中的一者與所述多個估測圖像中相對應(yīng)區(qū)域的相似度。18.根據(jù)權(quán)利要求17所述的運作方法，其中所述相似度通過計算所述目前工作圖像中所述人體圖像區(qū)域及所述背景圖像區(qū)域至少其中的一者與所述多個估測圖像中相對應(yīng)區(qū)域的相關(guān)性而得到。19.根據(jù)權(quán)利要求14所述的運作方法，其中所述最佳估測圖像為所述多個估測圖像中與所述目前工作圖像具有最高相似度的估測圖像。20.—種互動系統(tǒng)，該互動系統(tǒng)包含: 遙控器，所述遙控器包含: 攝影機，用來獲取包含至少一人體圖像的工作圖像；以及 處理單元，用來接收所述工作圖像，從所述工作圖像中抽取出臉部圖像，對比所述臉部圖像與臉部特征數(shù)據(jù)庫以產(chǎn)生臉部特征信息，對比所述臉部特征信息與臉部幾何數(shù)據(jù)庫以求出所述攝影機的攝影機姿勢。21.根據(jù)權(quán)利要求20所述的互動系統(tǒng)，其中所述臉部特征信息包含多個臉部特征的二維位置，所述臉部幾何數(shù)據(jù)庫包含所述多個臉部特征的三維位置，所述攝影機姿勢包含三維坐標及三維傾角。
【文檔編號】G06K9/00GK105843374SQ201510620811
【公開日】2016年8月10日
【申請日】2015年9月25日
【發(fā)明人】楊恕先, 程瀚平
【申請人】原相科技股份有限公司