手勢(shì)控制方法及系統(tǒng)與視頻流處理裝置的制造方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明是有關(guān)于一種手勢(shì)辨識(shí)與手勢(shì)控制技術(shù)，且特別是有關(guān)于一種在三維空間中進(jìn)行手勢(shì)控制的方法及系統(tǒng)與視頻流處理裝置。
【背景技術(shù)】
[0002]傳統(tǒng)的人機(jī)互動(dòng)介面為滑鼠、鍵盤和搖桿，隨著科技發(fā)展日新月異，為了使人機(jī)互動(dòng)可以更加便利，于是有了觸控、聲控等技術(shù)的出現(xiàn)。為了使人機(jī)互動(dòng)可以更加人性化，體感控制提供了一種全新的輸入方式，其中之一為手勢(shì)辨識(shí)，由于手勢(shì)是人與人在日常生活中常用的溝通方式之一，是一種相當(dāng)直覺且方便的示意方式。手勢(shì)識(shí)別應(yīng)用于人機(jī)介面設(shè)計(jì)、醫(yī)療康復(fù)、虛擬實(shí)境、數(shù)字藝術(shù)創(chuàng)作與游戲設(shè)計(jì)等領(lǐng)域近來(lái)漸漸受到消費(fèi)者的矚目。
[0003]手勢(shì)控制逐漸廣泛地應(yīng)用于各式各樣的人機(jī)互動(dòng)介面，例如機(jī)器人遙控、電器遙控、投影片簡(jiǎn)報(bào)操作等。使用者能夠于立體空間中直接以手勢(shì)來(lái)操控使用者介面，而不必接觸鍵盤、滑鼠、遙控器等輸入裝置，以直覺式的動(dòng)作就能驅(qū)動(dòng)電子產(chǎn)品。據(jù)此，如何于立體空間中使得控制顯示畫面的方式更為簡(jiǎn)便并符合多元化的使用情境，則為目前發(fā)展的重要一環(huán)。
[0004]于一般的情況中，若要基于手部的移動(dòng)軌跡或位置信息來(lái)精確的操控電子裝置，使用者必須依據(jù)影像獲取裝置的設(shè)置方式而受限于只能在特定的空間位置進(jìn)行操作上，才可藉由手部定位而據(jù)以準(zhǔn)確的操控顯示屏幕上所顯示的物件。換句話說(shuō)，倘若使用者并非位于影像獲取裝置的擷取視野的中間位置，使用者將無(wú)法準(zhǔn)確的操控顯示屏幕上所顯示的物件。

【發(fā)明內(nèi)容】

[0005]有鑒于此，本發(fā)明提供一種手勢(shì)控制方法及系統(tǒng)與視頻流處理裝置，可依據(jù)使用者于顯示屏幕前的三維空間中進(jìn)行的手勢(shì)操作，來(lái)對(duì)應(yīng)控制顯示屏幕中所顯示的各個(gè)物件。
[0006]本發(fā)明提出一種手勢(shì)控制方法，適用視頻流處理裝置，其特征在于，所述手勢(shì)控制方法包括:偵測(cè)第一影像中的第一操作手勢(shì)。若第一操作手勢(shì)符合控制條件，依據(jù)第一操作手勢(shì)決定在第一影像中關(guān)聯(lián)于第一操作手勢(shì)的使用者區(qū)塊。依據(jù)使用者區(qū)塊的信息獲取坐標(biāo)映射關(guān)系，并藉由坐標(biāo)映射關(guān)系將第二操作手勢(shì)在第二影像中的坐標(biāo)轉(zhuǎn)換為屏幕坐標(biāo)系下的屏幕坐標(biāo)。根據(jù)第二操作手勢(shì)的屏幕坐標(biāo)執(zhí)行操作功能。
[0007]在本發(fā)明的一范例實(shí)施例中，所述依據(jù)使用者區(qū)塊的信息獲取坐標(biāo)映射關(guān)系，并藉由坐標(biāo)映射關(guān)系將第二操作手勢(shì)在第二影像中的坐標(biāo)轉(zhuǎn)換為屏幕坐標(biāo)系下的屏幕坐標(biāo)的步驟包括:獲取第一影像中使用者區(qū)塊的第一尺寸。比對(duì)第一尺寸與屏幕的第二尺寸而獲取坐標(biāo)映射關(guān)系的歸一化系數(shù)，以依據(jù)歸一化系數(shù)將第二操作手勢(shì)在第二影像中的坐標(biāo)轉(zhuǎn)換為屏幕坐標(biāo)系下的屏幕坐標(biāo)。
[0008]在本發(fā)明的一范例實(shí)施例中，第一影像與第二影像對(duì)應(yīng)至影像坐標(biāo)系，而所述依據(jù)使用者區(qū)塊的信息獲取坐標(biāo)映射關(guān)系，并藉由坐標(biāo)映射關(guān)系將第二操作手勢(shì)在第二影像中的坐標(biāo)轉(zhuǎn)換為屏幕坐標(biāo)系下的屏幕坐標(biāo)的步驟包括:決定屏幕坐標(biāo)系下的參考基準(zhǔn)點(diǎn)。將使用者區(qū)塊的使用者代表點(diǎn)映射至屏幕坐標(biāo)系下的參考基準(zhǔn)點(diǎn)，以獲取影像坐標(biāo)系與屏幕坐標(biāo)系之間的坐標(biāo)映射關(guān)系。
[0009]在本發(fā)明的一范例實(shí)施例中，所述依據(jù)使用者區(qū)塊的信息獲取坐標(biāo)映射關(guān)系，并藉由坐標(biāo)映射關(guān)系將第二操作手勢(shì)在第二影像中的坐標(biāo)轉(zhuǎn)換為屏幕坐標(biāo)系下的屏幕坐標(biāo)的步驟包括:依據(jù)第二操作手勢(shì)相對(duì)于使用者代表點(diǎn)的相對(duì)位置信息與坐標(biāo)映射關(guān)系，獲取第二操作手勢(shì)的屏幕坐標(biāo)。判斷相對(duì)位置信息是否符合篩選條件，從而決定第二手勢(shì)是否為關(guān)聯(lián)于使用者區(qū)塊的有效手勢(shì)。
[0010]在本發(fā)明的一范例實(shí)施例中，所述根據(jù)第二操作手勢(shì)的屏幕坐標(biāo)執(zhí)行操作功能的步驟包括:辨識(shí)第二手勢(shì)的手勢(shì)特征，以依據(jù)第二操作手勢(shì)的屏幕坐標(biāo)與手勢(shì)特征執(zhí)行操作功能。
[0011]在本發(fā)明的一范例實(shí)施例中，所述使用者區(qū)塊為人臉區(qū)塊或是其他預(yù)設(shè)區(qū)塊。
[0012]從另一觀點(diǎn)來(lái)看，本發(fā)明提出一種視頻流處理裝置，其特征在于，所述視頻流處理裝置包括偵測(cè)模塊、決定模塊、坐標(biāo)轉(zhuǎn)換模塊以及執(zhí)行模塊。偵測(cè)模塊用以偵測(cè)第一影像中的第一操作手勢(shì)。若第一操作手勢(shì)符合控制條件，決定模塊用以依據(jù)第一操作手勢(shì)決定在第一影像中關(guān)聯(lián)于第一操作手勢(shì)的使用者區(qū)塊。坐標(biāo)轉(zhuǎn)換模塊用以依據(jù)使用者區(qū)塊的信息獲取坐標(biāo)映射關(guān)系，并藉由坐標(biāo)映射關(guān)系將第二操作手勢(shì)在第二影像中的坐標(biāo)轉(zhuǎn)換為屏幕坐標(biāo)系下的屏幕坐標(biāo)。執(zhí)行模塊用以根據(jù)第二操作手勢(shì)的屏幕坐標(biāo)執(zhí)行操作功能。
[0013]此外，本發(fā)明提出一種手勢(shì)控制系統(tǒng)，其特征在于，所述手勢(shì)控制系統(tǒng)包括影像獲取單元、屏幕以及視頻流處理裝置。影像獲取單元用以獲取顯示裝置前的第一影像與第二影像。屏幕用以顯示畫面且具有屏幕坐標(biāo)系。視頻流處理裝置電性連接至屏幕與影像獲取單元，并且視頻流處理裝置包括偵測(cè)模塊、決定模塊、坐標(biāo)轉(zhuǎn)換模塊以及執(zhí)行模塊。偵測(cè)模塊用以偵測(cè)第一影像中的第一操作手勢(shì)。若第一操作手勢(shì)符合控制條件，決定模塊用以依據(jù)第一操作手勢(shì)決定在第一影像中關(guān)聯(lián)于第一操作手勢(shì)的使用者區(qū)塊。坐標(biāo)轉(zhuǎn)換模塊用以依據(jù)使用者區(qū)塊的信息獲取坐標(biāo)映射關(guān)系，并藉由坐標(biāo)映射關(guān)系將第二操作手勢(shì)在第二影像中的坐標(biāo)轉(zhuǎn)換為屏幕坐標(biāo)系下的屏幕坐標(biāo)。執(zhí)行模塊用以根據(jù)第二操作手勢(shì)的屏幕坐標(biāo)執(zhí)行操作功能。
[0014]基于上述，在使用者透過(guò)特定手勢(shì)取得視頻流處理裝置的控制權(quán)后，本發(fā)明可將使用者影像中的臉部信息作為基準(zhǔn)而獲取一坐標(biāo)轉(zhuǎn)換關(guān)系，并依據(jù)坐標(biāo)轉(zhuǎn)換關(guān)系將操控手的位置映射至屏幕上的特定位置。藉此，視頻流處理裝置可依據(jù)映射轉(zhuǎn)換后的定位信息來(lái)?yè)?jù)以執(zhí)行相對(duì)應(yīng)的功能。也就是說(shuō)，即使使用者沒(méi)有位于影像獲取裝置的擷取視野的中間，使用者依然可控制屏幕上所顯示的各個(gè)物件，從而提高在空間中對(duì)顯示畫面進(jìn)行操作的便利性。
[0015]為讓本發(fā)明的上述特征和優(yōu)點(diǎn)能更明顯易懂，下文特舉實(shí)施例，并配合所附圖式作詳細(xì)說(shuō)明如下。
【附圖說(shuō)明】
[0016]圖1為根據(jù)本發(fā)明的一范例實(shí)施例所繪示的手勢(shì)控制系統(tǒng)的示意圖；
[0017]圖2為根據(jù)本發(fā)明的一范例實(shí)施例所繪示的視頻流處理裝置的示意圖；
[0018]圖3是依照本發(fā)明一實(shí)施例所繪示的一種手勢(shì)控制方法的流程圖；
[0019]圖4A是依照本發(fā)明一實(shí)施例所繪示的決定使用者區(qū)塊的示意圖；
[0020]圖4B是依照本發(fā)明一實(shí)施例所繪示的決定使用者區(qū)塊的示意圖；
[0021]圖5是依照本發(fā)明一實(shí)施例所繪示的坐標(biāo)轉(zhuǎn)換關(guān)系的示意圖；
[0022]圖6A是依照本發(fā)明一實(shí)施例所繪示的手勢(shì)控制方法的應(yīng)用情境示意圖；
[0023]圖6B是依照本發(fā)明一實(shí)施例所繪示的手勢(shì)控制方法的應(yīng)用情境示意圖；以及
[0024]圖6C是依照本發(fā)明一實(shí)施例所繪示的手勢(shì)控制方法的應(yīng)用情境示意圖。
[0025]附圖標(biāo)記說(shuō)明
[0026]10:手勢(shì)控制系統(tǒng)
[0027]110:屏幕
[0028]120:影像獲取單元
[0029]130:視頻流處理裝置
[0030]131:偵測(cè)模塊
[0031]132:決定模塊
[0032]133:坐標(biāo)轉(zhuǎn)換模塊
[0033]134:執(zhí)行模塊
[0034]Imgl-1、Imgl-2、Img2:影像
[0035