專利名稱：圖像處理機(jī)、圖像處理方法、記錄介質(zhì)、計(jì)算機(jī)程序和半導(dǎo)體設(shè)備的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種圖像處理技術(shù)，該技術(shù)使用通過攝像裝置(如攝像機(jī))拍攝的圖像作為輸入界面，以便輸入命令和其他內(nèi)容。
背景技術(shù)：
鍵盤、鼠標(biāo)和控制器常常被用作計(jì)算機(jī)、視頻游戲機(jī)和其他設(shè)備的輸入設(shè)備。操作員通過對(duì)一個(gè)輸入設(shè)備進(jìn)行操作輸入一個(gè)想要的命令或幾個(gè)命令，以使計(jì)算機(jī)根據(jù)輸入的命令執(zhí)行處理。然后，操作員通過顯示設(shè)備和/或揚(yáng)聲器看到和/或聽到作為處理結(jié)果獲得的圖像和/或聲音。
操作員通過操作輸入設(shè)備上提供的許多按鈕或鍵來輸入命令，同時(shí)觀察顯示設(shè)備上顯示的光標(biāo)。
這樣的操作在很大程度上取決于操作員的操作經(jīng)驗(yàn)。例如，對(duì)于那些以前從來沒有接觸過鍵盤的人來說，使用鍵盤輸入想要的命令是相當(dāng)麻煩而費(fèi)時(shí)的，由于擊鍵出錯(cuò)，也會(huì)使他們?nèi)菀桩a(chǎn)生輸入錯(cuò)誤。有鑒于此，有必要為人們提供一種操作員操作起來非常方便的人機(jī)界面。
另一方面，由于多媒體技術(shù)的進(jìn)步，一般家庭的人現(xiàn)在也可以輕易地將用攝像機(jī)拍攝的圖像傳輸?shù)诫娔X或其他設(shè)備中，進(jìn)行編輯并將它們顯示在顯示設(shè)備上。這樣的技術(shù)也可用于身份驗(yàn)證中，通過對(duì)拍攝的身體某一部位(比如臉)的圖像進(jìn)行分析，提取出其中的特征數(shù)據(jù)，便可識(shí)別一個(gè)人。
通常，這樣的拍攝圖像用作由計(jì)算機(jī)處理的信息，以便進(jìn)行編輯或分析。但是，迄今為止，拍攝的圖像還沒有用來向計(jì)算機(jī)中輸入命令。
本發(fā)明的目標(biāo)是提供一項(xiàng)圖像處理技術(shù)，以便使用由圖像拍攝裝置或其他設(shè)備拍攝的圖像作為一個(gè)輸入界面，以便允許用戶輸入命令。

發(fā)明內(nèi)容
一個(gè)根據(jù)本發(fā)明的圖像處理機(jī)包括圖像捕獲裝置，用于捕獲一個(gè)鏡像移動(dòng)圖像，該圖像的其中一部分包括一個(gè)移動(dòng)目標(biāo)，圖像生成裝置，用于根據(jù)圖像捕獲裝置所捕獲的鏡像移動(dòng)圖像中包括的目標(biāo)的移動(dòng)，生成一個(gè)表示預(yù)先確定的對(duì)象的對(duì)象圖像，控制裝置，用于將圖像生成裝置生成的對(duì)象圖像與捕獲的鏡像移動(dòng)圖像合并，并在一個(gè)預(yù)先確定的顯示設(shè)備上顯示合并圖像。
“目標(biāo)”是指一個(gè)主體的標(biāo)記部分(例如，人或?qū)ο?，其圖像由圖像拍攝裝置拍攝，該裝置將圖像提供到圖像處理機(jī)。
根據(jù)本發(fā)明的另一個(gè)圖像處理機(jī)包括圖像捕獲裝置，用于捕獲一個(gè)鏡像移動(dòng)圖像，該圖像的一部分包括一個(gè)移動(dòng)目標(biāo)，檢測(cè)裝置，用于通過檢測(cè)當(dāng)前鏡像移動(dòng)圖像和緊前面的鏡像移動(dòng)圖像之間的圖像特征來檢測(cè)目標(biāo)和它的移動(dòng)組件，圖像生成裝置，用于生成一個(gè)表示預(yù)先確定的對(duì)象的對(duì)象圖像，以使對(duì)象圖像隨檢測(cè)裝置檢測(cè)到的目標(biāo)的移動(dòng)組件而變化，控制裝置，用于將圖像生成裝置生成的對(duì)象圖像與捕獲的鏡像移動(dòng)圖像合并，并將合并圖像顯示在一個(gè)預(yù)先確定的顯示設(shè)備上。
這些圖像處理機(jī)根據(jù)包括在鏡像移動(dòng)圖像中的目標(biāo)的移動(dòng)來生成對(duì)象圖像。更具體來講，根據(jù)目標(biāo)的移動(dòng)，可以確定出要顯示在顯示設(shè)備上的對(duì)象圖像的移動(dòng)、顏色和形狀，并且如果有許多對(duì)象圖像，那么也可以確定出哪一個(gè)對(duì)象圖像需要顯示。例如，如果目標(biāo)是操作員，那么對(duì)象根據(jù)操作員的移動(dòng)來確定。如此，鏡像移動(dòng)圖像可以作為一種輸入界面。
在這些圖像處理機(jī)中，圖像生成裝置可以生成對(duì)象圖像，以使對(duì)象圖像跟隨檢測(cè)到的目標(biāo)的移動(dòng)。
圖像處理機(jī)可以進(jìn)一步包括一個(gè)裝置，用于為根據(jù)目標(biāo)的移動(dòng)組件并基于生成的對(duì)象圖像執(zhí)行所需要的處理作好準(zhǔn)備。
圖像處理機(jī)可以進(jìn)一步包括一個(gè)裝置，用于將通過合并圖像生成裝置生成的對(duì)象圖像和當(dāng)前鏡像移動(dòng)圖像獲得的合并圖像，與包括在緊前面的鏡像移動(dòng)圖像中的目標(biāo)的圖像(它是模板圖像)進(jìn)行比較，檢測(cè)其圖像特征與模板圖像最相似的合并圖像的一部分，并為在檢測(cè)到的合并圖像的一部分的圖像包括對(duì)象圖像的情況下基于對(duì)象圖像執(zhí)行所需要的處理作好準(zhǔn)備。
通過將對(duì)象圖像與預(yù)先確定的處理關(guān)聯(lián)，并進(jìn)一步包括一個(gè)裝置，該裝置用于在檢測(cè)裝置檢測(cè)到的目標(biāo)的移動(dòng)組件滿足一個(gè)預(yù)先確定的條件的情況下執(zhí)行與對(duì)象圖像關(guān)聯(lián)的處理，則可以根據(jù)目標(biāo)的移動(dòng)執(zhí)行處理。
鏡像移動(dòng)圖像可以包括許多目標(biāo)。檢測(cè)裝置可以被配置為檢測(cè)許多目標(biāo)中的每一個(gè)目標(biāo)的移動(dòng)組件，并基于許多目標(biāo)的被檢測(cè)到的移動(dòng)組件檢測(cè)一個(gè)目標(biāo)。圖像生成裝置可以被配置為根據(jù)檢測(cè)裝置檢測(cè)到的一個(gè)目標(biāo)的移動(dòng)組件更改對(duì)象圖像。
本發(fā)明進(jìn)一步提供了下面的圖像處理方法。這種圖像處理方法包括一些步驟，用于將一個(gè)鏡像移動(dòng)圖像捕獲到一臺(tái)圖像處理機(jī)中，該圖像的其中一部分包括一個(gè)移動(dòng)目標(biāo)；圖像處理機(jī)根據(jù)所捕獲的鏡像移動(dòng)圖像中包括的目標(biāo)的移動(dòng)，生成一個(gè)表示預(yù)先確定的對(duì)象的對(duì)象圖像，將生成的對(duì)象圖像與捕獲的鏡像移動(dòng)圖像合并，以在一個(gè)預(yù)先確定的顯示設(shè)備上顯示合并圖像。
本發(fā)明還提供了下面的計(jì)算機(jī)程序。該計(jì)算機(jī)程序使一臺(tái)連接到顯示設(shè)備的計(jì)算機(jī)執(zhí)行以下處理過程捕獲一個(gè)鏡像移動(dòng)圖像，該圖像的其中一部分包括一個(gè)移動(dòng)目標(biāo)；根據(jù)所捕獲的鏡像移動(dòng)圖像中包括的目標(biāo)的移動(dòng)，生成一個(gè)表示預(yù)先確定的對(duì)象的對(duì)象圖像，將生成的對(duì)象圖像與捕獲的鏡像移動(dòng)圖像合并，以在顯示設(shè)備上顯示合并圖像。
本發(fā)明還提供了下面的半導(dǎo)體設(shè)備。該半導(dǎo)體設(shè)備集成到一個(gè)安裝在計(jì)算機(jī)上的裝置，該計(jì)算機(jī)與一個(gè)顯示設(shè)備相連接，該半導(dǎo)體設(shè)備使計(jì)算機(jī)具備如下裝置的功能一個(gè)捕獲鏡像移動(dòng)圖像的裝置，該圖像的其中一部分包括一個(gè)移動(dòng)目標(biāo)；一個(gè)生成對(duì)象圖像的裝置，該裝置根據(jù)所捕獲的鏡像移動(dòng)圖像中包括的目標(biāo)的移動(dòng)，生成一個(gè)表示預(yù)先確定的對(duì)象的對(duì)象圖像，一個(gè)合并裝置，該裝置將生成的對(duì)象圖像與捕獲的鏡像移動(dòng)圖像合并，以在顯示設(shè)備上顯示合并圖像。


圖1是一個(gè)應(yīng)用了本發(fā)明的圖像處理系統(tǒng)的總體配置圖表；圖2是一個(gè)根據(jù)本發(fā)明的一個(gè)實(shí)施例的圖像處理機(jī)的配置圖表；圖3是一個(gè)根據(jù)本發(fā)明的一個(gè)實(shí)施例的圖像處理機(jī)的功能方框圖；圖4是一個(gè)顯示實(shí)施例1的處理過程的流程圖；圖5是一個(gè)顯示實(shí)施例1的處理過程的流程圖；圖6說明了根據(jù)實(shí)施例1的合并圖像；圖7說明了一個(gè)菜單圖像；圖8是一個(gè)顯示實(shí)施例2的處理過程的流程圖；圖9說明了根據(jù)實(shí)施例2的合并圖像；圖10是一個(gè)描述如何使用遞歸紋理進(jìn)行繪制的視圖；圖11是一個(gè)顯示實(shí)施例3的處理過程的流程圖；圖12是一個(gè)顯示實(shí)施例3的處理過程的流程圖；以及圖13說明了根據(jù)實(shí)施例3的合并圖像。
具體實(shí)施例方式
下面我們將參照附圖對(duì)本發(fā)明的實(shí)施例進(jìn)行具體介紹。
圖1是一個(gè)顯示應(yīng)用了本發(fā)明的圖像處理系統(tǒng)的配置示例的視圖；該圖像處理系統(tǒng)使用一個(gè)模擬式或數(shù)字式便攜式攝像機(jī)1拍攝了一個(gè)操作員坐在顯示設(shè)備3前面的圖像，將如此獲得的移動(dòng)圖像在時(shí)間序列上連續(xù)地捕獲到一臺(tái)圖像處理機(jī)2，以生成鏡像移動(dòng)圖像，并將一個(gè)表示對(duì)象(如一個(gè)菜單和光標(biāo))的對(duì)象圖像與鏡像移動(dòng)圖像的一部分(有一個(gè)被標(biāo)記的對(duì)象(如操作員的眼睛或手)位于這一部分)合并(在下文中，將被標(biāo)記的對(duì)象叫做“目標(biāo)”)，以生成一個(gè)合并圖像(該圖像也變成一個(gè)移動(dòng)圖像)，并將合并圖像實(shí)時(shí)顯示在顯示設(shè)備3上。
鏡像移動(dòng)圖像可以通過圖像處理機(jī)2對(duì)便攜式攝像機(jī)1捕獲的移動(dòng)圖像進(jìn)行鏡像處理(圖像的左/右倒轉(zhuǎn))來生成?；蛘撸梢栽诒銛y式攝像機(jī)1前面放一面鏡子，那么便攜式攝像機(jī)1拍攝的反射了操作員的鏡子表面上的移動(dòng)圖像的照片便形成一個(gè)鏡像移動(dòng)圖像。在任何情況下，其顯示模式根據(jù)目標(biāo)的移動(dòng)會(huì)實(shí)時(shí)變化的合并圖像都會(huì)顯示在顯示設(shè)備3上。
圖像處理機(jī)2通過一臺(tái)能使用計(jì)算機(jī)程序提供所需要的功能的計(jì)算機(jī)來實(shí)現(xiàn)。
如在圖2中的例子所顯示的硬件配置，本實(shí)施例的計(jì)算機(jī)有兩個(gè)總線，一個(gè)主總線B1和一個(gè)次總線B2，有許多半導(dǎo)體設(shè)備與它們連接，每一個(gè)半導(dǎo)體設(shè)備都具有特定的功能?？偩€B1和B2通過一個(gè)總線接口INT彼此連接和斷開連接。
主總線B1與下列設(shè)備連接一個(gè)主CPU10，該CPU是一個(gè)主半導(dǎo)體設(shè)備，一個(gè)主內(nèi)存11，該主內(nèi)存由一個(gè)RAM構(gòu)成，一個(gè)主DMAC(直接內(nèi)存訪問控制器)12，一個(gè)MPEG(運(yùn)動(dòng)圖像專家組)解碼器(MDEC)13，一個(gè)圖像處理單元(在下文中稱作“GPU”)14，包括一個(gè)幀存儲(chǔ)器15作為圖形存儲(chǔ)器。GPU14連接到一個(gè)CRTC(CRT控制器)16，用于生成視頻信號(hào)，以便幀存儲(chǔ)器15中的數(shù)據(jù)顯示在顯示設(shè)備3上。
在啟動(dòng)計(jì)算機(jī)之后，主CPU10通過總線接口INT從次總線B2上的ROM23讀取一個(gè)自舉程序，并運(yùn)行該自舉程序以啟動(dòng)操作系統(tǒng)。它還控制一個(gè)媒體驅(qū)動(dòng)器27，從裝載在此媒體驅(qū)動(dòng)器27中的介質(zhì)28讀取一個(gè)應(yīng)用程序和數(shù)據(jù)，并將它們存儲(chǔ)在主內(nèi)存11上。主CPU10進(jìn)一步執(zhí)行幾何處理(坐標(biāo)值計(jì)算處理)，該處理過程包括為從介質(zhì)28讀取的各種數(shù)據(jù)，例如，由許多基本圖形(多邊形)組成的三維對(duì)象數(shù)據(jù)(一個(gè)多邊形的頂點(diǎn)(代表點(diǎn))的坐標(biāo)值)設(shè)置關(guān)聯(lián)的對(duì)象的形狀和移動(dòng)，并生成一個(gè)包括經(jīng)過幾何處理的多邊形定義信息(所使用的多邊形的形狀、其繪制位置、該多邊形的組件的類型、顏色或紋理等等的說明)的顯示列表。
GPU14是一個(gè)保存圖形上下文(包括多邊形組件的圖形數(shù)據(jù))的半導(dǎo)體設(shè)備。它具有如下功能根據(jù)從主CPU10發(fā)出的顯示列表讀取一個(gè)必需的圖形上下文以執(zhí)行表現(xiàn)處理(繪制處理)，在幀存儲(chǔ)器15上繪制多邊形。由于幀存儲(chǔ)器15還可以用作紋理存儲(chǔ)器，因此幀存儲(chǔ)器上存儲(chǔ)的任何像素圖像都可以作為一個(gè)紋理粘貼在要繪制的多邊形上。
主DMAC12是這樣一個(gè)半導(dǎo)體設(shè)備它不僅控制到連接到主總線B1的每個(gè)電路的DMA傳輸，而且還根據(jù)總線接口INT的情況，控制到連接到次總線B2的每個(gè)電路的DMA傳輸。MDEC13是這樣一個(gè)半導(dǎo)體設(shè)備它與主CPU10并行運(yùn)行以解壓縮那些以諸如MPEG(運(yùn)動(dòng)圖像專家組)或JPEG(聯(lián)合圖像專家組)之類的格式壓縮的數(shù)據(jù)。
次總線B2與下列設(shè)備連接包括一個(gè)微處理器的次CPU20、由一個(gè)RAM構(gòu)成的次內(nèi)存15、一個(gè)次DMAC22，一個(gè)在上面存儲(chǔ)了諸如操作系統(tǒng)之類的控制程序的ROM23，一個(gè)聲音處理半導(dǎo)體設(shè)備(SPU聲音處理單元)40，該聲音處理單元讀取在聲音存儲(chǔ)器25中存儲(chǔ)的聲音數(shù)據(jù)，并產(chǎn)生與音頻輸出相同的數(shù)據(jù)，一個(gè)通信控制單元(ATM)26，它用于通過網(wǎng)絡(luò)(未顯示)從一個(gè)外置設(shè)備接收/向一個(gè)外置設(shè)備發(fā)送信息，一個(gè)媒體驅(qū)動(dòng)器27，諸如CD-ROM和DVD-ROM之類的介質(zhì)28裝載到該驅(qū)動(dòng)器中，以及一個(gè)輸入設(shè)備31。
次CPU20根據(jù)存儲(chǔ)在ROM23中的控制程序控制各種操作。次DMAC22是這樣一個(gè)半導(dǎo)體設(shè)備只有在總線接口INT切斷主總線B1與次總線B2的連接的情況下，它才控制諸如到連接到次總線B2的每個(gè)電路的DMA傳輸之類的操作。輸入單元31包括一個(gè)連接終端32，通過它從操作設(shè)備35接收輸入信號(hào)，以及一個(gè)連接終端33，通過它從便攜式攝像機(jī)1接收?qǐng)D像信號(hào)，以及一個(gè)連接終端34，通過它從便攜式攝像機(jī)1接收聲音信號(hào)。
需要注意的是，為了方便起見，本說明書中的說明只針對(duì)圖像，而不是針對(duì)聲音。
在具有上述配置的計(jì)算機(jī)中，主CPU10、次CPU20和GPU14讀取并執(zhí)行存儲(chǔ)在記錄介質(zhì)(如ROM23和介質(zhì)28)中的預(yù)先確定的計(jì)算機(jī)程序，以形成作為圖像處理機(jī)2操作所需要的功能塊一個(gè)圖像輸入設(shè)備101、一個(gè)圖像反轉(zhuǎn)器102、一個(gè)對(duì)象數(shù)據(jù)存儲(chǔ)設(shè)備103、一個(gè)對(duì)象數(shù)據(jù)輸入設(shè)備104、一個(gè)對(duì)象控制器105、一個(gè)重疊圖像生成器106、一個(gè)差異值檢測(cè)器107和一個(gè)顯示控制器108。在圖1所示的硬件相互關(guān)系中，圖像輸入設(shè)備101由輸入設(shè)備31和控制它的操作的次CPU20構(gòu)成。圖像反轉(zhuǎn)器102、對(duì)象數(shù)據(jù)輸入設(shè)備104、對(duì)象控制器105和差異值檢測(cè)器107由主CPU10構(gòu)成。重疊圖像生成器106由GPU14構(gòu)成。顯示控制器108由彼此協(xié)作的GPU14和CRTC16構(gòu)成。對(duì)象數(shù)據(jù)存儲(chǔ)設(shè)備103在內(nèi)存區(qū)域(如主內(nèi)存11)中構(gòu)成，該內(nèi)存區(qū)域?qū)χ鰿PU10可訪問。
圖像輸入設(shè)備101通過輸入設(shè)備31的連接終端33接收便攜式攝像機(jī)1拍攝的圖像。在傳入的圖像是數(shù)字式圖像的情況下，圖像輸入設(shè)備101按原樣接收該圖像。在傳入的圖像是模擬式圖像的情況下，圖像輸入設(shè)備101在對(duì)該圖像進(jìn)行模擬/數(shù)字轉(zhuǎn)換之后接收該圖像。
圖像反轉(zhuǎn)器102執(zhí)行鏡像處理，即，將圖像輸入設(shè)備101接收到的圖像進(jìn)行右/左倒轉(zhuǎn)，以形成一個(gè)鏡像移動(dòng)圖像。
對(duì)象數(shù)據(jù)存儲(chǔ)設(shè)備103保存對(duì)象數(shù)據(jù)以及它的標(biāo)識(shí)數(shù)據(jù)，對(duì)象數(shù)據(jù)用于創(chuàng)建一個(gè)對(duì)象，比如一個(gè)菜單(包括子菜單)、一個(gè)火柴桿或一個(gè)光標(biāo)。
對(duì)象數(shù)據(jù)輸入設(shè)備104從對(duì)象數(shù)據(jù)存儲(chǔ)設(shè)備103接收必需的對(duì)象數(shù)據(jù)，并將它們發(fā)送到對(duì)象控制器105。
對(duì)象控制器105根據(jù)指令基于從對(duì)象數(shù)據(jù)輸入設(shè)備104集成的對(duì)象數(shù)據(jù)生成一個(gè)對(duì)象圖像。具體來說，對(duì)象控制器105基于從差異值檢測(cè)器107發(fā)出的差異值確定一個(gè)給定對(duì)象的顯示條件，并生成一個(gè)對(duì)象圖像以實(shí)現(xiàn)該顯示條件。稍后我們將對(duì)差異值進(jìn)行詳細(xì)介紹。
重疊圖像生成器106在幀內(nèi)存15中繪制一個(gè)合并圖像，合并圖像通過將從圖像反轉(zhuǎn)器102提供的鏡像移動(dòng)圖像重疊在對(duì)象控制器105生成的對(duì)象圖像上來獲得。
需要注意的是，對(duì)象圖像可以通過對(duì)對(duì)象圖像的強(qiáng)加處理而不是重疊處理來創(chuàng)建一個(gè)合并圖像的方式來顯示在鏡像移動(dòng)圖像上。
差異值檢測(cè)器107一個(gè)幀一個(gè)幀地比較由重疊圖像生成器106生成的合并圖像的鏡像移動(dòng)圖像的圖像特征，并得出前面的幀和后面的幀的鏡像移動(dòng)圖像之間的圖像特征的差異值。此外，差異值檢測(cè)器107還按需要生成一個(gè)前面的幀和后面的幀的鏡像移動(dòng)圖像之間的差異圖像。
圖像特征之間的差異值是這樣一個(gè)值它從量的角度表示鏡像移動(dòng)圖像中包括的目標(biāo)的移動(dòng)組件的每一幀的變化。例如，差異值表示目標(biāo)在鏡像移動(dòng)圖像中或在移動(dòng)之后的區(qū)域和移動(dòng)之前的區(qū)域之間的一個(gè)區(qū)域中移動(dòng)的距離。
當(dāng)一個(gè)鏡像移動(dòng)圖像內(nèi)包括許多目標(biāo)時(shí)，圖像特征之間的差異值表示單個(gè)目標(biāo)的移動(dòng)的變化。因此，通過計(jì)算這種差異值來從量的角度計(jì)算每一個(gè)目標(biāo)的移動(dòng)的變化是可行的。
差異圖像是這樣一個(gè)圖像它表示在一個(gè)給定的時(shí)間點(diǎn)鏡像移動(dòng)圖像中包括的每一個(gè)目標(biāo)的每一個(gè)幀的移動(dòng)的變化。例如，當(dāng)一個(gè)目標(biāo)的位置在兩個(gè)鏡像移動(dòng)圖像之間移動(dòng)時(shí)，差異圖像是一個(gè)由移動(dòng)之前目標(biāo)的圖像和移動(dòng)之后目標(biāo)的圖像組成的圖像。
為了獲得差異值和差異圖像，差異值檢測(cè)器107在主內(nèi)存11中存儲(chǔ)了某一個(gè)鏡像移動(dòng)圖像作為相對(duì)于其他幀的鏡像移動(dòng)圖像的“參考圖像”。要存儲(chǔ)的鏡像移動(dòng)圖像可以是一個(gè)幀的整個(gè)鏡像移動(dòng)圖像。或者，它也可以只是目標(biāo)的一部分的鏡像移動(dòng)圖像，因?yàn)樗枰闹皇鞘公@取圖像特征之間的差異值成為可能。
在下面的說明中，只要目標(biāo)的區(qū)域和圖像的其余的區(qū)域之間存在區(qū)別，這樣的目標(biāo)區(qū)域就叫做“模板圖像”。
差異值檢測(cè)器107檢測(cè)到的差異值被發(fā)送到對(duì)象控制器105，并用于控制對(duì)象圖像的移動(dòng)。
顯示控制器108將重疊圖像生成器106生成的合并圖像轉(zhuǎn)換成視頻信號(hào)，并提供給顯示設(shè)備3。顯示設(shè)備3使用此視頻信號(hào)將合并圖像(移動(dòng)圖像)顯示在屏幕上。
<圖像處理方法>
接下來，我們將介紹一個(gè)使用上述圖像處理系統(tǒng)執(zhí)行的圖像處理方法的實(shí)施例。
假設(shè)圖像處理機(jī)2在顯示設(shè)備3上產(chǎn)生了一個(gè)合并圖像，該合并圖像包括一個(gè)操作員的鏡像移動(dòng)圖像，它是用便攜式攝像機(jī)1拍攝的并經(jīng)過鏡像處理，以菜單圖像作為一個(gè)重疊的對(duì)象圖像的例子，如圖6所示。
作為一個(gè)目標(biāo)，可以選擇各種對(duì)象中的任何一個(gè)，比如操作員的眼睛、嘴和手。這里，我們將結(jié)合下列情況進(jìn)行說明，在合并圖像中，操作員的手對(duì)應(yīng)于目標(biāo)，通過檢測(cè)手在顯示了一個(gè)菜單圖像的區(qū)域的移動(dòng)量，借助于該菜單圖像即可指定指令。
菜單圖像的結(jié)構(gòu)是分層次的，如圖7所示。當(dāng)操作員選擇最頂層上的“菜單”時(shí)，一個(gè)下拉圖像就會(huì)顯示出來，上面突出顯示了較低層次上的“select1”、“select2”或“select3”中的某一項(xiàng)。當(dāng)操作員從下拉菜單中選中一個(gè)選項(xiàng)時(shí)，被選定的下拉圖像的較低層次上的菜單的進(jìn)程確定圖像(例如，“process 21”、“brocess 22”、“process23”、“process 24”)就會(huì)顯示出來。
進(jìn)程確定圖像存儲(chǔ)在對(duì)象數(shù)據(jù)存儲(chǔ)設(shè)備103中，以使它與一個(gè)程序關(guān)聯(lián)，以便使主CPU10執(zhí)行一個(gè)確定的進(jìn)程(事件)。當(dāng)操作員選中某一個(gè)進(jìn)程確定圖像時(shí)，與它關(guān)聯(lián)的程序就會(huì)運(yùn)行以執(zhí)行對(duì)應(yīng)的進(jìn)程(事件)。
圖4和圖5顯示了圖像處理機(jī)2啟動(dòng)此類操作所執(zhí)行的處理過程。
首先，請(qǐng)看圖4，當(dāng)鏡像移動(dòng)圖像被更新到后面的幀的鏡像移動(dòng)圖像時(shí)以及當(dāng)重疊圖像生成器106生成的合并圖像也相應(yīng)地更新時(shí)(步驟S101)，差異值檢測(cè)器107就會(huì)比較包括在更新前后的合并圖像中的鏡像移動(dòng)圖像的圖像特征，并計(jì)算出它們之間的差異值(步驟S102)。這里計(jì)算出的差異值是一個(gè)這樣的值它表示操作員的手在顯示了菜單圖像的區(qū)域的一個(gè)移動(dòng)。計(jì)算出的差異值記錄在主內(nèi)存11中，并不斷地累加到某一段時(shí)間(步驟S103)。要將差異值累加的原因是操作員操作指令的意圖是通過圖像處理機(jī)2基于操作員的手的許多移動(dòng)來判斷的。如果操作員操作指令的意圖可以根據(jù)手的單個(gè)移動(dòng)量來確定，那么就根本不需要進(jìn)行累加了。
差異值檢測(cè)器107將差異值(累加之和)發(fā)送到對(duì)象控制器105。
對(duì)象控制器105根據(jù)從差異值檢測(cè)器107收到的差異值(累加之和)確定菜單圖像的顏色(步驟S104)。例如，可為菜單圖像提供兩個(gè)或更多顏色，每次檢測(cè)到手的移動(dòng)時(shí)，就會(huì)更改顏色。還可以將顏色從透明更改為半透明、不透明和其他。實(shí)際差異值(累加之和)將與預(yù)先確定的閾值進(jìn)行比較(步驟S105)。當(dāng)累加之和小于閾值(步驟S105否)時(shí)，例程將回到步驟S101，假設(shè)還不足以判斷菜單屏幕的 “菜單”已經(jīng)被選中。
當(dāng)累加之和等于或大于閾值(步驟S105是)時(shí)，對(duì)象控制器105確定，菜單屏幕的“菜單”被已經(jīng)選中，就會(huì)顯示一個(gè)下拉圖像，并報(bào)告到差異值檢測(cè)器107(步驟S106)。
從上面的敘述中可以清楚地看出，當(dāng)在顯示了菜單圖像的區(qū)域檢測(cè)到的操作員的手的移動(dòng)的累加之和等于或大于閾值時(shí)，就會(huì)感覺到菜單圖像的“菜單”已經(jīng)被選中，下拉圖像就會(huì)顯示出來。菜單圖像的顏色隨手的移動(dòng)量的累加之和而變化，因此操作員可以知道要選中“菜單”手需要再移動(dòng)多少的大致量。
此外，由于顯示設(shè)備3顯示了一個(gè)鏡像移動(dòng)圖像，操作員可以采用與操作員看鏡子大致相同的方式執(zhí)行上述的操作，從而可以提供一個(gè)對(duì)于操作員來說易于操作的人機(jī)界面。
再回過頭來看圖5，當(dāng)判斷菜單屏幕上的“菜單”已經(jīng)被選中，即，差異值(累加之和)等于或大于閾值時(shí)，差異值檢測(cè)器107就會(huì)作為一個(gè)模板圖像存儲(chǔ)那時(shí)的操作員的手(目標(biāo))的圖像(步驟S107)。
當(dāng)幀被更新以及菜單圖像被其下級(jí)層次中的下拉圖像相應(yīng)地替代以顯示一個(gè)合并圖像時(shí)(步驟S108)，就會(huì)開始進(jìn)行搜索，以查找操作員的手的圖像在一個(gè)新的合并圖像中的位置。即，差異值檢測(cè)器107從合并圖像中搜索一個(gè)與模板圖像匹配的圖像(步驟S109)。
更具體來講，它將合并圖像分成與模板圖像的大小相同的若干個(gè)區(qū)域，并從所分開的許多區(qū)域中的圖像中搜索與模板圖像最相似的圖像。在該區(qū)域中與模板圖像最相似的圖像是，例如，當(dāng)所比較的圖像的像素之間的差的絕對(duì)值(或平方)的總和可以表示成一個(gè)距離時(shí)，其與模板圖像的距離是最小距離的圖像。
當(dāng)找到匹配的圖像(步驟S110是)之后，判斷匹配的圖像是否為一個(gè)下拉圖像(步驟S111)。如果匹配的圖像是一個(gè)下拉圖像(步驟S111是)，那么它就檢測(cè)該下拉圖像屬于“select1”、“select2”或“select3”中的哪一個(gè)區(qū)域(步驟S112)。檢測(cè)到的下拉圖像是操作員所指出和選中的下拉圖像。有關(guān)被選中的下拉圖像的信息將從差異值檢測(cè)器107報(bào)告到對(duì)象控制器105。
對(duì)象控制器105從對(duì)象數(shù)據(jù)存儲(chǔ)設(shè)備103中讀取被選中的下拉圖像所附帶的進(jìn)程確定圖像，并生成一個(gè)對(duì)象圖像，此進(jìn)程確定圖像將被附加到對(duì)象圖像中(步驟S113)。
這樣，顯示設(shè)備3一個(gè)接一個(gè)地顯示操作員所選擇的菜單。
在圖7的例子中，操作員從最頂層上的菜單圖像中選擇了“select2”的下拉圖像，伴隨“select2”的下拉圖像的進(jìn)程確定圖像(“process 21”、“process 22”、“process 23”和“process 24”)就會(huì)顯示出來。
每一個(gè)幀的模板圖像都會(huì)刷新。
更具體來講，差異值檢測(cè)器107廢棄前面的幀使用的模板圖像，并將上面描述的匹配的圖像(用于選擇下拉圖像的操作員的手的的圖像)作為一個(gè)新的模板圖像來存儲(chǔ)(步驟S114)。然后，例程就會(huì)返回到步驟S108，按照上面描述的方式指定其中一個(gè)進(jìn)程確定圖像(“process 21”、“process 22”、“process 23”和“process 24”)。
在步驟S111中，當(dāng)匹配的圖像位于下拉圖像區(qū)域的外部但又是進(jìn)程確定圖像區(qū)域內(nèi)的任何一個(gè)進(jìn)程確定圖像時(shí)(步驟S111否，S115是)，該進(jìn)程確定圖像被認(rèn)為已經(jīng)被選中，與它關(guān)聯(lián)的進(jìn)程的內(nèi)容就被確定，即，程序被啟動(dòng)，使用該菜單圖像的進(jìn)程也就完成(步驟S118)。
當(dāng)匹配的圖像位于下拉圖像區(qū)域和進(jìn)程確定圖像的外部但又在菜單圖像區(qū)域內(nèi)時(shí)(步驟S111否，S115否，S116是)，這就意味著，操作員試圖選擇另一個(gè)下拉圖像，因此例程就會(huì)廢棄模板圖像，并將匹配的圖像作為一個(gè)新模板圖像存儲(chǔ)，并返回到步驟S108(步驟S117)。
在步驟S110中，當(dāng)沒有找到要比較的匹配的圖像時(shí)(步驟S110否)或者當(dāng)找到了一個(gè)匹配的圖像但它位于菜單圖像區(qū)域外部，那么此時(shí)涉及該菜單圖像的進(jìn)程就會(huì)終止(步驟S111否，S115否，S116否)。
通過執(zhí)行上述過程中使用菜單圖像的處理，操作員可以輕松地選擇帶有一個(gè)想要的內(nèi)容的進(jìn)程，同時(shí)可以觀察到顯示在顯示設(shè)備3的屏幕上的他或她自己的鏡像移動(dòng)圖像。此外，操作員還可以在輸入指令的同時(shí)隨時(shí)檢查屏幕上他/她自己的行為，這樣便可以防止操作員將他/她的眼睛離開顯示設(shè)備3，與使用鍵盤之類的輸入設(shè)備時(shí)一樣。
可以通過使用根據(jù)本實(shí)施例的圖像處理系統(tǒng)來在對(duì)象圖像和主CPU10使用的程序之間建立一個(gè)關(guān)聯(lián)，以便執(zhí)行一個(gè)將要進(jìn)行圖像處理的事件，這樣，相關(guān)的事件的處理根據(jù)操作員在對(duì)象圖像上的鏡像移動(dòng)圖像內(nèi)的操作來執(zhí)行。
作為一個(gè)將要被重疊在鏡像移動(dòng)圖像上一個(gè)對(duì)象圖像的例子，本實(shí)施例顯示了這樣一個(gè)情況使用一個(gè)火柴的圖像和一個(gè)表示該火柴已被點(diǎn)燃并燒起來的火焰的圖像。
作為一個(gè)前提，火柴的圖像(它是對(duì)象圖像)預(yù)先與一個(gè)用于在顯示設(shè)備3上顯示一個(gè)點(diǎn)燃動(dòng)畫的程序關(guān)聯(lián)，表示火柴已經(jīng)點(diǎn)燃。然后，當(dāng)鏡像移動(dòng)圖像中的操作員的行為好像是他/她擦著了合并圖像內(nèi)的火柴的圖像，點(diǎn)燃動(dòng)畫出現(xiàn)在對(duì)應(yīng)于產(chǎn)生了火焰的一端的火柴的圖像的一部分。當(dāng)操作員擦火柴時(shí)，火焰的圖像顯示出來。
火焰的圖像可以使用(例如)遞歸紋理繪制技術(shù)來生成。
“遞歸紋理繪制”是指這樣一個(gè)繪制技術(shù)從紋理映射所表現(xiàn)的對(duì)象的圖像重建一個(gè)給定圖像的紋理，并遞歸地執(zhí)行紋理映射?！凹y理映射”是這樣一個(gè)技術(shù)通過將紋理的位圖數(shù)據(jù)粘貼在對(duì)象的表面，表現(xiàn)一個(gè)對(duì)象的圖像，以增強(qiáng)圖像的紋理，該技術(shù)也可以通過使用幀存儲(chǔ)器15作為紋理存儲(chǔ)器來實(shí)現(xiàn)。當(dāng)執(zhí)行此類遞歸紋理繪制時(shí)，gouraud濃淡處理將會(huì)應(yīng)用到要在上面繪制紋理的多邊形上。換句話說，gouraud濃淡處理會(huì)計(jì)算出多邊形的每一頂點(diǎn)的亮度，并插入到各個(gè)頂點(diǎn)之間以獲得多邊形內(nèi)的亮度(此技術(shù)叫做“gouraud紋理映射”)。
為提供火焰圖像，形成火焰圖像的網(wǎng)孔內(nèi)的各個(gè)頂點(diǎn)的位置使用隨機(jī)數(shù)字移動(dòng)，如圖10所示，并確定出新頂點(diǎn)的位置。頂點(diǎn)的亮度也可以基于隨機(jī)數(shù)字來確定。頂點(diǎn)的位置和頂點(diǎn)的亮度在每次幀更新時(shí)確定。形成火焰圖像的網(wǎng)孔的每一單元都是一個(gè)多邊形。
在每一個(gè)多邊形上，變成在幀存儲(chǔ)器15中繪制的火焰的基礎(chǔ)的圖像是通過上述遞歸紋理繪制方法來構(gòu)成的，上述gouraud濃淡處理基于多邊形的每一個(gè)頂點(diǎn)的亮度來應(yīng)用。這樣，便使得在火焰上方冒煙、火焰閃爍以及火焰變暗淡可以更逼真地產(chǎn)生出來。
假設(shè)圖像處理機(jī)2產(chǎn)生了一個(gè)如圖9所示的合并圖像，在顯示設(shè)備3上，火柴的圖像重疊在操作員的鏡像移動(dòng)圖像上。這里，我們假設(shè)目標(biāo)是操作員的手。通過檢測(cè)手在顯示了火柴圖像的區(qū)域的移動(dòng)量，與火柴的圖像關(guān)聯(lián)的程序會(huì)被執(zhí)行，點(diǎn)燃動(dòng)畫就會(huì)顯示在顯示設(shè)備3上。
圖8顯示了圖像處理機(jī)2實(shí)現(xiàn)這樣一個(gè)操作所執(zhí)行的處理過程。
當(dāng)鏡像移動(dòng)圖像被更新到后面的幀的鏡像移動(dòng)圖像時(shí)以及當(dāng)重疊圖像生成器106生成的合并圖像也相應(yīng)地更新時(shí)(步驟S301)，差異值檢測(cè)器107就會(huì)比較包括在更新前后的合并圖像中的鏡像移動(dòng)圖像的圖像特征，并計(jì)算出火柴圖像的點(diǎn)燃部分的圖像之間的差異值，并生成火柴圖像的點(diǎn)燃部分之間的差異圖像(步驟S202)。這里計(jì)算出的差異值是這樣一個(gè)值它從量的角度表示手在火柴圖像的點(diǎn)燃部分的周圍的移動(dòng)。生成的差異圖像是這樣一個(gè)圖像它由手在火柴圖像的點(diǎn)燃部分的周圍的移動(dòng)前后手的圖像組成。
計(jì)算出的差異值記錄在主內(nèi)存11中，并不斷地累加到某一段時(shí)間(步驟S203)。
差異值檢測(cè)器107將累加之和(它是差異圖像和差異值的累加之和)發(fā)送到對(duì)象控制器105。
對(duì)象控制器105將根據(jù)從差異值檢測(cè)器107收到的累加之和確定差異圖像的顏色，并基于此差異圖像生成一個(gè)火焰圖像(步驟S204)。火焰圖像是通過下列方式生成的，例如，將差異圖像分成若干個(gè)網(wǎng)孔，并基于這些網(wǎng)孔使用上述的遞歸紋理?；鹧鎴D像的顏色是根據(jù)差異圖像的顏色來確定的。生成的火焰圖像將重疊在火柴圖像的點(diǎn)燃部分。
這樣，根據(jù)手的移動(dòng)量添加了顏色的火焰圖像顯示在這樣的區(qū)域該區(qū)域顯示了手在火柴圖像的點(diǎn)燃部分周圍的移動(dòng)。
根據(jù)差異值的累加之和來確定火焰圖像的顏色這一做法可以使下面的做法成為可能例如，表示出顯示在火柴的點(diǎn)燃部分的火焰圖像的顏色隨手的移動(dòng)量而逐漸變化的情況。
然后，對(duì)象控制器105將表示火焰圖像的顏色的值與預(yù)先確定的閾值進(jìn)行比較(步驟S205)。例如，如果火焰圖像的顏色用R、G和B顏色值來表示，那么就可以使用這些值的總和。
當(dāng)表示顏色的值等于或大于閾值(步驟S205是)時(shí)，對(duì)象控制器105決定運(yùn)行一個(gè)程序，以便顯示表示火柴已經(jīng)點(diǎn)燃的點(diǎn)燃動(dòng)畫(步驟S206)。
即，是否啟動(dòng)點(diǎn)燃動(dòng)畫是根據(jù)火焰圖像的顏色來確定的。例如，當(dāng)根據(jù)手的移動(dòng)量火焰圖像的顏色從紅色變?yōu)辄S色時(shí)，點(diǎn)燃動(dòng)畫在火焰圖像變?yōu)辄S色時(shí)啟動(dòng)。操作員可以知道為啟動(dòng)點(diǎn)燃動(dòng)畫手需要再移動(dòng)多少的大致量。
重疊圖像生成器106，通過將一個(gè)已經(jīng)將點(diǎn)燃動(dòng)畫重疊在對(duì)象圖像(該對(duì)象圖像包括火柴圖像和火焰圖像)上的圖像重疊在便攜式攝像機(jī)1獲取的鏡像移動(dòng)圖像上，從而生成一個(gè)合并圖像(步驟S207)。點(diǎn)燃動(dòng)畫顯示在火柴圖像的點(diǎn)燃部分。
當(dāng)表示顏色的值小于閾值(步驟S205否)時(shí)，對(duì)象控制器105將火焰圖像重疊在火柴圖像上面的對(duì)象圖像發(fā)送到重疊圖像生成器106。重疊圖像生成器106，通過將此對(duì)象圖像重疊在便攜式攝像機(jī)1獲取的鏡像移動(dòng)圖像上，從而生成一個(gè)合并圖像(步驟S208)。
然后，(例如)如果從操作設(shè)備35收到一個(gè)終結(jié)處理的指令，處理就終止(步驟S209是)。如果沒有收到終止處理的指令(步驟S209否)，例程就返回到步驟S201，顯示控制器108就在顯示設(shè)備3上顯示在步驟S207或步驟S208中生成的合并圖像。
從上面的敘述中可以清楚地看出，系統(tǒng)執(zhí)行這樣一個(gè)進(jìn)程根據(jù)操作員在火柴圖像的點(diǎn)燃部分的周圍移動(dòng)他/她的手的多少，確定是否執(zhí)行一個(gè)程序，以便顯示與火柴圖像關(guān)聯(lián)的點(diǎn)燃動(dòng)畫。
由于操作員可以執(zhí)行旨在執(zhí)行各種事件的操作同時(shí)又可觀察他自己或她自己的鏡像移動(dòng)圖像，因此進(jìn)行旨在執(zhí)行各種進(jìn)程的輸入操作是可以實(shí)現(xiàn)的，這些操作可以比傳統(tǒng)的使用諸如鍵盤和鼠標(biāo)之類的輸入設(shè)備的操作更輕松。
下面我們將介紹另一個(gè)實(shí)施例。作為一個(gè)前提，假設(shè)圖像處理機(jī)2在顯示設(shè)備3上產(chǎn)生一個(gè)帶有光標(biāo)(指針)圖像的合并圖像，這是一個(gè)重疊在操作員的鏡像移動(dòng)圖像上的對(duì)象圖像，如圖13(a)所示。還假設(shè)鏡像移動(dòng)圖像中包括許多目標(biāo)，如操作員的手、眼睛和嘴。
這里，我們將結(jié)合下述情況進(jìn)行說明操作員的手的移動(dòng)在許多目標(biāo)中比較突出，光標(biāo)圖像后面跟著手的這種移動(dòng)。
如圖13(a)所示，光標(biāo)圖像是一個(gè)類似于臉的圖像，其中眼睛比較突出，這樣，便可以使眼睛跟隨目標(biāo)轉(zhuǎn)動(dòng)。此外，光標(biāo)圖像跟隨目標(biāo)的移動(dòng)而移動(dòng)。更具體來講，當(dāng)光標(biāo)圖像遠(yuǎn)離目標(biāo)時(shí)，光標(biāo)圖像向目標(biāo)方向移動(dòng)。當(dāng)光標(biāo)圖像捕捉到目標(biāo)時(shí)，光標(biāo)圖像跟隨目標(biāo)的移動(dòng)。
圖11和圖12顯示了圖像處理機(jī)2啟動(dòng)此類操作所執(zhí)行的處理過程。
根據(jù)圖11，當(dāng)鏡像移動(dòng)圖像被更新到后面的幀的鏡像移動(dòng)圖像時(shí)以及當(dāng)重疊圖像生成器106生成的合并圖像也相應(yīng)地更新時(shí)(步驟S301)，差異值檢測(cè)器107就會(huì)比較包括在更新前后的合并圖像中的鏡像移動(dòng)圖像的圖像特征，并計(jì)算出它們之間的差異值(步驟S302)。這里計(jì)算出的差異值是這樣的一個(gè)值，它量化了操作員的手、眼睛、嘴等部位的移動(dòng)，這些部位已經(jīng)變成了鏡像移動(dòng)圖像中的候選目標(biāo)。
差異值檢測(cè)器107將每一個(gè)目標(biāo)的差異值發(fā)送到對(duì)象控制器105。
對(duì)象控制器105基于從差異值檢測(cè)器107(步驟S303)發(fā)出的每一個(gè)目標(biāo)的差異值檢測(cè)到一個(gè)目標(biāo)。例如，它檢測(cè)一個(gè)其差異值達(dá)到最大值的目標(biāo)。在這個(gè)例子中，假設(shè)操作員的手作為目標(biāo)被檢測(cè)到。
在檢測(cè)到目標(biāo)之后，對(duì)象控制器105根據(jù)目標(biāo)確定光標(biāo)圖像的顯示方式。
首先，對(duì)象控制器105確定在步驟S310中更新的合并圖像中的目標(biāo)是否位于光標(biāo)圖像的外部(步驟S304)。如果目標(biāo)在光標(biāo)圖像內(nèi)(步驟S304否)，那么對(duì)象控制器105就判斷光標(biāo)圖像已經(jīng)捕捉到目標(biāo)(步驟S308)。
如果目標(biāo)在光標(biāo)圖像外部(步驟S304是)，那么對(duì)象控制器105就判斷光標(biāo)圖像還沒有捕捉到目標(biāo)，并執(zhí)行處理，以確定光標(biāo)圖像的顯示方式。即，對(duì)象控制器105生成一個(gè)光標(biāo)圖像，以使光標(biāo)圖像中的眼睛跟隨目標(biāo)轉(zhuǎn)動(dòng)。
此外，它還根據(jù)光標(biāo)圖像和目標(biāo)之間的距離確定光標(biāo)圖像向目標(biāo)移動(dòng)的速度(步驟S306)。光標(biāo)圖像越是從離目標(biāo)較遠(yuǎn)的地方移動(dòng)，這種速度就越快。這樣，便可以獲取一個(gè)圖像，在該圖像中，光標(biāo)圖像離目標(biāo)越遠(yuǎn)，光標(biāo)向目標(biāo)移動(dòng)得越快。
重疊圖像生成器106將這樣一個(gè)光標(biāo)圖像重疊在后面的幀的鏡像移動(dòng)圖像上，以生成一個(gè)合并圖像，如圖13(a)所示(步驟S307)。然后，例程回到步驟S301并對(duì)生成的合并圖像執(zhí)行相同的操作。
例程執(zhí)行步驟S301到S307的操作，直到光標(biāo)圖像捕捉到目標(biāo)，即，直到在步驟S304中判斷出目標(biāo)位于光標(biāo)圖像內(nèi)為止。
此類操作可以提供一個(gè)如圖13(a)所示的圖像，在該圖像中，光標(biāo)圖像中的眼睛跟隨目標(biāo)(手)轉(zhuǎn)動(dòng)，光標(biāo)圖像跟隨目標(biāo)移動(dòng)。
然后，再回過頭來看圖12，當(dāng)光標(biāo)圖像捕捉到目標(biāo)時(shí)，差異值檢測(cè)器107將此時(shí)的目標(biāo)的圖像保存為模板圖像(步驟S309)。例如，它將鏡像移動(dòng)圖像的與光標(biāo)圖像重疊的那一部分作為模板圖像。
然后，差異值檢測(cè)器107從圖像反轉(zhuǎn)器102(步驟S310)獲取后面的幀的鏡像移動(dòng)圖像。差異值檢測(cè)器107從獲取到的鏡像移動(dòng)圖像中搜索匹配存儲(chǔ)的模板圖像的圖像的位置(步驟S311)。
更具體來講，它將獲取的鏡像移動(dòng)圖像分成與模板圖像的大小相同的若干個(gè)區(qū)域，并從所分開的許多區(qū)域中的圖像中搜索與模板圖像最相似的該區(qū)域中的圖像。在作為搜索結(jié)果檢測(cè)到匹配的圖像之后，它將檢測(cè)到的圖像的位置報(bào)告到對(duì)象控制器105。
對(duì)象控制器105確定從差異值檢測(cè)器107報(bào)告的位置作為后面的合并圖像的光標(biāo)圖像的位置(步驟S312)。
重疊圖像生成器106將在步驟S312中對(duì)象控制器105確定的位置處的光標(biāo)圖像重疊在與在步驟S310中由差異值檢測(cè)器107獲取的鏡像移動(dòng)圖像相同的鏡像移動(dòng)圖像上，并生成一個(gè)合并圖像，如圖13(b)所示(步驟S313)。然后，幀被更新，顯示控制器108顯示出顯示設(shè)備3生成的合并圖像(步驟S314)。
通過在目標(biāo)被捕捉到之后重復(fù)上述操作(步驟S309到步驟S314)，就會(huì)提供一個(gè)圖像，在該圖像中光標(biāo)圖像跟隨目標(biāo)移動(dòng)。更具體來講，當(dāng)光標(biāo)圖像如圖13(b)所示捕捉到目標(biāo)(手)之后，光標(biāo)圖像此后顯示在目標(biāo)的目的地，無論目標(biāo)移動(dòng)到哪里。甚至當(dāng)操作員伸展他的手時(shí)，如圖13(b)到圖13(c)所示，光標(biāo)圖像顯示在操作員的伸展的手尖上，和手(被視為目標(biāo))的移動(dòng)一起。
通過使用光標(biāo)圖像，當(dāng)從如實(shí)施例1所示的菜單圖像中選擇一個(gè)進(jìn)程時(shí)，操作員一眼即可發(fā)現(xiàn)他的或她的身體的哪一部分作為光標(biāo)在起作用(例如)。
此外，如果(例如)光標(biāo)圖像的移動(dòng)軌跡被設(shè)置為保留和顯示，則可以在顯示設(shè)備3上顯示目標(biāo)的移動(dòng)的軌跡。這樣，便可以(例如)顯示在顯示設(shè)備3的空間上繪制的照片和字符等等。
從前述的說明中可以清楚地看出，當(dāng)操作員需要輸入數(shù)據(jù)或其他內(nèi)容時(shí)，本發(fā)明可使操作員輕松地使用鏡像移動(dòng)圖像輸入或選擇數(shù)據(jù)，同時(shí)觀察顯示在顯示設(shè)備上的合并圖像，從而可以提供對(duì)用戶友好的輸入界面而不必慢慢地習(xí)慣。
在不會(huì)偏離本發(fā)明的廣泛的實(shí)質(zhì)和范圍的情況下可以采用各種實(shí)施例、進(jìn)行更改和修改。上面所介紹的實(shí)施例只作說明，并不限制本發(fā)明的范圍。本發(fā)明的范圍由所附的權(quán)利要求書定義而不是由這里的實(shí)施例定義。在所附的權(quán)利要求書的范圍內(nèi)的各種實(shí)施例和它們的同等情況都屬于本發(fā)明的范圍。
權(quán)利要求
1.一臺(tái)圖像處理機(jī)，它包括圖像捕獲裝置，用于捕獲一個(gè)鏡像移動(dòng)圖像，該圖像的其中一部分包括一個(gè)移動(dòng)目標(biāo)；圖像生成裝置，用于根據(jù)所述圖像捕獲裝置所捕獲的鏡像移動(dòng)圖像中包括的目標(biāo)的移動(dòng)，生成一個(gè)表示預(yù)先確定的對(duì)象的對(duì)象圖像；以及控制裝置，用于將圖像生成裝置生成的對(duì)象圖像與所述捕獲的鏡像移動(dòng)圖像合并，并在一個(gè)預(yù)先確定的顯示設(shè)備上顯示合并圖像。
2.一臺(tái)圖像處理機(jī)，它包括圖像捕獲裝置，用于捕獲一個(gè)鏡像移動(dòng)圖像，該圖像的其中一部分包括一個(gè)時(shí)間序列上的移動(dòng)目標(biāo)；檢測(cè)裝置，用于通過檢測(cè)當(dāng)前鏡像移動(dòng)圖像和緊前面的鏡像移動(dòng)圖像之間的圖像特征來檢測(cè)所述目標(biāo)和它的移動(dòng)組件；圖像生成裝置，用于生成一個(gè)表示預(yù)先確定的對(duì)象的對(duì)象圖像，以使對(duì)象圖像隨所述檢測(cè)裝置檢測(cè)到的目標(biāo)的移動(dòng)組件而變化；以及控制裝置，用于將圖像生成裝置生成的對(duì)象圖像與所述捕獲的鏡像移動(dòng)圖像合并，并在一個(gè)預(yù)先確定的顯示設(shè)備上顯示合并圖像。
3.根據(jù)權(quán)利要求2所述的圖像處理機(jī)，其特征在于所述圖像生成裝置被配置為生成所述對(duì)象圖像，以使對(duì)象圖像跟隨所述檢測(cè)到的目標(biāo)的移動(dòng)。
4.根據(jù)權(quán)利要求2圖像處理機(jī)，進(jìn)一步包括一個(gè)裝置，用于作好準(zhǔn)備，以根據(jù)所述目標(biāo)的移動(dòng)組件基于生成的對(duì)象圖像執(zhí)行所需要的處理。
5.根據(jù)權(quán)利要求2所述的圖像處理機(jī)，進(jìn)一步包括一個(gè)裝置，用于將通過合并所述圖像生成裝置生成的對(duì)象圖像和所述當(dāng)前鏡像移動(dòng)圖像而獲得的合并圖像，與一個(gè)模板圖像，即包括在所述緊前面的鏡像移動(dòng)圖像中的目標(biāo)的圖像進(jìn)行比較，檢測(cè)所述合并圖象中其圖像特征與所述模板圖像最相似的一部分，并作好準(zhǔn)備，以在檢測(cè)到的合并圖像的一部分的圖像包括所述對(duì)象圖像的情況下，基于對(duì)象圖像執(zhí)行所需要的處理。
6 根據(jù)權(quán)利要求2所述的圖像處理機(jī)，其特征在于所述對(duì)象圖像與預(yù)先確定的處理關(guān)聯(lián)，所述圖像處理機(jī)進(jìn)一步包括一個(gè)裝置，該裝置用于在所述檢測(cè)裝置檢測(cè)到的所述目標(biāo)的移動(dòng)組件滿足一個(gè)預(yù)先確定的條件的情況下，執(zhí)行與所述對(duì)象圖像關(guān)聯(lián)的處理。
7.根據(jù)權(quán)利要求2所述的圖像處理機(jī)，其特征在于所述鏡像移動(dòng)圖像包括許多所述目標(biāo)，所述檢測(cè)裝置被配置為檢測(cè)所述許多目標(biāo)中的每一個(gè)目標(biāo)的移動(dòng)組件，并基于所述許多目標(biāo)的被檢測(cè)到的移動(dòng)組件檢測(cè)一個(gè)目標(biāo)，以及所述圖像生成裝置被配置為根據(jù)所述檢測(cè)裝置檢測(cè)到的所述一個(gè)目標(biāo)的所述移動(dòng)組件更改所述對(duì)象圖像。
8.一種圖像處理方法，該方法包括下列步驟將一個(gè)鏡像移動(dòng)圖像捕獲到一臺(tái)圖像處理機(jī)中，該圖像的其中一部分包括一個(gè)移動(dòng)目標(biāo)；所述圖像處理機(jī)根據(jù)所捕獲的鏡像移動(dòng)圖像中包括的目標(biāo)的移動(dòng)，生成一個(gè)表示預(yù)先確定的對(duì)象的對(duì)象圖像，將生成的對(duì)象圖像與捕獲的鏡像移動(dòng)圖像合并，以在一個(gè)預(yù)先確定的顯示設(shè)備上顯示合并圖像。
9.一個(gè)計(jì)算機(jī)程序，用于使一臺(tái)連接到顯示設(shè)備的計(jì)算機(jī)執(zhí)行以下處理過程捕獲一個(gè)鏡像移動(dòng)圖像，該圖像的其中一部分包括一個(gè)移動(dòng)目標(biāo)；根據(jù)所捕獲的鏡像移動(dòng)圖像中包括的目標(biāo)的移動(dòng)，生成一個(gè)表示預(yù)先確定的對(duì)象的對(duì)象圖像；以及將生成的所述對(duì)象圖像與捕獲的鏡像移動(dòng)圖像合并，以在所述顯示設(shè)備上顯示合并圖像。
10.一個(gè)計(jì)算機(jī)可讀的記錄介質(zhì)，它記錄根據(jù)權(quán)利要求9所述的計(jì)算機(jī)程序。
11.一個(gè)半導(dǎo)體設(shè)備，它集成到一個(gè)安裝在計(jì)算機(jī)上的裝置，該計(jì)算機(jī)與一個(gè)顯示設(shè)備相連接，該半導(dǎo)體設(shè)備使計(jì)算機(jī)具備如下裝置的功能用于捕獲一個(gè)鏡像移動(dòng)圖像的裝置，該圖像的其中一部分包括一個(gè)移動(dòng)目標(biāo)；一個(gè)裝置，用于根據(jù)所捕獲的鏡像移動(dòng)圖像中包括的目標(biāo)的移動(dòng)，生成一個(gè)表示預(yù)先確定的對(duì)象的對(duì)象圖像；以及一個(gè)裝置，用于將生成的所述對(duì)象圖像與捕獲的鏡像移動(dòng)圖像合并，以在所述顯示設(shè)備上顯示合并圖像。
全文摘要
本發(fā)明提供了一種圖像處理機(jī)，以便使用由圖像拍攝裝置或其他設(shè)備拍攝的圖像作為輸入命令的輸入界面。本發(fā)明提供了一臺(tái)圖像處理機(jī)，包括一個(gè)圖像捕獲裝置，用于捕獲鏡像移動(dòng)圖像，該圖像的其中一部分包括一個(gè)移動(dòng)目標(biāo)，一個(gè)圖像生成裝置，用于根據(jù)圖像捕獲裝置所捕獲的鏡像移動(dòng)圖像中包括的目標(biāo)的移動(dòng)，生成一個(gè)表示預(yù)先確定的對(duì)象的對(duì)象圖像，以及一個(gè)控制裝置，用于將圖像生成裝置生成的對(duì)象圖像與捕獲的鏡像移動(dòng)圖像合并，并在一個(gè)預(yù)先確定的顯示設(shè)備上顯示合并圖像。
文檔編號(hào)G06T13/00GK1393003SQ01803043
公開日2003年1月22日 申請(qǐng)日期2001年10月4日 優(yōu)先權(quán)日2000年10月6日
發(fā)明者大場章男 申請(qǐng)人:索尼計(jì)算機(jī)娛樂公司