專利名稱：圖像處理裝置和方法及其程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理裝置和方法，以及用于圖像處理裝置和方法的程序，具體地涉及能夠更穩(wěn)定地追蹤被攝體(subject)的圖像處理裝置、方法和程序。
背景技術(shù)：
在現(xiàn)有技術(shù)中，存在這樣的圖像拍攝裝置當(dāng)連續(xù)拍攝多幅圖像時(shí)，例如當(dāng)在快門操作之前拍攝要向用戶顯示的所謂預(yù)覽圖像時(shí)，該圖像拍攝裝置具有在拍攝圖像上追蹤用戶選擇的被攝體的功能。在這樣的圖像拍攝裝置中，一些裝置具有根據(jù)追蹤被攝體的位置針對(duì)圖像拍攝光學(xué)地調(diào)節(jié)參數(shù)(例如焦點(diǎn)位置和亮度)的功能。作為追蹤被攝體的方法，例如存在這樣的方法在輸入圖像的指定幀中從用戶最初選擇的被攝體的一部分區(qū)域中提取特征量(例如亮度信息和顏色信息)，并在該指定幀的后續(xù)幀中搜尋特征量與提取的特征量匹配的區(qū)域(例如，參見日本未審查專利申請(qǐng)公布 No. 2006-72332)。也就是，在該方法中，在后續(xù)幀的輸入圖像中，從與最初選擇為被攝體的區(qū)域位置相同的區(qū)域附近搜尋特征量與被攝體的區(qū)域的特征量匹配的區(qū)域，并且可以通過(guò)搜尋結(jié)果而獲得的區(qū)域被當(dāng)作后續(xù)幀的被攝體的區(qū)域。

發(fā)明內(nèi)容
然而，在上述方法中，基于從用戶最初選擇的被攝體的一部分的區(qū)域提取的特征量來(lái)追蹤被攝體。因此，僅識(shí)別整個(gè)被攝體中任意位置處的坐標(biāo)或者一部分的區(qū)域，因此難以穩(wěn)定地對(duì)整個(gè)被攝體進(jìn)行追蹤。此外，在拍攝被攝體的圖像時(shí)，有時(shí)在輸入圖像上可能存在被攝體狀態(tài)的變化，被攝體狀態(tài)例如為用于照射被攝體的光(例如，色溫和照射強(qiáng)度)、被攝體的姿勢(shì)或者被攝體的尺寸(圖像拍攝裝置與被攝體之間的距離)。在此情形下，當(dāng)在用戶選擇的被攝體中可從部分區(qū)域獲得的用于追蹤的特征量變化時(shí)，難以在輸入圖像上指定被攝體的區(qū)域。因此，追蹤被攝體很可能失敗。例如，當(dāng)從被用戶選擇為特征量的被攝體的一部分的區(qū)域提取顏色信息時(shí)，具有顏色信息的區(qū)域作為被攝體被追蹤。然而，當(dāng)追蹤所采用的區(qū)域由于例如被攝體的旋轉(zhuǎn)而被隱藏時(shí)，在輸入圖像上將不存在具有該顏色信息的區(qū)域，因此難以追蹤被攝體。這樣的追蹤失敗甚至可能發(fā)生在難以獲得作為特征量的亮度信息和顏色信息的低照射強(qiáng)度的情形下。本發(fā)明的實(shí)施例就是在考慮到上述狀況的情形下做出的，并且致力于更穩(wěn)定地追蹤被攝體。根據(jù)本發(fā)明的第一實(shí)施例，提供了一種圖像處理裝置，該圖像處理裝置指定包括多個(gè)連續(xù)幀的每個(gè)輸入圖像上的特定被攝體的區(qū)域。該圖像處理裝置包括被攝體圖產(chǎn)生部分，從與所述輸入圖像的各個(gè)像素的特征對(duì)應(yīng)且表示所述輸入圖像的各個(gè)區(qū)域中的特征量的特征圖，針對(duì)每個(gè)像素選擇任何特征圖的一個(gè)特征量，以由此產(chǎn)生表示所述輸入圖像的各個(gè)區(qū)域與所述被攝體的相似性的被攝體圖；以及被攝體區(qū)域指定部分，基于所述被攝體圖來(lái)指定作為在所述被攝體圖中與所述被攝體最相似的區(qū)域的被攝體區(qū)域，以由此指定包括所述輸入圖像上的所述被攝體的區(qū)域。在該圖像處理裝置中，優(yōu)選還提供可靠性計(jì)算部分，基于處理對(duì)象幀的所述特征圖上的、包括與所述處理對(duì)象幀的前一幀的被攝體區(qū)域?qū)?yīng)的對(duì)應(yīng)區(qū)域的附近區(qū)域中的所述特征量的分散程度，該可靠性計(jì)算部分計(jì)算作為表示所述特征圖上的所述對(duì)應(yīng)區(qū)域包括所述被攝體的指標(biāo)的可靠性。此外，還優(yōu)選基于各個(gè)特征圖的可靠性，所述被攝體圖產(chǎn)生部分通過(guò)針對(duì)每個(gè)像素選擇任何特征圖的一個(gè)特征量而產(chǎn)生所述被攝體圖。在該圖像處理裝置中，優(yōu)選還提供參考圖保持部分，將與所述特征圖中的被攝體區(qū)域相同位置處的區(qū)域保持為參考圖；以及匹配處理部分，在所述處理對(duì)象幀的特征圖上搜尋與所述前一幀的參考圖最高度相關(guān)的最相似區(qū)域。此外，優(yōu)選基于所述處理對(duì)象幀的所述特征圖上的、包括所述最相似區(qū)域的附近區(qū)域中的所述特征量的分散程度，可靠性計(jì)算部分計(jì)算作為表示所述特征圖上的所述最相似區(qū)域包括所述被攝體的指標(biāo)的可靠性。優(yōu)選通過(guò)針對(duì)每個(gè)像素選擇所述可靠性大于預(yù)定閾值的任何特征圖的一個(gè)特征量，所述被攝體圖產(chǎn)生部分產(chǎn)生所述被攝體圖。優(yōu)選所述被攝體圖產(chǎn)生部分包括特征圖產(chǎn)生部分，從所述輸入圖像提取所述特征量，以由此在所述輸入圖像的各個(gè)區(qū)域中產(chǎn)生所述特征圖；帶域特征圖產(chǎn)生部分，針對(duì)多個(gè)帶域的每個(gè)，從所述特征圖提取帶域分量，以由此產(chǎn)生帶域特征圖，所述帶域特征圖表示所述帶域分量的特征圖；帶域特征圖合成部分，針對(duì)每個(gè)特征量合成所述帶域特征圖，以由此產(chǎn)生合成特征圖；以及合成特征圖合成部分，合成所述合成特征圖以由此產(chǎn)生作為另一種特征圖的所述被攝體圖。此外，還優(yōu)選基于所述處理對(duì)象幀的所述合成特征圖上的、與所述前一幀的被攝體區(qū)域?qū)?yīng)的附近區(qū)域中的合成特征量的分散程度，所述可靠性計(jì)算部分計(jì)算所述合成特征圖的可靠性。此外，還優(yōu)選基于各個(gè)合成特征圖的可靠性，通過(guò)針對(duì)每個(gè)像素選擇任何合成特征圖的一個(gè)合成特征量并通過(guò)針對(duì)所有像素合成所述合成特征量，所述合成特征圖合成部分產(chǎn)生所述被攝體圖。優(yōu)選基于所述處理對(duì)象幀的所述帶域特征圖上的、與所述前一幀的被攝體區(qū)域?qū)?yīng)的附近區(qū)域中的帶域特征量的分散程度，所述可靠性計(jì)算部分計(jì)算所述帶域特征圖的可靠性。此外，還優(yōu)選基于各個(gè)帶域特征圖的可靠性，通過(guò)針對(duì)每個(gè)像素選擇任何帶域特征圖的一個(gè)帶域特征量并通過(guò)針對(duì)所有像素合成所述帶域特征量，所述帶域特征圖合成部分產(chǎn)生所述合成特征圖。還優(yōu)選所述被攝體圖產(chǎn)生部分通過(guò)針對(duì)每個(gè)像素選擇所述特征圖中的最大特征量而產(chǎn)生所述被攝體圖。根據(jù)本發(fā)明的第二實(shí)施例，提供了一種圖像處理裝置的圖像處理方法，該圖像處理裝置指定包括多個(gè)連續(xù)幀的每個(gè)輸入圖像上的特定被攝體的區(qū)域。該圖像處理方法包括被攝體圖產(chǎn)生步驟，通過(guò)被攝體圖產(chǎn)生部分，通過(guò)從與所述輸入圖像的各個(gè)像素的特征對(duì)應(yīng)且表示所述輸入圖像的各個(gè)區(qū)域中的特征量的特征圖，針對(duì)每個(gè)像素選擇任何特征圖的一個(gè)特征量，產(chǎn)生表示所述輸入圖像的各個(gè)區(qū)域與所述被攝體的相似性的被攝體圖；以及被攝體區(qū)域指定步驟，通過(guò)基于所述被攝體圖來(lái)指定作為在所述被攝體圖中與所述被攝體最相似的區(qū)域的被攝體區(qū)域，基于被攝體圖在輸入圖像上確定包括被攝體的區(qū)域。
5
根據(jù)本發(fā)明的第三實(shí)施例，提供了一種圖像處理程序，該圖像處理程序指定包括多個(gè)連續(xù)幀的每個(gè)輸入圖像上的特定被攝體的區(qū)域。該圖像處理程序使計(jì)算機(jī)執(zhí)行包括如下步驟的處理被攝體圖產(chǎn)生步驟，通過(guò)被攝體圖產(chǎn)生部分，通過(guò)從與所述輸入圖像的各個(gè)像素的特征對(duì)應(yīng)且表示所述輸入圖像的各個(gè)區(qū)域中的特征量的特征圖，針對(duì)每個(gè)像素選擇任何特征圖的一個(gè)特征量，產(chǎn)生表示所述輸入圖像的各個(gè)區(qū)域與所述被攝體的相似性的被攝體圖；以及被攝體區(qū)域指定步驟，通過(guò)被攝體區(qū)域指定部分，通過(guò)基于所述被攝體圖來(lái)指定作為在所述被攝體圖中與所述被攝體最相似的區(qū)域的被攝體區(qū)域，指定包括所述輸入圖像上的所述被攝體的區(qū)域。在本發(fā)明的第一實(shí)施例中，從與所述輸入圖像的各個(gè)像素的特征對(duì)應(yīng)且表示所述輸入圖像的各個(gè)區(qū)域中的特征量的特征圖，針對(duì)每個(gè)像素選擇任何特征圖的一個(gè)特征量， 以由此產(chǎn)生表示輸入圖像的各個(gè)區(qū)域與被攝體的相似性的被攝體圖。此外，基于被攝體圖， 指定在被攝體圖中作為與被攝體最相似的區(qū)域的被攝體區(qū)域，以由此指定包括輸入圖像上的被攝體的區(qū)域。在本發(fā)明的第一實(shí)施例中，可以更穩(wěn)定地追蹤被攝體。


圖1是圖解根據(jù)本發(fā)明實(shí)施例的圖像處理裝置的示例性構(gòu)造的框圖；圖2是圖解被攝體追蹤部分的示例性構(gòu)造的框圖；圖3是圖解被攝體圖產(chǎn)生部分的示例性構(gòu)造的框圖；圖4是圖解帶域特征圖合成部分的示例性構(gòu)造的框圖；圖5是圖解合成特征圖合成部分的示例性構(gòu)造的框圖；圖6是圖解被攝體候補(bǔ)區(qū)域矩形化部分的示例性構(gòu)造的框圖；圖7是圖解被攝體區(qū)域選擇部分的示例性構(gòu)造的框圖；圖8是圖解可靠性指標(biāo)計(jì)算部分的示例性構(gòu)造的框圖；圖9是圖解被攝體追蹤處理的流程圖；圖10是圖解被攝體圖產(chǎn)生處理的流程圖；圖11是圖解被攝體圖產(chǎn)生處理的具體示例的示意圖；圖12是圖解參考圖的示意圖；圖13是圖解匹配處理的示意圖；圖14是圖解匹配處理結(jié)果的示例的示意圖；圖15是圖解可靠性指標(biāo)計(jì)算處理的流程圖16是圖解匹配處理結(jié)果的另一示例的示意圖；圖17是圖解帶域特征圖合成處理的示意圖；圖18是圖解帶域特征圖合成處理的具體示例的示意圖；圖19是圖解合成特征圖合成處理的流程圖；圖20是圖解合成特征圖合成處理的具體示例的示意圖；圖21是圖解被攝體候補(bǔ)區(qū)域矩形化處理的流程圖；圖22是圖解被攝體候補(bǔ)區(qū)域矩形化處理的具體示例的示意圖；圖23是圖解被攝體區(qū)域選擇處理的流程圖；以及
圖M是圖解計(jì)算機(jī)硬件的示例性構(gòu)造的框圖。
具體實(shí)施例方式下面，將參考附圖描述本發(fā)明的實(shí)施例。圖像處理裝置的示例性構(gòu)造圖1是圖解根據(jù)本發(fā)明實(shí)施例的圖像處理裝置的示例性構(gòu)造的框圖。圖像處理裝置11設(shè)置在用于拍攝運(yùn)動(dòng)被攝體的圖像的圖像拍攝裝置(諸如數(shù)字視頻照相機(jī)或數(shù)字靜態(tài)照相機(jī))中。圖像處理裝置11包括光學(xué)系統(tǒng)31、成像器32、數(shù)字信號(hào)處理單元33、控制單元 ；34、鏡頭驅(qū)動(dòng)單元35、接口控制單元36和用戶接口 37。光學(xué)系統(tǒng)31形成為包括圖中未示出的成像鏡頭的光學(xué)系統(tǒng)。入射到光學(xué)系統(tǒng)31 中的光入射到包括成像元件例如CXD (電荷耦合裝置)的成像器32中。成像器32通過(guò)對(duì)從光學(xué)系統(tǒng)31入射的光進(jìn)行光電轉(zhuǎn)換來(lái)拍攝被攝體圖像。成像器32通過(guò)圖中未示出的A/ D(模擬到數(shù)字)轉(zhuǎn)換部分將可通過(guò)圖像拍攝獲取的電信號(hào)(模擬信號(hào))轉(zhuǎn)換成數(shù)字信號(hào)的圖像數(shù)據(jù)，并且將圖像數(shù)據(jù)供應(yīng)到數(shù)字信號(hào)處理單元33。數(shù)字信號(hào)處理單元33對(duì)從成像器32供應(yīng)的圖像數(shù)據(jù)進(jìn)行指定的信號(hào)處理，并將圖像數(shù)據(jù)輸出到圖中未示出的編碼處理部分、存儲(chǔ)器、控制單元；34等。數(shù)字信號(hào)處理單元 33包括預(yù)處理部分51、去馬賽克處理部分52、YC產(chǎn)生部分53、分辨率轉(zhuǎn)換部分53和被攝體追蹤部分55。預(yù)處理部分51對(duì)從成像器32供應(yīng)的圖像數(shù)據(jù)進(jìn)行預(yù)處理，預(yù)處理諸如為以預(yù)定電平對(duì)R、G和B的黑電平(black level)進(jìn)行箝位的箝位處理以及在R、G和B的顏色通道之間進(jìn)行的校正處理。去馬賽克處理部分52對(duì)預(yù)處理部分51預(yù)處理的圖像數(shù)據(jù)進(jìn)行補(bǔ)充像素的顏色分量以使得圖像數(shù)據(jù)的每個(gè)像素都具有R、G和B全部顏色分量的去馬賽克處理。YC產(chǎn)生部分53從經(jīng)受了去馬賽克處理部分52的去馬賽克處理的R、G禾Π B的圖像數(shù)據(jù)產(chǎn)生(分離)亮度(Y)信號(hào)和顏色(C)信號(hào)。分辨率轉(zhuǎn)換部分M對(duì)YC產(chǎn)生部分53 處理的圖像數(shù)據(jù)進(jìn)行分辨率轉(zhuǎn)換處理，并將圖像數(shù)據(jù)供應(yīng)到控制單元34或者圖中未示出的編碼處理部分。基于由YC產(chǎn)生部分53產(chǎn)生的亮度信號(hào)和顏色信號(hào)形成的圖像數(shù)據(jù)，被攝體追蹤部分55從基于圖像數(shù)據(jù)而顯示的輸入圖像檢測(cè)被攝體，并進(jìn)行追蹤被攝體的被攝體追蹤處理。被攝體追蹤部分55將能夠從被攝體追蹤處理結(jié)果獲得的、針對(duì)指示輸入圖像中包括被攝體的區(qū)域的被攝體范圍的信息供應(yīng)到控制單元34?？刂茊卧?4響應(yīng)于從接口控制單元36供應(yīng)的控制信號(hào)來(lái)控制圖像處理裝置11 的各個(gè)單元。例如，控制單元34將各種信號(hào)處理所采用的參數(shù)供應(yīng)到數(shù)字信號(hào)處理單元33，獲取能夠從數(shù)字信號(hào)處理單元33的各種信號(hào)處理結(jié)果獲得的數(shù)據(jù)(包括圖像數(shù)據(jù))，并將數(shù)據(jù)供應(yīng)到接口控制單元36。此外，控制單元34將用于驅(qū)動(dòng)構(gòu)成光學(xué)系統(tǒng)31的成像透鏡或者調(diào)節(jié)光圈的控制信號(hào)供應(yīng)到鏡頭驅(qū)動(dòng)單元35。此外，控制單元34控制成像器32以使成像器32拍攝輸入圖像。用戶接口 37包括輸入裝置和輸出裝置，輸入裝置諸如為用戶向圖像處理裝置11 輸入指令時(shí)操作的按鈕或開關(guān)，輸出裝置諸如為向用戶提供(顯示)信息的LCD (液晶顯示器)或者麥克風(fēng)。例如，當(dāng)操作作為用戶接口 37的按鈕時(shí)，用戶接口 37通過(guò)接口控制單元36將與操作對(duì)應(yīng)的控制信號(hào)供應(yīng)到控制單元34。此外，用戶接口 37在作為用戶接口 37的LCD上顯示與通過(guò)接口控制單元36從控制單元34供應(yīng)的控制信號(hào)(數(shù)據(jù))對(duì)應(yīng)的信息。例如， IXD顯示輸入圖像并且顯示當(dāng)輸入圖像上的被攝體被設(shè)定為處理對(duì)象時(shí)作為被攝體追蹤處理結(jié)果的被攝體范圍。被攝體追蹤部分的示例性構(gòu)造接著，將參考圖2描述圖1中示出的被攝體追蹤部分55的示例性構(gòu)造。圖2中的被攝體追蹤部分55包括被攝體圖產(chǎn)生部分71、被攝體候補(bǔ)區(qū)域矩形化部分72、被攝體區(qū)域選擇部分73、參考圖保持部分74、匹配處理部分75、和可靠性指標(biāo)計(jì)算部分76。由圖1的成像器32依時(shí)間順序依次拍攝并由預(yù)處理部分51至YC產(chǎn)生部分53處理的多幅輸入圖像被依次供應(yīng)到被攝體圖產(chǎn)生部分71。被攝體圖產(chǎn)生部分71針對(duì)每個(gè)預(yù)定特征(例如，輸入圖像的各像素的亮度或顏色)產(chǎn)生特征圖并將特征圖供應(yīng)到參考圖保持部分74和匹配處理部分75，該特征圖表示輸入圖像的各個(gè)區(qū)域中的特征的特征量。此外，基于產(chǎn)生的特征圖和從可靠性指標(biāo)計(jì)算部分 76供應(yīng)的可靠性指標(biāo)，被攝體圖產(chǎn)生部分71產(chǎn)生被攝體圖，該被攝體圖表示在輸入圖像的各個(gè)區(qū)域中被攝體的相似性。具體地，被攝體圖產(chǎn)生部分71從針對(duì)每個(gè)特征產(chǎn)生的特征圖提取帶域分量(band component)以針對(duì)彼此不同的多個(gè)帶域(空間頻帶)產(chǎn)生帶域特征圖，并將帶域特征圖供應(yīng)到參考圖保持部分74和匹配處理計(jì)算部分75。每個(gè)帶域特征圖是表示在輸入圖像的各個(gè)區(qū)域中的特征的特征量的特定帶域分量的特征圖。換言之，帶域特征圖表示包括在輸入圖像的特定帶域分量中的特征的特征量。此外，基于從可靠性指標(biāo)計(jì)算部分76供應(yīng)的可靠性指標(biāo)，被攝體圖產(chǎn)生部分71從每個(gè)特征的各個(gè)帶域的產(chǎn)生的帶域特征圖來(lái)針對(duì)與輸入圖像的每個(gè)像素對(duì)應(yīng)的位置選擇各個(gè)帶域的任何帶域特征圖中的一個(gè)特征量。下面，在特征圖(包括帶域特征圖和要在后面描述的合成特征圖)和被攝體圖中， 將與輸入圖像的像素對(duì)應(yīng)的區(qū)域(位置)簡(jiǎn)單地稱為像素。被攝體圖產(chǎn)生部分71針對(duì)每個(gè)特征量在全部像素上進(jìn)行特征量的合成，其中針對(duì)每個(gè)像素從每個(gè)帶域的帶域特征圖選擇每個(gè)特征量。由此，被攝體圖產(chǎn)生部分71產(chǎn)生合成特征圖，并將合成特征圖供應(yīng)到參考圖保持部分74和匹配處理部分75。每個(gè)合成特征圖是表示被攝體相似性的特征圖，其在輸入圖像的各個(gè)區(qū)域處從每個(gè)特征的特征量獲得。此外，這里描述的被攝體定義為被推定為當(dāng)用戶觀看輸入圖像時(shí)用戶感興趣的被攝體。因此，被攝體不局限于人。此外，基于從可靠性指標(biāo)計(jì)算部分76供應(yīng)的可靠性指標(biāo)，被攝體圖產(chǎn)生部分71從每個(gè)特征的合成特征圖針對(duì)每個(gè)像素選擇任何合成特征圖中的一個(gè)合成特征量。然后，被攝體圖產(chǎn)生部分71針對(duì)所有像素合成選擇的合成特征量，由此產(chǎn)生被攝體圖。被攝體圖產(chǎn)生部分71將產(chǎn)生的被攝體圖供應(yīng)到被攝體候補(bǔ)區(qū)域矩形化部分72。如上所述可以獲得的被攝體圖的各個(gè)區(qū)域(像素)的信息(值)表示在輸入圖像的各個(gè)區(qū)域處與被攝體的相似性。從可靠性指標(biāo)計(jì)算部分76供應(yīng)的可靠性指標(biāo)將在后面描述。被攝體候補(bǔ)區(qū)域矩形化部分72在被攝體圖產(chǎn)生部分71產(chǎn)生的被攝體圖中找到作為被攝體的候補(bǔ)的區(qū)域，即，包括與被攝體相似的區(qū)域的矩形區(qū)域(下面稱作被攝體候補(bǔ)區(qū)域)，并產(chǎn)生表示矩形區(qū)域的位置的坐標(biāo)信息。此外，基于被攝體圖，被攝體候補(bǔ)區(qū)域矩形化部分72產(chǎn)生區(qū)域信息，該區(qū)域信息表示屬于被攝體候補(bǔ)區(qū)域的特定特征的特征量。然后，被攝體候補(bǔ)區(qū)域矩形化部分72將被攝體候補(bǔ)區(qū)域的坐標(biāo)信息和區(qū)域信息供應(yīng)到被攝體區(qū)域選擇部分73?；诒粩z體候補(bǔ)區(qū)域矩形化部分72供應(yīng)的坐標(biāo)信息和區(qū)域信息，被攝體區(qū)域選擇部分73選擇被攝體候補(bǔ)區(qū)域之一作為包括被攝體的追蹤對(duì)象區(qū)域(下面稱作被攝體區(qū)域)。被攝體區(qū)域選擇部分73將表示被攝體區(qū)域的位置的坐標(biāo)信息供應(yīng)到控制單元34和參考圖保持部分74。由被攝體區(qū)域選擇部分73輸出的坐標(biāo)信息表示的被攝體區(qū)域是與被攝體圖中的追蹤對(duì)象被攝體最相似的區(qū)域。具體地，在被攝體追蹤部分55中，被推定為用戶聚焦于其上且與被攝體圖上的被攝體相似的選擇區(qū)域被當(dāng)作用戶指定的追蹤對(duì)象的被攝體區(qū)域的候補(bǔ)(被攝體候補(bǔ)區(qū)域)。此外，與追蹤對(duì)象被攝體最相似的區(qū)域被從被攝體候補(bǔ)區(qū)域內(nèi)選擇為被攝體區(qū)域，并且與被攝體圖上的被攝體區(qū)域相同位置處的輸入圖像的區(qū)域被確定為包括追蹤對(duì)象被攝體的區(qū)域。應(yīng)當(dāng)注意，在下面，輸入圖像上與被攝體圖上的被攝體區(qū)域相同位置處的區(qū)域被簡(jiǎn)單地稱作被攝體區(qū)域。此外，追蹤對(duì)象被攝體并不局限于用戶指定的對(duì)象。然而，例如， 在第一幀的被攝體候補(bǔ)區(qū)域中，最大面積的區(qū)域，也就是，在被攝體相似性評(píng)估方面最高的區(qū)域被當(dāng)作被攝體區(qū)域，并且包括在被攝體區(qū)域中的被攝體可以被當(dāng)作追蹤被攝體。參考圖保持部分74包括存儲(chǔ)器81，基于被攝體圖產(chǎn)生部分71供應(yīng)的帶域特征圖和合成特征圖以及從被攝體區(qū)域選擇部分73供應(yīng)的坐標(biāo)信息產(chǎn)生參考圖，并將參考圖存儲(chǔ)在存儲(chǔ)器81中。具體地，參考圖保持部分74在每個(gè)帶域特征圖中切出與被攝體區(qū)域相同位置處的區(qū)域，并將切出的區(qū)域設(shè)定為帶域特征圖的參考圖。相似地，參考圖保持部分74在每個(gè)合成特征圖中切出與被攝體區(qū)域相同位置處的區(qū)域，并將切出的區(qū)域設(shè)定為合成特征圖的參考圖。下面，帶域特征圖的參考圖和合成特征圖的參考圖分別稱為帶域參考圖和合成參考圖。基于存儲(chǔ)在存儲(chǔ)器81中的參考圖，匹配處理部分75進(jìn)行匹配處理，并從被攝體圖產(chǎn)生部分71供應(yīng)的帶域特征圖和合成特征圖搜尋與參考圖最高度相關(guān)(最相似)的區(qū)域。也就是，在作為處理對(duì)象的當(dāng)前幀的帶域特征圖上，搜尋與當(dāng)前幀的前一幀的帶域參考圖最相似的區(qū)域。此外，在當(dāng)前幀的合成特征圖中，搜尋與先前幀的合成參考圖最相
9似的區(qū)域。下面，在當(dāng)前幀的帶域特征圖和合成特征圖中，分別與先前幀的帶域參考圖和合成參考圖最相似的區(qū)域被稱作最相似區(qū)域。匹配處理部分75將針對(duì)帶域特征圖和合成特征圖進(jìn)行的匹配處理的結(jié)果供應(yīng)到可靠性指標(biāo)計(jì)算部分76?；趶钠ヅ涮幚聿糠?5獲得的匹配處理結(jié)果，可靠性指標(biāo)計(jì)算部分76計(jì)算當(dāng)前幀的帶域特征圖和合成特征圖上的、在包括最相似區(qū)域的附近區(qū)域中的特征量的分散程度?；诋?dāng)前幀的帶域特征圖上的、在包括最相似區(qū)域的附近區(qū)域中的特征量的分散程度，可靠性指標(biāo)計(jì)算部分76計(jì)算可靠性指標(biāo)，并將該可靠性指標(biāo)供應(yīng)到被攝體圖產(chǎn)生部分71，該可靠性指標(biāo)是表示當(dāng)前幀的帶域特征圖上的最相似區(qū)域包括被攝體的指標(biāo)。此外，基于當(dāng)前幀的合成特征圖上的、在包括最相似區(qū)域的附近區(qū)域中的特征量的分散程度，可靠性指標(biāo)計(jì)算部分76計(jì)算作為表示當(dāng)前幀的合成特征圖上的最相似區(qū)域包括被攝體的指標(biāo)的可靠性指標(biāo)，并將該可靠性指標(biāo)供應(yīng)到被攝體圖產(chǎn)生部分71。下面，隨意地，當(dāng)前幀的帶域特征圖的每個(gè)可靠性指標(biāo)被稱作帶域可靠性指標(biāo)，并且合成特征圖的每個(gè)可靠性指標(biāo)被稱作合成可靠性指標(biāo)。被攝體圖產(chǎn)生部分的示例性構(gòu)造接著，將參考圖3詳細(xì)地描述圖2的被攝體圖產(chǎn)生部分71的示例性構(gòu)造。被攝體圖產(chǎn)生部分71包括特征圖產(chǎn)生部分111、帶域特征圖產(chǎn)生部分112、帶域特征圖合成部分113、和合成特征圖合成部分114。特征圖產(chǎn)生部分111從輸入圖像的各個(gè)區(qū)域提取例如亮度和顏色的特征的特征量以產(chǎn)生表示提取的特征量的特征圖，并將特征圖供應(yīng)到帶域特征圖產(chǎn)生部分112。帶域特征圖產(chǎn)生部分112提取從特征圖產(chǎn)生部分111獲得的每個(gè)特征圖的特定帶域分量以產(chǎn)生帶域特征圖，并將帶域特征圖供應(yīng)到帶域特征圖合成部分113、參考圖保持部分74、以及匹配處理部分75。在每個(gè)特征中，針對(duì)每個(gè)帶域產(chǎn)生帶域特征圖。基于從可靠性指標(biāo)計(jì)算部分76供應(yīng)的帶域可靠性指標(biāo)，帶域特征圖合成部分113 從與帶域特征圖產(chǎn)生部分112供應(yīng)的每個(gè)特征量對(duì)應(yīng)的帶域特征圖針對(duì)每個(gè)像素選擇任何帶域特征圖中的一個(gè)特征量。帶域特征圖合成部分113通過(guò)針對(duì)所有像素合成針對(duì)每個(gè)像素選擇的特征量而產(chǎn)生合成特征圖(選擇的特征量被用作各個(gè)像素的特征量)。因此，具有相同特征的帶域特征圖基于帶域可靠性指標(biāo)而被合成，并被形成為針對(duì)每個(gè)特征的合成特征圖。帶域特征圖合成部分113將分別針對(duì)每個(gè)特征而產(chǎn)生的合成特征圖供應(yīng)到合成特征圖合成部分114、參考圖保持部分74和匹配處理部分75。基于從可靠性指標(biāo)計(jì)算部分76供應(yīng)的合成可靠性指標(biāo)，合成特征圖合成部分114 從帶域特征圖合成部分113供應(yīng)的合成特征圖針對(duì)每個(gè)像素選擇任何合成特征圖中的一個(gè)特征量。合成特征圖合成部分114通過(guò)針對(duì)所有像素合成分別針對(duì)每個(gè)像素選擇的特征量而產(chǎn)生被攝體圖(選擇的特征量用作各個(gè)像素的特征量)。因此，合成特征圖合成部分 114將產(chǎn)生的被攝體圖供應(yīng)到被攝體候補(bǔ)區(qū)域矩形化部分72。這里，圖2的帶域特征圖合成部分113和合成特征圖合成部分114的詳細(xì)構(gòu)造將參考圖4和圖5進(jìn)行描述。帶域特征圖合成部分的示例性構(gòu)造更具體地，圖2的帶域特征圖合成部分113構(gòu)造為如圖4所示。也就是，帶域特征圖合成部分113包括候補(bǔ)圖確定部分121、圖間最大值選擇部分 122、以及合成特征圖產(chǎn)生部分123?；趶目煽啃灾笜?biāo)計(jì)算部分76供應(yīng)的帶域可靠性指標(biāo)，候補(bǔ)圖確定部分121從帶域特征圖產(chǎn)生部分112供應(yīng)的各特征量的帶域特征圖確定候補(bǔ)圖作為被合成特征圖合成的候補(bǔ)。候補(bǔ)圖確定部分121將確定的候補(bǔ)圖(下面稱作帶域候補(bǔ)圖)供應(yīng)到圖間最大值選擇部分122。圖間最大值選擇部分122從候補(bǔ)圖確定部分121供應(yīng)的帶域候補(bǔ)圖針對(duì)每個(gè)像素選擇帶域候補(bǔ)圖中的最大的特征量，并對(duì)所有像素進(jìn)行該選擇。合成特征圖產(chǎn)生部分123通過(guò)針對(duì)所有像素合成由圖間最大值選擇部分122分別針對(duì)每個(gè)像素在帶域候補(bǔ)圖中選擇的最大特征量而產(chǎn)生合成特征圖(最大特征量用作各個(gè)像素的特征量)。然后，合成特征圖產(chǎn)生部分123將合成特征圖供應(yīng)到合成特征圖合成部分114、參考圖保持部分74和匹配處理部分75。合成特征圖合成部分的示例性構(gòu)造更具體地，圖2的合成特征圖合成部分114構(gòu)造為如圖5所示。也就是，合成特征圖合成部分114包括候補(bǔ)圖確定部分124、圖間最大值選擇部分 125和被攝體圖產(chǎn)生部分126?；趶目煽啃灾笜?biāo)計(jì)算部分76供應(yīng)的合成可靠性指標(biāo)，候補(bǔ)圖確定部分IM從帶域特征圖合成部分113供應(yīng)的合成特征圖確定候補(bǔ)圖作為被攝體圖合成的候補(bǔ)。候補(bǔ)圖確定部分IM將確定的候補(bǔ)圖(下面稱作合成候補(bǔ)圖)供應(yīng)到圖間最大值選擇部分125。圖間最大值選擇部分125從候補(bǔ)圖確定部分IM供應(yīng)的合成候補(bǔ)圖針對(duì)每個(gè)像素選擇合成候補(bǔ)圖中的最大的特征量，并對(duì)所有像素進(jìn)行該選擇。被攝體圖產(chǎn)生部分1 通過(guò)針對(duì)所有像素合成由圖間最大值選擇部分125針對(duì)每個(gè)像素在合成候補(bǔ)圖中選擇的最大特征量而產(chǎn)生被攝體圖(最大特征量用作各個(gè)像素的特征量)。然后，被攝體圖產(chǎn)生部分126將被攝體圖供應(yīng)到被攝體候補(bǔ)區(qū)域矩形化部分72。被攝體候補(bǔ)區(qū)域矩形化部分的示例性構(gòu)造接著，將參考圖6詳細(xì)地描述圖2的被攝體候補(bǔ)區(qū)域矩形化部分72的示例性構(gòu)造。被攝體候補(bǔ)區(qū)域矩形化部分72包括二值化處理部分131、標(biāo)簽處理部分132、矩形區(qū)域坐標(biāo)計(jì)算部分133、和區(qū)域信息計(jì)算部分134?；趶谋粩z體圖產(chǎn)生部分71的合成特征圖合成部分114供應(yīng)的被攝體圖中的預(yù)定閾值，二值化處理部分131將與輸入圖像的每個(gè)像素對(duì)應(yīng)的信息二值化為0或1。然后， 二值化處理部分131將二值化的信息供應(yīng)到標(biāo)簽處理部分132。下面，與被攝體圖、特征圖、帶域特征圖及合成特征圖中的每個(gè)的每個(gè)區(qū)域(像素)對(duì)應(yīng)的信息(值)被簡(jiǎn)單地稱作像素值。例如，被攝體圖的每個(gè)像素的像素值表示輸入圖像的在被攝體圖的像素的相同位置處的每個(gè)像素(區(qū)域)的被攝體相似性。具體地，在二值化的被攝體圖中，具有像素值“ 1，，的像素是與被攝體相似的區(qū)域，具有像素值“0”的像素是不為被攝體的區(qū)域(例如，背景區(qū)域)。因此，二值化被攝體圖表示輸入圖像中與被攝體相似的區(qū)域。標(biāo)簽處理部分132將從二值化處理部分131供應(yīng)的二值化被攝體圖中彼此相鄰且由具有像素值“ 1”的像素形成的區(qū)域設(shè)定為連接區(qū)域，并將各個(gè)連接區(qū)域標(biāo)簽化。每個(gè)連接區(qū)域是作為被攝體區(qū)域的候補(bǔ)的區(qū)域。例如，在標(biāo)簽化的過(guò)程中，給連接區(qū)域分配編號(hào)以便指定連接區(qū)域。標(biāo)簽處理部分132將標(biāo)簽化的被攝體圖供應(yīng)到矩形區(qū)域坐標(biāo)計(jì)算部分133。矩形區(qū)域坐標(biāo)計(jì)算部分133將標(biāo)簽處理部分132供應(yīng)的被攝體圖中的包括(圍繞)每個(gè)連接區(qū)域的矩形區(qū)域設(shè)定為被攝體候補(bǔ)區(qū)域。然后，矩形區(qū)域坐標(biāo)計(jì)算部分133 將表示各個(gè)被攝體候補(bǔ)區(qū)域的位置的坐標(biāo)信息供應(yīng)到區(qū)域信息計(jì)算部分134?；趶木匦螀^(qū)域坐標(biāo)計(jì)算部分133供應(yīng)的坐標(biāo)信息和從合成特征圖合成部分114 供應(yīng)的被攝體圖，區(qū)域信息計(jì)算部分134針對(duì)每個(gè)被攝體候補(bǔ)區(qū)域產(chǎn)生區(qū)域信息。然后，區(qū)域信息計(jì)算部分Π4將各個(gè)被攝體候補(bǔ)區(qū)域的坐標(biāo)信息和區(qū)域信息供應(yīng)到被攝體區(qū)域選擇部分73。被攝體區(qū)域選擇部分的示例性構(gòu)造接著，將參考圖7詳細(xì)地描述圖2的被攝體區(qū)域選擇部分73的示例性構(gòu)造。被攝體區(qū)域選擇部分73包括區(qū)域信息比較部分151、被攝體區(qū)域確定部分152和區(qū)域信息存儲(chǔ)部分153。區(qū)域信息比較部分151將在作為處理對(duì)象的當(dāng)前幀處的從區(qū)域信息計(jì)算部分134 供應(yīng)的各個(gè)被攝體候補(bǔ)區(qū)域的區(qū)域信息與在當(dāng)前幀的前一幀處的存儲(chǔ)在區(qū)域信息存儲(chǔ)部分153中的被攝體區(qū)域的區(qū)域信息進(jìn)行比較。此外，區(qū)域信息比較部分151將對(duì)在各個(gè)被攝體候補(bǔ)區(qū)域上的區(qū)域信息的比較結(jié)果以及從區(qū)域信息計(jì)算部分134供應(yīng)的坐標(biāo)信息供應(yīng)到被攝體區(qū)域確定部分152?；趶膮^(qū)域信息比較部分151供應(yīng)的比較結(jié)果，被攝體區(qū)域確定部分152將當(dāng)前幀的被攝體候補(bǔ)區(qū)域中具有與前一幀的被攝體區(qū)域的區(qū)域信息最接近的區(qū)域信息的被攝體候補(bǔ)區(qū)域設(shè)定為當(dāng)前幀的被攝體區(qū)域。也就是，當(dāng)區(qū)域信息被設(shè)定為指標(biāo)時(shí)，與前一幀的被攝體區(qū)域最相關(guān)(最相似)的被攝體候補(bǔ)區(qū)域被當(dāng)作當(dāng)前幀的被攝體區(qū)域。被攝體區(qū)域確定部分152將當(dāng)前幀的確定的被攝體區(qū)域的坐標(biāo)信息供應(yīng)到控制單元34和參考圖保持部分74。此外，被攝體區(qū)域確定部分152將當(dāng)前幀的被攝體區(qū)域的區(qū)域信息供應(yīng)到區(qū)域信息存儲(chǔ)部分153。區(qū)域信息存儲(chǔ)部分153存儲(chǔ)從被攝體區(qū)域確定部分 152供應(yīng)的區(qū)域信息，并將存儲(chǔ)的區(qū)域信息供應(yīng)到區(qū)域信息比較部分151。可靠性指標(biāo)計(jì)算部分的示例性構(gòu)造接著，將參考圖8詳細(xì)地描述圖2的可靠性指標(biāo)計(jì)算部分76的示例性構(gòu)造?？煽啃灾笜?biāo)計(jì)算部分76包括相似性計(jì)算部分171、最大相似性確定部分172、相似性規(guī)一化部分173、銳度計(jì)算部分174、最大銳度確定部分175、銳度規(guī)一化部分176、和可靠性指標(biāo)計(jì)算部分177?；趶钠ヅ涮幚聿糠?5供應(yīng)的匹配處理，相似性計(jì)算部分171計(jì)算先前幀的參考圖與當(dāng)前幀的各個(gè)特征圖(包括帶域特征圖和合成特征圖)上的最相似區(qū)域之間的相似性，并將相似性供應(yīng)到最大相似性確定部分172。應(yīng)當(dāng)注意的是，每個(gè)最相似區(qū)域與參考圖之間的相似性是表示特征圖上的、在包括最相似區(qū)域的附近區(qū)域中的特征量的分散程度的值之一。然而，相似性計(jì)算將在后面參考圖15進(jìn)行詳細(xì)的描述?；趶南嗨菩杂?jì)算部分171供應(yīng)的各個(gè)特征圖的相似性，最大相似性確定部分 172確定相似性最大處的最大相似性，并將最大相似性與各個(gè)特征圖的相似性一起供應(yīng)到相似性規(guī)一化部分173?；趶淖畲笙嗨菩源_定部分172供應(yīng)的最大相似性，相似性規(guī)一化部分173規(guī)一化各個(gè)特征圖的相似性，并將規(guī)一化的相似性供應(yīng)到可靠性指標(biāo)計(jì)算部分177。基于從匹配處理部分75供應(yīng)的匹配結(jié)果，銳度計(jì)算部分174計(jì)算當(dāng)前幀的各個(gè)特征圖的銳度水平，并將銳度水平供應(yīng)到最大銳度確定部分175。應(yīng)當(dāng)注意的是，每個(gè)特征圖的銳度水平是表示特征圖上的在包括最相似區(qū)域的附近區(qū)域中的特征量的分散程度的值之一。然而，銳度水平的計(jì)算將在后面參考圖15進(jìn)行詳細(xì)的描述?；趶匿J度計(jì)算部分174供應(yīng)的各個(gè)特征圖的銳度水平，最大銳度確定部分175 確定相似性最大處的最大銳度水平，并將最大銳度水平與各個(gè)特征圖的銳度水平一起供應(yīng)到銳度規(guī)一化部分176。基于從最大銳度確定部分175供應(yīng)的最大銳度水平，銳度規(guī)一化部分176規(guī)一化各個(gè)特征圖的銳度水平，并將規(guī)一化的銳度水平供應(yīng)到可靠性指標(biāo)計(jì)算部分177。基于從相似性規(guī)一化部分173供應(yīng)的特征圖的規(guī)一化的相似性以及從銳度規(guī)一化部分176供應(yīng)的特征圖的規(guī)一化的銳度水平，可靠性指標(biāo)計(jì)算部分177計(jì)算各個(gè)特征圖的可靠性指標(biāo)，并將該可靠性指標(biāo)供應(yīng)到被攝體圖產(chǎn)生部分71。被攝體追蹤處理的描述然而，當(dāng)用戶意欲通過(guò)圖像處理裝置11拍攝圖像時(shí)，用戶操作用戶接口 37以發(fā)出開始圖像拍攝處理的指令。然后，響應(yīng)于通過(guò)接口控制單元36從用戶接口 37供應(yīng)的控制信號(hào)，控制單元34操作圖像處理裝置11的各個(gè)單元。例如，控制單元34使成像器32拍攝輸入圖像，并同時(shí)使數(shù)字信號(hào)處理單元33進(jìn)行諸如預(yù)處理的各種處理，由此從數(shù)字信號(hào)處理單元33獲得輸入圖像。然后，控制單元34 將獲取的各幀的輸入圖像通過(guò)接口控制單元36依次供應(yīng)到用戶接口 37以顯示輸入圖像。通過(guò)這樣的構(gòu)造，用戶在觀看在用戶接口 37上顯示為所謂的預(yù)覽圖像的輸入圖像的同時(shí)確定構(gòu)圖以便能夠發(fā)出拍攝靜態(tài)圖像等的指令。此時(shí)，用戶操作用作用戶接口 37的按鈕，由此將圖像處理裝置11的操作模式應(yīng)用到被攝體追蹤處理模式，在被攝體追蹤處理模式中顯示圍繞追蹤對(duì)象被攝體的輪廓。當(dāng)將操作模式應(yīng)用到被攝體追蹤處理模式的指令被接收并且用戶將輸入圖像上的預(yù)定區(qū)域指定為被攝體區(qū)域時(shí)，被攝體追蹤部分55開始在指定區(qū)域中追蹤被攝體的被攝體追蹤處理， 并指定輸入圖像的每幀中的被攝體區(qū)域。然后，當(dāng)從被攝體追蹤部分55接收到表示被攝體區(qū)域的位置的坐標(biāo)信息時(shí)，基于坐標(biāo)信息，控制單元34將表示被攝體區(qū)域的輪廓供應(yīng)到用戶接口 37以顯示該輪廓。以這樣的方式，被攝體區(qū)域的輪廓與輸入圖像一起顯示在用戶接口 37上。接著，將參考圖9的流程圖來(lái)描述被攝體追蹤部分55進(jìn)行的被攝體追蹤處理。當(dāng)用戶在被攝體追蹤處理模式中指定被攝體區(qū)域時(shí)，被攝體追蹤處理開始。
13
在步驟S11，被攝體圖產(chǎn)生部分71進(jìn)行被攝體圖產(chǎn)生處理以產(chǎn)生被攝體圖，并將被攝體圖供應(yīng)到被攝體候補(bǔ)區(qū)域矩形化部分72。下面，將參考圖10至圖20詳細(xì)地描述與步驟Sll的處理對(duì)應(yīng)的被攝體圖產(chǎn)生處理。圖10是圖解被攝體圖產(chǎn)生處理的流程圖。在圖10的步驟S31中，被攝體圖產(chǎn)生部分71的特征圖產(chǎn)生部分111從作為處理對(duì)象的當(dāng)前幀的輸入圖像針對(duì)每個(gè)特征(例如亮度和顏色)產(chǎn)生特征圖，并將特征圖供應(yīng)到帶域特征圖產(chǎn)生部分112。具體地，如圖11所示，從輸入圖像200產(chǎn)生總共M種特征圖，包括表示亮度信息的亮度特征圖F1、表示顏色信息的顏色特征圖F2至 ，以及表示邊緣信息的邊緣特征圖
F(k+I) S FMo例如，在亮度特征圖F1中，可以從輸入圖像的各個(gè)像素獲得的亮度分量(亮度信號(hào))Y被當(dāng)作在與輸入圖像的像素相同位置處的特征圖F1的像素的像素值。也就是，亮度特征圖F1是特征為亮度且表示輸入圖像的各個(gè)區(qū)域的亮度值的特征圖。此外，在顏色特征圖F2至 中，例如，可以從輸入圖像的各個(gè)像素獲得的顏色分量 (顏色信號(hào))R、G和B被當(dāng)作在與輸入圖像的像素相同位置處的特征圖的像素的像素值。在此情形下，在K = 4時(shí)，各個(gè)特征圖F2至F4被當(dāng)作各個(gè)特征是輸入圖像的像素的R、G和B 分量且表示輸入圖像的區(qū)域的各個(gè)顏色分量的像素值的特征圖。此外，在邊緣特征圖F(K+1)至Fm中，例如，輸入圖像的各個(gè)像素的沿0度、45度、90 度和135度方向的邊緣強(qiáng)度被當(dāng)作特征圖在與輸入圖像的像素相同位置處的像素的像素值。在此情形下，針對(duì)四個(gè)邊緣方向中的每個(gè)，產(chǎn)生該方向的邊緣強(qiáng)度為特征且表示輸入圖像的每個(gè)區(qū)域的邊緣強(qiáng)度的特征圖。此外，在上述特征圖中，像素的R、G和B分量的值的平均值可以設(shè)定為特征圖F1的特征量。此外，色差分量Cr和Cb或者Lab色空間中的a *和b *坐標(biāo)分量可以設(shè)定為顏色特征圖F2至 的特征量。此外，除0度、45度、90度和135度方向之外的方向的邊緣強(qiáng)度可以設(shè)定為邊緣特征圖F(K+1)至Fm的特征量。在步驟S32，帶域特征圖產(chǎn)生部分112從特征圖提取特定的帶域分量以針對(duì)每個(gè)特征圖產(chǎn)生帶域特征圖，并將帶域特征圖供應(yīng)到帶域特征圖合成部分113、參考圖保持部分 74和匹配處理計(jì)算部分75。具體地，如圖11所示，從亮度特征圖F1的亮度信息(像素值)提取指定帶域1至 N的亮度信息，以產(chǎn)生表示帶域的亮度信息的帶域特征圖R11至R1N。此外，從顏色特征圖F2至 的顏色信息(像素值)提取指定帶域1至N的顏色信息，以產(chǎn)生表示帶域的顏色信息的帶域特征圖R21至I 2N，. . .，至I ra。此外，從邊緣特征圖F(K+1)至Fm的邊緣信息(像素值)提取指定帶域1至N的邊緣信息，以產(chǎn)生表示帶域的邊緣信息的帶域特征圖R(K+m至R(k+1)n，...，I至R_。如上所述， 帶域特征圖產(chǎn)生部分112產(chǎn)生MXN種帶域特征圖。下面，將描述帶域特征圖產(chǎn)生部分112的處理示例。例如，帶域特征圖產(chǎn)生部分112通過(guò)采用特征圖而產(chǎn)生具有彼此不同的分辨率的多幅特征圖，并將具有不同分辨率的特征圖設(shè)定為特征量的錐形圖像。例如，產(chǎn)生Ll至L8 級(jí)的8個(gè)分辨率級(jí)別(level)的錐形圖像，其中Ll級(jí)的錐形圖像具有最高的分辨率，并且從Ll級(jí)到L8級(jí)每個(gè)錐形圖像的分辨率變低。在此情形下，由特征圖產(chǎn)生部分111產(chǎn)生的特征圖被看作Ll級(jí)的錐形圖。此外， 在Li(l < i < 7)級(jí)的錐形圖像中，彼此相鄰的四個(gè)像素的平均像素值被當(dāng)作與該四個(gè)像素對(duì)應(yīng)的L(i+1)級(jí)錐形圖像的一個(gè)像素的像素值。因此，L(i+1)級(jí)錐形圖像變成縱橫比 (aspect ratio)為L(zhǎng)i級(jí)錐形圖像的縱橫比的一半的圖像(如果不能整除，則截去被除的縱橫比的小數(shù)部分)。此外，帶域特征圖產(chǎn)生部分112在多個(gè)錐形圖中選擇級(jí)別互不相同的兩個(gè)錐形圖像，并通過(guò)計(jì)算選擇的錐形圖像之間的差值來(lái)產(chǎn)生各個(gè)特征量的N個(gè)差值圖像。此外，由于各個(gè)級(jí)別的錐形圖像的尺寸(像素?cái)?shù)目)不同，所以在產(chǎn)生差值圖像時(shí)，較小的錐形圖像被上轉(zhuǎn)換成較大的錐形圖像。例如，在各個(gè)級(jí)別的特征量錐形圖像中，帶域特征圖產(chǎn)生部分112計(jì)算L6級(jí)和L3 級(jí)、L7級(jí)和L3級(jí)、L7級(jí)和L4級(jí)、L8級(jí)和L4級(jí)以及L8級(jí)和L5級(jí)的各個(gè)級(jí)別的組合的錐形圖像之間的差值。由此，可以獲得總共5個(gè)特征量的差值圖像。具體地，例如，當(dāng)產(chǎn)生L6級(jí)和L3級(jí)的組合的差值圖像時(shí)，L6級(jí)的錐形圖像被上轉(zhuǎn)換到L3級(jí)的錐形圖像的尺寸。也就是，上轉(zhuǎn)換前的L6級(jí)的錐形圖像的一個(gè)像素的像素值被看作上轉(zhuǎn)換后的L6級(jí)的錐形圖像的對(duì)應(yīng)于該像素的幾個(gè)相鄰像素的像素值。然后，計(jì)算在對(duì)應(yīng)像素的相同位置處的L6級(jí)的錐形圖像的像素的像素值與L3級(jí)的錐形圖像的像素的像素值之間的差值，并將該差值當(dāng)作不同圖像的像素的像素值。以該方式獲得的對(duì)應(yīng)的N個(gè)差值圖像進(jìn)一步被上轉(zhuǎn)換成所需輸入圖像的尺寸，并被看作帶域1至N的各個(gè)帶域特征圖。如上所述，通過(guò)產(chǎn)生差值圖像，如同將采用帶通濾波器的濾波處理施加到特征圖， 可以從特征圖提取特定帶域分量的特征量。以這樣的方式獲得的差值圖像的像素的像素值表示各個(gè)級(jí)別的錐形圖像的像素值之間的差值，也就是，輸入圖像中的指定像素中的特征的特征量與像素周圍的平均特征量之間的差值。例如，當(dāng)特征是亮度時(shí)，差值圖像(帶域特征圖)的像素值表示輸入圖像的指定區(qū)域的亮度水平與周圍區(qū)域的平均亮度水平之間的差值。通常，在圖像中與周圍的亮度差值大的區(qū)域是圖像觀察者容易注意到的區(qū)域，因此該區(qū)域極有可能成為被攝體區(qū)域。因此，可以說(shuō)的是，在每個(gè)差值圖像(帶域特征圖)中，具有較大像素值的像素表示更可能成為被攝體區(qū)域的區(qū)域。相似地，在其他特征的情形下，與周圍相比特征量差值大的區(qū)域是用戶容易注意到的區(qū)域，因此也可以說(shuō)，該區(qū)域是與被攝體更相似的區(qū)域。此外，在上面的描述中，從特征圖提取的帶域的寬度取決于產(chǎn)生差值圖像時(shí)各個(gè)級(jí)別的錐形圖的組合，并且這樣的組合可以任意地確定。此外，指定帶域分量的特征量的提取并不局限于采用上述差值圖像的方法，并且可以采用其他的方法。回到對(duì)圖10的流程圖的描述，在步驟33中，匹配處理部分75進(jìn)行匹配處理，以將帶域特征圖產(chǎn)生部分112供應(yīng)的帶域特征圖R (其中1 < m < M且1 < η < N)與存儲(chǔ)在存儲(chǔ)器81中的帶域參考圖進(jìn)行匹配。例如，如圖12所示，在帶域特征圖產(chǎn)生部分112中，從針對(duì)N個(gè)帶域的每個(gè)的各M 種特征可以獲得總共MXN個(gè)帶域特征圖Rmn。此外，帶域特征圖合成部分113中，針對(duì)M種特征中的每個(gè)，可以獲得合成特征圖Cm(其中1 < m < M)，該合成特征圖Cm可以通過(guò)合成帶域特征圖而獲得。然后，在參考圖保持部分74的存儲(chǔ)器81中，在每個(gè)合成特征圖Cm中位于與輸入圖像上的被攝體區(qū)域CR相同位置處的區(qū)域被存儲(chǔ)為合成參考圖RFCm(其中1彡m彡M)。此外，在存儲(chǔ)器81中，在每個(gè)帶域特征圖Rnm中位于與輸入圖像上的被攝體區(qū)域CR相同位置處的區(qū)域被存儲(chǔ)為帶域參考圖RFRmn(其中1彡m彡M且1彡η彡N)。這里，存儲(chǔ)在存儲(chǔ)器81中的帶域參考圖和合成參考圖可以從作為處理對(duì)象的當(dāng)前幀的前一幀的帶域特征圖和合成特征圖獲得。在當(dāng)前幀的每個(gè)帶域特征圖Rmn被從帶域特征圖產(chǎn)生部分112供應(yīng)時(shí)，匹配處理部分75在帶域特征圖Rmn中搜尋與從存儲(chǔ)器81讀取的前一幀的帶域參考圖RFRmn最相似的區(qū)域。例如，如圖13所示，匹配處理部分75在帶域特征圖Rmn上從圖中的左上側(cè)至右下側(cè)移動(dòng)作為處理對(duì)象的區(qū)域ERmn(其中1彡m彡M且1彡η彡N)的位置，并同時(shí)對(duì)每個(gè)ERmn 與每個(gè)帶域參考圖RFRmn進(jìn)行匹配。具體地，針對(duì)區(qū)域ERmn中的每個(gè)像素，匹配處理部分75計(jì)算區(qū)域ERmn的像素的像素值與帶域參考圖RFRmn的與區(qū)域ERnm的像素相同位置處的像素的像素值之間的差值的絕對(duì)值。然后，匹配處理部分75計(jì)算針對(duì)每個(gè)像素獲得的絕對(duì)差值的總和(SAD)。在帶域特征圖Rmn的區(qū)域ERnm中，匹配處理部分75將其自身和帶域參考圖之間的絕對(duì)差值的總和最小的區(qū)域設(shè)定為最相似區(qū)域MER (其中1彡m彡M且1彡η彡N)。然后，匹配處理部分75將表示最相似區(qū)域MERnm的位置的信息和針對(duì)帶域特征圖Rmn的每個(gè)區(qū)域ERmn獲得的絕對(duì)差值的總和作為匹配處理的結(jié)果供應(yīng)到可靠性指標(biāo)計(jì)算部分76。圖14示出了作為匹配處理結(jié)果的針對(duì)帶域特征圖Rmn的每個(gè)區(qū)域ERmn獲得的絕對(duì)差值的總和的示例。在圖14中，χ軸和y軸形成的xy坐標(biāo)平面表示帶域特征圖的整個(gè)區(qū)域。此外，在圖14中，垂直于xy坐標(biāo)平面的ζ軸表示帶域特征圖的絕對(duì)差值的總和的大小，由此在ζ軸上標(biāo)示出了 0到6000的刻度。也就是，在圖14的xyz坐標(biāo)空間中示出SAD圖表示帶域特征圖Rmn的每個(gè)區(qū)域ERmn的絕對(duì)差值的總和。應(yīng)該注意的是，下面將SAD圖稱為絕對(duì)差值的總和SAD。如圖14所示，整個(gè)帶域特征圖的絕對(duì)差值的總和的值在約1500到約5800的范圍。然而，在帶域特征圖的邊界部分的值為4000以上，在其中央部分的值為2000以下。具體地，在帶域特征圖的中央部分的區(qū)域(絕對(duì)差值的總和SAD的邊緣部分)中，絕對(duì)差值的總和的值為最小值(峰值)。也就是，圖14的絕對(duì)差值的總和SAD表示帶域特征圖的中央部分的區(qū)域是最相似的區(qū)域。以這樣的方式，作為匹配處理的結(jié)果，針對(duì)MXN個(gè)帶域特征圖Rnm的每個(gè)獲得絕對(duì)差值的總和，并且針對(duì)MXN個(gè)帶域特征圖Rmn的每個(gè)指定每個(gè)最相似區(qū)域MERmn。然后，表示每個(gè)帶域特征圖的絕對(duì)差值的總和以及最相似區(qū)域位置的信息被供應(yīng)到可靠性指標(biāo)計(jì)算部分76。這里，給出了絕對(duì)差值的總和被用于匹配處理的情形的描述。然而，只要能夠指定與帶域特征圖最相似的區(qū)域，可以采用任何種類的處理例如采用平方差的匹配處理、直方圖匹配或者模板匹配。
回到圖10的流程圖，在步驟S34中，可靠性指標(biāo)計(jì)算部分76進(jìn)行可靠性指標(biāo)計(jì)算處理以計(jì)算當(dāng)前幀的帶域特征圖的可靠性指標(biāo)(帶域可靠性指標(biāo))，并將指標(biāo)供應(yīng)到被攝體圖產(chǎn)生部分71。下面，將參考圖15的流程圖詳細(xì)地描述與步驟S34的處理對(duì)應(yīng)的可靠性指標(biāo)計(jì)算處理。在步驟S51中，基于從匹配處理部分75供應(yīng)的匹配處理的結(jié)果，相似性計(jì)算部分 171針對(duì)當(dāng)前幀的MXN個(gè)帶域特征圖Rmn的每個(gè)計(jì)算最相似區(qū)域MERmn與先前幀的帶域參考圖RFRnm之間的相似性LR (其中1彡m彡M且1彡η彡N)。然后，相似性計(jì)算部分171 將相似性供應(yīng)到最大相似性確定部分172。這里，如上所述，當(dāng)絕對(duì)差值的總和用在匹配處理中時(shí)，當(dāng)假設(shè)圖14所示的絕對(duì)差值的總和SAD的最小值(峰值)為SADmin時(shí)，隨著最小值SADmin減小，相似性LRmn增加。 具體地，例如，相似性LRnm由l/SADmin給出，為帶域特征圖的絕對(duì)差值的總和的最小值的倒數(shù)。在步驟S52中，最大相似性確定部分172從相似性計(jì)算部分171供應(yīng)的各個(gè)帶域特征圖的相似性LRnm針對(duì)M種特征量確定M個(gè)最大相似性MLRm (其中1 < m < M)，并將最大相似性MLRm與帶域特征圖的相似性LRmn —起供應(yīng)到相似性規(guī)一化部分173。在步驟S53中，基于最大相似性確定部分172供應(yīng)的M種特征量的每個(gè)的最大相似性MLRm，相似性規(guī)一化部分173歸一化每個(gè)帶域特征圖的相似性LR ，并將相似性供應(yīng)到可靠性指標(biāo)計(jì)算部分177。具體地，由每個(gè)帶域特征圖的相似性LRnm除以M種特征量的每個(gè)的最大相似性MLRm獲得的值LR /MLRm被作為歸一化相似性SLR (其中1彡m彡M且 1 ^ η ^ N)供應(yīng)到可靠性指標(biāo)計(jì)算部分177。此外，歸一化相似性SLRnm具有0 < SLRmn ( 1 的范圍內(nèi)的值。例如，當(dāng)m = 1時(shí)，當(dāng)亮度的帶域特征圖R11至的相似性LR11到LRin除以最大相似性MLIi1時(shí)，可以獲得LRn/MLI^至LR11^MLIi1的值作為N個(gè)歸一化相似性SLI 1N。在m = 2，...，M時(shí)進(jìn)行相同的處理，由此獲得MXN個(gè)歸一化相似性SLR 。這里，每個(gè)帶域特征圖的相似性LRnm通過(guò)最大相似性MLRm而被歸一化，并且明顯地，相似性LRmn可以通過(guò)其他代表值而被歸一化。在步驟SM中，基于從匹配處理部分75供應(yīng)的匹配處理的結(jié)果，銳度計(jì)算部分174 計(jì)算當(dāng)前幀的MXN個(gè)帶域特征圖Rmn的每個(gè)的銳度水平TRmn(其中1彡m彡M且1彡η彡N) 并將銳度水平供應(yīng)到最大銳度確定部分175。這里，如上所述，在匹配處理中采用絕對(duì)差值的總和的情形下，銳度水平TRmn由 SADave-SADfflin給出，其為圖14中所示的絕對(duì)差值的總和SAD的最小值SADmin與包括最相似區(qū)域的附近區(qū)域的絕對(duì)差值的總和的平均值SADare之間的差值。當(dāng)銳度水平TRnm較大時(shí)， 圖14所示的絕對(duì)差值的總和SAD在具有最小值的區(qū)域中具有較尖銳的形狀。相應(yīng)地，當(dāng)銳度水平TRmn較小時(shí)，其具有較平滑的形狀。在步驟S55中，基于銳度計(jì)算部分174供應(yīng)的各個(gè)帶域特征圖的銳度水平TRmn，最大銳度確定部分175針對(duì)M種特征量確定M個(gè)最大銳度水平MTRm(其中1 < m < Μ)，并將最大銳度水平MTRm與各個(gè)帶域特征圖的銳度水平TRmn —起供應(yīng)到銳度規(guī)一化部分176。在步驟S56中，基于最大銳度確定部分175供應(yīng)的M種特征量的每個(gè)的最大銳度水平MTRm，銳度規(guī)一化部分176歸一化每個(gè)帶域特征圖的銳度水平TRmn，并將銳度水平供應(yīng)到可靠性指標(biāo)計(jì)算部分177。具體地，由每個(gè)帶域特征圖的銳度水平TRnm除以M種特征量的每個(gè)的最大銳度水平MTRm獲得的值TR /MTRm被作為歸一化銳度水平STRmn(其中 KmSM且KnS N)供應(yīng)到可靠性指標(biāo)計(jì)算部分177。此外，歸一化銳度水平STRnm具有0< STRmnSl的范圍內(nèi)的值。例如，當(dāng)m = 1時(shí)，當(dāng)帶域特征圖R11至的銳度水平TR11到TRin除以最大銳度水平MTR1時(shí)，可以獲得TR11ZiMTR1至TR11^MTR1的值作為N個(gè)歸一化銳度水平STRin。在m = 2，...，M時(shí)進(jìn)行相同的處理，由此獲得MXN個(gè)歸一化銳度水平STR 。這里，每個(gè)帶域特征圖的銳度水平TRnm通過(guò)最大銳度水平MTRm而被歸一化，然而， 明顯地，銳度水平TRmn可以通過(guò)其他代表值而被歸一化。在步驟S57中，基于從相似性規(guī)一化部分173供應(yīng)的歸一化相似性SLRmn以及從銳度規(guī)一化部分176供應(yīng)的歸一化銳度水平STR ，可靠性指標(biāo)計(jì)算部分177計(jì)算每個(gè)帶域特征圖上的帶域可靠性指標(biāo)Smn(其中1彡m彡M且1彡η彡N)?；跉w一化相似性SLRmn以及歸一化銳度水平STRmn，帶域可靠性指標(biāo)Smn由下面的表達(dá)式(1)給出s = f (SLmn, TLJ (1)這里，在表達(dá)式(1)中，f(A, B)表示值A(chǔ)和B的函數(shù)。具體地，例如，帶域可靠性指標(biāo)Smn由下面的表達(dá)式(2)給出Snm= α SLmn+β TLmn (2)這里，在表達(dá)式O)中，值α和β被設(shè)定為預(yù)定值?；诒磉_(dá)式⑵，當(dāng)相似性和銳度水平較大時(shí)，帶域可靠性指標(biāo)Smn具有較大的值。 也就是，在圖14所示的絕對(duì)差值的總和SAD中，當(dāng)最小值SADmin較小時(shí)，其在最小值處的區(qū)域中的形狀較尖銳，帶域可靠性指標(biāo)Smn具有較大的值。另一方面，在圖16所示的帶域特征圖的絕對(duì)差值的總和SAD’中，其最小值比圖14 的絕對(duì)差值的總和的最小值更小，其在最小值處的區(qū)域中的形狀較平滑。也就是，相似性大，但是銳度水平小，因此帶域可靠性指標(biāo)Smn具有較小的值。如上所述，獲得與MXN個(gè)帶域特征圖Rnm對(duì)應(yīng)的MXN個(gè)帶域可靠性指標(biāo)Smn，并作為帶域可靠性指標(biāo)組&供應(yīng)到被攝體圖產(chǎn)生部分71的帶域特征圖合成部分113。應(yīng)當(dāng)注意，針對(duì)MXN個(gè)帶域特征圖Rnm中的每個(gè)，確定帶域可靠性指標(biāo)Snm的值α 和β可以具有相同的值，但是針對(duì)每個(gè)特征或者每個(gè)帶域，其可以具有不同的值?；氐綄?duì)圖10的流程圖的描述，在步驟S35中，帶域特征圖合成部分113進(jìn)行帶域特征圖合成處理。由此，如圖11所示，基于從可靠性指標(biāo)計(jì)算部分76供應(yīng)的帶域可靠性指標(biāo)組&，帶域特征圖合成部分113從帶域特征圖產(chǎn)生部分112供應(yīng)的帶域特征圖Rmn產(chǎn)生合成特征圖Cm。然后，帶域特征圖合成部分113將合成特征圖Cm供應(yīng)到合成特征圖合成部分 114、參考圖保持部分74和匹配處理部分75。這里，將參考圖17的流程圖詳細(xì)地描述與步驟S35的處理對(duì)應(yīng)的帶域特征圖合成處理。針對(duì)M種特征量的每個(gè)進(jìn)行帶域特征圖合成處理。在步驟S71中，在從帶域特征圖產(chǎn)生部分112供應(yīng)的帶域特征圖Rmn中，候補(bǔ)圖確定部分121將可靠性指標(biāo)計(jì)算部分76供應(yīng)的帶域可靠性指標(biāo)Smn比預(yù)定閾值大的帶域特征圖確定為候補(bǔ)圖(帶域候補(bǔ)圖)。候補(bǔ)圖確定部分121將確定的帶域候補(bǔ)圖供應(yīng)到圖間最大值選擇部分122。具體地，例如，如圖18所示，在亮度的帶域特征圖R11至中，帶域可靠性指標(biāo)S11 到Sin比預(yù)定閾值大的帶域特征圖1^，. . .，Iilk被確定為帶域候補(bǔ)圖。在步驟S72中，圖間最大值選擇部分122從候補(bǔ)圖確定部分121供應(yīng)的帶域候補(bǔ)圖針對(duì)每個(gè)像素選擇帶域特征圖中的最大特征量(像素值)，并對(duì)所有像素進(jìn)行該選擇。具體地，在圖18所示的帶域候補(bǔ)圖Rlj, ...，Rlk的情形下，圖間最大值選擇部分 122聚焦于各個(gè)帶域候補(bǔ)圖中在相同位置處的各個(gè)像素，選擇各個(gè)像素中具有最大像素值的像素，并對(duì)所有像素進(jìn)行該選擇。在步驟S73中，基于分別通過(guò)圖間最大值選擇部分122在帶域特征圖中針對(duì)每個(gè)像素選擇的最大像素值，合成特征圖產(chǎn)生部分123產(chǎn)生合成特征圖。具體地，通過(guò)合成分別與圖18所示的帶域候補(bǔ)圖Rlj, ...，Rlk的每個(gè)像素對(duì)應(yīng)的最大像素值(采用最大像素值作為各個(gè)像素的像素值)，產(chǎn)生合成特征圖Cm。然后，合成特征圖Cm供應(yīng)到合成特征圖合成部分114、參考圖保持部分74和匹配處理部分75。如上所述，帶域特征圖合成部分113產(chǎn)生M種合成特征圖Cm。此外，更具體地，在每個(gè)合成特征圖中，各像素的像素值被歸一化在例如0到255的范圍內(nèi)。此外，在第一被攝體圖產(chǎn)生處理中，帶域可靠性指標(biāo)組&的每個(gè)帶域可靠性指標(biāo)Smn被當(dāng)作1，并且從每個(gè)特征量的各個(gè)帶域特征圖選擇各個(gè)像素的最大值?；氐綄?duì)圖10的流程圖的描述，在步驟S36中，匹配處理部分75對(duì)從帶域特征圖合成部分113供應(yīng)的合成特征圖Cm(其中1 < m < M)和存儲(chǔ)在存儲(chǔ)器81中的合成參考圖 RFCm(其中1彡m彡M)進(jìn)行匹配。這里，在合成特征圖Cm的匹配處理中，進(jìn)行與帶域特征圖的匹配處理相同的處理。也就是，例如，匹配處理部分75在合成特征圖Cm上移動(dòng)作為處理對(duì)象的區(qū)域 ECm(其中1彡m彡M)的位置，同時(shí)計(jì)算區(qū)域ECm與合成參考圖RFCJ々像素的像素值之間的絕對(duì)差值的總和。然后，在合成特征圖Cm的區(qū)域ECm中，匹配處理部分75將其自身和合成參考圖之間的絕對(duì)差值的總和最小的區(qū)域設(shè)定為最相似區(qū)域MECm(其中1彡m彡M)。匹配處理部分75將表示最相似區(qū)域MECm位置的信息和針對(duì)合成特征圖Cm的每個(gè)區(qū)域ECm獲得的絕對(duì)差值的總和作為匹配處理的結(jié)果供應(yīng)到可靠性指標(biāo)計(jì)算部分76。在步驟S37中，可靠性指標(biāo)計(jì)算部分76進(jìn)行可靠性指標(biāo)計(jì)算處理以計(jì)算當(dāng)前幀的合成特征圖的可靠性指標(biāo)(合成可靠性指標(biāo))，并將指標(biāo)供應(yīng)到被攝體圖產(chǎn)生部分71。這里，以與參考圖15的流程圖描述的帶域特征圖的可靠性指標(biāo)的計(jì)算處理基本相同的方式，進(jìn)行計(jì)算合成特征圖的可靠性指標(biāo)的處理，因此省略其詳細(xì)描述。也就是，在計(jì)算帶域特征圖的可靠性指標(biāo)的處理中，首先，基于從匹配處理部分75 供應(yīng)的匹配處理結(jié)果，計(jì)算先前幀的參考圖與當(dāng)前幀的M個(gè)合成特征圖Cm的最相似區(qū)域 MECm之間的相似性LCm(其中1彡m彡M)。接著，從各個(gè)合成特征圖的相似性LCm，確定最大相似性MLCm,并基于此，獲得M個(gè)歸一化相似性SLCm。另一方面，基于從匹配處理部分75獲得的匹配處理結(jié)果，計(jì)算當(dāng)前幀的M個(gè)合成特征圖Cm的銳度水平TCm(其中1 < m < M)。接著，從各個(gè)合成特征圖的銳度水平TCm，確定最大銳度水平MTCm,并基于此，獲得M個(gè)歸一化的銳度水平STCm。然后，基于歸一化相似性SLCm和歸一化的銳度水平STCm，獲得各個(gè)合成特征圖的
19合成可靠性指標(biāo)Sm(其中1 < m < M)。如上所述，獲得M個(gè)合成特征圖的M個(gè)合成可靠性指標(biāo)^，并將其作為合成可靠性指標(biāo)組&供應(yīng)到被攝體圖產(chǎn)生部分71的合成特征圖合成部分114。在步驟S38中，合成特征圖合成部分114進(jìn)行合成特征圖合成處理。由此，如圖 11所示，基于從可靠性指標(biāo)計(jì)算部分76供應(yīng)的合成可靠性指標(biāo)組&，合成特征圖合成部分 114從帶域特征圖合成部分113供應(yīng)的合成特征圖Cm產(chǎn)生被攝體圖201。然后，合成特征圖合成部分114將被攝體圖201供應(yīng)到被攝體候補(bǔ)區(qū)域矩形化部分72。這里，將參考圖19的流程圖詳細(xì)描述與步驟S38的處理對(duì)應(yīng)的合成特征圖合成處理。 在步驟S91中，在帶域特征圖合成部分113供應(yīng)的合成特征圖Cm中，候補(bǔ)圖確定部分IM將可靠性指標(biāo)計(jì)算部分76供應(yīng)的合成可靠性指標(biāo)^11大于預(yù)定閾值的合成特征圖確定為候補(bǔ)圖(合成候補(bǔ)圖)。候補(bǔ)圖確定部分1 將確定的候補(bǔ)圖供應(yīng)到圖間最大值選擇部分U5。具體地，例如如圖20所示，在M個(gè)合成特征圖C1到Cm中，合成可靠性指標(biāo)S1到sM 大于預(yù)定閾值的合成特征圖C1, C3, C4...被確定為合成候補(bǔ)圖。在步驟S92中，圖間最大值選擇部分125從候補(bǔ)圖確定部分IM供應(yīng)的合成候補(bǔ)圖針對(duì)每個(gè)像素選擇合成候補(bǔ)圖中的最大特征量(像素值)，并對(duì)所有像素進(jìn)行該選擇。具體地，在圖20所示的合成候補(bǔ)圖C1, C3, C4...的情形下，圖間最大值選擇部分 125聚焦于各個(gè)合成候補(bǔ)圖中在相同位置處的各個(gè)像素，選擇各個(gè)像素中具有最大像素值的像素，并對(duì)所有像素進(jìn)行該選擇。在步驟S93中，基于通過(guò)圖間最大值選擇部分125針對(duì)每個(gè)像素選擇合成特征圖中的最大像素值，被攝體圖產(chǎn)生部分126產(chǎn)生被攝體圖。具體地，通過(guò)合成分別與圖20所示的合成候補(bǔ)圖C1, C3, C4...的每個(gè)像素對(duì)應(yīng)的最大像素值(采用最大像素值作為各個(gè)像素的像素值)，產(chǎn)生被攝體圖201。然后，被攝體圖201被供應(yīng)到被攝體候補(bǔ)區(qū)域矩形化部分72。以上述方式獲得的被攝體圖的各個(gè)像素的像素值被歸一化在例如0到255的范圍內(nèi)，并且該被攝體圖被當(dāng)作最終的被攝體圖。此外，在第一被攝體圖產(chǎn)生處理中，合成可靠性指標(biāo)組&的每個(gè)合成可靠性指標(biāo) Sffl被當(dāng)作1，并且從各個(gè)合成特征圖選擇各個(gè)像素的最大值。當(dāng)產(chǎn)生被攝體圖時(shí)，被攝體圖產(chǎn)生處理結(jié)束，然后處理進(jìn)行到圖9的步驟S12?；氐綀D9的流程圖，在步驟S12中，被攝體候補(bǔ)區(qū)域矩形化部分72進(jìn)行被攝體候補(bǔ)區(qū)域矩形化處理，由此在被攝體圖產(chǎn)生部分71供應(yīng)的被攝體圖上確定被攝體候補(bǔ)區(qū)域。下面，將參考圖21和22詳細(xì)描述被攝體候補(bǔ)區(qū)域矩形化處理。圖21是圖解被攝體候補(bǔ)區(qū)域矩形化處理的流程圖。圖22是圖解被攝體候補(bǔ)區(qū)域矩形化處理的具體示例的示意圖。在圖21的流程圖的步驟S151中，被攝體候補(bǔ)區(qū)域矩形化部分72的二值化處理部分131將合成特征圖合成部分114供應(yīng)的被攝體圖的像素的像素值通過(guò)閾值處理而二值化，并將二進(jìn)制像素值供應(yīng)到標(biāo)簽處理部分132。更具體地，當(dāng)被攝體圖201的各個(gè)像素的像素值在0到255的范圍內(nèi)時(shí)，如圖22所示，二值化處理部分131例如將比閾值“127”小的像素值設(shè)定為0，并將比閾值“127”大的像素值設(shè)定為1。以這樣的方式，可以獲得圖22中從頂部開始的第二幅圖的二值化圖202。圖22所示的二值化圖202是二值化的被攝體圖。在二值化圖202中，白色部分表示像素值為1的像素，并且黑色部分表示像素值為0的像素。這里，閾值設(shè)定為127，但是也可以設(shè)定為不同的值。在步驟S152中，標(biāo)簽處理部分132對(duì)二值化處理部分131供應(yīng)的二值化圖202進(jìn)行形貌操作(morphological operation)，矩形化二值化圖202上的被攝體區(qū)域，并對(duì)獲得的連接區(qū)域進(jìn)行標(biāo)簽化。具體地，標(biāo)簽處理部分132對(duì)二值化圖202中彼此相鄰且由像素值為1的像素形成的連接區(qū)域進(jìn)行標(biāo)簽化。例如，在圖22的從頂部開始的第三幅中，標(biāo)簽“1”被貼到二值化圖202上的連接區(qū)域211，標(biāo)簽“2”被貼到連接區(qū)域212。標(biāo)簽處理部分132將標(biāo)簽化的二值化圖(被攝體圖)供應(yīng)到矩形區(qū)域坐標(biāo)計(jì)算部分133。在步驟S153中，矩形區(qū)域坐標(biāo)計(jì)算部分133將標(biāo)簽處理部分132供應(yīng)的二值化圖 202上的圍繞連接區(qū)域的矩形區(qū)域設(shè)定為被攝體候補(bǔ)區(qū)域，并產(chǎn)生表示被攝體候補(bǔ)區(qū)域的位置的坐標(biāo)信息。具體地，如圖22中從頂部開始的第四幅圖所示，在二值化圖202中，從外側(cè)圍繞標(biāo)簽為“1”的連接區(qū)域211的矩形區(qū)域(限定區(qū)域)221被檢測(cè)到，并被設(shè)定為被攝體候補(bǔ)區(qū)域。此外，例如，在被攝體候補(bǔ)區(qū)域的圖中，獲得左上和右下頂點(diǎn)的坐標(biāo)，并將其坐標(biāo)設(shè)定為坐標(biāo)信息。此外，從外側(cè)圍繞標(biāo)簽為“2”的連接區(qū)域212的矩形區(qū)域222被檢測(cè)到，并被設(shè)定為被攝體候補(bǔ)區(qū)域。由此，在被攝體候補(bǔ)區(qū)域的圖中，產(chǎn)生左上和右下頂點(diǎn)的坐標(biāo)作為坐標(biāo) fn息ο矩形區(qū)域坐標(biāo)計(jì)算部分133產(chǎn)生每個(gè)被攝體候補(bǔ)區(qū)域的坐標(biāo)信息，并將坐標(biāo)信息供應(yīng)到區(qū)域信息計(jì)算部分134。在步驟SlM中，通過(guò)采用從矩形區(qū)域坐標(biāo)計(jì)算部分133供應(yīng)的坐標(biāo)信息和從合成特征圖合成部分114供應(yīng)的被攝體圖，區(qū)域信息計(jì)算部分134計(jì)算每個(gè)被攝體候補(bǔ)區(qū)域的區(qū)域信息。例如，區(qū)域信息計(jì)算部分134計(jì)算被攝體圖中被攝體候補(bǔ)區(qū)域的尺寸以及被攝體候補(bǔ)區(qū)域的中心位置的坐標(biāo)作為區(qū)域信息。此外，區(qū)域信息計(jì)算部分134計(jì)算被攝體圖上被攝體候補(bǔ)區(qū)域內(nèi)各像素的像素值的積分值(總和)或者被攝體圖上被攝體候補(bǔ)區(qū)域內(nèi)各像素的像素值的峰值(最大值)作為區(qū)域信息。區(qū)域信息計(jì)算部分134計(jì)算每個(gè)被攝體候補(bǔ)區(qū)域上的區(qū)域信息，將可以獲得的每個(gè)被攝體候補(bǔ)區(qū)域的坐標(biāo)信息和區(qū)域信息供應(yīng)到被攝體區(qū)域選擇部分73，并結(jié)束被攝體候補(bǔ)區(qū)域矩形化處理。然后，處理進(jìn)行到圖9的步驟S13?；氐綀D9的流程圖，在步驟S13中，被攝體區(qū)域選擇部分73進(jìn)行被攝體區(qū)域選擇處理，由此從被攝體候補(bǔ)區(qū)域選擇被攝體區(qū)域。這里，將參考圖23的流程圖詳細(xì)描述步驟S13的被攝體區(qū)域選擇處理。
在步驟S171中，區(qū)域信息比較部分151比較從區(qū)域信息計(jì)算部分134供應(yīng)的每個(gè)被攝體候補(bǔ)區(qū)域的區(qū)域信息與存儲(chǔ)在區(qū)域信息存儲(chǔ)部分153中的前一幀的被攝體區(qū)域的區(qū)域信息。然后，區(qū)域信息比較部分151將該比較結(jié)果以及從區(qū)域信息計(jì)算部分134供應(yīng)的每個(gè)被攝體候補(bǔ)區(qū)域的坐標(biāo)信息供應(yīng)到被攝體區(qū)域確定部分152。具體地，例如，當(dāng)將被攝體候補(bǔ)區(qū)域的尺寸計(jì)算為區(qū)域信息時(shí)，區(qū)域信息比較部分 151比較被攝體候補(bǔ)區(qū)域的尺寸(也就是，圍繞被攝體候補(bǔ)區(qū)域的矩形區(qū)域的尺寸)與前一幀的被攝體區(qū)域的尺寸。在此情形下，例如，可以獲得每個(gè)被攝體候補(bǔ)區(qū)域的尺寸與被攝體區(qū)域的尺寸之間的絕對(duì)差值作為比較結(jié)果。此外，例如，獲得被攝體候補(bǔ)區(qū)域的中心位置的坐標(biāo)作為區(qū)域信息，并且比較每個(gè)中心位置的坐標(biāo)與前一幀的被攝體區(qū)域的中心位置的坐標(biāo)。在此情形下，可以獲得中心位置之間的距離作為比較結(jié)果。此外，當(dāng)獲得被攝體候補(bǔ)區(qū)域內(nèi)各像素的像素值的峰值或者積分值時(shí)，可以獲得被攝體候補(bǔ)區(qū)域的峰值或者積分值與前一幀的被攝體區(qū)域的峰值或積分值之間的絕對(duì)差值作為比較結(jié)果。在步驟S172中，基于從區(qū)域信息比較部分151供應(yīng)的比較結(jié)果，被攝體區(qū)域確定部分152將一個(gè)被攝體候補(bǔ)區(qū)域設(shè)定為處理對(duì)象的當(dāng)前幀中的被攝體區(qū)域。換言之，當(dāng)特定特征(也就是區(qū)域信息)被設(shè)定為指標(biāo)時(shí)，在當(dāng)前幀的被攝體候補(bǔ)區(qū)域中，與前一幀的被攝體區(qū)域最相關(guān)的被攝體候補(bǔ)區(qū)域被當(dāng)作當(dāng)前幀的被攝體區(qū)域。具體地，例如，作為比較結(jié)果可以獲得的具有區(qū)域信息的最小絕對(duì)差值的被攝體候補(bǔ)區(qū)域被選擇為被攝體區(qū)域。這里，差值包括被攝體候補(bǔ)區(qū)域與被攝體區(qū)域的尺寸之間的差值、其中心位置之間的差值、其峰值之間的差值以及其積分值之間的差值。此外，被攝體區(qū)域確定部分152確定當(dāng)前幀的的被攝體區(qū)域，然后將被設(shè)定為被攝體區(qū)域的被攝體候補(bǔ)區(qū)域的坐標(biāo)信息供應(yīng)到控制單元34和參考圖保持部分74，該坐標(biāo)信息從區(qū)域信息比較部分151供應(yīng)。此外，被攝體區(qū)域確定部分152將被攝體區(qū)域的區(qū)域信息供應(yīng)到區(qū)域信息存儲(chǔ)部分153且存儲(chǔ)在區(qū)域信息存儲(chǔ)部分153中，并且結(jié)束被攝體區(qū)域選擇處理。然后，處理進(jìn)行到圖9的步驟S14。此外，在第一被攝體區(qū)域選擇處理中，區(qū)域信息存儲(chǔ)部分153不存儲(chǔ)前一幀的被攝體區(qū)域的區(qū)域信息。因此，包括第一選擇區(qū)域(其在開始被攝體追蹤處理時(shí)由用戶選擇) 的被攝體候補(bǔ)區(qū)域被當(dāng)作被攝體區(qū)域?；氐綀D9的流程圖，在步驟S14中，基于從被攝體區(qū)域確定部分152供應(yīng)的被攝體區(qū)域的坐標(biāo)信息以及從帶域特征圖產(chǎn)生部分112供應(yīng)的帶域特征圖，參考圖保持部分74產(chǎn)生帶域參考圖。具體地，如參考圖12所描述的，參考圖保持部分74在當(dāng)前幀的帶域特征圖Rmn 中切出與輸入圖像上的被攝體區(qū)域相同區(qū)域的區(qū)域，并將切出的區(qū)域設(shè)定為帶域參考圖 RFRnm (其中1彡m彡M且1彡η彡N)。參考圖保持部分74將產(chǎn)生的帶域參考圖供應(yīng)到存儲(chǔ)器81并存儲(chǔ)在存儲(chǔ)器81中。帶域參考圖用于計(jì)算后續(xù)幀的帶域可靠性指標(biāo)。在步驟S15中，基于從帶域特征圖合成部分113供應(yīng)的合成特征圖的坐標(biāo)信息以及從被攝體區(qū)域確定部分152供應(yīng)的被攝體區(qū)域，參考圖保持部分74產(chǎn)生合成參考圖。也就是，與帶域參考圖的產(chǎn)生類似地，參考圖保持部分74在當(dāng)前幀的合成特征圖Cm中切出與輸入圖像上的被攝體區(qū)域相同區(qū)域的區(qū)域，并將切出的區(qū)域設(shè)定為合成參考圖 RFCffl(其中1 < m < M)。參考圖保持部分74將產(chǎn)生的合成參考圖供應(yīng)到存儲(chǔ)器81并存儲(chǔ)在存儲(chǔ)器81中。合成參考圖用于計(jì)算后續(xù)幀的合成可靠性指標(biāo)。在步驟S15中，當(dāng)產(chǎn)生合成參考圖時(shí)，之后，處理回到步驟Sll并重復(fù)上述處理。也就是，對(duì)后續(xù)幀進(jìn)行被攝體追蹤處理，由此針對(duì)每一幀重復(fù)處理。在上述針對(duì)每幀進(jìn)行的處理中，從幀的每個(gè)特征圖檢測(cè)圖中與先前幀的被攝體區(qū)域高度相關(guān)的區(qū)域。響應(yīng)于檢測(cè)結(jié)果，計(jì)算圖的可靠性指標(biāo)，并從具有高可靠性指標(biāo)的特征圖的各個(gè)像素的最大值產(chǎn)生被攝體圖。在利用被攝體圖的被攝體檢測(cè)中，與前一幀的被攝體區(qū)域高度相關(guān)的區(qū)域被連續(xù)且適應(yīng)性地看作重要的區(qū)域。因此，即使在被攝體狀態(tài)變化的情形(例如，照射在被攝體上的光變化的情形以及被攝體的姿勢(shì)變化的情形)下，與現(xiàn)有技術(shù)中基于最初指定區(qū)域的特征量來(lái)進(jìn)行追蹤的方法相比，可以更穩(wěn)定地追蹤被攝體。此外，由于根據(jù)從輸入圖像提取的多個(gè)特征量產(chǎn)生被攝體圖，所以即使當(dāng)幾個(gè)特征的特征量急劇地變化時(shí)，如果其他特征的特征量變化小，就可以以足夠的精確性檢測(cè)被攝體，由此可以進(jìn)行穩(wěn)定的追蹤。此外，由于被攝體區(qū)域被確定為包括整個(gè)被攝體，所以即使在被攝體的局部區(qū)域變化的情形下，也可以更穩(wěn)定地追蹤被攝體。具體地，在現(xiàn)有技術(shù)的被攝體追蹤方法中，在識(shí)別被攝體區(qū)域中的某物的坐標(biāo) (或包括該坐標(biāo)的局部區(qū)域)的情形下，由于不是追蹤整個(gè)被攝體，所以難以正確地設(shè)置 AF(自動(dòng)聚焦)、AE(自動(dòng)曝光)和ACC(自動(dòng)顏色控制)的檢測(cè)范圍。此外，在識(shí)別被攝體區(qū)域中特征量相同的特征量區(qū)域的情形下，與上述情形相比可以改善設(shè)定檢測(cè)范圍的精確性。然而，相同特征量區(qū)域很可能僅是被攝體區(qū)域的一小部分，因此難以獲得足夠的檢測(cè)精確性。另一方面，在根據(jù)本發(fā)明實(shí)施例的被攝體追蹤處理中，可以識(shí)別包括整個(gè)被攝體的被攝體區(qū)域，因此可以改善檢測(cè)精確性。從而，可以將追蹤結(jié)果應(yīng)用到各種應(yīng)用。此外，在現(xiàn)有技術(shù)的被攝體追蹤方法中，例如，存在例如通過(guò)學(xué)習(xí)將人的整個(gè)圖像在詞典中而檢測(cè)和追蹤人的方法。然而，難以追蹤除記錄在詞典中的人之外的被攝體。此外，記錄在詞典中的信息(圖像)量很大，因此裝置的尺寸增加。相反地，在本發(fā)明實(shí)施例的被攝體追蹤處理中，可以檢測(cè)并追蹤任意被攝體，并且還不需要將大量的信息記錄在詞典等中。因此，可以使裝置的尺寸變得緊湊。此外，例如，當(dāng)在被攝體圖產(chǎn)生處理的帶域特征圖產(chǎn)生處理中產(chǎn)生的特定帶域的帶域特征圖通過(guò)簡(jiǎn)單的線性組合被合成時(shí)，在帶域特征圖中，原來(lái)趨于減弱的直流附近的被攝體分量(也就是，織構(gòu)的小區(qū)域的特征量)將通過(guò)簡(jiǎn)單的線性組合被進(jìn)一步減弱。在此情形下，由于被攝體具有比較簡(jiǎn)單的形狀，可能更加難以獲得尤其在被攝體區(qū)域的中心部分中的特征量的級(jí)別。此外，在后續(xù)階段的被攝體候補(bǔ)區(qū)域矩形化處理的二值化處理中， 存在難以獲得正確的連接區(qū)域的不利效果的問(wèn)題。然而，在根據(jù)本發(fā)明實(shí)施例的被攝體追蹤處理中，通過(guò)在特征圖中選擇任何一個(gè)像素，產(chǎn)生被攝體圖。因此，可以獲得被攝體圖的被攝體區(qū)域中的任何特征量。因此，即使當(dāng)被攝體具有比較簡(jiǎn)單的形狀時(shí)，也可以避免難以獲得被攝體部分中的特征量的情況。因此，在二值化處理中，可以指定正確的連接區(qū)域，并且可以進(jìn)行穩(wěn)定的被攝體追蹤。
然而，在根據(jù)本發(fā)明實(shí)施例的被攝體追蹤處理中，檢測(cè)與特征圖中前一幀的被攝體區(qū)域高度相關(guān)的區(qū)域(最相似的區(qū)域)，并且響應(yīng)于檢測(cè)結(jié)果，計(jì)算特征圖的可靠性指標(biāo)，由此從可靠性指標(biāo)比預(yù)定閾值大的特征圖(候補(bǔ)圖)產(chǎn)生被攝體圖。因此，可以從被攝體圖產(chǎn)生處理排除可靠性指標(biāo)比預(yù)定閾值小的特征圖，也就是，排除與前一幀的被攝體區(qū)域較不相關(guān)的特征圖。因此，由于可以降低將與實(shí)際被攝體區(qū)域不同的區(qū)域確定為被攝體區(qū)域的可能性，因此可以更精確地指定被攝體。 此外，在帶域特征圖合成處理和合成特征圖合成處理中，通過(guò)對(duì)各個(gè)特征圖的可靠性指標(biāo)進(jìn)行閾值處理，候補(bǔ)圖被確定。然而，通過(guò)對(duì)每個(gè)特征圖的每個(gè)像素單元的可靠性指標(biāo)進(jìn)行閾值處理，可以確定作為被合成為合成特征圖或者被攝體圖的候補(bǔ)的候補(bǔ)像素。在此情形下，閾值根據(jù)每個(gè)處理對(duì)象像素是否被包括在特征圖上的最相似區(qū)域中而變化。具體地，針對(duì)不包括在最相似區(qū)域中的像素，通過(guò)將閾值設(shè)定得較高，即使在可靠性指標(biāo)相對(duì)較高的特征圖的像素的情形下，像素也很少有可能被包括在被攝體區(qū)域中，由此可以將該像素排除出候補(bǔ)像素。相反地，針對(duì)包括在最相似區(qū)域中的像素，通過(guò)將閾值設(shè)定得較低，即使在可靠性指標(biāo)相對(duì)較低的特征圖的像素的情形下，像素也很有可能被包括在被攝體區(qū)域中，由此可以采用該像素作為候補(bǔ)像素。以這樣的方式，從確定的候補(bǔ)像素選擇各個(gè)像素的最大值，并基于最大值的像素，產(chǎn)生合成特征圖或者被攝體圖。由此，可以降低與實(shí)際被攝體區(qū)域不同的區(qū)域被確定為被攝體區(qū)域的可能性，可以進(jìn)一步更加精確地指定被攝體。此外，在帶域特征圖合成處理和合成特征圖合成處理中，從各候補(bǔ)圖針對(duì)每個(gè)像素選擇候補(bǔ)圖中的最大特征量，但是特征量并不局限于最大值。例如，可以將各候補(bǔ)圖中的第二最高值或者中間值選擇為每個(gè)像素的特征量。以這樣的方式，可以將盡管不位于被攝體區(qū)域中但由于擾動(dòng)而具有局部較大的特征量的像素排除。在上述描述中，亮度分量、顏色分量和邊緣強(qiáng)度被用作特征量，但是特征量并不局限于此。例如，可以增加動(dòng)作信息。此外，作為可用的特征量，例如具有類似亮度分量和顏色分量的互補(bǔ)關(guān)系的特征量也是適合的，并且特征量可以隨意選擇。此外，在上述描述中，針對(duì)MX N個(gè)帶域特征圖和M個(gè)合成特征圖計(jì)算各自的可靠性指標(biāo)，并且可以適當(dāng)?shù)赜?jì)算一部分圖的可靠性指標(biāo)。例如，可以僅僅計(jì)算合成特征圖C1至 Cm的M個(gè)合成特征圖的合成可靠性指標(biāo)。在這樣的情形下，可以抑制圖像處理裝置11中的計(jì)算復(fù)雜性。此外，在上述描述中，通過(guò)從特征圖的絕對(duì)差值的總和計(jì)算相似性和銳度水平，并基于此，計(jì)算可靠性指標(biāo)。然而，當(dāng)絕對(duì)差值的總和不用于匹配處理時(shí)，通過(guò)采用基于匹配處理結(jié)果的預(yù)定統(tǒng)計(jì)方法，可以計(jì)算處理對(duì)象幀的特征圖上在最相似區(qū)域附近的特征量的分散程度，并且可以計(jì)算可靠性指標(biāo)，當(dāng)分散程度較小時(shí)可靠性指標(biāo)較大。此外，在處理對(duì)象的當(dāng)前幀中，僅僅將先前幀的包括被攝體區(qū)域且具有預(yù)定尺寸的區(qū)域設(shè)定為處理對(duì)象區(qū)域，并且可以在其上進(jìn)行帶域特征圖或者合成特征圖的匹配處理。在這樣的情形下，當(dāng)處理對(duì)象區(qū)域的尺寸或者位置根據(jù)在先前幀中追蹤的被攝體的尺寸或者運(yùn)動(dòng)速度而變化時(shí)，可以更有效且更可靠地檢測(cè)高度相關(guān)的區(qū)域。上述一系列處理可以通過(guò)硬件來(lái)進(jìn)行，并且可以通過(guò)軟件來(lái)進(jìn)行。當(dāng)通過(guò)軟件進(jìn)
24行這一系列處理時(shí)，構(gòu)成軟件的程序被從程序記錄介質(zhì)安裝到內(nèi)置專用硬件的計(jì)算機(jī)中或者例如能夠通過(guò)安裝各種程序來(lái)進(jìn)行各種功能的通用個(gè)人計(jì)算機(jī)內(nèi)。圖M是圖解通過(guò)程序進(jìn)行上述一系列處理的計(jì)算機(jī)的硬件的示例性構(gòu)造的框圖。在該計(jì)算機(jī)中，CPU (中央處理單元)301、ROM (只讀存儲(chǔ)器)302、和RAM(隨機(jī)存取存儲(chǔ)器)303通過(guò)總線304而彼此連接。總線304進(jìn)一步連接到輸入/輸出接口 305。輸入/輸出接口 305連接到由鍵盤、鼠標(biāo)、麥克風(fēng)等形成的輸入部分306 ；由顯示器、揚(yáng)聲器等形成的輸出部分307 ；由硬盤、 非易失性存儲(chǔ)器等形成的存儲(chǔ)部分308 ；由網(wǎng)絡(luò)接口等形成的通信部分309 ；以及驅(qū)動(dòng)可移除介質(zhì)311例如磁盤、光盤、磁光盤或半導(dǎo)體存儲(chǔ)器的驅(qū)動(dòng)器310。在如上所述構(gòu)造的計(jì)算機(jī)中，例如，CPU301通過(guò)輸入/輸出接口 305和總線304加載并執(zhí)行存儲(chǔ)在存儲(chǔ)部分308中、RAM303中的程序，由此進(jìn)行上述一系列處理。計(jì)算機(jī)(CPU 301)執(zhí)行的程序存儲(chǔ)在可移除介質(zhì)311中，可移除介質(zhì)311是形成為例如磁盤(包括軟盤)、光盤(CD-ROM (緊致只讀存儲(chǔ)器)或者DVD (數(shù)字多功能盤))、磁光盤或者半導(dǎo)體存儲(chǔ)器等的封裝介質(zhì)。備選地，程序通過(guò)有線或者無(wú)線傳輸介質(zhì)例如局域網(wǎng)、因特網(wǎng)或者數(shù)字衛(wèi)星廣播來(lái)提供。此外，通過(guò)在驅(qū)動(dòng)器310中安裝可移除介質(zhì)311，程序可以通過(guò)輸入/輸出接口 305安裝在存儲(chǔ)部分308中。此外，通過(guò)使通信部分309通過(guò)有線或無(wú)線傳輸介質(zhì)接收程序，程序可以安裝在存儲(chǔ)部分308中。此外，程序可以預(yù)先安裝在R0M302或者存儲(chǔ)部分308 中。此外，通過(guò)計(jì)算機(jī)執(zhí)行的程序可以是以本說(shuō)明書的描述順序按時(shí)間先后來(lái)進(jìn)行處理的程序，也可以是并行或者在所需時(shí)間例如調(diào)用時(shí)來(lái)進(jìn)行處理的程序。本申請(qǐng)包含與2010年2月4日提交至日本專利局的日本優(yōu)先權(quán)專利申請(qǐng)JP 2010-022812中公開內(nèi)容的相關(guān)的主題，其全部?jī)?nèi)容通過(guò)引用結(jié)合于此。本領(lǐng)域的技術(shù)人員應(yīng)當(dāng)理解的是，在所附權(quán)利要求或其等同物的范圍內(nèi)，根據(jù)設(shè)計(jì)需要和其他因素，可以進(jìn)行各種修改、結(jié)合、部分結(jié)合和替換。
權(quán)利要求
1.一種圖像處理裝置，該圖像處理裝置指定包括多個(gè)連續(xù)幀的每個(gè)輸入圖像上的特定被攝體的區(qū)域，該圖像處理裝置包括被攝體圖產(chǎn)生構(gòu)件，從與所述輸入圖像的各個(gè)像素的特征對(duì)應(yīng)且表示所述輸入圖像的各個(gè)區(qū)域中的特征量的特征圖，針對(duì)每個(gè)像素選擇任何特征圖的一個(gè)特征量，以由此產(chǎn)生表示所述輸入圖像的各個(gè)區(qū)域與所述被攝體的相似性的被攝體圖；以及被攝體區(qū)域指定構(gòu)件，基于所述被攝體圖來(lái)指定作為在所述被攝體圖中與所述被攝體最相似的區(qū)域的被攝體區(qū)域，以由此指定包括所述輸入圖像上的所述被攝體的區(qū)域。
2.根據(jù)權(quán)利要求1所述的圖像處理裝置，還包括可靠性計(jì)算構(gòu)件，基于處理對(duì)象幀的所述特征圖上的、包括與所述處理對(duì)象幀的前一幀的被攝體區(qū)域?qū)?yīng)的對(duì)應(yīng)區(qū)域的附近區(qū)域中的所述特征量的分散程度，該可靠性計(jì)算構(gòu)件計(jì)算作為表示所述特征圖上的所述對(duì)應(yīng)區(qū)域包括所述被攝體的指標(biāo)的可靠性，其中，基于各個(gè)特征圖的可靠性，所述被攝體圖產(chǎn)生構(gòu)件通過(guò)針對(duì)每個(gè)像素選擇任何特征圖的一個(gè)特征量而產(chǎn)生所述被攝體圖。
3.根據(jù)權(quán)利要求2所述的圖像處理裝置，還包括參考圖保持構(gòu)件，將與所述特征圖中的被攝體區(qū)域相同位置處的區(qū)域保持為參考圖；以及匹配處理構(gòu)件，在所述處理對(duì)象幀的特征圖上搜尋與所述前一幀的參考圖最高度相關(guān)的最相似區(qū)域，其中基于所述處理對(duì)象幀的所述特征圖上的、包括所述最相似區(qū)域的附近區(qū)域中的所述特征量的分散程度，所述可靠性計(jì)算構(gòu)件計(jì)算作為表示所述特征圖上的所述最相似區(qū)域包括所述被攝體的指標(biāo)的可靠性。
4.根據(jù)權(quán)利要求2所述的圖像處理裝置，其中通過(guò)針對(duì)每個(gè)像素選擇所述可靠性大于預(yù)定閾值的任何特征圖的一個(gè)特征量，所述被攝體圖產(chǎn)生構(gòu)件產(chǎn)生所述被攝體圖。
5.根據(jù)權(quán)利要求2所述的圖像處理裝置，其中所述被攝體圖產(chǎn)生構(gòu)件包括特征圖產(chǎn)生構(gòu)件，從所述輸入圖像提取所述特征量，以由此在所述輸入圖像的各個(gè)區(qū)域中產(chǎn)生所述特征圖；帶域特征圖產(chǎn)生構(gòu)件，針對(duì)多個(gè)帶域的每個(gè)，從所述特征圖提取帶域分量，以由此產(chǎn)生帶域特征圖，所述帶域特征圖表示所述帶域分量的特征圖；帶域特征圖合成構(gòu)件，針對(duì)每個(gè)特征量合成所述帶域特征圖，以由此產(chǎn)生合成特征圖；合成特征圖合成構(gòu)件，合成所述合成特征圖以由此產(chǎn)生作為另一種特征圖的所述被攝體圖，其中基于所述處理對(duì)象幀的所述合成特征圖上的、與所述前一幀的被攝體區(qū)域?qū)?yīng)的附近區(qū)域中的合成特征量的分散程度，所述可靠性計(jì)算構(gòu)件計(jì)算所述合成特征圖的可靠性，以及其中基于各個(gè)合成特征圖的可靠性，通過(guò)針對(duì)每個(gè)像素選擇任何合成特征圖的一個(gè)合成特征量并通過(guò)針對(duì)所有像素合成所述合成特征量，所述合成特征圖合成構(gòu)件產(chǎn)生所述被攝體圖。
6.根據(jù)權(quán)利要求5所述的圖像處理裝置，其中基于所述處理對(duì)象幀的所述帶域特征圖上的、與所述前一幀的被攝體區(qū)域?qū)?yīng)的附近區(qū)域中的帶域特征量的分散程度，所述可靠性計(jì)算構(gòu)件計(jì)算所述帶域特征圖的可靠性，以及其中基于各個(gè)帶域特征圖的可靠性，通過(guò)針對(duì)每個(gè)像素選擇任何帶域特征圖的一個(gè)帶域特征量并通過(guò)針對(duì)所有像素合成所述帶域特征量，所述帶域特征圖合成構(gòu)件產(chǎn)生所述合成特征圖。
7.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中所述被攝體圖產(chǎn)生構(gòu)件通過(guò)針對(duì)每個(gè)像素選擇所述特征圖中的最大特征量而產(chǎn)生所述被攝體圖。
8.一種圖像處理裝置的圖像處理方法，該圖像處理裝置指定包括多個(gè)連續(xù)幀的每個(gè)輸入圖像上的特定被攝體的區(qū)域并且包括被攝體圖產(chǎn)生構(gòu)件，從與所述輸入圖像的各個(gè)像素的特征對(duì)應(yīng)且表示所述輸入圖像的各個(gè)區(qū)域中的特征量的特征圖，針對(duì)每個(gè)像素選擇任何特征圖的一個(gè)特征量，以由此產(chǎn)生表示所述輸入圖像的各個(gè)區(qū)域與所述被攝體的相似性的被攝體圖；以及被攝體區(qū)域指定構(gòu)件，基于所述被攝體圖來(lái)指定作為在所述被攝體圖中與所述被攝體最相似的區(qū)域的被攝體區(qū)域，以由此指定包括所述輸入圖像上的所述被攝體的區(qū)域，所述圖像處理方法包括以下步驟通過(guò)所述被攝體圖產(chǎn)生構(gòu)件，通過(guò)從與所述輸入圖像的各個(gè)像素的特征對(duì)應(yīng)且表示所述輸入圖像的各個(gè)區(qū)域中的特征量的特征圖，針對(duì)每個(gè)像素選擇任何特征圖的一個(gè)特征量，產(chǎn)生表示所述輸入圖像的各個(gè)區(qū)域與所述被攝體的相似性的被攝體圖；以及通過(guò)所述被攝體區(qū)域指定構(gòu)件，通過(guò)基于所述被攝體圖來(lái)指定作為在所述被攝體圖中與所述被攝體最相似的區(qū)域的被攝體區(qū)域，指定包括所述輸入圖像上的所述被攝體的區(qū)域。
9.一種圖像處理程序，該圖像處理程序指定包括多個(gè)連續(xù)幀的每個(gè)輸入圖像上的特定被攝體的區(qū)域，并且該圖像處理程序使計(jì)算機(jī)執(zhí)行包括如下步驟的處理通過(guò)從與所述輸入圖像的各個(gè)像素的特征對(duì)應(yīng)且表示所述輸入圖像的各個(gè)區(qū)域中的特征量的特征圖，針對(duì)每個(gè)像素選擇任何特征圖的一個(gè)特征量，產(chǎn)生表示所述輸入圖像的各個(gè)區(qū)域與所述被攝體的相似性的被攝體圖；以及通過(guò)基于所述被攝體圖來(lái)指定作為在所述被攝體圖中與所述被攝體最相似的區(qū)域的被攝體區(qū)域，指定包括所述輸入圖像上的所述被攝體的區(qū)域。
10.一種圖像處理裝置，該圖像處理裝置指定包括多個(gè)連續(xù)幀的每個(gè)輸入圖像上的特定被攝體的區(qū)域，該圖像處理裝置包括被攝體圖產(chǎn)生部分，從與所述輸入圖像的各個(gè)像素的特征對(duì)應(yīng)且表示所述輸入圖像的各個(gè)區(qū)域中的特征量的特征圖，針對(duì)每個(gè)像素選擇任何特征圖的一個(gè)特征量，以由此產(chǎn)生表示所述輸入圖像的各個(gè)區(qū)域與所述被攝體的相似性的被攝體圖；以及被攝體區(qū)域指定部分，基于所述被攝體圖來(lái)指定作為在所述被攝體圖中與所述被攝體最相似的區(qū)域的被攝體區(qū)域，以由此指定包括所述輸入圖像上的所述被攝體的區(qū)域。
全文摘要
本發(fā)明涉及圖像處理裝置和方法及其程序。提供了一種圖像處理裝置，該圖像處理裝置指定包括多個(gè)連續(xù)幀的每個(gè)輸入圖像上的特定被攝體的區(qū)域。該圖像處理裝置包括被攝體圖產(chǎn)生構(gòu)件，從與所述輸入圖像的各個(gè)像素的特征對(duì)應(yīng)且表示所述輸入圖像的各個(gè)區(qū)域中的特征量的特征圖，針對(duì)每個(gè)像素選擇任何特征圖的一個(gè)特征量，以由此產(chǎn)生表示所述輸入圖像的各個(gè)區(qū)域與所述被攝體的相似性的被攝體圖；以及被攝體區(qū)域指定構(gòu)件，基于所述被攝體圖來(lái)指定作為在所述被攝體圖中與所述被攝體最相似的區(qū)域的被攝體區(qū)域，以由此指定包括所述輸入圖像上的所述被攝體的區(qū)域。
文檔編號(hào)H04N5/232GK102196170SQ201110029358
公開日2011年9月21日 申請(qǐng)日期2011年1月27日 優(yōu)先權(quán)日2010年2月4日
發(fā)明者木下雅也, 米田豐, 龜谷敬 申請(qǐng)人:索尼公司