本發(fā)明涉及一種攝像設(shè)備、運(yùn)動(dòng)矢量檢測(cè)裝置及其控制方法。

背景技術(shù)：

已知有用于檢測(cè)兩個(gè)幀圖像之間的運(yùn)動(dòng)矢量、并基于該運(yùn)動(dòng)矢量來(lái)校正圖像模糊的技術(shù)。例如，已知模板匹配作為用于檢測(cè)幀圖像之間的運(yùn)動(dòng)矢量的方法。

在使用模板匹配來(lái)檢測(cè)運(yùn)動(dòng)矢量的情況下，將兩個(gè)幀圖像其中之一稱為原始圖像，并將另一個(gè)幀圖像稱為參考圖像。在原始圖像中，將預(yù)定大小的矩形區(qū)域設(shè)置為模板塊，并且在參考圖像中，將計(jì)算相關(guān)值時(shí)所使用的矩形區(qū)域設(shè)置為搜索范圍。然后，針對(duì)搜索范圍中的各位置來(lái)計(jì)算模板塊與參考圖像的相關(guān)度，并且檢測(cè)相關(guān)度最高的位置(模板塊的目的地)。模板塊的“運(yùn)動(dòng)矢量”是指從原始圖像的模板塊的位置起向著目的地的方向和移動(dòng)量。例如，將多個(gè)模板塊設(shè)置在原始圖像中的不同位置處，并且檢測(cè)各個(gè)模板塊的運(yùn)動(dòng)矢量并以統(tǒng)計(jì)方式對(duì)這些運(yùn)動(dòng)矢量進(jìn)行處理，從而檢測(cè)到幀圖像之間的移動(dòng)，其中所檢測(cè)到的移動(dòng)能夠用于圖像模糊校正。

使用模板匹配進(jìn)行的運(yùn)動(dòng)矢量檢測(cè)的精度依賴于諸如所設(shè)置的模板塊的位置、大小和數(shù)量、搜索范圍的大小以及原始圖像和參考圖像的大小(縮小率)等的各種因素。

日本特許第2892685號(hào)公報(bào)和日本特開(kāi)2015-41819號(hào)公報(bào)(專利文獻(xiàn))公開(kāi)了如下內(nèi)容：基于諸如被攝體的移動(dòng)、亮度和距離以及攝像鏡頭的焦距(場(chǎng)角)等的被攝體狀態(tài)和攝像鏡頭狀態(tài)，來(lái)改變代表點(diǎn)和模板塊的位置和數(shù)量或者改變搜索范圍的形狀和大小。

然而，上述專利文獻(xiàn)并未考慮到基于除被攝體狀態(tài)和攝像鏡頭狀態(tài)以外的因素來(lái)控制運(yùn)動(dòng)矢量檢測(cè)方法。此外，運(yùn)動(dòng)矢量檢測(cè)方法中的要經(jīng)過(guò)控制的對(duì)象局限于代表點(diǎn)和模板塊的位置和數(shù)量以及搜索范圍的形狀和大小，并且沒(méi)有考慮到基于影響運(yùn)動(dòng)矢量的精度的其它因素的控制。例如，在專利文獻(xiàn)所公開(kāi)的技術(shù)中，既無(wú)法基于除被攝體狀態(tài)和攝像鏡頭狀態(tài)以外的因素來(lái)控制運(yùn)動(dòng)矢量檢測(cè)方法，也無(wú)法控制模板塊的大小和圖像的大小等。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明是為了解決這些傳統(tǒng)技術(shù)的問(wèn)題中的至少一個(gè)問(wèn)題而進(jìn)行的，并且提供了能夠靈活地控制運(yùn)動(dòng)矢量檢測(cè)方法的運(yùn)動(dòng)矢量檢測(cè)裝置及其控制方法和攝像設(shè)備。

根據(jù)本發(fā)明的一個(gè)方面，提供了一種運(yùn)動(dòng)矢量檢測(cè)裝置，包括：檢測(cè)部件，用于檢測(cè)多個(gè)圖像之間的運(yùn)動(dòng)矢量；以及控制部件，用于進(jìn)行關(guān)于所述運(yùn)動(dòng)矢量的檢測(cè)的設(shè)置，其中，所述控制部件基于所述檢測(cè)部件要檢測(cè)的運(yùn)動(dòng)矢量的用途以及設(shè)置有所述運(yùn)動(dòng)矢量檢測(cè)裝置的設(shè)備的移動(dòng)至少之一，針對(duì)所述運(yùn)動(dòng)矢量的檢測(cè)來(lái)改變與所述多個(gè)圖像有關(guān)的設(shè)置和與檢測(cè)時(shí)所使用的圖像區(qū)域有關(guān)的設(shè)置至少之一。

根據(jù)本發(fā)明的另一個(gè)方面，提供了一種攝像設(shè)備，包括：攝像部件；圖像處理部件；以及運(yùn)動(dòng)矢量檢測(cè)裝置，其包括：檢測(cè)部件，用于檢測(cè)多個(gè)圖像之間的運(yùn)動(dòng)矢量；以及控制部件，用于進(jìn)行關(guān)于所述運(yùn)動(dòng)矢量的檢測(cè)的設(shè)置，其中，所述控制部件基于所述檢測(cè)部件要檢測(cè)的運(yùn)動(dòng)矢量的用途以及所述攝像設(shè)備的移動(dòng)至少之一，針對(duì)所述運(yùn)動(dòng)矢量的檢測(cè)來(lái)改變與所述多個(gè)圖像有關(guān)的設(shè)置和與檢測(cè)時(shí)所使用的圖像區(qū)域有關(guān)的設(shè)置至少之一，以及所述檢測(cè)部件檢測(cè)所述攝像部件所拍攝的并且經(jīng)由所述圖像處理部件所供給的所述多個(gè)圖像之間的運(yùn)動(dòng)矢量。

根據(jù)本發(fā)明的又一方面，提供了一種運(yùn)動(dòng)矢量檢測(cè)裝置的控制方法，所述運(yùn)動(dòng)矢量檢測(cè)裝置包括用于檢測(cè)多個(gè)圖像之間的運(yùn)動(dòng)矢量的檢測(cè)部件，所述控制方法包括：基于所述檢測(cè)部件要檢測(cè)的運(yùn)動(dòng)矢量的用途以及設(shè)置有所述運(yùn)動(dòng)矢量檢測(cè)裝置的設(shè)備的移動(dòng)至少之一，針對(duì)所述運(yùn)動(dòng)矢量的檢測(cè)來(lái)改變與所述多個(gè)圖像有關(guān)的設(shè)置和與檢測(cè)時(shí)所使用的圖像區(qū)域有關(guān)的設(shè)置至少之一。

通過(guò)以下參考附圖對(duì)典型實(shí)施例的說(shuō)明，本發(fā)明的其它特征將變得明顯。

附圖說(shuō)明

圖1是示出設(shè)置有根據(jù)實(shí)施例的運(yùn)動(dòng)矢量檢測(cè)裝置的攝像設(shè)備的結(jié)構(gòu)的框圖。

圖2a和2b是示出使用模板匹配的運(yùn)動(dòng)矢量檢測(cè)方法的圖。

圖3a～3c是示出攝像設(shè)備和用于檢測(cè)被攝體的移動(dòng)的運(yùn)動(dòng)矢量檢測(cè)的設(shè)置的示例的圖。

圖4是根據(jù)第一實(shí)施例的用于基于拍攝模式來(lái)設(shè)置運(yùn)動(dòng)矢量檢測(cè)的處理的流程圖。

圖5是根據(jù)第二實(shí)施例的用于基于拍攝狀態(tài)來(lái)設(shè)置運(yùn)動(dòng)矢量檢測(cè)的處理的流程圖。

圖6a和6b是示出在檢測(cè)到橫方向的平搖時(shí)的運(yùn)動(dòng)矢量檢測(cè)的設(shè)置的示例的圖。

圖7是根據(jù)第三實(shí)施例的用于基于拍攝狀態(tài)來(lái)設(shè)置運(yùn)動(dòng)矢量檢測(cè)的處理的流程圖。

具體實(shí)施方式

現(xiàn)在，將根據(jù)附圖來(lái)詳細(xì)說(shuō)明本發(fā)明的各實(shí)施例。注意，以下將說(shuō)明能夠生成運(yùn)動(dòng)矢量檢測(cè)時(shí)所使用的圖像的數(shù)字照相機(jī)作為根據(jù)本發(fā)明的各實(shí)施例的運(yùn)動(dòng)矢量檢測(cè)裝置的示例，但與圖像生成有關(guān)的結(jié)構(gòu)并非是本發(fā)明所必須的。利用任何方法(例如，用于從存儲(chǔ)裝置獲得該存儲(chǔ)裝置中預(yù)先記錄的圖像等的方法)可以獲得運(yùn)動(dòng)矢量檢測(cè)時(shí)所使用的圖像就足夠了。因此，本發(fā)明可適用于包括個(gè)人計(jì)算機(jī)、移動(dòng)電話和游戲機(jī)等的任意電子裝置。

第一實(shí)施例

圖1是示出根據(jù)本實(shí)施例的數(shù)字照相機(jī)的功能結(jié)構(gòu)的示例的框圖。變焦單元101、光圈/快門單元103、圖像模糊校正單元105和調(diào)焦單元107構(gòu)成了攝像光學(xué)系統(tǒng)。該攝像光學(xué)系統(tǒng)可以是可更換鏡頭型或非可拆卸型。

變焦單元101包括用于改變攝像光學(xué)系統(tǒng)的場(chǎng)角(焦距)的透鏡，并且利用變焦驅(qū)動(dòng)控制單元102來(lái)驅(qū)動(dòng)。光圈/快門單元103包括具有機(jī)械快門功能的光圈，并且利用光圈/快門驅(qū)動(dòng)控制單元104來(lái)驅(qū)動(dòng)。圖像模糊校正單元105(還被稱為“校正單元”)包括移位透鏡，并且利用圖像模糊校正控制單元106來(lái)驅(qū)動(dòng)。注意，本實(shí)施例進(jìn)行驅(qū)動(dòng)移位透鏡的光學(xué)圖像模糊校正，但也可以驅(qū)動(dòng)攝像元件。此外，本實(shí)施例可以進(jìn)行改變圖像讀取范圍的電子圖像模糊校正。調(diào)焦單元107包括用于調(diào)節(jié)攝像光學(xué)系統(tǒng)的焦距的調(diào)焦透鏡，并且利用調(diào)焦驅(qū)動(dòng)控制單元108來(lái)驅(qū)動(dòng)。

攝像單元109使用攝像元件中所配置的多個(gè)光電轉(zhuǎn)換元件(像素)來(lái)將攝像光學(xué)系統(tǒng)所形成的光學(xué)圖像轉(zhuǎn)換為電信號(hào)，并且輸出由此得到的信號(hào)。圖像處理單元110對(duì)從攝像單元109輸出的電信號(hào)應(yīng)用諸如a/d轉(zhuǎn)換、伽瑪校正、白平衡調(diào)節(jié)和去馬賽克等的圖像處理，以將電信號(hào)轉(zhuǎn)換為圖像信號(hào)。圖像處理單元110還根據(jù)用途來(lái)對(duì)圖像信號(hào)進(jìn)行處理。在例如進(jìn)行電子照相機(jī)抖動(dòng)校正的情況下，圖像處理單元110根據(jù)圖像模糊校正控制單元106所進(jìn)行的校正的量來(lái)改變圖像信號(hào)的裁切位置。此外，圖像處理單元110還進(jìn)行與存儲(chǔ)格式相對(duì)應(yīng)的編碼和解碼處理、調(diào)整大小(放大/縮小)處理、用于生成顯示用圖像信號(hào)的處理以及被攝體檢測(cè)處理等。

運(yùn)動(dòng)矢量檢測(cè)單元119基于從圖像處理單元110所輸出的兩幀的圖像信號(hào)來(lái)檢測(cè)運(yùn)動(dòng)矢量，并且將所檢測(cè)到的運(yùn)動(dòng)矢量作為運(yùn)動(dòng)矢量信息進(jìn)行輸出。運(yùn)動(dòng)矢量檢測(cè)單元119設(shè)置有用于暫時(shí)存儲(chǔ)圖像信號(hào)的存儲(chǔ)器。稍后將詳細(xì)說(shuō)明運(yùn)動(dòng)矢量檢測(cè)單元119所進(jìn)行的運(yùn)動(dòng)矢量檢測(cè)處理。稍后所述的系統(tǒng)控制單元118可以通過(guò)執(zhí)行程序來(lái)實(shí)現(xiàn)圖像處理單元110的功能和運(yùn)動(dòng)矢量檢測(cè)單元119的功能中的至少一個(gè)功能。此外，可以通過(guò)諸如asic或fpga等的硬件電路來(lái)實(shí)現(xiàn)圖像處理單元110的功能和運(yùn)動(dòng)矢量檢測(cè)單元119的功能中的至少一個(gè)功能。圖像處理單元110、系統(tǒng)控制單元118和運(yùn)動(dòng)矢量檢測(cè)單元119實(shí)現(xiàn)了運(yùn)動(dòng)矢量檢測(cè)裝置的功能。

顯示單元112基于從圖像處理單元110所輸出的顯示用信號(hào)來(lái)顯示圖像。電源單元113根據(jù)用途來(lái)向數(shù)字照相機(jī)的各單元供給電力。外部輸入/輸出端子單元114是外部裝置要直接或經(jīng)由網(wǎng)絡(luò)連接至的接口和連接器組?？梢砸杂芯€或無(wú)線方式來(lái)實(shí)現(xiàn)向著外部裝置的連接。操作單元115是用戶用來(lái)向數(shù)字照相機(jī)100輸入各種指示的輸入裝置組。如果顯示單元112是觸摸型顯示器，則顯示單元112的觸摸面板部分包括在操作單元115中。存儲(chǔ)單元116是非易失性存儲(chǔ)裝置，并且存儲(chǔ)諸如所拍攝圖像、各種設(shè)置值和程序等的各種類型的數(shù)據(jù)。模糊檢測(cè)單元117基于例如來(lái)自加速度傳感器的輸出和移位透鏡(校正單元105)的位置等來(lái)檢測(cè)數(shù)字照相機(jī)100的模糊量。

系統(tǒng)控制單元118包括存儲(chǔ)器以及一個(gè)或多個(gè)可編程處理器(cpu)。系統(tǒng)控制單元118通過(guò)將存儲(chǔ)單元116中所存儲(chǔ)的程序加載至存儲(chǔ)器上并且使用cpu執(zhí)行該程序以控制各單元，來(lái)實(shí)現(xiàn)數(shù)字照相機(jī)100的功能。

關(guān)于圖像模糊校正，數(shù)字照相機(jī)100可以設(shè)置或選擇(1)是使圖像模糊校正有效還是無(wú)效、(2)是僅執(zhí)行光學(xué)圖像模糊校正還是執(zhí)行光學(xué)圖像模糊校正和電子圖像模糊校正這兩者、以及(3)電子圖像模糊校正的效果的強(qiáng)度。用戶可以利用操作單元115中所包括的開(kāi)關(guān)或者利用顯示單元112的觸摸面板的gui來(lái)進(jìn)行該設(shè)置或選擇。

在選擇為圖像模糊校正有效的情況下，系統(tǒng)控制單元118指示圖像模糊校正控制單元106執(zhí)行圖像模糊校正操作。圖像模糊校正控制單元106執(zhí)行圖像模糊校正操作，直到系統(tǒng)控制單元118指示停止該圖像模糊校正操作為止。

此外，例如可以將電子圖像模糊校正的效果的強(qiáng)度設(shè)置為低、中和高這三個(gè)階段，并且所設(shè)置的階段越高，則可以校正的圖像模糊越大，但顯示單元112上所顯示的圖像的場(chǎng)角由于圖像處理單元110所裁切的圖像信號(hào)的裁切區(qū)域的變小而變得越小。

操作單元115還包括釋放按鈕，其中半按下該釋放按鈕以接通第一開(kāi)關(guān)sw1，以及全按下該釋放按鈕以接通第二開(kāi)關(guān)sw2。系統(tǒng)控制單元118進(jìn)行如下解釋并相應(yīng)地控制各單元：攝像待機(jī)狀態(tài)下的第一開(kāi)關(guān)sw1的接通是指用以開(kāi)始攝像準(zhǔn)備操作的指示，并且第二開(kāi)關(guān)sw2的接通是指用以開(kāi)始攝像和記錄操作的指示。

在攝像準(zhǔn)備操作中，系統(tǒng)控制單元118執(zhí)行af和ae操作。例如，系統(tǒng)控制單元118使用對(duì)比度檢測(cè)方法或相位差檢測(cè)方法來(lái)檢測(cè)焦點(diǎn)位置檢測(cè)區(qū)域中的被攝體進(jìn)入聚焦的調(diào)焦透鏡位置。然后，系統(tǒng)控制單元118經(jīng)由調(diào)焦驅(qū)動(dòng)控制單元108來(lái)驅(qū)動(dòng)調(diào)焦單元107，并且將調(diào)焦透鏡移動(dòng)至所檢測(cè)到的聚焦位置。此外，系統(tǒng)控制單元118例如基于與被攝體的亮度有關(guān)的信息以及程序圖來(lái)確定曝光條件(快門速度、光圈值、攝像感光度和閃光燈on/off(開(kāi)啟/關(guān)閉))。注意，這里所述的af和ae操作是示例，并且可以使用其它方法。

在攝像和記錄操作中，系統(tǒng)控制單元118經(jīng)由光圈/快門驅(qū)動(dòng)控制單元104來(lái)驅(qū)動(dòng)光圈/快門單元103，并且進(jìn)行基于ae操作所確定的曝光條件的曝光。在圖像處理單元110中對(duì)攝像單元109所拍攝到的圖像進(jìn)行預(yù)定處理，并且將由此得到的圖像以記錄用的圖像文件格式存儲(chǔ)在存儲(chǔ)單元116中。

操作單元115可以包括用于選擇拍攝模式和重放模式中的任意模式的操作模式選擇開(kāi)關(guān)。除靜止圖像拍攝模式和運(yùn)動(dòng)圖像拍攝模式以外，拍攝模式還可以包括諸如搖攝模式等的與拍攝用途相對(duì)應(yīng)的拍攝模式。在選擇了拍攝模式的情況下，數(shù)字照相機(jī)100處于攝像待機(jī)狀態(tài)，并且執(zhí)行諸如實(shí)時(shí)取景顯示等的預(yù)定操作。在選擇了重放模式的情況下，數(shù)字照相機(jī)100將存儲(chǔ)單元116中所存儲(chǔ)的靜止圖像或運(yùn)動(dòng)圖像顯示在顯示單元112上。

操作單元115可以包括運(yùn)動(dòng)圖像記錄開(kāi)關(guān)。在攝像待機(jī)狀態(tài)下按壓運(yùn)動(dòng)圖像記錄開(kāi)關(guān)的情況下，開(kāi)始運(yùn)動(dòng)圖像的攝像和記錄，并且在記錄期間按壓運(yùn)動(dòng)圖像記錄開(kāi)關(guān)的情況下，結(jié)束運(yùn)動(dòng)圖像的攝像。與利用操作模式選擇開(kāi)關(guān)進(jìn)行設(shè)置相比，優(yōu)先進(jìn)行運(yùn)動(dòng)圖像記錄開(kāi)關(guān)的操作。因此，在按壓了運(yùn)動(dòng)圖像記錄開(kāi)關(guān)的情況下，即使在選擇了靜止圖像模式的狀態(tài)下，系統(tǒng)控制單元118也開(kāi)始攝像并記錄運(yùn)動(dòng)圖像。此外，在運(yùn)動(dòng)圖像的攝像和記錄期間接通第一開(kāi)關(guān)sw1或第二開(kāi)關(guān)sw2的情況下，系統(tǒng)控制單元118執(zhí)行用于從正被記錄的運(yùn)動(dòng)圖像中拍攝靜止圖像的操作。例如，用于從正被記錄的運(yùn)動(dòng)圖像中拍攝靜止圖像的操作可以是用于將正被記錄的運(yùn)動(dòng)圖像的幀記錄為靜止圖像的操作，但運(yùn)動(dòng)圖像的記錄可以中斷，并且可以執(zhí)行用于拍攝靜止圖像的正常操作。

此外，操作單元115可以包括用于改變攝像光學(xué)系統(tǒng)的場(chǎng)角的變倍開(kāi)關(guān)。在操作了變倍開(kāi)關(guān)的情況下，系統(tǒng)控制單元118在操作變倍開(kāi)關(guān)的方向上經(jīng)由變焦驅(qū)動(dòng)控制單元102來(lái)移動(dòng)變焦單元101。

運(yùn)動(dòng)矢量檢測(cè)處理

以下將詳細(xì)說(shuō)明運(yùn)動(dòng)矢量檢測(cè)單元119所執(zhí)行的運(yùn)動(dòng)矢量檢測(cè)處理。在本實(shí)施例中，將說(shuō)明使用模板匹配的方法作為運(yùn)動(dòng)矢量檢測(cè)方法的示例。

將參考圖2a和2b來(lái)說(shuō)明使用模板匹配的運(yùn)動(dòng)矢量檢測(cè)方法。圖2a示出原始圖像，并且圖2b示出參考圖像。原始圖像和參考圖像例如可以是在攝像待機(jī)狀態(tài)中或者在運(yùn)動(dòng)圖像的記錄期間所拍攝的運(yùn)動(dòng)圖像的幀圖像。注意，原始圖像和參考圖像不需要是運(yùn)動(dòng)圖像的連續(xù)兩幀，并且可以是任意圖像對(duì)。

運(yùn)動(dòng)矢量檢測(cè)單元119如圖2a所示在原始圖像上配置多個(gè)模板塊201，并且在參考圖像中搜索與各模板塊201具有最高相關(guān)度的區(qū)域，由此檢測(cè)圖像之間的運(yùn)動(dòng)矢量。由于以針對(duì)模板塊201和參考圖像之間的各相對(duì)位置計(jì)算相關(guān)值的方式進(jìn)行該搜索，因此該搜索所需的計(jì)算量隨著搜索范圍的面積的增大而增大。

如果將整個(gè)參考圖像設(shè)置為搜索范圍，則計(jì)算量將會(huì)巨大，因此運(yùn)動(dòng)矢量檢測(cè)單元119將參考圖像的如下部分區(qū)域設(shè)置為搜索范圍202，其中該部分區(qū)域包括參考圖像中與模板塊201相對(duì)應(yīng)的區(qū)域。運(yùn)動(dòng)矢量檢測(cè)單元119在搜索范圍202內(nèi)設(shè)置具有與模板塊201的大小相同的大小的相關(guān)值計(jì)算塊203。然后，運(yùn)動(dòng)矢量檢測(cè)單元119使相關(guān)值計(jì)算塊203的設(shè)置位置在搜索范圍202內(nèi)移動(dòng)，并且在各位置處計(jì)算與模板塊201的相關(guān)度的相關(guān)值。

在本實(shí)施例中，運(yùn)動(dòng)矢量檢測(cè)單元119計(jì)算用作相關(guān)值的示例的絕對(duì)差值和(sad)。sad是模板塊201和相關(guān)值計(jì)算塊203之間的相應(yīng)位置處的像素的亮度值的差的絕對(duì)值的總和。這意味著，在sad的值較小時(shí)，模板塊201和相關(guān)值計(jì)算塊203具有更類似的亮度圖案。注意，相關(guān)值并非局限于sad，并且還可以使用諸如平方差值和(ssd)或者歸一化互相關(guān)(normalizedcross-correlation，ncc)等的其它值。

運(yùn)動(dòng)矢量檢測(cè)單元119在搜索范圍202內(nèi)的可以設(shè)置相關(guān)值計(jì)算塊203的多個(gè)位置(例如，可以以像素為單位設(shè)置的所有位置)處計(jì)算相關(guān)值。然后，運(yùn)動(dòng)矢量檢測(cè)單元119檢測(cè)相關(guān)值計(jì)算塊203中的相關(guān)度最高(sad最小)的位置作為模板塊201的目的地。因此，獲得了在原始圖像中的模板塊201的位置(例如，中心坐標(biāo))處開(kāi)始并且在相關(guān)值計(jì)算塊203中被檢測(cè)為目的地的位置(例如，中心坐標(biāo))處結(jié)束的運(yùn)動(dòng)矢量。運(yùn)動(dòng)矢量檢測(cè)單元119針對(duì)各個(gè)模板塊201來(lái)執(zhí)行這種運(yùn)動(dòng)矢量檢測(cè)處理。

以下將說(shuō)明與運(yùn)動(dòng)矢量檢測(cè)有關(guān)的設(shè)置。在本實(shí)施例中，關(guān)于運(yùn)動(dòng)矢量檢測(cè)，可以控制以下設(shè)置至少之一：

(1)模板塊的設(shè)置(例如，配置、大小和數(shù)量)；

(2)搜索范圍的設(shè)置(例如，大小)；以及

(3)圖像的設(shè)置(例如，大小或縮小率)。

模板塊的配置

例如，可以控制是以分布在整個(gè)原始圖像上的方式來(lái)配置模板塊還是以集中在原始圖像的中央部的方式來(lái)配置模板塊等。如果模板塊是以分布在整個(gè)原始圖像上的方式進(jìn)行配置，則可以容易地檢測(cè)到整個(gè)圖像的移動(dòng)(即，數(shù)字照相機(jī)的移動(dòng))。此外，如果模板塊是以集中在原始圖像的中央部的方式進(jìn)行配置，則可以容易地檢測(cè)到位于視野中心附近的被攝體的移動(dòng)。

模板塊的大小

模板塊的大小越大，該塊中的亮度圖案越可能是固有圖案，因此基本上，運(yùn)動(dòng)矢量檢測(cè)不容易失敗并且所檢測(cè)到的運(yùn)動(dòng)矢量的可靠性高。然而，如果存在運(yùn)動(dòng)被攝體，則靜止被攝體和運(yùn)動(dòng)被攝體這兩者包括在該塊中的可能性將會(huì)高，并且運(yùn)動(dòng)被攝體可能會(huì)影響運(yùn)動(dòng)矢量檢測(cè)的精度。

此外，模板塊的大小越小，該塊中所包括的亮度圖案越不可能是固有圖案，因此運(yùn)動(dòng)矢量檢測(cè)容易失敗并且所檢測(cè)到的運(yùn)動(dòng)矢量的可靠性低。然而，靜止被攝體和運(yùn)動(dòng)被攝體這兩者包括在該塊中的可能性低，并且運(yùn)動(dòng)被攝體對(duì)運(yùn)動(dòng)矢量檢測(cè)的精度的影響小。

模板塊的數(shù)量

隨著模板塊的數(shù)量的增加，即使在使用模式匹配的運(yùn)動(dòng)矢量檢測(cè)的精度可能低的低對(duì)比度場(chǎng)景等中，要檢測(cè)的運(yùn)動(dòng)矢量的數(shù)量也可以增加。然而，可能存在如下情況：由于計(jì)算量的增大，因而在處理時(shí)間受到限制的情況下(例如，在需要在拍攝運(yùn)動(dòng)圖像期間針對(duì)各幀檢測(cè)運(yùn)動(dòng)矢量的情況下)，塊的數(shù)量不會(huì)增加。此外，模板塊的數(shù)量越小，在處理時(shí)間方面越有利，但可能存在如下情況：在精度可能低的場(chǎng)景中，要檢測(cè)的運(yùn)動(dòng)矢量的數(shù)量極低。

搜索范圍的大小

搜索范圍相對(duì)于模板塊的相對(duì)大小越大，則可檢測(cè)的移動(dòng)的最大值越大。另一方面，搜索范圍很可能包括與模板塊的亮度圖案相似的亮度圖案，因此檢測(cè)很可能失敗(或者所檢測(cè)到的運(yùn)動(dòng)矢量的可靠性低)。搜索范圍相對(duì)于模板塊的相對(duì)大小越小，則可檢測(cè)的移動(dòng)的最大值越小。另一方面，搜索范圍不太可能包括與模板塊的亮度圖案相似的亮度圖案，因此檢測(cè)不太可能失敗(或者所檢測(cè)到的運(yùn)動(dòng)矢量的可靠性高)。

圖像的大小

如果運(yùn)動(dòng)矢量檢測(cè)時(shí)所使用的圖像(原始圖像和參考圖像)的大小沒(méi)有縮小或者縮小率(1-縮小后的大小/縮小前的大小)低，則將不會(huì)丟失與精細(xì)圖案有關(guān)的信息，并且運(yùn)動(dòng)矢量檢測(cè)的精度將會(huì)高。另一方面，通過(guò)例如對(duì)像素進(jìn)行間隔剔除或平均來(lái)使圖像的大小縮小得越多，與精細(xì)圖案有關(guān)的信息丟失得越多，因此運(yùn)動(dòng)矢量檢測(cè)的精度低。然而，通過(guò)縮小圖像的大小，可以在不改變模板塊和搜索范圍的大小的情況下檢測(cè)到大的移動(dòng)。此外，在要檢測(cè)相同的移動(dòng)范圍的情況下，可以將模板塊和搜索范圍設(shè)置得小并且減輕處理負(fù)荷。

表1示出設(shè)置項(xiàng)對(duì)運(yùn)動(dòng)矢量檢測(cè)的性能的影響的示例。注意，表1不包括設(shè)置項(xiàng)對(duì)運(yùn)動(dòng)矢量檢測(cè)處理負(fù)荷的影響。

表1

如上所述，運(yùn)動(dòng)矢量檢測(cè)的設(shè)置根據(jù)各項(xiàng)對(duì)運(yùn)動(dòng)矢量檢測(cè)的性能具有不同影響，并且具有折衷關(guān)系。因此，通過(guò)根據(jù)所檢測(cè)到的運(yùn)動(dòng)矢量的用途而改變運(yùn)動(dòng)矢量檢測(cè)的設(shè)置，可以實(shí)現(xiàn)適合該用途的運(yùn)動(dòng)矢量檢測(cè)的性能。

注意，模板塊的大小和數(shù)量、搜索范圍的大小以及圖像的大小中的“大”和“小”可以是指相對(duì)于預(yù)定基準(zhǔn)值的尺寸或者一者相對(duì)于另一者的相對(duì)大小。因此，可以存在基準(zhǔn)值、比基準(zhǔn)值大的第一值和比基準(zhǔn)值小的第二值，或者可以省略基準(zhǔn)值(第一值或第二值可以用作基準(zhǔn)值)。

以下將說(shuō)明基于運(yùn)動(dòng)矢量的用途的運(yùn)動(dòng)矢量檢測(cè)的設(shè)置的示例。

運(yùn)動(dòng)矢量的用途沒(méi)有受到特別限制，但可以廣義地被劃分為用于檢測(cè)照相機(jī)的移動(dòng)的用途和用于檢測(cè)被攝體的移動(dòng)的用途。例如可以在照相機(jī)抖動(dòng)校正中使用照相機(jī)的移動(dòng)，并且例如可以在被攝體模糊校正中使用被攝體的移動(dòng)。

為了檢測(cè)照相機(jī)的移動(dòng)，需要檢測(cè)表示圖像的整體移動(dòng)的運(yùn)動(dòng)矢量。因此，以分布在整個(gè)圖像上的方式來(lái)配置模板塊。此外，將模板塊的大小設(shè)置得大(例如，大于基準(zhǔn)大小)以獲得高的檢測(cè)精度，并且根據(jù)模板塊的大小將搜索范圍的大小設(shè)置得大(例如，大于基準(zhǔn)大小)。此外，沒(méi)有縮小圖像的大小，以增大檢測(cè)精度。注意，每一設(shè)置增大了運(yùn)動(dòng)矢量檢測(cè)處理所需的負(fù)荷。因此，如果需要減輕處理負(fù)荷，諸如在例如需要在運(yùn)動(dòng)圖像的一個(gè)幀周期(幀頻的倒數(shù))內(nèi)完成檢測(cè)處理的情況下等，可以降低模板塊的數(shù)量(例如與基準(zhǔn)數(shù)量相比)。

以下將說(shuō)明用于檢測(cè)被攝體的移動(dòng)的運(yùn)動(dòng)矢量檢測(cè)的設(shè)置的示例。普通用戶通常進(jìn)行主被攝體配置在畫(huà)面中央附近的攝像(或者極少進(jìn)行主被攝體配置在畫(huà)面端部的攝像)。因此，以集中在畫(huà)面中央的方式配置模板塊將會(huì)增加主被攝體的圖像區(qū)域包括在模板塊中的概率。注意，模板塊可以配置在圖像的周邊也可以不配置在圖像的周邊。

此外，考慮到主被攝體的可能移動(dòng)而將模板塊的大小設(shè)置得小(例如，小于基準(zhǔn)大小)。這降低了靜止被攝體和運(yùn)動(dòng)被攝體這兩者包括在模板塊中的可能性以及運(yùn)動(dòng)被攝體對(duì)運(yùn)動(dòng)矢量檢測(cè)的性能的影響。伴隨著模板塊的大小的縮小，搜索范圍的大小也縮小(例如，與基準(zhǔn)大小相比)。另一方面，通過(guò)縮小圖像的大小，實(shí)際搜索范圍擴(kuò)大并且可檢測(cè)的移動(dòng)的最大值增大。

將模板塊的大小設(shè)置得較小或縮小圖像的大小將會(huì)降低運(yùn)動(dòng)矢量檢測(cè)處理所需的負(fù)荷。因此，可以增加模板塊的數(shù)量(例如，與基準(zhǔn)數(shù)量相比)。通過(guò)在原始圖像的中央附近密集地配置數(shù)量較多的小模板塊，可以檢測(cè)到數(shù)量較多的運(yùn)動(dòng)矢量并且精確地檢測(cè)到被攝體的移動(dòng)。

注意，在搜索范圍的大小隨著模板塊的大小的變化而改變的情況下，以將搜索范圍的大小改變?yōu)槭沟每蓹z測(cè)的運(yùn)動(dòng)矢量在改變之前和改變之后具有相同最大值的大小為基準(zhǔn)。在上述示例中，在檢測(cè)到照相機(jī)的移動(dòng)以及檢測(cè)到被攝體的移動(dòng)這兩種情況下，搜索范圍的大小的改變可以接近作為基準(zhǔn)的改變。在檢測(cè)到被攝體的移動(dòng)的情況下，可以通過(guò)縮小圖像的大小來(lái)擴(kuò)大實(shí)際搜索范圍。

圖3a示出在對(duì)檢測(cè)照相機(jī)的移動(dòng)時(shí)所使用的運(yùn)動(dòng)矢量進(jìn)行檢測(cè)的情況下原始圖像301中所設(shè)置的模板塊302的示例。此外，圖3b和3c示出在對(duì)檢測(cè)被攝體的移動(dòng)時(shí)所使用的運(yùn)動(dòng)矢量進(jìn)行檢測(cè)的情況下的通過(guò)縮小原始圖像301的大小所獲得的縮小圖像304的示例以及縮小圖像304中所設(shè)置的模板塊305的示例。

在檢測(cè)到照相機(jī)的移動(dòng)時(shí)，在不縮小圖像(原始圖像和參考圖像)的大小的情況下檢測(cè)運(yùn)動(dòng)矢量，因此將原始大小的圖像301輸入至運(yùn)動(dòng)矢量檢測(cè)單元119。此外，運(yùn)動(dòng)矢量檢測(cè)單元119配置(設(shè)置)大小較大的模板塊302，以使得這些模板塊302分布在整個(gè)圖像上。另一方面，運(yùn)動(dòng)矢量檢測(cè)單元119將模板塊302之間在水平方向上的距離設(shè)置得大于模板塊302之間在垂直方向上的距離，以減少模板塊302的數(shù)量，從而減輕運(yùn)動(dòng)矢量檢測(cè)的處理負(fù)荷。

在檢測(cè)到被攝體的移動(dòng)時(shí)，通過(guò)使圖像(原始圖像和參考圖像)的大小縮小來(lái)檢測(cè)運(yùn)動(dòng)矢量，因此將通過(guò)圖像處理單元110縮小圖像303的大小所獲得的圖像304輸入至運(yùn)動(dòng)矢量檢測(cè)單元119。此外，運(yùn)動(dòng)矢量檢測(cè)單元119配置(設(shè)置)大小較小的模板塊305，以使得這些模板塊305以集中在縮小圖像304的中央部的方式分布。通過(guò)在水平方向和垂直方向以均一的距離密集地配置大小較小的模板塊305，運(yùn)動(dòng)矢量檢測(cè)單元119設(shè)置數(shù)量較大的模板塊305并增加要進(jìn)行運(yùn)動(dòng)矢量檢測(cè)的次數(shù)。

表2示出根據(jù)本實(shí)施例的基于運(yùn)動(dòng)矢量的用途的運(yùn)動(dòng)矢量檢測(cè)的設(shè)置的示例。這里注意，針對(duì)各用途示出了設(shè)置項(xiàng)的五種組合，但設(shè)置項(xiàng)的組合的數(shù)量也可以是四種以下或六種以上。

表2

在本實(shí)施例中，預(yù)先使拍攝模式和運(yùn)動(dòng)矢量的用途彼此相關(guān)聯(lián)，并且基于所設(shè)置的拍攝模式來(lái)改變運(yùn)動(dòng)矢量檢測(cè)的設(shè)置。

圖4是示出根據(jù)本實(shí)施例的用于設(shè)置運(yùn)動(dòng)矢量檢測(cè)處理的操作的概要的流程圖。該處理可以作為例如攝像待機(jī)狀態(tài)或者攝像和記錄狀態(tài)下的背景處理來(lái)執(zhí)行。

為了便于說(shuō)明和理解，在本實(shí)施例中，將數(shù)字照相機(jī)100可以設(shè)置的拍攝模式分類為第一拍攝模式和第二拍攝模式。這里，“第一拍攝模式”是指與用于檢測(cè)被攝體的移動(dòng)的運(yùn)動(dòng)矢量檢測(cè)處理相關(guān)聯(lián)的拍攝模式。例如，將搖攝模式和使用三腳架進(jìn)行攝像的拍攝模式分類為第一拍攝模式。此外，第二拍攝模式是與用于檢測(cè)照相機(jī)的移動(dòng)的運(yùn)動(dòng)矢量檢測(cè)處理相關(guān)聯(lián)的拍攝模式。例如，可以將除第一拍攝模式以外的拍攝模式分類為第二拍攝模式。此外，可以將重視照相機(jī)抖動(dòng)校正的拍攝模式分類為第二拍攝模式。

在步驟s101中，系統(tǒng)控制單元118判斷操作單元115的操作模式選擇開(kāi)關(guān)所設(shè)置的拍攝模式是否是第一拍攝模式。如果判斷為設(shè)置了第一拍攝模式，則系統(tǒng)控制單元118使過(guò)程進(jìn)入步驟s103，否則系統(tǒng)控制單元118使過(guò)程進(jìn)入步驟s105。

在步驟s103中，系統(tǒng)控制單元118改變與圖像處理單元110要供給至運(yùn)動(dòng)矢量檢測(cè)單元的圖像的大小有關(guān)的設(shè)置。在第一拍攝模式中，由于檢測(cè)到在檢測(cè)被攝體的移動(dòng)時(shí)所使用的運(yùn)動(dòng)矢量，因此系統(tǒng)控制單元118改變?cè)O(shè)置以使得將大小縮小至預(yù)定大小的圖像供給至運(yùn)動(dòng)矢量檢測(cè)單元119。此外，系統(tǒng)控制單元118可以向運(yùn)動(dòng)矢量檢測(cè)單元119通知縮小圖像的供給。在設(shè)置結(jié)束的情況下，系統(tǒng)控制單元118使過(guò)程進(jìn)入步驟s107。

另一方面，在步驟s105中，如果與圖像的大小有關(guān)的當(dāng)前設(shè)置是要縮小圖像的大小的設(shè)置，則系統(tǒng)控制單元118將當(dāng)前設(shè)置改變?yōu)椴贿M(jìn)行圖像縮小的設(shè)置(解除要縮小大小的設(shè)置)。由于在當(dāng)前拍攝模式是第二拍攝模式的情況下執(zhí)行步驟s105，因此如果設(shè)置了要縮小大小的設(shè)置，則系統(tǒng)控制單元118解除該設(shè)置以進(jìn)行使用原始大小的圖像的運(yùn)動(dòng)矢量檢測(cè)。注意，如果在分類為第二拍攝模式的拍攝模式之間進(jìn)行模式改變，則系統(tǒng)控制單元118不改變與圖像的大小有關(guān)的設(shè)置。在根據(jù)需要改變與圖像的大小有關(guān)的設(shè)置的情況下，系統(tǒng)控制單元118使過(guò)程進(jìn)入步驟s107。

在步驟s107中，基于所設(shè)置的拍攝模式，系統(tǒng)控制單元118針對(duì)運(yùn)動(dòng)矢量檢測(cè)單元119來(lái)設(shè)置運(yùn)動(dòng)矢量檢測(cè)處理的設(shè)置項(xiàng)中的除圖像的大小以外的至少一個(gè)項(xiàng)。具體地，系統(tǒng)設(shè)置單元118設(shè)置包括與模板塊的大小、配置和數(shù)量有關(guān)的設(shè)置以及與搜索范圍的大小有關(guān)的設(shè)置的設(shè)置項(xiàng)至少之一。然后，系統(tǒng)控制單元118將處理推進(jìn)到步驟s109，在步驟s109中系統(tǒng)控制單元118確定拍攝模式是否被改變。如果確定拍攝模式已被改變，則系統(tǒng)控制單元118將處理返回到步驟s101。否則，系統(tǒng)控制單元118重復(fù)執(zhí)行步驟s109。

注意，步驟s103和s107中所進(jìn)行的設(shè)置可以是特定值的設(shè)置、與設(shè)置值相對(duì)應(yīng)的代碼的設(shè)置或者標(biāo)志的設(shè)置/解除。例如，如果圖像縮小時(shí)的縮小率存在一個(gè)選項(xiàng)，則可以設(shè)置是否進(jìn)行縮小，并且如果存在多個(gè)選項(xiàng)，則可以設(shè)置與選項(xiàng)相對(duì)應(yīng)的代碼。注意，步驟s107的設(shè)置可以在拍攝模式之間有所不同，或者可以在分類為第一拍攝模式(第二拍攝模式)的所有拍攝模式之間共通。在任一情況下，拍攝模式和相應(yīng)的設(shè)置值可以彼此相關(guān)聯(lián)，并且可以預(yù)先存儲(chǔ)在存儲(chǔ)單元116中。此外，系統(tǒng)控制單元118從存儲(chǔ)單元116中讀取與所設(shè)置的拍攝模式相對(duì)應(yīng)的設(shè)置值，并且可以針對(duì)圖像處理單元110或運(yùn)動(dòng)矢量檢測(cè)單元119設(shè)置所讀取的值。運(yùn)動(dòng)矢量檢測(cè)單元119開(kāi)始與該設(shè)置相對(duì)應(yīng)的運(yùn)動(dòng)矢量檢測(cè)處理。

運(yùn)動(dòng)矢量檢測(cè)單元119針對(duì)各模板塊檢測(cè)運(yùn)動(dòng)矢量，然后計(jì)算代表運(yùn)動(dòng)矢量。用于計(jì)算代表運(yùn)動(dòng)矢量的方法沒(méi)有受到特別限制，并且例如可以生成運(yùn)動(dòng)矢量的直方圖并計(jì)算頻度最高的運(yùn)動(dòng)矢量作為代表運(yùn)動(dòng)矢量?？蛇x地，還可以對(duì)針對(duì)各模板塊所檢測(cè)到的運(yùn)動(dòng)矢量進(jìn)行平均并將平均值視為代表運(yùn)動(dòng)矢量。

通過(guò)基于代表運(yùn)動(dòng)矢量來(lái)驅(qū)動(dòng)圖像模糊校正單元105或者改變要從攝像單元109讀出的圖像區(qū)域的位置(裁切位置)，可以抑制被攝體模糊或照相機(jī)抖動(dòng)?？梢允褂萌我庖阎幕诖磉\(yùn)動(dòng)矢量的光學(xué)或電子模糊/抖動(dòng)防止方法。

如上所述，在本實(shí)施例中，可以基于運(yùn)動(dòng)矢量的用途來(lái)控制運(yùn)動(dòng)矢量檢測(cè)方法，或者改變與圖像的大小或模板塊的大小有關(guān)的設(shè)置。因此，可以在重視期望用途所需的特性的情況下檢測(cè)運(yùn)動(dòng)矢量，或者可以更精細(xì)地控制運(yùn)動(dòng)矢量檢測(cè)方法。

第二實(shí)施例

在下文，將說(shuō)明根據(jù)本發(fā)明的第二實(shí)施例。在第一實(shí)施例中，通過(guò)基于運(yùn)動(dòng)矢量的用途對(duì)設(shè)置進(jìn)行改變來(lái)控制運(yùn)動(dòng)矢量檢測(cè)處理。在本實(shí)施例中，通過(guò)基于檢測(cè)到設(shè)置有運(yùn)動(dòng)矢量檢測(cè)裝置的設(shè)備的特定移動(dòng)(具體地，特定方向上的較大移動(dòng))對(duì)設(shè)置進(jìn)行改變，來(lái)控制運(yùn)動(dòng)矢量檢測(cè)處理。

在本實(shí)施例中，假定設(shè)置有運(yùn)動(dòng)矢量檢測(cè)裝置的設(shè)備是第一實(shí)施例所述的數(shù)字照相機(jī)100，并且省略對(duì)該數(shù)字照相機(jī)100的結(jié)構(gòu)的說(shuō)明。此外，以下將說(shuō)明用于根據(jù)檢測(cè)到平搖操作來(lái)改變?cè)O(shè)置的結(jié)構(gòu)，其中該平搖操作用作設(shè)置有運(yùn)動(dòng)矢量檢測(cè)裝置的設(shè)備在特定方向上的大移動(dòng)的示例。

圖5是示出根據(jù)本實(shí)施例的用于設(shè)置運(yùn)動(dòng)矢量檢測(cè)處理的操作的概要的流程圖。

在步驟s201中，系統(tǒng)控制單元118基于模糊檢測(cè)單元117所檢測(cè)到的模糊量來(lái)判斷數(shù)字照相機(jī)100的移動(dòng)是否是平搖，并且如果判斷為該移動(dòng)是平搖，則系統(tǒng)控制單元118進(jìn)一步檢測(cè)平搖的方向?？梢允褂靡阎姆椒▉?lái)檢測(cè)平搖及其方向。如果判斷為數(shù)字照相機(jī)100正在平搖，則系統(tǒng)控制單元118使過(guò)程進(jìn)入步驟s203，否則系統(tǒng)控制單元118使過(guò)程進(jìn)入步驟s205。

在步驟s203中，系統(tǒng)控制單元118改變與圖像處理單元110要供給至運(yùn)動(dòng)矢量檢測(cè)單元的圖像的大小有關(guān)的設(shè)置。由于數(shù)字照相機(jī)的移動(dòng)在平搖期間較大，因此系統(tǒng)控制單元118改變?cè)O(shè)置以將大小縮小至預(yù)定大小的圖像供給至運(yùn)動(dòng)矢量檢測(cè)單元119，由此能夠檢測(cè)到大的運(yùn)動(dòng)矢量。注意，可以將檢測(cè)到平搖時(shí)的圖像的縮小率設(shè)置得大于第一實(shí)施例的針對(duì)用于檢測(cè)被攝體的移動(dòng)的運(yùn)動(dòng)矢量檢測(cè)所設(shè)置的縮小率。系統(tǒng)控制單元118可以向運(yùn)動(dòng)矢量檢測(cè)單元119通知縮小圖像的供給。在設(shè)置結(jié)束時(shí)，系統(tǒng)控制單元118使過(guò)程進(jìn)入步驟s209。

在步驟s205中，系統(tǒng)控制單元118判斷平搖是否結(jié)束。如果判斷為平搖已結(jié)束，則在步驟s207中，使運(yùn)動(dòng)矢量檢測(cè)的設(shè)置返回至檢測(cè)到平搖之前的設(shè)置?？蛇x地，系統(tǒng)控制單元118可以根據(jù)第一實(shí)施例來(lái)新配置設(shè)置。如果沒(méi)有判斷為平搖已結(jié)束(如果沒(méi)有連續(xù)檢測(cè)到平搖)，則系統(tǒng)控制單元118使過(guò)程返回至步驟s201。

在步驟s209中，系統(tǒng)控制單元118針對(duì)運(yùn)動(dòng)矢量檢測(cè)單元119來(lái)設(shè)置運(yùn)動(dòng)矢量檢測(cè)處理的設(shè)置項(xiàng)中的除圖像的大小以外的項(xiàng)。在本實(shí)施例中，除了與模板塊的大小、配置和數(shù)量以及搜索范圍的大小有關(guān)的設(shè)置以外，還設(shè)置(改變)模板塊的形狀。

在基于圖3a和3c所示的運(yùn)動(dòng)矢量的用途的設(shè)置中，將模板塊設(shè)置為正方形或者短邊相對(duì)于長(zhǎng)邊的比近似為1的形狀，并且即使大小改變，形狀也不改變。這是為了覆蓋各種移動(dòng)方向。另一方面，平搖是用以使照相機(jī)在特定方向上移動(dòng)的操作，并且該特定方向上的移動(dòng)顯著較大。因此，在本實(shí)施例中，基于所檢測(cè)到的平搖方向來(lái)改變模板塊的形狀。例如，可以將形狀改變?yōu)榫哂械扔谄綋u方向的垂直分量和水平分量的比的縱橫比的矩形，或者可以擴(kuò)大平搖方向的垂直分量和水平分量中較大分量的方向上的形狀(例如，擴(kuò)大了預(yù)定比例)。注意，這些僅是示例，并且可以通過(guò)適合平搖方向的運(yùn)動(dòng)矢量檢測(cè)的各種方法來(lái)設(shè)置形狀和大小。此外，為了擴(kuò)大搜索范圍，與模板塊的情況同樣地，可以改變搜索范圍的形狀和大小至少之一。

圖6a和6b是示出檢測(cè)到水平方向的平搖的情況下的運(yùn)動(dòng)矢量檢測(cè)的設(shè)置的示例的示意圖。圖6a示出與圖像大小有關(guān)的設(shè)置，并且圖6b示出與模板塊有關(guān)的設(shè)置。如圖6a所示，將原始圖像401的大小縮小至圖像402的大小。如與圖3b的比較顯而易見(jiàn)，檢測(cè)到平搖時(shí)的縮小率大于第一實(shí)施例的縮小率，以能夠檢測(cè)正在平搖的數(shù)字照相機(jī)100的大移動(dòng)量。

此外，如圖6b所示，平搖方向上擴(kuò)大的模板塊403以分布在縮小圖像402的整個(gè)區(qū)域(或者至少平搖方向上的整個(gè)區(qū)域)的方式來(lái)設(shè)置。如上所述，如果模板塊的大小擴(kuò)大，則搜索范圍的大小也隨著模板塊的大小的增加而擴(kuò)大。大小的擴(kuò)大使得可設(shè)置的模板塊的數(shù)量降低，但與可檢測(cè)的運(yùn)動(dòng)矢量的數(shù)量相比，優(yōu)先平搖方向上的移動(dòng)量的檢測(cè)。由于原始圖像的縮小以及平搖方向上擴(kuò)大的模板塊(和搜索范圍)，因此可以更可靠地檢測(cè)到平搖方向上的大移動(dòng)量。

在步驟s209中的設(shè)置結(jié)束的情況下，系統(tǒng)控制單元118使過(guò)程返回至步驟s201。注意，如果連續(xù)檢測(cè)到平搖，則不必重復(fù)執(zhí)行步驟s203和s209。例如，可以跳過(guò)步驟s203和s209直到檢測(cè)到平搖的結(jié)束為止，或者僅當(dāng)在所檢測(cè)到的平搖方向上存在大的改變時(shí)可以執(zhí)行步驟s203和s209，或者可以按預(yù)定周期來(lái)執(zhí)行步驟s203和s209。

如上所述，在本實(shí)施例中，基于檢測(cè)到設(shè)置有運(yùn)動(dòng)矢量檢測(cè)裝置的設(shè)備的移動(dòng)(具體地，特定方向上的大移動(dòng))來(lái)改變運(yùn)動(dòng)矢量檢測(cè)的設(shè)置。例如，可以在設(shè)備的移動(dòng)方向上擴(kuò)大模板塊，或者可以縮小原始圖像和參考圖像的大小。因此，即使在諸如平搖等的在特定方向上發(fā)生大移動(dòng)的情況下，也可以可靠地檢測(cè)到運(yùn)動(dòng)矢量。

第三實(shí)施例

在下文，將說(shuō)明本發(fā)明的第三實(shí)施例。在本實(shí)施例中，通過(guò)基于檢測(cè)到使用設(shè)置有運(yùn)動(dòng)矢量檢測(cè)裝置的設(shè)備的特定移動(dòng)(具體地，充分小的移動(dòng))對(duì)設(shè)置進(jìn)行改變，來(lái)控制運(yùn)動(dòng)矢量檢測(cè)處理。在本實(shí)施例中，假定設(shè)置有運(yùn)動(dòng)矢量檢測(cè)裝置的設(shè)備是第一實(shí)施例所述的數(shù)字照相機(jī)100，并且省略針對(duì)數(shù)字照相機(jī)100的結(jié)構(gòu)的說(shuō)明。

圖7是示出根據(jù)本實(shí)施例的用于設(shè)置運(yùn)動(dòng)矢量檢測(cè)處理的操作的概要的流程圖。在圖7中，向與第一實(shí)施例共通的處理給出與圖4的附圖標(biāo)記相同的附圖標(biāo)記。

在步驟s301中，系統(tǒng)控制單元118基于模糊檢測(cè)單元117所檢測(cè)到的模糊量來(lái)判斷數(shù)字照相機(jī)100是否處于穩(wěn)定狀態(tài)。“穩(wěn)定狀態(tài)”是指靜止?fàn)顟B(tài)或移動(dòng)充分小的狀態(tài)，并且例如在模糊量在預(yù)定時(shí)間段連續(xù)小于閾值的情況下，可以判斷為該穩(wěn)定狀態(tài)。

“穩(wěn)定狀態(tài)”可以是例如數(shù)字照相機(jī)100安裝至諸如三腳架等的支撐構(gòu)件的情況、數(shù)字照相機(jī)100放置在固定物體上的情況以及用戶把持照相機(jī)的狀態(tài)處于穩(wěn)定的情況。如果判斷為數(shù)字照相機(jī)100處于穩(wěn)定狀態(tài)，則系統(tǒng)控制單元118使過(guò)程進(jìn)入步驟s103，否則系統(tǒng)控制單元118使過(guò)程進(jìn)入步驟s105。

如果數(shù)字照相機(jī)100處于穩(wěn)定狀態(tài)，則被攝體移動(dòng)(而非照相機(jī)移動(dòng))的檢測(cè)對(duì)于例如模糊防止控制而言是有利的。因此，如果判斷為數(shù)字照相機(jī)100處于穩(wěn)定狀態(tài)，則系統(tǒng)控制單元118例如進(jìn)行與第一實(shí)施例的用于檢測(cè)被攝體的移動(dòng)的設(shè)置相同的設(shè)置(步驟s103和s107)。

另一方面，如果數(shù)字照相機(jī)100未處于穩(wěn)定狀態(tài)，則照相機(jī)移動(dòng)(而非被攝體移動(dòng))的檢測(cè)對(duì)于例如模糊防止控制而言是有利的。因此，如果判斷為數(shù)字照相機(jī)100未處于穩(wěn)定狀態(tài)，則系統(tǒng)控制單元118例如進(jìn)行與第一實(shí)施例的用于檢測(cè)照相機(jī)的移動(dòng)的設(shè)置相同的設(shè)置(步驟s105和s107)。

如上所述，在本實(shí)施例中，基于攝像設(shè)備的拍攝狀態(tài)以及用作攝像設(shè)備的拍攝狀態(tài)的示例的定點(diǎn)攝像的檢測(cè)，來(lái)改變作為運(yùn)動(dòng)矢量檢測(cè)的設(shè)置的幀圖像的大小以及模板塊的設(shè)置。因此，可以檢測(cè)到適合于運(yùn)動(dòng)矢量的用途的被攝體的移動(dòng)。

如上所述，在本實(shí)施例中，基于檢測(cè)到設(shè)置有運(yùn)動(dòng)矢量檢測(cè)裝置的設(shè)備的移動(dòng)(具體地，穩(wěn)定狀態(tài))來(lái)將運(yùn)動(dòng)矢量檢測(cè)的設(shè)置改變?yōu)檫m合于檢測(cè)被攝體的移動(dòng)的設(shè)置。例如，可以縮小原始圖像和參考圖像的大小，或者可以以集中在圖像的中央部的方式來(lái)配置模板塊。因此，可以根據(jù)各情形來(lái)動(dòng)態(tài)和適當(dāng)?shù)乜刂七\(yùn)動(dòng)矢量檢測(cè)的設(shè)置。

其它實(shí)施例

可以組合地實(shí)現(xiàn)上述實(shí)施例。例如，通過(guò)組合第一實(shí)施例和第三實(shí)施例，即使在選擇了與用于檢測(cè)照相機(jī)的移動(dòng)的設(shè)置相關(guān)聯(lián)的拍攝模式的情況下，也可以在照相機(jī)處于穩(wěn)定狀態(tài)時(shí)將用于檢測(cè)照相機(jī)的移動(dòng)的設(shè)置改變?yōu)橛糜跈z測(cè)被攝體的移動(dòng)的設(shè)置。此外，例如，在將第一實(shí)施例和第二實(shí)施例相互組合的情況下，可以在沒(méi)有檢測(cè)到平搖的狀態(tài)下進(jìn)行與所設(shè)置的拍攝模式相對(duì)應(yīng)的設(shè)置，并且只要在正檢測(cè)平搖期間，就可以將該設(shè)置改變?yōu)檫m合于檢測(cè)特定方向上的大移動(dòng)的設(shè)置。當(dāng)然，也可以進(jìn)行其它組合。

本發(fā)明的實(shí)施例還可以通過(guò)如下的方法來(lái)實(shí)現(xiàn)，即，通過(guò)網(wǎng)絡(luò)或者各種存儲(chǔ)介質(zhì)將執(zhí)行上述實(shí)施例的功能的軟件(程序)提供給系統(tǒng)或裝置，該系統(tǒng)或裝置的計(jì)算機(jī)或是中央處理單元(cpu)、微處理單元(mpu)讀出并執(zhí)行程序的方法。

盡管已經(jīng)參考典型實(shí)施例說(shuō)明了本發(fā)明，但是應(yīng)該理解，本發(fā)明不限于所公開(kāi)的典型實(shí)施例。所附權(quán)利要求書(shū)的范圍符合最寬的解釋，以包含所有這類修改、等同結(jié)構(gòu)和功能。