本發(fā)明涉及運(yùn)動(dòng)矢量檢測(cè)設(shè)備、攝像設(shè)備和運(yùn)動(dòng)矢量檢測(cè)設(shè)備的控制方法，并且更具體地，涉及移動(dòng)被攝體的運(yùn)動(dòng)矢量的檢測(cè)技術(shù)。

背景技術(shù)：

搖攝作為用于表現(xiàn)移動(dòng)被攝體的速度感的拍攝技術(shù)而存在。搖攝是通過(guò)在移動(dòng)照相機(jī)以匹配被攝體的移動(dòng)的情況下進(jìn)行曝光來(lái)獲得移動(dòng)被攝體靜止而背景模糊的圖像的技術(shù)。在曝光期間照相機(jī)的移動(dòng)量小的情況下，背景的模糊小，并且搖攝效果也小。因此，為了使照相機(jī)在曝光期間充分移動(dòng)，隨著被攝體(在攝像面上)的移動(dòng)速度的降低，設(shè)置較慢的快門(mén)速度。

搖攝的效果是通過(guò)將模糊的背景與靜止?fàn)顟B(tài)下的移動(dòng)被攝體進(jìn)行比較來(lái)獲得的，因此在靜止?fàn)顟B(tài)下拍攝移動(dòng)被攝體很重要。因此，有必要在曝光期間以使照相機(jī)的移動(dòng)與被攝體在攝像面上的移動(dòng)匹配的方式來(lái)移動(dòng)照相機(jī)，但這并不容易。在照相機(jī)的移動(dòng)速度比被攝體的移動(dòng)速度快或慢的情況下，被攝體也是模糊的。

因此，已經(jīng)提出了通過(guò)應(yīng)用抖動(dòng)校正技術(shù)來(lái)輔助搖攝的搖攝輔助功能(參見(jiàn)日本特開(kāi)2006-317848)。在日本特開(kāi)2006-317848中，基于圖像之間的運(yùn)動(dòng)矢量來(lái)檢測(cè)移動(dòng)被攝體的移動(dòng)和照相機(jī)的移動(dòng)之間的偏移，并且驅(qū)動(dòng)移位透鏡以校正該偏移。

在日本特開(kāi)2006-317848中，在可以從照相機(jī)的移動(dòng)期間所拍攝到的圖像所檢測(cè)到的運(yùn)動(dòng)矢量中，檢測(cè)運(yùn)動(dòng)矢量與其周?chē)倪\(yùn)動(dòng)矢量相比更小的區(qū)域作為被攝體區(qū)域，并且檢測(cè)被攝體區(qū)域的運(yùn)動(dòng)矢量作為移動(dòng)被攝體的移動(dòng)和照相機(jī)的移動(dòng)之間的偏移。

在特定區(qū)域內(nèi)檢測(cè)到多個(gè)運(yùn)動(dòng)矢量的情況下，已知使用平均運(yùn)動(dòng)矢量或高頻運(yùn)動(dòng)矢量作為該區(qū)域的代表運(yùn)動(dòng)矢量。然而，在這種代表運(yùn)動(dòng)矢量用作上述搖攝輔助功能中的被攝體區(qū)域的運(yùn)動(dòng)矢量的情況下，產(chǎn)生以下類(lèi)型的問(wèn)題。

例如，通過(guò)對(duì)被攝體區(qū)域內(nèi)檢測(cè)到的多個(gè)運(yùn)動(dòng)矢量進(jìn)行平均而獲得的代表運(yùn)動(dòng)矢量經(jīng)常表示大致在視角的中心的被攝體的角速度。然而，被攝體的角速度不一定固定在視角內(nèi)。例如，在從一點(diǎn)觀察到勻速直線運(yùn)動(dòng)的被攝體的情況下，觀察位置和被攝體之間的距離越小，觀察到的角速度越大。因此，在利用基于表示處于視角中心的被攝體的角速度的代表運(yùn)動(dòng)矢量的搖攝輔助功能所獲得的圖像中，即使被攝體在視角的中心附近處于靜止?fàn)顟B(tài)，模糊也隨著相對(duì)于視角中心的距離的增大(隨著圖像高度的增大)而增大。因此，例如在焦點(diǎn)檢測(cè)區(qū)域已被設(shè)置為遠(yuǎn)離畫(huà)面中心的位置的情況下，即使在啟用了搖攝輔助功能時(shí)，也無(wú)法獲得期望的圖像(焦點(diǎn)檢測(cè)區(qū)域處于靜止?fàn)顟B(tài)的圖像)。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明是考慮到傳統(tǒng)技術(shù)中的這些問(wèn)題而作出的，并且提供能夠計(jì)算表示被攝體的特定位置處的角速度的運(yùn)動(dòng)矢量的運(yùn)動(dòng)矢量檢測(cè)設(shè)備以及該運(yùn)動(dòng)矢量檢測(cè)設(shè)備的控制方法。

根據(jù)本發(fā)明的一方面，提供一種運(yùn)動(dòng)矢量檢測(cè)設(shè)備，包括：檢測(cè)部件，用于針對(duì)基礎(chǔ)圖像的多個(gè)區(qū)域中的各區(qū)域檢測(cè)相對(duì)于參考圖像的運(yùn)動(dòng)矢量；運(yùn)動(dòng)矢量判斷部件，用于在所述運(yùn)動(dòng)矢量中判斷與移動(dòng)被攝體相關(guān)的運(yùn)動(dòng)矢量；候選矢量判斷部件，用于基于作為圖像內(nèi)的位置的關(guān)注點(diǎn)和所述移動(dòng)被攝體的移動(dòng)方向，將與所述移動(dòng)被攝體相關(guān)的運(yùn)動(dòng)矢量中的一個(gè)或多個(gè)運(yùn)動(dòng)矢量判斷為候選矢量；以及計(jì)算部件，用于基于所述候選矢量來(lái)計(jì)算所述移動(dòng)被攝體的代表矢量。

根據(jù)本發(fā)明的另一方面，提供一種攝像設(shè)備，包括：上述的運(yùn)動(dòng)矢量檢測(cè)設(shè)備；轉(zhuǎn)換部件，用于將所述代表矢量轉(zhuǎn)換成角速度；以及校正部件，用于基于所述角速度來(lái)執(zhí)行抖動(dòng)校正。

根據(jù)本發(fā)明的又一方面，提供一種運(yùn)動(dòng)矢量檢測(cè)設(shè)備的控制方法，包括以下步驟：針對(duì)基礎(chǔ)圖像的多個(gè)區(qū)域中的各區(qū)域檢測(cè)相對(duì)于參考圖像的運(yùn)動(dòng)矢量；在所述運(yùn)動(dòng)矢量中判斷與移動(dòng)被攝體相關(guān)的運(yùn)動(dòng)矢量；基于作為圖像內(nèi)的位置的關(guān)注點(diǎn)和所述移動(dòng)被攝體的移動(dòng)方向，將與所述移動(dòng)被攝體相關(guān)的運(yùn)動(dòng)矢量中的一個(gè)或多個(gè)運(yùn)動(dòng)矢量判斷為候選矢量；以及基于所述候選矢量來(lái)計(jì)算所述移動(dòng)被攝體的代表矢量。

通過(guò)以下參考附圖對(duì)典型實(shí)施例的說(shuō)明，本發(fā)明的其它特征將變得明顯。

附圖說(shuō)明

圖1是示出應(yīng)用了根據(jù)實(shí)施例的運(yùn)動(dòng)矢量檢測(cè)設(shè)備的數(shù)字照相機(jī)的示例性功能結(jié)構(gòu)的框圖。

圖2是示出在根據(jù)實(shí)施例的數(shù)字照相機(jī)的拍攝模式下的操作的概要的流程圖。

圖3是與圖2中的被攝體角速度計(jì)算處理有關(guān)的流程圖。

圖4a～4c示出實(shí)施例中的運(yùn)動(dòng)矢量檢測(cè)的概要和示例性運(yùn)動(dòng)矢量信息。

圖5示出實(shí)施例中的攝像面上的移動(dòng)與被攝體或照相機(jī)的角速度之間的關(guān)系。

圖6a和6b是與圖3中的運(yùn)動(dòng)矢量分析處理有關(guān)的流程圖。

圖7a和7b示出圖3中的運(yùn)動(dòng)矢量分析處理。

圖8是與圖3中的被攝體代表矢量計(jì)算處理有關(guān)的流程圖。

圖9a和9b示出圖8中的候選矢量判斷處理。

圖10a和10b示出根據(jù)第二實(shí)施例的候選矢量判斷處理。

圖11a和11b示出根據(jù)第三實(shí)施例的候選矢量判斷處理。

圖12示出根據(jù)第三實(shí)施例的候選矢量判斷處理。

具體實(shí)施方式

現(xiàn)在將根據(jù)附圖詳細(xì)說(shuō)明本發(fā)明的典型實(shí)施例。注意，以下說(shuō)明根據(jù)本發(fā)明的實(shí)施例的運(yùn)動(dòng)矢量檢測(cè)設(shè)備應(yīng)用于數(shù)字照相機(jī)的示例，但在本發(fā)明中，與攝像或者對(duì)拍攝圖像的記錄有關(guān)的功能并不是必須的。本發(fā)明可以在能夠獲取用于檢測(cè)運(yùn)動(dòng)矢量的多個(gè)圖像和與被攝體距離有關(guān)的信息的任意電子裝置中實(shí)現(xiàn)。這種電子裝置的示例包括數(shù)字靜態(tài)照相機(jī)或攝像機(jī)、個(gè)人計(jì)算機(jī)、游戲裝置、移動(dòng)電話、移動(dòng)信息終端、汽車(chē)導(dǎo)航系統(tǒng)、行車(chē)記錄儀或機(jī)器人等，但電子裝置不局限于這些示例。此外，使用根據(jù)實(shí)施例的運(yùn)動(dòng)矢量檢測(cè)設(shè)備所檢測(cè)到的運(yùn)動(dòng)矢量來(lái)實(shí)現(xiàn)搖攝輔助功能的抖動(dòng)校正方案可以是驅(qū)動(dòng)圖像傳感器或移位透鏡的光學(xué)抖動(dòng)校正方案，或者可以是控制像素裁切位置的電子抖動(dòng)校正方案。此外，光學(xué)方案和電子方案可以一起使用。

第一實(shí)施例

圖1是示意性示出本發(fā)明的實(shí)施例共通的數(shù)字照相機(jī)100的功能結(jié)構(gòu)的框圖。

攝像光學(xué)系統(tǒng)101包括透鏡、快門(mén)和光圈，并且在圖像傳感器102上將來(lái)自被攝體的光形成為圖像。攝像光學(xué)系統(tǒng)101還包括用于調(diào)整焦距的調(diào)焦透鏡。攝像光學(xué)系統(tǒng)101還可以包括用于抖動(dòng)校正的移位透鏡。對(duì)攝像光學(xué)系統(tǒng)101中所包括的可移動(dòng)構(gòu)件(快門(mén)、光圈、調(diào)焦透鏡和移位透鏡)的驅(qū)動(dòng)由控制單元103控制。

圖像傳感器102可以是ccd圖像傳感器或cmos圖像傳感器，并且具有以二維配置的多個(gè)像素。像素具有光電轉(zhuǎn)換功能，并且在各像素中，將通過(guò)攝像光學(xué)系統(tǒng)101而形成在攝像面上的被攝體圖像轉(zhuǎn)換為電信號(hào)。

抖動(dòng)傳感器105生成與數(shù)字照相機(jī)100的移動(dòng)相對(duì)應(yīng)的信號(hào)，并將該信號(hào)輸出至控制單元103。抖動(dòng)傳感器105例如可以是諸如陀螺儀傳感器等的角速度傳感器，并且針對(duì)移動(dòng)的各方向分量(例如，x軸、y軸和z軸的分量)生成信號(hào)。注意，抖動(dòng)傳感器105也可以設(shè)置在攝像光學(xué)系統(tǒng)101中。

控制單元103例如具有諸如cpu或mpu等的一個(gè)或多個(gè)可編程處理器。控制單元103例如通過(guò)將次級(jí)存儲(chǔ)裝置108中所存儲(chǔ)的程序讀取到主存儲(chǔ)裝置104中并執(zhí)行該程序，來(lái)控制數(shù)字照相機(jī)100的各功能塊的操作，從而使得數(shù)字照相機(jī)100的各種功能得以實(shí)現(xiàn)?？刂茊卧?03執(zhí)行用以使用圖像處理單元106所檢測(cè)到的運(yùn)動(dòng)矢量來(lái)區(qū)分被攝體區(qū)域和背景區(qū)域的處理、以及用以生成表示被攝體區(qū)域的特定位置的加速度的運(yùn)動(dòng)矢量的處理。因此，運(yùn)動(dòng)矢量檢測(cè)設(shè)備是通過(guò)控制單元103或者通過(guò)控制單元103和圖像處理單元106的組合來(lái)實(shí)現(xiàn)的。

主存儲(chǔ)裝置104例如是諸如ram等的易失性裝置，并且用于數(shù)據(jù)的臨時(shí)存儲(chǔ)和控制單元103的操作。此外，主存儲(chǔ)裝置104中所存儲(chǔ)的信息還用在圖像處理單元106中，并且被記錄至記錄介質(zhì)107。次級(jí)存儲(chǔ)裝置108例如是諸如eeprom等的非易失性存儲(chǔ)裝置，并且存儲(chǔ)由控制單元103執(zhí)行的程序、固件、各種設(shè)置信息和gui數(shù)據(jù)等。

記錄介質(zhì)107是非易失性的，并且用作主存儲(chǔ)裝置104中所存儲(chǔ)的圖像數(shù)據(jù)等的記錄目的地。記錄介質(zhì)107的讀/寫(xiě)由控制單元103控制。在記錄介質(zhì)107可從數(shù)字照相機(jī)100移除(例如半導(dǎo)體存儲(chǔ)卡等)的情況下，數(shù)字照相機(jī)100具有記錄介質(zhì)107可移除的結(jié)構(gòu)。

顯示單元109用于實(shí)時(shí)取景顯示、主存儲(chǔ)裝置104中所存儲(chǔ)的圖像(記錄至記錄介質(zhì)107之前的圖像或者已從記錄介質(zhì)107讀出的圖像)的顯示、以及交互操作所用的gui圖像等的顯示。顯示單元109還可以是觸摸顯示器。

操作單元110是用戶向數(shù)字照相機(jī)100進(jìn)行各種輸入所用的輸入裝置組。除例如開(kāi)關(guān)、按鈕、桿或觸摸面板等的需要物理操作的輸入裝置外，操作單元110還可以包括被配置為接收語(yǔ)音輸入或視線輸入的輸入裝置。本實(shí)施例的數(shù)字照相機(jī)100具有通過(guò)對(duì)操作單元110中所包括的釋放按鈕的半按下行程而被切換為on(接通)的開(kāi)關(guān)(sw1)以及通過(guò)全按下行程而被切換為on的開(kāi)關(guān)(sw2)。注意，釋放按鈕用于拍攝靜止圖像，并且可以針對(duì)運(yùn)動(dòng)圖像的拍攝而單獨(dú)設(shè)置運(yùn)動(dòng)圖像記錄按鈕。

將sw1切換為on指示預(yù)拍攝操作的開(kāi)始。預(yù)拍攝操作包括af(自動(dòng)調(diào)焦)處理和ae(自動(dòng)曝光)處理。ae處理和af處理可以例如由控制單元103基于可從實(shí)時(shí)取景顯示用的圖像獲得的信息來(lái)進(jìn)行。

此外，將sw2切換為on指示記錄用圖像的拍攝操作的開(kāi)始。所生成的記錄用圖像存儲(chǔ)在主存儲(chǔ)裝置104中。控制單元103在根據(jù)需要利用圖像處理單元106進(jìn)行編碼處理之后，將圖像存儲(chǔ)在與記錄格式相對(duì)應(yīng)的數(shù)據(jù)文件中，并且將該數(shù)據(jù)文件記錄至記錄介質(zhì)107。

圖像處理單元106例如對(duì)圖像傳感器102所輸出的電信號(hào)應(yīng)用諸如a/d轉(zhuǎn)換和相關(guān)雙采樣等的預(yù)處理，并且對(duì)應(yīng)用了預(yù)處理的信號(hào)應(yīng)用諸如白平衡調(diào)整和去馬賽克處理等的所謂的顯像處理。此外，可以執(zhí)行各種圖像處理，例如，諸如rgb-ycbcr轉(zhuǎn)換等的信號(hào)格式轉(zhuǎn)換、與記錄格式相對(duì)應(yīng)的編碼和解碼、圖像縮小和放大、圖像合成、顏色調(diào)整、af評(píng)價(jià)值的生成或特定被攝體的檢測(cè)和識(shí)別處理。代表特定被攝體是人的面部，并且特定被攝體的識(shí)別處理是對(duì)表情或個(gè)人的識(shí)別，但并不局限于此。在本實(shí)施例中，圖像處理單元106執(zhí)行多個(gè)圖像之間的運(yùn)動(dòng)矢量的檢測(cè)。

注意，在本實(shí)施例的數(shù)字照相機(jī)100的結(jié)構(gòu)中，圖像處理單元106可以對(duì)圖像應(yīng)用的圖像處理的組合被預(yù)先登記為模式，并且可以從操作單元110設(shè)置要使用的模式。注意，圖像處理單元106的至少一些功能可以利用諸如fpga或asic等的硬件來(lái)實(shí)現(xiàn)，或者可以例如由圖像處理單元106(或控制單元103)中所包括的處理器執(zhí)行程序來(lái)實(shí)現(xiàn)。

圖2是示出數(shù)字照相機(jī)100的拍攝模式下的操作的概要的流程圖。該操作例如可以在啟動(dòng)數(shù)字照相機(jī)100之后開(kāi)始，或者在模式從回放模式切換到拍攝模式時(shí)開(kāi)始。

在拍攝模式下，連續(xù)執(zhí)行用于進(jìn)行實(shí)時(shí)取景顯示的運(yùn)動(dòng)圖像拍攝。控制單元103例如基于可根據(jù)拍攝中獲得的幀圖像得到的亮度信息和評(píng)價(jià)值來(lái)執(zhí)行與實(shí)時(shí)取景顯示用的運(yùn)動(dòng)圖像拍攝有關(guān)的曝光控制(圖像傳感器102的累積時(shí)間控制)和攝像光學(xué)系統(tǒng)101的焦點(diǎn)調(diào)節(jié)。

在步驟s1中，控制單元103從圖像傳感器102讀出幀圖像，并將該幀圖像保存至主存儲(chǔ)裝置104。圖像處理單元106從主存儲(chǔ)裝置104讀出幀圖像，并生成顯示用圖像(實(shí)時(shí)取景圖像)?？刂茊卧?03使得利用顯示單元109來(lái)顯示實(shí)時(shí)取景圖像。此外，圖像處理單元106根據(jù)幀圖像或?qū)崟r(shí)取景圖像來(lái)生成ae亮度信息和af評(píng)價(jià)值，并將ae亮度信息和af評(píng)價(jià)值輸出至控制單元103?？刂茊卧?03基于亮度信息來(lái)決定下一幀的累積時(shí)間(并根據(jù)需要決定拍攝靈敏度)。此外，控制單元103基于評(píng)價(jià)值來(lái)決定下一幀的調(diào)焦透鏡位置，并且根據(jù)需要控制攝像光學(xué)系統(tǒng)101以驅(qū)動(dòng)調(diào)焦透鏡。

接著，在步驟s2中，控制單元103計(jì)算被攝體的角速度。后面將說(shuō)明該計(jì)算的詳情?？刂茊卧?03可以執(zhí)行抖動(dòng)校正，以抵消被攝體的角速度。控制單元103可以通過(guò)驅(qū)動(dòng)移位透鏡或圖像傳感器102或者通過(guò)決定從圖像傳感器102進(jìn)行讀出的區(qū)域(裁切區(qū)域)來(lái)執(zhí)行抖動(dòng)校正。表示步驟s2中的被攝體的角速度的計(jì)算所使用的圖像的區(qū)域的顯示可以疊加顯示在實(shí)時(shí)取景圖像上。

接著，在步驟s3中，控制單元103判斷是否通過(guò)操作單元110輸入了靜止圖像拍攝開(kāi)始指示。控制單元103還可以判斷例如圖像處理單元106中是否已經(jīng)獲得可以被視為拍攝開(kāi)始指示的結(jié)果。例如，在圖像處理單元106中，在檢測(cè)到人的預(yù)定的特定表情(例如，微笑或眨眼等)的情況下，控制單元103可以判斷為已經(jīng)輸入了拍攝開(kāi)始指示。

如果沒(méi)有判斷為已經(jīng)輸入了拍攝開(kāi)始指示，則控制單元103使處理返回至步驟s1，并且重復(fù)步驟s1和s2的處理。

如果判斷為已經(jīng)輸入了拍攝開(kāi)始指示，則控制單元103使處理進(jìn)入步驟s4，并且進(jìn)行記錄用的拍攝(曝光)和抖動(dòng)校正。在記錄用的拍攝中，控制單元103使用攝像光學(xué)系統(tǒng)101中所包括的快門(mén)來(lái)控制圖像傳感器102的曝光時(shí)間，并且還控制光圈(還可以用作快門(mén))的開(kāi)口大小?？梢曰趫D像處理單元106根據(jù)例如最近拍攝的幀圖像所生成的亮度信息和評(píng)價(jià)值來(lái)決定曝光條件和調(diào)焦透鏡位置。

控制單元103還基于利用可從抖動(dòng)傳感器105輸入的信號(hào)所表示的角速度與步驟s2中所計(jì)算出的被攝體的角速度之間的差，來(lái)進(jìn)行抖動(dòng)校正，從而抑制被攝體模糊?？梢酝ㄟ^(guò)基于上述的差來(lái)在與攝像光學(xué)系統(tǒng)101的光軸正交的方向上驅(qū)動(dòng)移位透鏡或圖像傳感器、或者改變從圖像傳感器102進(jìn)行讀出的區(qū)域，來(lái)實(shí)現(xiàn)抖動(dòng)校正。注意，在抖動(dòng)傳感器105設(shè)置在攝像光學(xué)系統(tǒng)101中的情況下，可以采用如下結(jié)構(gòu)：控制單元103將步驟s2中所計(jì)算出的被攝體的角速度的信息賦予攝像光學(xué)系統(tǒng)101，并且通過(guò)攝像光學(xué)系統(tǒng)101中所設(shè)置的控制單元來(lái)執(zhí)行抖動(dòng)校正。

在曝光結(jié)束的情況下，控制單元103使處理進(jìn)入步驟s5，并將從圖像傳感器102讀出的圖像信號(hào)保存至主存儲(chǔ)裝置104。然后，圖像處理單元106對(duì)該圖像信號(hào)應(yīng)用顯像處理等，生成記錄用的圖像數(shù)據(jù)文件，并將該數(shù)據(jù)文件保存至主存儲(chǔ)裝置104。

在步驟s6中，控制單元103將保存至主存儲(chǔ)裝置104的圖像數(shù)據(jù)文件記錄至記錄介質(zhì)107，并且使處理返回至步驟s1。

接著，將參考圖3中的流程圖來(lái)說(shuō)明圖2的步驟s2中的被攝體角速度計(jì)算處理。

在步驟s7中，圖像處理單元106使用圖像傳感器102在不同時(shí)間獲得的兩個(gè)幀圖像來(lái)檢測(cè)運(yùn)動(dòng)矢量，并將檢測(cè)結(jié)果(運(yùn)動(dòng)矢量信息)輸出至控制單元103?？刂茊卧?03將該運(yùn)動(dòng)矢量信息保存至主存儲(chǔ)裝置104。

例如，控制單元103利用顯示單元109來(lái)顯示圖像處理單元106所生成的實(shí)時(shí)取景圖像，并且還將該實(shí)時(shí)取景圖像保存至主存儲(chǔ)裝置104，使得該實(shí)時(shí)取景圖像可以在下一運(yùn)動(dòng)矢量檢測(cè)中用作先前幀。另一方面，圖像處理單元106能夠根據(jù)所生成的實(shí)時(shí)取景圖像(當(dāng)前幀)和保存至主存儲(chǔ)裝置104的實(shí)時(shí)取景圖像(先前幀)來(lái)檢測(cè)運(yùn)動(dòng)矢量。然而，不必始終針對(duì)連續(xù)拍攝到的兩個(gè)幀圖像來(lái)檢測(cè)運(yùn)動(dòng)矢量。此外，可以采用如下結(jié)構(gòu)：針對(duì)序列中的每隔一幀的兩個(gè)幀圖像(諸如第一幀和第三幀、或者第三幀和第五幀等)來(lái)檢測(cè)運(yùn)動(dòng)矢量。例如，在諸如幀頻高等的情況下，可以采用如下結(jié)構(gòu)：針對(duì)序列中的每第n幀(其中，n是2以上的整數(shù))的兩個(gè)幀圖像來(lái)檢測(cè)運(yùn)動(dòng)矢量。

作為根據(jù)兩個(gè)幀圖像來(lái)檢測(cè)運(yùn)動(dòng)矢量的方法，可以使用公知的模板匹配方法。在兩個(gè)幀圖像中，用作基礎(chǔ)的一個(gè)幀圖像(例如，先拍攝到的一個(gè)幀圖像)被稱為基礎(chǔ)圖像，并且另一幀圖像被稱為參考圖像。基礎(chǔ)圖像中的預(yù)定大小的矩形區(qū)域被設(shè)置為模板框，并且針對(duì)各模板框?qū)⒂糜谠趨⒖紙D像中計(jì)算相關(guān)值的比模板框大的矩形區(qū)域設(shè)置為搜索區(qū)域。

圖4a示出本實(shí)施例中的示例性模板框設(shè)置。這里，水平地設(shè)置8個(gè)模板框，并且垂直地設(shè)置8個(gè)模板框，總共64個(gè)模板框。注意，在圖4a所示的示例中，模板框被配置為使得垂直方向上不存在間隔并且水平方向上存在間隔，但是這種配置方法不限于此。例如，模板框可以被配置為使得水平方向和垂直方向上均不存在間隔，或者模板框可以被配置為使得水平方向和垂直方向上均存在間隔。此外，圖4b示出本實(shí)施例中的示例性搜索區(qū)域設(shè)置。搜索區(qū)域被設(shè)置為使得例如搜索區(qū)域的中心與相應(yīng)的模板框匹配?？梢曰谝獧z測(cè)的運(yùn)動(dòng)矢量的最大值以及圖像處理單元106的處理性能等中的一個(gè)或多個(gè)來(lái)決定搜索區(qū)域的大小。

如圖4b左側(cè)示意性示出的，圖像處理單元106使模板框中的圖像(模板圖像)在搜索區(qū)域內(nèi)例如從左上向右下以預(yù)定移動(dòng)量(例如，一個(gè)像素)的步長(zhǎng)移動(dòng)。然后，圖像處理單元106在各個(gè)位置中計(jì)算模板圖像和與模板圖像相對(duì)應(yīng)的搜索區(qū)域內(nèi)的部分圖像的相關(guān)值。該相關(guān)值例如可以是對(duì)應(yīng)像素的值的絕對(duì)差值和(sad)。圖像處理單元106檢測(cè)獲得了表示最高相關(guān)性的相關(guān)值的模板圖像的位置，作為模板圖像的移動(dòng)目的地?；A(chǔ)圖像中的模板框的中心與搜索區(qū)域的中心相對(duì)應(yīng)。因此，作為運(yùn)動(dòng)矢量，圖像處理單元106檢測(cè)從搜索區(qū)域的中心指向被檢測(cè)為移動(dòng)目的地的模板圖像的位置的中心的矢量。然而，在本實(shí)施例中，檢測(cè)運(yùn)動(dòng)矢量的水平分量作為水平運(yùn)動(dòng)矢量，并且獨(dú)立地檢測(cè)運(yùn)動(dòng)矢量的垂直分量作為垂直運(yùn)動(dòng)矢量。

注意，模板框的配置(大小、數(shù)量和位置)以及搜索區(qū)域的大小可以通過(guò)控制單元103在執(zhí)行步驟s7時(shí)從次級(jí)存儲(chǔ)裝置108讀出，并且設(shè)置在圖像處理單元106中。此外，控制單元103可以使用從次級(jí)存儲(chǔ)裝置108讀出的值作為初始值，并且之后根據(jù)需要來(lái)改變這些值。

圖4c示意性示出圖像處理單元106輸出至控制單元103的運(yùn)動(dòng)矢量檢測(cè)結(jié)果(運(yùn)動(dòng)矢量信息)的示例性數(shù)據(jù)格式?？蛱?hào)是模板框標(biāo)識(shí)信息，并且例如，框號(hào)是從0開(kāi)始、從左到右且從上到下分配的。在圖4a的示例所示的模板框(從頂部起的第6行、從左起的第3列)的情況下，分配框號(hào)50。

例如，以像素為單位采用8位定點(diǎn)格式來(lái)表示針對(duì)各模板框所檢測(cè)到的水平運(yùn)動(dòng)矢量和垂直運(yùn)動(dòng)矢量的大小和方向。所檢測(cè)到的運(yùn)動(dòng)矢量的最大值是通過(guò)搜索區(qū)域的大小來(lái)確定的，并且在本實(shí)施例中被設(shè)置為+/-96(pixel(像素))。+/-符號(hào)表示矢量方向，其中負(fù)號(hào)表示向左的方向和向上的方向，而正號(hào)表示向右的方向和向下的方向。

錯(cuò)誤號(hào)表示運(yùn)動(dòng)矢量檢測(cè)是否正常結(jié)束以及錯(cuò)誤分類(lèi)。錯(cuò)誤號(hào)0表示正常結(jié)束，而除0以外的錯(cuò)誤號(hào)表示異常結(jié)束。錯(cuò)誤號(hào)1表示由于低對(duì)比度而導(dǎo)致無(wú)法進(jìn)行檢測(cè)。在模板圖像或搜索區(qū)域的對(duì)比度低的情況下，由于在每個(gè)位置處都獲得了高相關(guān)值，因而產(chǎn)生了該錯(cuò)誤。此外，錯(cuò)誤號(hào)2表示重復(fù)模式檢測(cè)。在模板框和搜索區(qū)域中包括具有高頻率和高對(duì)比度的模式的情況下，由于周期性地獲得了高相關(guān)值，因此產(chǎn)生了該錯(cuò)誤。

返回至圖3的說(shuō)明，在步驟s8中，控制單元103基于抖動(dòng)傳感器105的輸出和次級(jí)存儲(chǔ)裝置108中所存儲(chǔ)的抖動(dòng)傳感器105的屬性(諸如靈敏度等)，來(lái)針對(duì)各方向分量計(jì)算數(shù)字照相機(jī)100的角速度，并將所計(jì)算出的角速度保存至主存儲(chǔ)裝置104。這里，控制單元103可以基于角速度來(lái)判斷是否正在平搖數(shù)字照相機(jī)100。此外，可以采用如下結(jié)構(gòu)：如果沒(méi)有判斷為正在平搖數(shù)字照相機(jī)100，則控制單元103將搖攝輔助功能切換為off(關(guān)閉)并進(jìn)行正常抖動(dòng)校正操作，并且如果判斷為正在平搖數(shù)字照相機(jī)100，則控制單元103將搖攝輔助功能切換為on(打開(kāi))。

在步驟s9中，控制單元103從攝像光學(xué)系統(tǒng)101獲取焦距信息(視角信息)，并將焦距信息保存至主存儲(chǔ)裝置104。如果攝像光學(xué)系統(tǒng)101是單焦點(diǎn)系統(tǒng)，則可以使用預(yù)先存儲(chǔ)的值。

在步驟s10中，控制單元103執(zhí)行運(yùn)動(dòng)矢量分析處理。運(yùn)動(dòng)矢量分析處理是用以使用步驟s8中所計(jì)算出的角速度和步驟s9中所獲取到的焦距信息來(lái)從步驟s7中所獲得的運(yùn)動(dòng)矢量信息中辨別移動(dòng)被攝體的運(yùn)動(dòng)矢量的處理。后面將說(shuō)明運(yùn)動(dòng)矢量分析處理的詳情。

接著，在步驟s11中，控制單元103執(zhí)行被攝體代表矢量檢測(cè)處理。被攝體代表矢量檢測(cè)處理根據(jù)步驟s10中所獲得的被攝體運(yùn)動(dòng)矢量信息和焦點(diǎn)檢測(cè)區(qū)域(af框)的位置信息來(lái)計(jì)算被攝體代表矢量。后面將說(shuō)明被攝體代表矢量檢測(cè)處理的詳情。

最后，在步驟s12中，控制單元103將步驟s11中所計(jì)算出的被攝體代表矢量轉(zhuǎn)換成角速度，在考慮到步驟s8中所計(jì)算出的角速度的情況下計(jì)算被攝體角速度，然后結(jié)束被攝體角速度計(jì)算處理。

這里，將說(shuō)明用以將被攝體代表矢量轉(zhuǎn)換成角速度的方法。圖5針對(duì)水平方向分量示意性示出被攝體的移動(dòng)和圖像傳感器102中的被攝體圖像的移動(dòng)之間的關(guān)系。

與步驟s11中所計(jì)算出的被攝體代表矢量d的起點(diǎn)和終點(diǎn)相對(duì)應(yīng)的圖像傳感器102的位置分別由a'和b'表示，并且被攝體代表矢量d的大小由|d|(pixel(像素))表示。在攝像光學(xué)系統(tǒng)101的主點(diǎn)由o表示、并且穿過(guò)主點(diǎn)o的直線與圖像傳感器102的攝像面正交的位置(換句話說(shuō)，光軸與攝像面正交的位置)由c'表示的情況下，可以根據(jù)角度a'oc'和角度b'oc'之間的差來(lái)計(jì)算角度a'ob'。因此，以下表達(dá)式能夠成立：

角度a'ob'(rad)＝atan(xa·p/f)(rad)–atan((xa–|d|)p/f)(rad)

這里，xa表示位置c'和位置a'之間的距離|c'–a|(pixel)，f表示攝像光學(xué)系統(tǒng)101的焦距(mm)，并且p表示像素間距(mm/pixel)。

在運(yùn)動(dòng)圖像拍攝的幀頻由1/t(frame/sec(幀/秒))表示的情況下，將拍攝到基礎(chǔ)圖像和參考圖像的時(shí)間的差表示為t·n(sec)。這里，n(frame)是基礎(chǔ)圖像和參考圖像之間的間隔，并且如果基礎(chǔ)圖像和參考圖像是連續(xù)幀，則n＝1，并且如果基礎(chǔ)圖像和參考圖像之間存在一個(gè)幀，則n＝2。這里，n＝1。角速度是角度隨時(shí)間的變化量，因此以表達(dá)式“被攝體角速度ω＝角度a'ob'/t(rad/sec)”來(lái)表示。

因此，可以使用以下公式(1)從被攝體代表矢量大小|d|(pixel)轉(zhuǎn)換成角速度ω(rad/sec)。

還針對(duì)被攝體代表矢量的垂直方向分量進(jìn)行該轉(zhuǎn)換。注意，根據(jù)被攝體矢量d的方向來(lái)確定公式(1)中所獲得的角速度的轉(zhuǎn)動(dòng)方向。

運(yùn)動(dòng)矢量分析處理(s10)的詳情

接著，將說(shuō)明圖3的步驟s10中的運(yùn)動(dòng)矢量分析處理的詳情。圖6a是運(yùn)動(dòng)矢量分析處理的流程圖。

首先，在步驟s13中，控制單元103生成步驟s7中所檢測(cè)到的運(yùn)動(dòng)矢量的頻率分布(直方圖)?？刂茊卧?03讀出保存至主存儲(chǔ)裝置104的運(yùn)動(dòng)矢量信息，并且針對(duì)正確檢測(cè)到(錯(cuò)誤號(hào)為0)的運(yùn)動(dòng)矢量，生成水平運(yùn)動(dòng)矢量的頻率分布和垂直運(yùn)動(dòng)矢量的頻率分布?？刂茊卧?03將所生成的兩個(gè)頻率分布作為頻率分布信息保存至主存儲(chǔ)裝置104。

如圖4c所示，在本實(shí)施例的運(yùn)動(dòng)矢量信息中，水平運(yùn)動(dòng)矢量和垂直運(yùn)動(dòng)矢量的大小和方向是采用具有符號(hào)的8位定點(diǎn)格式來(lái)表示的。在生成所提取到的運(yùn)動(dòng)矢量的頻率分布的情況下，控制單元103使用小數(shù)部分被四舍五入并且為了處理成絕對(duì)值而加上最大值96的值。

圖7a和7b示意性示出根據(jù)數(shù)字照相機(jī)100正被平搖以拍攝水平方向上移動(dòng)的被攝體的狀態(tài)下所檢測(cè)到的運(yùn)動(dòng)矢量信息而生成的示例性頻率分布。圖7a示出水平運(yùn)動(dòng)矢量的示例性頻率分布，并且圖7b示出垂直運(yùn)動(dòng)矢量的示例性頻率分布。

接著，在步驟s14中，控制單元103將步驟s8中所計(jì)算出的并保存至主存儲(chǔ)裝置104的角速度信息轉(zhuǎn)換成矢量?？刂茊卧?03從主存儲(chǔ)裝置104讀出角速度信息。此外，控制單元103從主存儲(chǔ)裝置104讀出步驟s9中所獲取到的并保存至主存儲(chǔ)裝置104的攝像光學(xué)系統(tǒng)101的焦距信息。然后，控制單元103將角速度轉(zhuǎn)換成矢量，并將該矢量保存至主存儲(chǔ)裝置104。

這里，再參考圖5，將說(shuō)明用以將角速度轉(zhuǎn)換成矢量的方法。在步驟s12中將被攝體代表矢量的大小轉(zhuǎn)換成角速度的方法中，給出了數(shù)字照相機(jī)是靜止的且被攝體正在移動(dòng)的說(shuō)明，但這里，與此相反，被攝體是靜止的，并且數(shù)字照相機(jī)正以角速度ω移動(dòng)。然而，由于被攝體是靜止的，因此數(shù)字照相機(jī)的角速度ω等同于被攝體的表觀角速度ω。

在利用a表示進(jìn)行基礎(chǔ)圖像拍攝時(shí)的被攝體位置的情況下，被攝體的圖像形成在圖像傳感器102上的位置a'處。此外，在利用b表示進(jìn)行參考圖像拍攝時(shí)的被攝體位置的情況下，被攝體的圖像形成在圖像傳感器102上的位置b'處。通過(guò)轉(zhuǎn)換數(shù)字照相機(jī)的角速度ω所獲得的矢量的大小是距離a'b'(＝|d|)。

根據(jù)時(shí)間段t和數(shù)字照相機(jī)的角速度ω，利用ωt表示角度aob。

這里，被攝體的移動(dòng)軌跡在點(diǎn)c'處與光軸正交。此外，為了簡(jiǎn)便，假定穿過(guò)被攝體的位置a和位置b的被攝體的軌跡與圖像傳感器102的攝像面平行(相對(duì)于圖像傳感器102的攝像面的距離固定)。

根據(jù)以上說(shuō)明，以下表達(dá)式能夠成立：

角度a'ob'(rad)＝atan(xa·p/f)(rad)–atan((xa–|d|)p/f)(rad)

此外，三角形aoc和三角形a'oc'是相似三角形，并且三角形boc和三角形b'oc'也是相似三角形，因此角度aob＝ωt＝角度a'ob'。因此，從步驟s8中所計(jì)算出的數(shù)字照相機(jī)100的角速度ω(rad/sec)向運(yùn)動(dòng)矢量的大小|d|(pixel)的轉(zhuǎn)換所用的公式可以表示為以下公式(2)。

控制單元103將照相機(jī)100的運(yùn)動(dòng)矢量的大小|d|轉(zhuǎn)換成具有與角速度ω的轉(zhuǎn)動(dòng)方向相對(duì)應(yīng)的符號(hào)的矢量，然后將該矢量保存至主存儲(chǔ)裝置104。

接著，在步驟s15中，控制單元103執(zhí)行被攝體運(yùn)動(dòng)矢量判斷處理。控制單元103從主存儲(chǔ)裝置104讀出步驟s13中所生成的頻率分布信息和步驟s14中所計(jì)算出的運(yùn)動(dòng)矢量d。然后，控制單元103基于運(yùn)動(dòng)矢量大小|d|來(lái)判斷頻率分布中的背景運(yùn)動(dòng)矢量的分布和被攝體運(yùn)動(dòng)矢量的分布。后面將說(shuō)明該判斷處理的詳情。

控制單元103將指定了被判斷為被攝體的運(yùn)動(dòng)矢量的運(yùn)動(dòng)矢量的信息(例如，運(yùn)動(dòng)矢量信息中的模板框號(hào))作為被攝體運(yùn)動(dòng)矢量信息保存至主存儲(chǔ)裝置104，然后結(jié)束運(yùn)動(dòng)矢量分析處理。

將參考圖6b所示的流程圖進(jìn)一步說(shuō)明步驟s15中的被攝體運(yùn)動(dòng)矢量判斷處理。

首先，在步驟s16中，控制單元103從頻率分布信息中檢測(cè)與背景有關(guān)的運(yùn)動(dòng)矢量的峰(背景峰)。控制單元103基于步驟s14中通過(guò)轉(zhuǎn)換數(shù)字照相機(jī)100的角速度所獲得的矢量(以下稱為照相機(jī)矢量)的大小|d|，來(lái)檢測(cè)背景峰。

背景的移動(dòng)與數(shù)字照相機(jī)100的移動(dòng)相對(duì)應(yīng)，因此控制單元103在以照相機(jī)矢量的大小|d|為中心的搜索區(qū)間內(nèi)檢測(cè)最大頻率超過(guò)預(yù)定閾值的矢量，作為背景峰。注意，還可能存在如下情況：由于諸如抖動(dòng)傳感器105的精度或測(cè)量定時(shí)等的影響，因而在與照相機(jī)矢量的大小相對(duì)應(yīng)的區(qū)間內(nèi)不能檢測(cè)到背景峰。因此，控制單元103在以照相機(jī)矢量的大小為中心的搜索區(qū)間內(nèi)檢測(cè)背景峰。搜索區(qū)域的大小和頻率的閾值可以預(yù)先決定并保存至次級(jí)存儲(chǔ)裝置108。此外，可以采用如下結(jié)構(gòu)：保存至次級(jí)存儲(chǔ)裝置108的值用作初始值，并根據(jù)照相機(jī)矢量大小、攝像光學(xué)系統(tǒng)101的焦距或者相對(duì)于峰區(qū)間的偏移量等而改變。

接著，在步驟s17中，控制單元103檢測(cè)背景分布。如圖7a和7b所示，運(yùn)動(dòng)矢量的大小以一定程度的擴(kuò)展而分布。該擴(kuò)展例如是生成頻率分布時(shí)由于運(yùn)動(dòng)矢量檢測(cè)誤差或舍入誤差而產(chǎn)生的?？刂茊卧?03檢查從步驟s16中所檢測(cè)到的背景峰起的頻率分布的左側(cè)和右側(cè)的頻率，并檢測(cè)頻率沒(méi)有降低至閾值以下的范圍作為背景分布。注意，用于檢測(cè)背景分布的閾值可以預(yù)先決定并保存至次級(jí)存儲(chǔ)裝置108。此外，可以采用如下結(jié)構(gòu)：保存至次級(jí)存儲(chǔ)裝置108的值用作初始值，并且根據(jù)背景峰頻率或頻率分布的總頻率(所提取到的總運(yùn)動(dòng)矢量)等而改變。

在圖7a和7b所示的示例性頻率分布中，在水平運(yùn)動(dòng)矢量的頻率分布(圖7a)中存在兩個(gè)分布(峰)。在這種情況下，通過(guò)步驟s16和s17中的處理，檢測(cè)到具有較大值的區(qū)間的分布作為背景分布。

同樣地，檢測(cè)到垂直運(yùn)動(dòng)矢量的頻率分布(圖7b)中所存在的單個(gè)分布作為背景分布。

控制單元103例如將指定了與步驟s17中所檢測(cè)到的背景分布相對(duì)應(yīng)的運(yùn)動(dòng)矢量的信息(例如，框號(hào))作為背景矢量信息保存至主存儲(chǔ)裝置104?？刂茊卧?03保存背景矢量信息，使得可以辨別與背景峰相對(duì)應(yīng)的運(yùn)動(dòng)矢量。

接著，在步驟s18中，控制單元103檢測(cè)被攝體峰?？刂茊卧?03檢測(cè)步驟s17中檢測(cè)到背景分布的區(qū)間以外的區(qū)間內(nèi)的峰，并且使用超過(guò)閾值的峰作為被攝體峰。注意，可以采用步驟s16中使用的閾值作為這里使用的閾值，或者可以使用其它值。

最后，在步驟s19中，控制單元103檢測(cè)被攝體分布?？梢酝ㄟ^(guò)與步驟s17中的背景分布的檢測(cè)相同的方法來(lái)檢測(cè)被攝體分布，然而，可以改變閾值。

控制單元103將指定了與步驟s19中所檢測(cè)到的被攝體分布相對(duì)應(yīng)的運(yùn)動(dòng)矢量的信息(例如，框號(hào))作為被攝體矢量信息保存至主存儲(chǔ)裝置104?？刂茊卧?03保存被攝體矢量信息，使得可以辨別與被攝體峰相對(duì)應(yīng)的運(yùn)動(dòng)矢量。

注意，在頻率分布中存在兩個(gè)運(yùn)動(dòng)矢量分布的情況下，例如在正平搖數(shù)字照相機(jī)100的情況下，可以對(duì)分布進(jìn)行辨別，使得辨別出范圍或?qū)挾容^大的區(qū)間的分布作為背景分布，并且辨別出范圍或?qū)挾容^小的區(qū)間的分布作為被攝體分布。

被攝體運(yùn)動(dòng)矢量檢測(cè)處理(s11)的詳情

接著，將參考圖8中的流程圖來(lái)說(shuō)明圖3的步驟s11中的被攝體代表矢量計(jì)算處理的詳情。

在步驟s20中，控制單元103根據(jù)以下過(guò)程計(jì)算被攝體的移動(dòng)方向。控制單元103參考保存至主存儲(chǔ)裝置104的被攝體運(yùn)動(dòng)矢量信息，并讀出與水平方向和垂直方向上的被攝體峰相對(duì)應(yīng)的運(yùn)動(dòng)矢量信息。此外，控制單元103從主存儲(chǔ)裝置104讀出水平方向和垂直方向上的照相機(jī)矢量的信息。

控制單元103利用以下公式(3)計(jì)算被攝體的移動(dòng)方向。這里，與水平方向上的被攝體峰相對(duì)應(yīng)的運(yùn)動(dòng)矢量由vph表示，與垂直方向上的被攝體峰相對(duì)應(yīng)的運(yùn)動(dòng)矢量由vpv表示，水平方向上的照相機(jī)矢量由voh表示，并且垂直方向上的照相機(jī)矢量由vov表示。

在正符號(hào)表示在向右的方向或向下的方向上平搖數(shù)字照相機(jī)100的狀態(tài)下所獲得的角速度的情況下，該符號(hào)與照相機(jī)矢量的符號(hào)相反，因此在公式(3)的表達(dá)式中，減去照相機(jī)矢量。這樣，控制單元103計(jì)算相對(duì)于水平方向的斜率α作為表示移動(dòng)方向的值。

接著，在步驟s21中，控制單元103基于從主存儲(chǔ)裝置104讀出的焦點(diǎn)檢測(cè)區(qū)域的位置信息，來(lái)判斷作為圖像內(nèi)的位置的關(guān)注點(diǎn)。在本實(shí)施例中，作為關(guān)注點(diǎn)，控制單元103采用相對(duì)于所設(shè)置的焦點(diǎn)檢測(cè)區(qū)域的中心坐標(biāo)距離最短的模板框的中心坐標(biāo)。

在步驟s22中，控制單元103(候選矢量判斷單元)根據(jù)從主存儲(chǔ)裝置104讀出的被攝體運(yùn)動(dòng)矢量信息、步驟s20中所計(jì)算出的被攝體移動(dòng)方向以及步驟s21中所判斷出的關(guān)注點(diǎn)，來(lái)判斷候選矢量，并提取所判斷出的候選矢量。后面將說(shuō)明候選矢量判斷處理的詳情。

最后，在步驟s23中，控制單元103基于步驟s22中所提取的候選矢量來(lái)計(jì)算被攝體代表矢量?？刂茊卧?03可以例如通過(guò)對(duì)候選矢量進(jìn)行平均來(lái)計(jì)算被攝體代表矢量，但是也可以使用其它方法?？刂茊卧?03將所計(jì)算出的被攝體代表矢量的信息保存至主存儲(chǔ)裝置104。

候選矢量判斷處理(s22)的詳情

接著，將參考圖9a和9b來(lái)說(shuō)明步驟s22中的候選矢量判斷處理的詳情。圖9a是候選矢量判斷處理的流程圖。

首先，在步驟s25中，控制單元103根據(jù)步驟s20中所計(jì)算出的被攝體的移動(dòng)方向來(lái)使處理分叉。具體地，控制單元103判斷步驟s20中所計(jì)算出的斜率α的絕對(duì)值是否小于1，并且如果判斷為斜率α的絕對(duì)值小于1，則控制單元103使處理進(jìn)入步驟s26，并且如果沒(méi)有判斷為斜率α的絕對(duì)值小于1，則控制單元103使處理進(jìn)入步驟s27。

在斜率α的絕對(duì)值小于1的情況下，控制單元103將被攝體的移動(dòng)方向視為水平方向。然后，在步驟s26中，在步驟s21中被判斷為關(guān)注點(diǎn)的模板框和與該模板框在垂直方向上鄰接的模板框中，控制單元103將檢測(cè)到被攝體運(yùn)動(dòng)矢量的模板框設(shè)置為候選框。

另一方面，在斜率α的絕對(duì)值為1以上的情況下，控制單元103將被攝體的移動(dòng)方向視為垂直方向。然后，在步驟s27中，在步驟s21中被判斷為關(guān)注點(diǎn)的模板框和與該模板框在水平方向上鄰接的模板框中，控制單元103將檢測(cè)到被攝體運(yùn)動(dòng)矢量的模板框設(shè)置為候選框。

以這種方式設(shè)置候選框的原因在于：由于圖像高度而引起的加速度的變化在與被攝體的移動(dòng)方向平行的方向上較大并且在與被攝體的移動(dòng)方向正交的方向上較小。因此，通過(guò)以這種方式設(shè)置候選框，可以基于與可在關(guān)注點(diǎn)處檢測(cè)到的運(yùn)動(dòng)矢量同樣的運(yùn)動(dòng)矢量組來(lái)計(jì)算高度可靠的被攝體代表矢量。

在步驟s28中，控制單元103將在步驟s26或s27中設(shè)置的候選框中檢測(cè)到的被攝體運(yùn)動(dòng)矢量判斷為候選矢量?？刂茊卧?03從被攝體運(yùn)動(dòng)矢量信息中提取候選矢量的信息，并將所提取的候選矢量信息保存至主存儲(chǔ)裝置104。

圖9b示意性示出斜率α為0(被攝體的移動(dòng)方向是水平方向)的情況下的候選矢量判斷操作。這里，假定以與圖4a中的方式相同的方式配置模板框。

在圖9b中，利用虛線示出檢測(cè)到步驟s17中被判斷為背景矢量的運(yùn)動(dòng)矢量的模板框，并且利用實(shí)線示出檢測(cè)到步驟s19中被判斷為被攝體矢量的運(yùn)動(dòng)矢量的模板框。在本示例中，α為0，并且被攝體的移動(dòng)方向是從右向左的水平方向。

在這種情況下，在圖9a的候選矢量判斷處理中，斜率α為0，因此控制單元103使處理從步驟s25進(jìn)入步驟s26。在步驟s26中，由于關(guān)注點(diǎn)是框號(hào)34的中心坐標(biāo)，因此控制單元103將利用粗框表示的框號(hào)18、26、34、42和50的模板框設(shè)置為候選框。在步驟s28中，控制單元103將候選框中所檢測(cè)到的被攝體運(yùn)動(dòng)矢量判斷為候選矢量。然后，控制單元103從被攝體運(yùn)動(dòng)矢量信息中提取候選矢量的信息，并將所提取的候選矢量信息保存至主存儲(chǔ)裝置104。

如上所述，在本實(shí)施例中，被攝體的代表矢量是基于所檢測(cè)到的被攝體矢量中的、根據(jù)焦點(diǎn)檢測(cè)區(qū)域的位置和被攝體的移動(dòng)方向所選擇出的被攝體矢量來(lái)計(jì)算的。因此可以獲得表示該被攝體在焦點(diǎn)檢測(cè)區(qū)域附近的角速度的被攝體代表矢量。由于該焦點(diǎn)檢測(cè)區(qū)域是用戶期望聚焦的區(qū)域，因此在進(jìn)行搖攝的情況下，該焦點(diǎn)檢測(cè)區(qū)域是用戶期望為靜止的區(qū)域。因此，通過(guò)進(jìn)行抖動(dòng)校正以抵消本實(shí)施例中所獲得的被攝體代表矢量所表示的角速度，可以實(shí)現(xiàn)用以輔助拍攝用戶期望的搖攝圖像的功能。因此，在不考慮焦點(diǎn)檢測(cè)區(qū)域的位置的情況下，可以實(shí)現(xiàn)與所檢測(cè)到的所有被攝體矢量被平均化并用作被攝體代表矢量的情況相比更加顯著的效果。

第二實(shí)施例

接著，將說(shuō)明本發(fā)明的第二實(shí)施例。本實(shí)施例與第一實(shí)施例的不同之處在于被攝體運(yùn)動(dòng)矢量檢測(cè)處理(圖8)中的關(guān)注點(diǎn)判斷(步驟s21)和候選矢量判斷處理(步驟s22)。因此，這里省略了針對(duì)數(shù)字照相機(jī)100的功能結(jié)構(gòu)和其它處理的說(shuō)明，并主要說(shuō)明本實(shí)施例特有的處理。

在第一實(shí)施例的關(guān)注點(diǎn)判斷處理中，采用相對(duì)于焦點(diǎn)檢測(cè)區(qū)域的中心坐標(biāo)距離最短的模板框的中心坐標(biāo)作為關(guān)注點(diǎn)，但在本實(shí)施例中，采用焦點(diǎn)檢測(cè)區(qū)域的中心坐標(biāo)作為關(guān)注點(diǎn)。在這種情況下，在中心坐標(biāo)要用作關(guān)注點(diǎn)的模板框不存在的情況下，選擇在移動(dòng)方向上位于關(guān)注點(diǎn)前方的模板框和位于關(guān)注點(diǎn)后方的模板框中的任一個(gè)作為用作設(shè)置候選框用的基礎(chǔ)的模板框。

例如，火車(chē)和汽車(chē)是作為搖攝對(duì)象的代表移動(dòng)被攝體。在對(duì)火車(chē)和汽車(chē)進(jìn)行搖攝的情況下，用戶經(jīng)常嘗試獲得使得被攝體的頭部靜止的圖像。在火車(chē)的情況下，頭部是頭車(chē)廂，并且在汽車(chē)的情況下，頭部是保險(xiǎn)杠或引擎蓋等。因此，在本實(shí)施例中，在中心坐標(biāo)要用作關(guān)注點(diǎn)的模板框不存在的情況下，選擇在移動(dòng)方向上位于關(guān)注點(diǎn)前方的模板框作為用作設(shè)置候選框用的基礎(chǔ)的模板框。

圖10a是本實(shí)施例中的候選矢量判斷處理的流程圖。

在步驟s30中，控制單元103判斷是否存在包含關(guān)注點(diǎn)(這里為焦點(diǎn)檢測(cè)區(qū)域的中心坐標(biāo))的模板框，并且如果判斷為存在這種模板框，則執(zhí)行與第一實(shí)施例中同樣的候選矢量判斷處理。

另一方面，如果沒(méi)有判斷為存在包含關(guān)注點(diǎn)的模板框，則控制單元103使處理進(jìn)入步驟s31，并且判斷步驟s20中所計(jì)算出的斜率α的絕對(duì)值是否小于1，并且如果判斷為斜率α的絕對(duì)值小于1，則控制單元103使處理進(jìn)入步驟s32，而如果沒(méi)有判斷為斜率α的絕對(duì)值小于1，則控制單元103使處理進(jìn)入步驟s35。

在斜率α的絕對(duì)值小于1的情況下，控制單元103將被攝體的移動(dòng)方向視為水平方向。然后，在步驟s32中，控制單元103判斷水平方向被攝體矢量vh(＝vph-voh)的符號(hào)是否為負(fù)，并且如果判斷為該符號(hào)為負(fù)，則使處理進(jìn)入步驟s33，如果沒(méi)有判斷為該符號(hào)為負(fù)，則使處理進(jìn)入步驟s34。

在水平方向被攝體矢量vh的符號(hào)為負(fù)的情況下，被攝體的移動(dòng)方向?yàn)橄蜃蟮姆较颉Ｒ虼?，在步驟s33中，在關(guān)注點(diǎn)左側(cè)的最近的模板框的列中，控制單元103將檢測(cè)到被攝體矢量的模板框設(shè)置為候選框。

在水平方向被攝體矢量vh的符號(hào)為正的情況下，被攝體的移動(dòng)方向?yàn)橄蛴业姆较?。因此，在步驟s34中，在關(guān)注點(diǎn)右側(cè)的最近的模板框的列中，控制單元103將檢測(cè)到被攝體矢量的模板框設(shè)置為候選框。

圖10b示意性示出斜率α為0(被攝體的移動(dòng)方向?yàn)樗椒较?并且水平方向被攝體矢量vh的符號(hào)為負(fù)的情況下的候選矢量判斷操作。這里，假定以與圖4a中的方式相同的方式來(lái)配置模板框。

關(guān)注點(diǎn)存在于框號(hào)45和46之間，并且水平方向被攝體矢量vh的符號(hào)為負(fù)，因此在關(guān)注左側(cè)的最近的框號(hào)45的列中，將檢測(cè)到被攝體矢量的框號(hào)13、21、29、37和45的模板框設(shè)置為候選框。

另一方面，如果在步驟s31中沒(méi)有判斷為斜率α的絕對(duì)值小于1，則控制單元103將被攝體的移動(dòng)方向視為垂直方向。然后，在步驟s35中，控制單元103判斷垂直方向被攝體矢量vv(＝vpv-vov)的符號(hào)是否為負(fù)，并且如果判斷為該符號(hào)為負(fù)，則使處理進(jìn)入步驟s36，而如果沒(méi)有判斷為該符號(hào)為負(fù)，則使處理進(jìn)入步驟s37。

在垂直方向被攝體矢量vv的符號(hào)為負(fù)的情況下，被攝體的移動(dòng)方向?yàn)橄蛏系姆较颉Ｒ虼?，在步驟s36中，在關(guān)注點(diǎn)上側(cè)的最近的模板框的行中，控制單元103將檢測(cè)到被攝體矢量的模板框設(shè)置為候選框。

在垂直方向被攝體矢量vv的符號(hào)為正的情況下，被攝體的移動(dòng)方向?yàn)橄蛳碌姆较颉Ｒ虼?，在步驟s37中，在關(guān)注點(diǎn)下側(cè)的最近的模板框的行中，控制單元103將檢測(cè)到被攝體矢量的模板框設(shè)置為候選框。

這樣，在本實(shí)施例中，在不存在包含關(guān)注點(diǎn)的模板框的情況下，使用存在于被攝體的移動(dòng)方向前方的模板框作為設(shè)置候選框時(shí)的基礎(chǔ)。因此，即使在關(guān)注點(diǎn)不在模板框內(nèi)的情況下，也很可能將能夠計(jì)算出表示如用戶所意圖的位置處的角速度的被攝體代表矢量。因此，通過(guò)進(jìn)行抖動(dòng)校正以抵消本實(shí)施例中所獲得的被攝體代表矢量所表示的角速度，可以實(shí)現(xiàn)用以輔助拍攝用戶期望的搖攝圖像的功能。

第三實(shí)施例

接著，將說(shuō)明本發(fā)明的第三實(shí)施例。本實(shí)施例與第一和第二實(shí)施例的不同之處在于被攝體運(yùn)動(dòng)矢量檢測(cè)處理(圖8)中的候選矢量判斷處理(步驟s22)。因此，這里省略了針對(duì)數(shù)字照相機(jī)100的功能結(jié)構(gòu)和其它處理的說(shuō)明，并且主要說(shuō)明本實(shí)施例特有的處理。

在第一和第二實(shí)施例中，在斜率α的絕對(duì)值小于1的情況下，被攝體的移動(dòng)方向被視為水平方向，并且在斜率α的絕對(duì)值為1以上的情況下，被攝體的移動(dòng)方向被視為垂直方向。另一方面，在本實(shí)施例中，執(zhí)行針對(duì)與斜率α相對(duì)應(yīng)的對(duì)角方向的移動(dòng)的候選矢量判斷處理。

圖11a是本實(shí)施例中的候選矢量判斷處理的流程圖。

在步驟s40中，控制單元103設(shè)置關(guān)注軸。關(guān)注軸是穿過(guò)關(guān)注點(diǎn)并且與被攝體的移動(dòng)方向正交的直線。在使用步驟s20中所計(jì)算出的斜率α的情況下，關(guān)注軸的斜率β可以由以下公式(4)表示。

此外，由于關(guān)注軸是穿過(guò)關(guān)注點(diǎn)的直線，因此在關(guān)注點(diǎn)的x，y坐標(biāo)由(ix，iy)表示的情況下，表示關(guān)注軸的主函數(shù)的截距ξ可以由以下公式(5)表示。

在步驟s41中，控制單元103針對(duì)(框號(hào)i所表示的)一個(gè)模板框，計(jì)算從中心到關(guān)注軸的距離。在框號(hào)i的模板框的中心坐標(biāo)由(cx，cy)表示的情況下，距離γi可以由以下公式(6)表示。

γi＝{α(cy-iy)+(cx-ix)}×cosθ(6)

注意，角度θ是利用tan^-1α來(lái)計(jì)算的。

在步驟s42中，控制單元103判斷框號(hào)i的模板框是否在關(guān)注軸上。在例如距離γi的絕對(duì)值小于模板框的大小(例如，對(duì)角線的1/2)的情況下，控制單元103判斷為框號(hào)i的模板框在關(guān)注軸上。

在判斷為模板框在關(guān)注軸上的情況下，控制單元103使處理進(jìn)入步驟s43，將框號(hào)i的模板框設(shè)置為第一候選框，然后使處理進(jìn)入步驟s46。第一候選框中所檢測(cè)到的運(yùn)動(dòng)矢量與后面說(shuō)明的第二候選框中所檢測(cè)到的運(yùn)動(dòng)矢量相比在用于被攝體代表矢量的計(jì)算的情況下貢獻(xiàn)更大。例如，在通過(guò)獲得候選矢量的加權(quán)平均來(lái)計(jì)算被攝體代表矢量的情況下，第一候選框中所檢測(cè)到的候選矢量與第二候選框中所檢測(cè)到的候選矢量相比被賦予更大的權(quán)重(系數(shù))。作為一個(gè)示例，第一候選框中所檢測(cè)到的候選矢量被賦予100％的權(quán)重(系數(shù)為1.0)。

另一方面，在沒(méi)有判斷為框號(hào)i的模板框在關(guān)注軸上的情況下，控制單元103使處理進(jìn)入步驟s44，并且判斷距離γi是否小于閾值。注意，如在第二實(shí)施例中那樣，在存在于被攝體的移動(dòng)方向前方的模板框被設(shè)置為候選框的情況下，當(dāng)γi具有與水平方向被攝體矢量vh相同的符號(hào)時(shí)，將距離γi與閾值進(jìn)行比較。相應(yīng)地，當(dāng)γi具有與水平方向被攝體矢量vh不同的符號(hào)時(shí)，控制單元103可跳過(guò)步驟s44，并使處理進(jìn)入步驟s46。

注意，步驟s44中使用的閾值可以預(yù)先保存至次級(jí)存儲(chǔ)裝置108。此外，可以采用如下結(jié)構(gòu)，其中在該結(jié)構(gòu)中，保存至次級(jí)存儲(chǔ)裝置108的閾值是在基于以下內(nèi)容至少之一而改變的情況下使用：進(jìn)行拍攝時(shí)的焦距、曝光時(shí)間和根據(jù)被攝體峰所計(jì)算出的近似被攝體角速度。

在步驟s44中判斷為距離γi小于閾值的情況下，控制單元103使處理進(jìn)入步驟s45，將框號(hào)i的模板框設(shè)置為第二候選框，然后使處理進(jìn)入步驟s46。第二候選框中所檢測(cè)到的運(yùn)動(dòng)矢量與第一候選框中所檢測(cè)到的運(yùn)動(dòng)矢量相比在用于被攝體代表矢量的計(jì)算的情況下貢獻(xiàn)更小。例如，在通過(guò)獲得候選矢量的加權(quán)平均來(lái)計(jì)算被攝體代表矢量的情況下，第二候選框中所檢測(cè)到的候選矢量與第一候選框中所檢測(cè)到的候選矢量相比被賦予更小的權(quán)重(系數(shù))。作為一個(gè)示例，在第二候選框中所檢測(cè)到的候選矢量被賦予50％的權(quán)重(系數(shù)為0.5)。

在步驟s44中沒(méi)有判斷為距離γi小于閾值的情況下，控制單元103使處理進(jìn)入步驟s46。

在步驟s46中，控制單元103將框號(hào)i加1，并且使處理進(jìn)入步驟s47。在步驟s47中，控制單元103判斷框號(hào)i是否小于64(模板框的數(shù)量)，并且如果判斷為框號(hào)i小于64，則控制單元103使處理返回至步驟s41，并且如果沒(méi)有判斷為框號(hào)i小于64，則控制單元103結(jié)束處理。

圖11b示意性示出本實(shí)施例中的候選矢量判斷的示例。在本示例中，框號(hào)0的中心坐標(biāo)是(32,16)，將模板框的一邊的長(zhǎng)度和水平方向上的間隔設(shè)置為8，關(guān)注點(diǎn)的坐標(biāo)是(92,36)，并且將斜率α設(shè)置為0.5。在這種情況下，關(guān)注軸的斜率β為-2，截距ξ為220，并且公式(6)中的cosθ為0.8944。

圖12示出圖11b的示例中的一些模板框的中心坐標(biāo)和相對(duì)于關(guān)注軸的距離γi。例如，在框號(hào)35中，關(guān)注軸穿過(guò)中心坐標(biāo)，因此距離γi為0。在圖11b中，用粗線表示的框號(hào)12、27、35和43的模板框被設(shè)置為第一候選框，并且用粗虛線表示的框號(hào)11、19、42和50的模板框被設(shè)置為第二候選框。注意，步驟s44中使用的閾值被設(shè)置為12。

這樣，在本實(shí)施例中，在不存在包含關(guān)注點(diǎn)的模板框的情況下，使用存在于被攝體的移動(dòng)方向前方的模板框作為設(shè)置候選框時(shí)的基礎(chǔ)。因此，即使在關(guān)注點(diǎn)不在模板框內(nèi)的情況下，也很可能將能夠計(jì)算出表示如用戶所意圖的位置處的角速度的被攝體代表矢量。因此，通過(guò)進(jìn)行抖動(dòng)校正以抵消本實(shí)施例中所獲得的被攝體代表矢量所表示的角速度，可以實(shí)現(xiàn)用以輔助拍攝用戶期望的搖攝圖像的功能。

這樣，在本實(shí)施例中，采用如下結(jié)構(gòu)：基于相對(duì)于與被攝體的移動(dòng)方向正交并且穿過(guò)關(guān)注點(diǎn)的關(guān)注軸的距離來(lái)設(shè)置候選框。因此，即使在被攝體正在對(duì)角移動(dòng)的情況下，也可以根據(jù)關(guān)注點(diǎn)和表示被攝體在關(guān)注點(diǎn)附近的角速度的運(yùn)動(dòng)矢量來(lái)計(jì)算被攝體代表矢量。因此，通過(guò)驅(qū)動(dòng)移位透鏡或圖像傳感器以抵消本實(shí)施例中獲得的被攝體代表矢量所表示的角速度、并且使從圖像傳感器讀出圖像的范圍移位，可以實(shí)現(xiàn)用以輔助拍攝用戶期望的搖攝圖像的功能。

其它實(shí)施例

在上述實(shí)施例中，在進(jìn)行基礎(chǔ)圖像或參考圖像的拍攝時(shí)所使用的焦點(diǎn)檢測(cè)區(qū)域的位置用作用于判斷關(guān)注點(diǎn)的基礎(chǔ)，但還可以使用其它基礎(chǔ)。例如，還可以使用基礎(chǔ)圖像或參考圖像中所檢測(cè)到的面部區(qū)域的位置、或基礎(chǔ)圖像或參考圖像中所識(shí)別出的人的面部區(qū)域的位置等。此外，可以使用用戶通過(guò)操作單元110所指定的位置。此外，可以使用基于基礎(chǔ)圖像或參考圖像的距離圖或深度圖的位置(例如最近距離處的位置)作為關(guān)注點(diǎn)。

此外，在上述實(shí)施例中，為了便于說(shuō)明和理解，說(shuō)明了始終啟用搖攝輔助功能的情況。然而，還可以采用如下結(jié)構(gòu)：僅在判斷為正在平搖數(shù)字照相機(jī)100的情況下才啟用搖攝輔助功能。在這種情況下，在沒(méi)有判斷為正在平搖數(shù)字照相機(jī)100的情況下，可以基于從背景矢量獲得的數(shù)字照相機(jī)100的角速度來(lái)進(jìn)行抖動(dòng)校正。

本發(fā)明的實(shí)施例還可以通過(guò)如下的方法來(lái)實(shí)現(xiàn)，即，通過(guò)網(wǎng)絡(luò)或者各種存儲(chǔ)介質(zhì)將執(zhí)行上述實(shí)施例的功能的軟件(程序)提供給系統(tǒng)或裝置，該系統(tǒng)或裝置的計(jì)算機(jī)或是中央處理單元(cpu)、微處理單元(mpu)讀出并執(zhí)行程序的方法。

盡管已經(jīng)參考實(shí)施例說(shuō)明了本發(fā)明，但是應(yīng)該理解，本發(fā)明不限于所公開(kāi)的實(shí)施例。所附權(quán)利要求書(shū)的范圍符合最寬的解釋，以包含所有這類(lèi)修改、等同結(jié)構(gòu)和功能。