專利名稱：具有圖像抖動檢測功能的攝像裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及具有圖像抖動檢測功能的攝像裝置、攝像方法和攝像程序。
背景技術(shù)：
近年來，從個人計(jì)算機(jī)的驚人普及和其使用便利性優(yōu)良的角度來看，
代替使用現(xiàn)有的銀鹽膠巻的攝像機(jī)，而使用CCD (電荷耦合設(shè)備)等攝像 元件的數(shù)碼相機(jī)迅速普及。在這種數(shù)碼相機(jī)中，在拍攝被攝體圖像的情況 下，拍攝者移動相機(jī)來決定視角，并且為了不發(fā)生手抖動而按住相機(jī)，操 作快門鍵進(jìn)行拍攝。
但是，拍攝者決定視角時，即使很可靠地固定相機(jī)，拍攝時相機(jī)也會 移動，還會產(chǎn)生手抖動。因此，為了抑制這種手抖動的影響，例如專利文 獻(xiàn)l (特開平6 — 350895號公報)所示，出現(xiàn)在數(shù)碼相機(jī)上裝載了手抖動 校正功能的設(shè)備。
在被攝體是人等的情況下，在拍攝者決定視角后，用聲音來暗示對該 人進(jìn)行拍攝，并促使其靜止。但是，在促使其靜止后，若作為被攝體的人 動了，會產(chǎn)生圖像抖動。這種圖像抖動僅通過現(xiàn)有的手抖動校正，很難加 以校正。
因此，考慮檢測沒有產(chǎn)生手抖動或被攝體抖動等的圖像抖動的定時， 并在沒有產(chǎn)生圖像抖動的定時下進(jìn)行記錄攝影。
如上所述，為了可在沒有發(fā)生圖像抖動的定時下進(jìn)行記錄攝影，最好 可高精度地檢測出手抖動或被攝體抖動。作為手抖動的檢測，例如專利文 獻(xiàn)1所示，已知使用運(yùn)動矢量。
但是，運(yùn)動矢量可以檢測出攝像機(jī)運(yùn)動的情況下的大的手抖動，但有 難以高精度檢測出被攝體的運(yùn)動的問題。發(fā)明內(nèi)容本發(fā)明的一個方式是一種具有圖像抖動檢測功能的攝像裝置，其特征 在于，包括第一圖像抖動檢測單元，其檢測圖像抖動；第二圖像抖動檢測單元，其用與第一圖像抖動檢測單元不同的方法來檢測圖像抖動；和判 斷單元，其在判斷為通過第一圖像抖動檢測單元檢測出的圖像抖動收斂 后，進(jìn)一步在判斷為通過所述第二圖像抖動檢測單元檢測出的圖像抖動收 斂的情況下，判斷為沒有圖像抖動。本發(fā)明的另一方式是一種具有圖像抖動檢測功能的攝像裝置，其特征 在于，包括差分值計(jì)算單元，其計(jì)算連續(xù)的兩個圖像幀之間的差分值； 高頻成分檢測單元，其檢測圖像幀內(nèi)的高頻成分；和判斷單元，其從評價 對象中除去所述高頻成分比基準(zhǔn)值低的圖像幀后，通過由所述差分值計(jì)算 單元算出的差分值來判斷有無圖像抖動。本發(fā)明的又一方式是一種具有圖像抖動檢測功能的攝像裝置，其特征 在于，包括差分值計(jì)算單元，其計(jì)算連續(xù)的兩個圖像幀之間的差分值； 保持單元，其保持通過所述差分值計(jì)算單元連續(xù)檢測出的所述差分值中最 小的差分值；和判斷單元，其在通過所述差分值計(jì)算單元對應(yīng)于新的幀而 算出的差分值比由所述保持單元保持的差分值小的情況下，用新的差分值 來更新所保持的差分值，在該更新次數(shù)為預(yù)定次數(shù)以上的情況下，判斷為 沒有圖像抖動。本發(fā)明的又一方式是一種控制方法，其是對具有圖像抖動檢測功能的 攝像裝置進(jìn)行控制的方法，.其特征在于，該控制方法由下列步驟構(gòu)成第 一圖像抖動檢測步驟，檢測圖像抖動；第二圖像抖動檢測步驟，通過與所 述第一圖像抖動檢測步驟不同的方法來檢測圖像抖動；和判斷步驟，在判 斷為由所述第一圖像抖動檢測步驟檢測出的圖像抖動收斂后，進(jìn)一步在判 斷為由所述第二圖像抖動檢測步驟檢測出的圖像抖動收斂的情況下，判斷 為沒有圖像抖動。本發(fā)明的又一方式是一種控制方法，其是對具有圖像抖動檢測功能的 攝像裝置進(jìn)行控制的方法，其特征在于，該控制方法由下列步驟構(gòu)成差 分值計(jì)算步驟，計(jì)算連續(xù)兩個圖像幀之間的差分值；高頻成分檢測步驟， 檢測圖像幀內(nèi)的高頻成分；和判斷步驟，從評價對象中除去所述高頻成分比基準(zhǔn)值低的圖像幀后，通過由所述差分值計(jì)算步驟算出的差分值來判斷 有無圖像抖動。本發(fā)明的又一方式是一種控制方法，其是對具有圖像抖動檢測功能的 攝像裝置進(jìn)行控制的方法，其特征在于，該控制方法由下列步驟構(gòu)成差 分值計(jì)算步驟，計(jì)算連續(xù)兩個圖像幀之間的差分值；保持步驟，保持由所 述差分值計(jì)算步驟檢測出的差分值；更新步驟，在由所述差分值計(jì)算步驟 對應(yīng)于新的幀而算出的差分值比由所述保持步驟保持的差分值小的情況 下，用新的差分值來更新所保持的差分值；和判斷步驟，在由所述更新步 驟更新后的次數(shù)為預(yù)定次數(shù)以上的情況下，判斷為沒有圖像抖動。


圖l (a)是本發(fā)明涉及的攝像裝置的外觀結(jié)構(gòu)圖(主視圖)； 圖l (b)是本發(fā)明涉及的攝像裝置的外觀結(jié)構(gòu)圖(后視圖)； 圖2是本發(fā)明涉及的攝像裝置的電氣結(jié)構(gòu)圖； 圖3是用于本發(fā)明涉及的攝像裝置的說明的功能框圖； 圖4是用于本發(fā)明涉及的攝像裝置的說明的流程圖(整體處理)； 圖5是用于本發(fā)明涉及的攝像裝置的說明的流程圖(運(yùn)動矢量檢測處 理)。
具體實(shí)施方式
下面，參考附圖來說明本發(fā)明的實(shí)施方式。圖1表示本實(shí)施方式的攝像裝置(數(shù)碼相機(jī)1)的外觀結(jié)構(gòu)，圖1 (a) 表示其主視圖，圖1 (b)表示其后視圖。攝像裝置(數(shù)碼相機(jī)1)如圖1 所示，在其正面?zhèn)染哂蓄l閃發(fā)光部ll和攝像透鏡(透鏡組)12。在攝像裝置(數(shù)碼相機(jī)l)的背面如圖1 (b)所示，設(shè)置有模式轉(zhuǎn)盤 13、液晶監(jiān)視屏14、光標(biāo)鍵15、SET鍵16、用于遠(yuǎn)處拍攝時的變焦鍵(Wide 按鈕17—1、 Tde按鈕17—2) 17和拍攝模式選擇鍵20等。在攝像裝置(數(shù)碼相機(jī)1)的上面如圖1 (a)和圖1 (b)所示，設(shè)置 快門鍵18和電源按鈕19等，在圖中未示出的攝像裝置(數(shù)碼相機(jī)l)的 側(cè)面設(shè)置有在用USB線纜連接個人計(jì)算機(jī)和調(diào)制解調(diào)器等外部裝置的情況下使用的USB(通用串行總線)端子的連接部和插入存儲卡等的槽等。圖2表示本實(shí)施方式的攝像裝置(數(shù)碼相機(jī)l)的內(nèi)部的電氣結(jié)構(gòu)。本實(shí)施方式涉及的攝像裝置如圖2所示，包括攝像透鏡22、透鏡驅(qū)動 塊23、光圈兼用快門24、 CCD攝像元件21、 TG (Timing Generator定時 生成器)26、單元電路(CDS/AGC/AD)27、DRAM(Dynamic Random Access Memory動態(tài)隨機(jī)訪問存儲器)28、存儲器29、 CPU (Central Processing unit 中央處理單元)30、圖像顯示部31、按鍵輸入部32、外部通信I/F (接口) 33、頻閃驅(qū)動部34、頻閃發(fā)光部35和卡I/F (Interface接口 ) 36，在卡I/F36 上，在圖中未示出的數(shù)碼相機(jī)1主體的卡槽上可裝卸地連接有存儲卡40。攝像透鏡22包含聚焦透鏡和變焦透鏡，連接透鏡驅(qū)動塊23。該透鏡 驅(qū)動塊23由以下元件構(gòu)成分別將圖中未示的聚焦透鏡、變焦透鏡沿與 攝像面平行的光軸方向驅(qū)動的聚焦電機(jī)和變焦電機(jī)；和根據(jù)來自CPU30 的控制，分別驅(qū)動聚焦電機(jī)和變焦電機(jī)的聚焦驅(qū)動器和變焦電機(jī)驅(qū)動器。光圈兼用快門24包含圖中未示出的驅(qū)動電路，該驅(qū)動電路根據(jù)從 CPU30送來的控制信號，使光圈兼用快門動作。另外，該光圈兼用快門 24作為光圈和快門起作用。CCD攝像元件21將經(jīng)攝像透鏡22和光圈兼用快門24投影的被攝體 的光變換為電信號，并作為攝像信號輸出到單元電路(CDS/AGC/AD) 27 中。另外，CCD攝像元件21根據(jù)通過TG26生成的預(yù)定頻率的定時信號 來加以驅(qū)動。將單元電路(CDS/AGC/AD) 27連接到TG26。單元電路(CDS/AGC/AD) 27由對從CCD攝像元件21輸出的攝像 信號相關(guān)雙取樣并加以保持的CDS (Correlated Double Sampling相關(guān)雙取 樣)電路、進(jìn)行該取樣后的攝像信號的自動增益調(diào)整的AGC (Automatic Gain Control自動增益控制)電路和將該自動增益調(diào)整后的模擬攝像信號 變換為數(shù)字信號的A/D轉(zhuǎn)換器構(gòu)成，CCD攝像元件21的攝像信號經(jīng)單元 電路(CDS/AGC/AD) 27后作為數(shù)字信號送到CPU30。CPU30是具有進(jìn)行從單元電路(CDS/AGC/AD) 27送來的圖像數(shù)據(jù) 的圖像處理(像素內(nèi)插處理、伽馬校正、亮度色差信號的生成、白平衡處 理、曝光校正處理等)、抖動校正處理、圖像數(shù)據(jù)的壓縮*解壓縮(例如 JPEG形式的壓縮*解壓縮)的處理等功能，并且根據(jù)控制程序來控制數(shù)碼相機(jī)1的各部分的單芯片微處理器。
DRAM28在通過CCD攝像元件21進(jìn)行拍攝后，作為暫時存儲從 CPU30送來的圖像數(shù)據(jù)的緩存器來使用，并且還可以用作CPU30的工作 存儲器。
圖像顯示部31包含彩色LCD (液晶顯示器)及其驅(qū)動電路，在處于 拍攝待機(jī)狀態(tài)時，將通過CCD攝像元件21拍攝的被攝體作為直通圖像進(jìn) 行顯示，在記錄圖像的再現(xiàn)時，顯示從存儲卡40中讀出、并解壓縮后的 記錄圖像。
按鍵輸入部32包含模式轉(zhuǎn)盤13、光標(biāo)鍵15、 SET鍵16、變焦鍵17、 快門鍵18、電源按鈕19、攝像模式選擇鍵20 (參考圖1 (a)和圖1 (b)) 等多個操作鍵，并將基于用戶的按鍵操作的操作信號輸出到CPU30。
外部通信I/F33與外部電子設(shè)備(例如個人計(jì)算機(jī))之間進(jìn)行數(shù)據(jù)的 輸入輸出，可以進(jìn)行基于USB標(biāo)準(zhǔn)、正EE1394標(biāo)準(zhǔn)等各種接口標(biāo)準(zhǔn)的輸 入輸出，可以與可進(jìn)行基于這些標(biāo)準(zhǔn)的數(shù)據(jù)輸入輸出的個人計(jì)算機(jī)等電子 設(shè)備相連。另外，也可通過基于IrDA標(biāo)準(zhǔn)的紅外線通信、基于藍(lán)牙標(biāo)準(zhǔn)
的無線通信來與外部電子設(shè)備進(jìn)行圖像數(shù)據(jù)的輸入輸出。
頻閃驅(qū)動部34根據(jù)CPU30的控制信號，閃光驅(qū)動頻閃發(fā)光部35，頻 閃發(fā)光部35由此使頻閃裝置閃光。CPU30通過圖中未示出的測光電路， 來判斷攝像場景是否昏暗，在判斷為攝像場景昏暗且進(jìn)行拍攝的情況下 (快門鍵的按下時)，將控制信號輸出到頻閃驅(qū)動部34。
存儲器29記錄存儲CPU30的數(shù)碼相機(jī)1的各部分控制所需的程序和 各部分的控制所需的數(shù)據(jù)，CPU30根據(jù)該程序來執(zhí)行處理。
若上述攝像裝置(數(shù)碼相機(jī)l)中，操作了快門鍵18 (包含在按鍵輸 入部32中)，則將經(jīng)拍攝透鏡22和光圈兼用快門24投影的被攝體像的 光取入到CCD攝像元件21中，并在CCD攝像元件21中將該圖像變換為 電信號，而作為攝像信號輸出到單元電路(CDS/AGC/AD) 27中。并且， 通過CPU30，對從單元電路(CDS/AGC/AD) 27送來的圖像數(shù)據(jù)進(jìn)行圖 像處理，并通過JPEG等加以壓縮后，記錄到存儲卡40中。
這里，在拍攝者通過攝像裝置進(jìn)行拍攝時，若相機(jī)移動，或被攝體移 動，則因圖像抖動而在攝像圖像上產(chǎn)生了模糊。因此，本實(shí)施方式中，檢測出手抖動和被攝體抖動，若手抖動和被攝體抖動收斂，則可進(jìn)行拍攝記 錄。這樣，下面說明手抖動和被攝體抖動收斂后，可進(jìn)行攝像記錄用的動作。圖3是表示本實(shí)施方式中，檢測手抖動和被攝體抖動而實(shí)現(xiàn)控制攝像 記錄的定時的功能用的結(jié)構(gòu)的功能框圖。另外，該功能框圖可使用CPU30 由軟件來實(shí)現(xiàn)。如圖3所示，本實(shí)施方式中設(shè)置了第一圖像抖動檢測部101、第二圖 像抖動檢測部102和判斷部103。第一圖像抖動檢測部101和第二圖像抖 動檢測部102同時從圖像數(shù)據(jù)中檢測圖像抖動，但是檢測速度和檢測精度 不同。進(jìn)一步，本實(shí)施方式中，設(shè)置了檢測圖像幀內(nèi)的高頻成分的高頻檢 測部105。另外，后面說明高頻檢測部105的工作。第一圖像抖動檢測部101在攝像的初始階段，檢測大的圖像抖動的產(chǎn) 生程度。g卩，在進(jìn)行拍攝時，拍攝者大大移動數(shù)碼相機(jī)l來決定視角，若 決定了視角，則使數(shù)碼相機(jī)l靜止，而進(jìn)行拍攝。因此，在拍攝的初始階 段，需要檢測大的圖像抖動，檢測數(shù)碼相機(jī)1變?yōu)槟撤N程度的靜止的狀態(tài)。 第一圖像抖動檢測部101檢測這種拍攝初始階段的手抖動。作為第一圖像 抖動檢測部101，不要求高檢測精度，但是要求可高速地檢測出大的圖像 抖動。即，因相機(jī)和被攝體的移動大，或因聚焦沒有會聚到被攝體，故需 要在所攝像的圖像的搖晃和模糊大的狀態(tài)中，快速檢測出圖像抖動。與此相對，第二圖像抖動檢測部102在手抖動某種程度收斂后，檢測 精細(xì)的圖像抖動。即，在拍攝者決定了視角后，使數(shù)碼相機(jī)l靜止并進(jìn)行 拍攝。但是，這里有時數(shù)碼相機(jī)l稍微移動，或被攝體移動了。第二圖像 抖動檢測部102在拍攝者決定了視角后使數(shù)碼相機(jī)1靜止的期間，高精度 檢測手抖動和圖像抖動產(chǎn)生的程度。作為第二圖像抖動檢測部102，不要 求可檢測出大的手抖動，要求高精度檢測。即，因相機(jī)和被攝體的移動小， 或因聚焦會聚到被攝體，故在所拍攝的圖像的搖晃和模糊小的狀態(tài)中，需 要高精度的圖像抖動檢測。判斷部103最先根據(jù)來自第一圖像抖動檢測部101的檢測輸出，判斷 大的圖像抖動的程度，在判斷為圖像抖動某種程度收斂后，通過來自第二 圖像抖動檢測部102的檢測輸出，更詳細(xì)判斷圖像抖動的程度，若判斷為沒有圖像抖動，則將表示沒有手抖動和圖像抖動的信號送到攝像記錄處理 部104而進(jìn)行拍攝記錄。
這樣，本實(shí)施方式中，設(shè)置兩個圖像抖動檢測部，即在聚焦沒有會聚 的狀態(tài)中可高速檢測出大的圖像抖動的第一圖像抖動檢測部101、和在聚
焦會聚的狀態(tài)下可檢測出高精度的圖像抖動的第二圖像抖動檢測部102， 最先根據(jù)來自第一圖像抖動檢測部101的檢測輸出來判斷大的圖像抖動的 程度，在判斷為圖像抖動某種程度收斂后，通過來自第二圖像抖動檢測部 102的檢測輸出，更詳細(xì)判斷圖像抖動的程度，若判斷為沒有圖像抖動， 則進(jìn)行記錄攝像。由此，在沒有手抖動和圖像抖動的定時下，可以可靠進(jìn) 行拍攝。
攝像記錄處理部104可以控制為在從判斷部103送來了表示沒有手抖 動和圖像抖動的信號后，自動進(jìn)行記錄攝像。另外，也可在從判斷部103 沒有送來表示沒有手抖動和圖像抖動的信號時，控制為禁止攝像。另外， 判斷部103通過表示沒有手抖動和圖像抖動的信號來判斷攝像定時，也可 在指示攝像時，產(chǎn)生警告。
接著，說明第一和第二圖像抖動檢測部101和102。
第一圖像抖動檢測部101如上所述，檢測大的圖像抖動，以判斷變?yōu)?了數(shù)碼相機(jī)1靜止的狀態(tài)。數(shù)碼相機(jī)1靜止的狀態(tài)是視角整體的移動小的 狀態(tài)，其可以通過整體運(yùn)動矢量來求出。
艮P，關(guān)注圖像幀F(xiàn)n—l的某一點(diǎn)，若可求出該點(diǎn)移動到下一圖像幀 Fn的哪個地方，就可以求出對該點(diǎn)的運(yùn)動矢量。但是，被攝體中存在背景 部分和運(yùn)動的部分，不能通過運(yùn)動部分的運(yùn)動矢量來判斷整體的運(yùn)動。這 是因?yàn)槔缈紤]到在被攝體沿手抖動方向和逆方向運(yùn)動的情況下，盡管 產(chǎn)生了手抖動，但是運(yùn)動矢量變?yōu)榉浅Ｐ〉闹怠?br> 因此，本實(shí)施方式中，從圖像幀中提取N個(N是足夠大的整數(shù))特 征點(diǎn)，并求出N個運(yùn)動矢量，計(jì)算支持?jǐn)?shù)，將支持?jǐn)?shù)最大的運(yùn)動矢量作為 整體運(yùn)動矢量，若該整體運(yùn)動矢量變小，則判斷為變?yōu)榱藬?shù)碼相機(jī)l靜止 的狀態(tài)。
這里，支持?jǐn)?shù)表示對一個運(yùn)動矢量，有幾個運(yùn)動矢量與該運(yùn)動矢量相 同。即，若將某一個運(yùn)動矢量設(shè)作MVa，將其余的運(yùn)動矢量設(shè)作MVi (i是0 N的整數(shù))，將D設(shè)作常數(shù)，則支持?jǐn)?shù)可以作為滿足IMVa—MVi卜D 的個數(shù)來計(jì)算。
由于背景部分的運(yùn)動矢量反映整體的運(yùn)動，所以為同樣值的運(yùn)動矢量 多，支持?jǐn)?shù)大。與此相對，由于運(yùn)動的被攝體部分的運(yùn)動矢量與整體的運(yùn) 動不同，所以支持?jǐn)?shù)小。由此，支持?jǐn)?shù)大的運(yùn)動矢量表示整體運(yùn)動矢量。
另一方面，第二圖像抖動檢測部102如前所述，在手抖動某種程度收 斂后，檢測細(xì)小的圖像抖動。這種細(xì)小的圖像抖動可以通過圖像幀之間的 差分值來檢測。
艮P,若將圖像幀F(xiàn)n的某個坐標(biāo)設(shè)作Fn (x,y)，則圖像幀之間的差分 值可以計(jì)算為EiFn (x,y) —Fn-l(x，y)l (E是所有像素的累積值)。若產(chǎn) 生圖像抖動，則該圖像幀之間的差分值變大，若沒有圖像抖動，則圖像幀 之間的差分值為接近于O的值。
因此，本實(shí)施方式中，求出圖像幀F(xiàn)n和圖像幀F(xiàn)n—1的圖像幀之間 的差分值，若圖像幀之間的差分值小，則判斷為是沒有圖像抖動的狀態(tài)。
但是，實(shí)際上因隨機(jī)噪聲的影響等，圖像幀之間的差分值不為0。另 外，由于圖像幀之間的差分值根據(jù)拍攝環(huán)境和曝光條件、增益等變化，所 以不能唯一決定閾值。因此，本實(shí)施方式中，最初所判斷的圖像幀之間的 差分值慢慢變小，若小到某種程度，則判斷為沒有圖像抖動。
艮口，在初始階段的最初圖像幀中，求出圖像幀之間的差分值，并將該 圖像幀之間的差分值作為基準(zhǔn)值A(chǔ)進(jìn)行登記。并且，比較由之后的圖像幀 檢測出的圖像幀之間的差分值和基準(zhǔn)值A(chǔ)。這里，在之后的圖像幀之間的 差分值比基準(zhǔn)值A(chǔ)小的情況下，可以判斷為與求出基準(zhǔn)值A(chǔ)時的圖像幀 相比，該圖像幀中圖像抖動減小了。
這時，通過這時求出的圖像幀之間的差分值，來更新基準(zhǔn)值A(chǔ)，并多 次重復(fù)同樣的處理。由此，圖像幀之間的差分值慢慢減小，從而可判斷為 某種程度地減小。并且，若基準(zhǔn)值A(chǔ)的更新次數(shù)為預(yù)定次數(shù)以上，則判斷 為是圖像抖動小的狀態(tài)。
但是，僅在該條件下，有時不能正確評價被攝體抖動的大小。
例如，首先，由于聚焦沒有會聚到被攝體，或被攝體在圖像幀之間大 大運(yùn)動，所以在產(chǎn)生了模糊和搖晃的圖像和都是純暗的圖像等中，圖像幀之間的差分值的可靠性低。因此，本實(shí)施方式中，設(shè)置了檢測圖像幀內(nèi)的高頻成分的高頻檢測部 105。 g卩，通過高頻檢測部105檢測圖像幀內(nèi)的高頻成分，將高頻成分比 基準(zhǔn)值小的圖像幀排除到基于圖像幀間的差分值的圖像抖動的評價對象 之外。由此，還可以在聚焦沒有會聚到被攝體，或相機(jī)大大移動這種攝像 準(zhǔn)備階段中來防止錯誤檢測出圖像抖動收斂。艮口，在初始階段中從最初的圖像幀中計(jì)算高頻成分，并以該值為基礎(chǔ)來設(shè)置高頻成分的基準(zhǔn)值B。下次之后，在圖像幀內(nèi)求出高頻成分，并將 所求出的高頻成分與基準(zhǔn)值B相比較。并且，在所求出的高頻成分比基準(zhǔn) 值B小的圖像幀中，設(shè)作圖像搖晃，而將其排除到基于圖像幀間的差分值 的圖像抖動的評價對象之外。這樣，第二圖像抖動檢測部102使用圖像幀之間的差分值和圖像幀內(nèi)的高頻成分來判斷圖像抖動。即，將如前所述，將要更新的圖像幀之間的 差分值的基準(zhǔn)值設(shè)作A，將初始階段中設(shè)置的高頻成分的基準(zhǔn)值設(shè)作B時，判斷是否兩者都滿足下面的兩個條件。條件(1):圖像幀之間的差分值比基準(zhǔn)值A(chǔ)小。條件(2):圖像幀內(nèi)的高頻成分比基準(zhǔn)值B大。圖4是進(jìn)行上述處理用的流程圖。圖4中，輸出所拍攝的一個圖像幀的圖像(步驟S1)，進(jìn)行整體運(yùn)動 矢量(GMV)的檢測處理(步驟S2)。在整體運(yùn)動矢量(GMV)的檢測 處理中，進(jìn)行以下處理提取N個特征點(diǎn)，求出N個運(yùn)動矢量，計(jì)算支 持?jǐn)?shù)，并將支持?jǐn)?shù)最高的運(yùn)動矢量作為整體運(yùn)動矢量(GMV)。后面說明 整體運(yùn)動矢量(GMV)的檢測處理流程。若檢測出整體運(yùn)動矢量(GMV)，則評價該整體運(yùn)動矢量(GMV)， 并判斷整體運(yùn)動矢量(GMV)是否足夠小(步驟S3)。在拍攝者決定視角的情況下，由于數(shù)碼相機(jī)l不靜止，所以整體運(yùn)動 矢量(GMV)為大的值。即，若整體運(yùn)動矢量(GMV)大(步驟S3的"否" 的情況)，則處理進(jìn)入到下一圖像幀(步驟S4)，返回到步驟S2，而繼 續(xù)進(jìn)行整體運(yùn)動矢量(GMV)的檢測處理。若拍攝者決定了視角并使數(shù)碼相機(jī)l靜止，則整體運(yùn)動矢量(GMV)為小的值。§卩，步驟S3中，若整體運(yùn)動矢量(GMV)足夠小(步驟S3 的"是"的情況)，則求出圖像幀之間的差分值，如上所述，作為i:iFn (x，y) —Fn-l(x,y)沐進(jìn)行計(jì)算。并且，求出圖像幀內(nèi)的高頻成分，并將該 圖像幀內(nèi)的高頻成分作為基準(zhǔn)值B (步驟S6)。輸出下一圖像幀的圖像(步驟S7)，在該圖像幀中求出圖像幀之間的 差分值(步驟S8)，求出圖像幀內(nèi)的高頻成分(步驟S9)。并且，判斷 圖像幀之間的差分值是否比基準(zhǔn)值A(chǔ)小，且圖像幀內(nèi)的高頻成分是否比基 準(zhǔn)值B大(步驟SIO)。在圖像幀之間的差分值比基準(zhǔn)值A(chǔ)大，且圖像幀內(nèi)的高頻成分比基準(zhǔn) 值B小的情況下(步驟S10的"否"的情況)，判斷圖像幀之間的差分值 是否比允許值大(步驟Sll)，若圖像幀之間的差分值不比允許值大(步 驟Sll的"否"的情況)，則返回到步驟S7。在手抖動沒有收斂的情況下和產(chǎn)生了被攝體的圖像抖動的情況下，圖 像幀之間的差分值比基準(zhǔn)值A(chǔ)大。另外，在圖像搖晃的情況下，圖像幀內(nèi) 的高頻成分比基準(zhǔn)值B小。由此，這些情況下，步驟S10的判斷結(jié)果為"否"， 而重復(fù)執(zhí)行步驟S7 步驟Sll的處理。另外，除拍攝者一次決定的視角之外，有時大大移動數(shù)碼相機(jī)l。這 時，步驟S11中，判斷為圖像幀之間的差分值比允許值大。因此，這種情 況下(步驟Sll的"是"的情況)，步驟S4中，處理進(jìn)入到下一圖像幀， 而返回到步驟S2。這里，說明基準(zhǔn)值A(chǔ)。在為了將被攝體收到幀內(nèi)而移動相機(jī)的期間，由于圖像沿一定方向持 續(xù)運(yùn)動，所以圖像幀之間的差分值大的狀態(tài)連續(xù)，但是在被攝體收到幀內(nèi) 后，由于圖像重復(fù)進(jìn)行向上下或左右的移動，所以重復(fù)圖像幀之間的差分 值大的狀態(tài)和小的狀態(tài)?；鶞?zhǔn)值A(chǔ)是在重復(fù)差分值大的狀態(tài)和小的狀態(tài)的 狀況下，保持過去最小值時的差分值的值。若手抖動和圖像抖動慢慢收斂，則有時多次中有一次圖像幀之間的差 分值比基準(zhǔn)值A(chǔ)小。另外，若畫面不模糊，則圖像幀內(nèi)的高頻成分變?yōu)楸?基準(zhǔn)值B大。由此，這些情況下，步驟S10的判斷結(jié)果為"是"。步驟S10中，在圖像幀之間的差分值比基準(zhǔn)值A(chǔ)小，且圖像幀內(nèi)的高頻成分比基準(zhǔn)值B大的情況下(步驟S10的"是"的情況)，用這次的圖
像幀之間的差分值更新過去最小值時的差分值的基準(zhǔn)值A(chǔ) (步驟S12)。 并且，判斷更新次數(shù)是否達(dá)到預(yù)定次數(shù)(步驟S13)，若更新次數(shù)沒有達(dá) 到預(yù)定次數(shù)(步驟S13的"否"的情況)，則返回到步驟S7。
這樣，在設(shè)最初的圖像幀之間的差分值為基準(zhǔn)值A(chǔ)，比較之后的圖像 幀之間的差分值和基準(zhǔn)值A(chǔ)，在之后的圖像幀之間的差分值比基準(zhǔn)值A(chǔ)還 小的情況下，通過這時求出的圖像幀之間的差分值來更新基準(zhǔn)值A(chǔ)，之后， 多次重復(fù)同樣的處理。并且，通過這種動作，在圖像幀之間的差分值重復(fù) 變大或變小，同時慢慢變小的情況下，可以檢測出該抖動振幅變小了。
步驟S13中，在更新次數(shù)達(dá)到預(yù)定次數(shù)的情況下(步驟S13的"是" 的情況)，判斷為手抖動和被攝體抖動收斂了 (步驟S14)。
圖5是表示圖4中的步驟S2的整體運(yùn)動矢量的檢測處理的流程圖。
圖5中，從圖像幀F(xiàn)n—l中提取N個特征點(diǎn)(步驟S101)，和與其 連續(xù)的圖像幀F(xiàn)n進(jìn)行比較，跟蹤各特征點(diǎn)移動到了哪里(步驟S102)。 由此，求出運(yùn)動矢量(步驟S103)。
判斷是否重復(fù)了N次的處理(步驟S104)，若沒有重復(fù)N次(步驟 S104的"否"的情況)，處理進(jìn)入到下一位置的特征點(diǎn)(步驟S105)， 并返回到步驟S101來重復(fù)同樣的處理。由此，求出了N個各點(diǎn)的運(yùn)動矢 量。若對N個所有塊求出了運(yùn)動矢量，則在步驟S104中判斷為重復(fù)了N 次的處理。
步驟S104中，在判斷為重復(fù)了 N次處理的情況下(步驟S104的"是" 的情況)，將支持?jǐn)?shù)的基準(zhǔn)值C設(shè)置為初始值(例如O)(步驟S106)。 并且，計(jì)算對一個運(yùn)動矢量的支持?jǐn)?shù)(步驟S107)。這里，如前所述，支 持?jǐn)?shù)可以計(jì)算為滿足IMVa—MVil〈D的個數(shù)。
若求出了支持?jǐn)?shù)，則判斷所求出的支持?jǐn)?shù)是否比支持?jǐn)?shù)的基準(zhǔn)值C大 (步驟S108)。
步驟S108中，若這次求出的支持?jǐn)?shù)比基準(zhǔn)值C大(步驟S108中"是" 的情況)，則通過這次的支持?jǐn)?shù)來更新支持?jǐn)?shù)的基準(zhǔn)值C (步驟S109)， 并判斷是否重復(fù)了N次的處理(步驟SllO)。步驟S108中，若支持?jǐn)?shù)比 基準(zhǔn)C值小(步驟S108中"否"的情況)，則支持?jǐn)?shù)的基準(zhǔn)值C保持原樣，而判斷是否重復(fù)了N次的處理(步驟S110)。步驟S110中，若沒有重復(fù)N次的處理(步驟S110中"否"的情況)， 則處理進(jìn)入到下一位置的運(yùn)動矢量(步驟Slll)，返回到步驟S107，重 復(fù)同樣的處理。通過重復(fù)這些處理，將支持?jǐn)?shù)的基準(zhǔn)值C更新為之前的支 持?jǐn)?shù)的最大值。步驟S110中，若判斷為重復(fù)了N次的處理(步驟S110中"是"的情 況)，則從支持?jǐn)?shù)的基準(zhǔn)值C中判斷之前的支持?jǐn)?shù)的最大值，根據(jù)支持?jǐn)?shù) 最大的運(yùn)動矢量來求出整體運(yùn)動矢量(GMV)(步驟SU2)。如上所說明的，本實(shí)施方式中，最先使用整體運(yùn)動矢量來判斷大的圖 像抖動的程度，在判斷為圖像抖動某種程度收斂后，使用圖像幀之間的差 分值，更詳細(xì)地判斷圖像抖動的程度，若判斷沒有圖像抖動，則進(jìn)行記錄 攝像。由此，可以在沒有手抖動和圖像抖動的定時下可靠進(jìn)行拍攝。另外，本實(shí)施方式中，進(jìn)行了運(yùn)動矢量的檢測，但是在具有MPEG等 的運(yùn)動圖像的實(shí)時壓縮記錄單元的數(shù)碼相機(jī)等中，由于在運(yùn)動圖像壓縮時 檢測出運(yùn)動矢量，所以可使用該運(yùn)動圖像壓縮時檢測出的運(yùn)動矢量來進(jìn)行 圖像抖動的檢測。這時，由于不需要專用的運(yùn)動矢量檢測處理，所以可以 提高處理效率和處理速度。另外，本實(shí)施方式中，檢測圖像的高頻成分，但是在具有自動聚焦(AF) 功能的數(shù)碼相機(jī)等中，可以利用在自動聚焦處理時檢測出的對比度信息來 檢測高頻成分。另外，也可在自動聚焦的動作中，進(jìn)行基于第一圖像抖動 檢測部的圖像抖動檢測，在自動聚焦的動作完成后，進(jìn)行基于第二圖像抖 動檢測部的圖像抖動檢測。另外，在具有自動曝光(AE)功能的數(shù)碼相機(jī)等中，也可在自動曝光 的動作中進(jìn)行基于第一圖像抖動檢測部的圖像抖動檢測，在自動曝光的動 作完成后進(jìn)行基于第二圖像抖動檢測部的圖像抖動檢測。另外，源程序可以由軟盤、磁光盤、ROM、 CD-ROM等的可拆卸介 質(zhì)等的計(jì)算機(jī)可讀記錄介質(zhì)來加以提供。另外，源程序也可從計(jì)算機(jī)系統(tǒng) 中經(jīng)傳送介質(zhì)、或通過傳送介質(zhì)中的傳送波，傳送到其他計(jì)算機(jī)系統(tǒng)中。 這里，傳送程序的"傳送介質(zhì)"是指如因特網(wǎng)等的網(wǎng)絡(luò)(通信網(wǎng))和電話 線等的通信線路(通信線)那樣，具有傳送信息的功能的介質(zhì)。另外，源程序可以用于實(shí)現(xiàn)所述功能的一部分。進(jìn)一步，可以是通過與計(jì)算機(jī)系統(tǒng) 中己經(jīng)記錄的程序的組合來實(shí)現(xiàn)所述功能的所謂的差分文件(差分程序)。 本實(shí)施方式中的構(gòu)成要素可以適當(dāng)與現(xiàn)有的構(gòu)成要素等進(jìn)行替換。另 外，可以是包含與其他現(xiàn)有的構(gòu)成要素的組合的各種變形。因此，并不限 定具有本實(shí)施方式的記載，在權(quán)利要求的范圍中記載的發(fā)明內(nèi)容。
權(quán)利要求
1、一種攝像裝置，其具有圖像抖動檢測功能，該攝像裝置包括第一圖像抖動檢測單元，其檢測圖像抖動；第二圖像抖動檢測單元，其用與所述第一圖像抖動檢測單元不同的方法來檢測圖像抖動；和判斷單元，其在判斷為通過所述第一圖像抖動檢測單元檢測出的圖像抖動收斂后，進(jìn)一步在判斷為通過所述第二圖像抖動檢測單元檢測出的圖像抖動收斂的情況下，判斷為沒有圖像抖動。
2、 根據(jù)權(quán)利要求1所述的攝像裝置，其特征在于， 所述第二圖像抖動檢測單元在判斷為通過所述第一圖像抖動檢測單元檢測出的圖像抖動收斂后，開始基于與所述第一 圖像抖動檢測單元不同 的方法進(jìn)行的圖像抖動檢測處理。
3、 根據(jù)權(quán)利要求1所述的攝像裝置，其特征在于， 所述判斷單元在判斷為通過所述第一圖像抖動檢測單元檢測出的圖像抖動收斂之前的階段中，即使在判斷為通過所述第二圖像抖動檢測單元 檢測出的圖像抖動收斂的狀況下也不判斷為沒有圖像抖動。
4、 根據(jù)權(quán)利要求1所述的攝像裝置，其特征在于， 在通過所述判斷單元判斷為沒有圖像抖動的情況下，自動進(jìn)行攝像記錄。
5、 根據(jù)權(quán)利要求l所述的攝像裝置，其特征在于， 在通過所述判斷單元判斷為有圖像抖動的期間內(nèi)，禁止攝像記錄或在攝像指示時加以警告。
6、 根據(jù)權(quán)利要求1所述的攝像裝置，其特征在于， 所述第二圖像抖動檢測單元的圖像抖動檢測精度比所述第一圖像抖動檢測單元高。
7、 根據(jù)權(quán)利要求1所述的攝像裝置，其特征在于， 所述第二圖像抖動檢測單元在聚焦沒有會聚到被攝體的狀態(tài)下圖像抖動檢測的精度降低，且該精度降低的程度比所述第一圖像抖動檢測單元中的聚焦沒有會聚到被攝體的狀態(tài)下的精度降低的程度大。
8、 根據(jù)權(quán)利要求1所述的攝像裝置，其特征在于，所述第二圖像抖動檢測單元在被攝體或攝像裝置的運(yùn)動大的狀態(tài)下 圖像抖動檢測的精度降低，且該精度降低的程度比所述第一圖像抖動檢測 單元中的被攝體或攝像裝置的運(yùn)動大的狀態(tài)下的精度降低的程度大。
9、 根據(jù)權(quán)利要求l所述的攝像裝置，其特征在于，所述第一圖像抖動檢測單元檢測由手抖動引起的圖像抖動成分和由被攝體的運(yùn)動引起的圖像抖動成分中的由手抖動引起的圖像抖動成分；所述第二圖像抖動檢測單元進(jìn)行的檢測，對由手抖動引起的圖像抖動 成分和由被攝體的運(yùn)動引起的圖像抖動成分不進(jìn)行區(qū)分。
10、 根據(jù)權(quán)利要求1所述的攝像裝置，其特征在于， 所述第一圖像抖動檢測單元通過從連續(xù)得到的多個圖像幀中檢測出的運(yùn)動矢量來檢測圖像抖動。
11、 根據(jù)權(quán)利要求10所述的攝像裝置，其特征在于， 所述運(yùn)動矢量是拍攝得到的圖像整體的運(yùn)動矢量。
12、 根據(jù)權(quán)利要求1所述的攝像裝置，其特征在于， 所述第二圖像抖動檢測單元通過連續(xù)的兩個圖像幀之間的差分值來檢測圖像抖動。
13、 根據(jù)權(quán)利要求12所述的攝像裝置，其特征在于， 所述第二圖像抖動檢測單元通過按每個像素比較各幀的圖像數(shù)據(jù)后的差分值來檢測圖像抖動。
14、 根據(jù)權(quán)利要求12所述的攝像裝置，其特征在于， 所述判斷單元保持通過所述第二圖像抖動檢測單元連續(xù)檢測出的所述差分值中最小的差分值，并通過新檢測出的差分值是否比所保持的差分 值小來判斷有無圖像抖動。
15、 根據(jù)權(quán)利要求14所述的攝像裝置，其特征在于，所述判斷單元在新檢測出的差分值比所保持的差分值小的情況下，通 過新檢測出的差分值來更新所保持的差分值，并且在該更新次數(shù)為預(yù)定次 數(shù)以上的情況下，判斷為沒有圖像抖動。
16、 根據(jù)權(quán)利要求12所述的攝像裝置，其特征在于，該攝像裝置還具有高頻成分檢測單元，其檢測圖像幀內(nèi)的高頻成分； 所述判斷單元判斷通過所述高頻成分檢測單元檢測出的高頻成分是 否比基準(zhǔn)值低，從評價對象中去除判斷為高頻成分比基準(zhǔn)值低的圖像幀 后，通過由所述第二圖像抖動檢測單元檢測出的差分值來判斷有無圖像抖動。
17、 根據(jù)權(quán)利要求15所述的攝像裝置，其特征在于， 該攝像裝置還具有高頻成分檢測單元，其檢測圖像幀內(nèi)的高頻成分； 所述判斷單元在根據(jù)通過所述高頻成分檢測單元檢測出的高頻成分比基準(zhǔn)值低的圖像幀而檢測出的差分值比所保持的差分值小的情況下也 不進(jìn)行更新。
18、 根據(jù)權(quán)利要求12所述的攝像裝置，其特征在于， 所述判斷單元將初始連續(xù)的兩個圖像幀之間的差分值設(shè)定為基準(zhǔn)值，之后，在所述基準(zhǔn)值比新算出的圖像幀之間的差分值小的情況下，由所述 新算出的圖像幀之間的差分值來更新所述基準(zhǔn)值，在該基準(zhǔn)值的更新次數(shù) 為預(yù)定次數(shù)以上的情況下，判斷為是圖像抖動少的狀態(tài)。
19、 一種攝像裝置，其具有圖像抖動檢測功能， 該攝像裝置包括-差分值計(jì)算單元，其計(jì)算連續(xù)的兩個圖像幀之間的差分值； 高頻成分檢測單元，其檢測圖像幀內(nèi)的高頻成分；和 判斷單元，其從評價對象中除去所述高頻成分比基準(zhǔn)值低的圖像幀 后，通過由所述差分值計(jì)算單元計(jì)算出的差分值來判斷有無圖像抖動。
20、 一種攝像裝置，其具有圖像抖動的檢測功能， 該攝像裝置包括差分值計(jì)算單元，其計(jì)算連續(xù)的兩個圖像幀之間的差分值； 保持單元，其保持通過所述差分值計(jì)算單元連續(xù)檢測出的所述差分值 中最小的差分值；和判斷單元，其在通過所述差分值計(jì)算單元對應(yīng)新的幀而算出的差分值 比由所述保持單元保持的差分值小的情況下，用新的差分值來更新所保持 的差分值，在該更新次數(shù)為預(yù)定次數(shù)以上的情況下，判斷為沒有圖像抖動。
21、 一種控制方法，其是對具有圖像抖動檢測功能的攝像裝置進(jìn)行控制的方法，該控制方法由以下步驟構(gòu)成第一圖像抖動檢測步驟，檢測圖像抖動；第二圖像抖動檢測步驟，以與所述第一圖像抖動檢測步驟不同的方法 來檢測圖像抖動；和判斷步驟，在判斷為由所述第一圖像抖動檢測步驟檢測出的圖像抖動 收斂后，進(jìn)一步在判斷為由所述第二圖像抖動檢測步驟檢測出的圖像抖動 收斂的情況下，判斷為沒有圖像抖動。
22、 一種控制方法，其是對具有圖像抖動檢測功能的攝像裝置進(jìn)行控 制的方法，該控制方法由以下步驟構(gòu)成差分值計(jì)算步驟，計(jì)算連續(xù)兩個圖像幀之間的差分值； 高頻成分檢測步驟，檢測圖像幀內(nèi)的高頻成分；和 判斷步驟，從評價對象中除去所述高頻成分比基準(zhǔn)值低的圖像幀后， 通過由所述差分值計(jì)算步驟算出的差分值來判斷有無圖像抖動。
23、 一種控制方法，其是對具有圖像抖動檢測功能的攝像裝置進(jìn)行控 制的方法，該控制方法由以下步驟構(gòu)成差分值計(jì)算步驟，計(jì)算連續(xù)兩個圖像幀之間的差分值；保持步驟，保持由所述差分值計(jì)算步驟檢測出的差分值；更新步驟，在由所述差分值計(jì)算步驟對應(yīng)于新的幀而算出的差分值比由所述保持步驟保持的差分值小的情況下，用新的差分值來更新所保持的差分值；和判斷步驟，在由所述更新步驟更新后的次數(shù)為預(yù)定次數(shù)以上的情況 下，判斷為沒有圖像抖動。
全文摘要
本發(fā)明提供一種具有圖像抖動檢測功能的攝像裝置。在最初階段中，使用整體運(yùn)動矢量來判斷大的圖像抖動的程度。在判斷為圖像抖動以某種程度收斂后，使用圖像幀之間的差分值，更詳細(xì)地判斷圖像抖動的程度。并且，若判斷為沒有圖像抖動，則進(jìn)行記錄攝像。由此，可以在沒有手抖動和圖像抖動的定時下可靠地進(jìn)行拍攝。
文檔編號H04N5/14GK101309357SQ20081009959
公開日2008年11月19日 申請日期2008年5月15日 優(yōu)先權(quán)日2007年5月18日
發(fā)明者佐佐木雅昭, 松井紳一 申請人:卡西歐計(jì)算機(jī)株式會社