圖像處理設(shè)備和圖像處理方法
【專利摘要】本發(fā)明涉及一種圖像處理設(shè)備和圖像處理方法。該圖像處理設(shè)備包括：分割單元，用于在畫面上將攝像單元連續(xù)拍攝到的多個(gè)幀圖像各自分割成多個(gè)區(qū)域；運(yùn)動(dòng)矢量檢測(cè)單元，用于針對(duì)所述多個(gè)幀圖像的各分割區(qū)域來檢測(cè)運(yùn)動(dòng)矢量；分離單元，用于基于平遙檢測(cè)單元所檢測(cè)到的所述圖像處理設(shè)備的平遙速度和所述運(yùn)動(dòng)矢量檢測(cè)單元所檢測(cè)到的運(yùn)動(dòng)矢量，將用于表示被攝體的運(yùn)動(dòng)的被攝體矢量與用于表示背景的運(yùn)動(dòng)的背景矢量進(jìn)行分離；以及識(shí)別單元，用于通過基于與距離檢測(cè)單元針對(duì)所述多個(gè)幀圖像的各分割區(qū)域所檢測(cè)到的被攝體的距離有關(guān)的信息對(duì)所述被攝體矢量進(jìn)行加權(quán)，來識(shí)別被攝體區(qū)域。
【專利說明】
圖像處理設(shè)備和圖像處理方法
技術(shù)領(lǐng)域
[0001 ]本發(fā)明設(shè)及用于輔助搖攝拍攝的技術(shù)。
【背景技術(shù)】
[0002] 已知搖攝技術(shù)為用于表示針對(duì)移動(dòng)被攝體的速度感的拍攝技術(shù)。由于用戶平搖照 相機(jī)W追隨被攝體的運(yùn)動(dòng)，因此運(yùn)種拍攝技術(shù)W使移動(dòng)被攝體表現(xiàn)出靜止而背景表現(xiàn)出移 動(dòng)的方式來拍攝該被攝體。根據(jù)要拍攝的被攝體的移動(dòng)速度，通過將曝光時(shí)間調(diào)整得長(zhǎng)于 普通曝光時(shí)間來進(jìn)行普通搖攝。
[0003] 在搖攝拍攝中，用戶需要進(jìn)行平搖W追隨被攝體的運(yùn)動(dòng)，如果平搖速度太高或太 低、由此造成了平遙速度和被攝體的移動(dòng)速度之間的差，則將經(jīng)常出現(xiàn)被攝體的圖像同樣 模糊的情況。為了解決運(yùn)個(gè)問題，提出了用于通過移動(dòng)校正手抖動(dòng)所用的移位透鏡來消除 被攝體的移動(dòng)速度和平搖速度之間的差的技術(shù)，作為用于輔助用戶進(jìn)行搖攝拍攝的技術(shù)。 例如，日本特開2006-317848公開了用于搖攝拍攝的如下結(jié)構(gòu)，在該結(jié)構(gòu)中，通過巧螺儀傳 感器來檢測(cè)設(shè)備的抖動(dòng)，基于圖像的運(yùn)動(dòng)矢量來檢測(cè)被攝體，計(jì)算用于將所檢測(cè)的被攝體 定位在圖像中央的校正量，W及通過移動(dòng)光軸移位透鏡來進(jìn)行校正。日本特開2003-279848 公開了如下結(jié)構(gòu)，在該結(jié)構(gòu)中，將圖像分割成多個(gè)區(qū)域，并基于針對(duì)各區(qū)域所檢測(cè)的被攝體 亮度和被攝體距離、拍攝倍率W及被攝體移動(dòng)分布來檢測(cè)主被攝體。
[0004] 然而，在上述的日本特開2006-317848所公開的技術(shù)中，通過巧螺儀傳感器來檢測(cè) 設(shè)備的抖動(dòng)，并基于圖像的運(yùn)動(dòng)矢量來檢測(cè)被攝體。因此，例如在被攝體正接近用戶或者存 在多個(gè)被攝體的情況下，存在W下問題:可能檢測(cè)到具有相似大小和方位的多個(gè)運(yùn)動(dòng)矢量， 并且很難抑制位于用戶期望表現(xiàn)出靜止的位置處的被攝體的模糊。
[0005] 同樣，在日本特開2003-279848所公開的技術(shù)中，如果用戶試圖在存在多個(gè)移動(dòng)被 攝體的情況下進(jìn)行搖攝拍攝，則由于該技術(shù)沒有考慮照相機(jī)的平搖的影響，因而在照相機(jī) 的平搖速度與被攝體的移動(dòng)速度不同的情況下，將會(huì)很難適當(dāng)?shù)貦z測(cè)到用戶期望表現(xiàn)出靜 止的被攝體。

【發(fā)明內(nèi)容】

[0006] 本發(fā)明正是考慮了上述問題而做出的，并且在要進(jìn)行搖攝拍攝的情況下，使得能 夠在不會(huì)發(fā)生模糊的情況下更精確地拍攝用戶期望表現(xiàn)出靜止的被攝體。
[0007] 根據(jù)本發(fā)明的第一個(gè)方面，提供了一種圖像處理設(shè)備，包括:分割單元，用于在畫 面上將攝像單元連續(xù)拍攝到的多個(gè)帖圖像各自分割成多個(gè)區(qū)域;運(yùn)動(dòng)矢量檢測(cè)單元，用于 針對(duì)所述多個(gè)帖圖像的各分割區(qū)域來檢測(cè)運(yùn)動(dòng)矢量;分離單元，用于基于平遙檢測(cè)單元所 檢測(cè)到的所述圖像處理設(shè)備的平遙速度和所述運(yùn)動(dòng)矢量檢測(cè)單元所檢測(cè)到的運(yùn)動(dòng)矢量，將 用于表示被攝體的運(yùn)動(dòng)的被攝體矢量與用于表示背景的運(yùn)動(dòng)的背景矢量進(jìn)行分離；W及識(shí) 別單元，用于通過基于與距離檢測(cè)單元針對(duì)所述多個(gè)帖圖像的各分割區(qū)域所檢測(cè)到的被攝 體的距離有關(guān)的信息對(duì)所述被攝體矢量進(jìn)行加權(quán)，來識(shí)別被攝體區(qū)域。
[000引根據(jù)本發(fā)明的第二個(gè)方面，提供了一種圖像處理方法，包括W下步驟:分割步驟， 用于在畫面上將攝像單元連續(xù)拍攝到的多個(gè)帖圖像各自分割成多個(gè)區(qū)域;運(yùn)動(dòng)矢量檢測(cè)步 驟，用于針對(duì)所述多個(gè)帖圖像的各分割區(qū)域來檢測(cè)運(yùn)動(dòng)矢量;分離步驟，用于基于平遙檢測(cè) 單元所檢測(cè)到的設(shè)備的平遙速度和所述運(yùn)動(dòng)矢量檢測(cè)步驟中所檢測(cè)到的運(yùn)動(dòng)矢量，將用于 表示被攝體的運(yùn)動(dòng)的被攝體矢量與用于表示背景的運(yùn)動(dòng)的背景矢量進(jìn)行分離；W及識(shí)別步 驟，用于通過基于與距離檢測(cè)單元針對(duì)所述多個(gè)帖圖像的各分割區(qū)域所檢測(cè)到的被攝體的 距離有關(guān)的信息對(duì)所述被攝體矢量進(jìn)行加權(quán)，來識(shí)別被攝體區(qū)域。
[0009] 通過W下參考附圖對(duì)典型實(shí)施例的說明，本發(fā)明的其它特征將變得明顯。
【附圖說明】
[0010] 圖1是示出根據(jù)本發(fā)明的第一實(shí)施例的攝像裝置的基本結(jié)構(gòu)的框圖。
[0011] 圖2是示出根據(jù)第一實(shí)施例的用于輔助搖攝拍攝的處理的流程圖。
[0012] 圖3A至3D是示出運(yùn)動(dòng)矢量的直方圖中的變化的圖。
[0013] 圖4A至4E是示出用于將被攝體區(qū)域與背景區(qū)域進(jìn)行判別的方法的圖。
[0014] 圖5A和5B是示出被攝體矢量區(qū)域的圖。
[0015] 圖6是示出根據(jù)第一實(shí)施例的距離映射和運(yùn)動(dòng)矢量的變化的圖。
[0016] 圖7是示出根據(jù)第一實(shí)施例的距離映射的可靠性表的圖。
[0017] 圖8A和8B是示出根據(jù)第一實(shí)施例的用于計(jì)算被攝體的移動(dòng)量的方法的圖。
[0018] 圖9A和9B是示出根據(jù)第一實(shí)施例的有效場(chǎng)景的圖。
[0019] 圖10是示出根據(jù)第二實(shí)施例的用于輔助搖攝拍攝的處理的流程圖。
[0020] 圖11是示出根據(jù)第二實(shí)施例的距離映射和運(yùn)動(dòng)矢量的變化的圖。
[0021] 圖12A和12B是示出根據(jù)第二實(shí)施例的距離映射和運(yùn)動(dòng)矢量的可靠性表的圖。
【具體實(shí)施方式】
[0022] W下將參考附圖詳細(xì)說明本發(fā)明的實(shí)施例。
[oou] 第一實(shí)施例
[0024] 圖1是示出作為根據(jù)本發(fā)明的第一實(shí)施例的圖像處理設(shè)備的攝像裝置100的基本 結(jié)構(gòu)的框圖。攝像裝置100不僅可W是諸如數(shù)字照相機(jī)或者數(shù)字?jǐn)z像機(jī)等的照相機(jī)，還可W 是具有照相功能的諸如具有照相功能的移動(dòng)電話或者具有照相機(jī)的計(jì)算機(jī)等的適合的電 子裝置。
[0025] 在圖1中，光學(xué)系統(tǒng)101包括透鏡、快口和光圈，并且在CPU 103的控制下使用來自 被攝體的光在攝像元件102上形成圖像。包括CCD圖像傳感器或者CMOS圖像傳感器等的攝像 元件102將經(jīng)由光學(xué)系統(tǒng)101形成的圖像的光轉(zhuǎn)換成圖像信號(hào)。諸如巧螺儀傳感器等的角速 度傳感器105檢測(cè)表示攝像裝置100的移動(dòng)量的平搖角速度，將所檢測(cè)到的平搖角速度轉(zhuǎn)換 成電信號(hào)，并將轉(zhuǎn)換得到的電信號(hào)發(fā)送至CPU 103。距離測(cè)量傳感器106檢測(cè)由攝像元件102 所拍攝到的被攝體的被攝體距離和散焦量(下文稱為"距離映射"）（距離檢測(cè)），將所檢測(cè)到 的被攝體距離或者散焦量轉(zhuǎn)換成電信號(hào)，并將轉(zhuǎn)換得到的電信號(hào)發(fā)送至CPU 103。代替距離 測(cè)量傳感器106,攝像元件102可W檢測(cè)相位差或者對(duì)比度W獲得焦點(diǎn)位置，并基于該焦點(diǎn) 位置獲得被攝體距離。
[00%] CPU 103通過根據(jù)輸入信號(hào)和預(yù)先存儲(chǔ)的程序來控制構(gòu)成攝像裝置100的部件來 實(shí)現(xiàn)攝像裝置100的功能。主存儲(chǔ)裝置104例如是諸如RAM等的用于臨時(shí)存儲(chǔ)數(shù)據(jù)的易失性 存儲(chǔ)器，并且用作CPU 103所用的工作區(qū)。另外，存儲(chǔ)在主存儲(chǔ)裝置104中的信息用在圖像處 理設(shè)備107中，或者存儲(chǔ)在存儲(chǔ)介質(zhì)108中等。二次存儲(chǔ)裝置109例如是諸如EEPROM等的用于 存儲(chǔ)控制攝像裝置100所用的程序（固件)或者各種類型的設(shè)置信息等的非易失性存儲(chǔ)器， 并且被CPU 103所使用。
[0027] 存儲(chǔ)介質(zhì)108記錄存儲(chǔ)在主存儲(chǔ)裝置104中的所拍攝圖像的數(shù)據(jù)等。注意，存儲(chǔ)介 質(zhì)108例如是半導(dǎo)體存儲(chǔ)卡等，并被配置為能夠從攝像裝置100移除，并且通過將存儲(chǔ)介質(zhì) 108安裝至個(gè)人計(jì)算機(jī)等可W讀出存儲(chǔ)在其中的數(shù)據(jù)。也就是說，攝像裝置100具有針對(duì)存 儲(chǔ)介質(zhì)108的安裝/移除機(jī)制和讀取/寫入功能。顯示單元110顯示攝像期間的取景器圖像、 所拍攝圖像和用于交互操作的GUI圖像等。
[0028] 操作單元111是用于接受用戶操作和將輸入信息發(fā)送至CPU 103的輸入裝置組，并 且自然地可W包括例如按鈕、桿和觸摸面板等，還可W包括用于使用聲音和視線等的輸入 裝置。注意，本實(shí)施例的攝像裝置100具有要通過圖像處理設(shè)備107應(yīng)用至所拍攝圖像的多 個(gè)圖像處理模式，并且模式可W從操作單元111設(shè)置為攝像模式。除了被稱作為所謂的顯影 處理的圖像處理W外，圖像處理設(shè)備107還進(jìn)行色調(diào)調(diào)整等。注意，可W通過CPU 103利用軟 件來實(shí)現(xiàn)圖像處理設(shè)備107的至少一些功能。
[0029] 注意，在圖1中，攝像裝置100是光學(xué)系統(tǒng)101與攝像裝置的主體一體化地形成的裝 置，但是也可W被配置為光學(xué)系統(tǒng)的部分可W從攝像裝置的主體移除的鏡頭可更換拍攝系 統(tǒng)。
[0030] 圖2是示出根據(jù)本實(shí)施例的用于輔助搖攝拍攝的操作的流程的流程圖。注意，例如 可W通過半按下操作單元111的快口按鈕等來使得該流程開始。另外，在通過實(shí)時(shí)取景或者 測(cè)光傳感器等來連續(xù)獲取多個(gè)帖圖像的狀態(tài)中進(jìn)行用于輔助搖攝拍攝的該操作。
[0031] 首先，在步驟S201中，CPU 103檢測(cè)由角速度傳感器105所檢測(cè)到的攝像裝置100的 平搖角速度(平搖檢測(cè)）。然后，在步驟S202中，CPU 103在畫面上將由攝像元件102連續(xù)拍攝 到的各圖像分割成多個(gè)塊區(qū)域，并針對(duì)各塊區(qū)域來檢測(cè)由距離測(cè)量傳感器106所檢測(cè)到的 距離映射。與步驟S202類似地，在步驟S203中，CPU 103針對(duì)分割后的各塊區(qū)域，使用圖像處 理設(shè)備107來檢測(cè)圖像之間的運(yùn)動(dòng)矢量(矢量檢測(cè)）。然后，將所檢測(cè)到的運(yùn)動(dòng)矢量轉(zhuǎn)換成攝 像面上的移動(dòng)量v[mm]。
[0032] 在步驟S204中，CPU 103使用公式（1)將步驟S201中獲得的攝像裝置100的平搖角 速度O [rad/s]轉(zhuǎn)換成攝像面上的圖像之間的移動(dòng)量L[mm]:
[0033] L = f ? 1:an( W/fps) ...(I)
[0034] 其中，f[mm]是焦距，fps[帖/秒]是圖像獲取間隔（W下稱作"帖頻"）。
[0035] 在步驟S205中，CPU 103使用圖像處理設(shè)備107來基于步驟S203中所檢測(cè)到的運(yùn)動(dòng) 矢量生成例如圖3A中示出的直方圖，該直方圖的縱軸表示矢量塊的數(shù)量，橫軸表示矢量的 大小。
[0036] 在步驟S206中，CPU 103基于步驟S204中轉(zhuǎn)換成移動(dòng)量L[mm]的攝像裝置100的角 速度CO [rad/s] W及步驟S205中生成的運(yùn)動(dòng)矢量的直方圖，將表示被攝體的運(yùn)動(dòng)的矢量（W 下稱作"被攝體矢量"）與表示背景的運(yùn)動(dòng)的矢量（W下稱作"背景矢量"）進(jìn)行判別（分離）。 例如，可W通過W下方法來進(jìn)行被攝體的判別:將與步驟S204中轉(zhuǎn)換成移動(dòng)量L[mm]的攝像 裝置100的角速度《^曰(1/3]接近的運(yùn)動(dòng)矢量判斷為背景矢量，并且將接下來檢測(cè)數(shù)量最多 的運(yùn)動(dòng)矢量判斷為被攝體矢量。另外，如果攝像裝置100的角速度《^3(1/3]高到一定程度， 則考慮到背景可能也在帖之間移動(dòng)一定程度，因此也可W將小的運(yùn)動(dòng)矢量判斷為被攝體矢 量。注意，在本文中，被攝體矢量和背景矢量是被轉(zhuǎn)換成攝像面上的移動(dòng)量的值。
[0037] 還存在一種使用步驟S202中所檢測(cè)到的距離映射來進(jìn)行被攝體的判別的方法。圖 4A和4B示出從連續(xù)帖獲取到的圖像。在假設(shè)附圖標(biāo)記403表示沿著圖像的右方向移動(dòng)的被 攝體的情況下，在搖攝拍攝時(shí)背景402將在帖之間移動(dòng)，因此針對(duì)塊區(qū)域401所檢測(cè)到的被 攝體距離在帖之間不同。另外，在假設(shè)圖4C示出在任意帖中獲取到的圖像的情況下，與主被 攝體W不同方式移動(dòng)的被攝體404模糊，因此不容易獲得距離映射。因此，也可W將在帖之 間能夠檢測(cè)到相同距離映射的塊區(qū)域判斷為被攝體區(qū)域。
[0038] 如果分割后的塊區(qū)域具有低對(duì)比度，則可能存在在步驟S202中不能檢測(cè)到針對(duì)該 塊區(qū)域的被攝體距離或者在步驟S203中不能檢測(cè)到針對(duì)該塊區(qū)域的運(yùn)動(dòng)矢量的情況，因此 期望定義一定程度較大的被攝體區(qū)域并且計(jì)算最終的被攝體速度。因此，在步驟S207中， CPU 103使用圖像處理設(shè)備107,利用公式(2)來比較不能檢測(cè)到被攝體距離和運(yùn)動(dòng)矢量的 塊區(qū)域與鄰接塊區(qū)域之間的顏色比（R/G和B/G)(顏色比檢測(cè)），并且如果差在預(yù)定闊值之 間，則判斷為運(yùn)些塊區(qū)域是同一被攝體。
[0039] 闊值Rm< {(Ri/Gi)-(Ri-l/Gi-l)} < 闊值化
[0040] 闊值Bm< {(Bi/Gi)-(Bi-l/Gi-l)} < 闊值化--.(2)
[0041 ] W下將參考圖4D和4E來說明圖2的步驟S207中的處理。圖4D和4E是示出給出帖中 的被攝體速度計(jì)算區(qū)域的示例的圖。圖4D的附圖標(biāo)記403表示沿著圖像的右方向移動(dòng)的被 攝體，并且附圖標(biāo)記405表示分割后的塊區(qū)域。另外，圖4E的附圖標(biāo)記406表示檢測(cè)到被攝體 矢量的塊區(qū)域，并且附圖標(biāo)記407表示不能檢測(cè)到被攝體距離和運(yùn)動(dòng)矢量的區(qū)域。在假設(shè)針 對(duì)檢測(cè)到被攝體矢量的最大連續(xù)塊區(qū)域計(jì)算出最終的被攝體速度的情況下，將針對(duì)被攝體 后面的區(qū)域408來計(jì)算被攝體速度。然而，通過使用顏色來進(jìn)行被攝體的判別，能夠在包括 整個(gè)被攝體的區(qū)域409中計(jì)算被攝體速度。因此可W W上述的方式判別出被攝體。
[0042] W下將說明用于使用距離映射來對(duì)被攝體矢量進(jìn)行加權(quán)的方法，該方法為本實(shí)施 例的特有特征。
[0043] 在圖2的步驟S208中，CPU 103使用步驟S202中針對(duì)各塊區(qū)域所檢測(cè)到的距離映射 來對(duì)步驟S206中判斷為被攝體矢量的運(yùn)動(dòng)矢量進(jìn)行加權(quán)。
[0044] 將參考圖3A至3D、圖5A和5B、W及圖6來說明步驟S208的處理。圖3A至3D是示出給 出帖中的運(yùn)動(dòng)矢量的直方圖的變化的圖。注意，在本實(shí)施例中，僅圖3A至3C用于說明。另外， 圖5A和5B是示出給出帖中的被攝體矢量區(qū)域的圖。最后，圖6是示出圖5A和5B所示的帖中的 被攝體速度計(jì)算區(qū)域的變化的圖。
[0045] 在圖6中，曰1至曰6示出距離映射中的散焦量，并且在焦點(diǎn)位置處散焦量為0,在被攝 體位于焦點(diǎn)位置的前方的情況下散焦量為負(fù)，并且在被攝體位于焦點(diǎn)位置的后方的情況下 散焦量為正。另外，將從焦點(diǎn)位置起的偏移量的大小表示為數(shù)字。在圖6中，bl至b4示出運(yùn)動(dòng) 矢量，并且通過箭頭的方向表示各運(yùn)動(dòng)矢量的方向，通過箭頭的長(zhǎng)度表示運(yùn)動(dòng)矢量的大小。
[0046] 圖6的al示出針對(duì)如圖5A所示的分割后的塊區(qū)域501所檢測(cè)到的距離映射，并且圖 6的bl示出針對(duì)分割后的塊區(qū)域的運(yùn)動(dòng)矢量。另外，圖3A示出在縱軸表示"矢量塊的數(shù)量"W 及橫軸表示"矢量的大小"的直方圖中的運(yùn)動(dòng)矢量分布。圖3A的附圖標(biāo)記301表示步驟S204 中轉(zhuǎn)換成攝像面上的移動(dòng)量L[mm]的攝像裝置100的角速度O [rad/s ]。
[0047]在圖2的步驟S206中，CPU 103將具有與攝像裝置100的角速度301的移動(dòng)量幾乎相 同的移動(dòng)量的矢量302判斷為背景矢量，并且將與背景矢量不同并且具有小的移動(dòng)量的矢 量306判斷為被攝體矢量。圖6的曰2示出在由圖5B的附圖標(biāo)記506(通過將區(qū)域503、504和505 組合來獲得區(qū)域506)表示被判斷為被攝體矢量306的塊區(qū)域的情況下的距離映射，并且圖6 的b2示出其運(yùn)動(dòng)矢量。注意，假設(shè)分別由圖3A至3D的附圖標(biāo)記302 W及303至305來表示圖5A 和5B的背景502和被攝體503至505的運(yùn)動(dòng)矢量。
[004引注意，在圖3A至3D中，通過傾斜陰影來表示被攝體503的運(yùn)動(dòng)矢量303,通過交叉陰 影來表示被攝體504的運(yùn)動(dòng)矢量304,并且通過點(diǎn)來表示被攝體505的運(yùn)動(dòng)矢量305。運(yùn)里，例 如在聚焦到被攝體503的情況下，即使與被攝體503相對(duì)應(yīng)的汽車也會(huì)在汽車的各個(gè)運(yùn)動(dòng)矢 量中包括部分檢測(cè)誤差等。因此，如從圖6的b2中與被攝體503相對(duì)應(yīng)的部分清晰可見，運(yùn)動(dòng) 矢量的大小分布在和Omm的范圍，并且在圖3A中，傾斜陰影部分遍及運(yùn)S個(gè)大小。 運(yùn)同樣適用于被攝體504,并且與被攝體504相對(duì)應(yīng)的運(yùn)動(dòng)矢量304的大小分布在圖34的- 3mm和-2mm的范圍。另一方面，如圖6的a2所示，與被攝體505相對(duì)應(yīng)的運(yùn)動(dòng)矢量305的大小為 0,因此分布在圖3A的Omm的位置處。
[0049] 圖7是在使用距離映射對(duì)被攝體矢量進(jìn)行加權(quán)時(shí)所用的可靠性表。根據(jù)圖7的可靠 性表，與被攝體504相對(duì)應(yīng)的（圖6的a3的附圖標(biāo)記604所示的)塊區(qū)域的散焦量為20，因此可 靠性為0%。另外，與被攝體505相對(duì)應(yīng)的（圖6的a3的附圖標(biāo)記605所示的）塊區(qū)域的散焦量 為-10,因此可靠性為50%。也就是說，不將未對(duì)焦且模糊的被攝體判斷為搖攝中期望表現(xiàn) 出靜止的被攝體部分。注意，圖7的闊值為示例，并且本發(fā)明不限于此。
[0050] 圖3B、圖6的曰4和圖6的b3是示出圖2的步驟S208的處理完成之后的狀態(tài)的圖。由于 與圖5A和5B的被攝體504相對(duì)應(yīng)的圖6的曰3的塊區(qū)域604的可靠性為0 %，因此如圖3B的附圖 標(biāo)記307所示，將圖3A的運(yùn)動(dòng)矢量304從被攝體矢量中排除。由于圖6的a3的塊區(qū)域605(也就 是說，與圖5B的被攝體505相對(duì)應(yīng)的塊區(qū)域)的可靠性為50%，因此如圖3B中所示，將包括在 被攝體矢量中的圖3A的運(yùn)動(dòng)矢量305的塊的數(shù)目減少一半。如上所述，使用距離映射進(jìn)行被 攝體矢量的加權(quán)。
[0051] 在圖2的步驟S209中，CPU 103使用圖像處理設(shè)備107提取具有與焦點(diǎn)位置處的距 離映射和被攝體矢量相同的距離映射和被攝體矢量的連續(xù)區(qū)域。在本實(shí)施例中，假設(shè)如果 存在要提取的多個(gè)區(qū)域，則將提取最大的連續(xù)區(qū)域，但是也可W基于諸如畫面的中央的構(gòu) 圖等的構(gòu)圖來判斷要提取的區(qū)域。
[0化2] 將參考圖3A至3D和圖6的al至圖6的b4來說明步驟S209的處理。圖6的曰5的塊區(qū)域 605不與位于焦點(diǎn)位置處的塊區(qū)域鄰接，因此判斷為具有不同被攝體的運(yùn)動(dòng)矢量。因此，如 圖3C的附圖標(biāo)記308所示，將圖3B的運(yùn)動(dòng)矢量305從被攝體矢量中排除。
[0053] 如上所述，識(shí)別出最終的被攝體矢量區(qū)域，并且將包括在該被攝體矢量區(qū)域中的 運(yùn)動(dòng)矢量進(jìn)行平均化，由此計(jì)算出被攝體矢量。
[0054] 在圖2的步驟S210中，CPU 103使用圖像處理設(shè)備107基于被攝體矢量來計(jì)算被攝 體速度。使用公式(3)將攝像面上的被攝體的移動(dòng)量(被攝體矢量的大小)v[mm]轉(zhuǎn)換成角速 度 〇v[rad/s]:
[0055] ?v = fpsX 化 D-I(VZ^f) ...(3)
[0056] 其中，v[mm]是帖之間的圖像面上的被攝體的移動(dòng)量(被攝體矢量的大小），f [mm] 是焦距，并且巧S[帖/秒]是帖頻。然后使用公式(4)來計(jì)算被攝體的角速度《s[rad/s]:
[0057] c〇s = ( co + c〇v) ? ? ? (4)
[005引其中，W [rad/s]是攝像裝置100的角速度，W v[rad/s]是帖之間的被攝體矢量的 角速度轉(zhuǎn)換值。
[0059] W上述方式來計(jì)算被攝體速度。
[0060] 在步驟S211中，CPU 103判斷是否要進(jìn)行曝光操作。注意，運(yùn)里判斷包括在操作單 元111中的快口按鈕是否被全按下（W下，判斷SW2是否接通）。如果沒有接通SW2,則CPU 103 W重復(fù)的方式進(jìn)行步驟S201至S210的操作。如果SW2接通，則過程進(jìn)入步驟S212。
[0061 ]在步驟S212中，CPU103在攝像元件102的曝光期間，基于步驟S210中計(jì)算出的被攝 體速度和攝像裝置100的角速度之間的差值來操作光學(xué)系統(tǒng)101的移位透鏡，并且輔助進(jìn)行 搖攝拍攝。
[0062] 圖8A和8B是示出被攝體不僅左右移動(dòng)而且還上下移動(dòng)、即被攝體距離也改變的情 況的示例的圖。在圖8A中，假設(shè)由附圖標(biāo)記801表示第n帖中的被攝體的位置，并且由附圖標(biāo) 記802表示第n+1帖中的被攝體的位置，由附圖標(biāo)記803表示與原始被攝體速度相對(duì)應(yīng)的移 動(dòng)量vO。然而，如果在假設(shè)被攝體距離固定的情況下檢測(cè)被攝體的移動(dòng)量，則將具有與圖像 面上的移動(dòng)量808(v2)相同的移動(dòng)量的移動(dòng)量804(vl)檢測(cè)為被攝體的移動(dòng)量。
[0063] 在圖8B中，在假設(shè)SW2接通之前被攝體的移動(dòng)量為vO、vl和v2并且SW2接通之后被 攝體的移動(dòng)量、即曝光期間被攝體的移動(dòng)量為vO'、vl'和v2'的情況下，即使在被攝體正W 恒定速度移動(dòng)的情況下(vO = vO'），圖像形成面上的移動(dòng)量也將改變(v2辛v2'）。因此，為了 檢測(cè)盡管被攝體距離固定而被攝體距離也改變的被攝體的移動(dòng)量，需要預(yù)測(cè)SW2接通之后 被攝體的移動(dòng)量VI'，而不是預(yù)測(cè)SW2接通之前被攝體的移動(dòng)量VI。在本實(shí)施例中，由于使用 距離映射能夠檢測(cè)到被攝體距離化1、L2)，因此可W使用公式巧)來計(jì)算與原始被攝體速度 相對(duì)應(yīng)的移動(dòng)量vO:
[0064]
[00化] ..P)
[0066] 然后，使用上述計(jì)算的結(jié)果和公式(6)，計(jì)算出SW2接通之后的移動(dòng)量VI'：
[0067]
[006引
[0069]
[0070] 通過基于使用移動(dòng)量VI'所計(jì)算出的被攝體速度來操作移位透鏡，即使在被攝體 不僅左右移動(dòng)而且還上下移動(dòng)的情況下也能夠輔助進(jìn)行搖攝拍攝。因此，在輔助用戶進(jìn)行 搖攝拍攝時(shí)，能夠更精確地檢測(cè)被攝體區(qū)域和被攝體速度。
[0071] 注意，在本實(shí)施例中，說明了如圖9A所示從多個(gè)被攝體導(dǎo)出一個(gè)被攝體901的示 例。然而，同樣在如圖9B所示被攝體正接近用戶、即同一被攝體具有被攝體距離相互不同的 區(qū)域的情況下，也可W使用與上述處理相同的處理來限制如附圖標(biāo)記902所示的計(jì)算被攝 體速度的區(qū)域。
[0072]另外，在本實(shí)施例中，說明了通過移位透鏡來校正形成被攝體的圖像的位置的示 例，但本發(fā)明不限于此，并且例如可W實(shí)現(xiàn)諸如使得攝像元件102自身偏移的形態(tài)等的形 態(tài)。
[007引第二實(shí)施例
[0074] 在第二實(shí)施例中，攝像裝置的結(jié)構(gòu)與圖1示出的第一實(shí)施例的攝像裝置100的結(jié)構(gòu) 相同，因此運(yùn)里省略對(duì)其的說明。
[0075] 圖10是示出根據(jù)第二實(shí)施例的用于輔助搖攝拍攝的操作的流程的流程圖。注意， 例如可W通過半按下操作單元111的快口按鈕等來使得該流程開始。另外，在通過實(shí)時(shí)取景 或者測(cè)光傳感器等來連續(xù)獲取多個(gè)帖圖像的狀態(tài)中進(jìn)行用于輔助搖攝拍攝的該操作。
[0076] 首先，在步驟SlOOl中，CPU 103獲得由用戶使用操作單元111設(shè)置的距離測(cè)量位 置。注意，步驟S201至S207與第一實(shí)施例的圖2的步驟S201至S207相同，因此運(yùn)里省略對(duì)其 的說明。
[0077] W下將說明用于使用距離測(cè)量位置和距離映射來對(duì)運(yùn)動(dòng)矢量進(jìn)行加權(quán)W及用于 計(jì)算被攝體矢量的方法，該方法是本實(shí)施例的特有特征。
[0078] 在步驟S1002中，CPU 103檢測(cè)具有與步驟SlOOl所獲得的距離測(cè)量位置（由圖11的 附圖標(biāo)記1101表示)處的距離映射和運(yùn)動(dòng)矢量相對(duì)應(yīng)的距離映射和運(yùn)動(dòng)矢量的塊區(qū)域。在 步驟S1003中，CPU 103使用步驟S1002中檢測(cè)到的塊區(qū)域的距離映射和運(yùn)動(dòng)矢量來對(duì)另一 塊的距離映射和運(yùn)動(dòng)矢量進(jìn)行加權(quán)。
[0079] 將參考圖3A至3D、5A和5B、圖11的al至圖11的b4、W及圖12A和12B來說明步驟 S1002和S1003的操作的細(xì)節(jié)。圖3A至3D是示出給出帖中的運(yùn)動(dòng)矢量的直方圖的變化的圖。 注意，在本實(shí)施例中，僅3A和3D用于說明。另外，圖5A和5B是示出給出帖中的被攝體矢量區(qū) 域的圖。另外，圖11是示出圖5A和5B所示的帖中的被攝體速度計(jì)算區(qū)域的變化的圖。在圖11 中，曰1至曰4示出被攝體距離與作為基準(zhǔn)的距離測(cè)量位置的差值，并且bl至b4示出運(yùn)動(dòng)矢量。 最后，圖12A和12B示出對(duì)被攝體矢量進(jìn)行加權(quán)時(shí)所用的可靠性表。圖12A示出使用距離映射 的可靠性表，并且圖12B示出使用運(yùn)動(dòng)矢量的可靠性表。
[0080] 與第一實(shí)施例相同，圖3A至3D的附圖標(biāo)記306表示被攝體矢量，并且圖5B的附圖標(biāo) 記506(通過將區(qū)域503、504和505組合來獲得區(qū)域506)表示被判斷為被攝體矢量的塊區(qū)域。 另外，分別由圖3A至3D的附圖標(biāo)記302 W及303至305來表示圖5A和5B的背景502的運(yùn)動(dòng)矢量 W及被攝體503至505的運(yùn)動(dòng)矢量。另外，圖11的al示出被判斷為被攝體矢量的塊區(qū)域506的 距離映射，并且圖11的bl示出被判斷為被攝體矢量的塊區(qū)域506的運(yùn)動(dòng)矢量。
[0081] 在假設(shè)圖11的al的附圖標(biāo)記1101表示距離測(cè)量位置的情況下，在圖11的al的塊區(qū) 域604中，被攝體距離的差值為20,因此根據(jù)圖12A的距離映射的可靠性表具有0%的可靠 性。另外，在塊區(qū)域605中，被攝體距離的差值為-10,因此具有50%的可靠性。運(yùn)里，在圖11 的曰2中示出了根據(jù)距離映射的可靠性表的加權(quán)結(jié)果。注意，"X"表示可靠性為0%，7"表示 可靠性為50 %。
[0082] 同樣地，根據(jù)圖12B的運(yùn)動(dòng)矢量的可靠性表，圖11的bl的塊區(qū)域604的可靠性為 〇%，并且在公式(7)的條件下，塊區(qū)域605的可靠性為50%。運(yùn)里，在圖11的b2中示出了根據(jù) 運(yùn)動(dòng)矢量的可靠性表的加權(quán)結(jié)果。注意，"X"表示可靠性為0%，7"表示可靠性為50%。
[0083] 塊區(qū)域604:運(yùn)動(dòng)矢量的大小的差>b
[0084] 塊區(qū)域605:運(yùn)動(dòng)矢量的大小的差= (a+b)/2…（7)
[0085] 然后，如公式(8)所給出那樣，通過將距離映射的可靠性和運(yùn)動(dòng)矢量的可靠性相乘 來確定針對(duì)被攝體矢量的加權(quán)量。注意，在圖11中的a3和b3示出針對(duì)被攝體矢量的加權(quán)量， 并且"X"表示可靠性為25 %，7"表示可靠性為50 %。
[0086] (被攝體矢量可靠性）=(距離映射可靠性）X (運(yùn)動(dòng)矢量可靠性）…化）
[0087] 因此，進(jìn)行加權(quán)W檢測(cè)具有與距離測(cè)量位置處的被攝體距離和運(yùn)動(dòng)矢量相似的被 攝體距離和運(yùn)動(dòng)矢量的塊區(qū)域作為被攝體區(qū)域。注意，上述的使用距離映射和運(yùn)動(dòng)矢量的 加權(quán)方法為示例，并且本發(fā)明不限于此。目前已經(jīng)說明了步驟S1002和S1003的細(xì)節(jié)。
[0088] 通過進(jìn)行圖10的步驟S1004的處理來提取與距離測(cè)量位置相連續(xù)的區(qū)域，排除圖 11的塊區(qū)域605,并且因此圖11中的曰3和b3采取圖11中的曰4和b4的形式。注意，除了將焦點(diǎn) 位置或者距離測(cè)量位置用作基準(zhǔn)的不同之外，步驟S1004基本上與第一實(shí)施例中說明的圖2 的步驟S209相同，因此運(yùn)里省略對(duì)其的說明。
[0089] 圖3D示出在圖3A的狀態(tài)中通過進(jìn)行步驟S1003至S1004的處理而獲得的結(jié)果。由于 圖3A的運(yùn)動(dòng)矢量304所具有的距離映射的可靠性低并且運(yùn)動(dòng)矢量305對(duì)應(yīng)于并未與距離測(cè) 量位置連續(xù)的區(qū)域，因此如圖3D的附圖標(biāo)記309和310所示，將各運(yùn)動(dòng)矢量從被攝體矢量排 除。另外，通過進(jìn)行基于如圖11的曰4的附圖標(biāo)記603所示的可靠性的加權(quán)，能夠如圖3A至3D 的附圖標(biāo)記311所示減少對(duì)被攝體矢量影響的比例。
[0090] 在步驟S210中，CPU 103使用圖像處理設(shè)備107基于如上所述加權(quán)的被攝體矢量來 計(jì)算被攝體速度。注意，用于計(jì)算被攝體速度的方法與第一實(shí)施例的方法相同，因此運(yùn)里省 略了對(duì)其的說明。步驟S211和S212與第一實(shí)施例的相同，因此運(yùn)里省略了對(duì)其的說明。通過 進(jìn)行上述步驟，能夠?qū)崿F(xiàn)輔助搖攝拍攝。
[0091] 如上所述，能夠從用作基準(zhǔn)的距離測(cè)量位置檢測(cè)被攝體矢量，因此使得能夠更精 確地檢測(cè)用戶期望表現(xiàn)出靜止的被攝體的區(qū)域中的被攝體速度。
[0092] 注意，本實(shí)施例說明了移位透鏡用于校正形成被攝體的圖像的位置的示例，但本 發(fā)明不限于此，并且可W通過例如使得攝像元件102自身偏移等的形態(tài)來實(shí)現(xiàn)。
[OOW] 其它實(shí)施例
[0094]本發(fā)明的實(shí)施例還可W通過如下的方法來實(shí)現(xiàn)，即，通過網(wǎng)絡(luò)或者各種存儲(chǔ)介質(zhì) 將執(zhí)行上述實(shí)施例的功能的軟件(程序)提供給系統(tǒng)或裝置，該系統(tǒng)或裝置的計(jì)算機(jī)或是中 央處理單元(CPU)、微處理單元(MPU)讀出并執(zhí)行程序的方法。
[00%]盡管已經(jīng)參考典型實(shí)施例描述了本發(fā)明，但是應(yīng)該理解，本發(fā)明不局限于所公開 的典型實(shí)施例。所附權(quán)利要求書的范圍符合最寬泛的解釋，W包含所有運(yùn)類修改、等同結(jié)構(gòu) 和功能。
【主權(quán)項(xiàng)】
1. 一種圖像處理設(shè)備，包括： 分割單元，用于在畫面上將攝像單元連續(xù)拍攝到的多個(gè)幀圖像各自分割成多個(gè)區(qū)域； 運(yùn)動(dòng)矢量檢測(cè)單元，用于針對(duì)所述多個(gè)幀圖像的各分割區(qū)域來檢測(cè)運(yùn)動(dòng)矢量； 分離單元，用于基于平遙檢測(cè)單元所檢測(cè)到的所述圖像處理設(shè)備的平遙速度和所述運(yùn) 動(dòng)矢量檢測(cè)單元所檢測(cè)到的運(yùn)動(dòng)矢量，將用于表示被攝體的運(yùn)動(dòng)的被攝體矢量與用于表示 背景的運(yùn)動(dòng)的背景矢量進(jìn)行分離；以及 識(shí)別單元，用于通過基于與距離檢測(cè)單元針對(duì)所述多個(gè)幀圖像的各分割區(qū)域所檢測(cè)到 的被攝體的距離有關(guān)的信息對(duì)所述被攝體矢量進(jìn)行加權(quán)，來識(shí)別被攝體區(qū)域。2. 根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，其中，還包括： 計(jì)算單元，用于使用所識(shí)別出的所述被攝體區(qū)域的被攝體矢量來計(jì)算被攝體的速度。3. 根據(jù)權(quán)利要求2所述的圖像處理設(shè)備，其中，還包括： 輔助單元，用于通過基于所計(jì)算出的被攝體的速度對(duì)用于校正圖像模糊的模糊校正單 元的運(yùn)動(dòng)進(jìn)行控制，來輔助進(jìn)行搖攝拍攝。4. 根據(jù)權(quán)利要求3所述的圖像處理設(shè)備，其中， 所述輔助單元基于所計(jì)算出的被攝體的速度和所述平遙速度之間的差來控制所述模 糊校正單元的運(yùn)動(dòng)。5. 根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，其中， 與被攝體的距離有關(guān)的信息是散焦量。6. 根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，其中，還包括： 獲得單元，用于獲得距離測(cè)量位置， 其中，所述識(shí)別單元基于所獲得的所述距離測(cè)量位置來對(duì)所述被攝體矢量進(jìn)行加權(quán)。7. 根據(jù)權(quán)利要求6所述的圖像處理設(shè)備，其中， 所述識(shí)別單元基于與所述多個(gè)區(qū)域中對(duì)應(yīng)于所述距離測(cè)量位置的區(qū)域中的被攝體的 距離有關(guān)的信息和與其它區(qū)域中的被攝體的距離有關(guān)的信息之間的差值來對(duì)所述被攝體 矢量進(jìn)行加權(quán)。8. 根據(jù)權(quán)利要求6所述的圖像處理設(shè)備，其中， 所述識(shí)別單元基于所述多個(gè)區(qū)域中對(duì)應(yīng)于所述距離測(cè)量位置的區(qū)域中的運(yùn)動(dòng)矢量和 其它區(qū)域中的運(yùn)動(dòng)矢量之間的差值來對(duì)所述被攝體矢量進(jìn)行加權(quán)。9. 根據(jù)權(quán)利要求6所述的圖像處理設(shè)備，其中， 所述識(shí)別單元基于以所述距離測(cè)量位置作為基準(zhǔn)的所述被攝體矢量連續(xù)的連續(xù)區(qū)域 來識(shí)別所述被攝體區(qū)域。10. 根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，其中，還包括： 顏色比檢測(cè)單元，用于針對(duì)各分割區(qū)域來檢測(cè)顏色比， 其中，所述識(shí)別單元通過將具有處于預(yù)定閾值內(nèi)的顏色比的區(qū)域確定為屬于同一被攝 體來識(shí)別所述被攝體區(qū)域。11. 一種圖像處理方法，包括以下步驟： 分割步驟，用于在畫面上將攝像單元連續(xù)拍攝到的多個(gè)幀圖像各自分割成多個(gè)區(qū)域； 運(yùn)動(dòng)矢量檢測(cè)步驟，用于針對(duì)所述多個(gè)幀圖像的各分割區(qū)域來檢測(cè)運(yùn)動(dòng)矢量； 分離步驟，用于基于平遙檢測(cè)單元所檢測(cè)到的設(shè)備的平遙速度和所述運(yùn)動(dòng)矢量檢測(cè)步 驟中所檢測(cè)到的運(yùn)動(dòng)矢量，將用于表示被攝體的運(yùn)動(dòng)的被攝體矢量與用于表示背景的運(yùn)動(dòng) 的背景矢量進(jìn)行分離；以及 識(shí)別步驟，用于通過基于與距離檢測(cè)單元針對(duì)所述多個(gè)幀圖像的各分割區(qū)域所檢測(cè)到 的被攝體的距離有關(guān)的信息對(duì)所述被攝體矢量進(jìn)行加權(quán)，來識(shí)別被攝體區(qū)域。
【文檔編號(hào)】H04N5/232GK105979135SQ201610141171
【公開日】2016年9月28日
【申請(qǐng)日】2016年3月11日
【發(fā)明人】朽木洋晃
【申請(qǐng)人】佳能株式會(huì)社