專利名稱：用于處理圖像的裝置、方法和程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及用于處理圖像的裝置、方法和程序，并且尤其涉及考慮到圖像上的運(yùn)動(dòng)圖像模糊的情況下用于得到高質(zhì)量圖像的圖像處理技術(shù)。

背景技術(shù)：
當(dāng)以高速快門拍攝的運(yùn)動(dòng)圖像或動(dòng)畫在例如投影儀或顯示器的顯示設(shè)備上顯示時(shí)，包含于圖像中的運(yùn)動(dòng)對(duì)象的運(yùn)動(dòng)可用非連續(xù)方式顯示。這導(dǎo)致頻繁的圖像降級(jí)，其中用戶看見運(yùn)動(dòng)對(duì)象的多個(gè)圖像。由于運(yùn)動(dòng)不自然造成的運(yùn)動(dòng)圖像的降級(jí)一般稱為急動(dòng)(motion jerkiness)。另一方面，當(dāng)顯示用低速快門，例如用打開快門拍攝的運(yùn)動(dòng)圖像時(shí)，對(duì)象的圖像可能缺乏細(xì)節(jié)或由于運(yùn)動(dòng)模糊的影響而使圖像邊緣變得模糊。這一現(xiàn)象被稱作運(yùn)動(dòng)模糊，其也是圖像降級(jí)之一。
參照?qǐng)D26-28描述了急動(dòng)和模糊的產(chǎn)生原理。根據(jù)視覺特性，已知人類將入射到眼睛的光線從視覺上識(shí)別成通過積分預(yù)定時(shí)間段的光線而產(chǎn)生的值。圖26-28概略地圖解了根據(jù)所述視覺特性由觀看者觀看對(duì)象的方式。
圖26A和26B圖解了在真實(shí)世界中靜止對(duì)象和運(yùn)動(dòng)對(duì)象看上去怎樣。
圖26A用表示位置(x)的橫坐標(biāo)和表示時(shí)間(t)的縱坐標(biāo)圖解了靜止對(duì)象71和運(yùn)動(dòng)對(duì)象72的按時(shí)間順序的運(yùn)動(dòng)。圖26B概略地圖解了觀看靜止對(duì)象71和運(yùn)動(dòng)對(duì)象72的觀看者的視覺。觀看者在兩種視覺條件下觀看對(duì)象，即，跟蹤運(yùn)動(dòng)對(duì)象72的跟蹤視覺和不跟蹤運(yùn)動(dòng)對(duì)象72的固定視覺，其分別被圖解成(a)跟蹤視覺和(b)固定視覺。
如果觀看者用圖26B中所示的(a)跟蹤視覺來跟蹤運(yùn)動(dòng)對(duì)象72，則運(yùn)動(dòng)對(duì)象72看來像運(yùn)動(dòng)對(duì)象視覺信息a72。這與用圖26B中的(b)固定視覺去看靜止對(duì)象71的固定目標(biāo)視覺信息b71相同。如果觀看者通過這種方式用跟蹤視覺來觀看運(yùn)動(dòng)對(duì)象72，則運(yùn)動(dòng)對(duì)象72看上去如同靜止對(duì)象71以固定視覺看上去一樣。如果觀看者用如圖26B中所圖解的(b)固定視覺那樣的固定視覺來觀看運(yùn)動(dòng)對(duì)象72，則運(yùn)動(dòng)對(duì)象72看上去像圖26B中的運(yùn)動(dòng)對(duì)象視覺信息信息b72。觀看者將運(yùn)動(dòng)對(duì)象在視覺上識(shí)別為連續(xù)運(yùn)動(dòng)對(duì)象，并且沒有任何不舒適的觀看。
圖27A和27B圖解了當(dāng)用高速快門拍攝的運(yùn)動(dòng)圖像或動(dòng)畫在例如投影儀或顯示設(shè)備的顯示設(shè)備上顯示時(shí)，由觀看者觀看到的急動(dòng)的產(chǎn)生原理。急動(dòng)是一種現(xiàn)象，其中包含于圖像中的運(yùn)動(dòng)對(duì)象的運(yùn)動(dòng)以非連續(xù)方式顯示，使觀看者在視覺上看出運(yùn)動(dòng)對(duì)象的多個(gè)圖像。
圖26A和26B中真實(shí)世界中的運(yùn)動(dòng)對(duì)象以高速快門成像，然后以60Hz的刷新速率在顯示設(shè)備上顯示。圖27A和27B圖解了觀看者在視覺上識(shí)別運(yùn)動(dòng)對(duì)象的方式。圖27A圖解了在顯示設(shè)備上顯示靜止對(duì)象81和顯示運(yùn)動(dòng)對(duì)象82的顯示位置的變化。在圖27A中，縱坐標(biāo)表示時(shí)間(t)并且按顯示設(shè)備的刷新周期(每個(gè)周期是1/60秒)漸進(jìn)，而橫坐標(biāo)表示顯示位置(x)。圖27B概略地圖解了觀看在顯示設(shè)備上顯示的顯示靜止對(duì)象81和顯示運(yùn)動(dòng)對(duì)象82的觀看者的視覺狀態(tài)。觀看者的視覺狀態(tài)包含(a)跟蹤視覺，其中觀看者以跟蹤顯示運(yùn)動(dòng)對(duì)象82的方式觀看圖像，以及(b)固定視覺，其中觀看者以不跟蹤顯示運(yùn)動(dòng)對(duì)象82但觀看者的視覺固定的方式來觀看圖像。
當(dāng)由觀看者用圖27B中所示的(a)跟蹤視覺觀看顯示設(shè)備上顯示的顯示運(yùn)動(dòng)對(duì)象82時(shí)，圖像a82看上去如同用圖26B中的(a)跟蹤視覺的圖像a72看上去一樣。觀看者以和觀看者用固定視覺觀看靜止對(duì)象的方式相同的方式在視覺上看到圖像。
當(dāng)觀看者用圖27B中所示的(b)固定視覺觀看顯示設(shè)備上顯示的顯示運(yùn)動(dòng)對(duì)象82時(shí)，顯示運(yùn)動(dòng)對(duì)象82看上去像圖像b82，其不是連續(xù)地運(yùn)動(dòng)，而是以不同于在觀看者的視覺中的現(xiàn)實(shí)世界的方式非連續(xù)地運(yùn)動(dòng)。因而，基于人的視覺特性，觀看者在視覺上將顯示設(shè)備上顯示的運(yùn)動(dòng)對(duì)象識(shí)別成多個(gè)圖像。在人的視覺特性中，人類將入射到眼睛上的光線在視覺上識(shí)別成通過積分預(yù)定時(shí)間段的光線而產(chǎn)生的值。
這樣，觀看者將單個(gè)對(duì)象看成多個(gè)對(duì)象。這一現(xiàn)象被稱作急動(dòng)。一般地，高速運(yùn)動(dòng)的對(duì)象出現(xiàn)更多的急動(dòng)。顯示設(shè)備的幀速率越低，急動(dòng)發(fā)生得越多，而幀速率越高，則急動(dòng)發(fā)生越少。此外，急動(dòng)在空間亮度變化較大，即空間對(duì)比度較高的圖像部分中更多發(fā)生。
圖28A和28B圖解了當(dāng)用低速快門，例如用打開快門拍攝的運(yùn)動(dòng)圖像或動(dòng)畫在例如投影儀或顯示器的顯示設(shè)備上顯示時(shí)，由觀看者觀看到的模糊是如何產(chǎn)生的。模糊是一種現(xiàn)象，其中由于運(yùn)動(dòng)模糊的作用，對(duì)象的圖像可能缺乏細(xì)節(jié)或者圖像邊緣變得模糊。
圖28A和28B概略地圖解了當(dāng)以低速快門對(duì)運(yùn)動(dòng)對(duì)象成像并接著以60Hz的刷新速率在顯示設(shè)備上顯示時(shí)，在圖26A和26B中圖解的真實(shí)世界中的運(yùn)動(dòng)對(duì)象對(duì)于觀看者來說看上去如何。圖28A圖解了在顯示設(shè)備上顯示靜止對(duì)象91和顯示運(yùn)動(dòng)對(duì)象92的顯示位置變化。在圖28A中，縱坐標(biāo)表示時(shí)間(t)并且按顯示設(shè)備的刷新周期(每個(gè)周期是1/60秒)漸進(jìn)，而橫坐標(biāo)表示顯示位置(x)。圖28B概略地圖解了觀看在顯示設(shè)備上顯示的顯示靜止對(duì)象91和顯示運(yùn)動(dòng)對(duì)象92的觀看者的視覺狀態(tài)。觀看者的視覺狀態(tài)包含(a)跟蹤視覺，其中觀看者以跟蹤顯示運(yùn)動(dòng)對(duì)象92的方式觀看圖像，以及(b)固定視覺，其中觀看者以不跟蹤顯示運(yùn)動(dòng)對(duì)象92但觀看者的視覺固定的方式觀看圖像。
當(dāng)由觀看者用圖28B中所示的(b)固定視覺觀看顯示設(shè)備上顯示的顯示運(yùn)動(dòng)對(duì)象92時(shí)，圖像b92看上去與圖像b72用圖26B中的(b)固定視覺看上去一樣。觀看者將運(yùn)動(dòng)對(duì)象在視覺上識(shí)別為連續(xù)運(yùn)動(dòng)對(duì)象，并且沒有任何不舒適的觀看。
當(dāng)由觀看者用跟蹤視覺觀看顯示設(shè)備上顯示的顯示運(yùn)動(dòng)對(duì)象92時(shí)，以不同于用固定視覺觀看靜止對(duì)象的情況的方式，圖像a92對(duì)于觀看者來說被看成如圖28B所示的模糊圖像。當(dāng)圖28A中的顯示運(yùn)動(dòng)對(duì)象92被成像時(shí)，在低速快門的長(zhǎng)曝光期間運(yùn)動(dòng)對(duì)象的運(yùn)動(dòng)被記錄在一個(gè)幀內(nèi)，這樣，運(yùn)動(dòng)對(duì)象被顯示為一個(gè)幀中的帶。這樣的現(xiàn)象被稱作模糊。
原則上，針對(duì)成像快門速度，在急動(dòng)與模糊之間存在折衷。單純的快門控制使得急動(dòng)的降級(jí)或模糊的降級(jí)明顯。更具體地說，如果用就運(yùn)動(dòng)圖像幀速率而言的相對(duì)高快門速度拍攝的圖像被顯示為靜止圖像，則提供高銳度。如果圖像被顯示為運(yùn)動(dòng)圖像，則圖像內(nèi)的運(yùn)動(dòng)區(qū)域，尤其是高速的運(yùn)動(dòng)區(qū)域的運(yùn)動(dòng)不平滑。這樣的圖像對(duì)于人類的視覺來說看上去不自然。如果用就運(yùn)動(dòng)圖像幀速率而言的相對(duì)低快門速度拍攝的圖像被顯示為運(yùn)動(dòng)圖像，則提供高銳度。如果圖像被顯示為運(yùn)動(dòng)圖像，則圖像內(nèi)的高速運(yùn)動(dòng)區(qū)域的運(yùn)動(dòng)是平滑的，但是整個(gè)圖像缺乏銳度。
轉(zhuǎn)讓給本發(fā)明的相同受讓人的日本待審專利申請(qǐng)公開說明書2007-274299(WO07/114220)公開了一種旨在用于以高快門速度拍攝的圖像的急動(dòng)降低技術(shù)。根據(jù)所公開的技術(shù)，通過圖像處理增加運(yùn)動(dòng)模糊。通過圖像處理的分析控制所增加的運(yùn)動(dòng)模糊量，使得運(yùn)動(dòng)模糊的過度增加不會(huì)導(dǎo)致模糊降級(jí)。廣泛地研究了通過主要對(duì)以低快門速度拍攝的輸入圖像執(zhí)行的圖像處理來降低運(yùn)動(dòng)模糊的技術(shù)方案。例如，用于校正圖像的模糊的圖像處理技術(shù)主要包含基于模糊模型的逆卷積技術(shù)，以及不使用模糊模型的技術(shù)，例如峰值技術(shù)或沖擊濾波技術(shù)。例如，在文章″Extension ofCoupled Nonlinear Diffusion to Motion De-blurring-Introduction ofAnisotropic Peaking，″Takahiro SAITO，Hiroyuki HARADA，和TakashiKOMATSU，The Institute of Image Information and Television EngineersVol.58，No.12 pp.1839-1844(2004)中公開的技術(shù)涉及作為運(yùn)動(dòng)模糊降低手段的基于模糊模型的逆卷積技術(shù)。在文章″Motion De-blurring Using aBlur Model，″Takahiro SAITO，Hiroyuki HARADA，Taishi SANO，和Takashi KOMATSU，The Institute of Image Information and TelevisionEngineers Vol.59，No.11，pp.1714-1721(2005)中公開的技術(shù)涉及不使用模糊模型作為運(yùn)動(dòng)模糊降低手段的技術(shù)。


發(fā)明內(nèi)容
如上所述，針對(duì)成像快門速度，在急動(dòng)與模糊之間存在折衷。單純的快門控制使得急動(dòng)或模糊明顯。
因而期望提供一種圖像處理技術(shù)，其恰當(dāng)?shù)仨憫?yīng)上述圖像質(zhì)量降級(jí)的原因并且自適應(yīng)地應(yīng)用于急動(dòng)和模糊以控制急動(dòng)和模糊降級(jí)。
根據(jù)本發(fā)明的一個(gè)實(shí)施例，圖像處理裝置包含校正參數(shù)計(jì)算裝置，用于基于指示單元圖像之間圖像的運(yùn)動(dòng)的運(yùn)動(dòng)信息、形成圖像數(shù)據(jù)的單元圖像以及在圖像數(shù)據(jù)的圖像捕獲時(shí)獲得的快門速度信息，計(jì)算用于運(yùn)動(dòng)模糊校正的運(yùn)動(dòng)模糊校正參數(shù)；以及運(yùn)動(dòng)模糊校正處理裝置，用于通過根據(jù)所述運(yùn)動(dòng)模糊校正參數(shù)至少執(zhí)行減少運(yùn)動(dòng)模糊的處理，校正包含于所述圖像數(shù)據(jù)中的運(yùn)動(dòng)模糊量。
運(yùn)動(dòng)模糊校正處理裝置可根據(jù)所述運(yùn)動(dòng)模糊校正參數(shù)執(zhí)行在所述圖像數(shù)據(jù)上增加運(yùn)動(dòng)模糊的處理和減少運(yùn)動(dòng)模糊的處理。
圖像處理裝置還可以包含用于通過分析所述圖像數(shù)據(jù)來估計(jì)快門速度信息的快門速度估計(jì)處理裝置，其中所述校正參數(shù)計(jì)算裝置使用由所述快門速度估計(jì)處理裝置估計(jì)的快門速度信息，以便計(jì)算所述運(yùn)動(dòng)模糊校正參數(shù)。
運(yùn)動(dòng)模糊校正處理裝置可根據(jù)所述運(yùn)動(dòng)模糊校正參數(shù)，響應(yīng)于所述圖像數(shù)據(jù)的每個(gè)分區(qū)區(qū)域，自適應(yīng)地選擇所述增加運(yùn)動(dòng)模糊的處理和所述減少運(yùn)動(dòng)模糊的處理中的一個(gè)。
運(yùn)動(dòng)模糊校正處理裝置可對(duì)所述圖像分別執(zhí)行所述增加運(yùn)動(dòng)模糊的處理和所述減少運(yùn)動(dòng)模糊的處理，以及根據(jù)所述運(yùn)動(dòng)模糊校正參數(shù)，在由所述增加運(yùn)動(dòng)模糊的處理產(chǎn)生的數(shù)據(jù)與由所述減少運(yùn)動(dòng)模糊的處理產(chǎn)生的數(shù)據(jù)之間選擇作為針對(duì)所述圖像數(shù)據(jù)的每個(gè)分區(qū)區(qū)域自適應(yīng)地輸出的數(shù)據(jù)。
圖像處理裝置還可以包含用于由所述圖像數(shù)據(jù)生成運(yùn)動(dòng)向量以作為所述運(yùn)動(dòng)信息的運(yùn)動(dòng)向量生成裝置。
快門速度估計(jì)處理裝置可包含運(yùn)動(dòng)模糊特征分析器，用于通過分析包含于所述圖像數(shù)據(jù)的目標(biāo)區(qū)域中的運(yùn)動(dòng)模糊特征來提取快門速度計(jì)算參數(shù)；以及成像快門速度計(jì)算器，用于計(jì)算所述圖像數(shù)據(jù)的圖像捕獲時(shí)的快門速度。
快門速度估計(jì)處理裝置還可以包含處理目標(biāo)區(qū)域選擇器，用于從形成所述圖像數(shù)據(jù)的單元圖像中提取和識(shí)別所述運(yùn)動(dòng)模糊特征分析器的分析處理的目標(biāo)區(qū)域。
圖像處理裝置還可以包含運(yùn)動(dòng)向量生成裝置，用于由所述圖像數(shù)據(jù)生成運(yùn)動(dòng)向量以作為所述運(yùn)動(dòng)信息。所述快門速度估計(jì)處理裝置中的處理目標(biāo)區(qū)域選擇器利用所述圖像數(shù)據(jù)的邊緣信息以及由所述運(yùn)動(dòng)向量生成裝置生成的運(yùn)動(dòng)向量來識(shí)別所述目標(biāo)區(qū)域。
快門速度估計(jì)處理裝置還可以包含成像快門速度準(zhǔn)確度增強(qiáng)處理器。運(yùn)動(dòng)模糊特征分析器提取多個(gè)目標(biāo)區(qū)域的快門速度計(jì)算參數(shù)。成像快門速度計(jì)算器利用多個(gè)目標(biāo)區(qū)域的快門速度計(jì)算參數(shù)以及各個(gè)目標(biāo)區(qū)域的運(yùn)動(dòng)信息計(jì)算多個(gè)快門速度。成像快門速度準(zhǔn)確度增強(qiáng)處理器利用多個(gè)快門速度的計(jì)算結(jié)果估計(jì)成像快門速度。
快門速度估計(jì)處理裝置在輸入的圖像數(shù)據(jù)中從檢測(cè)到景象改變到檢測(cè)到下一個(gè)景象改變的時(shí)間段內(nèi)可估計(jì)快門速度一次，并且在該時(shí)間段內(nèi)保持所估計(jì)的快門速度。
快門速度估計(jì)處理裝置可包含成像快門速度準(zhǔn)確度增強(qiáng)處理器。成像快門速度準(zhǔn)確度增強(qiáng)處理器在從所述輸入圖像數(shù)據(jù)中景象改變的檢測(cè)到下一個(gè)景象改變的檢測(cè)的時(shí)間段內(nèi)估計(jì)所述快門速度多次，并且基于所估計(jì)的多個(gè)快門速度的計(jì)算結(jié)果估計(jì)成像快門速度。
校正參數(shù)計(jì)算裝置可通過參考將目標(biāo)速度映射到成像快門速度的映射信息，從所述圖像數(shù)據(jù)的每個(gè)分區(qū)區(qū)域獲得對(duì)應(yīng)于所述目標(biāo)速度的最優(yōu)快門速度，其中以所述映射到的成像快門速度能夠減少輸出圖像的圖像質(zhì)量降級(jí)，并且通過比較有關(guān)輸入成像快門速度的信息與所述最優(yōu)快門速度，將所述運(yùn)動(dòng)模糊校正參數(shù)計(jì)算為用于在增加所述圖像數(shù)據(jù)上的運(yùn)動(dòng)模糊的處理與減少所述圖像數(shù)據(jù)上的運(yùn)動(dòng)模糊的處理之間進(jìn)行選擇的選擇控制信息。運(yùn)動(dòng)模糊校正處理裝置根據(jù)運(yùn)動(dòng)模糊校正參數(shù)可有選擇地對(duì)圖像數(shù)據(jù)執(zhí)行增加運(yùn)動(dòng)模糊的處理和減少運(yùn)動(dòng)模糊的處理。
校正參數(shù)計(jì)算裝置可通過參考將目標(biāo)速度映射到成像快門速度的映射信息，從所述圖像數(shù)據(jù)的每個(gè)分區(qū)區(qū)域獲得對(duì)應(yīng)于所述目標(biāo)速度的最優(yōu)快門速度，其中以所述成像快門速度能減少輸出圖像的圖像質(zhì)量降級(jí)，以及通過比較有關(guān)輸入成像快門速度的信息與所述最優(yōu)快門速度，將所述運(yùn)動(dòng)模糊校正參數(shù)計(jì)算為用于在增加所述圖像數(shù)據(jù)上的運(yùn)動(dòng)模糊的處理與減少所述圖像數(shù)據(jù)上的運(yùn)動(dòng)模糊的處理之間進(jìn)行選擇的選擇控制信息。運(yùn)動(dòng)模糊校正處理裝置可對(duì)所述圖像分別執(zhí)行增加運(yùn)動(dòng)模糊的處理和減少運(yùn)動(dòng)模糊的處理，以及根據(jù)所述運(yùn)動(dòng)模糊校正參數(shù)，在由增加運(yùn)動(dòng)模糊的處理產(chǎn)生的數(shù)據(jù)與由減少運(yùn)動(dòng)模糊的處理產(chǎn)生的數(shù)據(jù)之間選擇作為針對(duì)所述圖像數(shù)據(jù)的每個(gè)分區(qū)區(qū)域自適應(yīng)地輸出的數(shù)據(jù)。
校正參數(shù)計(jì)算裝置可計(jì)算運(yùn)動(dòng)模糊校正參數(shù)，其指示由所述運(yùn)動(dòng)模糊校正處理裝置分別在增加所述圖像數(shù)據(jù)上的運(yùn)動(dòng)模糊的處理和減少所述圖像數(shù)據(jù)上的運(yùn)動(dòng)模糊的處理中使用的運(yùn)動(dòng)模糊的增加度和運(yùn)動(dòng)模糊的減少度之一。
指示運(yùn)動(dòng)模糊的增加度和運(yùn)動(dòng)模糊的減少度之一的所述運(yùn)動(dòng)模糊校正參數(shù)可包括成像快門速度和成像快門速度與最優(yōu)快門速度之間的差之一。
指示運(yùn)動(dòng)模糊的增加度與運(yùn)動(dòng)模糊的減少度之一的運(yùn)動(dòng)模糊校正參數(shù)可包括分區(qū)區(qū)域的運(yùn)動(dòng)速度信息。
根據(jù)本發(fā)明的另一個(gè)實(shí)施例，圖像處理方法包含基于指示單元圖像之間的圖像運(yùn)動(dòng)的運(yùn)動(dòng)信息、形成圖像數(shù)據(jù)的單元圖像以及在所述圖像數(shù)據(jù)的圖像捕獲時(shí)獲得的快門速度信息，計(jì)算用于運(yùn)動(dòng)模糊校正的運(yùn)動(dòng)模糊校正參數(shù)，以及通過根據(jù)所述運(yùn)動(dòng)模糊校正參數(shù)至少執(zhí)行減少運(yùn)動(dòng)模糊的處理，校正包含于所述圖像數(shù)據(jù)中的運(yùn)動(dòng)模糊量。
根據(jù)本發(fā)明的另一個(gè)實(shí)施例，一種程序使計(jì)算機(jī)執(zhí)行圖像處理方法。圖像處理方法包含基于指示單元圖像之間的圖像運(yùn)動(dòng)的運(yùn)動(dòng)信息、形成圖像數(shù)據(jù)的單元圖像以及在所述圖像數(shù)據(jù)的圖像捕獲時(shí)獲得的快門速度信息，計(jì)算用于運(yùn)動(dòng)模糊校正的運(yùn)動(dòng)模糊校正參數(shù)，以及通過根據(jù)所述運(yùn)動(dòng)模糊校正參數(shù)至少執(zhí)行減少運(yùn)動(dòng)模糊的處理，校正包含于所述圖像數(shù)據(jù)中的運(yùn)動(dòng)模糊量。



圖1是根據(jù)本發(fā)明的一個(gè)實(shí)施例的圖像處理裝置的第一基本結(jié)構(gòu)的模塊圖； 圖2根據(jù)本發(fā)明的一個(gè)實(shí)施例圖解了分區(qū)區(qū)域； 圖3是根據(jù)本發(fā)明的一個(gè)實(shí)施例的圖像處理裝置的第二基本結(jié)構(gòu)的模塊圖； 圖4是根據(jù)本發(fā)明的一個(gè)實(shí)施例的圖像處理裝置的第三基本結(jié)構(gòu)的模塊圖； 圖5是根據(jù)本發(fā)明的一個(gè)實(shí)施例的圖像再現(xiàn)裝置的模塊圖； 圖6是根據(jù)本發(fā)明的一個(gè)實(shí)施例的運(yùn)動(dòng)向量生成處理器的模塊圖； 圖7的流程解了本發(fā)明的一個(gè)實(shí)施例的運(yùn)動(dòng)向量生成處理器的操作； 圖8是圖解根據(jù)本發(fā)明的一個(gè)實(shí)施例的快門速度估計(jì)處理器的模塊圖； 圖9根據(jù)本發(fā)明的一個(gè)實(shí)施例圖解了運(yùn)動(dòng)模糊長(zhǎng)度； 圖10A1到10C2根據(jù)本發(fā)明的一個(gè)實(shí)施例圖解了運(yùn)動(dòng)模糊長(zhǎng)度； 圖11A-11C根據(jù)本發(fā)明的一個(gè)實(shí)施例圖解了運(yùn)動(dòng)模糊長(zhǎng)度的計(jì)算過程； 圖12是圖解根據(jù)本發(fā)明的一個(gè)實(shí)施例的快門速度估計(jì)處理器的詳細(xì)模塊圖； 圖13根據(jù)本發(fā)明的一個(gè)實(shí)施例圖解了運(yùn)動(dòng)模糊特征分析器的處理； 圖14是根據(jù)本發(fā)明的一個(gè)實(shí)施例的運(yùn)動(dòng)模糊采樣頻率表； 圖15是根據(jù)本發(fā)明的一個(gè)實(shí)施例的運(yùn)動(dòng)模糊校正參數(shù)計(jì)算器和運(yùn)動(dòng)模糊校正處理器的模塊圖； 圖16根據(jù)本發(fā)明的一個(gè)實(shí)施例圖解了最優(yōu)快門速度； 圖17是根據(jù)本發(fā)明的一個(gè)實(shí)施例的處理選擇控制器的處理的流程圖； 圖18圖解了根據(jù)本發(fā)明的一個(gè)實(shí)施例的響應(yīng)于目標(biāo)速度和成像快門速度而執(zhí)行的處理； 圖19是根據(jù)本發(fā)明的一個(gè)實(shí)施例的運(yùn)動(dòng)模糊減少處理器的模塊圖； 圖20A和20B根據(jù)本發(fā)明的一個(gè)實(shí)施例圖解了平滑濾波器； 圖21是根據(jù)本發(fā)明的一個(gè)實(shí)施例的運(yùn)動(dòng)模糊增加處理器的模塊圖； 圖22的流程圖根據(jù)本發(fā)明的一個(gè)實(shí)施例圖解了運(yùn)動(dòng)向量屏蔽處理； 圖23根據(jù)本發(fā)明的一個(gè)實(shí)施例圖解了濾波參數(shù)計(jì)算處理； 圖24是根據(jù)本發(fā)明的一個(gè)實(shí)施例的另一個(gè)運(yùn)動(dòng)模糊增加處理器的模塊圖； 圖25是圖解根據(jù)本發(fā)明的一個(gè)實(shí)施例的另一個(gè)運(yùn)動(dòng)模糊校正處理器的模塊圖； 圖26A和26B圖解了與靜止對(duì)象和運(yùn)動(dòng)對(duì)象看上去如何有關(guān)的急動(dòng)和模糊的生成原理； 圖27A和27B圖解了急動(dòng)的生成原理；以及 圖28A和28B圖解了模糊的生成原理。

具體實(shí)施例方式 下面參考附圖描述本發(fā)明的實(shí)施例。
本發(fā)明的實(shí)施例的圖像處理裝置的第一到第三基本結(jié)構(gòu)描述如下。本發(fā)明不局限于如下所述的三個(gè)基本結(jié)構(gòu)。
本發(fā)明的一個(gè)實(shí)施例的圖像處理裝置旨在生成圖像，其中通過圖像處理減少圖像的急動(dòng)和模糊。如果在顯示設(shè)備上顯示以簡(jiǎn)單快門控制拍攝的運(yùn)動(dòng)圖像，該運(yùn)動(dòng)圖像可能由于人類視覺特性而看上去不自然，具有明顯的急動(dòng)或者模糊。根據(jù)本發(fā)明的一個(gè)實(shí)施例，通過根據(jù)有關(guān)在輸入圖像的捕獲時(shí)所使用的快門速度的信息將運(yùn)動(dòng)模糊加到高速快門捕獲的圖像上，來減少急動(dòng)的產(chǎn)生。如果輸入低速快門捕獲的圖像，則執(zhí)行減少運(yùn)動(dòng)模糊的處理以便減少模糊降級(jí)。更具體地說，響應(yīng)于輸入圖像信號(hào)以及圖像捕獲時(shí)使用的快門速度與對(duì)象運(yùn)動(dòng)速度之間的關(guān)系的情況，自適應(yīng)地執(zhí)行(增加和減少運(yùn)動(dòng)模糊的)兩個(gè)處理。因而既控制了急動(dòng)降級(jí)又控制了模糊降級(jí)。通過生成具有較少圖像質(zhì)量降級(jí)的圖像信號(hào)并且輸出高質(zhì)量圖像來執(zhí)行高質(zhì)量圖像處理。
圖1圖解了具有第一基本結(jié)構(gòu)的圖像處理裝置1。
圖像處理裝置1包含圖像獲取單元11、運(yùn)動(dòng)模糊校正參數(shù)計(jì)算器12和運(yùn)動(dòng)模糊校正處理器13。圖像獲取單元11將圖像數(shù)據(jù)獲取到圖像處理裝置1中。運(yùn)動(dòng)模糊校正參數(shù)計(jì)算器12設(shè)置用于校正由圖像獲取單元11獲取的圖像上的運(yùn)動(dòng)模糊的參數(shù)。運(yùn)動(dòng)模糊校正處理器13對(duì)由圖像獲取單元11獲取的圖像數(shù)據(jù)執(zhí)行運(yùn)動(dòng)模糊校正處理。
運(yùn)動(dòng)模糊校正參數(shù)計(jì)算器12接收由圖像獲取單元11獲得的圖像數(shù)據(jù)的運(yùn)動(dòng)信息以及指示當(dāng)捕獲圖像數(shù)據(jù)時(shí)每幀的曝光時(shí)間的快門速度信息。運(yùn)動(dòng)模糊校正參數(shù)計(jì)算器12由這些輸入信息計(jì)算最佳參數(shù)，用于在圖像數(shù)據(jù)的每一幀中逐個(gè)分區(qū)區(qū)域地校正所獲得的圖像數(shù)據(jù)的運(yùn)動(dòng)模糊，然后將所計(jì)算的最佳參數(shù)提供給運(yùn)動(dòng)模糊校正處理器13。如圖2所示，例如，運(yùn)動(dòng)模糊校正參數(shù)計(jì)算器12在一個(gè)幀內(nèi)設(shè)置多個(gè)分區(qū)區(qū)域(像素塊)#1-#m，針對(duì)每一分區(qū)區(qū)域#1-#m計(jì)算運(yùn)動(dòng)模糊校正參數(shù)，然后將運(yùn)動(dòng)模糊校正參數(shù)提供給運(yùn)動(dòng)模糊校正處理器13。運(yùn)動(dòng)信息不限于指示幀之間的圖像運(yùn)動(dòng)的信息。運(yùn)動(dòng)信息可以是表示形成運(yùn)動(dòng)圖像的單元圖像之間的圖像運(yùn)動(dòng)的信息，例如表示場(chǎng)之間的圖像運(yùn)動(dòng)的信息。
運(yùn)動(dòng)模糊校正處理器13利用由運(yùn)動(dòng)模糊校正參數(shù)計(jì)算器12計(jì)算的運(yùn)動(dòng)模糊校正參數(shù)校正圖像數(shù)據(jù)的一定量的運(yùn)動(dòng)模糊，然后從圖像處理裝置1內(nèi)向外部輸出運(yùn)動(dòng)模糊校正的圖像數(shù)據(jù)。運(yùn)動(dòng)模糊校正處理器13包含分類單元31、運(yùn)動(dòng)模糊減少處理器32、運(yùn)動(dòng)模糊增加處理器33和合成器34。
根據(jù)分區(qū)區(qū)域的運(yùn)動(dòng)模糊量將被減少還是增加，分類單元31將輸入圖像數(shù)據(jù)的每一分區(qū)區(qū)域#1-#m的圖像數(shù)據(jù)輸出給運(yùn)動(dòng)模糊減少處理器32和運(yùn)動(dòng)模糊增加處理器33之一。運(yùn)動(dòng)模糊減少處理器32執(zhí)行減少輸入圖像數(shù)據(jù)的相應(yīng)區(qū)域的運(yùn)動(dòng)模糊量的處理。運(yùn)動(dòng)模糊增加處理器33執(zhí)行增加輸入圖像數(shù)據(jù)的相應(yīng)區(qū)域的運(yùn)動(dòng)模糊量的處理。如果在指定分區(qū)區(qū)域中未在使用運(yùn)動(dòng)模糊校正，則分類單元31將該分區(qū)區(qū)域的圖像數(shù)據(jù)輸出給合成器34?？蛇x地，如果未在使用運(yùn)動(dòng)模糊校正，則運(yùn)動(dòng)模糊減少處理器32和運(yùn)動(dòng)模糊增加處理器33可在將校正運(yùn)動(dòng)模糊量設(shè)置為零的設(shè)置中執(zhí)行其處理。
合成器34執(zhí)行合成處理，將由運(yùn)動(dòng)模糊減少處理器32和運(yùn)動(dòng)模糊增加處理器33之一校正的每個(gè)分區(qū)區(qū)域的圖像數(shù)據(jù)與未經(jīng)歷校正的分區(qū)區(qū)域的圖像數(shù)據(jù)合成為幀圖像。
運(yùn)動(dòng)模糊校正處理器13中的分類單元31接收由運(yùn)動(dòng)模糊校正參數(shù)計(jì)算器12計(jì)算的運(yùn)動(dòng)模糊校正參數(shù)。針對(duì)圖像數(shù)據(jù)的每一幀中的每個(gè)分區(qū)區(qū)域計(jì)算運(yùn)動(dòng)模糊校正參數(shù)，該運(yùn)動(dòng)模糊校正參數(shù)包含有關(guān)要對(duì)當(dāng)前被設(shè)置成圖像數(shù)據(jù)的處理目標(biāo)的分區(qū)區(qū)域執(zhí)行的運(yùn)動(dòng)模糊校正處理的信息。運(yùn)動(dòng)模糊校正處理器13的運(yùn)動(dòng)模糊校正處理包含執(zhí)行在可能發(fā)生模糊降級(jí)的區(qū)域中減少運(yùn)動(dòng)模糊的處理(去模糊處理)和在可能發(fā)生運(yùn)動(dòng)模糊不足，即急動(dòng)降級(jí)的區(qū)域中增加運(yùn)動(dòng)模糊的處理(加模糊處理)之一。分類單元31響應(yīng)于運(yùn)動(dòng)模糊校正參數(shù)對(duì)每個(gè)分區(qū)區(qū)域的圖像數(shù)據(jù)分類。更具體地說，分類單元31把要去模糊的分區(qū)區(qū)域的圖像數(shù)據(jù)輸出給運(yùn)動(dòng)模糊減少處理器32，把要加模糊的分區(qū)區(qū)域的圖像數(shù)據(jù)輸出給運(yùn)動(dòng)模糊增加處理器33。
因而，輸出到運(yùn)動(dòng)模糊減少處理器32和運(yùn)動(dòng)模糊增加處理器33中的一個(gè)的圖像數(shù)據(jù)經(jīng)過最優(yōu)運(yùn)動(dòng)模糊校正處理，以既減少急動(dòng)降級(jí)又減少模糊降級(jí)。已經(jīng)過最優(yōu)運(yùn)動(dòng)模糊校正處理的圖像數(shù)據(jù)被提供給合成器34。已經(jīng)過運(yùn)動(dòng)模糊校正處理的圖像數(shù)據(jù)的區(qū)域被合成器34合成，從而輸出所得到的圖像數(shù)據(jù)。運(yùn)動(dòng)模糊校正處理器13輸出急動(dòng)降級(jí)和模糊降級(jí)得到減少的運(yùn)動(dòng)圖像信號(hào)。
在本發(fā)明一個(gè)實(shí)施例中，圖像處理裝置可以只執(zhí)行運(yùn)動(dòng)模糊減少處理器32的校正處理，其中運(yùn)動(dòng)模糊增加處理器33被從運(yùn)動(dòng)模糊校正處理器13中除去?？蛇x地，只有運(yùn)動(dòng)模糊增加處理器33執(zhí)行校正處理，而運(yùn)動(dòng)模糊減少處理器32被從運(yùn)動(dòng)模糊校正處理器13中除去。然而，在這種情況下，急動(dòng)降級(jí)和模糊降級(jí)之一可能仍然存在。例如，如果僅執(zhí)行去模糊處理，則響應(yīng)于以高快門速度捕獲的圖像數(shù)據(jù)，可能未減少急動(dòng)降級(jí)。反之，如果僅執(zhí)行加模糊處理，則響應(yīng)于以低快門速度捕獲的圖像數(shù)據(jù)，發(fā)生在對(duì)象正運(yùn)動(dòng)的區(qū)域內(nèi)的模糊降級(jí)可能未被減少。
不考慮例如圖像數(shù)據(jù)的成像快門速度的條件，圖1的結(jié)構(gòu)中的去模糊處理和加模糊處理的組合既減少急動(dòng)降級(jí)又減少模糊降級(jí)。圖3和4所圖解的結(jié)構(gòu)也是如此。當(dāng)顯示圖像數(shù)據(jù)時(shí)，急動(dòng)降級(jí)和模糊降級(jí)發(fā)生，導(dǎo)致圖像數(shù)據(jù)的圖像對(duì)于人類的眼睛來說看上去不自然。如此構(gòu)成的圖像處理裝置1通過響應(yīng)于圖像數(shù)據(jù)的運(yùn)動(dòng)信息和圖像捕獲時(shí)快門速度的信息自適應(yīng)地校正圖像數(shù)據(jù)的運(yùn)動(dòng)模糊，減少急動(dòng)降級(jí)和模糊降級(jí)。
圖3圖解了根據(jù)本發(fā)明的一個(gè)實(shí)施例、作為第二結(jié)構(gòu)的圖像處理裝置2。具有第一結(jié)構(gòu)的圖像處理裝置1基于圖像獲取單元11獲得圖像數(shù)據(jù)的快門速度信息的前提。在運(yùn)動(dòng)模糊校正處理(加模糊處理和去模糊處理)的選擇中參考圖像捕獲時(shí)的快門速度信息。例如，包含具有圖像捕獲功能的圖像獲取單元11的圖像處理裝置1執(zhí)行圖像捕獲操作，從而獲得圖像數(shù)據(jù)。利用所述圖像捕獲功能，圖像處理裝置1可容易地提取實(shí)際圖像捕獲操作中所使用的快門速度值。如果快門速度信息作為圖像數(shù)據(jù)的元數(shù)據(jù)或類似數(shù)據(jù)被包含，則從元數(shù)據(jù)獲得快門速度的值。如果圖像處理裝置是通過接收?qǐng)D像信號(hào)或通過從記錄介質(zhì)中再現(xiàn)圖像信號(hào)來顯示圖像信號(hào)的裝置的一部分，則圖像數(shù)據(jù)的圖像捕獲時(shí)的快門速度通常保持未知。
具有第二結(jié)構(gòu)的圖像處理裝置2通過圖像處理來分析輸入圖像信號(hào)，從而估計(jì)圖像信號(hào)的圖像捕獲時(shí)的快門速度。圖3圖解了具有第二結(jié)構(gòu)的圖像處理裝置2，其中圖像獲取單元11不獲得指示圖像數(shù)據(jù)的每一幀的曝光時(shí)間的快門速度信息。圖像處理裝置2不同于圖1的圖像處理裝置1之處在于其包含了快門速度估計(jì)處理器14。
快門速度估計(jì)處理器14接收也由圖像獲取單元11獲得的圖像數(shù)據(jù)，以及圖像數(shù)據(jù)的運(yùn)動(dòng)信息。快門速度估計(jì)處理器14執(zhí)行圖像處理以分析輸入的圖像數(shù)據(jù)，從而估計(jì)指示圖像數(shù)據(jù)的圖像捕獲時(shí)每一幀的曝光時(shí)間的快門速度信息。所估計(jì)的快門速度信息被輸出到運(yùn)動(dòng)模糊校正參數(shù)計(jì)算器12。由運(yùn)動(dòng)模糊校正參數(shù)計(jì)算器12和運(yùn)動(dòng)模糊校正處理器13執(zhí)行的處理與圖1中所圖解的圖像處理裝置1中的對(duì)應(yīng)方的處理相同。
急動(dòng)降級(jí)和模糊降級(jí)通常在所顯示的圖像中發(fā)生，導(dǎo)致圖像數(shù)據(jù)的圖像對(duì)于人類的眼睛來說看上去不自然。如此構(gòu)成的圖像處理裝置2利用影響急動(dòng)降級(jí)和模糊降級(jí)的圖像數(shù)據(jù)的運(yùn)動(dòng)信息分析圖像數(shù)據(jù)。圖像處理裝置2估計(jì)圖像數(shù)據(jù)的圖像捕獲時(shí)的快門速度信息，并且響應(yīng)于所估計(jì)的快門速度信息，自適應(yīng)地校正圖像數(shù)據(jù)的運(yùn)動(dòng)模糊。從而，圖像處理裝置2既減少了急動(dòng)降級(jí)又減少了模糊降級(jí)。
圖4圖解了具有第三種結(jié)構(gòu)的圖像處理裝置3。圖像處理裝置3包含運(yùn)動(dòng)模糊校正處理器13A，而不是包含在圖3中所圖解的圖像處理裝置2中的運(yùn)動(dòng)模糊校正處理器13。圖像處理裝置3的其余部分在結(jié)構(gòu)上與圖像處理裝置2相同。運(yùn)動(dòng)模糊校正處理器13A包含運(yùn)動(dòng)模糊減少處理器32、運(yùn)動(dòng)模糊增加處理器33以及選擇器和合成器35。運(yùn)動(dòng)模糊減少處理器32對(duì)輸入的圖像數(shù)據(jù)的所有分區(qū)區(qū)域執(zhí)行運(yùn)動(dòng)去模糊處理。運(yùn)動(dòng)模糊增加處理器33對(duì)輸入的圖像數(shù)據(jù)的所有分區(qū)區(qū)域執(zhí)行運(yùn)動(dòng)加模糊處理。
選擇器和合成器35從運(yùn)動(dòng)模糊減少處理器32接收已經(jīng)過運(yùn)動(dòng)去模糊處理的所有分區(qū)區(qū)域的圖像數(shù)據(jù)。選擇器和合成器35從運(yùn)動(dòng)模糊增加處理器33接收已經(jīng)過運(yùn)動(dòng)加模糊處理的所有分區(qū)區(qū)域的圖像數(shù)據(jù)。選擇器和合成器35也接收輸入的圖像數(shù)據(jù)(未經(jīng)過運(yùn)動(dòng)模糊校正的圖像數(shù)據(jù))。響應(yīng)于運(yùn)動(dòng)模糊校正參數(shù)，選擇器和合成器35選擇減少了運(yùn)動(dòng)模糊的數(shù)據(jù)、增加了運(yùn)動(dòng)模糊的數(shù)據(jù)或者未經(jīng)校正的數(shù)據(jù)。選擇器和合成器35合成每個(gè)分區(qū)區(qū)域的所選擇的數(shù)據(jù)，從而生成并且輸出一個(gè)幀的圖像數(shù)據(jù)。在校正處理之前，第一和第二基本結(jié)構(gòu)的每個(gè)中的分類單元31選擇要執(zhí)行的校正處理。相反，在圖4所圖解的第三基本結(jié)構(gòu)中，對(duì)所有分區(qū)區(qū)域執(zhí)行運(yùn)動(dòng)去模糊處理和運(yùn)動(dòng)加模糊處理，然后選擇處于適當(dāng)校正狀態(tài)的圖像數(shù)據(jù)，并且作為輸出圖像數(shù)據(jù)輸出。
在一種可選方式中，圖4中圖解的圖像處理裝置3可以具有除了運(yùn)動(dòng)模糊校正處理器13A之外與圖3中圖解的圖像處理裝置2一樣的結(jié)構(gòu)。在另一個(gè)可選方式中，圖像處理裝置3可以具有除了運(yùn)動(dòng)模糊校正處理器13A之外與圖1中所圖解的圖像處理裝置1一樣的結(jié)構(gòu)。
進(jìn)一步詳細(xì)地描述根據(jù)本發(fā)明的一個(gè)實(shí)施例的具有第二基本結(jié)構(gòu)的圖像處理裝置2。具有第一基本結(jié)構(gòu)的圖像處理裝置1可被認(rèn)為是可以得到成像快門速度信息的圖像處理裝置2的特定版本。下面的討論關(guān)注于圖像處理裝置2。圖像處理裝置1也被認(rèn)為是參照?qǐng)D5和后續(xù)附圖討論的、沒有快門速度估計(jì)處理的圖像處理裝置的特定版本。后面還將描述第三基本結(jié)構(gòu)。
圖5圖解了具有第二基本結(jié)構(gòu)的圖像處理裝置2所應(yīng)用于的圖像再現(xiàn)裝置100。圖像再現(xiàn)裝置100接收和再現(xiàn)經(jīng)由傳輸線路發(fā)送的圖像數(shù)據(jù)，或者再現(xiàn)記錄在記錄介質(zhì)200，例如數(shù)字通用光盤(DVD)或藍(lán)光盤(索尼公司的注冊(cè)商標(biāo))上的圖像數(shù)據(jù)。
參考圖5，圖像再現(xiàn)裝置100包含接收經(jīng)由傳輸線路發(fā)送的編碼圖像數(shù)據(jù)的接收處理器110，以及從記錄介質(zhì)200中讀出編碼圖像數(shù)據(jù)的讀出處理器120。圖像再現(xiàn)裝置100還包含將編碼數(shù)據(jù)解碼成圖像數(shù)據(jù)DD的解碼處理器130，以及由解碼圖像數(shù)據(jù)DD生成運(yùn)動(dòng)向量VD的運(yùn)動(dòng)向量生成處理器140。圖像再現(xiàn)裝置100還包含利用解碼圖像數(shù)據(jù)DD和運(yùn)動(dòng)向量VD估計(jì)圖像捕獲時(shí)圖像數(shù)據(jù)的快門速度SSD的快門速度估計(jì)處理器150，以及運(yùn)動(dòng)模糊校正參數(shù)計(jì)算器170。圖像再現(xiàn)裝置100還包含根據(jù)運(yùn)動(dòng)向量VD和快門速度SSD校正解碼圖像數(shù)據(jù)DD的運(yùn)動(dòng)模糊量的運(yùn)動(dòng)模糊校正處理器160。圖像再現(xiàn)裝置100還包含使顯示設(shè)備顯示運(yùn)動(dòng)圖像的運(yùn)動(dòng)圖像顯示輸出單元190，所述運(yùn)動(dòng)圖像的急動(dòng)降級(jí)得到減少，而運(yùn)動(dòng)模糊得到增加。圖像再現(xiàn)裝置100還包含使顯示設(shè)備顯示解碼圖像為靜止圖像的靜止圖像顯示輸出單元180。
點(diǎn)劃線框所包圍的接收處理器110、讀出處理器120、解碼處理器130和運(yùn)動(dòng)向量生成處理器140對(duì)應(yīng)于圖3中圖解的第三基本結(jié)構(gòu)中的圖像獲取單元11?？扉T速度估計(jì)處理器150對(duì)應(yīng)于圖3中圖解的快門速度估計(jì)處理器14。運(yùn)動(dòng)模糊校正參數(shù)計(jì)算器170對(duì)應(yīng)于圖3中圖解的運(yùn)動(dòng)模糊校正參數(shù)計(jì)算器12。運(yùn)動(dòng)模糊校正處理器160對(duì)應(yīng)于圖3中圖解的運(yùn)動(dòng)模糊校正處理器13。
參考圖5，接收處理器110和讀出處理器120獲得根據(jù)例如運(yùn)動(dòng)圖像專家組(MPEG)的圖像運(yùn)動(dòng)信息進(jìn)行預(yù)測(cè)編碼的圖像數(shù)據(jù)，并且將所述圖像數(shù)據(jù)提供給解碼處理器130。由接收處理器110和讀出處理器120作為運(yùn)動(dòng)圖像獲得的圖像數(shù)據(jù)具有1秒的單位時(shí)間，并且每單位時(shí)間包含60個(gè)圖像幀。更具體地說，圖像數(shù)據(jù)是每秒60幀的幀速率的逐行單元圖像(fps)。圖像數(shù)據(jù)不局限于逐行圖像。圖像數(shù)據(jù)可以是以場(chǎng)圖像為單位處理的隔行圖像。幀速率不局限于60fps。
圖像再現(xiàn)裝置100可以具有接收處理器110和讀出處理器120的至少一個(gè)以執(zhí)行用于從外部獲得圖像的圖像數(shù)據(jù)獲得功能。除了圖像數(shù)據(jù)獲得功能，圖像再現(xiàn)裝置100可獲得作為圖像數(shù)據(jù)的元數(shù)據(jù)而包含的快門速度信息。在這種情況下，圖像再現(xiàn)裝置100變得類似于具有第一基本結(jié)構(gòu)的圖像處理裝置1，而不使用用于估計(jì)圖像捕獲時(shí)的快門速度SSD的快門速度估計(jì)處理器150。
解碼處理器130解碼從接收處理器110和讀出處理器120之一獲得的圖像數(shù)據(jù)。然后，解碼處理器130將解碼圖像數(shù)據(jù)DD提供給運(yùn)動(dòng)向量生成處理器140、快門速度估計(jì)處理器150和運(yùn)動(dòng)模糊校正處理器160的每個(gè)。當(dāng)解碼圖像數(shù)據(jù)DD被處理成靜止圖像時(shí)，解碼處理器130將解碼圖像數(shù)據(jù)DD僅提供給靜止圖像顯示輸出單元180，而沒有將圖像數(shù)據(jù)處理成運(yùn)動(dòng)圖像。
運(yùn)動(dòng)向量生成處理器140由從解碼處理器130提供的解碼圖像數(shù)據(jù)DD生成作為解碼圖像數(shù)據(jù)DD的運(yùn)動(dòng)信息的運(yùn)動(dòng)向量VD。此處運(yùn)動(dòng)向量是表示幀之間的運(yùn)動(dòng)圖像的位置與運(yùn)動(dòng)圖像的運(yùn)動(dòng)方向的信息。運(yùn)動(dòng)向量可以按像素生成，以獲得高準(zhǔn)確度等級(jí)的運(yùn)動(dòng)對(duì)象的運(yùn)動(dòng)信息。本發(fā)明的一個(gè)實(shí)施例的運(yùn)動(dòng)向量生成處理器140按像素塊生成運(yùn)動(dòng)向量，以減少處理中的計(jì)算工作量。此處幀圖像被分成多個(gè)像素塊。
根據(jù)MPEG標(biāo)準(zhǔn)等等編碼的圖像數(shù)據(jù)包含運(yùn)動(dòng)向量作為編碼信息。根據(jù)本發(fā)明的一個(gè)實(shí)施例，使用運(yùn)動(dòng)向量作為編碼信息從減少工作量的立場(chǎng)上來看是可能并且有用的。用于編碼的運(yùn)動(dòng)向量充當(dāng)主要編碼運(yùn)動(dòng)圖像的信息。結(jié)合除了運(yùn)動(dòng)向量之外的其余信息等執(zhí)行編碼處理，而運(yùn)動(dòng)向量不必如實(shí)地代表響應(yīng)于整個(gè)圖像上實(shí)際運(yùn)動(dòng)對(duì)象的運(yùn)動(dòng)的值。根據(jù)本發(fā)明的一個(gè)實(shí)施例，運(yùn)動(dòng)向量生成處理器140通過隨后討論的處理步驟準(zhǔn)確地檢測(cè)響應(yīng)于解碼圖像中實(shí)際運(yùn)動(dòng)對(duì)象的運(yùn)動(dòng)的運(yùn)動(dòng)向量。因而，運(yùn)動(dòng)向量生成處理器140如實(shí)將運(yùn)動(dòng)模糊增加到實(shí)際運(yùn)動(dòng)對(duì)象的運(yùn)動(dòng)中。
快門速度估計(jì)處理器150根據(jù)從解碼處理器130提供的解碼圖像數(shù)據(jù)DD估計(jì)圖像數(shù)據(jù)的圖像捕獲時(shí)的快門速度SSD?？扉T速度估計(jì)處理作為如稍后將描述的、使用從運(yùn)動(dòng)向量生成處理器140提供的運(yùn)動(dòng)向量VD的處理而被執(zhí)行。此處快門速度信息是與影響將被加到圖像數(shù)據(jù)的捕獲圖像上的運(yùn)動(dòng)模糊的快門速度相關(guān)的信息。更具體地說，快門速度信息表示當(dāng)具有快門功能的成像裝置捕獲圖像數(shù)據(jù)時(shí)拍攝的單元圖像的曝光時(shí)間。通過控制成像元件的驅(qū)動(dòng)時(shí)間的電子快門、通過打開閉合機(jī)構(gòu)一段曝光時(shí)間來允許光線穿過透鏡到達(dá)成像元件的機(jī)械快門、以及通過在成像裝置中控制液晶元件透射率一段曝光時(shí)間來允許光線穿過透鏡到達(dá)成像元件的液晶快門中的一個(gè)，可執(zhí)行快門功能。
在隨后將被具體討論的處理中，運(yùn)動(dòng)模糊校正參數(shù)計(jì)算器170根據(jù)從快門速度估計(jì)處理器150提供的快門速度SSD，以及從運(yùn)動(dòng)向量生成處理器140提供的運(yùn)動(dòng)向量VD來計(jì)算運(yùn)動(dòng)模糊校正參數(shù)，然后將計(jì)算出的運(yùn)動(dòng)模糊校正參數(shù)提供給運(yùn)動(dòng)模糊校正處理器160。
在隨后將被具體討論的處理中，運(yùn)動(dòng)模糊校正處理器160基于從解碼處理器130提供的解碼圖像數(shù)據(jù)DD以及從運(yùn)動(dòng)模糊校正參數(shù)計(jì)算器170提供的運(yùn)動(dòng)模糊校正參數(shù)來執(zhí)行運(yùn)動(dòng)模糊校正處理。運(yùn)動(dòng)模糊校正處理可被解釋為將解碼圖像數(shù)據(jù)DD的分區(qū)區(qū)域轉(zhuǎn)換成以最優(yōu)快門速度捕獲的偽圖像的處理。最優(yōu)快門速度被打算用來響應(yīng)于運(yùn)動(dòng)向量VD中包含的每個(gè)分區(qū)區(qū)域的運(yùn)動(dòng)速度而減少急動(dòng)和模糊的產(chǎn)生。在這種情況下，運(yùn)動(dòng)模糊校正處理器160在轉(zhuǎn)換操作之前參考輸入圖像信號(hào)的快門速度SSD。如果每個(gè)分區(qū)區(qū)域的最優(yōu)快門速度比快門速度SSD低，則運(yùn)動(dòng)模糊校正處理器160執(zhí)行運(yùn)動(dòng)加模糊處理。反之，如果每個(gè)分區(qū)區(qū)域的最優(yōu)快門速度比快門速度SSD高，則運(yùn)動(dòng)模糊校正處理器160執(zhí)行運(yùn)動(dòng)去模糊處理。運(yùn)動(dòng)模糊校正處理器160將已分別轉(zhuǎn)換的分區(qū)區(qū)域的圖像合成為一幀，從而生成輸出圖像信號(hào)OD。輸出圖像信號(hào)OD被輸出到運(yùn)動(dòng)圖像顯示輸出單元190。
運(yùn)動(dòng)圖像顯示輸出單元190將運(yùn)動(dòng)圖像輸出到例如液晶顯示器(LCD)的顯示設(shè)備，所述運(yùn)動(dòng)圖像已由運(yùn)動(dòng)模糊校正處理器160進(jìn)行了減少急動(dòng)降級(jí)和模糊降級(jí)的運(yùn)動(dòng)模糊校正。靜止圖像顯示輸出單元180將從解碼處理器130接收的解碼圖像數(shù)據(jù)DD作為靜止圖像輸出到例如LCD的顯示設(shè)備。
詳細(xì)地描述圖5中圖解的元件。首先描述運(yùn)動(dòng)向量生成處理器140的結(jié)構(gòu)與操作。運(yùn)動(dòng)向量生成處理器140逐個(gè)像素塊地準(zhǔn)確生成運(yùn)動(dòng)向量。參照?qǐng)D6，運(yùn)動(dòng)向量生成處理器140包含運(yùn)動(dòng)向量檢測(cè)器141、像素塊識(shí)別處理器142、運(yùn)動(dòng)向量估計(jì)處理器143、運(yùn)動(dòng)向量平滑處理器144和延遲單元141a和142a。
運(yùn)動(dòng)向量檢測(cè)器141從處理目標(biāo)幀和緊臨在前的幀中檢測(cè)到運(yùn)動(dòng)向量。像素塊識(shí)別處理器142通過逐個(gè)像素塊地比較處理目標(biāo)幀的運(yùn)動(dòng)向量與緊臨在前的幀的運(yùn)動(dòng)向量來識(shí)別具有高相關(guān)的像素塊。運(yùn)動(dòng)向量估計(jì)處理器143基于由像素塊識(shí)別處理器142識(shí)別的像素塊的運(yùn)動(dòng)向量，估計(jì)與像素塊識(shí)別處理器142所識(shí)別的像素塊不同的像素塊的運(yùn)動(dòng)向量。運(yùn)動(dòng)向量平滑處理器144對(duì)運(yùn)動(dòng)向量執(zhí)行平滑處理。
從解碼處理器130提供的解碼圖像數(shù)據(jù)DD被提供給運(yùn)動(dòng)向量檢測(cè)器141和延遲解碼圖像數(shù)據(jù)DD一個(gè)幀的延遲單元141a。運(yùn)動(dòng)向量檢測(cè)器141將從解碼處理器130提供的解碼圖像數(shù)據(jù)DD設(shè)置為處理目標(biāo)幀。然后，運(yùn)動(dòng)向量檢測(cè)器141基于處理目標(biāo)幀和被延遲單元141a延遲了一個(gè)幀的緊臨在前的幀，逐個(gè)像素塊地檢測(cè)每個(gè)處理目標(biāo)幀的運(yùn)動(dòng)向量。如果用軟件實(shí)現(xiàn)運(yùn)動(dòng)向量檢測(cè)器141的處理，則可利用通?？捎玫膲K匹配方法逐個(gè)像素塊地檢測(cè)運(yùn)動(dòng)向量。
由運(yùn)動(dòng)向量檢測(cè)器141檢測(cè)到的運(yùn)動(dòng)向量被提供給像素塊識(shí)別處理器142和延遲單元142a。延遲單元142a延遲輸入的運(yùn)動(dòng)向量一個(gè)幀。逐個(gè)像素塊地，像素塊識(shí)別處理器142將從運(yùn)動(dòng)向量檢測(cè)器141提供的處理目標(biāo)幀的運(yùn)動(dòng)向量與由如下所述的延遲單元142a所延遲的緊臨在前的幀的運(yùn)動(dòng)向量相比較。根據(jù)比較結(jié)果，像素塊識(shí)別處理器142識(shí)別具有高相關(guān)的像素塊。
更具體地說，像素塊識(shí)別處理器142根據(jù)以下公式(1)計(jì)算像素塊的向量相關(guān)系數(shù)σ。

其中令(x，y)表示處理目標(biāo)幀的一個(gè)像素塊的運(yùn)動(dòng)向量，(x’，y’)表示相應(yīng)于第一塊的緊臨在前的幀的像素塊的運(yùn)動(dòng)向量，以及α表示任何相關(guān)確定系數(shù)。
相關(guān)確定系數(shù)α具有范圍0＜α＜1。相關(guān)確定系數(shù)α越大，計(jì)算出的向量相關(guān)系數(shù)σ越可能為1。
像素塊識(shí)別處理器142根據(jù)公式(1)計(jì)算每個(gè)像素塊的向量相關(guān)系數(shù)σ，并且將向量相關(guān)系數(shù)σ為1的像素塊識(shí)別作為具有高相關(guān)的運(yùn)動(dòng)向量。
運(yùn)動(dòng)向量估計(jì)處理器143根據(jù)被像素塊識(shí)別處理器142確定為向量相關(guān)系數(shù)σ為1的像素塊的運(yùn)動(dòng)向量，估計(jì)向量相關(guān)系數(shù)σ為0的像素塊的運(yùn)動(dòng)向量。在被像素塊識(shí)別處理器142確定為向量相關(guān)系數(shù)σ為1的像素塊具有有效運(yùn)動(dòng)向量的前提下，運(yùn)動(dòng)向量估計(jì)處理器143更新另一個(gè)像素塊，即向量相關(guān)系數(shù)σ為零從而被確定為具有無效運(yùn)動(dòng)向量的像素塊的運(yùn)動(dòng)向量。
參照?qǐng)D7具體地描述了運(yùn)動(dòng)向量估計(jì)處理器143的處理。在步驟S1中，運(yùn)動(dòng)向量估計(jì)處理器143確定當(dāng)前充當(dāng)處理目標(biāo)幀中的目標(biāo)像素塊的像素塊的向量相關(guān)系數(shù)σ為1還是0。更具體地說，運(yùn)動(dòng)向量估計(jì)處理器143確定像素塊的運(yùn)動(dòng)向量是否有效。如果在步驟S1中確定像素塊的運(yùn)動(dòng)向量有效，則運(yùn)動(dòng)向量估計(jì)處理器143不更新運(yùn)動(dòng)向量的值就終止處理。如果在步驟S1中確定像素塊的運(yùn)動(dòng)向量無效，則運(yùn)動(dòng)向量估計(jì)處理器143前進(jìn)到步驟S2。
在步驟S2中，運(yùn)動(dòng)向量估計(jì)處理器143關(guān)于目標(biāo)像素塊確定具有有效運(yùn)動(dòng)向量的圍繞像素塊是否出現(xiàn)在目標(biāo)像素塊周圍。更具體地說，運(yùn)動(dòng)向量估計(jì)處理器143確定作為圍繞像素塊的、緊挨著目標(biāo)像素塊的八個(gè)像素塊是否包含有效運(yùn)動(dòng)向量。如果存在有效運(yùn)動(dòng)向量，則運(yùn)動(dòng)向量估計(jì)處理器143前進(jìn)到步驟S3。如果沒有有效運(yùn)動(dòng)向量，則運(yùn)動(dòng)向量估計(jì)處理器143不更新目標(biāo)像素塊的運(yùn)動(dòng)向量，并且終止其處理。
由于下列理由，對(duì)相對(duì)于沒有有效運(yùn)動(dòng)向量的目標(biāo)像素塊、在較大區(qū)域內(nèi)出現(xiàn)的圍繞塊不執(zhí)行估計(jì)處理。首先，在任何情形下，對(duì)出現(xiàn)在較大區(qū)域內(nèi)的圍繞塊可以執(zhí)行估計(jì)處理。然而，如果對(duì)出現(xiàn)在較大區(qū)域內(nèi)的圍繞塊執(zhí)行估計(jì)處理，則暫存被處理成圍繞塊的圖像數(shù)據(jù)的存儲(chǔ)區(qū)容量增加，以在規(guī)定時(shí)間內(nèi)完成處理。其次，在圖6的處理的隨后部分中，利用比八個(gè)相鄰像素塊面積更大的圍繞像素塊，可以通過對(duì)目標(biāo)像素塊的運(yùn)動(dòng)向量執(zhí)行平滑處理來校正無效運(yùn)動(dòng)向量。
在步驟S3，運(yùn)動(dòng)向量估計(jì)處理器143基于具有有效運(yùn)動(dòng)向量的圍繞像素塊的運(yùn)動(dòng)向量估計(jì)和更新目標(biāo)像素塊的運(yùn)動(dòng)向量。運(yùn)動(dòng)向量估計(jì)處理器143因而終止處理。在估計(jì)處理的一個(gè)例子中，運(yùn)動(dòng)向量估計(jì)處理器143包含中值濾波器。中值濾波器接收具有有效運(yùn)動(dòng)向量的圍繞像素塊的運(yùn)動(dòng)向量，并且輸出圍繞像素塊的平滑運(yùn)動(dòng)向量。
運(yùn)動(dòng)向量估計(jì)處理器143因而逐個(gè)像素塊地估計(jì)處理目標(biāo)幀的運(yùn)動(dòng)向量。從而，運(yùn)動(dòng)向量估計(jì)處理器143將包含由像素塊識(shí)別處理器142識(shí)別的運(yùn)動(dòng)向量的運(yùn)動(dòng)向量提供給運(yùn)動(dòng)向量平滑處理器144。
運(yùn)動(dòng)向量平滑處理器144對(duì)組成處理目標(biāo)圖像的像素塊的運(yùn)動(dòng)向量執(zhí)行平滑處理。更具體地說，運(yùn)動(dòng)向量平滑處理器144接收在平滑處理之前的目標(biāo)像素塊的運(yùn)動(dòng)向量和面積大于上述相鄰像素塊的圍繞像素塊的運(yùn)動(dòng)向量作為輸入I(x+i，y+j)，并且輸出通過下列公式(2)中所述的高斯函數(shù)已平滑的目標(biāo)像素塊的運(yùn)動(dòng)向量J(x，y) 其中r表示目標(biāo)像素塊與每個(gè)圍繞像素塊之間的二維空間距離，σ2表示距離r的方差，以及t2表示運(yùn)動(dòng)向量的方差。更具體地說，σ2和t2是代表平滑程度的任何值的參數(shù)。
運(yùn)動(dòng)向量平滑處理器144對(duì)組成處理目標(biāo)幀的每個(gè)像素塊執(zhí)行上述平滑處理，并且輸出所得到的運(yùn)動(dòng)向量VD給運(yùn)動(dòng)模糊校正參數(shù)計(jì)算器170。
運(yùn)動(dòng)向量平滑處理器144從組成處理目標(biāo)幀的像素塊中識(shí)別具有有效運(yùn)動(dòng)向量的像素塊，并且根據(jù)有效運(yùn)動(dòng)向量估計(jì)另一個(gè)運(yùn)動(dòng)向量。運(yùn)動(dòng)向量平滑處理器144可生成響應(yīng)實(shí)際運(yùn)動(dòng)對(duì)象的運(yùn)動(dòng)的運(yùn)動(dòng)向量。在運(yùn)動(dòng)向量生成處理器140中，被運(yùn)動(dòng)向量檢測(cè)器141檢測(cè)到的運(yùn)動(dòng)向量在平滑處理中可被提供給運(yùn)動(dòng)向量平滑處理器144，而像素塊識(shí)別處理器142和運(yùn)動(dòng)向量估計(jì)處理器143被跳過。即使在這樣的處理中，運(yùn)動(dòng)向量生成處理器140可提供比上述編碼信息被用作運(yùn)動(dòng)向量時(shí)更準(zhǔn)確的響應(yīng)運(yùn)動(dòng)對(duì)象的運(yùn)動(dòng)的運(yùn)動(dòng)向量。
下面參照?qǐng)D8描述快門速度估計(jì)處理器150的具體結(jié)構(gòu)。圖8的模塊解了快門速度估計(jì)處理器150?？扉T速度估計(jì)處理器150包含處理目標(biāo)區(qū)域選擇器151、運(yùn)動(dòng)模糊特征分析器152、圖像快門速度計(jì)算器153和成像快門速度準(zhǔn)確度增強(qiáng)處理器154?？扉T速度估計(jì)處理器150接收解碼圖像數(shù)據(jù)DD和運(yùn)動(dòng)向量VD?？扉T速度估計(jì)處理器150圖像分析這些輸入信息，從而估計(jì)并且輸出快門速度SSD，其中圖像數(shù)據(jù)以所述快門速度SSD被捕獲。
輸入給快門速度估計(jì)處理器150的解碼圖像數(shù)據(jù)DD和運(yùn)動(dòng)向量VD首先由處理目標(biāo)區(qū)域選擇器151接收。處理目標(biāo)區(qū)域選擇器151選擇將對(duì)其進(jìn)行圖像分析的處理目標(biāo)幀，以計(jì)算快門速度。處理目標(biāo)區(qū)域選擇器151還選擇所選擇的幀內(nèi)的目標(biāo)區(qū)域。然后，處理目標(biāo)區(qū)域選擇器151向后續(xù)階段輸出圖像數(shù)據(jù)作為選定的目標(biāo)區(qū)域DDT以及響應(yīng)目標(biāo)區(qū)域DDT的運(yùn)動(dòng)向量VDT。如稍后將描述的，目標(biāo)區(qū)域DDT是指在一個(gè)幀內(nèi)被提取為快門速度估計(jì)處理的目標(biāo)的區(qū)域處的圖像數(shù)據(jù)。處理目標(biāo)區(qū)域選擇器151從作為運(yùn)動(dòng)圖像輸入的解碼圖像數(shù)據(jù)DD中檢測(cè)到景象改變，然后將景象改變檢測(cè)信號(hào)SCD輸出給成像快門速度準(zhǔn)確度增強(qiáng)處理器154。
處理目標(biāo)區(qū)域DDT被輸入給運(yùn)動(dòng)模糊特征分析器152。運(yùn)動(dòng)模糊特征分析器152對(duì)作為處理目標(biāo)區(qū)域DDT的圖像數(shù)據(jù)(即，在一個(gè)幀內(nèi)充當(dāng)處理目標(biāo)區(qū)域的像素區(qū)域內(nèi)的圖像數(shù)據(jù))進(jìn)行圖像分析處理。運(yùn)動(dòng)模糊特征分析器152計(jì)算在處理目標(biāo)區(qū)域中生成的″運(yùn)動(dòng)模糊長(zhǎng)度L″。稍后將描述運(yùn)動(dòng)模糊長(zhǎng)度L。計(jì)算出的運(yùn)動(dòng)模糊長(zhǎng)度L被輸出到圖像快門速度計(jì)算器153。
圖像快門速度計(jì)算器153基于處理目標(biāo)區(qū)域DDT中生成的運(yùn)動(dòng)模糊長(zhǎng)度L的值和響應(yīng)處理目標(biāo)區(qū)域的運(yùn)動(dòng)向量VDT，計(jì)算估計(jì)成像快門速度SSDT。估計(jì)成像快門速度SSDT是圖像捕獲時(shí)的快門速度的估計(jì)值。計(jì)算出的估計(jì)成像快門速度SSDT被輸出到成像快門速度準(zhǔn)確度增強(qiáng)處理器154。成像快門速度準(zhǔn)確度增強(qiáng)處理器154接收根據(jù)多個(gè)處理目標(biāo)區(qū)域估計(jì)的估計(jì)成像快門速度SSDT。響應(yīng)于這些信息的值，成像快門速度準(zhǔn)確度增強(qiáng)處理器154計(jì)算高度準(zhǔn)確的估計(jì)成像快門速度SSD，并且輸出所計(jì)算的估計(jì)成像快門速度SSD給運(yùn)動(dòng)模糊校正參數(shù)計(jì)算器170。
在描述由圖8的快門速度估計(jì)處理器150在每個(gè)處理模塊中執(zhí)行的處理之前，描述作為將由快門速度估計(jì)處理器150執(zhí)行的處理的基礎(chǔ)的運(yùn)動(dòng)模糊特性?？扉T速度估計(jì)處理器150的處理是根據(jù)具有未知的圖像捕獲時(shí)快門速度的圖像估計(jì)快門速度的處理。首先描述運(yùn)動(dòng)模糊的產(chǎn)生、運(yùn)動(dòng)速度以及成像快門速度的關(guān)系，以便描述基本運(yùn)動(dòng)模糊特性。然后描述考慮到所生成的運(yùn)動(dòng)模糊的特性的快門速度的估計(jì)方法。
參照?qǐng)D9和10簡(jiǎn)要描述運(yùn)動(dòng)模糊的產(chǎn)生、運(yùn)動(dòng)速度和成像快門速度的關(guān)系。圖9圖解了當(dāng)捕獲圖像時(shí)所產(chǎn)生的運(yùn)動(dòng)模糊特性。圖9的上部分關(guān)注真實(shí)空間內(nèi)空間位置與目標(biāo)區(qū)域上的亮度之間的關(guān)系。如圖所示，沿水平方向標(biāo)出空間位置并且沿垂直方向表示亮度。前景的位置以等速從右到左運(yùn)動(dòng)。明亮前景超過黑暗背景。圖9的下部分模擬一種圖像信號(hào)，其中通過利用圖9中圖解的成像裝置，根據(jù)沿水平方向延伸的一個(gè)線的坐標(biāo)與目標(biāo)區(qū)域的亮度之間的關(guān)系對(duì)上部分圖解的真實(shí)空間的目標(biāo)區(qū)域進(jìn)行圖像捕獲，獲得了所述圖像信號(hào)。如圖9的下部分所示，沿水平方向標(biāo)出圖像信號(hào)的坐標(biāo)，而沿垂直方向標(biāo)出亮度。虛線表示像素。此處具有快門功能的成像裝置控制作為曝光時(shí)間的快門速度，其中在整個(gè)曝光時(shí)間期間獲得圖像。
當(dāng)執(zhí)行快門功能的理想高速快門(曝光時(shí)間為無窮小)時(shí)捕獲圖9中標(biāo)記(i)的圖像信號(hào)。當(dāng)執(zhí)行快門功能的低速快門(預(yù)定的曝光時(shí)間)時(shí)捕獲圖9標(biāo)記(ii)的圖像信號(hào)。比較圖像信號(hào)(i)和(ii)，圖像信號(hào)(i)為階躍信號(hào)，而利用較長(zhǎng)曝光時(shí)間積分的光線捕獲圖像信號(hào)(ii)。除了圖像信號(hào)(i)之外發(fā)生運(yùn)動(dòng)模糊。圖9圖解了在運(yùn)動(dòng)對(duì)象的輪廓附近的運(yùn)動(dòng)模糊具有低通濾波器特性。在隨后的討論中，具有亮度斜率的區(qū)域被定義為所圖解的前景的亮度Bf與以穩(wěn)定方式記錄亮度Bb的區(qū)域之間的運(yùn)動(dòng)模糊區(qū)域。運(yùn)動(dòng)模糊長(zhǎng)度L被定義為該區(qū)域沿水平方向的距離。
圖10A1、10B1和10C1圖解了對(duì)象的運(yùn)動(dòng)速度與運(yùn)動(dòng)模糊長(zhǎng)度L之間的關(guān)系。圖10A1、10B1和10C1圖解了當(dāng)圖9的上部分中的前景的運(yùn)動(dòng)速度時(shí)所產(chǎn)生的運(yùn)動(dòng)模糊特性。在圖10A1、10B1和10C1中圖像捕獲時(shí)的快門速度保持不變。
令A(yù)、B和C表示圖10A1、10B1和10C1中所示的前景的運(yùn)動(dòng)速度，而現(xiàn)在運(yùn)動(dòng)速度在量值上的關(guān)系為A∶B∶C＝3∶2∶1。參照?qǐng)D10A1、10B1和10C1，因?yàn)樵趫D10A中，L＝9個(gè)像素，在圖10B中，L＝6個(gè)像素，在圖10C中，L＝3個(gè)像素，所以運(yùn)動(dòng)模糊長(zhǎng)度L的關(guān)系同樣為3∶2∶1。由于利用相同曝光時(shí)間積分的光線記錄圖像信號(hào)，在曝光時(shí)間期間對(duì)象的行程變?yōu)檫\(yùn)動(dòng)模糊區(qū)域。在具有運(yùn)動(dòng)速度的像素附近所產(chǎn)生的運(yùn)動(dòng)模糊長(zhǎng)度L因而與對(duì)象的運(yùn)動(dòng)速度的量值成比例。
圖10A2、10B2和10C2圖解了成像快門速度與運(yùn)動(dòng)模糊長(zhǎng)度L的關(guān)系。圖10A2、10B2和10C2顯示了當(dāng)圖9的上部分中成像裝置的快門速度改變時(shí)發(fā)生的運(yùn)動(dòng)模糊特性。前景的運(yùn)動(dòng)速度在圖10A2、10B2和10C2中保持不變。如果圖10A2、10B2和10C2的成像快門速度現(xiàn)在分別為″a″、″b″和″c″，成像快門速度的比率為a∶b∶c＝4∶2∶1。因?yàn)樵趫D10A2中，L＝8個(gè)像素，在圖10B2中，L＝4個(gè)像素，在圖10C2中，L＝2個(gè)像素，所以運(yùn)動(dòng)模糊長(zhǎng)度L的關(guān)系為4∶2∶1。在圖像捕獲的曝光時(shí)間期間對(duì)光線積分。如果要拍攝的對(duì)象的運(yùn)動(dòng)速度保持不變，則曝光時(shí)間越長(zhǎng)，運(yùn)動(dòng)模糊區(qū)域延伸得越多。在具有運(yùn)動(dòng)速度的像素附近所產(chǎn)生的運(yùn)動(dòng)模糊長(zhǎng)度L與快門速度的量值成比例。
如上所述，運(yùn)動(dòng)模糊長(zhǎng)度L與目標(biāo)的運(yùn)動(dòng)速度成比例，并且也與成像快門速度成比例。
令L表示運(yùn)動(dòng)模糊長(zhǎng)度(像素)，V表示在圖像信號(hào)內(nèi)對(duì)象的運(yùn)動(dòng)速度(像素/幀)，S表示成像快門速度(秒)，以及F表示運(yùn)動(dòng)圖像的幀速率(幀/秒)，則下式(3)成立 L＝V×S×F...(3) 公式(3)中，因?yàn)檫\(yùn)動(dòng)速度V是在一個(gè)幀周期內(nèi)的距離量，所以VS乘以幀速率F。
如果運(yùn)動(dòng)速度是8(像素/幀)，圖10A2中成像快門速度是S＝T，圖10B2中成像快門速度S＝T/2，圖10C2中成像快門速度S＝T/4，并且?guī)俾蕿镕＝1/T(T是幀周期(秒))，則以下關(guān)系成立 圖10A2中，L＝8×T×(1/T)＝8(像素) 圖10B2中，L＝8×(T/2)×(1/T)＝4(像素)，以及 圖10C2中，L＝8×T(T/4)×(1/T)＝2(像素)。
所確定的運(yùn)動(dòng)模糊長(zhǎng)度因而等于圖10A2、10B2和10C2中的運(yùn)動(dòng)模糊長(zhǎng)度L。
已經(jīng)基于簡(jiǎn)單例子討論過運(yùn)動(dòng)模糊的產(chǎn)生、運(yùn)動(dòng)速度以及成像快門速度的關(guān)系。由于快門速度估計(jì)處理器150旨在估計(jì)圖像的未知成像快門速度，上述公式(3)重新排列成公式(4) S＝L/(V×F)...(4) 根據(jù)公式(4)，圖像中的目標(biāo)區(qū)域的運(yùn)動(dòng)速度V，以及幀速率F已知。如果獲得運(yùn)動(dòng)模糊長(zhǎng)度L，則得到圖像捕獲時(shí)的未知快門速度。
在下面的討論中，說明了在圖8中圖解的快門速度估計(jì)處理器150的一個(gè)例子中的每個(gè)元件的處理，并且描述了快門速度估計(jì)的處理。從圖像中估計(jì)成像快門速度的方法不局限于該方法。例如，在下面討論的一種方法中，通過識(shí)別如以上定義的運(yùn)動(dòng)模糊長(zhǎng)度L來計(jì)算圖像捕獲時(shí)的快門速度。
作為快門速度估計(jì)處理器150的輸入的解碼圖像數(shù)據(jù)DD和運(yùn)動(dòng)向量VD首先被提供給處理目標(biāo)區(qū)域選擇器151。處理目標(biāo)區(qū)域選擇器151將區(qū)域(以下簡(jiǎn)稱為″目標(biāo)區(qū)域″)提取為快門速度估計(jì)中的圖像分析的目標(biāo)，并且將處理目標(biāo)區(qū)域DDT和響應(yīng)處理目標(biāo)區(qū)域的運(yùn)動(dòng)向量VDT輸出到后續(xù)階段。在不必對(duì)具有發(fā)生運(yùn)動(dòng)模糊的區(qū)域的輸入運(yùn)動(dòng)圖像信號(hào)中幀的所有區(qū)域執(zhí)行提取處理的前提下，處理目標(biāo)區(qū)域選擇器151執(zhí)行提取處理。任何方法可被用于選擇充當(dāng)分析處理的目標(biāo)的目標(biāo)區(qū)域。
下面描述僅在有限區(qū)域中執(zhí)行成像快門速度的估計(jì)不會(huì)出現(xiàn)問題的原因。圖像捕獲時(shí)的快門速度在一個(gè)幀圖像內(nèi)通常是均勻的。此外，較少數(shù)量的要處理的目標(biāo)區(qū)域就處理成本而言是有利的。
如果對(duì)幀內(nèi)的一個(gè)目標(biāo)區(qū)域執(zhí)行快門速度估計(jì)處理，則對(duì)其它區(qū)域不必進(jìn)行快門速度估計(jì)。只要處理成本允許，在多個(gè)提取的目標(biāo)區(qū)域內(nèi)執(zhí)行快門速度估計(jì)處理從快門速度估計(jì)的準(zhǔn)確性增強(qiáng)的立場(chǎng)上來看是非常有用的。根據(jù)一個(gè)實(shí)施例，在來自一個(gè)幀內(nèi)的多個(gè)目標(biāo)區(qū)域中執(zhí)行稍后將被描述的處理，并且根據(jù)多個(gè)得到的結(jié)果估計(jì)成像快門速度SSD。如果得到多個(gè)快門速度，則通過后續(xù)階段，即成像快門速度準(zhǔn)確度增強(qiáng)處理器154執(zhí)行提高可靠性的處理。稍后將描述這樣的處理。
從解碼圖像數(shù)據(jù)DD的指定幀中選擇分析處理的目標(biāo)區(qū)域的方法不局限于任何一種方法。目標(biāo)區(qū)域優(yōu)選在圖9和10A1到10C2中圖解的目標(biāo)的邊界輪廓邊緣附近，以便有效地執(zhí)行隨后將詳細(xì)討論的運(yùn)動(dòng)模糊特性的分析處理。如果指定區(qū)域的運(yùn)動(dòng)速度為零，則在該區(qū)域內(nèi)沒有運(yùn)動(dòng)模糊發(fā)生。在選擇目標(biāo)區(qū)域時(shí)，可使用運(yùn)動(dòng)速度信息，使得具有預(yù)定運(yùn)動(dòng)速度的區(qū)域被選為目標(biāo)區(qū)域。如果邊緣的方向基本垂直于運(yùn)動(dòng)速度的方向，則容易地執(zhí)行所產(chǎn)生的運(yùn)動(dòng)模糊的分析處理。總之，將被選擇的區(qū)域具有某種程度運(yùn)動(dòng)速度，并且是接近盡可能垂直于運(yùn)動(dòng)速度的方向的邊緣的目標(biāo)區(qū)域。
當(dāng)在圖像處理中執(zhí)行分析處理時(shí)，考慮到處理成本，最好沿掃描線方向拾取像素。因而，從接近具有水平運(yùn)動(dòng)速度的垂直邊緣的區(qū)域方便地提取目標(biāo)區(qū)域。當(dāng)選中目標(biāo)區(qū)域時(shí)，沿著一個(gè)線而不是跨越多線地執(zhí)行隨后將詳細(xì)討論的運(yùn)動(dòng)模糊特性分析處理。關(guān)注接近具有水平運(yùn)動(dòng)速度的垂直邊緣的區(qū)域，僅利用就運(yùn)動(dòng)速度而言的沿著水平方向的足夠數(shù)量的像素，可用于隨后討論的運(yùn)動(dòng)模糊特性分析處理的目的。
圖11A-11C圖解了如何選擇目標(biāo)區(qū)域。圖11A圖解了解碼圖像數(shù)據(jù)DD的一個(gè)幀。如迄今為止所討論的，例如利用Sobel濾波器對(duì)解碼圖像數(shù)據(jù)DD執(zhí)行邊緣提取處理，并且得到圖11B中圖解的邊緣數(shù)據(jù)ED。如先前所討論的，選擇在具有水平運(yùn)動(dòng)速度的垂直邊緣附近的一個(gè)水平線。例如，區(qū)域AR1-AR5被設(shè)置成目標(biāo)區(qū)域。目標(biāo)區(qū)域AR1-AR5可以是每條水平線的一部分。如圖11C所示得到每個(gè)目標(biāo)區(qū)域的亮度信息。在圖11C中，橫坐標(biāo)代表目標(biāo)區(qū)域中的每個(gè)像素的坐標(biāo)，而縱坐標(biāo)代表亮度。
迄今為止的討論涉及在一個(gè)幀中的選擇處理。即使不對(duì)一個(gè)幀的整個(gè)區(qū)域執(zhí)行選擇處理也不會(huì)發(fā)生問題。同樣，不必選擇幀中的所有目標(biāo)區(qū)域。這是由于形成多個(gè)幀的運(yùn)動(dòng)圖像通常具有保持不變的成像快門速度，其至少保持到發(fā)生景象改變的幀。通過一個(gè)幀的分析所估計(jì)的成像快門速度可被保持于其值，直到檢測(cè)到下一個(gè)景象改變。
如果從檢測(cè)到景象改變到檢測(cè)到下一個(gè)景象改變的時(shí)間段內(nèi)，至少對(duì)一個(gè)指定的幀執(zhí)行快門速度估計(jì)處理，則其滿足所需。然而，從一個(gè)幀內(nèi)檢測(cè)到多個(gè)目標(biāo)區(qū)域，以及在每一目標(biāo)區(qū)域中執(zhí)行快門速度估計(jì)處理是可接受的。同樣，只要處理成本允許，在多個(gè)幀中執(zhí)行快門速度估計(jì)處理是特別有用的。這一點(diǎn)提高了快門速度估計(jì)的準(zhǔn)確等級(jí)。如果估計(jì)出多個(gè)不同快門速度值，則成像快門速度準(zhǔn)確度增強(qiáng)處理器154執(zhí)行可靠性加強(qiáng)處理。
參照?qǐng)D12具體描述了處理目標(biāo)區(qū)域選擇器151的目標(biāo)區(qū)域選擇處理。為了操作描述目的，圖12圖解了處理目標(biāo)區(qū)域選擇器151和圖8中圖解的成像快門速度準(zhǔn)確度增強(qiáng)處理器154的內(nèi)部功能結(jié)構(gòu)。
參考圖12，處理目標(biāo)區(qū)域選擇器151包含垂直方向邊緣檢測(cè)器1511、水平方向運(yùn)動(dòng)速度閾值處理器1512、目標(biāo)區(qū)域確定器1513和景象改變檢測(cè)器1514。在該布置中，從一個(gè)幀中提取水平速度等于或高于恒定值、垂直邊緣附近的區(qū)域作為目標(biāo)區(qū)域，并且僅對(duì)所提取的目標(biāo)區(qū)域執(zhí)行快門速度估計(jì)處理。
垂直方向邊緣檢測(cè)器1511對(duì)輸入解碼圖像數(shù)據(jù)DD的幀內(nèi)的每個(gè)區(qū)域執(zhí)行邊緣檢測(cè)處理。在這種情況下，利用Sobel濾波器等的方向選擇性屏蔽處理可以僅提取垂直邊緣。將確定為垂直邊緣的區(qū)域處的輸入圖像數(shù)據(jù)原樣輸出給目標(biāo)區(qū)域確定器1513。未確定為垂直邊緣的區(qū)域被輸出到目標(biāo)區(qū)域確定器1513，其中該區(qū)域內(nèi)的所有像素信號(hào)被設(shè)置為″0″。運(yùn)動(dòng)向量VD被輸入給水平方向運(yùn)動(dòng)速度閾值處理器1512。要選擇水平速度等于或高于恒定值的區(qū)域，由水平分量VDx表示的每個(gè)區(qū)域的運(yùn)動(dòng)向量的水平分量成為閾值處理的目標(biāo)。如果水平分量VDx大于預(yù)定閾值TH(VDx＞TH)，則輸入?yún)^(qū)域的運(yùn)動(dòng)向量信號(hào)被原樣輸出給目標(biāo)區(qū)域確定器1513。如果水平分量VDx等于或低于閾值TH(VDx≤TH)，則區(qū)域的所有運(yùn)動(dòng)向量被設(shè)置成″0″，然后輸出到目標(biāo)區(qū)域確定器1513。
目標(biāo)區(qū)域確定器1513僅在圖像數(shù)據(jù)和輸入?yún)^(qū)域的運(yùn)動(dòng)向量均不是零的情況下確定區(qū)域?yàn)榭扉T速度估計(jì)處理的目標(biāo)。僅在這種情況下，區(qū)域被確定為處理目標(biāo)區(qū)域DDT。如先前所述，處理目標(biāo)區(qū)域DDT是被確定為目標(biāo)的區(qū)域的圖像數(shù)據(jù)。目標(biāo)區(qū)域確定器1513將處理目標(biāo)區(qū)域DDT輸出給運(yùn)動(dòng)模糊特征分析器152，并且將區(qū)域的運(yùn)動(dòng)向量VDT輸出給圖像快門速度計(jì)算器153。
輸入給處理目標(biāo)區(qū)域選擇器151的解碼圖像數(shù)據(jù)DD的每一幀被提供給景象改變檢測(cè)器1514。景象改變檢測(cè)器1514執(zhí)行景象改變檢測(cè)處理?？墒褂萌魏尉跋蟾淖儥z測(cè)技術(shù)。例如，可使用日本待審專利申請(qǐng)公開說明書2004-282318中公開的景象改變檢測(cè)技術(shù)。當(dāng)檢測(cè)到景象改變時(shí)，景象改變檢測(cè)器1514將景象改變檢測(cè)信號(hào)SCD輸出給成像快門速度準(zhǔn)確度增強(qiáng)處理器154。
如上所述，處理目標(biāo)區(qū)域選擇器151識(shí)別處理目標(biāo)區(qū)域DDT，然后將處理目標(biāo)區(qū)域DDT輸出給運(yùn)動(dòng)模糊特征分析器152。處理目標(biāo)區(qū)域選擇器151還提取響應(yīng)處理目標(biāo)區(qū)域DDT的位置的運(yùn)動(dòng)向量VDT，并且將運(yùn)動(dòng)向量VDT輸出給圖像快門速度計(jì)算器153。運(yùn)動(dòng)模糊特征分析器152的處理描述如下。運(yùn)動(dòng)模糊特性的分析是估計(jì)運(yùn)動(dòng)模糊的運(yùn)動(dòng)模糊長(zhǎng)度L的處理(參見(ii)圖9和圖11C中低速快門圖像)。
考慮若干方法來確定運(yùn)動(dòng)模糊長(zhǎng)度L。此處描述確定運(yùn)動(dòng)模糊長(zhǎng)度L的兩種主要類型的方法。在第一種方法中，針對(duì)發(fā)生在實(shí)際圖像信號(hào)中的運(yùn)動(dòng)模糊，通過定義運(yùn)動(dòng)模糊的數(shù)學(xué)模型以及求解最小化誤差函數(shù)的數(shù)學(xué)模型中的參數(shù)來估計(jì)運(yùn)動(dòng)模糊長(zhǎng)度L。在第二種方法中，通過將事先準(zhǔn)備的運(yùn)動(dòng)模糊樣本模式與實(shí)際上發(fā)生于圖像信號(hào)中的運(yùn)動(dòng)模糊匹配來估計(jì)運(yùn)動(dòng)模糊長(zhǎng)度L。
首先描述第一種方法的一個(gè)例子。如在Bunyo OKUMURA、Masayuki KANBARA和Naokazu YOKOYA的″Photometric RegistrationBased on Defocus and Motion Blur Estimation for Augmented Reality″，The Institute of Electronics，Information and Communication Engineers，D Vol.J90-D No.8 pp.2126-2136中所公開的，通過用數(shù)學(xué)模型表示接近受運(yùn)動(dòng)模糊影響的邊緣的亮度值來估計(jì)運(yùn)動(dòng)模糊長(zhǎng)度L。根據(jù)公開的技術(shù)，令坐標(biāo)p表示邊緣附近的每個(gè)像素，p0表示發(fā)生在邊緣附近的模糊的中心位置的坐標(biāo)(未知)，并且用下列公式(5)表示變量t t＝2*(p-p0)/L...(5) 其中在圖9的(ii)低速快門圖像中圖解了中心位置坐標(biāo)P0。
利用公式(5)，模擬邊緣附近的運(yùn)動(dòng)模糊特性的函數(shù)g(t)被定義為公式(6) 與實(shí)際運(yùn)動(dòng)模糊相比，使用下列公式(7) 圖9中(ii)低速快門圖像中的前景的亮度Bf和背景的亮度Bb被用于公式(7)中。
邊緣附近的像素坐標(biāo)p被代入公式(5)，根據(jù)公式(5)、(6)和(7)求解使針對(duì)實(shí)際運(yùn)動(dòng)模糊的值的距離函數(shù)最小化的參數(shù)L、p0、Bf和Bb。從而估計(jì)出運(yùn)動(dòng)模糊長(zhǎng)度L。為求解使距離函數(shù)最小化的四個(gè)未知數(shù)，可使用例如擬牛頓法的數(shù)值分析方法。距離函數(shù)通常是均為實(shí)際圖像的像素值與函數(shù)f之間的差的平方值的比較，或者是均為實(shí)際圖像的像素值與函數(shù)f之間的差的絕對(duì)值的線性和的比較?？紤]到例如光學(xué)低通濾波器和焦點(diǎn)的成像條件，如公式(6)中，定義模擬主要運(yùn)動(dòng)模糊特性的函數(shù)。該函數(shù)可以是簡(jiǎn)單不連續(xù)函數(shù)，例如圖9中的(ii)低速快門圖像信號(hào)的函數(shù)。
在第二種方法中，如上所述，根據(jù)在被選為圖像信號(hào)中的目標(biāo)的邊緣附近的目標(biāo)區(qū)域中的空間頻率分量估計(jì)運(yùn)動(dòng)模糊長(zhǎng)度L。如參照?qǐng)D9所述，在具有運(yùn)動(dòng)速度的像素附近所產(chǎn)生的運(yùn)動(dòng)模糊可被表示成低通濾波器。利用低通濾波器，通過匹配頻率分析結(jié)果來估計(jì)運(yùn)動(dòng)模糊長(zhǎng)度L。
如圖9中所示，通過曝光時(shí)間確定運(yùn)動(dòng)模糊的特性。如果運(yùn)動(dòng)速度是恒定的，則具有相同運(yùn)動(dòng)模糊長(zhǎng)度的運(yùn)動(dòng)模糊應(yīng)當(dāng)具有相同的頻率特性。例如，如在圖9中的圖像捕獲期間遭受運(yùn)動(dòng)模糊的(ii)圖像信號(hào)中那樣，準(zhǔn)備具有各種指定運(yùn)動(dòng)模糊長(zhǎng)度L的運(yùn)動(dòng)模糊樣本模式，對(duì)圖像信號(hào)執(zhí)行預(yù)定頻率分析，存儲(chǔ)每種樣本模式的頻率分量。頻率分析法可以是包含富立葉變換和小波分析的典型方法之一。當(dāng)目標(biāo)區(qū)域作為分析的目標(biāo)被輸入時(shí)，對(duì)目標(biāo)區(qū)域執(zhí)行與對(duì)樣本模式所執(zhí)行的相同的頻率分析，以及利用誤差函數(shù)等確定具有最接近目標(biāo)區(qū)域的頻率分量的頻率分量的樣本模式。具有最接近目標(biāo)區(qū)域的頻率分量的樣本模式的運(yùn)動(dòng)模糊長(zhǎng)度L變?yōu)榉治瞿繕?biāo)區(qū)域中的邊緣的運(yùn)動(dòng)模糊長(zhǎng)度L。
圖13圖解了通過匹配頻率分析結(jié)果估計(jì)運(yùn)動(dòng)模糊長(zhǎng)度L的具體處理流程。被確定為分析目標(biāo)的邊緣附近的目標(biāo)區(qū)域被輸入給快速富立葉變換(FFT)單元1521。對(duì)目標(biāo)區(qū)域執(zhí)行快速富立葉變換(FFT)處理，并且將目標(biāo)區(qū)域的主頻率分量輸出給頻率分量匹配單元1522。計(jì)算頻率功率譜作為快速富立葉變換的結(jié)果，并且具有最高三個(gè)功率值的頻率被發(fā)送到頻率分量匹配單元1522。頻率分量匹配單元1522搜索運(yùn)動(dòng)模糊樣本頻率表1523以獲得具有最相似于輸入目標(biāo)區(qū)域的主頻率分量的頻率模式的運(yùn)動(dòng)模糊樣本，并且輸出命中樣本的運(yùn)動(dòng)模糊長(zhǎng)度L。
圖14圖解了運(yùn)動(dòng)模糊樣本頻率表1523的例子。如圖所示，運(yùn)動(dòng)模糊樣本頻率表1523列出每個(gè)運(yùn)動(dòng)模糊長(zhǎng)度L的頻率分量(La，...，Lmax)。頻率分量匹配單元1522在圖14的查找表中搜索具有最相似于目標(biāo)區(qū)域的最高三個(gè)頻率分量的頻率分量的樣本。因此，準(zhǔn)備了評(píng)估誤差的函數(shù)。例如，可以利用線性累加平方差的典型距離函數(shù)來執(zhí)行誤差的評(píng)估。所確定的樣本運(yùn)動(dòng)模糊模式的運(yùn)動(dòng)模糊長(zhǎng)度為所尋找到的運(yùn)動(dòng)模糊長(zhǎng)度L。
將運(yùn)動(dòng)模糊樣本模式與圖像信號(hào)中實(shí)際發(fā)生的運(yùn)動(dòng)模糊匹配的運(yùn)動(dòng)模糊長(zhǎng)度L的上述估計(jì)方法關(guān)注于空間頻率分量。還考慮到把樣本模式和確定為分析目標(biāo)的邊緣附近的區(qū)域在現(xiàn)實(shí)空間中相互比較。換言之，樣本運(yùn)動(dòng)模糊模式被存為圖像信號(hào)，然后搜索對(duì)于實(shí)際圖像信號(hào)來說使誤差函數(shù)產(chǎn)生最小值的樣本運(yùn)動(dòng)模糊模式。
快門速度估計(jì)處理器150中的運(yùn)動(dòng)模糊特征分析器152利用上述技術(shù)之一來估計(jì)運(yùn)動(dòng)模糊長(zhǎng)度L，并且輸出所得到的運(yùn)動(dòng)模糊長(zhǎng)度L。輸出的運(yùn)動(dòng)模糊長(zhǎng)度L被輸入給圖像快門速度計(jì)算器153 圖像快門速度計(jì)算器153基于處理目標(biāo)區(qū)域DDT中的運(yùn)動(dòng)模糊的運(yùn)動(dòng)模糊長(zhǎng)度L和響應(yīng)處理目標(biāo)區(qū)域DDT的運(yùn)動(dòng)向量VDT，確定估計(jì)成像快門速度SSDT。換言之，由圖像快門速度計(jì)算器153執(zhí)行的處理僅僅求解公式(4)。如先前所述，已知公式(4)中的幀速率F。運(yùn)動(dòng)速度V是響應(yīng)處理目標(biāo)區(qū)域DDT的運(yùn)動(dòng)向量VDT的水平分量，也是已知的。由運(yùn)動(dòng)模糊特征分析器152估計(jì)運(yùn)動(dòng)模糊長(zhǎng)度L。通過求解公式(4)，容易地確定快門速度S?？扉T速度S變?yōu)楸粓D像快門速度計(jì)算器153輸出的估計(jì)成像快門速度SSDT。
最后，成像快門速度準(zhǔn)確度增強(qiáng)處理器154生成并且輸出成像快門速度SSD。成像快門速度準(zhǔn)確度增強(qiáng)處理器154接收到由圖像快門速度計(jì)算器153估計(jì)的估計(jì)成像快門速度SSDT。在這種情況下，輸入根據(jù)多個(gè)目標(biāo)區(qū)域估計(jì)的估計(jì)成像快門速度。如先前所討論的，理論上可以在從檢測(cè)到一個(gè)景象改變到檢測(cè)到下一個(gè)景象改變的時(shí)段內(nèi)，在從一個(gè)幀中選擇出來的一個(gè)區(qū)域中執(zhí)行估計(jì)處理。在一個(gè)幀內(nèi)以及在多個(gè)幀內(nèi)的多個(gè)目標(biāo)區(qū)域中執(zhí)行估計(jì)處理對(duì)提高估計(jì)準(zhǔn)確度是有用的。因此，多個(gè)估計(jì)成像快門速度SSDT可被用于生成快門速度SSD。如果估計(jì)出多個(gè)不同估計(jì)成像快門速度SSDT，則速度的加權(quán)平均或者中值可被確定為最后輸出的快門速度SSD。從而提高處理可靠性。
參照?qǐng)D12描述成像快門速度準(zhǔn)確度增強(qiáng)處理器154的操作。圖12中圖解的成像快門速度準(zhǔn)確度增強(qiáng)處理器154包含成像快門速度累積器1541、成像快門速度濾波處理器1542以及景象改變檢測(cè)信號(hào)接收器1543。
由圖像快門速度計(jì)算器153針對(duì)目標(biāo)區(qū)域計(jì)算的、輸入給成像快門速度準(zhǔn)確度增強(qiáng)處理器154的估計(jì)成像快門速度SSDT由成像快門速度累積器1541接收。成像快門速度累積器1541累積估計(jì)成像快門速度SSDT的值。成像快門速度濾波處理器1542利用至少一個(gè)在成像快門速度累積器1541上累積的估計(jì)成像快門速度SSDT的值執(zhí)行預(yù)定的濾波處理。如先前所討論的，濾波處理旨在當(dāng)輸入多個(gè)不同的估計(jì)成像快門速度SSDT時(shí)，提高處理可靠性。濾波處理可包含求平均值運(yùn)算、加權(quán)平均運(yùn)算和中值檢測(cè)運(yùn)算。為減少在成像快門速度累積器1541上累積的估計(jì)成像快門速度SSDT的數(shù)據(jù)長(zhǎng)度，無限脈沖響應(yīng)(IIR)的使用是可取的。利用IIR濾波器，如果僅存儲(chǔ)緊臨在前的處理結(jié)果，則其滿足所需，并且運(yùn)算變得有效。
景象改變檢測(cè)信號(hào)接收器1543接收從處理目標(biāo)區(qū)域選擇器151中的景象改變檢測(cè)器1514輸入的景象改變檢測(cè)信號(hào)SCD。在接收到景象改變檢測(cè)信號(hào)SCD時(shí)，景象改變檢測(cè)信號(hào)接收器1543確定目標(biāo)幀中已發(fā)生景象改變，從而確定成像快門速度已改變。景象改變檢測(cè)信號(hào)接收器1543將復(fù)位信號(hào)輸出給成像快門速度累積器1541，并且刪除迄今為止所存儲(chǔ)的成像快門速度的估計(jì)值。成像快門速度濾波處理器1542利用最近輸入給成像快門速度累積器1541的成像快門速度的估計(jì)值計(jì)算高可靠成像快門速度。
成像快門速度濾波處理器1542的處理結(jié)果作為當(dāng)前幀的或當(dāng)前景象(從檢測(cè)到緊接在前的景象改變持續(xù)到檢測(cè)到下一個(gè)景象改變)的快門速度SSD被輸出。
已經(jīng)討論過快門速度估計(jì)處理器150的快門速度估計(jì)方法的串行運(yùn)算。通過上述處理估計(jì)的快門速度SSD被輸出到運(yùn)動(dòng)模糊校正參數(shù)計(jì)算器170。
圖5中圖解的運(yùn)動(dòng)模糊校正參數(shù)計(jì)算器170和運(yùn)動(dòng)模糊校正處理器160的處理描述如下。運(yùn)動(dòng)模糊校正參數(shù)計(jì)算器170和運(yùn)動(dòng)模糊校正處理器160根據(jù)從運(yùn)動(dòng)向量生成處理器140輸入的運(yùn)動(dòng)向量VD的值，同時(shí)參考從快門速度估計(jì)處理器150輸入的快門速度SSD，對(duì)解碼圖像數(shù)據(jù)DD的每個(gè)分區(qū)區(qū)域(參見圖2)執(zhí)行濾波處理。運(yùn)動(dòng)模糊校正參數(shù)計(jì)算器170和運(yùn)動(dòng)模糊校正處理器160將急動(dòng)和模糊均得到減少的輸出圖像輸出到運(yùn)動(dòng)圖像顯示輸出單元190。由運(yùn)動(dòng)模糊校正參數(shù)計(jì)算器170和運(yùn)動(dòng)模糊校正處理器160執(zhí)行的運(yùn)動(dòng)模糊校正處理包含逐個(gè)分區(qū)區(qū)域地減少或增加運(yùn)動(dòng)模糊的濾波處理。根據(jù)稍后將討論的技術(shù)自適應(yīng)地執(zhí)行濾波處理的選擇。
圖15圖解了運(yùn)動(dòng)模糊校正參數(shù)計(jì)算器170和運(yùn)動(dòng)模糊校正處理器160的具體結(jié)構(gòu)。運(yùn)動(dòng)模糊校正參數(shù)計(jì)算器170包含處理選擇控制器171和最優(yōu)快門速度信息存儲(chǔ)器172。運(yùn)動(dòng)模糊校正處理器160包含分類單元163、運(yùn)動(dòng)模糊減少處理器164、運(yùn)動(dòng)模糊增加處理器165和合成器166。
從運(yùn)動(dòng)向量生成處理器140輸出的運(yùn)動(dòng)向量VD和從快門速度估計(jì)處理器150輸出的快門速度SSD首先由處理選擇控制器171接收。利用響應(yīng)輸入運(yùn)動(dòng)向量VD的分區(qū)區(qū)域的運(yùn)動(dòng)向量值，處理選擇控制器171參考存儲(chǔ)在最優(yōu)快門速度信息存儲(chǔ)器172上的最優(yōu)快門信息，并且確定分區(qū)區(qū)域的快門速度SSD0。處理選擇控制器171還將從快門速度估計(jì)處理器150提供的快門速度SSD與用于評(píng)估的快門速度SSD0相比較。處理選擇控制器171從而確定對(duì)分區(qū)區(qū)域執(zhí)行的濾波處理是運(yùn)動(dòng)去模糊處理、運(yùn)動(dòng)加模糊處理還是根本不進(jìn)行運(yùn)動(dòng)模糊校正。然后，處理選擇控制器171將確定結(jié)果傳送給分類單元163。
處理選擇控制器171還輸出濾波器參數(shù)PD給所選擇的運(yùn)動(dòng)模糊校正濾波塊，即運(yùn)動(dòng)模糊減少處理器164和運(yùn)動(dòng)模糊增加處理器165?？梢杂眠\(yùn)動(dòng)去模糊處理和運(yùn)動(dòng)加模糊處理的任意一個(gè)執(zhí)行運(yùn)動(dòng)模糊校正。濾波器參數(shù)PD被用來調(diào)整這種處理的程度(就量和強(qiáng)度而言)。
分類單元163已經(jīng)接收到解碼圖像數(shù)據(jù)DD，并且響應(yīng)于處理選擇控制信息SCS，逐個(gè)分區(qū)區(qū)域地將解碼圖像數(shù)據(jù)DD輸出給運(yùn)動(dòng)模糊減少處理器164和運(yùn)動(dòng)模糊增加處理器165中的一個(gè)?？蛇x地，分類單元163可輸出不必執(zhí)行運(yùn)動(dòng)模糊校正處理的分區(qū)區(qū)域給合成器166，而不是提供分區(qū)區(qū)域給運(yùn)動(dòng)模糊減少處理器164和運(yùn)動(dòng)模糊增加處理器165中的一個(gè)。不必執(zhí)行運(yùn)動(dòng)模糊校正處理的分區(qū)區(qū)域被運(yùn)動(dòng)模糊減少處理器164和運(yùn)動(dòng)模糊增加處理器165中的一個(gè)處理，其中其校正量置為零。
運(yùn)動(dòng)模糊減少處理器164用稍后將討論的方法對(duì)從分類單元163中提供的分區(qū)區(qū)域的圖像數(shù)據(jù)執(zhí)行濾波處理以減少運(yùn)動(dòng)模糊量，并且輸出所得到的圖像數(shù)據(jù)給合成器166。運(yùn)動(dòng)模糊增加處理器165用稍后將討論的方法對(duì)從分類單元163中提供的分區(qū)區(qū)域的圖像數(shù)據(jù)執(zhí)行濾波處理以增加運(yùn)動(dòng)模糊量，并且輸出所得到的圖像數(shù)據(jù)給合成器166。已經(jīng)過濾波處理的分區(qū)區(qū)域上的圖像數(shù)據(jù)被輸出到合成器166。然后，合成器166將接收到的圖像數(shù)據(jù)重構(gòu)成幀圖像，然后輸出該幀圖像作為輸出圖像信號(hào)OD。
圖15中圖解的單元的處理描述如下。在單元的處理的討論過程中，具體地描述最優(yōu)快門速度、運(yùn)動(dòng)模糊減少處理(運(yùn)動(dòng)去模糊處理)和運(yùn)動(dòng)模糊增加處理(運(yùn)動(dòng)模糊增加處理)的選擇方法，以及運(yùn)動(dòng)模糊減少和增加處理的濾波處理。這種討論有助于理解由運(yùn)動(dòng)模糊校正處理器160執(zhí)行的處理。
處理選擇控制器171利用響應(yīng)輸入運(yùn)動(dòng)向量VD的分區(qū)區(qū)域的向量的值，首先參考事先存儲(chǔ)在最優(yōu)快門速度信息存儲(chǔ)器172上的最優(yōu)快門速度信息，并且確定分區(qū)區(qū)域的快門速度SSD0。在描述處理選擇控制器171之前，描述最優(yōu)快門速度。
圖16圖解了對(duì)象速度以及響應(yīng)對(duì)象速度的最優(yōu)快門速度曲線，對(duì)象速度指示被檢測(cè)為運(yùn)動(dòng)向量的對(duì)象的運(yùn)動(dòng)速度。響應(yīng)指定運(yùn)動(dòng)速度的最優(yōu)快門速度是這樣一個(gè)值如果以該快門速度執(zhí)行圖像捕獲，則在該值處急動(dòng)降級(jí)和模糊降級(jí)均減少。更具體地說，最優(yōu)快門速度是這樣一種快門速度響應(yīng)于對(duì)象的運(yùn)動(dòng)速度，根據(jù)視覺特性，在所述快門速度處急動(dòng)降級(jí)明顯較少，并且在所述快門速度處模糊降級(jí)也明顯較少。在模糊降級(jí)中，增加過多運(yùn)動(dòng)模糊，對(duì)象缺乏細(xì)節(jié)或清晰度。圖像捕獲時(shí)的作為曝光時(shí)間的快門速度值越高，運(yùn)動(dòng)模糊量變得越大。如果以高于最優(yōu)快門速度的快門速度拍攝對(duì)象，則捕獲的圖像可能遭受急動(dòng)。如果以低于最優(yōu)快門速度的快門速度拍攝對(duì)象，則捕獲的圖像可能遭受運(yùn)動(dòng)模糊。
最優(yōu)快門速度信息存儲(chǔ)器172預(yù)存儲(chǔ)圖16中示出的最優(yōu)快門速度信息。最優(yōu)快門速度信息存儲(chǔ)器172利用最優(yōu)快門速度作為運(yùn)動(dòng)模糊調(diào)整參考，從而確定濾波處理的內(nèi)容以便在后續(xù)階段調(diào)整運(yùn)動(dòng)模糊量。換言之，由后續(xù)階段，即運(yùn)動(dòng)模糊減少處理器164和運(yùn)動(dòng)模糊增加處理器165執(zhí)行的濾波處理被解釋為將圖像的每個(gè)區(qū)域轉(zhuǎn)換成具有響應(yīng)″以最優(yōu)快門速度捕獲的運(yùn)動(dòng)模糊量″的運(yùn)動(dòng)模糊的圖像。
圖16中的最優(yōu)快門速度曲線SS0圖解了任意對(duì)象速度與最優(yōu)快門速度之間的關(guān)系，更具體地說，是一種連接心理試驗(yàn)的結(jié)果的曲線。根據(jù)最優(yōu)快門速度曲線SS0，圖16中圖解的運(yùn)動(dòng)模糊區(qū)域A1被確定為具有由對(duì)象的運(yùn)動(dòng)所引起的過度運(yùn)動(dòng)模糊。類似地，根據(jù)最優(yōu)快門速度曲線SS0，急動(dòng)區(qū)域A2被確定為不具有由對(duì)象的運(yùn)動(dòng)所引起的運(yùn)動(dòng)模糊，而具有視覺特性中的急動(dòng)降級(jí)。為了利用最優(yōu)快門速度曲線SS0確定響應(yīng)運(yùn)動(dòng)向量的最優(yōu)快門速度，以任意值為步長(zhǎng)地響應(yīng)運(yùn)動(dòng)向量的最優(yōu)快門速度信息在最優(yōu)快門速度信息存儲(chǔ)器172上被預(yù)存儲(chǔ)成表格并然后被參考。
根據(jù)本發(fā)明的一個(gè)實(shí)施例，利用相似于由圖16中的實(shí)線表示的最優(yōu)快門速度曲線的函數(shù)可以計(jì)算響應(yīng)運(yùn)動(dòng)向量的最優(yōu)快門速度。處理選擇控制器171根據(jù)下列公式(8)的最優(yōu)快門速度曲線的近似函數(shù)計(jì)算快門速度SSD1 ...(8) 其中V代表指定分區(qū)區(qū)域的運(yùn)動(dòng)向量，而參數(shù)A，B和γ根據(jù)圖16中圖解的最優(yōu)快門曲線被設(shè)置成適當(dāng)值。作為具體例子，圖16圖解了曲線SS1-SS3，其中公式(8)的參數(shù)中參數(shù)A和B被設(shè)置成固定值，而γ以三級(jí)變化。
SS0代表基于從目標(biāo)評(píng)估試驗(yàn)中獲得的值所產(chǎn)生的最優(yōu)快門速度曲線，SS1-SS3是根據(jù)公式(8)近似最優(yōu)快門速度曲線SS0的最優(yōu)快門速度曲線。SS1-SS3可被用于根據(jù)裝置的用戶的偏好調(diào)整最優(yōu)快門速度曲線。
存儲(chǔ)在最優(yōu)快門速度信息存儲(chǔ)器172上的數(shù)據(jù)的形式不僅是圖16中的曲線圖和例如公式(8)的數(shù)學(xué)表達(dá)式，而且是列出最優(yōu)快門速度曲線的量化值的表格。已經(jīng)描述了最小化急動(dòng)降級(jí)和模糊降級(jí)的最優(yōu)快門速度。
下面描述的是由處理選擇控制器171執(zhí)行的、分區(qū)區(qū)域中的最優(yōu)快門速度SSD0的確定方法。處理選擇控制器171在最優(yōu)快門速度信息存儲(chǔ)器172以圖16中圖解的曲線圖形式存儲(chǔ)最優(yōu)快門速度信息的前提下執(zhí)行確定方法。
分區(qū)區(qū)域的運(yùn)動(dòng)速度AVT表示響應(yīng)運(yùn)動(dòng)向量VD的分區(qū)區(qū)域的向量值的絕對(duì)值。運(yùn)動(dòng)速度AVT的值被標(biāo)成圖16中曲線圖的橫坐標(biāo)上的點(diǎn)。在感興趣的曲線上被找到對(duì)應(yīng)于橫坐標(biāo)中的點(diǎn)的點(diǎn)。然后，讀出對(duì)應(yīng)于曲線中的點(diǎn)的縱坐標(biāo)上的值。讀出的值為分區(qū)區(qū)域中的最優(yōu)快門速度SSD0。
圖17圖解了處理選擇控制器171的處理流程。在步驟S10中，處理選擇控制器171用上述方法確定分區(qū)區(qū)域的最優(yōu)快門速度SSD0。在步驟S11中，處理選擇控制器171將所確定的最優(yōu)快門速度SSD0與輸入給處理選擇控制器171的最優(yōu)快門速度SSD相比較。比較結(jié)果確定對(duì)分區(qū)區(qū)域執(zhí)行的濾波處理是運(yùn)動(dòng)去模糊處理還是運(yùn)動(dòng)加模糊處理。選擇處理的條件是如果分區(qū)區(qū)域中的最優(yōu)快門速度低于成像快門速度SSD，則執(zhí)行運(yùn)動(dòng)加模糊處理(步驟S12)，而如果最優(yōu)快門速度高于成像快門速度SSD，則執(zhí)行運(yùn)動(dòng)去模糊處理(步驟S13)。
參照?qǐng)D15，處理選擇控制器171將濾波器參數(shù)PD輸出給所選擇的運(yùn)動(dòng)模糊校正濾波塊，即運(yùn)動(dòng)模糊減少處理器164和運(yùn)動(dòng)模糊增加處理器165。濾波器參數(shù)PD被用來調(diào)整所選擇的運(yùn)動(dòng)去模糊處理和運(yùn)動(dòng)加模糊處理之一的程度(就量和強(qiáng)度而言)。根據(jù)本實(shí)施例，特別地，每個(gè)分區(qū)區(qū)域的成像快門速度與最優(yōu)快門速度之間的快門速度差SSDD，以及運(yùn)動(dòng)向量VD作為濾波器參數(shù)PD被提供給運(yùn)動(dòng)模糊減少處理器164和運(yùn)動(dòng)模糊增加處理器165中的每個(gè)。在當(dāng)確定運(yùn)動(dòng)模糊校正處理是運(yùn)動(dòng)去模糊處理還是運(yùn)動(dòng)加模糊處理時(shí)所執(zhí)行的比較和評(píng)估階段，由處理選擇控制器171計(jì)算快門速度差SSDD。如果由公式SSDD＝SSD-SSD0計(jì)算出快門速度差SSDD，則響應(yīng)于正快門速度差SSDD執(zhí)行運(yùn)動(dòng)去模糊處理，或者響應(yīng)于負(fù)快門速度差SSDD執(zhí)行運(yùn)動(dòng)加模糊處理。
圖18圖解了圖16中圖解的成像快門速度和對(duì)象速度(目標(biāo)的速度)，其中對(duì)其增加了具體例子。參考例子，具體地描述關(guān)于運(yùn)動(dòng)去模糊處理還是運(yùn)動(dòng)加模糊處理將作為濾波處理而被執(zhí)行的選擇。同樣，兩種濾波處理的操作描述如下。圖18圖解了成像快門速度Sa-Sc作為圖像捕獲時(shí)的快門速度的例子以及對(duì)象速度Va-Vc作為對(duì)象的運(yùn)動(dòng)速度的例子。為了在隨后的討論中說明方便起見，從圖16中圖解的曲線中只選擇SS0作為最優(yōu)快門速度曲線。選擇曲線SS0-SS3中的任何一個(gè)都是可接受的。
參考圖18，用成像快門速度的三個(gè)值Sa、Sb和Sc中的每個(gè)描述運(yùn)動(dòng)模糊量調(diào)整處理。
成像快門速度Sa是指張開快門速度。最優(yōu)快門速度在所有對(duì)象速度Va、Vb和Vc中的每個(gè)處高于實(shí)際快門速度Sa。因此，為了生成具有以最優(yōu)快門速度產(chǎn)生的運(yùn)動(dòng)模糊度的圖像，執(zhí)行作為運(yùn)動(dòng)模糊減少處理的去模糊處理。處理選擇控制器171因而將指示已經(jīng)選擇運(yùn)動(dòng)去模糊處理的處理選擇控制信息SCS輸出給分類單元163。分類單元163將輸入的解碼圖像數(shù)據(jù)DD中每個(gè)分區(qū)區(qū)域的信號(hào)輸出給運(yùn)動(dòng)模糊減少處理器164。
下面具體描述由運(yùn)動(dòng)模糊減少處理器164執(zhí)行的運(yùn)動(dòng)去模糊處理。圖19圖解了運(yùn)動(dòng)模糊減少處理器164的結(jié)構(gòu)。運(yùn)動(dòng)模糊減少處理器164包含平滑濾波特性轉(zhuǎn)換器1641、平滑濾波器1642、減法器1643和加法器1644。運(yùn)動(dòng)模糊減少處理器164減少輸入解碼圖像數(shù)據(jù)DD的每個(gè)分區(qū)區(qū)域的運(yùn)動(dòng)模糊量。
平滑濾波器1642是最簡(jiǎn)單類型的低通濾波器之一，其每當(dāng)處理目標(biāo)像素移動(dòng)一個(gè)像素時(shí)計(jì)算并且輸出處理目標(biāo)像素和其圍繞像素的平均值。例如，如圖20A所示，在給定時(shí)間點(diǎn)對(duì)包含當(dāng)前樣本值(圖20A中的四個(gè)樣本值)的n個(gè)樣本值求平均值。如圖20B所示，在下一個(gè)時(shí)間點(diǎn)對(duì)包含當(dāng)前樣本值(圖20B中的四個(gè)樣本值)的n個(gè)樣本值求平均值。樣本值是指像素值。每當(dāng)處理目標(biāo)像素移動(dòng)一個(gè)像素時(shí)，對(duì)包含處理目標(biāo)像素和圍繞像素的值的n個(gè)樣本值求平均值。
平滑濾波特性轉(zhuǎn)換器1641接收濾波器參數(shù)PD。平滑濾波特性轉(zhuǎn)換器1641從輸入的濾波器參數(shù)PD中提取在位置上對(duì)應(yīng)于解碼圖像數(shù)據(jù)DD中分區(qū)區(qū)域的濾波器參數(shù)，并且基于所提取的濾波器參數(shù)，確定由平滑濾波器1642執(zhí)行的處理的濾波特性。例如，針對(duì)多個(gè)濾波器參數(shù)PD分別準(zhǔn)備平滑濾波器，以便確定用于目標(biāo)像素的濾波器。下面具體描述該處理。
平滑濾波特性被解釋為在圍繞目標(biāo)像素的像素中有多少像素被求平均值，并且快門速度差SSDD和運(yùn)動(dòng)向量VD被用作濾波器參數(shù)的例子。在這種情況下，準(zhǔn)備一個(gè)表，其針對(duì)快門速度差SSDD和運(yùn)動(dòng)向量VD的組合，確定將被用于平滑濾波器的像素的數(shù)量。每當(dāng)輸入快門速度差SSDD和運(yùn)動(dòng)向量VD時(shí)，輸出將被用于平滑濾波器的像素的數(shù)量。所確定的用于平滑濾波器的像素?cái)?shù)量被輸出到平滑濾波器1642。
平滑濾波器1642(低通濾波器)根據(jù)由平滑濾波特性轉(zhuǎn)換器1641確定的濾波特性，對(duì)處理目標(biāo)幀內(nèi)包含目標(biāo)像素的預(yù)定塊執(zhí)行濾波處理，從而轉(zhuǎn)換目標(biāo)像素的像素值。由平滑濾波器1642轉(zhuǎn)換的目標(biāo)像素的像素值被輸出到減法器1643。更具體地說，減法器1643接收由平滑濾波器1642轉(zhuǎn)換的目標(biāo)像素的像素值，雖然是以像素值的極性反相形式。減法器1643也接收輸入解碼圖像數(shù)據(jù)DD的處理目標(biāo)幀的目標(biāo)像素。減法器1643計(jì)算輸入圖像數(shù)據(jù)中的像素的像素值與由平滑濾波器1642轉(zhuǎn)換的目標(biāo)像素的像素值之間的差值，然后將該差值輸出給加法器1644。加法器1644接收平滑濾波器的操作前后的值之間的差值。加法器1644也接收解碼圖像數(shù)據(jù)DD中的處理目標(biāo)幀的目標(biāo)像素。加法器1644將平滑濾波器的操作前后的值之間的差值加到目標(biāo)像素的未經(jīng)校正的像素值上，并且輸出相加結(jié)果作為輸出圖像的一部分。
已經(jīng)描述了圖19中圖解的運(yùn)動(dòng)模糊減少處理器164的處理。如果用頻域來考慮，則運(yùn)動(dòng)模糊減少處理器164的處理易于理解?，F(xiàn)在按照頻域來考慮作為減法器1643的輸出信號(hào)的平滑濾波器的操作前后的值之間的差值。在給定的頻率上，輸入圖像信號(hào)的增益與已被平滑濾波器濾波的圖像信號(hào)的增益之間的差變?yōu)榧臃ㄆ?644的輸出信號(hào)的增益。加法器1644的輸出圖像信號(hào)的增益是輸入圖像信號(hào)的增益與平滑濾波器的操作前后之間的增益差的和。更具體地說，在每個(gè)頻率上，輸出圖像信號(hào)的增益是被平滑濾波器的操作前后之間的增益差所提高的輸入圖像信號(hào)的增益。由于平滑濾波器1642是低通濾波器，圖19中圖解的運(yùn)動(dòng)模糊減少處理器164的整個(gè)處理基本上等價(jià)于高通濾波運(yùn)算。
日本待審專利申請(qǐng)公開說明書2006-81150(美國(guó)專利申請(qǐng)2007-0070221A1)公開了通過對(duì)分區(qū)區(qū)域執(zhí)行直接高通濾波來執(zhí)行運(yùn)動(dòng)模糊減少處理的技術(shù)。高通濾波器基于使用平滑濾波器的傳遞函數(shù)的逆函數(shù)的前提。平滑濾波器的頻率特性包含導(dǎo)致零增益的頻率。完全相逆的平滑濾波器不可被實(shí)現(xiàn)。同樣站在有利于處理的立場(chǎng)上，低通濾波器，例如圖19中所圖解的運(yùn)動(dòng)模糊減少處理器164中的平滑濾波器1642的使用更合適。
用上述討論的方式執(zhí)行運(yùn)動(dòng)模糊減少處理。減少運(yùn)動(dòng)模糊的方法不局限于上述方法。
考慮如圖18所示的成像快門速度Sb。成像快門速度Sb足夠高，并且最優(yōu)快門速度在全部對(duì)象速度Va、Vb和Vc處低于成像快門速度Sb。為生成包含對(duì)應(yīng)于最優(yōu)快門速度的運(yùn)動(dòng)模糊的圖像，執(zhí)行運(yùn)動(dòng)加模糊處理。
處理選擇控制器171將指示已經(jīng)選擇運(yùn)動(dòng)加模糊處理的處理選擇控制信息SCS輸出給分類單元163。分類單元163將解碼圖像數(shù)據(jù)DD中每個(gè)分區(qū)區(qū)域的信號(hào)輸出給運(yùn)動(dòng)模糊增加處理器165。下面具體描述由運(yùn)動(dòng)模糊增加處理器165執(zhí)行的運(yùn)動(dòng)加模糊處理。此處通過空間濾波生成輸出圖像。
參考圖21，運(yùn)動(dòng)模糊增加處理器165包含生成用于識(shí)別運(yùn)動(dòng)模糊被增加到的圖像區(qū)域的運(yùn)動(dòng)向量屏蔽信息的運(yùn)動(dòng)向量屏蔽處理器1651，以及校正運(yùn)動(dòng)向量的運(yùn)動(dòng)向量校正器1652。運(yùn)動(dòng)模糊增加處理器165還包含計(jì)算濾波器參數(shù)的濾波器參數(shù)計(jì)算器1653，所述濾波器參數(shù)用于增加響應(yīng)處理目標(biāo)幀中的像素的運(yùn)動(dòng)模糊，以及對(duì)處理目標(biāo)幀中的每個(gè)像素的像素值執(zhí)行運(yùn)動(dòng)模糊濾波處理的運(yùn)動(dòng)模糊增加濾波器1654。
所有的處理可逐個(gè)像素地執(zhí)行。然而，為減少每個(gè)處理中的工作量，運(yùn)動(dòng)模糊增加處理器165逐個(gè)分區(qū)區(qū)域地執(zhí)行運(yùn)動(dòng)向量屏蔽處理器1651和運(yùn)動(dòng)向量校正器1652的處理，其中分區(qū)區(qū)域是一個(gè)像素塊。逐個(gè)像素而不是逐個(gè)像素塊地執(zhí)行濾波器參數(shù)計(jì)算器1653和運(yùn)動(dòng)模糊增加濾波器1654的增加運(yùn)動(dòng)模糊到解碼圖像數(shù)據(jù)DD的濾波處理。
為了在處理目標(biāo)幀中識(shí)別運(yùn)動(dòng)模糊被增加到的圖像區(qū)域，運(yùn)動(dòng)向量屏蔽處理器1651對(duì)所提供的分區(qū)區(qū)域的運(yùn)動(dòng)向量VD執(zhí)行圖22中圖解的屏蔽處理。運(yùn)動(dòng)向量屏蔽處理器1651則提供分區(qū)區(qū)域的經(jīng)屏蔽處理的運(yùn)動(dòng)向量給運(yùn)動(dòng)向量校正器1652。易受急動(dòng)降級(jí)影響并且有必要進(jìn)行運(yùn)動(dòng)模糊增加的圖像區(qū)域集中在屏幕上的運(yùn)動(dòng)圖像的邊緣附近。在圖22的處理中，運(yùn)動(dòng)向量屏蔽處理器1651只輸出邊緣附近的具有高空間對(duì)比度并且易受急動(dòng)影響的像素塊的運(yùn)動(dòng)向量作為有效值。在步驟S21中，運(yùn)動(dòng)向量屏蔽處理器1651檢測(cè)從分類單元163提供的解碼圖像數(shù)據(jù)DD中的圖像的邊緣。逐個(gè)像素塊地檢測(cè)邊緣以便識(shí)別處理目標(biāo)幀內(nèi)具有高空間對(duì)比度的區(qū)域。與步驟S21并行地，運(yùn)動(dòng)向量屏蔽處理器1651通過逐個(gè)像素塊地計(jì)算幀之間的差來識(shí)別處理目標(biāo)幀中的運(yùn)動(dòng)圖像區(qū)域，以檢測(cè)運(yùn)動(dòng)圖像區(qū)域。
在步驟S23中，運(yùn)動(dòng)向量屏蔽處理器1651逐個(gè)像素塊地確定遭受急動(dòng)的區(qū)域是否已經(jīng)在步驟S21和/或步驟S22中被檢測(cè)到。運(yùn)動(dòng)向量屏蔽處理器1651將屏蔽處理標(biāo)志″1″設(shè)置給已被確定為遭受急動(dòng)的像素塊。運(yùn)動(dòng)向量屏蔽處理器1651將屏蔽處理標(biāo)志″0″設(shè)置給尚未確定為遭受急動(dòng)的像素塊。
在步驟S24中，運(yùn)動(dòng)向量屏蔽處理器1651確定從處理選擇控制器171提供的運(yùn)動(dòng)向量VD是否是具有上述標(biāo)志″1″的像素塊的運(yùn)動(dòng)向量VD。運(yùn)動(dòng)向量屏蔽處理器1651不經(jīng)對(duì)運(yùn)動(dòng)向量的值增加任何改變，就輸出具有標(biāo)志″1″的像素塊的運(yùn)動(dòng)向量給運(yùn)動(dòng)向量校正器1652(處理從步驟S25進(jìn)行到步驟S26)。在步驟S25中，運(yùn)動(dòng)向量屏蔽處理器1651對(duì)具有上述標(biāo)志″0″的像素塊的運(yùn)動(dòng)向量執(zhí)行屏蔽處理，從而設(shè)置運(yùn)動(dòng)向量的值為″0″或使運(yùn)動(dòng)向量的值無效。然后，運(yùn)動(dòng)向量屏蔽處理器1651將屏蔽處理過的運(yùn)動(dòng)向量輸出給運(yùn)動(dòng)向量校正器1652(因而處理從步驟S24進(jìn)行到步驟S25到步驟S26)。
運(yùn)動(dòng)向量校正器1652的處理利用輸入分區(qū)區(qū)域的快門速度差SSDD校正運(yùn)動(dòng)向量VD。如果快門速度差SSDD是負(fù)的，則由運(yùn)動(dòng)向量校正器1652校正運(yùn)動(dòng)向量。令F(幀/秒)表示作為運(yùn)動(dòng)圖像的解碼圖像數(shù)據(jù)DD的幀速率，并且快門速度差SSDD不小于-1/F(秒)?？扉T速度差SSDD是不小于零的成像快門速度SSD與不大于1/F(秒)的最優(yōu)快門速度SSD0之間的差值。
在增加運(yùn)動(dòng)模糊的處理中，快門速度差SSDD越小(快門速度差SSDD的絕對(duì)值越大)，將被增加的運(yùn)動(dòng)模糊量變得越大?？扉T速度差SSDD越接近零，將被增加的運(yùn)動(dòng)模糊量變得越小。換言之，快門速度差SSDD的值越小，作為將被增加的運(yùn)動(dòng)模糊量的指示的運(yùn)動(dòng)向量VD的值越大?？扉T速度差SSDD越接近零，運(yùn)動(dòng)向量VD的值越小。運(yùn)動(dòng)向量校正器1652因而將向量值乘以函數(shù)fs(SSDD)。在目標(biāo)像素塊中，隨著快門速度差SSDD變得更接近″-1/F″，函數(shù)fs(SSDD)收斂于1，而隨著快門速度差SSDD變得更接近″0″，函數(shù)fs(SSDD)收斂于″0″。
設(shè)置較接近于-1/F的值A(chǔ)，以及較接近于0的值B，其中量值關(guān)系-1/F＜A＜＜B＜0成立。對(duì)于等于或小于值A(chǔ)的值，函數(shù)fs的輸出值被設(shè)置成1，以及對(duì)于等于或大于值B的值，函數(shù)fs被設(shè)置成0。該方法被稱作限幅方法。
取代函數(shù)fs(SSDD)，運(yùn)動(dòng)向量校正器1652可利用以運(yùn)動(dòng)向量VD作為變量的fs(VD)或以快門速度差SSDD和運(yùn)動(dòng)向量VD作為兩個(gè)變量的fs(SSDD，VD)來執(zhí)行乘法處理。使用例如快門速度差SSDD或運(yùn)動(dòng)向量VD本身的濾波器參數(shù)PD的值于運(yùn)動(dòng)向量VD，用這種方式執(zhí)行增加運(yùn)動(dòng)模糊量的處理。當(dāng)在隨后階段對(duì)其增加運(yùn)動(dòng)模糊的數(shù)據(jù)被顯示為運(yùn)動(dòng)圖像時(shí)，得到在視覺特性上看上去更自然的圖像質(zhì)量。
濾波器參數(shù)計(jì)算器1653逐個(gè)像素地計(jì)算如下所述的濾波器參數(shù)，以便將運(yùn)動(dòng)模糊增加到形成處理目標(biāo)幀的每個(gè)像素。濾波器參數(shù)計(jì)算器1653識(shí)別位于每個(gè)目標(biāo)像素的運(yùn)動(dòng)向量上的像素(以下被稱為參數(shù)計(jì)算目標(biāo)像素)。目標(biāo)像素是具有有效運(yùn)動(dòng)向量信息的像素。濾波器參數(shù)計(jì)算器1653按如下所述的方式計(jì)算響應(yīng)于所識(shí)別的參數(shù)計(jì)算目標(biāo)像素相對(duì)目標(biāo)像素的相對(duì)位置的濾波器參數(shù)。
參考圖23，濾波器參數(shù)計(jì)算器1653將出現(xiàn)在具有起始點(diǎn)S與終點(diǎn)E之間的中點(diǎn)上的目標(biāo)像素P0的運(yùn)動(dòng)向量上的所有像素識(shí)別為參數(shù)計(jì)算目標(biāo)像素。如圖23所示，絕對(duì)值v是目標(biāo)像素的運(yùn)動(dòng)向量的絕對(duì)值。然后，基于運(yùn)動(dòng)向量的絕對(duì)值v，以及目標(biāo)像素P0的像素位置與按上述處理識(shí)別的參數(shù)計(jì)算目標(biāo)像素P1的像素位置之間的距離d，濾波器參數(shù)計(jì)算器1653根據(jù)下列公式(9)計(jì)算運(yùn)動(dòng)模糊增加的強(qiáng)度σ 其中導(dǎo)出公式(9)，使得強(qiáng)度σ的平方變?yōu)楹罄m(xù)階段運(yùn)動(dòng)模糊增加濾波器1654的高斯函數(shù)中的方差。
濾波器參數(shù)計(jì)算器1653根據(jù)下列公式(10)計(jì)算運(yùn)動(dòng)模糊增加的角方向θ 其中(x1，y1)代表在x-y正交坐標(biāo)平面體系中參數(shù)計(jì)算目標(biāo)像素P1的坐標(biāo)，其中目標(biāo)像素P0處于系統(tǒng)的原點(diǎn)。
濾波器參數(shù)計(jì)算器1653從目標(biāo)像素的運(yùn)動(dòng)向量中識(shí)別參數(shù)計(jì)算目標(biāo)像素，針對(duì)每個(gè)識(shí)別出的參數(shù)計(jì)算目標(biāo)像素P1設(shè)置參數(shù)信息(σ，θ)，然后逐個(gè)處理目標(biāo)幀地將參數(shù)信息(σ，θ)提供給運(yùn)動(dòng)模糊增加濾波器1654。
在濾波器參數(shù)計(jì)算器1653的處理中，針對(duì)指定像素可以識(shí)別多個(gè)參數(shù)計(jì)算目標(biāo)像素P1。在這種情況下，為有利于該處理，多個(gè)參數(shù)信息中具有最大σ的參數(shù)信息被設(shè)置成像素參數(shù)信息。濾波器參數(shù)計(jì)算器1653對(duì)每個(gè)參數(shù)計(jì)算目標(biāo)像素P1的參數(shù)信息(σ，θ)可執(zhí)行例如高斯函數(shù)濾波處理或中值濾波處理的平滑處理，使得從隨后運(yùn)動(dòng)模糊增加濾波器1654輸出的運(yùn)動(dòng)圖像的圖像質(zhì)量提高。
響應(yīng)于從濾波器參數(shù)計(jì)算器1653提供的參數(shù)信息，運(yùn)動(dòng)模糊增加濾波器1654對(duì)解碼圖像數(shù)據(jù)DD的處理目標(biāo)幀內(nèi)的每個(gè)像素的像素值執(zhí)行如下所述的處理目標(biāo)幀內(nèi)的空間濾波處理。運(yùn)動(dòng)模糊增加濾波器1654輸出由第一濾波處理和/或第二濾波處理對(duì)其增加了運(yùn)動(dòng)模糊的圖像。
首先描述第一濾波處理。在第一濾波處理中，運(yùn)動(dòng)模糊增加濾波器1654以輸入I(x+i，y+j)的形式接收在增加運(yùn)動(dòng)模糊之前的運(yùn)動(dòng)模糊增加目標(biāo)像素的像素值，以及圍繞目標(biāo)像素的像素的像素值。然后，運(yùn)動(dòng)模糊增加濾波器1654根據(jù)表示為公式(11)的高斯函數(shù)對(duì)輸入I(x+i，y+j)執(zhí)行高斯函數(shù)濾波處理，從而輸出濾波處理的像素值J(x，y) 其中根據(jù)運(yùn)動(dòng)向量的增加所沿的角度方向設(shè)置具有輸入I(x+i，y+j)的圍繞像素，并且r代表運(yùn)動(dòng)模糊增加目標(biāo)像素與圍繞像素之間的距離。
運(yùn)動(dòng)模糊增加濾波器1654對(duì)形成處理目標(biāo)幀的所有像素中具有為其設(shè)置的參數(shù)信息(σ，θ)的每個(gè)像素執(zhí)行上述濾波處理，從而更新像素的像素值。運(yùn)動(dòng)模糊增加濾波器1654從而提供從中減少急動(dòng)的運(yùn)動(dòng)圖像給運(yùn)動(dòng)圖像顯示輸出單元190。
圍繞目標(biāo)像素的一些像素可位于固定區(qū)域，即背景區(qū)域內(nèi)。在對(duì)目標(biāo)像素的運(yùn)動(dòng)模糊增加中不考慮位于背景區(qū)域內(nèi)的圍繞像素。第二濾波處理關(guān)注這一點(diǎn)。在第二濾波處理中，運(yùn)動(dòng)模糊增加濾波器1654根據(jù)公式(11)計(jì)算目標(biāo)像素的像素值J(x，y)，其中如果圍繞像素具有零值運(yùn)動(dòng)向量或無效運(yùn)動(dòng)向量，目標(biāo)像素的像素值I(x，y)被替換為圍繞像素的像素值I(x+i0，y+j0)。運(yùn)動(dòng)模糊增加濾波器1654輸出比第一濾波處理看上去更自然的急動(dòng)減少的圖像。
運(yùn)動(dòng)模糊增加處理器165執(zhí)行以上討論的空間濾波處理?？蛇x地，運(yùn)動(dòng)模糊增加處理器165可通過執(zhí)行時(shí)間濾波處理來生成輸出圖像。在這種情況下，用所生成的適當(dāng)數(shù)量的中間幀增加運(yùn)動(dòng)模糊的方法是有用的。圖24中圖解了這種方法的結(jié)構(gòu)。圖24中圖解的運(yùn)動(dòng)模糊增加處理器165包含中間幀產(chǎn)生器1655、圖像累積器1656、濾波器控制器1657以及運(yùn)動(dòng)模糊增加濾波器1658。
輸入的解碼圖像數(shù)據(jù)DD被提供給中間幀產(chǎn)生器1655和圖像累積器1656。中間幀產(chǎn)生器1655根據(jù)預(yù)定中間幀生成技術(shù)生成沿著時(shí)間方向在已有先前幀與隨后幀之間插入的預(yù)定數(shù)量的新幀。中間幀產(chǎn)生器1655則將新幀提供給圖像累積器1656。各種可用方法可被用作中間幀生成技術(shù)。例如，在一種方法中，已有先前幀與隨后幀可與引入的權(quán)重混合。在另一個(gè)方法中，利用有關(guān)輸入給中間幀產(chǎn)生器1655的每個(gè)區(qū)域的運(yùn)動(dòng)向量的信息對(duì)運(yùn)動(dòng)向量加權(quán)，并且執(zhí)行圖像混合。因此能生成更準(zhǔn)確的中間幀。
濾波器控制器1657接收成像快門速度SSD和運(yùn)動(dòng)向量VD，并且根據(jù)所接收的成像快門速度SSD和運(yùn)動(dòng)向量VD，計(jì)算每個(gè)分區(qū)區(qū)域的濾波器參數(shù)FN以供運(yùn)動(dòng)模糊增加濾波器1658使用。在討論濾波器參數(shù)FN之前先描述由運(yùn)動(dòng)模糊增加濾波器1658執(zhí)行的處理。
運(yùn)動(dòng)模糊增加濾波器1658的處理是幀平均運(yùn)算，并且在幀平均運(yùn)算中所使用的幀的數(shù)量以逐個(gè)分區(qū)區(qū)域的方式自適應(yīng)確定。換言之，利用輸入解碼圖像數(shù)據(jù)DD中的一個(gè)幀和由中間幀產(chǎn)生器1655生成的多個(gè)幀，對(duì)因分區(qū)區(qū)域不同而不同的若干幀執(zhí)行幀平均運(yùn)算。簡(jiǎn)單地說，用于平均運(yùn)算的幀的數(shù)量越大，要增加的運(yùn)動(dòng)模糊量變得越大，而用于平均運(yùn)算的幀的數(shù)量越小，要增加的運(yùn)動(dòng)模糊量變得越小。
返回到濾波器控制器1657的討論，響應(yīng)于每個(gè)分區(qū)區(qū)域確定用于平均運(yùn)算的幀的數(shù)量。濾波器控制器1657則輸出幀的數(shù)量給運(yùn)動(dòng)模糊增加濾波器1658。用于平均運(yùn)算的幀的數(shù)量為濾波器參數(shù)FN。用于平均運(yùn)算的幀的最小數(shù)量(濾波器參數(shù)FN)是一個(gè)最小值，并且當(dāng)幀的數(shù)量是1時(shí)，解碼圖像數(shù)據(jù)DD中的一個(gè)幀不經(jīng)處理被原樣輸出。令K代表由中間幀產(chǎn)生器1655在已有先前幀與隨后幀之間生成的幀的數(shù)量，以及幀的最大數(shù)量為K+1，其中輸入幀被加到K個(gè)幀中。從1到K+1的范圍中確定濾波器參數(shù)FN。如上所述，幀的數(shù)量越大，將被增加的運(yùn)動(dòng)模糊量變得越大。
濾波器參數(shù)FN的確定方法不局限于任何一種方法。根據(jù)本發(fā)明的一個(gè)實(shí)施例，如下所述利用輸入濾波器控制器1657的快門速度差SSDD，確定濾波器參數(shù)FN。如果快門速度差SSDD是負(fù)的，則其被用于運(yùn)動(dòng)模糊增加處理器165。令F(幀/秒)表示作為運(yùn)動(dòng)圖像的解碼圖像數(shù)據(jù)DD的幀速率，并且快門速度差SSDD不小于-1/F(秒)?？扉T速度差SSDD是不小于零的成像快門速度SSD與不大于1/F(秒)的最優(yōu)快門速度SSD0之間的差值。
在隨后階段中將被執(zhí)行的增加運(yùn)動(dòng)模糊的處理中，快門速度差SSDD越小(快門速度差SSDD的絕對(duì)值越大)，運(yùn)動(dòng)模糊量變得越大?？扉T速度差SSDD越接近零，將被增加的運(yùn)動(dòng)模糊量變得越小。換言之，快門速度差SSDD的值越小，作為將被增加的運(yùn)動(dòng)模糊量的指示的運(yùn)動(dòng)向量VD的值越大?？扉T速度差SSDD越接近零，運(yùn)動(dòng)向量VD的值越小。
濾波器控制器1657從而根據(jù)函數(shù)gs(SSDD)執(zhí)行處理。隨著快門速度差SSDD變得更接近″-1/F″，函數(shù)gs(SSDD)增加并且收斂于K+1，而隨著快門速度差SSDD變得更接近″0″，函數(shù)gs(SSDD)收斂于″1″。因而得到的濾波器參數(shù)FN被輸出到運(yùn)動(dòng)模糊增加濾波器1658。設(shè)置較接近于-1/F的值A(chǔ)，以及較接近于0的值B，并且量值關(guān)系-1/F＜A＜＜B＜0成立。對(duì)于等于或小于值A(chǔ)的值，函數(shù)gs的輸出值被設(shè)置成K+1，以及對(duì)于等于或大于值B的值，函數(shù)gs的輸出值被設(shè)置成1。該方法被稱作限幅方法。
取代函數(shù)gs(SSDD)，濾波器控制器1657可利用以運(yùn)動(dòng)向量VD作為變量的gs(VD)或以快門速度差SSDD和運(yùn)動(dòng)向量VD作為兩個(gè)變量的gs(SSDD，VD)來執(zhí)行乘法處理，以便計(jì)算濾波器參數(shù)FN。
當(dāng)輸入用于每個(gè)分區(qū)區(qū)域中的濾波器平均處理的幀的數(shù)量(FN)時(shí)，運(yùn)動(dòng)模糊增加濾波器1658從圖像累積器1656接收用于給每個(gè)分區(qū)區(qū)域增加運(yùn)動(dòng)模糊的、該數(shù)量的幀的圖像數(shù)據(jù)，并且執(zhí)行上述濾波器平均處理。當(dāng)濾波器平均處理結(jié)束時(shí)，圖像數(shù)據(jù)被重構(gòu)為幀圖像，然后作為輸出圖像信號(hào)OD輸出。
如上所述，運(yùn)動(dòng)模糊增加處理器165利用空間濾波處理和時(shí)間濾波處理中的一種來執(zhí)行運(yùn)動(dòng)模糊增加處理。運(yùn)動(dòng)模糊增加處理不局限于上述處理。
成像快門速度Sc在如圖18所示的Sa和Sb之間。取決于對(duì)象速度，最優(yōu)快門速度可以高于或低于成像快門速度Sc。例如，在以Va作為對(duì)象速度的值的分區(qū)區(qū)域中，執(zhí)行減少運(yùn)動(dòng)模糊的任意方法，以便生成含有對(duì)應(yīng)于最優(yōu)快門速度的等級(jí)的運(yùn)動(dòng)模糊的圖像。
如先前針對(duì)處于Sa的成像快門速度所討論的，處理選擇控制器171輸出指示已經(jīng)選擇運(yùn)動(dòng)模糊減少處理的處理選擇控制信息SCS給分類單元163。分類單元163輸出解碼圖像數(shù)據(jù)DD中的分區(qū)區(qū)域的信號(hào)給運(yùn)動(dòng)模糊減少處理器164。運(yùn)動(dòng)模糊減少處理器164則用和參照成像快門速度Sa所描述的一樣的方式執(zhí)行濾波處理。
在以Vb或Vc作為對(duì)象速度的值的分區(qū)區(qū)域中，執(zhí)行任何運(yùn)動(dòng)模糊增加處理以生成含有對(duì)應(yīng)于最優(yōu)快門速度的等級(jí)的運(yùn)動(dòng)模糊的圖像。如先前參照如圖18所示的成像快門速度Sb所討論的，處理選擇控制器171輸出指示已經(jīng)選擇運(yùn)動(dòng)模糊增加處理的處理選擇控制信息SCS給分類單元163。分類單元163輸出解碼圖像數(shù)據(jù)DD中的分區(qū)區(qū)域的信號(hào)給運(yùn)動(dòng)模糊增加處理器165。運(yùn)動(dòng)模糊增加處理器165用和參照成像快門速度Sb所描述的一樣的方式執(zhí)行濾波處理。
已經(jīng)討論了對(duì)應(yīng)于具有參照?qǐng)D3所討論的第二種結(jié)構(gòu)的圖像處理裝置2的圖像再現(xiàn)裝置100的結(jié)構(gòu)與操作。圖像再現(xiàn)裝置100根據(jù)急動(dòng)和模糊執(zhí)行校正處理，從而控制急動(dòng)降級(jí)和模糊降級(jí)。從而提高了從運(yùn)動(dòng)圖像顯示輸出單元190中輸出的輸出圖像的圖像質(zhì)量。即使不知道解碼圖像數(shù)據(jù)DD的圖像捕獲時(shí)的快門速度的信息，也可以估計(jì)成像快門速度?；诠烙?jì)的快門速度的估計(jì)值，執(zhí)行合適的運(yùn)動(dòng)模糊校正處理。
具有第三種結(jié)構(gòu)的圖像再現(xiàn)裝置100通常與圖5中圖解的圖像再現(xiàn)裝置100相同。具有第三種結(jié)構(gòu)的圖像再現(xiàn)裝置100在運(yùn)動(dòng)模糊校正處理器160A被運(yùn)動(dòng)模糊校正處理器160代替的方面有所不同。圖25以類似于圖15的圖例形式圖解了圖示運(yùn)動(dòng)模糊校正參數(shù)計(jì)算器170和運(yùn)動(dòng)模糊校正處理器160A。
運(yùn)動(dòng)模糊校正處理器160A包含運(yùn)動(dòng)模糊減少處理器164、運(yùn)動(dòng)模糊增加處理器165，以及選擇器和合成器167。運(yùn)動(dòng)模糊校正參數(shù)計(jì)算器170中的處理選擇控制器171和最優(yōu)快門速度信息存儲(chǔ)器172與參照?qǐng)D15和后續(xù)附圖所討論的相應(yīng)方相同。然而，注意到，從處理選擇控制器171中輸出的處理選擇控制信息SCS被提供給選擇器和合成器167。運(yùn)動(dòng)模糊減少處理器164和運(yùn)動(dòng)模糊增加處理器165的校正處理保持不變。
參考圖25，不采用圖15中圖解的分類單元163。輸入的解碼圖像數(shù)據(jù)DD被直接提供給運(yùn)動(dòng)模糊減少處理器164以及運(yùn)動(dòng)模糊增加處理器165。運(yùn)動(dòng)模糊減少處理器164根據(jù)從處理選擇控制器171中提供的每個(gè)分區(qū)區(qū)域的濾波器參數(shù)PD，對(duì)輸入的解碼圖像數(shù)據(jù)DD的所有分區(qū)區(qū)域執(zhí)行運(yùn)動(dòng)模糊減少處理。所得到的圖像數(shù)據(jù)被輸出到選擇器和合成器167。運(yùn)動(dòng)模糊增加處理器165根據(jù)從處理選擇控制器171中提供的每個(gè)分區(qū)區(qū)域的濾波器參數(shù)PD，對(duì)輸入的解碼圖像數(shù)據(jù)DD的所有分區(qū)區(qū)域執(zhí)行運(yùn)動(dòng)模糊增加處理。所得到的圖像數(shù)據(jù)被輸出到選擇器和合成器167。
選擇器和合成器167接收解碼圖像數(shù)據(jù)DD的所有分區(qū)區(qū)域(包含具有零校正量的分區(qū)區(qū)域)上已經(jīng)歷運(yùn)動(dòng)模糊增加處理的圖像數(shù)據(jù)，以及解碼圖像數(shù)據(jù)DD的所有分區(qū)區(qū)域(包含具有零校正量的分區(qū)區(qū)域)上已經(jīng)歷運(yùn)動(dòng)模糊減少處理的圖像數(shù)據(jù)。選擇器和合成器167響應(yīng)于景象改變檢測(cè)信號(hào)SCD，選擇每個(gè)分區(qū)區(qū)域的圖像數(shù)據(jù)。在組成一個(gè)幀的每個(gè)分區(qū)區(qū)域處，選擇器和合成器167在來自運(yùn)動(dòng)模糊減少處理器164的圖像數(shù)據(jù)與來自運(yùn)動(dòng)模糊增加處理器165的圖像數(shù)據(jù)之間選擇。選擇器和合成器167接著合成分區(qū)區(qū)域的所選擇的圖像數(shù)據(jù)，然后輸出合成的圖像數(shù)據(jù)作為一個(gè)幀的輸出圖像信號(hào)OD。
運(yùn)動(dòng)模糊校正處理器160A也具有與圖15中圖解的運(yùn)動(dòng)模糊校正處理器160相同的優(yōu)點(diǎn)。
在上述討論中，圖像處理裝置1、2和3中的每個(gè)的具體例子是圖像再現(xiàn)裝置100。本發(fā)明適用于各種裝置。例如，本發(fā)明不僅可適用于圖像再現(xiàn)裝置，而且還適用于成像裝置、通信裝置、圖像記錄裝置、游戲機(jī)、視頻編輯裝置等等。例如通用個(gè)人計(jì)算機(jī)的信息處理設(shè)備可實(shí)現(xiàn)圖像處理裝置1 2和3中的每個(gè)。由充當(dāng)圖1、3和4中所圖解的運(yùn)動(dòng)模糊校正參數(shù)計(jì)算器12、運(yùn)動(dòng)模糊校正處理器13和快門速度估計(jì)處理器14的中央處理單元(CPU)執(zhí)行的計(jì)算機(jī)程序可被提供為圖像處理應(yīng)用軟件程序。因而計(jì)算機(jī)可執(zhí)行適當(dāng)?shù)膱D像處理。由中央處理單元(CPU)執(zhí)行的計(jì)算機(jī)程序包含基于指示組成圖像數(shù)據(jù)的單元圖像之間的圖像運(yùn)動(dòng)的運(yùn)動(dòng)信息和圖像數(shù)據(jù)的圖像捕獲時(shí)的快門速度信息，計(jì)算運(yùn)動(dòng)模糊校正處理的運(yùn)動(dòng)模糊校正參數(shù)，以及通過利用運(yùn)動(dòng)模糊校正參數(shù)執(zhí)行至少運(yùn)動(dòng)模糊減少處理來校正包含于圖像數(shù)據(jù)中的運(yùn)動(dòng)模糊。計(jì)算機(jī)程序還包含通過分析圖像數(shù)據(jù)估計(jì)快門速度。當(dāng)計(jì)算運(yùn)動(dòng)模糊校正參數(shù)時(shí)，使用估計(jì)的快門速度?？扉T速度估計(jì)處理器14的運(yùn)算因而由CPU進(jìn)行。
計(jì)算機(jī)程序允許相同的圖像處理由個(gè)人計(jì)算機(jī)、蜂窩電話、個(gè)人數(shù)字助理(PDA)和各種利用圖像數(shù)據(jù)的圖像處理裝置來執(zhí)行。
使CPU充當(dāng)運(yùn)動(dòng)模糊校正參數(shù)計(jì)算器12和運(yùn)動(dòng)模糊校正處理器13(以及快門速度估計(jì)處理器14)的計(jì)算機(jī)程序可被預(yù)存儲(chǔ)在作為記錄介質(zhì)的硬盤驅(qū)動(dòng)器上，所述記錄介質(zhì)包含于例如計(jì)算機(jī)、或具有CPU的微型計(jì)算機(jī)的只讀存儲(chǔ)器(ROM)、快擦寫存儲(chǔ)器等的裝置中。計(jì)算機(jī)程序還可被暫時(shí)或永久地存儲(chǔ)在包含軟盤、光盤只讀存儲(chǔ)器(CD-ROM)、磁光(MO)盤、數(shù)字通用光盤(DVD)、藍(lán)光盤(索尼的注冊(cè)商標(biāo))、磁盤、半導(dǎo)體存儲(chǔ)器和存儲(chǔ)器卡的可折卸記錄介質(zhì)。這種可折卸記錄介質(zhì)可作為封裝軟件被提供。計(jì)算機(jī)程序可以從這種可折卸記錄介質(zhì)中被安裝到個(gè)人計(jì)算機(jī)上。還可以從下載站點(diǎn)經(jīng)由網(wǎng)絡(luò)，例如局域網(wǎng)(LAN)或因特網(wǎng)下載計(jì)算機(jī)程序。
本申請(qǐng)包含與2008年6月20日提交日本專利局的日本優(yōu)先權(quán)專利申請(qǐng)JP 2008-161581相關(guān)的內(nèi)容，這里參考引用了所述專利申請(qǐng)的全部?jī)?nèi)容。
本領(lǐng)域的技術(shù)人員應(yīng)當(dāng)理解，根據(jù)設(shè)計(jì)需求和其它因素，可以進(jìn)行各種修改，組合，子組合和變化，只要它們?cè)谒綑?quán)利要求書或其等同表述的范圍內(nèi)。
權(quán)利要求
1.一種圖像處理裝置，包括
校正參數(shù)計(jì)算裝置，用于基于指示單元圖像之間的圖像運(yùn)動(dòng)的運(yùn)動(dòng)信息、形成圖像數(shù)據(jù)的單元圖像以及在所述圖像數(shù)據(jù)的圖像捕獲時(shí)獲得的快門速度信息，計(jì)算用于運(yùn)動(dòng)模糊校正的運(yùn)動(dòng)模糊校正參數(shù)；以及
運(yùn)動(dòng)模糊校正處理裝置，用于通過根據(jù)所述運(yùn)動(dòng)模糊校正參數(shù)至少執(zhí)行減少運(yùn)動(dòng)模糊的處理，校正包含于所述圖像數(shù)據(jù)中的運(yùn)動(dòng)模糊量。
2.如權(quán)利要求1所述的圖像處理裝置，其中，所述運(yùn)動(dòng)模糊校正處理裝置根據(jù)所述運(yùn)動(dòng)模糊校正參數(shù)執(zhí)行在所述圖像數(shù)據(jù)上增加運(yùn)動(dòng)模糊的處理和減少運(yùn)動(dòng)模糊的處理。
3.如權(quán)利要求1所述的圖像處理裝置，還包括用于通過分析所述圖像數(shù)據(jù)來估計(jì)快門速度信息的快門速度估計(jì)處理裝置，
其中，所述校正參數(shù)計(jì)算裝置使用由所述快門速度估計(jì)處理裝置估計(jì)的快門速度信息，以便計(jì)算所述運(yùn)動(dòng)模糊校正參數(shù)。
4.如權(quán)利要求1所述的圖像處理裝置，其中，根據(jù)所述運(yùn)動(dòng)模糊校正參數(shù)，所述運(yùn)動(dòng)模糊校正處理裝置響應(yīng)于所述圖像數(shù)據(jù)的每個(gè)分區(qū)區(qū)域，自適應(yīng)地選擇所述增加運(yùn)動(dòng)模糊的處理和所述減少運(yùn)動(dòng)模糊的處理中的一個(gè)。
5.如權(quán)利要求1所述的圖像處理裝置，其中，所述運(yùn)動(dòng)模糊校正處理裝置對(duì)所述圖像分別執(zhí)行所述增加運(yùn)動(dòng)模糊的處理和所述減少運(yùn)動(dòng)模糊的處理，以及根據(jù)所述運(yùn)動(dòng)模糊校正參數(shù)，在由所述增加運(yùn)動(dòng)模糊的處理產(chǎn)生的數(shù)據(jù)與由所述減少運(yùn)動(dòng)模糊的處理產(chǎn)生的數(shù)據(jù)之間選擇作為針對(duì)所述圖像數(shù)據(jù)的每個(gè)分區(qū)區(qū)域自適應(yīng)地輸出的數(shù)據(jù)。
6.如權(quán)利要求1所述的圖像處理裝置，還包括用于由所述圖像數(shù)據(jù)生成運(yùn)動(dòng)向量以作為所述運(yùn)動(dòng)信息的運(yùn)動(dòng)向量生成裝置。
7.如權(quán)利要求3所述的圖像處理裝置，其中，所述快門速度估計(jì)處理裝置包括
運(yùn)動(dòng)模糊特征分析器，用于通過分析包含于所述圖像數(shù)據(jù)的目標(biāo)區(qū)域中的運(yùn)動(dòng)模糊特征來提取快門速度計(jì)算參數(shù)；以及
成像快門速度計(jì)算器，用于計(jì)算所述圖像數(shù)據(jù)的圖像捕獲時(shí)的快門速度。
8.如權(quán)利要求7所述的圖像處理裝置，其中，所述快門速度估計(jì)處理裝置還包括處理目標(biāo)區(qū)域選擇器，用于從形成所述圖像數(shù)據(jù)的單元圖像中提取和識(shí)別所述運(yùn)動(dòng)模糊特征分析器的分析處理的目標(biāo)區(qū)域。
9.如權(quán)利要求8所述的圖像處理裝置，還包括運(yùn)動(dòng)向量生成裝置，用于由所述圖像數(shù)據(jù)生成運(yùn)動(dòng)向量以作為所述運(yùn)動(dòng)信息，
其中，所述快門速度估計(jì)處理裝置中的處理目標(biāo)區(qū)域選擇器利用所述圖像數(shù)據(jù)的邊緣信息以及由所述運(yùn)動(dòng)向量生成裝置生成的運(yùn)動(dòng)向量來識(shí)別所述目標(biāo)區(qū)域。
10.如權(quán)利要求7所述的圖像處理裝置，其中，所述快門速度估計(jì)處理裝置還包括成像快門速度準(zhǔn)確度增強(qiáng)處理器，
其中，所述運(yùn)動(dòng)模糊特征分析器提取多個(gè)目標(biāo)區(qū)域的快門速度計(jì)算參數(shù)，
其中，所述成像快門速度計(jì)算器利用所述多個(gè)目標(biāo)區(qū)域的快門速度計(jì)算參數(shù)以及各個(gè)目標(biāo)區(qū)域的運(yùn)動(dòng)信息計(jì)算多個(gè)快門速度，以及
其中，所述成像快門速度準(zhǔn)確度增強(qiáng)處理器利用所述多個(gè)快門速度的計(jì)算結(jié)果估計(jì)成像快門速度。
11.如權(quán)利要求3所述的圖像處理裝置，其中，所述快門速度估計(jì)處理裝置在從輸入圖像數(shù)據(jù)中景象改變的檢測(cè)到下一個(gè)景象改變的檢測(cè)的時(shí)間段內(nèi)估計(jì)所述快門速度一次，并且在該時(shí)間段內(nèi)保持所估計(jì)的快門速度。
12.如權(quán)利要求3所述的圖像處理裝置，其中，所述快門速度估計(jì)處理裝置包括成像快門速度準(zhǔn)確度增強(qiáng)處理器，所述成像快門速度準(zhǔn)確度增強(qiáng)處理器在從所述輸入圖像數(shù)據(jù)中景象改變的檢測(cè)到下一個(gè)景象改變的檢測(cè)的時(shí)間段內(nèi)估計(jì)所述快門速度多次，并且基于所估計(jì)的多個(gè)快門速度的計(jì)算結(jié)果估計(jì)成像快門速度。
13.如權(quán)利要求1所述的圖像處理裝置，其中，所述校正參數(shù)計(jì)算裝置通過參考將目標(biāo)速度映射到成像快門速度的映射信息，從所述圖像數(shù)據(jù)的每個(gè)分區(qū)區(qū)域獲得對(duì)應(yīng)于所述目標(biāo)速度的最優(yōu)快門速度，其中以所述映射到的成像快門速度能夠減少輸出圖像的圖像質(zhì)量降級(jí)，并且
通過比較有關(guān)輸入成像快門速度的信息與所述最優(yōu)快門速度，所述校正參數(shù)計(jì)算裝置將所述運(yùn)動(dòng)模糊校正參數(shù)計(jì)算為用于在增加所述圖像數(shù)據(jù)上的運(yùn)動(dòng)模糊的處理與減少所述圖像數(shù)據(jù)上的運(yùn)動(dòng)模糊的處理之間進(jìn)行選擇的選擇控制信息，并且
其中，所述運(yùn)動(dòng)模糊校正處理裝置根據(jù)所述運(yùn)動(dòng)模糊校正參數(shù)，有選擇地對(duì)所述圖像數(shù)據(jù)執(zhí)行增加運(yùn)動(dòng)模糊的處理和減少運(yùn)動(dòng)模糊的處理。
14.如權(quán)利要求1所述的圖像處理裝置，其中，所述校正參數(shù)計(jì)算裝置通過參考將目標(biāo)速度映射到成像快門速度的映射信息，從所述圖像數(shù)據(jù)的每個(gè)分區(qū)區(qū)域獲得對(duì)應(yīng)于所述目標(biāo)速度的最優(yōu)快門速度，其中以所述成像快門速度能減少輸出圖像的圖像質(zhì)量降級(jí)，并且
通過比較有關(guān)輸入成像快門速度的信息與所述最優(yōu)快門速度，所述校正參數(shù)計(jì)算裝置將所述運(yùn)動(dòng)模糊校正參數(shù)計(jì)算為用于在增加所述圖像數(shù)據(jù)上的運(yùn)動(dòng)模糊的處理與減少所述圖像數(shù)據(jù)上的運(yùn)動(dòng)模糊的處理之間進(jìn)行選擇的選擇控制信息，并且
其中，所述運(yùn)動(dòng)模糊校正處理裝置對(duì)所述圖像分別執(zhí)行增加運(yùn)動(dòng)模糊的處理和減少運(yùn)動(dòng)模糊的處理，以及根據(jù)所述運(yùn)動(dòng)模糊校正參數(shù)，在由增加運(yùn)動(dòng)模糊的處理產(chǎn)生的數(shù)據(jù)與由減少運(yùn)動(dòng)模糊的處理產(chǎn)生的數(shù)據(jù)之間選擇作為針對(duì)所述圖像數(shù)據(jù)的每個(gè)分區(qū)區(qū)域自適應(yīng)地輸出的數(shù)據(jù)。
15.如權(quán)利要求1所述的圖像處理裝置，其中，所述校正參數(shù)計(jì)算裝置計(jì)算運(yùn)動(dòng)模糊校正參數(shù)，其指示由所述運(yùn)動(dòng)模糊校正處理裝置分別在增加所述圖像數(shù)據(jù)上的運(yùn)動(dòng)模糊的處理和減少所述圖像數(shù)據(jù)上的運(yùn)動(dòng)模糊的處理中使用的運(yùn)動(dòng)模糊的增加度和運(yùn)動(dòng)模糊的減少度之一。
16.如權(quán)利要求15所述的圖像處理裝置，其中，指示運(yùn)動(dòng)模糊的增加度和運(yùn)動(dòng)模糊的減少度之一的所述運(yùn)動(dòng)模糊校正參數(shù)包括成像快門速度和成像快門速度與最優(yōu)快門速度之間的差之一。
17.如權(quán)利要求15所述的圖像處理裝置，其中，指示運(yùn)動(dòng)模糊的增加度與運(yùn)動(dòng)模糊的減少度之一的運(yùn)動(dòng)模糊校正參數(shù)包括分區(qū)區(qū)域的運(yùn)動(dòng)速度信息。
18.一種圖像處理方法，包括步驟
基于指示單元圖像之間的圖像運(yùn)動(dòng)的運(yùn)動(dòng)信息、形成圖像數(shù)據(jù)的單元圖像以及在所述圖像數(shù)據(jù)的圖像捕獲時(shí)獲得的快門速度信息，計(jì)算用于運(yùn)動(dòng)模糊校正的運(yùn)動(dòng)模糊校正參數(shù)；以及
通過根據(jù)所述運(yùn)動(dòng)模糊校正參數(shù)至少執(zhí)行減少運(yùn)動(dòng)模糊的處理，校正包含于所述圖像數(shù)據(jù)中的運(yùn)動(dòng)模糊量。
19.一種用于使計(jì)算機(jī)執(zhí)行圖像處理方法的程序，所述圖像處理方法包括步驟
基于指示單元圖像之間的圖像運(yùn)動(dòng)的運(yùn)動(dòng)信息、形成圖像數(shù)據(jù)的單元圖像以及在所述圖像數(shù)據(jù)的圖像捕獲時(shí)獲得的快門速度信息，計(jì)算用于運(yùn)動(dòng)模糊校正的運(yùn)動(dòng)模糊校正參數(shù)；以及
通過根據(jù)所述運(yùn)動(dòng)模糊校正參數(shù)至少執(zhí)行減少運(yùn)動(dòng)模糊的處理，校正包含于所述圖像數(shù)據(jù)中的運(yùn)動(dòng)模糊量。
20.一種圖像處理裝置，包括
校正參數(shù)計(jì)算單元，其基于指示單元圖像之間的圖像運(yùn)動(dòng)的運(yùn)動(dòng)信息、形成圖像數(shù)據(jù)的單元圖像以及在所述圖像數(shù)據(jù)的圖像捕獲時(shí)獲得的快門速度信息，計(jì)算用于運(yùn)動(dòng)模糊校正的運(yùn)動(dòng)模糊校正參數(shù)；以及
運(yùn)動(dòng)模糊校正處理單元，其通過根據(jù)所述運(yùn)動(dòng)模糊校正參數(shù)至少執(zhí)行減少運(yùn)動(dòng)模糊的處理，校正包含于所述圖像數(shù)據(jù)中的運(yùn)動(dòng)模糊量。
全文摘要
用于處理圖像的裝置、方法和程序。圖像處理裝置包含校正參數(shù)計(jì)算裝置，用于基于指示單元圖像之間的圖像運(yùn)動(dòng)的運(yùn)動(dòng)信息、形成圖像數(shù)據(jù)的單元圖像以及在所述圖像數(shù)據(jù)的圖像捕獲時(shí)獲得的快門速度信息，計(jì)算用于運(yùn)動(dòng)模糊校正的運(yùn)動(dòng)模糊校正參數(shù)；以及運(yùn)動(dòng)模糊校正處理裝置，用于通過根據(jù)所述運(yùn)動(dòng)模糊校正參數(shù)至少執(zhí)行減少運(yùn)動(dòng)模糊的處理，校正包含于所述圖像數(shù)據(jù)中的運(yùn)動(dòng)模糊量。
文檔編號(hào)H04N5/21GK101610349SQ20091014633
公開日2009年12月23日 申請(qǐng)日期2009年6月19日 優(yōu)先權(quán)日2008年6月20日
發(fā)明者伊藤厚史, 小林誠司 申請(qǐng)人:索尼株式會(huì)社