專利名稱：圖像處理裝置和方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理裝置和方法，計(jì)算機(jī)程序及存儲(chǔ)介質(zhì)。
背景技術(shù)：
作為圖像的高效率編碼技術(shù)，已建立了諸如JPEG、MPEG1和MPEG2之類的編碼方法。制造商已開發(fā)出可利用這些編碼方法記錄圖像的拍攝裝置，比如數(shù)字照相機(jī)和數(shù)字?jǐn)z像機(jī)或DVD記錄器，并使之商業(yè)化。通過這些裝置，個(gè)人計(jì)算機(jī)或DVD播放器，用戶能夠容易地查看圖像。
此外，已研究了用于運(yùn)動(dòng)圖像的編碼方法，以獲得高于MPEG1和MPEG2的數(shù)據(jù)壓縮。近年來，國(guó)際電信聯(lián)盟-電信標(biāo)準(zhǔn)部(ITU-T)和國(guó)際標(biāo)準(zhǔn)化組織(ISO)已使稱為H.264/MPEG-4 part 10(下面稱為H.264)的編碼方法標(biāo)準(zhǔn)化。
參見圖11的方框圖，下面將說明H.264中的運(yùn)動(dòng)圖像壓縮編碼裝置的一般整體結(jié)構(gòu)。運(yùn)動(dòng)圖像壓縮編碼裝置包括照相機(jī)單元(camera unit)200，減法單元2001，整數(shù)變換單元2002，量化單元2003，熵編碼器2004，逆量化單元2005，逆整數(shù)變換單元2006，加法器2007，幀存儲(chǔ)器2008和2012，幀內(nèi)預(yù)測(cè)單元2009，開關(guān)2010和2015，去塊效應(yīng)濾波器(de-blocking filter)2011，幀間預(yù)測(cè)單元2013和運(yùn)動(dòng)檢測(cè)器2014。從照相機(jī)單元200輸入的圖像數(shù)據(jù)被分割成塊，對(duì)每個(gè)塊進(jìn)行編碼處理，隨后輸出編碼后的數(shù)據(jù)。下面將討論H.264的編碼處理。
首先，減法單元2001從輸入自照相機(jī)單元的圖像數(shù)據(jù)中減去預(yù)測(cè)圖像數(shù)據(jù)，并輸出余差(differential)圖像數(shù)據(jù)。預(yù)測(cè)圖像數(shù)據(jù)的產(chǎn)生將在后面說明。整數(shù)變換單元2002按照DCT等，對(duì)從減法單元2001輸出的余差圖像數(shù)據(jù)進(jìn)行正交變換，并輸出變換系數(shù)。隨后，量化單元2003通過使用預(yù)定的量化參數(shù)，量化變換系數(shù)。熵編碼器2004被供給已被量化單元2003量化的變換系數(shù)，對(duì)該變換系數(shù)進(jìn)行熵編碼，并輸出該系數(shù)作為編碼數(shù)據(jù)。
另一方面，由量化單元2003量化的變換系數(shù)還被用于產(chǎn)生預(yù)測(cè)圖像數(shù)據(jù)。逆量化單元2005逆量化已由量化單元2003量化的變換系數(shù)。此外，逆整數(shù)變換單元2006按照逆DCT變換等，對(duì)已由逆量化單元2005逆量化的變換系數(shù)進(jìn)行逆整數(shù)變換，并輸出該系數(shù)作為解碼的余差圖像數(shù)據(jù)。加法器2007把解碼的余差圖像數(shù)據(jù)和預(yù)測(cè)圖像數(shù)據(jù)相加，并輸出該數(shù)據(jù)作為重構(gòu)圖像數(shù)據(jù)。
重構(gòu)圖像數(shù)據(jù)記錄在幀存儲(chǔ)器2008中。當(dāng)進(jìn)行去塊效應(yīng)濾波處理時(shí)，重構(gòu)圖像數(shù)據(jù)通過去塊效應(yīng)濾波器2011被記錄在幀存儲(chǔ)器2012中。當(dāng)不進(jìn)行去塊效應(yīng)濾波處理時(shí)，重構(gòu)圖像數(shù)據(jù)被記錄在幀存儲(chǔ)器2012中，而不通過去塊效應(yīng)濾波器2011。開關(guān)2010是選擇是否進(jìn)行去塊效應(yīng)濾波處理的選擇單元。在重構(gòu)圖像數(shù)據(jù)中，二次預(yù)測(cè)中和以后可參考的數(shù)據(jù)作為參考幀數(shù)據(jù)被暫時(shí)保存在幀存儲(chǔ)器2008或2012中。去塊效應(yīng)濾波器2011用于消除噪聲。
幀內(nèi)預(yù)測(cè)單元2009利用記錄在幀存儲(chǔ)器2008中的圖像數(shù)據(jù)進(jìn)行幀內(nèi)預(yù)測(cè)，并產(chǎn)生預(yù)測(cè)圖像數(shù)據(jù)。幀間預(yù)測(cè)單元2013根據(jù)運(yùn)動(dòng)檢測(cè)器2014檢測(cè)的運(yùn)動(dòng)矢量信息，利用記錄在幀存儲(chǔ)器2012中的參考幀數(shù)據(jù)，進(jìn)行幀間預(yù)測(cè)，并產(chǎn)生預(yù)測(cè)圖像數(shù)據(jù)。運(yùn)動(dòng)檢測(cè)器2014檢測(cè)輸入的圖像數(shù)據(jù)中的運(yùn)動(dòng)矢量，把與檢測(cè)的運(yùn)動(dòng)矢量相關(guān)的信息輸出給幀間預(yù)測(cè)單元2013和熵編碼器2004。開關(guān)2015是選擇是使用幀內(nèi)預(yù)測(cè)還是使用幀間預(yù)測(cè)的選擇單元。開關(guān)2015選擇來自幀內(nèi)預(yù)測(cè)單元2009和幀間預(yù)測(cè)單元2013的輸出之一，并把選擇的預(yù)測(cè)圖像數(shù)據(jù)輸出給減法單元2001和加法器2007。上面的說明描述了圖11中所示的圖像壓縮編碼裝置。
下面將討論H.264中運(yùn)動(dòng)檢測(cè)器2014的操作。在H.264中，如圖12中所示，為當(dāng)前幀(CF)中的每個(gè)宏(macro)塊，從多個(gè)參考幀(RF1-RF5)中選擇具有高編碼效率的一個(gè)參考幀，并且可以指定要使用的幀。這種情況下，對(duì)于當(dāng)前幀CF中的一個(gè)宏塊，可以選擇兩個(gè)或者更多的參考幀，或者甚至在相同幀的宏塊中，可選擇不同的參考幀。
圖13A的一個(gè)圖像中的一個(gè)宏塊被分成16×16像素，16×8像素，8×16像素，或者8×8像素，如圖13B中所示。在每個(gè)宏塊分區(qū)(partition)中，可單獨(dú)獲得一個(gè)運(yùn)動(dòng)矢量和一個(gè)參考幀。就8×8像素來說，每個(gè)宏塊分區(qū)可被進(jìn)一步分成8×4像素，4×8像素和4×4像素的子宏塊分區(qū)，如圖13C中所示。運(yùn)動(dòng)矢量的精度還可由具有1/4像素精度的6抽頭FIR濾波器處理確定(日本專利特許公開No.2004-328633)。
如上所述，在H.264中，介紹了圖13A-13C中所示的技術(shù)為預(yù)測(cè)編碼準(zhǔn)備多個(gè)像素塊形狀，并執(zhí)行精細(xì)像素的運(yùn)動(dòng)檢測(cè)。這種情況下，像素塊越精細(xì)，用于預(yù)測(cè)編碼的塊的數(shù)目增大。此外，如圖12中所示，為了從多個(gè)幀中選擇具有高編碼效率的一個(gè)參考圖像幀，必須對(duì)所有多個(gè)候選參考幀進(jìn)行幀間預(yù)測(cè)，從而增大了處理負(fù)荷。
但是，在用于輸出待壓縮的圖像數(shù)據(jù)的照相機(jī)單元的一些狀態(tài)下，不必利用所有種類的像素塊形狀進(jìn)行運(yùn)動(dòng)檢測(cè)。例如，當(dāng)未實(shí)現(xiàn)聚焦或者照相機(jī)單元搖動(dòng)或者傾斜時(shí)，圖像數(shù)據(jù)完全模糊或者出現(xiàn)極度運(yùn)動(dòng)。從而，即使利用精細(xì)像素塊形狀的運(yùn)動(dòng)檢測(cè)也不能檢測(cè)正確的運(yùn)動(dòng)信息。
類似地，當(dāng)圖像較暗或由于照相機(jī)的高放大器增益圖像數(shù)據(jù)中出現(xiàn)大量噪聲時(shí)，在很多情況下，即使利用精細(xì)像素塊形狀的運(yùn)動(dòng)檢測(cè)也不能檢測(cè)正確的運(yùn)動(dòng)信息。在照相機(jī)單元?jiǎng)倖?dòng)后，在很多情況下，由于照相機(jī)具有不穩(wěn)定的視角或不穩(wěn)定的曝光度，即使利用精細(xì)像素塊形狀的運(yùn)動(dòng)檢測(cè)也不能檢測(cè)正確的運(yùn)動(dòng)信息。
在需求日益增長(zhǎng)的利用這種編碼算法以更緊致的形式記錄高質(zhì)量圖像數(shù)據(jù)的攝像機(jī)系統(tǒng)中，不必要的運(yùn)動(dòng)檢測(cè)直接導(dǎo)致用于驅(qū)動(dòng)移動(dòng)計(jì)算裝置的電池消耗的增大。這嚴(yán)重地影響了拍攝時(shí)間的長(zhǎng)短。此外，當(dāng)用軟件實(shí)現(xiàn)編碼算法時(shí)，處理時(shí)間被不必要地增大。

發(fā)明內(nèi)容
根據(jù)本發(fā)明的實(shí)施例的一個(gè)例子的發(fā)明包含獲取單元，用于獲得在拍攝被攝對(duì)象的拍攝單元中獲得的運(yùn)動(dòng)圖像數(shù)據(jù)，和與拍攝期間拍攝單元的狀況相關(guān)的拍攝信息，編碼單元，用于以兩種或更多種的像素塊形狀為單位，對(duì)運(yùn)動(dòng)圖像數(shù)據(jù)進(jìn)行運(yùn)動(dòng)檢測(cè)及對(duì)數(shù)據(jù)編碼，和判定單元，用于根據(jù)拍攝信息，判定是否利用所有種類的像素塊形狀進(jìn)行運(yùn)動(dòng)檢測(cè)，其中當(dāng)判定單元判定不應(yīng)利用所有種類的像素塊形狀進(jìn)行運(yùn)動(dòng)檢測(cè)時(shí)，編碼單元利用一些種類的像素塊形狀進(jìn)行運(yùn)動(dòng)檢測(cè)。
結(jié)合附圖，根據(jù)下面的說明，本發(fā)明的其它特征和優(yōu)點(diǎn)將是明顯的，附圖中，相同的附圖標(biāo)記表示相同或類似的部分。


包含在說明書中，并構(gòu)成說明書的一部分的附解說明本發(fā)明的實(shí)施例，并且與說明一起用于解釋本發(fā)明的原理。
圖1是表示根據(jù)本發(fā)明的一個(gè)實(shí)施例的圖像處理裝置的結(jié)構(gòu)例子的方框圖；圖2是表示根據(jù)本發(fā)明的實(shí)施例的照相機(jī)單元100的結(jié)構(gòu)例子的方框圖；圖3是與根據(jù)本發(fā)明的第一實(shí)施例的運(yùn)動(dòng)檢測(cè)的例子對(duì)應(yīng)的流程圖；圖4是表示根據(jù)本發(fā)明的實(shí)施例的圖像處理裝置的另一結(jié)構(gòu)例子的方框圖；圖5A和5B是表示根據(jù)本發(fā)明的實(shí)施例的圖像處理裝置的又一結(jié)構(gòu)例子的方框圖；圖6是與根據(jù)本發(fā)明的第二實(shí)施例的運(yùn)動(dòng)檢測(cè)的例子對(duì)應(yīng)的流程圖；圖7是表示根據(jù)本發(fā)明的第二實(shí)施例的運(yùn)動(dòng)檢測(cè)器1014的結(jié)構(gòu)例子的方框圖；圖8是表示根據(jù)本發(fā)明的第二實(shí)施例的時(shí)鐘分配器711的結(jié)構(gòu)例子的方框圖；圖9是表示根據(jù)本發(fā)明的第二實(shí)施例的圖像處理裝置的另一結(jié)構(gòu)例子的方框圖；圖10是與根據(jù)本發(fā)明的第三實(shí)施例的運(yùn)動(dòng)檢測(cè)的例子對(duì)應(yīng)的流程圖；
圖11是表示常規(guī)的圖像處理裝置的結(jié)構(gòu)例子的方框圖；圖12是解釋從多個(gè)參考幀檢測(cè)運(yùn)動(dòng)信息的原理的圖；圖13A-13C表示用于預(yù)測(cè)編碼的宏塊和子宏塊分區(qū)的分割方式的圖。
具體實(shí)施例方式
下面將根據(jù)附圖，詳細(xì)說明本發(fā)明的優(yōu)選實(shí)施例。
下面將說明本發(fā)明的第一實(shí)施例。圖1是表示本發(fā)明適用于的圖像處理裝置的結(jié)構(gòu)的方框圖。在圖1中，附圖標(biāo)記100表示用作用于拍攝被攝對(duì)象，并輸出圖像數(shù)據(jù)和照相機(jī)信息的拍攝單元的照相機(jī)單元。在本實(shí)施例中，圖像處理裝置可包括照相機(jī)單元100或者可與照相機(jī)單元100連接。
參見圖2，下面說明照相機(jī)單元100的結(jié)構(gòu)。圖2中，對(duì)于被攝對(duì)象的光學(xué)圖像，由拍攝者手的移動(dòng)導(dǎo)致的振動(dòng)由可變角度棱鏡(下面稱為VAP)101光學(xué)校正。隨后，變焦透鏡(zoom lens)102進(jìn)行變焦，并調(diào)焦。隨后，通過光闌103調(diào)節(jié)光量，在CCD 104上形成圖像。
CCD由定時(shí)發(fā)生器(下面稱為TG)105以預(yù)定的快門速度驅(qū)動(dòng)。來自CCD 104的信號(hào)在A/D單元106中經(jīng)歷二重相關(guān)采樣(CDS)、自動(dòng)增益控制(AGC)和A/D變換。附圖標(biāo)記107表示用于驅(qū)動(dòng)VAP 101、變焦透鏡102和光闌103的驅(qū)動(dòng)電路。
附圖標(biāo)記108表示包括對(duì)照相機(jī)單元100進(jìn)行各種操作的開關(guān)的操作單元，附圖標(biāo)記109表示以集成方式控制整個(gè)照相機(jī)單元100的照相機(jī)CPU。附圖標(biāo)記110表示對(duì)已在A/D單元106中進(jìn)行A/D轉(zhuǎn)換的圖像數(shù)據(jù)進(jìn)行諸如彩色信號(hào)的色彩插值，γ校正和色級(jí)(level)調(diào)整之類操作，并輸出照相機(jī)圖像數(shù)據(jù)的照相機(jī)信號(hào)處理單元。照相機(jī)CPU 109具有對(duì)拍攝裝置中的照相機(jī)單元(圖2中的101-110)運(yùn)用各種控制的照相機(jī)控制模塊。
照相機(jī)CPU 10中的聚焦控制單元109a向驅(qū)動(dòng)電路107輸出控制變焦透鏡102，并進(jìn)行焦距調(diào)整和縮放調(diào)整的透鏡控制信號(hào)。減振控制單元109b根據(jù)已知的方法，比如圖像處理和陀螺儀傳感器(未示出)，確定照相機(jī)單元100的振動(dòng)分量，并把用于控制VAP透鏡101的減振(vibrationdamping)控制信號(hào)輸出給驅(qū)動(dòng)電路107。曝光控制單元109c控制光闌、CCD的快門速度和自動(dòng)增益控制(AGC)，使得視頻信號(hào)具有正確的曝光度。曝光控制信號(hào)被輸出給驅(qū)動(dòng)電路107、TG 105和A/D單元106。
與這些控制模塊相關(guān)的控制信息還被輸出給圖像處理裝置(后面描述)，作為與拍攝時(shí)照相機(jī)單元100的狀態(tài)相關(guān)的照相機(jī)信息。參見圖1和3-5B，下面說明根據(jù)本發(fā)明的利用該照相機(jī)信息的圖像處理裝置的操作。
圖1中，附圖標(biāo)記1001表示減去預(yù)測(cè)圖像信息的減法單元(后面說明)。附圖標(biāo)記1002表示通過DCT變換等，對(duì)圖像的差數(shù)據(jù)(differencedata)進(jìn)行4×4的整數(shù)正交變換的整數(shù)變換單元。附圖標(biāo)記1003表示用預(yù)定的量化比例，量化經(jīng)過整數(shù)正交變換的變換系數(shù)的量化單元。附圖標(biāo)記1004表示對(duì)量化的變換系數(shù)進(jìn)行熵編碼，并壓縮數(shù)據(jù)的熵編碼器。
附圖標(biāo)記1005表示對(duì)量化的變換系數(shù)進(jìn)行預(yù)定的逆量化的逆量化單元。附圖標(biāo)記1006表示通過逆DCT變換等，進(jìn)行逆整數(shù)正交變換，以使逆量化的變換系數(shù)返回原始的圖像數(shù)據(jù)空間的逆整數(shù)變換單元。附圖標(biāo)記1007表示把預(yù)測(cè)圖像信息與返回到圖像數(shù)據(jù)空間的圖像差值信息相加的加法單元。附圖標(biāo)記1008表示保存當(dāng)前幀中已被編碼的圖像數(shù)據(jù)，和保存幀內(nèi)預(yù)測(cè)編碼期間的參考數(shù)據(jù)的幀存儲(chǔ)器。附圖標(biāo)記1009表示根據(jù)保存在幀存儲(chǔ)器1008中的圖像數(shù)據(jù)，產(chǎn)生預(yù)測(cè)數(shù)據(jù)的幀內(nèi)預(yù)測(cè)數(shù)據(jù)產(chǎn)生單元。
附圖標(biāo)記1011表示校正已由加法器1007恢復(fù)的圖像數(shù)據(jù)的預(yù)定塊中的邊界數(shù)據(jù)的不連續(xù)性的去塊效應(yīng)濾波器單元。附圖標(biāo)記1012表示保存經(jīng)過塊邊界校正的恢復(fù)圖像數(shù)據(jù)，以便把該圖像數(shù)據(jù)用作預(yù)測(cè)圖像信息的參考圖像的幀存儲(chǔ)器。本實(shí)施例描述一個(gè)遵守H.264的例子，從而，幀存儲(chǔ)器1012具有存儲(chǔ)最多達(dá)5幀的圖像數(shù)據(jù)的容量。
附圖標(biāo)記1014表示把當(dāng)前的輸入圖像數(shù)據(jù)分成多個(gè)宏塊形狀，對(duì)每個(gè)宏塊形狀中與參考幀高度相關(guān)的位置進(jìn)行運(yùn)動(dòng)搜索，并檢測(cè)該位置的差數(shù)據(jù)作為幀之間的運(yùn)動(dòng)信息的運(yùn)動(dòng)檢測(cè)器。附圖標(biāo)記1013表示根據(jù)幀存儲(chǔ)器1012中的參考幀(5幀)，基于來自運(yùn)動(dòng)檢測(cè)器1014的信息，產(chǎn)生與當(dāng)前幀中的目標(biāo)塊的數(shù)據(jù)相關(guān)的預(yù)測(cè)圖像信息，并輸出該預(yù)測(cè)圖像信息的幀間預(yù)測(cè)單元。
附圖標(biāo)記1015表示選擇預(yù)測(cè)信息的開關(guān)單元。開關(guān)1015借助預(yù)定的定時(shí)，選擇輸入端1015a和1015b之一。當(dāng)選擇輸入端1015a時(shí)，進(jìn)行幀內(nèi)預(yù)測(cè)編碼。當(dāng)選擇輸入端1015b時(shí)，進(jìn)行幀間預(yù)測(cè)編碼。
與方框1001-1015對(duì)應(yīng)的功能可通過例如在圖像處理裝置的CPU中執(zhí)行對(duì)應(yīng)于所述功能的程序來獲得。另一方面，可用為實(shí)現(xiàn)所述功能而專門設(shè)計(jì)的硬件模塊獲得所述功能。此外，可用被編程從而實(shí)現(xiàn)所述功能的可編程邏輯電路獲得所述功能。
下面首先討論根據(jù)本發(fā)明的整個(gè)圖像處理裝置的操作。減法單元1001對(duì)從照相機(jī)單元100輸入的圖像數(shù)據(jù)(D1)和預(yù)測(cè)圖像數(shù)據(jù)(D3)進(jìn)行相減，產(chǎn)生與預(yù)測(cè)圖像信息的差數(shù)據(jù)(D2)。通過DCT變換等，差數(shù)據(jù)(D2)在變換單元1002中經(jīng)歷整數(shù)正交變換，從典型的圖像空間正交變換到具有高度集中的能量的變化系數(shù)的空間(D4)。按照正交變換分量，利用預(yù)定的步長(zhǎng)在量化單元1003中量化變換后的差數(shù)據(jù)(D4)的變換系數(shù)(D5)。量化的變換系數(shù)數(shù)據(jù)(D5)在熵編碼器1004中被壓縮編碼(D6)。此外，在熵編碼器1004中，在幀間編碼(后面說明)中參考的幀編號(hào)的標(biāo)識(shí)符也被多路復(fù)用和壓縮編碼。
下面將討論預(yù)測(cè)圖像信息的處理。兩種方法可用于產(chǎn)生預(yù)測(cè)圖像信息根據(jù)輸入時(shí)的當(dāng)前圖像中的數(shù)據(jù)產(chǎn)生預(yù)測(cè)圖像信息的幀內(nèi)預(yù)測(cè)編碼方法，和根據(jù)輸入時(shí)除當(dāng)前圖像之外的幀圖像數(shù)據(jù)產(chǎn)生預(yù)測(cè)圖像信息的幀間編碼方法。
首先，說明處理在當(dāng)前圖像中完成的幀內(nèi)預(yù)測(cè)編碼方法。已在圖1的量化單元1003中量化的變換系數(shù)(D5)在逆量化單元1005中被逆量化，以恢復(fù)變換系數(shù)(D7)。在逆整數(shù)變換單元1006中，通過逆DCT變換等，恢復(fù)的變換系數(shù)(D7)被返回到原始圖像數(shù)據(jù)空間，并被恢復(fù)成與預(yù)測(cè)圖像信息的差數(shù)據(jù)(D8)。在加法器1007中，減法單元1001根據(jù)其產(chǎn)生差數(shù)據(jù)的預(yù)測(cè)圖像信息(D3)被加入恢復(fù)的差數(shù)據(jù)(D8)中，從而獲得編碼目標(biāo)塊的恢復(fù)圖像數(shù)據(jù)(D9)。雖然此時(shí)的恢復(fù)圖像數(shù)據(jù)(D9)對(duì)應(yīng)于輸入圖像數(shù)據(jù)(D1)，不過由于預(yù)測(cè)信息(后面說明)的誤差和量化中的量化誤差，與輸入圖像數(shù)據(jù)(D1)相比，圖像數(shù)據(jù)(D9)略有劣化。
恢復(fù)的圖像數(shù)據(jù)(D9)被臨時(shí)保存在幀存儲(chǔ)器1008中。保存在幀存儲(chǔ)器1008中的恢復(fù)的圖像數(shù)據(jù)(D9)在幀內(nèi)預(yù)測(cè)編碼器1009中被分成預(yù)定塊，并被用于產(chǎn)生與之后輸入的編碼目標(biāo)塊的輸入圖像數(shù)據(jù)(D1)相關(guān)的預(yù)測(cè)圖像信息。在幀內(nèi)預(yù)測(cè)編碼器1009中獲得的預(yù)測(cè)圖像信息被傳送給開關(guān)單元1015。
在開關(guān)單元1015中，按照預(yù)測(cè)圖像信息的預(yù)測(cè)方法，由控制器(未示出)進(jìn)行切換。就前面的幀內(nèi)預(yù)測(cè)編碼方法來說，開關(guān)被與1015a連接，通過幀內(nèi)預(yù)測(cè)方法的計(jì)算而獲得的數(shù)據(jù)作為預(yù)測(cè)圖像信息被傳送。幀內(nèi)方法的預(yù)測(cè)圖像信息被傳送給減法單元1001和加法器1007，并被用于對(duì)圖像數(shù)據(jù)和預(yù)測(cè)圖像差數(shù)據(jù)進(jìn)行變換。
下面將討論通過使用不同于當(dāng)前圖像的參考幀圖像，產(chǎn)生預(yù)測(cè)圖像信息的幀間編碼預(yù)測(cè)方法。
在加法器1007之前的處理與幀內(nèi)預(yù)測(cè)編碼方法的處理相類似，從而其說明被省略。在加法器1007中獲得的恢復(fù)的圖像數(shù)據(jù)(D9)被傳送給去塊效應(yīng)濾波器單元1011，用于消除在每個(gè)塊的邊界上的數(shù)據(jù)的不連續(xù)(后面說明)。去塊效應(yīng)濾波器單元1011對(duì)鄰近塊邊界的像素?cái)?shù)據(jù)進(jìn)行預(yù)定的過濾，從而減少塊邊界上數(shù)據(jù)的不連續(xù)。
如上所述，與輸入圖像相比，在加法器1007中恢復(fù)的圖像數(shù)據(jù)(D9)退化。尤其是在每個(gè)處理步驟中以預(yù)定單位的塊處理圖像數(shù)據(jù)的情況下，往往會(huì)在塊邊界出現(xiàn)不連續(xù)，從而圖像數(shù)據(jù)被識(shí)別為塊失真。這種情況下，通過去塊效應(yīng)濾波器單元1011中的濾波減小塊失真。經(jīng)過邊界處理的恢復(fù)的圖像數(shù)據(jù)(D10)被暫時(shí)保存在幀存儲(chǔ)器1012中。幀存儲(chǔ)器1012能夠保存多個(gè)幀的恢復(fù)的圖像數(shù)據(jù)(在本實(shí)施例中為五幀)。
同時(shí)，運(yùn)動(dòng)檢測(cè)器1014把輸入的圖像(D1)分成預(yù)定單位的塊，并搜索與多個(gè)參考幀強(qiáng)相關(guān)的位置。
如同在圖12的常規(guī)例子中所述那樣，在H.264中，能夠?yàn)槊總€(gè)宏塊從多個(gè)參考幀中選擇具有高編碼效率的一個(gè)參考幀，并指定要使用的幀。
在圖13A的圖像中，圖像中的宏塊1301被分成圖13B中所示的像素塊形狀(宏塊分區(qū))。分割的像素塊形狀包括16×16像素(1302)，16×8像素(1303)，8×16像素(1304)，和8×8像素(1305)。此外，對(duì)于每個(gè)分割的宏塊分區(qū)，能夠單獨(dú)獲得運(yùn)動(dòng)矢量和參考幀。當(dāng)宏塊分區(qū)具有8×8像素(1305)時(shí)，宏塊分區(qū)(8×8像素)可被進(jìn)一步分成8×4像素(1306)，4×8像素(1307)和4×4像素(1308)的子宏塊分區(qū)，如圖13C中所示。
在運(yùn)動(dòng)檢測(cè)器1014中，最強(qiáng)相關(guān)位置和當(dāng)前處理的塊位置之間的差數(shù)據(jù)被作為運(yùn)動(dòng)信息傳送給幀間預(yù)測(cè)單元1013和熵編碼器1004。此外，已被用于產(chǎn)生運(yùn)動(dòng)信息的參考幀的標(biāo)識(shí)信息同時(shí)被傳送給幀間預(yù)測(cè)單元1013和熵編碼器1004。
在幀間預(yù)測(cè)單元1013中，從幀存儲(chǔ)器1012調(diào)用與參考幀識(shí)別信息對(duì)應(yīng)的參考幀的恢復(fù)的圖像數(shù)據(jù)，并根據(jù)恢復(fù)的圖像數(shù)據(jù)和運(yùn)動(dòng)信息，預(yù)測(cè)當(dāng)前圖像的預(yù)測(cè)圖像信息。
這樣，幀間預(yù)測(cè)編碼不同于幀內(nèi)預(yù)測(cè)編碼之處在于參考不同于當(dāng)前圖像的幀來產(chǎn)生預(yù)測(cè)圖像信息。
幀間預(yù)測(cè)編碼產(chǎn)生的預(yù)測(cè)圖像信息與開關(guān)單元1015中的1015b連接，被傳送給減法單元1001和加法器1007，并被用于變換圖像數(shù)據(jù)和預(yù)測(cè)圖像差數(shù)據(jù)。
從照相機(jī)單元100輸入的圖像數(shù)據(jù)(D1)從而被壓縮編碼。在該處理中，運(yùn)動(dòng)檢測(cè)器1014中的運(yùn)動(dòng)檢測(cè)信息的計(jì)算是較繁重的處理，并且是本實(shí)施例的特征。參見圖3的流程圖，下面根據(jù)本實(shí)施例說明運(yùn)動(dòng)檢測(cè)信息的計(jì)算。
運(yùn)動(dòng)檢測(cè)開始時(shí)，在步驟S301中，確定(determine)檢測(cè)是否是當(dāng)前幀中的第一運(yùn)動(dòng)檢測(cè)。換句話說，在該步驟中，確定檢測(cè)是否是當(dāng)前幀中的第一宏塊的運(yùn)動(dòng)檢測(cè)。當(dāng)確定檢測(cè)不是第一運(yùn)動(dòng)檢測(cè)(步驟S301中“否”)時(shí)，處理進(jìn)行到步驟S310。當(dāng)確定檢測(cè)是新的圖像幀中的第一運(yùn)動(dòng)檢測(cè)(步驟S301中的“是”)時(shí)，處理進(jìn)行到步驟S302，從照相機(jī)單元100讀取與聚焦控制、圖像減振控制、曝光控制等相關(guān)的照相機(jī)信息。
在步驟S303中，根據(jù)在步驟S302中讀取的照相機(jī)信息中的聚焦控制信息，確定是否實(shí)現(xiàn)了聚焦。當(dāng)實(shí)現(xiàn)聚焦(步驟S303中“否”)時(shí)，處理進(jìn)行到步驟S304。當(dāng)未實(shí)現(xiàn)聚焦(步驟S303中“是”)時(shí)，處理進(jìn)行到步驟S309。
例如，可如下確定是否實(shí)現(xiàn)了聚焦首先，照相機(jī)CPU 109使從照相機(jī)信號(hào)處理單元110獲得的圖像數(shù)據(jù)通過只允許高頻分量通過的高通濾波器。隨后，根據(jù)從高通濾波器輸出并且對(duì)應(yīng)于一屏的輸出信號(hào)的積分(integral)(下面稱為“高通濾波器積分”)，可確定聚焦?fàn)顟B(tài)。具體地說，當(dāng)未實(shí)現(xiàn)聚焦并且圖像完全模糊時(shí)，圖像信號(hào)只包括少許的高頻分量。
從而，來自高通濾波器的輸出減少，高通濾波器積分也減小。當(dāng)實(shí)現(xiàn)了聚焦時(shí)，圖像完全清晰，從而圖像信號(hào)包括許多高頻分量。從而，來自高通濾波器的輸出增大，高通濾波器積分也增大。這樣，高通濾波器積分被用作聚焦控制信息。當(dāng)積分大于預(yù)定閾值時(shí)，確定實(shí)現(xiàn)了聚焦。當(dāng)積分小于預(yù)定閾值時(shí)，確定未實(shí)現(xiàn)聚焦。
在步驟S304中，根據(jù)與圖像減振控制相關(guān)的信息，確定照相機(jī)單元100是否搖動(dòng)(pan)或傾斜。當(dāng)照相機(jī)單元100未搖動(dòng)或傾斜(步驟S304中“否”)時(shí)，處理進(jìn)行到步驟S305。當(dāng)照相機(jī)單元100搖動(dòng)或傾斜(步驟S304中“是”)時(shí)，處理進(jìn)行到步驟S309。
例如，通過使用來自照相機(jī)單元100的陀螺儀傳感器(圖2中未示出)的輸出，可如下確定照相機(jī)單元100是否搖動(dòng)或傾斜陀螺儀傳感器一般被用于檢測(cè)振動(dòng)，以補(bǔ)償照相機(jī)抖動(dòng)。用于檢測(cè)垂直轉(zhuǎn)動(dòng)分量和水平轉(zhuǎn)動(dòng)分量的兩個(gè)陀螺儀傳感器固定在照相機(jī)單元100上。拍攝時(shí)，當(dāng)拍攝者引起照相機(jī)抖動(dòng)時(shí)，一般在所述兩個(gè)陀螺儀傳感器中檢測(cè)到周期性的垂直和水平轉(zhuǎn)動(dòng)分量。當(dāng)照相機(jī)單元100搖動(dòng)或傾斜時(shí)，在陀螺儀傳感器中檢測(cè)不到周期性的轉(zhuǎn)動(dòng)分量，但是連續(xù)檢測(cè)到固定方向上的轉(zhuǎn)動(dòng)分量。
換句話說，當(dāng)連續(xù)檢測(cè)到向上方向上的轉(zhuǎn)動(dòng)分量時(shí)，確定照相機(jī)單元100向上傾斜。當(dāng)連續(xù)檢測(cè)到在右方的轉(zhuǎn)動(dòng)分量時(shí)，確定照相機(jī)單元100向右搖動(dòng)。當(dāng)通過使用來自陀螺儀傳感器的輸出，持續(xù)預(yù)定時(shí)間或者更長(zhǎng)時(shí)間連續(xù)檢測(cè)到固定方向上的轉(zhuǎn)動(dòng)分量時(shí)，確定照相機(jī)單元100搖動(dòng)或傾斜。
即使檢測(cè)到照相機(jī)抖動(dòng)的周期性轉(zhuǎn)動(dòng)分量時(shí)，在存在大于預(yù)定值的周期或者大于預(yù)定值的轉(zhuǎn)動(dòng)分量的情況下，可確定沒有出現(xiàn)照相機(jī)抖動(dòng)，而是照相機(jī)單元100搖動(dòng)或傾斜。
在步驟S305中，根據(jù)與曝光控制相關(guān)的信息，確定被攝對(duì)象是否具有低亮度。當(dāng)被攝對(duì)象不具有低亮度(步驟S305中“否”)時(shí)，處理進(jìn)行到步驟S306。當(dāng)被攝對(duì)象具有低亮度(步驟S305中“是”)時(shí)，處理進(jìn)行到步驟S309。
此時(shí)，通過使用例如圖像信號(hào)中一個(gè)屏幕(screen)的亮度信號(hào)分量的積分(下面稱為“亮度積分”)，可確定被攝對(duì)象是否具有低亮度。換句話說，當(dāng)亮度積分小于預(yù)定閾值時(shí)，確定被攝對(duì)象具有低亮度。
在步驟S306中，根據(jù)與曝光控制相關(guān)的信息，確定照相機(jī)單元100增益是否提高(gain up)。當(dāng)照相機(jī)單元100增益未提高(步驟S306中“否”)時(shí)，處理進(jìn)行到步驟S307。當(dāng)照相機(jī)單元100增益提高(步驟S306中“是”)時(shí)，處理進(jìn)行到步驟S309。
此時(shí)，通過利用來自如圖2中所示的照相機(jī)單元100的自動(dòng)增益控制(AGC)106的控制信息，能夠確定照相機(jī)單元100增益是否提高。一般來說，當(dāng)被攝對(duì)象較暗，并且鏡頭的光闌被打開，但是圖像信號(hào)具有低電平時(shí)，AGC的放大率(增益)被增大，以便以電學(xué)方式升高圖像信號(hào)的電平，換句話說，照相機(jī)單元100增益提高。即，當(dāng)檢查AGC的控制信息，并發(fā)現(xiàn)AGC的放大率高于預(yù)定值時(shí)，確定照相機(jī)單元100增益提高。
在步驟S307中，根據(jù)與照相機(jī)單元的啟動(dòng)時(shí)間相關(guān)的信息，確定照相機(jī)單元100是否處于剛啟動(dòng)狀態(tài)。當(dāng)照相機(jī)單元100未處于剛啟動(dòng)狀態(tài)(步驟S307中“否”)時(shí)，處理進(jìn)行到步驟S308。當(dāng)照相機(jī)單元100處于剛啟動(dòng)狀態(tài)(步驟S307中“是”)時(shí)，處理進(jìn)行到步驟S309。
此時(shí)，通過使用例如圖2的照相機(jī)CPU 109中的計(jì)時(shí)器(圖2中未示出)，可確定照相機(jī)單元是否處于剛啟動(dòng)狀態(tài)。具體地說，當(dāng)照相機(jī)單元100被啟動(dòng)時(shí)，換句話說，當(dāng)向照相機(jī)CPU 109供電時(shí)，通過照相機(jī)CPU109中的復(fù)位，計(jì)時(shí)器被重置。計(jì)時(shí)器被預(yù)先設(shè)置成隨著時(shí)間的過去自動(dòng)計(jì)數(shù)。這種情況下，檢查照相機(jī)CPU 109中計(jì)時(shí)器已計(jì)數(shù)的值。當(dāng)計(jì)時(shí)器的值小于預(yù)定值時(shí)，確定照相機(jī)單元處于剛啟動(dòng)狀態(tài)。
在步驟S309中，當(dāng)在步驟S303-S307中確定照相機(jī)單元100焦點(diǎn)未對(duì)準(zhǔn)，搖動(dòng)/傾斜，具有低亮度被攝對(duì)象，增益提高或者處于剛啟動(dòng)狀態(tài)時(shí)，“子宏塊分區(qū)使用許可標(biāo)記”被設(shè)置成禁止(Lo)。“子宏塊分區(qū)使用許可標(biāo)記”允許利用圖13C的子宏塊分區(qū)的運(yùn)動(dòng)檢測(cè)。
當(dāng)在步驟S303-S307中確定照相機(jī)單元100并未焦點(diǎn)未對(duì)準(zhǔn)，未搖動(dòng)/傾斜，不具有低亮度被攝對(duì)象，增益未提高或者不處于剛啟動(dòng)狀態(tài)時(shí)，處理進(jìn)行到步驟S308。在步驟S308，“子宏塊分區(qū)使用許可標(biāo)記”被設(shè)置成允許(Hi)。
這樣，在本實(shí)施例的步驟S303-S309中，根據(jù)照相機(jī)信息確定是否利用所有種類的像素塊形狀進(jìn)行運(yùn)動(dòng)檢測(cè)，換句話說，是否只利用一些種類的像素塊形狀進(jìn)行運(yùn)動(dòng)檢測(cè)。
在本實(shí)施例中，照相機(jī)信息被讀取，并且對(duì)于一幀圖像數(shù)據(jù)，設(shè)置一次“子宏塊分區(qū)使用許可標(biāo)記”。讀取照相機(jī)信息的間隔并不特別受限。例如，可每幾幀讀取一次照相機(jī)信息。
當(dāng)為編碼目標(biāo)圖像幀設(shè)置“子宏塊分區(qū)使用許可標(biāo)記”結(jié)束時(shí)，處理進(jìn)行到步驟S310。在步驟S310中，利用16×16像素的宏塊進(jìn)行運(yùn)動(dòng)檢測(cè)。
在該運(yùn)動(dòng)檢測(cè)中，對(duì)預(yù)測(cè)編碼塊可被參考的所有參考幀進(jìn)行運(yùn)動(dòng)檢測(cè)。根據(jù)H.264的標(biāo)準(zhǔn)，最多對(duì)5個(gè)參考幀進(jìn)行運(yùn)動(dòng)檢測(cè)。為每個(gè)參考幀計(jì)算與整(integer)像素精度相關(guān)的運(yùn)動(dòng)信息，與半像素精度相關(guān)的運(yùn)動(dòng)信息，和與1/4像素精度相關(guān)的運(yùn)動(dòng)信息。具有最強(qiáng)相關(guān)性的信息被選為每幀的運(yùn)動(dòng)信息。當(dāng)所有參考幀的運(yùn)動(dòng)信息被計(jì)算時(shí)，為每個(gè)參考幀估計(jì)運(yùn)動(dòng)信息。選擇具有最強(qiáng)相關(guān)性的信息來確定預(yù)測(cè)編碼塊的運(yùn)動(dòng)信息MV1。
類似地在步驟S311中，利用16×8像素的宏塊分區(qū)執(zhí)行運(yùn)動(dòng)檢測(cè)來確定運(yùn)動(dòng)信息MV2。在步驟S312中，利用8×16像素的宏塊分區(qū)執(zhí)行運(yùn)動(dòng)檢測(cè)來確定運(yùn)動(dòng)信息MV3。此外，在步驟S313中，利用8×8像素的宏塊分區(qū)執(zhí)行運(yùn)動(dòng)檢測(cè)來確定運(yùn)動(dòng)信息MV4。
隨后，在步驟S314中，確定“子宏塊分區(qū)使用許可標(biāo)記”的狀態(tài)是允許狀態(tài)(Hi)還是禁止?fàn)顟B(tài)(Lo)。當(dāng)“子宏塊分區(qū)使用許可標(biāo)記”處于允許狀態(tài)(步驟S314中“是”)時(shí)，處理進(jìn)行到步驟S315。在步驟S315中，利用8×4像素的子宏塊分區(qū)進(jìn)行運(yùn)動(dòng)檢測(cè)來確定運(yùn)動(dòng)信息MV_S1。在隨后的步驟S316中，利用4×8像素的子宏塊分區(qū)進(jìn)行運(yùn)動(dòng)檢測(cè)來確定運(yùn)動(dòng)信息MV_S2。在步驟S317中，利用4×4像素的子宏塊分區(qū)進(jìn)行運(yùn)動(dòng)檢測(cè)來確定運(yùn)動(dòng)信息MV_S3。
當(dāng)“子宏塊分區(qū)使用許可標(biāo)記”處于禁止?fàn)顟B(tài)(Lo)(步驟S314中“否”)時(shí)，處理進(jìn)行到步驟S318。此時(shí)，不執(zhí)行步驟S315-S317中的使用子宏塊分區(qū)的運(yùn)動(dòng)檢測(cè)。
根據(jù)本實(shí)施例，當(dāng)照相機(jī)單元100焦點(diǎn)未對(duì)準(zhǔn)，搖動(dòng)/傾斜，具有低亮度被攝對(duì)象，增益提高，或者處于剛啟動(dòng)狀態(tài)時(shí)，即使借助利用精細(xì)(fine)形狀的子宏塊分區(qū)的運(yùn)動(dòng)檢測(cè)，也不能獲得正確的運(yùn)動(dòng)信息，從而執(zhí)行控制以暫停運(yùn)動(dòng)檢測(cè)。
之后，在步驟S318中，對(duì)在步驟S310-S313中利用宏塊分區(qū)確定的運(yùn)動(dòng)信息MV1-MV4，和當(dāng)“子宏塊分區(qū)使用許可標(biāo)記”處于允許狀態(tài)(Hi)時(shí)，在步驟S315-S317利用子宏塊分區(qū)確定的信息MV_S1-MV_ S3進(jìn)行評(píng)估。
在這些評(píng)估中，在計(jì)算運(yùn)動(dòng)信息MV1-MV4和SMV1-SMV3時(shí)選擇與參考幀強(qiáng)相關(guān)的宏塊和一種子宏塊分區(qū)。當(dāng)適當(dāng)?shù)剡x擇了運(yùn)動(dòng)信息時(shí)，在步驟S319中根據(jù)選擇的宏塊分區(qū)中的運(yùn)動(dòng)信息，產(chǎn)生參考列表，以便管理所有預(yù)測(cè)編碼塊的參照關(guān)系。當(dāng)對(duì)目標(biāo)幀的所有像素進(jìn)行該處理時(shí)，完成一幀的運(yùn)動(dòng)檢測(cè)。
如上所述，根據(jù)本實(shí)施例，當(dāng)根據(jù)來自照相機(jī)單元100的信息確定照相機(jī)單元100焦點(diǎn)未對(duì)準(zhǔn)，搖動(dòng)/傾斜，具有低亮度被攝對(duì)象，增益提高，或者處于剛啟動(dòng)狀態(tài)，并且即使借助利用精細(xì)的子宏塊分區(qū)的運(yùn)動(dòng)檢測(cè)，也不能獲得正確的運(yùn)動(dòng)信息時(shí)，能夠減少不必要的運(yùn)動(dòng)檢測(cè)。于是，能夠降低運(yùn)動(dòng)檢測(cè)的處理負(fù)荷。
根據(jù)本實(shí)施例，在圖1中，照相機(jī)信息獨(dú)立于從照相機(jī)單元100輸出的圖像數(shù)據(jù)被直接輸入運(yùn)動(dòng)檢測(cè)器1014。此外，可以使用圖4的結(jié)構(gòu)多路復(fù)用單元401和多路分解單元402被布置在照相機(jī)單元100的輸出端，從照相機(jī)單元100輸出的照相機(jī)信息被用作圖像數(shù)據(jù)的附加數(shù)據(jù)，并在多路復(fù)用單元401中被多路復(fù)用，隨后在多路分解單元402中與圖像數(shù)據(jù)分離開。
此外，在根據(jù)本實(shí)施例的圖像處理裝置中，并不總是必須如圖1中所示直接從照相機(jī)100輸入圖像數(shù)據(jù)和對(duì)應(yīng)的照相機(jī)信息，只要圖像數(shù)據(jù)和照相機(jī)信息可被用于編碼壓縮。從而，可以使用圖5A和5B的結(jié)構(gòu)照相機(jī)單元100拍攝的圖像數(shù)據(jù)和用作與圖像數(shù)據(jù)對(duì)應(yīng)的附加數(shù)據(jù)的照相機(jī)信息被記錄在記錄介質(zhì)501上，從記錄介質(zhì)501讀取圖像數(shù)據(jù)和照相機(jī)信息來進(jìn)行編碼壓縮。
在本實(shí)施例中，如圖3的步驟S301-S309中所示，根據(jù)從照相機(jī)單元100獲得的照相機(jī)信息確定是允許還是禁止子宏塊分區(qū)的使用。但是，該處理并不特別受限。例如，可在照相機(jī)單元100中預(yù)先確定許可/禁止，可從照相機(jī)單元100獲得確定結(jié)果，而不是照相機(jī)信息。
在本實(shí)施例中，當(dāng)根據(jù)照相機(jī)信息預(yù)期即使借助利用精細(xì)(fine)像素塊形狀的運(yùn)動(dòng)檢測(cè)，也不能獲得正確的運(yùn)動(dòng)信息時(shí)，不進(jìn)行對(duì)三種形狀的所有子宏塊分區(qū)的運(yùn)動(dòng)檢測(cè)。不必說，并不總是必須暫停對(duì)三種形狀的運(yùn)動(dòng)檢測(cè)。例如，可以只暫停對(duì)4×4像素的最小子宏塊分區(qū)的運(yùn)動(dòng)檢測(cè)。此外，運(yùn)動(dòng)檢測(cè)被暫停的塊并不局限于子宏塊分區(qū)?？蓵和?duì)宏塊分區(qū)的運(yùn)動(dòng)檢測(cè)，而只對(duì)16×16像素的最大宏塊進(jìn)行運(yùn)動(dòng)檢測(cè)。
此外，要使用的照相機(jī)信息并不局限于前述照相機(jī)信息，只要正確的運(yùn)動(dòng)檢測(cè)不被執(zhí)行的像素塊形狀被識(shí)別即可。例如，可以使用圖像拾取裝置的快門速度信息等。

下面說明本發(fā)明的第二實(shí)施例。
第二實(shí)施例特別適合于降低當(dāng)由諸如數(shù)字電路之類的硬件實(shí)現(xiàn)對(duì)多個(gè)像素塊形狀進(jìn)行運(yùn)動(dòng)檢測(cè)的“運(yùn)動(dòng)檢測(cè)器1014”時(shí)的功耗。第二實(shí)施例的包含照相機(jī)單元在內(nèi)的整個(gè)結(jié)構(gòu)和圖1的第一實(shí)施例幾乎相同，因此省略其具體描述。
在本實(shí)施例中，圖像處理裝置中的CPU(未示出)設(shè)置“像素塊形狀許可位”，用于根據(jù)照相機(jī)信息確定多個(gè)像素塊形狀中將被用于運(yùn)動(dòng)檢測(cè)的一個(gè)像素塊形狀。此外，運(yùn)動(dòng)檢測(cè)和多個(gè)像素塊的運(yùn)動(dòng)矢量由硬件評(píng)估。
圖6的流程圖表示CPU中“像素塊形狀許可位”的設(shè)置。圖7和8表示指示按照所述設(shè)置操作的運(yùn)動(dòng)檢測(cè)器(對(duì)應(yīng)于圖1的1014)的詳細(xì)結(jié)構(gòu)的硬件塊。
參見圖6的流程圖，下面將說明CPU中“像素塊形狀許可位”的設(shè)置。在圖6的步驟S601中，確定檢測(cè)是否是圖像幀中的第一運(yùn)動(dòng)檢測(cè)。當(dāng)對(duì)新的圖像幀進(jìn)行第一運(yùn)動(dòng)檢測(cè)(步驟S601中“是”)時(shí)，處理進(jìn)行到步驟S602。當(dāng)檢測(cè)不是第一檢測(cè)(步驟S601中“否”)時(shí)，處理進(jìn)行到步驟S609。在步驟S602中，讀取與聚焦控制、減振控制、曝光控制等相關(guān)的照相機(jī)信息。
在步驟S603中，根據(jù)在步驟S602中讀取的照相機(jī)信息中的聚焦控制信息，確定是否實(shí)現(xiàn)了聚焦。在步驟S604中，根據(jù)與減振控制相關(guān)的信息，確定照相機(jī)單元100是否搖動(dòng)或傾斜。在步驟S605中，根據(jù)與曝光控制相關(guān)的信息，確定被攝對(duì)象是否具有低亮度。在步驟S606中，根據(jù)與曝光控制相關(guān)的信息，確定照相機(jī)單元100是否增益提高。在步驟S607中，根據(jù)與照相機(jī)單元100的啟動(dòng)時(shí)間相關(guān)的信息，確定照相機(jī)單元100是否處于剛啟動(dòng)狀態(tài)。
步驟S603-S607中的確定與第一實(shí)施例的圖3中所示的步驟S303-S307的確定類似，從而不再贅述。
當(dāng)在步驟S603-S607中確定照相機(jī)單元100焦點(diǎn)未對(duì)準(zhǔn)，搖動(dòng)/傾斜，具有低亮度被攝對(duì)象，增益提高，或者處于剛啟動(dòng)狀態(tài)時(shí)，處理進(jìn)行到步驟S609。在步驟S609中，“像素塊形狀許可位”被設(shè)置成MSB“0001111”LSB。
這些位允許與從MSB一側(cè)開始的4×4像素，4×8像素，8×4像素，8×8像素，8×16像素，16×8像素，16×16像素的子宏塊分區(qū)和宏塊分區(qū)對(duì)應(yīng)的運(yùn)動(dòng)檢測(cè)器的操作?！?”位允許運(yùn)動(dòng)檢測(cè)器處理對(duì)應(yīng)的宏塊分區(qū)，“0”位禁止運(yùn)動(dòng)檢測(cè)器的操作。
當(dāng)在步驟S603-S607中確定照相機(jī)單元100未焦點(diǎn)未對(duì)準(zhǔn)，未搖動(dòng)/傾斜，不具有低亮度被攝對(duì)象，增益未提高，或者不處于剛啟動(dòng)狀態(tài)時(shí)，處理進(jìn)行到步驟S608。在步驟S608中，“像素塊形狀許可位”被設(shè)置成MSB“1111111”LSB。隨后，在步驟S610中，這樣獲得的“像素塊形狀許可位”被輸出給運(yùn)動(dòng)檢測(cè)器1014。
這樣，在本實(shí)施例的步驟S603-S609時(shí)，根據(jù)照相機(jī)信息從兩種或更多種的像素塊形狀中確定將被用于運(yùn)動(dòng)檢測(cè)的像素塊形狀。
參見圖7，下面按照本實(shí)施例討論運(yùn)動(dòng)檢測(cè)器1014的結(jié)構(gòu)。圖7是用于利用多個(gè)像素塊形狀進(jìn)行運(yùn)動(dòng)檢測(cè)和評(píng)估的運(yùn)動(dòng)檢測(cè)器1014的結(jié)構(gòu)的例子的方框圖。
圖7中，附圖標(biāo)記700表示保存兩個(gè)或更多的參考圖像的參考幀存儲(chǔ)器(對(duì)應(yīng)于圖1的1012)。附圖標(biāo)記701表示在運(yùn)動(dòng)檢測(cè)器和參考幀存儲(chǔ)器之間交換數(shù)據(jù)的數(shù)據(jù)總線。附圖標(biāo)記702表示用于保存運(yùn)動(dòng)矢量應(yīng)被確定的宏塊的圖像數(shù)據(jù)的宏塊存儲(chǔ)器。附圖標(biāo)記703表示在運(yùn)動(dòng)檢測(cè)器和宏塊存儲(chǔ)器之間交換數(shù)據(jù)的數(shù)據(jù)總線。
附圖標(biāo)記704表示利用16×16像素的宏塊進(jìn)行運(yùn)動(dòng)檢測(cè)的運(yùn)動(dòng)檢測(cè)器。如同第一實(shí)施例中一樣，最多對(duì)5個(gè)參考幀進(jìn)行運(yùn)動(dòng)檢測(cè)。為每個(gè)參考幀計(jì)算與整像素精度相關(guān)的運(yùn)動(dòng)信息、與半像素精度相關(guān)的運(yùn)動(dòng)信息和與1/4像素精度相關(guān)的運(yùn)動(dòng)信息。具有最強(qiáng)相關(guān)性的信息被選為每幀的運(yùn)動(dòng)信息。當(dāng)所有參考幀的運(yùn)動(dòng)信息都被計(jì)算時(shí)，為每個(gè)參考幀評(píng)估運(yùn)動(dòng)信息。選擇具有最強(qiáng)相關(guān)性的信息，并且輸出預(yù)測(cè)編碼塊的參考幀信息和運(yùn)動(dòng)信息MV1。
附圖標(biāo)記705表示利用16×8像素的宏塊分區(qū)進(jìn)行運(yùn)動(dòng)檢測(cè)的運(yùn)動(dòng)檢測(cè)器。運(yùn)動(dòng)信息MV2和參考幀信息被同樣地輸出。附圖標(biāo)記706表示利用8×16像素的宏塊分區(qū)進(jìn)行運(yùn)動(dòng)檢測(cè)的運(yùn)動(dòng)檢測(cè)器。運(yùn)動(dòng)信息MV3和參考幀信息被同樣地輸出。附圖標(biāo)記707表示利用8×8像素的宏塊分區(qū)進(jìn)行運(yùn)動(dòng)檢測(cè)的運(yùn)動(dòng)檢測(cè)器。運(yùn)動(dòng)信息MV4和參考幀信息被同樣地輸出。附圖標(biāo)記708表示利用8×4像素的子宏塊分區(qū)進(jìn)行運(yùn)動(dòng)檢測(cè)的運(yùn)動(dòng)檢測(cè)器。運(yùn)動(dòng)信息MV_S1和參考幀信息被同樣地輸出。附圖標(biāo)記709表示利用4×8像素的子宏塊分區(qū)進(jìn)行運(yùn)動(dòng)檢測(cè)的運(yùn)動(dòng)檢測(cè)器。運(yùn)動(dòng)信息MV_S2和參考幀信息被同樣地輸出。附圖標(biāo)記710表示利用4×4像素的子宏塊分區(qū)進(jìn)行運(yùn)動(dòng)檢測(cè)的運(yùn)動(dòng)檢測(cè)器。運(yùn)動(dòng)信息MV_S3和參考幀信息被輸出。
附圖標(biāo)記711表示分配用于操作運(yùn)動(dòng)檢測(cè)器704-710的時(shí)鐘的時(shí)鐘分配器。附圖標(biāo)記712表示評(píng)估運(yùn)動(dòng)矢量，并且當(dāng)計(jì)算運(yùn)動(dòng)信息MV1-M4和SMV1-SMV3時(shí)，選擇與參考幀強(qiáng)相關(guān)的宏塊和子宏塊的分區(qū)的種類的矢量評(píng)估單元。
當(dāng)在運(yùn)動(dòng)矢量評(píng)估單元712中正確選擇了運(yùn)動(dòng)信息時(shí)，根據(jù)選擇的宏塊分區(qū)中的運(yùn)動(dòng)信息，還輸出用于管理所有預(yù)測(cè)編碼塊的參照關(guān)系的參考列表信息。當(dāng)對(duì)目標(biāo)幀的所有像素進(jìn)行該處理時(shí)，完成一幀的運(yùn)動(dòng)檢測(cè)。
此時(shí)，由圖6的流程圖的處理確定的“像素塊形狀許可位”的值被輸入給時(shí)鐘分配器711和矢量評(píng)估單元712。
圖8表示時(shí)鐘分配器711的結(jié)構(gòu)的一個(gè)例子。在圖8中，時(shí)鐘輸入與表示成SW1-SW7的開關(guān)連接。此外，來自開關(guān)SW1-SW7的輸出被輸出給圖7中表示成704-710的多個(gè)運(yùn)動(dòng)檢測(cè)器。當(dāng)對(duì)應(yīng)的“宏塊形狀許可位”為“1”時(shí)，開關(guān)SW1-SW7被接通，輸入的時(shí)鐘被輸出給連接的運(yùn)動(dòng)檢測(cè)器。當(dāng)對(duì)應(yīng)的“宏塊形狀許可位”為““0”時(shí)，開關(guān)被斷開，輸入的時(shí)鐘不被輸出給運(yùn)動(dòng)檢測(cè)器。
如上所述，運(yùn)動(dòng)檢測(cè)器704-710對(duì)應(yīng)于兩種或更多種的像素塊形狀。響應(yīng)像素塊形狀許可位，只有被供給時(shí)鐘的運(yùn)動(dòng)檢測(cè)器被啟動(dòng)，不被供給時(shí)鐘的運(yùn)動(dòng)檢測(cè)器被停止。在圖7中，運(yùn)動(dòng)矢量評(píng)估單元712通過只使用從具有為“1”的“像素塊形狀許可位”的運(yùn)動(dòng)檢測(cè)器輸出的運(yùn)動(dòng)信息和參考幀信息，評(píng)估運(yùn)動(dòng)信息。
換句話說，當(dāng)確定照相機(jī)單元100焦點(diǎn)未對(duì)準(zhǔn)，搖動(dòng)/傾斜，具有低亮度被攝對(duì)象，增益提高，或者處于剛啟動(dòng)狀態(tài)時(shí)，CPU把“像素塊形狀許可位”的值設(shè)置成MSB“0001111”LSB，并把該值輸出給運(yùn)動(dòng)檢測(cè)器1014。只有具有為“1”的“像素塊形狀許可位”的運(yùn)動(dòng)檢測(cè)器被啟動(dòng)，其它的運(yùn)動(dòng)檢測(cè)器被停止。這種情況下，時(shí)鐘不被輸出給4×4像素的運(yùn)動(dòng)檢測(cè)器710，4×8像素的運(yùn)動(dòng)檢測(cè)器709和8×4像素的運(yùn)動(dòng)檢測(cè)器708，從而這些運(yùn)動(dòng)檢測(cè)器被停止，從而降低不必要的功耗。
當(dāng)確定照相機(jī)單元100并未焦點(diǎn)未對(duì)準(zhǔn)，不搖動(dòng)/傾斜，不具有低亮度被攝對(duì)象，增益未提高，或者不處于剛啟動(dòng)狀態(tài)時(shí)，CPU把“像素塊形狀許可位”的值設(shè)置成MSB“1111111”LSB，并把該值輸出給運(yùn)動(dòng)檢測(cè)器1014。這種情況下，時(shí)鐘被送給所有的運(yùn)動(dòng)檢測(cè)器704-710，從而所有運(yùn)動(dòng)檢測(cè)器工作。
如上所述，當(dāng)根據(jù)來自照相機(jī)單元100的照相機(jī)信息確定照相機(jī)單元100焦點(diǎn)未對(duì)準(zhǔn)，搖動(dòng)/傾斜，具有低亮度被攝對(duì)象，增益提高，或者處于剛啟動(dòng)狀態(tài)，并且預(yù)期即使借助利用精細(xì)像素塊的運(yùn)動(dòng)檢測(cè)，也不能獲得正確的運(yùn)動(dòng)信息時(shí)，能夠抑制不必要的運(yùn)動(dòng)檢測(cè)的處理，降低功耗。
在本實(shí)施例中，如圖6的步驟S601-S610中所示，圖像處理裝置中的CPU(未示出)根據(jù)獲得的照相機(jī)信息設(shè)置“像素塊形狀許可位”。此外，可以使用圖9的結(jié)構(gòu)使照相機(jī)單元100的照相機(jī)CPU 109用作圖像塊形狀許可位設(shè)置單元901，在照相機(jī)單元100中預(yù)先設(shè)置像素塊形狀許可位，只把“像素塊形狀許可位”的值輸出給運(yùn)動(dòng)檢測(cè)器1014。
本實(shí)施例描述了其中通過暫停時(shí)鐘的供給，停止運(yùn)動(dòng)檢測(cè)器1014的操作的例子。根據(jù)本發(fā)明的本實(shí)施例的目的是停止運(yùn)動(dòng)檢測(cè)器的不必要的操作，降低功耗。實(shí)現(xiàn)該目的的手段并不局限于控制時(shí)鐘的供給的配置。例如，可中斷運(yùn)動(dòng)檢測(cè)器1014的電源。即使時(shí)鐘被連續(xù)供給運(yùn)動(dòng)檢測(cè)器，通過停止運(yùn)動(dòng)檢測(cè)器的內(nèi)部操作，也能夠大大降低功耗。例如，通過利用廣泛用于數(shù)字電路的觸發(fā)電路的選通信號(hào)等，可停止所述操作。
下面說明本發(fā)明的第三實(shí)施例。
第三實(shí)施例的包括照相機(jī)單元在內(nèi)的整個(gè)結(jié)構(gòu)和圖1的第一實(shí)施例幾乎相同，從而不再贅述。本實(shí)施例的特征在于當(dāng)根據(jù)照相機(jī)信息改變用于運(yùn)動(dòng)檢測(cè)的像素塊形狀的種類時(shí)，按照照相機(jī)信息的預(yù)定水平改變不被用于運(yùn)動(dòng)檢測(cè)的“一些像素塊形狀”的種類。
如第一實(shí)施例中所述，照相機(jī)信息包括與聚焦控制、減振控制、曝光控制等相關(guān)的各種信息。為了簡(jiǎn)便起見，本實(shí)施例將只討論使用與減振控制相關(guān)的信息的情況。
參見圖10的流程圖，下面說明本實(shí)施例的運(yùn)動(dòng)檢測(cè)。運(yùn)動(dòng)檢測(cè)開始時(shí)，在步驟S1001中，確定檢測(cè)是否是當(dāng)前幀中的第一運(yùn)動(dòng)檢測(cè)。當(dāng)確定檢測(cè)不是第一運(yùn)動(dòng)檢測(cè)(步驟S1001中“否”)時(shí)，處理進(jìn)行到步驟S1003。當(dāng)確定檢測(cè)是新的圖像幀中的第一運(yùn)動(dòng)檢測(cè)(步驟S1001中“是”)時(shí)，處理進(jìn)行到步驟S1002，讀取與減振控制相關(guān)的信息。
在步驟S1003，利用16×16像素的宏塊進(jìn)行運(yùn)動(dòng)檢測(cè)。對(duì)預(yù)測(cè)編碼塊可被參考的所有參考幀進(jìn)行運(yùn)動(dòng)檢測(cè)。根據(jù)H.264的標(biāo)準(zhǔn)，最多對(duì)5個(gè)參考幀進(jìn)行運(yùn)動(dòng)檢測(cè)。為每個(gè)參考幀計(jì)算與整像素精度相關(guān)的運(yùn)動(dòng)信息，與半像素精度相關(guān)的運(yùn)動(dòng)信息和與1/4像素精度相關(guān)的運(yùn)動(dòng)信息。具有最強(qiáng)相關(guān)性的信息被選為每幀的運(yùn)動(dòng)信息。當(dāng)計(jì)算了所有參考幀的運(yùn)動(dòng)信息時(shí)，對(duì)每個(gè)參考幀評(píng)估運(yùn)動(dòng)信息。選擇具有最強(qiáng)相關(guān)性的信息來確定預(yù)測(cè)編碼塊的運(yùn)動(dòng)信息MV1。
在步驟S1004中，根據(jù)在步驟S1002中讀取的減振控制信息，確定照相機(jī)單元100是否搖動(dòng)或傾斜。通過比較照相機(jī)單元100的“照相機(jī)抖動(dòng)量”與預(yù)定的確定閾值TH3，完成該確定。如第一實(shí)施例中所述，“照相機(jī)抖動(dòng)量”可以是通常用于圖2的照相機(jī)單元100的陀螺儀傳感器(未示出)的輸出。換句話說，“照相機(jī)抖動(dòng)量”可以是拍攝者產(chǎn)生的照相機(jī)抖動(dòng)的周期性垂直或水平轉(zhuǎn)動(dòng)分量的大小或周期。
這種情況下，當(dāng)“照相機(jī)抖動(dòng)量”極大，并且在步驟S1004中確定“照相機(jī)抖動(dòng)量”大于TH3(步驟S1004中“是”)時(shí)，處理進(jìn)行到步驟S1014，不利用其它的像素塊形狀進(jìn)行運(yùn)動(dòng)檢測(cè)。當(dāng)確定“照相機(jī)抖動(dòng)量”不大于TH3(步驟S1004中“否”)時(shí)，處理進(jìn)行到步驟S1005。圖10的與“照相機(jī)抖動(dòng)量”相比的確定閾值TH1、TH2和TH3的大小關(guān)系由下面的公式1表述TH3＞＞TH2＞TH1 (公式1)在步驟S1005中，利用16×8像素的宏塊分區(qū)進(jìn)行運(yùn)動(dòng)檢測(cè)來確定運(yùn)動(dòng)信息MV2。在步驟S1006中，利用8×16像素的宏塊分區(qū)進(jìn)行運(yùn)動(dòng)檢測(cè)來確定運(yùn)動(dòng)信息MV3。在步驟S1007中，確定“照相機(jī)抖動(dòng)量”是否大于預(yù)定的確定閾值TH2。這種情況下，當(dāng)確定“照相機(jī)抖動(dòng)量”大于TH2(步驟S1007中“是”)時(shí)，處理進(jìn)行到步驟S1014，不利用其它像素塊形狀進(jìn)行運(yùn)動(dòng)檢測(cè)。當(dāng)確定“照相機(jī)抖動(dòng)量”不大于TH2(步驟S1007中“否”)時(shí)，處理進(jìn)行到步驟S1008。
在步驟S1008中，利用8×8像素的宏塊分區(qū)進(jìn)行運(yùn)動(dòng)檢測(cè)來確定運(yùn)動(dòng)信息MV4。在步驟S1009，確定“照相機(jī)抖動(dòng)量”是否大于預(yù)定的確定閾值TH1。這種情況下，當(dāng)確定“照相機(jī)抖動(dòng)量”大于TH1(步驟S1009中“是”)時(shí)，處理進(jìn)行到步驟S1014，不利用其它像素塊形狀進(jìn)行運(yùn)動(dòng)檢測(cè)。當(dāng)確定“照相機(jī)抖動(dòng)量”不大于TH1(步驟S1009中“否”)時(shí)，處理進(jìn)行到步驟S1010。
在步驟S1010，利用8×4像素的子宏塊分區(qū)進(jìn)行運(yùn)動(dòng)檢測(cè)來確定運(yùn)動(dòng)信息MV_S1。在隨后的步驟S1011中，利用4×8像素的子宏塊分區(qū)進(jìn)行運(yùn)動(dòng)檢測(cè)來確定運(yùn)動(dòng)信息MV_S2。在步驟S1012中，確定“照相機(jī)抖動(dòng)量”是否為0。當(dāng)“照相機(jī)抖動(dòng)量”不為0(步驟S1012中“否”)時(shí)，處理進(jìn)行到步驟S1014，而不利用4×4像素的子宏塊分區(qū)進(jìn)行步驟S1013的運(yùn)動(dòng)檢測(cè)。當(dāng)“照相機(jī)抖動(dòng)量”為0(步驟S1012中“是”)時(shí)，處理進(jìn)行到步驟S1013。在步驟S1013中，利用4×4像素的子宏塊分區(qū)進(jìn)行運(yùn)動(dòng)檢測(cè)來確定運(yùn)動(dòng)信息MV_S3。
如上所述，根據(jù)本實(shí)施例的圖像處理裝置中，和減振控制相關(guān)的“照相機(jī)抖動(dòng)量”與預(yù)定的確定閾值TH1、TH2和TH3比較，以確定“照相機(jī)抖動(dòng)量”的水平。按照確定的“照相機(jī)抖動(dòng)量”的水平，選擇用于運(yùn)動(dòng)檢測(cè)的像素塊形狀的種類。
換句話說，根據(jù)本發(fā)明的本實(shí)施例，當(dāng)“照相機(jī)抖動(dòng)量”具有下面的關(guān)系(公式2)時(shí)，只利用16×16像素的宏塊進(jìn)行運(yùn)動(dòng)檢測(cè)。
當(dāng)“照相機(jī)抖動(dòng)量”具有下面的關(guān)系(公式3)時(shí)，利用16×16像素、16×8像素和8×16像素的宏塊分區(qū)進(jìn)行運(yùn)動(dòng)檢測(cè)。
當(dāng)“照相機(jī)抖動(dòng)量”具有下面的關(guān)系(公式4)時(shí)，利用16×16像素、16×8像素、8×16像素和8×8像素的宏塊分區(qū)進(jìn)行運(yùn)動(dòng)檢測(cè)。
當(dāng)“照相機(jī)抖動(dòng)量”具有下面的關(guān)系(公式5)時(shí)，利用16×16像素、16×8像素、8×16像素和8×8像素的宏塊分區(qū)，以及8×4像素和4×8像素的子宏塊分區(qū)進(jìn)行運(yùn)動(dòng)檢測(cè)。
最后，當(dāng)“照相機(jī)抖動(dòng)量”具有下面的關(guān)系(公式6)時(shí)，利用所有形狀的宏塊分區(qū)和子宏塊分區(qū)進(jìn)行運(yùn)動(dòng)檢測(cè)。
“照相機(jī)抖動(dòng)量”＞TH3(公式2)TH3≥“照相機(jī)抖動(dòng)量”＞TH2 (公式3)TH2≥“照相機(jī)抖動(dòng)量”＞TH1 (公式4)TH1≥“照相機(jī)抖動(dòng)量”＞0 (公式5)“照相機(jī)抖動(dòng)量”＝0 (公式6)之后，在步驟S1014的處理中，評(píng)估通過計(jì)算確定的運(yùn)動(dòng)信息MV1-MV4和MV_S1-MV_S3。在該評(píng)估中，在計(jì)算運(yùn)動(dòng)信息MV1-MV4和SMV1-SMV3時(shí)選擇與參考幀強(qiáng)相關(guān)的宏塊和子宏塊分區(qū)。
當(dāng)恰當(dāng)選擇了運(yùn)動(dòng)信息時(shí)，根據(jù)選擇的宏塊分區(qū)中的運(yùn)動(dòng)信息，在步驟S1015中產(chǎn)生參考列表，以管理所有預(yù)測(cè)編碼塊的參照關(guān)系。當(dāng)對(duì)目標(biāo)幀的所有像素進(jìn)行該處理時(shí)，完成一幀的運(yùn)動(dòng)檢測(cè)。
這樣，在本實(shí)施例中確定了照相機(jī)信息的值的范圍。在步驟S1003-S1013中，根據(jù)照相機(jī)信息的范圍，從兩種或者更多種的像素塊形狀中確定將用于運(yùn)動(dòng)檢測(cè)的像素塊形狀。
如上所述，當(dāng)根據(jù)照相機(jī)信息改變用于運(yùn)動(dòng)檢測(cè)的像素塊形狀的種類時(shí)，根據(jù)需要按照預(yù)定照相機(jī)信息的大小或水平改變像素塊形狀的種類，從而抑制實(shí)際上得不到正確的運(yùn)動(dòng)信息的不必要運(yùn)動(dòng)檢測(cè)的處理。于是，能夠減輕運(yùn)動(dòng)檢測(cè)的處理負(fù)荷。
在本實(shí)施例中，當(dāng)“照相機(jī)抖動(dòng)量”具有公式6的關(guān)系時(shí)，利用所有形狀的宏塊分區(qū)和子宏塊分區(qū)進(jìn)行運(yùn)動(dòng)檢測(cè)。當(dāng)從照相機(jī)單元獲得能夠?qū)崿F(xiàn)如使用三腳架的固定拍攝的狀態(tài)的識(shí)別的信息時(shí)，可以使用該信息。
當(dāng)“照相機(jī)抖動(dòng)量”保持公式6的關(guān)系預(yù)定時(shí)間或者更長(zhǎng)時(shí)，可以利用所有形狀的宏塊分區(qū)和子宏塊分區(qū)進(jìn)行運(yùn)動(dòng)檢測(cè)。
本實(shí)施例只描述了與減振控制相關(guān)的信息。例如，利用照相機(jī)單元的放大器增益的水平、自動(dòng)聚焦的聚焦水平等，可連續(xù)改變?cè)撔畔?。不必說，即使按照通過計(jì)算兩個(gè)或更多照相機(jī)信息而獲得的值的水平連續(xù)改變?cè)撔畔r(shí)，該信息也落入本發(fā)明的范圍之內(nèi)。
根據(jù)本實(shí)施例，能夠提供一種能夠進(jìn)行最佳運(yùn)動(dòng)檢測(cè)同時(shí)減少不必要的處理負(fù)荷的圖像處理裝置。
由于在不脫離本發(fā)明的精神和范圍的情況下，可做出本發(fā)明的大不同的多個(gè)實(shí)施例，因此除了如權(quán)利要求中限定的那樣之外，本發(fā)明并不局限于其特定的實(shí)施例。
權(quán)利要求
1.一種圖像處理裝置，包含獲取單元，用于獲得在拍攝被攝對(duì)象的拍攝單元中已獲得的運(yùn)動(dòng)圖像數(shù)據(jù)和與拍攝期間拍攝單元的狀況相關(guān)的拍攝信息，編碼器，用于借助兩種或更多種的像素塊形狀，對(duì)運(yùn)動(dòng)圖像數(shù)據(jù)進(jìn)行運(yùn)動(dòng)檢測(cè)，并對(duì)數(shù)據(jù)編碼，和判定單元，用于根據(jù)拍攝信息，判定是否利用所有種類的像素塊形狀進(jìn)行運(yùn)動(dòng)檢測(cè)，其中當(dāng)判定單元判定不應(yīng)利用所有種類的像素塊形狀進(jìn)行運(yùn)動(dòng)檢測(cè)時(shí)，編碼器利用一些種類的像素塊形狀進(jìn)行運(yùn)動(dòng)檢測(cè)。
2.按照權(quán)利要求1所述的圖像處理裝置，其中判定單元包含第一確定單元，所述第一確定單元用于根據(jù)拍攝信息從兩種或更多種的像素塊形狀中確定將用于運(yùn)動(dòng)檢測(cè)的像素塊形狀，并且當(dāng)判定單元判定不應(yīng)利用所有種類的像素塊形狀進(jìn)行運(yùn)動(dòng)檢測(cè)時(shí)，編碼器利用已由第一確定單元確定的像素塊形狀進(jìn)行運(yùn)動(dòng)檢測(cè)。
3.按照權(quán)利要求1所述的圖像處理裝置，其中判定單元包含第二確定單元，所述第二確定單元用于確定拍攝信息的值的范圍，并根據(jù)拍攝信息的范圍，從兩種或更多種的像素塊形狀中確定將用于運(yùn)動(dòng)檢測(cè)的像素塊形狀，和當(dāng)判定單元判定不應(yīng)利用所有種類的像素塊形狀進(jìn)行運(yùn)動(dòng)檢測(cè)時(shí)，編碼器利用已由第二確定單元確定的像素塊形狀進(jìn)行運(yùn)動(dòng)檢測(cè)。
4.按照權(quán)利要求2所述的圖像處理裝置，其中編碼器包含與兩種或更多種的像素塊形狀對(duì)應(yīng)的運(yùn)動(dòng)檢測(cè)器，并且當(dāng)利用已由第一確定單元確定的像素塊形狀進(jìn)行運(yùn)動(dòng)檢測(cè)時(shí)，只有與確定的像素塊形狀對(duì)應(yīng)的運(yùn)動(dòng)檢測(cè)器工作，其它的運(yùn)動(dòng)檢測(cè)器被停止。
5.按照權(quán)利要求3所述的圖像處理裝置，其中編碼器包含與兩種或更多種的像素塊形狀對(duì)應(yīng)的運(yùn)動(dòng)檢測(cè)器，并且當(dāng)利用已由第二確定單元確定的像素塊形狀進(jìn)行運(yùn)動(dòng)檢測(cè)時(shí)，只有與確定的像素塊形狀對(duì)應(yīng)的運(yùn)動(dòng)檢測(cè)器工作，其它的運(yùn)動(dòng)檢測(cè)器被停止。
6.按照權(quán)利要求1所述的圖像處理裝置，其中當(dāng)判定單元判定不應(yīng)利用所有種類的像素塊形狀進(jìn)行運(yùn)動(dòng)檢測(cè)時(shí)，用于編碼器中的運(yùn)動(dòng)檢測(cè)的像素塊形狀至少不包括所述兩種或更多種像素塊形狀中的最小像素塊形狀。
7.按照權(quán)利要求1所述的圖像處理裝置，其中拍攝信息包括拍攝單元中與聚焦控制相關(guān)的信息、與拍攝單元中的減振和搖動(dòng)/傾斜相關(guān)的信息、與曝光控制相關(guān)的信息和與自拍攝單元啟動(dòng)起所過去的時(shí)間相關(guān)的時(shí)間信息之一。
8.一種圖像處理方法，包括獲得在拍攝被攝對(duì)象的拍攝單元中已獲得的運(yùn)動(dòng)圖像數(shù)據(jù)和與拍攝期間拍攝單元的狀況相關(guān)的拍攝信息的獲取步驟，借助兩種或更多種的像素塊形狀，對(duì)運(yùn)動(dòng)圖像數(shù)據(jù)進(jìn)行運(yùn)動(dòng)檢測(cè)，并對(duì)數(shù)據(jù)編碼的編碼步驟，和根據(jù)拍攝信息，判定是否利用所有種類的像素塊形狀進(jìn)行運(yùn)動(dòng)檢測(cè)的判定步驟，其中當(dāng)判定不應(yīng)利用所有種類的像素塊形狀進(jìn)行運(yùn)動(dòng)檢測(cè)時(shí)，在編碼步驟中，利用一些種類的像素塊形狀進(jìn)行運(yùn)動(dòng)檢測(cè)。
9.按照權(quán)利要求8所述的圖像處理方法，其中判定步驟包含根據(jù)拍攝信息，從兩種或更多種的像素塊形狀中確定將用于運(yùn)動(dòng)檢測(cè)的像素塊形狀的第一確定步驟，和當(dāng)在判定步驟中，判定不應(yīng)利用所有種類的像素塊形狀進(jìn)行運(yùn)動(dòng)檢測(cè)時(shí)，在編碼步驟中，通過利用在第一確定步驟中確定的像素塊形狀進(jìn)行運(yùn)動(dòng)檢測(cè)。
10.按照權(quán)利要求8所述的圖像處理方法，其中判定步驟包含確定拍攝信息的值的范圍，并根據(jù)拍攝信息的范圍，從兩種或更多種的像素塊形狀中確定將用于運(yùn)動(dòng)檢測(cè)的像素塊形狀的第二確定步驟，和當(dāng)在判定步驟中，判定不應(yīng)利用所有種類的像素塊形狀進(jìn)行運(yùn)動(dòng)檢測(cè)時(shí)，在編碼步驟中，通過利用在第二確定步驟中確定的像素塊形狀進(jìn)行運(yùn)動(dòng)檢測(cè)。
11.按照權(quán)利要求9所述的圖像處理方法，其中編碼步驟包含與兩種或更多種的像素塊形狀對(duì)應(yīng)的運(yùn)動(dòng)檢測(cè)步驟，和當(dāng)利用在第一確定步驟中確定的像素塊形狀進(jìn)行運(yùn)動(dòng)檢測(cè)時(shí)，只有與確定的像素塊形狀對(duì)應(yīng)的運(yùn)動(dòng)檢測(cè)步驟被啟動(dòng)，其它的運(yùn)動(dòng)檢測(cè)步驟被停止。
12.按照權(quán)利要求10所述的圖像處理方法，其中編碼步驟包含與兩種或更多種的像素塊形狀對(duì)應(yīng)的運(yùn)動(dòng)檢測(cè)步驟，和當(dāng)利用在第二確定步驟中確定的像素塊形狀進(jìn)行運(yùn)動(dòng)檢測(cè)時(shí)，只有與確定的像素塊形狀對(duì)應(yīng)的運(yùn)動(dòng)檢測(cè)步驟被啟動(dòng)，其它的運(yùn)動(dòng)檢測(cè)步驟被停止。
13.按照權(quán)利要求8所述的圖像處理方法，其中當(dāng)在判定步驟中判定不應(yīng)利用所有種類的像素塊形狀進(jìn)行運(yùn)動(dòng)檢測(cè)時(shí)，用于編碼步驟中的運(yùn)動(dòng)檢測(cè)的像素塊形狀至少不包括所述兩種或更多種像素塊形狀中的最小像素塊形狀。
14.按照權(quán)利要求8所述的圖像處理方法，其中拍攝信息包括拍攝單元中與聚焦控制相關(guān)的信息、與減振和搖動(dòng)/傾斜相關(guān)的信息、與曝光控制相關(guān)的信息和與自拍攝單元啟動(dòng)起所過去的時(shí)間相關(guān)的時(shí)間信息之一。
全文摘要
圖像處理裝置包括獲取單元，用于獲得在拍攝被攝對(duì)象的拍攝單元中獲得的運(yùn)動(dòng)圖像數(shù)據(jù)，和與拍攝期間拍攝單元的狀況相關(guān)的拍攝信息，編碼單元，用于以兩種或更多種的像素塊形狀為單位，對(duì)運(yùn)動(dòng)圖像數(shù)據(jù)進(jìn)行運(yùn)動(dòng)檢測(cè)及對(duì)數(shù)據(jù)編碼，和判定單元，用于根據(jù)拍攝信息，判定是否利用所有種類的像素塊形狀進(jìn)行運(yùn)動(dòng)檢測(cè)，其中當(dāng)判定單元判定不應(yīng)利用所有種類的像素塊形狀進(jìn)行運(yùn)動(dòng)檢測(cè)時(shí)，編碼單元利用一些種類的像素塊形狀進(jìn)行運(yùn)動(dòng)檢測(cè)。
文檔編號(hào)H04N7/26GK1835592SQ20061006785
公開日2006年9月20日 申請(qǐng)日期2006年3月14日 優(yōu)先權(quán)日2005年3月14日
發(fā)明者竹井浩文 申請(qǐng)人:佳能株式會(huì)社