專利名稱：立體圖像編碼設(shè)備及其方法和攝像設(shè)備的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種用于對(duì)圖像進(jìn)行編碼的編碼設(shè)備，并且尤其涉及一種用于通過(guò)對(duì)使用由多個(gè)攝像單元拍攝到的多個(gè)圖像所形成的立體圖像進(jìn)行編碼的立體圖像編碼設(shè)備。
背景技術(shù)：
近年來(lái)，伴隨著可以顯示立體圖像的顯示器的普及，還關(guān)注了可以拍攝立體圖像的攝像設(shè)備。通常通過(guò)使用由具有視差的兩個(gè)照相機(jī)分別拍攝到的右圖像和左圖像來(lái)形成立體圖像。作為用于對(duì)圖像進(jìn)行編碼的技術(shù)，根據(jù)現(xiàn)有技術(shù)已知有使用如下的運(yùn)動(dòng)預(yù)測(cè)的壓縮編碼/解碼技術(shù)，其中該運(yùn)動(dòng)預(yù)測(cè)以MPEG方法等所使用的方式來(lái)搜索圖像之間在時(shí)間方向上的運(yùn)動(dòng)矢量。除這種技術(shù)以外，還已知有使用如下的視差預(yù)測(cè)的編碼方法，其中該視差預(yù)測(cè)搜索由于右照相機(jī)和左照相機(jī)之間的視差所引起的矢量(以下稱為視差矢量)(參見日本特開2000-165909)。
日本特開2000-165909公開了如下的編碼設(shè)備，其中例如通過(guò)使用視差預(yù)測(cè)來(lái)對(duì)平行配置的兩個(gè)照相機(jī)所拍攝的立體圖像進(jìn)行壓縮編碼。特別地，日本特開2000-165909公開了如下這種技術(shù)基于利用右照相機(jī)在必然具有左方向上的偏移的位置處拍攝利用左照相機(jī)所拍攝的被攝體圖像這樣的照相機(jī)之間的視差，將針對(duì)右照相機(jī)所拍攝的圖像的視差預(yù)測(cè)的搜索范圍設(shè)置為具有左方向上的偏移的位置。在相關(guān)技術(shù)中，在用于設(shè)置圖像的深度的立體編碼的情況下，考慮到基于左眼所觀看的圖像中的被攝體在右眼中必然具有左方向上的偏移這樣的視差的偏移，例如，使用如下這種技術(shù)將視差預(yù)測(cè)的搜索范圍設(shè)置為相對(duì)于與顯示畫面上的圖像中的被攝體位置相同的位置、具有左方向上的偏移的位置。然而，在相關(guān)技術(shù)中，盡管考慮了視差的方向，但搜索范圍的偏移量在顯示畫面內(nèi)的任意位置處均恒定。因此，例如在顯示畫面內(nèi)相對(duì)于被攝體的距離不同的情況下，無(wú)法總是適當(dāng)設(shè)置搜索范圍并且擔(dān)心無(wú)法檢測(cè)正確的視差矢量。在右照相機(jī)和左照相機(jī)水平配置于一個(gè)殼體內(nèi)的攝像設(shè)備中，通常僅發(fā)生由兩個(gè)照相機(jī)之間的視差所引起的圖像在水平方向上的偏移。然而，在各照相機(jī)具有轉(zhuǎn)動(dòng)校正功能的攝像設(shè)備的情況下，存在如下情況在拍攝時(shí)，由于因拍攝者所引起的抖動(dòng)的影響而在各照相機(jī)所拍攝的圖像中發(fā)生垂直方向上的偏移。有鑒于此，在上述相關(guān)技術(shù)中，盡管考慮了基于視差的在水平方向上的偏移，但無(wú)法應(yīng)對(duì)垂直方向上的偏移。因此，在上述現(xiàn)有技術(shù)中，由于沒(méi)有考慮由多個(gè)照相機(jī)的位置之間的差異所引起的垂直方向上的偏移，因此發(fā)生無(wú)法設(shè)置適當(dāng)?shù)乃阉鞣秶⑶乙暡钍噶款A(yù)測(cè)的精度劣化這樣的問(wèn)題。

發(fā)明內(nèi)容
本發(fā)明的方面是解決現(xiàn)有技術(shù)的前述問(wèn)題，并提供如下一種立體圖像編碼設(shè)備和方法，其中可以通過(guò)使得能夠檢測(cè)到正確的視差矢量來(lái)進(jìn)行圖像劣化小的編碼。根據(jù)本發(fā)明的方面，提供一種圖像編碼設(shè)備，用于對(duì)通過(guò)利用多個(gè)攝像單元拍攝被攝體所獲得的多個(gè)圖像信號(hào)進(jìn)行編碼，所述圖像編碼設(shè)備包括輸入部件，用于輸入所述多個(gè)圖像信號(hào)；編碼部件，用于以預(yù)定像素塊為單位對(duì)所輸入的多個(gè)圖像信號(hào)進(jìn)行編碼，并以所述預(yù)定像素塊為單位在所述多個(gè)圖像信號(hào)之間進(jìn)行幀間預(yù)測(cè)；生成部件，用于生成表示所述編碼部件的編碼對(duì)象塊與如下的像素塊之間的圖像偏移的差信息，其中該像素塊是所述幀間預(yù)測(cè)所參考的參考圖像中的位于與所述編碼對(duì)象塊的位置相對(duì)應(yīng)的位置處的像素塊；以及設(shè)置部件，用于根據(jù)所述生成部件所生成的差信息，自適應(yīng)地設(shè)置用于檢測(cè)在所述幀間預(yù)測(cè)中所述編碼對(duì)象塊所使用的矢量的搜索范圍。根據(jù)本發(fā)明的另一方面，一種攝像設(shè)備，包括多個(gè)攝像單元，用于通過(guò)拍攝被攝體來(lái)獲得圖像信號(hào)；以及上述圖像編碼設(shè)備。根據(jù)本發(fā)明的又一方面，一種圖像編碼方法，用于對(duì)通過(guò)利用多個(gè)攝像單元拍攝被攝體所獲得的多個(gè)圖像信號(hào)進(jìn)行編碼，所述圖像編碼方法包括以下步驟輸入步驟，用于輸入所述多個(gè)圖像信號(hào)；編碼步驟，用于以預(yù)定像素塊為單位對(duì)所輸入的多個(gè)圖像信號(hào)進(jìn)行編碼，并以所述預(yù)定像素塊為單位在所述多個(gè)圖像信號(hào)之間進(jìn)行幀間預(yù)測(cè)；生成步驟，用于生成表示所述編碼步驟的編碼對(duì)象塊與如下的像素塊之間的圖像偏移的差信息，其中該像素塊是所述幀間預(yù)測(cè)所參考的參考圖像中的位于與所述編碼對(duì)象塊的位置相對(duì)應(yīng)的位 置處的像素塊；以及設(shè)置步驟，用于根據(jù)所述生成步驟中所生成的差信息，自適應(yīng)地設(shè)置用于檢測(cè)在所述幀間預(yù)測(cè)中所述編碼對(duì)象塊所使用的矢量的搜索范圍。通過(guò)以下參考附圖對(duì)典型實(shí)施例的說(shuō)明，本發(fā)明的其它特征將變得明顯。


圖I是示出根據(jù)本發(fā)明第一實(shí)施例的立體圖像編碼設(shè)備的結(jié)構(gòu)示例的框圖。圖2A和2B是用于說(shuō)明根據(jù)本發(fā)明第一實(shí)施例的視差預(yù)測(cè)的搜索范圍的設(shè)置方法的圖。圖3A和3B是用于說(shuō)明根據(jù)本發(fā)明第一實(shí)施例的視差預(yù)測(cè)的搜索范圍的設(shè)置方法的圖。圖4是示出根據(jù)本發(fā)明第一實(shí)施例的立體圖像編碼設(shè)備的變形例的框圖。圖5A和5B是用于說(shuō)明根據(jù)本發(fā)明第一實(shí)施例的視差預(yù)測(cè)的搜索范圍的設(shè)置方法的其它變形例的圖。圖6是根據(jù)本發(fā)明第二實(shí)施例的立體圖像編碼設(shè)備的框圖。圖7A和7B是示出根據(jù)本發(fā)明的編碼處理的開始順序以及開始時(shí)的搜索范圍的圖。圖8是用于說(shuō)明根據(jù)本發(fā)明第二實(shí)施例的編碼處理中的編碼對(duì)象圖像的圖。圖9是示出根據(jù)本發(fā)明第二實(shí)施例的搜索范圍的設(shè)置處理所用的流程圖的圖。圖10是根據(jù)本發(fā)明第三實(shí)施例的立體圖像編碼設(shè)備的框圖。
具體實(shí)施例方式以下將參考附圖來(lái)詳細(xì)說(shuō)明本發(fā)明的典型實(shí)施例。第一實(shí)施例以下將參考圖1、2A、2B、3A和3B來(lái)詳細(xì)說(shuō)明根據(jù)本發(fā)明的立體圖像編碼設(shè)備的第一實(shí)施例。圖I是根據(jù)本實(shí)施例的立體圖像編碼設(shè)備的框圖。該編碼設(shè)備的操作由如下方法所控制使用本發(fā)明的立體圖像編碼設(shè)備的設(shè)備(例如，照相機(jī)或PC等)的控制單元例如載入和執(zhí)行控制程序。在這種情況下，可以將本發(fā)明的立體圖像編碼設(shè)備的各塊中的處理作為該控制程序的一部分來(lái)提供。如圖I所示，根據(jù)本實(shí)施例的立體圖像編碼設(shè)備100具有如下結(jié)構(gòu)，其中該結(jié)構(gòu)例如用于輸入由平行配置的主圖像拍攝單元101和副圖像拍攝單元102所拍攝的被攝體的多個(gè)圖像并對(duì)這些多個(gè)圖像進(jìn)行編碼。具體來(lái)說(shuō)，該設(shè)備100具有用以保持所輸入的多個(gè)圖像的幀存儲(chǔ)器103、用以對(duì)所保持的圖像進(jìn)行編碼的結(jié)構(gòu)、以及用以設(shè)置用于檢測(cè)視差矢量的搜索范圍的結(jié)構(gòu)。該編碼結(jié)構(gòu)包括濾波后參考幀存儲(chǔ)器104、運(yùn)動(dòng)/視差預(yù)測(cè)單元105、運(yùn)動(dòng)/視差補(bǔ)償單元106、幀內(nèi)預(yù)測(cè)單元107、正交變換單元108、量化單元109和熵編碼單元110。該編碼結(jié)構(gòu)還包括逆量化單元111、逆正交變換單元112、巾貞內(nèi)/巾貞間判斷單元113、減法器114、加法器115、濾波前參考幀存儲(chǔ)器116和環(huán)路濾波器117。搜索范圍的設(shè)置結(jié)構(gòu)包括原點(diǎn)差運(yùn)算單元118和搜索范圍確定單元119。 在上述結(jié)構(gòu)中，首先將說(shuō)明對(duì)幀存儲(chǔ)器103中所保持的輸入圖像進(jìn)行編碼的方法。假定王圖像拍攝單兀101和副圖像拍攝單兀102各自包括拍攝鏡頭；攝像兀件，用于對(duì)經(jīng)由拍攝鏡頭所形成的圖像進(jìn)行光電轉(zhuǎn)換；以及A/D轉(zhuǎn)換處理單元，用于將從攝像元件讀出的模擬信號(hào)轉(zhuǎn)換成數(shù)字信號(hào)；等等。主圖像拍攝單元101和副圖像拍攝單元102各自根據(jù)轉(zhuǎn)換得到的數(shù)字信號(hào)形成亮度信號(hào)和色差信號(hào)并輸出這兩者。在以下針對(duì)實(shí)施例的說(shuō)明中，假定將亮度信號(hào)和色差信號(hào)稱為圖像信號(hào)。在本實(shí)施例中，假定主圖像拍攝單元101拍攝左圖像并且副圖像拍攝單元102拍攝右圖像。還假定盡管副圖像可以使用主圖像作為參考圖像，但主圖像無(wú)法使用副圖像作為參考圖像。立體圖像編碼設(shè)備100輸入從攝像單元101和102輸出的圖像信號(hào)并且按顯示順序?qū)⒏鱾€(gè)主圖像和副圖像存儲(chǔ)到幀存儲(chǔ)器103中。以預(yù)定像素塊(例如，宏塊)為單位來(lái)進(jìn)行編碼。以像素塊(例如，在圖7A中的編碼對(duì)象塊)為單位按編碼順序從幀存儲(chǔ)器103中讀出圖像信號(hào)，并將這些圖像信號(hào)分別輸入至運(yùn)動(dòng)/視差預(yù)測(cè)單元105、幀內(nèi)預(yù)測(cè)單元107、減法器114和原點(diǎn)差運(yùn)算單兀118。濾波后參考幀存儲(chǔ)器104存儲(chǔ)經(jīng)過(guò)了濾波處理的編碼圖像(在被編碼之后進(jìn)行了解碼的局部解碼圖像)作為參考圖像，并按編碼順序?qū)⒕幋a對(duì)象塊的參考圖像分別發(fā)送至運(yùn)動(dòng)/視差預(yù)測(cè)單元105和運(yùn)動(dòng)/視差補(bǔ)償單元106。在由于來(lái)自幀存儲(chǔ)器103的編碼對(duì)象塊是副圖像這一原因而執(zhí)行視差預(yù)測(cè)的情況下，將該編碼對(duì)象塊以及位于與該編碼對(duì)象塊的位置相對(duì)應(yīng)的位置(相同坐標(biāo)位置)處的參考圖像的像素塊發(fā)送至原點(diǎn)差運(yùn)算單元118。濾波前參考幀存儲(chǔ)器116存儲(chǔ)在進(jìn)行濾波處理之前的編碼圖像(在被編碼之后進(jìn)行了解碼的局部解碼圖像)作為參考圖像，并按編碼順序?qū)⒕幋a對(duì)象塊的參考圖像發(fā)送至幀內(nèi)預(yù)測(cè)單元107。原點(diǎn)差運(yùn)算單元118在主圖像和副圖像之間對(duì)編碼對(duì)象塊與位于與該編碼對(duì)象塊的位置相對(duì)應(yīng)的位置(相同坐標(biāo)位置)處的參考圖像的絕對(duì)像素差值和(sum of absolute pixel difference values)進(jìn)行運(yùn)算，生成表示該運(yùn)算結(jié)果的信息(差信息)，并將該信息發(fā)送至搜索范圍確定單元119。在進(jìn)行作為幀間預(yù)測(cè)之一的視差預(yù)測(cè)的情況下，搜索范圍確定單元119根據(jù)由從原點(diǎn)差運(yùn)算單元發(fā)送來(lái)的信息所表示的絕對(duì)像素差值和來(lái)確定視差預(yù)測(cè)的搜索范圍，并將所確定的搜索范圍發(fā)送至濾波后參考幀存儲(chǔ)器104。在進(jìn)行運(yùn)動(dòng)預(yù)測(cè)的情況下，設(shè)置預(yù)定的搜索范圍并將該搜索范圍發(fā)送至濾波后參考 幀存儲(chǔ)器104。作為進(jìn)行運(yùn)動(dòng)預(yù)測(cè)時(shí)的搜索范圍設(shè)置方法，盡管可以考慮在與編碼對(duì)象塊的位置相同的位置周圍的位置處或者在先前所獲得的運(yùn)動(dòng)矢量周圍的位置處進(jìn)行運(yùn)動(dòng)預(yù)測(cè)的方法，但這里沒(méi)有特別限制該搜索范圍設(shè)置方法。以下將詳細(xì)說(shuō)明用于確定進(jìn)行視差預(yù)測(cè)時(shí)的搜索范圍的方法。運(yùn)動(dòng)/視差預(yù)測(cè)單元105根據(jù)與從幀存儲(chǔ)器103發(fā)送來(lái)的編碼對(duì)象塊是主圖像還是副圖像有關(guān)的判斷結(jié)果來(lái)改變處理。當(dāng)編碼對(duì)象塊是主圖像時(shí)，使用從濾波后參考幀存儲(chǔ)器104發(fā)送來(lái)的先前被編碼后再被解碼的主圖像的局部解碼圖像作為參考圖像，并且檢測(cè)運(yùn)動(dòng)矢量并將該運(yùn)動(dòng)矢量連同參考圖像數(shù)據(jù)編號(hào)一起發(fā)送至運(yùn)動(dòng)/視差補(bǔ)償單元106。當(dāng)編碼對(duì)象塊是副圖像時(shí)，從濾波后參考幀存儲(chǔ)器104讀出顯示順序與副圖像相同的先前被編碼后再被解碼的主圖像的局部解碼圖像、或者先前被編碼后再被解碼的副圖像的局部解碼圖像。隨后，使用所讀出的局部解碼圖像作為參考圖像以檢測(cè)運(yùn)動(dòng)矢量或視差矢量。將所檢測(cè)到的運(yùn)動(dòng)矢量或視差矢量連同參考圖像數(shù)據(jù)的編號(hào)一起發(fā)送至運(yùn)動(dòng)/視差補(bǔ)償單元106。這里沒(méi)有特別限制在副圖像的情況下、選擇副圖像的局部解碼圖像以及顯示順序與該副圖像的顯示順序相同的主圖像的局部解碼圖像的哪一個(gè)作為最終的參考圖像的方法。在本實(shí)施例中，假定選擇矢量位置處的編碼對(duì)象塊與參考圖像之間的差值較小的局部解碼圖像。運(yùn)動(dòng)/視差補(bǔ)償單元106通過(guò)使用從運(yùn)動(dòng)/視差預(yù)測(cè)單元105發(fā)送來(lái)的運(yùn)動(dòng)矢量或視差矢量來(lái)形成各塊的預(yù)測(cè)圖像數(shù)據(jù)。即，參考濾波后參考幀存儲(chǔ)器104中的由參考圖像數(shù)據(jù)編號(hào)所表示的參考圖像，形成各塊的預(yù)測(cè)圖像數(shù)據(jù)并將該預(yù)測(cè)圖像數(shù)據(jù)發(fā)送至幀內(nèi)/幀間判斷單元113。幀內(nèi)預(yù)測(cè)單元107通過(guò)使用從濾波前參考幀存儲(chǔ)器116發(fā)送來(lái)的編碼對(duì)象塊周圍的局部解碼圖像來(lái)針對(duì)多個(gè)幀內(nèi)預(yù)測(cè)模式中的每個(gè)幀內(nèi)預(yù)測(cè)模式形成幀內(nèi)預(yù)測(cè)圖像。通過(guò)使用從幀存儲(chǔ)器103發(fā)送來(lái)的編碼對(duì)象塊以及所形成的多個(gè)預(yù)測(cè)圖像來(lái)進(jìn)行塊匹配。選擇能提供最大相關(guān)性的幀內(nèi)預(yù)測(cè)模式并將該幀內(nèi)預(yù)測(cè)模式連同相應(yīng)的預(yù)測(cè)圖像一起發(fā)送至幀內(nèi)/幀間判斷單元113。幀內(nèi)/幀間判斷單元113在從運(yùn)動(dòng)/視差補(bǔ)償單元106和幀內(nèi)預(yù)測(cè)單元107發(fā)送來(lái)的預(yù)測(cè)圖像數(shù)據(jù)中選擇與編碼對(duì)象塊的相關(guān)性大的預(yù)測(cè)圖像數(shù)據(jù)，并將所選擇的預(yù)測(cè)圖像數(shù)據(jù)發(fā)送至減法器114。作為選擇相關(guān)性大的預(yù)測(cè)圖像數(shù)據(jù)的方法，例如，考慮選擇編碼對(duì)象塊和預(yù)測(cè)圖像之間的差值小的預(yù)測(cè)圖像的方法。然而，沒(méi)有特別限制該方法。減法器114計(jì)算從幀存儲(chǔ)器103發(fā)送來(lái)的編碼對(duì)象塊與從幀內(nèi)/幀間判斷單元113發(fā)送來(lái)的預(yù)測(cè)圖像塊之間的差并輸出圖像殘差數(shù)據(jù)。正交變換單元108對(duì)從減法器114輸出的圖像殘差數(shù)據(jù)進(jìn)行正交變換處理并將變換系數(shù)發(fā)送至量化單元109。量化單元109通過(guò)使用預(yù)定的量化參數(shù)對(duì)該變換系數(shù)進(jìn)行量化并將變換系數(shù)發(fā)送至熵編碼單元110和逆量化單元111。熵編碼單元110輸入量化單元109所量化后的變換系數(shù)，進(jìn)行諸如CAVLC或CABAC等的熵編碼，并輸出編碼數(shù)據(jù)。隨后，將說(shuō)明通過(guò)使用量化單元109 所量化后的變換系數(shù)來(lái)形成參考圖像數(shù)據(jù)的方法。逆量化單元111對(duì)從量化單元109發(fā)送來(lái)的量化變換系數(shù)進(jìn)行逆量化。逆正交變換單元112對(duì)逆量化單元111所逆量化后的變換系數(shù)進(jìn)行逆正交變換，形成解碼殘差數(shù)據(jù)，并將該解碼殘差數(shù)據(jù)發(fā)送至加法器115。加法器115對(duì)該解碼殘差數(shù)據(jù)和以下將說(shuō)明的預(yù)測(cè)圖像數(shù)據(jù)進(jìn)行相加，形成局部解碼圖像、即參考圖像數(shù)據(jù)，并將該參考圖像數(shù)據(jù)存儲(chǔ)到濾波前參考幀存儲(chǔ)器116中。將濾波前參考幀存儲(chǔ)器116中所保持的數(shù)據(jù)發(fā)送至環(huán)路濾波器117。環(huán)路濾波器117通過(guò)對(duì)該參考圖像數(shù)據(jù)進(jìn)行濾波來(lái)消除噪聲，并將該濾波處理之后的參考圖像數(shù)據(jù)存儲(chǔ)到濾波后參考巾貞存儲(chǔ)器104中。隨后，將參考圖2A、2B、3A和3B來(lái)詳細(xì)說(shuō)明作為本發(fā)明的特征的、利用搜索范圍確定單元119來(lái)設(shè)置主圖像和副圖像之間的視差預(yù)測(cè)(幀間預(yù)測(cè))的搜索范圍的方法。搜索范圍確定單元119將搜索范圍設(shè)置為在參考圖像中的與編碼對(duì)象塊的位置相同的位置。此時(shí)，如果從原點(diǎn)差運(yùn)算單元118發(fā)送來(lái)的絕對(duì)像素差值和大，則所設(shè)置的搜索范圍變寬，由此使搜索精度下降。即，如果絕對(duì)像素差值和大于預(yù)定閾值，則搜索范圍確定單元119對(duì)搜索范圍進(jìn)行設(shè)置從而粗略搜索寬的搜索范圍。如果絕對(duì)像素差值和較小，則與該和較大的情況相比，將搜索范圍設(shè)置為較窄。即，當(dāng)絕對(duì)像素差值和小到等于或小于預(yù)定閾值時(shí)，搜索范圍確定單元119對(duì)搜索范圍進(jìn)行粗略設(shè)置從而精細(xì)搜索窄的搜索范圍。搜索范圍確定單元119進(jìn)行調(diào)整，以使得每單位時(shí)間施加至搜索的處理負(fù)荷在絕對(duì)像素差值和較大的情況與絕對(duì)像素差值和不大的情況之間基本相等。例如，搜索范圍確定單元119對(duì)搜索精度進(jìn)行設(shè)置，以使得每單位時(shí)間的搜索次數(shù)保持恒定(恒定值)。例如，當(dāng)絕對(duì)像素差值和大于預(yù)定閾值時(shí)，將搜索范圍設(shè)置為水平方向上的32個(gè)像素以及垂直方向上的16個(gè)像素，由此對(duì)搜索精度進(jìn)行設(shè)置以使得每4個(gè)像素進(jìn)行搜索。另一方面，當(dāng)絕對(duì)像素差值和小到等于或小于預(yù)定閾值時(shí)，將搜索范圍設(shè)置為水平方向上的8個(gè)像素以及垂直方向上的4個(gè)像素,并且將搜索精度設(shè)置為I個(gè)像素。因而,上述這兩種情況的搜索次數(shù)都為153次。無(wú)論搜索范圍的面積如何都將搜索次數(shù)設(shè)置為相同值的原因是防止由于搜索次數(shù)增加而無(wú)法實(shí)時(shí)進(jìn)行編碼的這種狀況?，F(xiàn)在將參考圖2A、2B、3A和3B來(lái)說(shuō)明如上所述根據(jù)主圖像和副圖像之間的絕對(duì)像素差值和來(lái)適應(yīng)性地設(shè)置搜索范圍的原因。圖2A和2B是示出通過(guò)使用雙鏡頭攝像設(shè)備來(lái)拍攝球狀物體(被攝體)的狀態(tài)的圖。當(dāng)如圖2A所示、球狀物體和攝像設(shè)備之間的距離小時(shí)，在多數(shù)情況下，主圖像和副圖像之間的差大并且視差矢量大。因而，除非如圖3A所示、使搜索范圍變寬，否則無(wú)法檢測(cè)到正確的視差矢量的可能性高。因此，如果主圖像和副圖像之間的差大，則由于主圖像和副圖像之間的視差大的可能性高，因此在本實(shí)施例中，即使搜索精度下降也使搜索范圍變寬。另一方面，當(dāng)如圖2B所示、球狀物體和攝像設(shè)備之間的距離大時(shí)，在多數(shù)情況下，主圖像和副圖像之間的差小并且視差矢量也小。因而，即使如圖3B所示、搜索范圍窄，也可以容易地檢測(cè)到正確的視差矢量。因此，如果主圖像和副圖像之間的差小，則由于主圖像和副圖像之間的視差小的可能性聞，因此在本實(shí)施例中，搜索范圍變窄并且搜索精度提聞，從而使得檢測(cè)到更加正確的視差矢量。如上所述，在本實(shí)施例中，使用由于相對(duì)于被攝體的距離針對(duì)各編碼對(duì)象塊而不同、因此像素差值不同的現(xiàn)象，針對(duì)各編碼對(duì)象塊單獨(dú)且適應(yīng)性地設(shè)置適當(dāng)大小的搜索范圍，并且使設(shè)備工作從而在任意情況下均獲得更加正確的視差矢量。在本實(shí)施例中，盡管按絕對(duì)像素差值和等于或小于預(yù)定閾值的情況以及絕對(duì)像素差值和大于預(yù)定閾值的情況這兩個(gè)階段進(jìn)行視差矢量的搜索范圍和搜索精度的改變，但可 以通過(guò)增加閾值的數(shù)量來(lái)按三個(gè)以上的階段進(jìn)行該改變。例如，可以對(duì)搜索范圍和搜索精度進(jìn)行設(shè)置，以使得絕對(duì)像素差值和越大，搜索范圍越寬并且所設(shè)置的搜索精度越粗略。例如，當(dāng)絕對(duì)像素差值和大于第一閾值時(shí)，將搜索范圍設(shè)置為水平方向上的32個(gè)像素以及垂直方向上的16個(gè)像素，由此對(duì)搜索精度進(jìn)行設(shè)置以使得每4個(gè)像素進(jìn)行搜索。當(dāng)絕對(duì)像素差值和小于第二閾值時(shí)，將搜索范圍設(shè)置為水平方向上的8個(gè)像素以及垂直方向上的4個(gè)像素，并且將搜索精度設(shè)置為I個(gè)像素。此外，當(dāng)絕對(duì)像素差值和大于第二閾值且小于第一閾值時(shí)，將搜索范圍設(shè)置為水平方向上的16個(gè)像素以及垂直方向上的8個(gè)像素，由此對(duì)搜索精度進(jìn)行設(shè)置以使得每2個(gè)像素進(jìn)行搜索。即使這樣設(shè)置了搜索范圍，上述任意情況中的搜索次數(shù)都等于153次。在本實(shí)施例中，盡管不對(duì)主圖像進(jìn)行視差預(yù)測(cè)，但即使在對(duì)主圖像進(jìn)行視差預(yù)測(cè)的情況下，也可以利用與上述方法相同的方法來(lái)設(shè)置搜索范圍。在第一實(shí)施例中，盡管通過(guò)使不同大小的搜索范圍的搜索精度相等來(lái)補(bǔ)償編碼處理的實(shí)時(shí)操作，但是還可以對(duì)寬的搜索范圍設(shè)置高的搜索精度，只要其在對(duì)實(shí)時(shí)處理進(jìn)行補(bǔ)償?shù)姆秶鷥?nèi)即可。以下將說(shuō)明為了設(shè)置如上所述的搜索精度而構(gòu)造的第一實(shí)施例的變形例。圖4是根據(jù)上述第一實(shí)施例的變形例的立體圖像編碼設(shè)備的框圖。盡管圖4中的立體圖像編碼設(shè)備400的結(jié)構(gòu)與第一實(shí)施例的結(jié)構(gòu)基本相同，但其與第一實(shí)施例的不同之處在于立體圖像編碼設(shè)備400具有搜索次數(shù)控制單元402，并且搜索范圍確定單元401可以在不會(huì)使搜索精度下降的情況下設(shè)置搜索精度。由于除搜索次數(shù)控制單元402和搜索范圍確定單元401以外的結(jié)構(gòu)的操作與第一實(shí)施例的操作相同，因此這里省略對(duì)該操作的說(shuō)明。在本變形例中，還假定主圖像拍攝單元101和副圖像拍攝單元102平行配置。搜索范圍確定單元401以與圖3A和3B的方式相同的方式來(lái)將搜索范圍設(shè)置為與編碼對(duì)象塊的位置相同的位置。此時(shí)，當(dāng)絕對(duì)像素差值和大于預(yù)定閾值并且從搜索次數(shù)控制單元402生成用以允許搜索范圍的變寬的信號(hào)時(shí)，使搜索范圍變寬。以下將說(shuō)明從搜索次數(shù)控制單元402生成用以允許搜索范圍的變寬的信號(hào)的方法。如果絕對(duì)像素差值和小到等于或小于預(yù)定閾值，則使搜索范圍變窄。在本變形例中，當(dāng)生成允許信號(hào)時(shí)，即使搜索范圍變寬，搜索精度也不會(huì)下降，并且當(dāng)搜索范圍變寬時(shí)，搜索范圍確定單元401將表示搜索范圍變寬的信號(hào)發(fā)送至搜索次數(shù)控制單元402。例如根據(jù)控制程序，搜索次數(shù)控制單元402在進(jìn)行一個(gè)圖片的編碼之前設(shè)置表示在一個(gè)圖片內(nèi)可以使搜索范圍變寬的編碼對(duì)象塊的數(shù)量的N，并將用以允許搜索范圍的變寬的信號(hào)輸出至搜索范圍確定單元401。在對(duì)圖片的編碼開始之后，每當(dāng)從搜索范圍確定單元401發(fā)送了表示搜索范圍變寬的信號(hào)時(shí)，從N的設(shè)置值中減去I。當(dāng)N的值達(dá)到O時(shí)，停止用于將用以允許搜索范圍的變寬的信號(hào)輸出至搜索范圍確定單元401的處理。通過(guò)如上所述進(jìn)行控制，在生成了用以允許搜索范圍的變寬的信號(hào)的情況下，SP使搜索范圍變寬，也可以在不會(huì)使搜索精度下降的情況下搜索到視差矢量。通過(guò)設(shè)置用以允許搜索范圍的變寬的信號(hào)的輸出時(shí)間段的上限，可以對(duì)實(shí)時(shí)編碼處理進(jìn)行補(bǔ)償。隨后，將說(shuō)明第一實(shí)施例的另一變形例。該變形例涉及以如下方式所構(gòu)造的立體圖像編碼設(shè)備不僅針對(duì)視差矢量的搜索范圍的大小、還針對(duì)該搜索范圍的設(shè)置位置進(jìn)行 該搜索范圍的設(shè)置控制。然而，在本變形例中，沒(méi)有必要總是連同搜索范圍的大小的設(shè)置控制一起進(jìn)行搜索范圍的設(shè)置位置的設(shè)置控制，而且還可以使用僅對(duì)設(shè)置位置進(jìn)行控制而不改變搜索范圍的大小的結(jié)構(gòu)。在上述任意情況中，立體圖像編碼設(shè)備的結(jié)構(gòu)與圖I所示的結(jié)構(gòu)基本相同，并且本變形例可以通過(guò)改變搜索范圍確定單元119的控制結(jié)構(gòu)(例如，控制程序)來(lái)實(shí)現(xiàn)。將參考圖1、2A、2B、5A和5B來(lái)說(shuō)明根據(jù)本變形例的立體圖像編碼設(shè)備。盡管根據(jù)本變形例的立體圖像編碼設(shè)備的結(jié)構(gòu)與第一實(shí)施例(圖I)的結(jié)構(gòu)基本相同，但其與第一實(shí)施例的不同之處在于搜索范圍確定單元119具有可以根據(jù)從原點(diǎn)差運(yùn)算單元118發(fā)送來(lái)的絕對(duì)像素差值和來(lái)改變搜索范圍的設(shè)置位置的功能。在本變形例中，還假定主圖像拍攝單元101和副圖像拍攝單元102平行配置。由于除搜索范圍確定單元119以外的結(jié)構(gòu)的操作與第一實(shí)施例的操作相同，因此這里省略對(duì)該操作的說(shuō)明。即，將僅說(shuō)明搜索范圍確定單元119的搜索范圍的位置設(shè)置功能。搜索范圍確定單元119通過(guò)使用從原點(diǎn)差運(yùn)算單元118發(fā)送來(lái)的主圖像和副圖像之間的絕對(duì)像素差值和來(lái)確定搜索范圍設(shè)置位置。此時(shí)，當(dāng)從原點(diǎn)差運(yùn)算單元118發(fā)送來(lái)的絕對(duì)像素差值和大于預(yù)定閾值時(shí)，使搜索范圍從編碼對(duì)象塊的位置向右移動(dòng)預(yù)定距離。另一方面，當(dāng)絕對(duì)像素差值和小到等于或小于預(yù)定閾值時(shí)，將搜索范圍設(shè)置為與編碼對(duì)象塊的位置相同的位置?；九c在設(shè)置搜索范圍的大小時(shí)所使用的閾值無(wú)關(guān)來(lái)適當(dāng)?shù)卦O(shè)置這種情況下的閾值。然而，當(dāng)與搜索范圍的大小控制功能相組合來(lái)使用本變形例時(shí)，可以將閾值適當(dāng)設(shè)置為上述這兩個(gè)功能共用的閾值。盡管將視差矢量的搜索范圍的位置改變的階段設(shè)置為絕對(duì)像素差值和小于一個(gè)閾值的情況以及絕對(duì)像素差值和大于該閾值的情況這兩個(gè)階段，但可以通過(guò)設(shè)置另一閾值來(lái)增加該改變的階段數(shù)量。如上所述，搜索范圍確定單元119的功能可以局限于本變形例的功能或者可以被設(shè)置為與第一實(shí)施例中的大小改變功能相組合的功能?，F(xiàn)在將參考圖2A、2B、5A和5B來(lái)說(shuō)明如上所述適應(yīng)性地改變搜索范圍的位置的原因。圖5A和5B是用于說(shuō)明本變形例的搜索范圍的設(shè)置方法的圖。此外，在本變形例中，假定照相機(jī)的左側(cè)的攝像單元所拍攝的圖像是主圖像，并且右側(cè)的攝像單元所拍攝的圖像是畐Ij圖像。當(dāng)如圖2A所示、球狀物體和攝像單元之間的距離小時(shí)，在多數(shù)情況下，主圖像和副圖像之間的差(攝像單元之間的視差)大并且視差矢量大。然而，如果這些攝像單元平行配置，則右圖像中的物體在左圖像中必然存在于具有右方向上的偏移的位置處。因此，在本變形例中，如果主圖像和副圖像之間的差大，則可以通過(guò)如圖5A所示使搜索范圍向右偏移來(lái)檢測(cè)到更加正確的視差矢量。另一方面，如果如圖2B所示、球狀物體和攝像單元之間的距離大，則在多數(shù)情況下，主圖像和副圖像之間的差小并且視差矢量也小。因此，即使如圖5B所示、搜索范圍相對(duì)于編碼對(duì)象塊的周邊位置沒(méi)有移動(dòng)，也可以檢測(cè)到正確的視差矢量。如果如本變形例所示來(lái)確定搜索范圍的設(shè)置位置，則可以根據(jù)基于視差的像素差來(lái)適應(yīng)性地設(shè)置搜索范圍的位置，并且可以搜索到適當(dāng)?shù)囊暡钍噶?。盡管已針對(duì)應(yīng)用于具有多個(gè)攝像單元的攝像設(shè)備的情況作為例子說(shuō)明了包括如 上所述的兩個(gè)變形例的第一實(shí)施例的立體圖像編碼設(shè)備，但本發(fā)明不限于此。例如，在諸如PC等的處理設(shè)備中，還可以應(yīng)用于針對(duì)從記錄介質(zhì)讀出的立體圖像所用的多個(gè)圖像的編碼處理。在這種情況下，將本發(fā)明的編碼功能作為該P(yáng)C的控制設(shè)備所執(zhí)行的應(yīng)用程序來(lái)實(shí)現(xiàn)。第二實(shí)施例盡管在第一實(shí)施例中本發(fā)明應(yīng)用于由平行配置的多個(gè)攝像單元所拍攝的多個(gè)圖像，但在以下的第二實(shí)施例中將說(shuō)明本發(fā)明應(yīng)用于從具有轉(zhuǎn)動(dòng)校正功能的多個(gè)攝像單元所獲得的多個(gè)圖像的示例。圖6是根據(jù)本實(shí)施例的立體圖像編碼設(shè)備600的框圖。盡管將說(shuō)明根據(jù)本實(shí)施例的立體圖像編碼設(shè)備600的組件，但除視差矢量的搜索范圍的設(shè)置結(jié)構(gòu)以外的編碼的結(jié)構(gòu)與第一實(shí)施例的結(jié)構(gòu)相同。即，本實(shí)施例的立體圖像編碼設(shè)備600具有如下結(jié)構(gòu)將用于拍攝主圖像的攝像單元601A以及用于拍攝副圖像的攝像單元601B所拍攝的多個(gè)圖像輸入和保存在幀存儲(chǔ)器602A和602B中并對(duì)所保持的多個(gè)圖像進(jìn)行編碼。以與第一實(shí)施例相同的方式，以由預(yù)定數(shù)量的像素構(gòu)成的像素塊(例如，宏塊)為單位來(lái)執(zhí)行編碼處理(參見圖7A)。假定攝像單元610A和610B各自包括鏡頭；攝像元件，用于對(duì)經(jīng)由鏡頭所形成的圖像進(jìn)行光電轉(zhuǎn)換；A/D轉(zhuǎn)換處理單元，用于將從攝像元件讀出的模擬信號(hào)轉(zhuǎn)換成數(shù)字信號(hào)；等等。各個(gè)攝像單元根據(jù)轉(zhuǎn)換得到的數(shù)字信號(hào)來(lái)形成亮度信號(hào)和色差信號(hào)(圖像信號(hào))并輸出這些信號(hào)。隨后，將簡(jiǎn)單說(shuō)明編碼處理的流程。將幀存儲(chǔ)器602A和602B各自中所保持的主圖像和副圖像發(fā)送至差計(jì)算單元603 (與圖I的114相對(duì)應(yīng))、預(yù)測(cè)圖像生成單元609和運(yùn)動(dòng)矢量/視差矢量生成單元614。差計(jì)算單元603計(jì)算預(yù)測(cè)圖像生成單元609所生成的預(yù)測(cè)圖像與從幀存儲(chǔ)器602A發(fā)送來(lái)的主圖像之間的差值、或者預(yù)測(cè)圖像生成單元609所生成的預(yù)測(cè)圖像與從幀存儲(chǔ)器602B發(fā)送來(lái)的副圖像之間的差值。在運(yùn)動(dòng)矢量/視差矢量生成單元614中，處理根據(jù)編碼對(duì)象圖像是主圖像還是副圖像而不同。如果編碼對(duì)象圖像是主圖像，則針對(duì)從存儲(chǔ)器613發(fā)送來(lái)的經(jīng)過(guò)了解塊濾波處理單元611的濾波處理的參考圖像，在搜索范圍設(shè)置單元615所設(shè)置的搜索范圍中進(jìn)行搜索。通過(guò)利用該搜索而獲得預(yù)測(cè)圖像與用作編碼對(duì)象圖像的主圖像之間的差值小的像素塊的位置，來(lái)生成運(yùn)動(dòng)矢量。將所生成的運(yùn)動(dòng)矢量輸出至預(yù)測(cè)圖像生成單元609。如果編碼對(duì)象圖像是副圖像，則針對(duì)所輸入的主圖像，在搜索范圍設(shè)置單元615所設(shè)置的搜索范圍中進(jìn)行搜索。通過(guò)利用該搜索而獲得預(yù)測(cè)圖像與用作編碼對(duì)象圖像的副圖像之間的差值小的像素塊的位置，來(lái)生成視差矢量。將所生成的視差矢量輸出至預(yù)測(cè)圖像生成單元609。差計(jì)算單元603所計(jì)算出的差值由正交變換單元604進(jìn)行正交變換，并且還由量化單元605基于預(yù)定的量化參數(shù)進(jìn)行量化。將量化數(shù)據(jù)發(fā)送至熵編碼單元606和逆量化單兀 607。熵編碼單兀 606 利用諸如 CABAC (Context-adaptive binary arithmetic coding,基于上下文的自適應(yīng)二進(jìn)制算術(shù)編碼)等的熵編碼方法對(duì)從量化單元605發(fā)送來(lái)的量化數(shù)據(jù)進(jìn)行編碼并輸出該編碼數(shù)據(jù)。逆量化單元607對(duì)從量化單元605發(fā)送來(lái)的量化數(shù)據(jù)進(jìn)行逆量化，并且還利用逆正交變換單元608執(zhí)行逆正交變換，由此形成差值數(shù)據(jù)。加法器610對(duì)從預(yù)測(cè)圖像生成單元609輸出的預(yù)測(cè)圖像和從逆正交變換單元608輸出的差值數(shù)據(jù)進(jìn)行相加，由此形成參考 圖像。將所形成的參考圖像數(shù)據(jù)發(fā)送至存儲(chǔ)器612和解塊濾波處理單元611。解塊濾波處理單元611將通過(guò)對(duì)從加法器610發(fā)送來(lái)的參考圖像數(shù)據(jù)應(yīng)用濾波處理所形成的濾波處理后的參考圖像數(shù)據(jù)發(fā)送至存儲(chǔ)器613。隨后，將說(shuō)明搜索范圍設(shè)置單元615的處理。搜索范圍設(shè)置單元615在編碼對(duì)象圖像是主圖像的情況以及編碼對(duì)象圖像是副圖像的情況下執(zhí)行不同的處理。首先，當(dāng)編碼對(duì)象圖像是主圖像時(shí)，在圖片內(nèi)設(shè)置與用作編碼對(duì)象的像素塊的位置相同的位置作為搜索范圍的位置，并將表示這種位置的信息發(fā)送至運(yùn)動(dòng)矢量/視差矢量生成單元614。隨后，將說(shuō)明在編碼對(duì)象圖像是副圖像的情況下的處理。如圖7A所示，從圖片內(nèi)的左上方的像素塊開始，并且在由該圖中的箭頭所表示的方向上以像素塊為單位順序執(zhí)行編碼處理。圖7B示出在對(duì)左上方的宏塊進(jìn)行處理時(shí)、即在編碼開始時(shí)的搜索范圍。在圖7A中，假定將搜索范圍的左上點(diǎn)的坐標(biāo)設(shè)置為(0，O)，將搜索范圍的水平方向設(shè)置為X，并將垂直方向設(shè)置為Y。搜索范圍設(shè)置單元615如上所述設(shè)置搜索范圍并將搜索范圍信息發(fā)送至運(yùn)動(dòng)矢量/視差矢量生成單元614。此外，搜索范圍設(shè)置單元615接收運(yùn)動(dòng)矢量/視差矢量生成單元614所生成的視差矢量信息并存儲(chǔ)該視差矢量信息作為同一圖片內(nèi)的視差矢量信息。搜索范圍設(shè)置單元615基于所存儲(chǔ)的同一圖片內(nèi)的視差矢量信息(視差信息)來(lái)設(shè)置視差矢量的搜索范圍。圖8是示出如下狀態(tài)的圖從圖片的左上方的宏塊開始順次執(zhí)行編碼處理，并且該編碼處理前進(jìn)到位于該圖片的幾乎中間點(diǎn)的像素塊。此時(shí)，存儲(chǔ)在從左上方的宏塊到圖8所示的編碼對(duì)象塊的位置的處理期間所產(chǎn)生的視差矢量信息。搜索范圍設(shè)置單元615基于所存儲(chǔ)的信息來(lái)設(shè)置搜索范圍的位置和形狀。圖9是示出搜索范圍設(shè)置處理的流程圖。在圖9及以下說(shuō)明中，假定所存儲(chǔ)的同一圖片內(nèi)的視差矢量信息是視差矢量A。在步驟S901中，判斷所存儲(chǔ)的視差矢量A的垂直分量的值(最大值)是否小于閾值。如果判斷為該最大值小于閾值，則在步驟S902中，圖8所示的搜索范圍的設(shè)置值在水平方向上變寬且在垂直方向上變窄。即，將圖8所示的α的值設(shè)置為正數(shù)并將β的值設(shè)置為負(fù)數(shù)。在這種情況下，在水平方向和垂直方向上的設(shè)置值的乘積、即搜索范圍的面積不變，而是僅在水平方向和垂直方向上的設(shè)置值的比率改變。如果在S901中判斷為該最大值等于或大于閾值，則該處理例程進(jìn)入S903。在S903中，計(jì)算視差矢量A的垂直分量的最大值和最小值之間的差值并且判斷所計(jì)算出的差值是否等于或大于預(yù)定閾值。如果判斷為該差值等于或大于預(yù)定閾值，則在步驟S904中，搜索范圍的設(shè)置值在水平方向上變窄并且在垂直方向上變寬。即，將圖8所示的α的值設(shè)置為負(fù)數(shù)并將β的值設(shè)置為正數(shù)。以與S902相同的方式，僅在水平方向和垂直方向上的設(shè)置值的比率改變，使得用作在水平方向和垂直方向上的設(shè)置值的乘積的搜索范圍的面積不變。如果在步驟S903中判斷為差值小于預(yù)定閾值，則該處理例程進(jìn)入步驟S905。在步驟S905中，搜索范圍的在水平方向和垂直方向上的設(shè)置值的比率不變，而是將搜索范圍的位置設(shè)置為具有與視差矢量A的垂直分量(平均值)相對(duì)應(yīng)的偏移的位置。如上所述，當(dāng)編碼對(duì)象圖像是副圖像時(shí)，本實(shí)施例的立體圖像編碼設(shè)備600通過(guò)使用同一圖片內(nèi)的編碼處理后的像素塊的視差矢量來(lái)在同一圖片內(nèi)動(dòng)態(tài)且自適應(yīng)地設(shè)置 搜索范圍。因而，可以搜索到適當(dāng)?shù)囊暡钍噶?。第二?shí)施例的立體圖像編碼設(shè)備具有如下結(jié)構(gòu)為了對(duì)來(lái)自具有轉(zhuǎn)動(dòng)校正功能的多個(gè)攝像單元的圖像進(jìn)行編碼，考慮到這些攝像單元在垂直方向上的偏移來(lái)自適應(yīng)地設(shè)置視差矢量的搜索范圍。盡管在圖6的實(shí)施例中基于所檢測(cè)到的視差矢量來(lái)對(duì)搜索范圍的設(shè)置位置進(jìn)行校正，但還考慮如下的方法檢測(cè)攝像單元的轉(zhuǎn)動(dòng)，并且利用所檢測(cè)到的轉(zhuǎn)動(dòng)作為視差信息來(lái)對(duì)搜索范圍的位置進(jìn)行校正。隨后將說(shuō)明這種實(shí)施例作為本發(fā)明的第三實(shí)施例。第三實(shí)施例圖10是使用根據(jù)第三實(shí)施例的立體圖像編碼設(shè)備的攝像設(shè)備的框圖。在圖10中，使用根據(jù)本實(shí)施例的立體圖像編碼設(shè)備的攝像設(shè)備1000具有攝像單元1001Α和100IB。在該圖中，除攝像單元1001Α和1001Β以外的組件涉及根據(jù)本實(shí)施例的立體圖像編碼設(shè)備的結(jié)構(gòu)。該攝像設(shè)備包括存儲(chǔ)器1002Α和1002Β、差計(jì)算單元1003、正交變換單元1004、量化單元1005、熵編碼單元1006、逆量化單元1007、逆正交變換單元1008、預(yù)測(cè)圖像生成單元1009以及加法器1010。該攝像設(shè)備還包括解塊濾波處理單元1011、存儲(chǔ)器1012和1013以及運(yùn)動(dòng)矢量/視差矢量生成單元1014。由于組件1001 1014的功能與圖6所示的組件60f 614的功能相同，因此這里省略了對(duì)這些功能的詳細(xì)說(shuō)明。角速度傳感器單元1017是諸如陀螺儀等的用于檢測(cè)角速度的傳感器。轉(zhuǎn)動(dòng)校正量計(jì)算單元1016根據(jù)角速度傳感器單元1017所檢測(cè)到的角速度的值來(lái)計(jì)算轉(zhuǎn)動(dòng)校正量并將所計(jì)算出的轉(zhuǎn)動(dòng)校正量發(fā)送至搜索范圍設(shè)置單元1015。搜索范圍設(shè)置單元1015基于從轉(zhuǎn)動(dòng)校正量計(jì)算單元1016所接收到的轉(zhuǎn)動(dòng)校正量來(lái)設(shè)置搜索范圍并將該搜索范圍的設(shè)置值發(fā)送至運(yùn)動(dòng)矢量/視差矢量生成單元1014。在搜索范圍設(shè)置單元1015中，判斷轉(zhuǎn)動(dòng)校正量是否小于第一閾值。如果該轉(zhuǎn)動(dòng)校正量小于第一閾值，則搜索范圍的設(shè)置值在水平方向上變寬并且在垂直方向上變窄。僅在水平方向和垂直方向上的設(shè)置值的比率改變，而在水平方向和垂直方向上的設(shè)置值的乘積不變、即搜索范圍的面積不變。隨后，如果該轉(zhuǎn)動(dòng)校正量等于或大于第一閾值，則進(jìn)一步判斷該轉(zhuǎn)動(dòng)校正量是否小于第二閾值。如果該轉(zhuǎn)動(dòng)校正量小于第二閾值，則搜索范圍的設(shè)置值在水平方向上變窄并且在垂直方向上變寬。此外，在這種情況下，僅在水平方向和垂直方向上的設(shè)置值的比率改變，而用作搜索范圍的在水平方向和垂直方向上的設(shè)置值的乘積的面積值不變。隨后，如果該轉(zhuǎn)動(dòng)校正量等于或大于第二閾值，則搜索范圍的設(shè)置值在水平方向上變窄并且在垂直方向上變寬，并且將搜索范圍的位置設(shè)置為具有根據(jù)轉(zhuǎn)動(dòng)校正方向的偏移的位置。在本實(shí)施例中，盡管通過(guò)使用諸如陀螺儀等的角速度傳感器來(lái)計(jì)算轉(zhuǎn)動(dòng)校正值，但假定可以使用其它方法，只要可以計(jì)算出相同的校正值即可。例如，可以使用根據(jù)從多個(gè)輸入圖像信號(hào)所獲得的圖像的運(yùn)動(dòng)矢量來(lái)對(duì)轉(zhuǎn)動(dòng)的方向和量進(jìn)行運(yùn)算的方法。在這種情況下，不需要角速度傳感器單元1017，可以以與第一實(shí)施例和第二實(shí)施例相同的方式與攝像單元分開構(gòu)造本發(fā)明的編碼設(shè)備，并且本發(fā)明的編碼設(shè)備還可應(yīng)用于諸如PC等的圖像處理設(shè)備。此外，還可以容易地與第一實(shí)施例和第二實(shí)施例中的搜索范圍的設(shè)置功能相組合。
在根據(jù)本實(shí)施例的立體圖像編碼設(shè)備中，由于在編碼時(shí)考慮了因多個(gè)攝像單元的轉(zhuǎn)動(dòng)所引起的視差，因此可以動(dòng)態(tài)且自適應(yīng)地設(shè)置視差矢量的搜索范圍，由此使得能夠搜索到適當(dāng)?shù)囊暡钍噶坎⑶沂沟媚軌蜻M(jìn)行圖片質(zhì)量劣化小的編碼。盡管已針對(duì)本發(fā)明的典型實(shí)施例詳細(xì)說(shuō)明了本發(fā)明，但本發(fā)明不限于這些特定實(shí)施例，而且在沒(méi)有背離本發(fā)明的本質(zhì)的范圍內(nèi)的多種不同變形例也包含在本發(fā)明內(nèi)。此外，前述各個(gè)實(shí)施例僅是本發(fā)明的實(shí)施例，并且還可以適當(dāng)組合這些實(shí)施例。盡管已針對(duì)本發(fā)明應(yīng)用于攝像設(shè)備的情況作為例子說(shuō)明了這些實(shí)施例，但本發(fā)明不限于該例子。即，本發(fā)明可以應(yīng)用于諸如PC等的攝像設(shè)備。在這種情況下，將立體圖像信號(hào)從本發(fā)明的立體圖像編碼設(shè)備內(nèi)的記錄介質(zhì)或者從外部記錄介質(zhì)提供給該設(shè)備的幀存儲(chǔ)器。對(duì)于上述實(shí)施例的處理，可以向系統(tǒng)或設(shè)備提供記錄有實(shí)現(xiàn)這些功能的軟件的程序代碼的存儲(chǔ)介質(zhì)。該系統(tǒng)或設(shè)備的計(jì)算機(jī)(或者CPU或MPU)讀出和執(zhí)行該存儲(chǔ)介質(zhì)中所存儲(chǔ)的程序代碼，以使得可以實(shí)現(xiàn)上述實(shí)施例的功能。在這種情況下，從該存儲(chǔ)介質(zhì)讀出的程序代碼自身實(shí)現(xiàn)了上述實(shí)施例的功能。存儲(chǔ)有該程序代碼的存儲(chǔ)介質(zhì)構(gòu)成了本發(fā)明。作為用于供給這種程序代碼的存儲(chǔ)介質(zhì)，例如，可以使用軟盤(floppy，注冊(cè)商標(biāo))、硬盤、光盤或磁光盤等?；蛘?，還可以使用⑶-ROM、⑶-R、磁帶、非易失性存儲(chǔ)卡或ROM等。本發(fā)明不僅包含利用計(jì)算機(jī)執(zhí)行所讀出的程序代碼的方法來(lái)實(shí)現(xiàn)上述實(shí)施例的功能的情況，還包含如下情況在計(jì)算機(jī)上運(yùn)行的OS(操作系統(tǒng))等基于該程序代碼的指令來(lái)執(zhí)行實(shí)際處理的一部分或全部，并且通過(guò)這些處理來(lái)實(shí)現(xiàn)上述實(shí)施例的功能。此外，本發(fā)明還包含如下情況可以將從存儲(chǔ)介質(zhì)讀出的程序代碼寫入針對(duì)插入至計(jì)算機(jī)中的功能擴(kuò)展板或連接至該計(jì)算機(jī)的功能擴(kuò)展單元所設(shè)置的存儲(chǔ)器，之后，針對(duì)該功能擴(kuò)展板或功能擴(kuò)展單元所設(shè)置的CPU等基于該程序代碼的指令來(lái)執(zhí)行實(shí)際處理的一部分或全部，并且通過(guò)這些處理來(lái)實(shí)現(xiàn)上述實(shí)施例的功能。盡管已經(jīng)參考典型實(shí)施例說(shuō)明了本發(fā)明，但是應(yīng)該理解，本發(fā)明不限于所公開的典型實(shí)施例。所附權(quán)利要求書的范圍符合最寬的解釋，以包含所有這類修改、等同結(jié)構(gòu)和功倉(cāng)泛。
權(quán)利要求
1.一種圖像編碼設(shè)備，用于對(duì)通過(guò)利用多個(gè)攝像單元拍攝被攝體所獲得的多個(gè)圖像信號(hào)進(jìn)行編碼，所述圖像編碼設(shè)備包括 輸入部件，用于輸入所述多個(gè)圖像信號(hào)； 編碼部件，用于以預(yù)定像素塊為單位對(duì)所輸入的多個(gè)圖像信號(hào)進(jìn)行編碼，并以所述預(yù)定像素塊為單位在所述多個(gè)圖像信號(hào)之間進(jìn)行幀間預(yù)測(cè)； 生成部件，用于生成表示所述編碼部件的編碼對(duì)象塊與如下的像素塊之間的圖像偏移的差信息，其中該像素塊是所述幀間預(yù)測(cè)所參考的參考圖像中的位于與所述編碼對(duì)象塊的位置相對(duì)應(yīng)的位置處的像素塊；以及 設(shè)置部件，用于根據(jù)所述生成部件所生成的差信息，自適應(yīng)地設(shè)置用于檢測(cè)在所述幀間預(yù)測(cè)中所述編碼對(duì)象塊所使用的矢量的搜索范圍。
2.根據(jù)權(quán)利要求I所述的圖像編碼設(shè)備，其特征在于，所述差信息是所述編碼對(duì)象塊與所述參考圖像的相應(yīng)位置處的像素塊之間的像素差值、以所述預(yù)定像素塊為單位所檢測(cè)到的視差矢量、以及所述多個(gè)攝像單元的運(yùn)動(dòng)信息的其中一個(gè)。
3.根據(jù)權(quán)利要求I所述的圖像編碼設(shè)備，其特征在于，所述差信息是所述編碼對(duì)象塊與所述參考圖像的相應(yīng)位置處的像素塊之間的像素差值，所述設(shè)置部件根據(jù)所述像素差值來(lái)針對(duì)各編碼對(duì)象塊單獨(dú)設(shè)置所述搜索范圍的大小，并且當(dāng)所述像素差值大于預(yù)定閾值時(shí)，所述設(shè)置部件將所述搜索范圍的大小設(shè)置為大于當(dāng)所述像素差值等于或小于所述預(yù)定閾值時(shí)的大小。
4.根據(jù)權(quán)利要求3所述的圖像編碼設(shè)備，其特征在于，所述設(shè)置部件根據(jù)所述像素差值來(lái)改變從所述搜索范圍中檢測(cè)所述矢量時(shí)的搜索精度，并且與所述搜索范圍的大小的改變無(wú)關(guān)地將每單位時(shí)間的搜索次數(shù)設(shè)置為預(yù)定值。
5.根據(jù)權(quán)利要求I所述的圖像編碼設(shè)備，其特征在于，所述差信息是所述編碼對(duì)象塊與所述參考圖像的相應(yīng)位置處的像素塊之間的像素差值，所述設(shè)置部件根據(jù)所述像素差值來(lái)針對(duì)各編碼對(duì)象塊單獨(dú)設(shè)置所述搜索范圍的大小，當(dāng)所述像素差值大于預(yù)定閾值時(shí)，所述設(shè)置部件進(jìn)行設(shè)置從而對(duì)所設(shè)置的搜索范圍進(jìn)行粗略搜索，以及當(dāng)所述像素差值等于或小于所述預(yù)定閾值時(shí)，所述設(shè)置部件進(jìn)行設(shè)置從而對(duì)所設(shè)置的搜索范圍進(jìn)行精細(xì)搜索。
6.根據(jù)權(quán)利要求I所述的圖像編碼設(shè)備，其特征在于，所述差信息是所述編碼對(duì)象塊與所述參考圖像的相應(yīng)位置處的像素塊之間的像素差值，所述設(shè)置部件根據(jù)所述像素差值來(lái)改變所述搜索范圍的設(shè)置位置，并且當(dāng)所述像素差值大于閾值時(shí)，所述設(shè)置部件使所述搜索范圍的設(shè)置位置在與所述多個(gè)攝像單元的配置方向相對(duì)應(yīng)的方向上移動(dòng)。
7.根據(jù)權(quán)利要求6所述的圖像編碼設(shè)備，其特征在于，所述設(shè)置部件還根據(jù)所述像素差值來(lái)改變所述搜索范圍的大小。
8.根據(jù)權(quán)利要求I所述的圖像編碼設(shè)備，其特征在于，所述差信息是以所述預(yù)定像素塊為單位所檢測(cè)到的視差矢量，并且所述設(shè)置部件根據(jù)針對(duì)先前被所述編碼部件編碼了的像素塊而檢測(cè)到的視差矢量的垂直分量，不改變所述搜索范圍的面積而改變所述搜索范圍的形狀。
9.根據(jù)權(quán)利要求8所述的圖像編碼設(shè)備，其特征在于，當(dāng)針對(duì)先前被所述編碼部件編碼了的像素塊而檢測(cè)到的視差矢量的垂直分量的值落入預(yù)定范圍內(nèi)時(shí)，所述設(shè)置部件不改變所述搜索范圍的形狀而改變所述搜索范圍的設(shè)置位置。
10.根據(jù)權(quán)利要求I所述的圖像編碼設(shè)備，其特征在于，所述差信息是所述多個(gè)攝像單元的運(yùn)動(dòng)信息，并且所述設(shè)置部件根據(jù)所述多個(gè)攝像單元的運(yùn)動(dòng)信息，不改變所述搜索范圍的面積而改變所述搜索范圍的形狀。
11.根據(jù)權(quán)利要求10所述的圖像編碼設(shè)備，其特征在于，當(dāng)所述多個(gè)攝像單元的運(yùn)動(dòng)落入預(yù)定范圍內(nèi)時(shí)，所述設(shè)置部件根據(jù)所述多個(gè)攝像單元的運(yùn)動(dòng)信息來(lái)不改變所述搜索范圍的面積而改變所述搜索范圍的形狀，并使所述搜索范圍的設(shè)置位置根據(jù)所述運(yùn)動(dòng)信息而移動(dòng)。
12.—種攝像設(shè)備，包括 多個(gè)攝像單元，用于通過(guò)拍攝被攝體來(lái)獲得圖像信號(hào)；以及 根據(jù)權(quán)利要求I至11中任一項(xiàng)所述的圖像編碼設(shè)備。
13.一種圖像編碼方法，用于對(duì)通過(guò)利用多個(gè)攝像單元拍攝被攝體所獲得的多個(gè)圖像信號(hào)進(jìn)行編碼，所述圖像編碼方法包括以下步驟 輸入步驟，用于輸入所述多個(gè)圖像信號(hào)； 編碼步驟，用于以預(yù)定像素塊為單位對(duì)所輸入的多個(gè)圖像信號(hào)進(jìn)行編碼，并以所述預(yù)定像素塊為單位在所述多個(gè)圖像信號(hào)之間進(jìn)行幀間預(yù)測(cè)； 生成步驟，用于生成表示所述編碼步驟的編碼對(duì)象塊與如下的像素塊之間的圖像偏移的差信息，其中該像素塊是所述幀間預(yù)測(cè)所參考的參考圖像中的位于與所述編碼對(duì)象塊的位置相對(duì)應(yīng)的位置處的像素塊；以及 設(shè)置步驟，用于根據(jù)所述生成步驟中所生成的差信息，自適應(yīng)地設(shè)置用于檢測(cè)在所述幀間預(yù)測(cè)中所述編碼對(duì)象塊所使用的矢量的搜索范圍。
全文摘要
本發(fā)明涉及一種立體圖像編碼設(shè)備及其方法和攝像設(shè)備。當(dāng)通過(guò)使用圖像之間的幀間預(yù)測(cè)來(lái)以預(yù)定像素塊為單位對(duì)多個(gè)攝像單元所拍攝的被攝體的多個(gè)圖像信號(hào)進(jìn)行編碼時(shí)，根據(jù)這些多個(gè)圖像信號(hào)來(lái)生成表示圖像之間的偏移的差信息，并根據(jù)所生成的差信息來(lái)自適應(yīng)地設(shè)置為了以預(yù)定像素塊為單位檢測(cè)矢量所設(shè)置的搜索范圍。
文檔編號(hào)H04N13/00GK102790890SQ20121015487
公開日2012年11月21日 申請(qǐng)日期2012年5月17日 優(yōu)先權(quán)日2011年5月17日
發(fā)明者坂本大輔, 大槻純 申請(qǐng)人:佳能株式會(huì)社