幀最近的I幀(或P幀)分離出的第一圖像或第二圖像中的一個(gè)、以及(2)從在未來側(cè)與B幀最近的I幀(或P幀)分離出的第一圖像或第二圖像中的一個(gè)分別成為參照?qǐng)D像的候選。在壓縮B幀的各圖像的情況下，壓縮處理部113從參照?qǐng)D像的候選中按每一塊選擇過去和未來的各一個(gè)參照?qǐng)D像，并使用兩個(gè)參照?qǐng)D像的解碼值來進(jìn)行各塊的運(yùn)動(dòng)補(bǔ)償預(yù)測。
[0101]另外，從RAW圖像的相同的顏色排列提取的Gl像素和G2像素在第一圖像和第二圖像中分別配置在相同的像素位置。但是，如上所述，在第一圖像和第二圖像之間會(huì)產(chǎn)生由于顏色排列中的像素位置的差異而導(dǎo)致的圖案的偏移。因此，在第一圖像和第二圖像之間進(jìn)行運(yùn)動(dòng)補(bǔ)償預(yù)測時(shí)，優(yōu)選的是，壓縮處理部113的預(yù)測信息生成部20考慮顏色排列中的像素位置的差異如以下的(A)、(B)那樣來進(jìn)行G1、G2成分間的預(yù)測。該G1、G2成分間的預(yù)測以作為編碼對(duì)象的圖像的塊為單位來獨(dú)立地進(jìn)行。
[0102]這里，關(guān)于以下的(A)、⑶的說明，在圖12-圖25中，通過圓圈來表示RAW圖像中的Gl像素、G2像素的排列。另外，在圖12-圖25中，通過框線來表示一個(gè)顏色排列的范圍(第一圖像和第二圖像的樣本點(diǎn))。另外，在第一圖像和第二圖像之間，將預(yù)測源像素的參照像素的位置相對(duì)于預(yù)測目標(biāo)圖像的關(guān)注像素的位置的位置偏移稱為運(yùn)動(dòng)矢量MV[x，y]。運(yùn)動(dòng)矢量MV通過向右的偏移而增加X，通過向左的偏移而減小X。同樣，運(yùn)動(dòng)矢量MV通過向下的偏移而增加y，通過向上的偏移而減小y。在以下的說明中，說明預(yù)測源圖像為第一圖像、預(yù)測目標(biāo)圖像為第二圖像的例子，兩者的關(guān)系也可以反過來。
[0103](A)基于像素插補(bǔ)處理的預(yù)測
[0104]圖12、圖13是表示基于像素插補(bǔ)處理的像素值的預(yù)測例子的圖。在像素插補(bǔ)處理中，在第一圖像和第二圖像之間，通過預(yù)測源圖像的多個(gè)像素的插補(bǔ)值對(duì)預(yù)測目標(biāo)圖像的關(guān)注像素的值進(jìn)行預(yù)測。
[0105]圖12、圖13表示了通過與關(guān)注像素相鄰的預(yù)測源圖像(第一圖像)的4像素(Gla-Gld)的平均值求出預(yù)測目標(biāo)圖像(第二圖像)的關(guān)注像素G2x的值的例子。在圖12、圖13的情況下，由于通過4個(gè)相鄰像素的平均來預(yù)測關(guān)注像素的像素值，因此能夠抑制預(yù)測源圖像的解碼值所包含的編碼失真。
[0106]在圖12的例子中，在顏色排列的左上配置有Gl像素，在顏色排列的右下配置有G2像素。在圖12的情況下，雖然像素Gla和像素G2x屬于相同的樣本點(diǎn)，但是關(guān)注像素(G2x)由于插補(bǔ)而受到像素Glb-Gld的影響。因此，預(yù)測源圖像的參照像素的范圍相對(duì)于關(guān)注像素(G2x)的位置向右偏移0.5像素，向下偏移0.5像素。因此，圖12的例子中的運(yùn)動(dòng)矢量MV 為[0.5,0.5]。
[0107]另外，在圖13的例子中，在顏色排列的右上配置有Gl像素，在顏色排列的左下配置有G2像素。在圖13的情況下，雖然像素Glb和像素G2x屬于相同的樣本點(diǎn)，但是關(guān)注像素(G2x)由于插補(bǔ)而受到像素Gla、Glc、Gld的影響。因此，預(yù)測源圖像的參照像素的范圍相對(duì)于關(guān)注像素(G2x)的位置向左偏移0.5像素，向下偏移0.5像素。因此，圖13的例子中的運(yùn)動(dòng)矢量MV為[-0.5，0.5]。
[0108]上述基于圖像插補(bǔ)處理的運(yùn)動(dòng)補(bǔ)償預(yù)測在圖案的變化較小的塊中被選擇的概率高。由于動(dòng)態(tài)圖像中還包括很多無運(yùn)動(dòng)的部分，因此在第一圖像和第二圖像的壓縮編碼中，選擇圖12、圖13的預(yù)測的頻率也變高。因此，編碼部15在基于圖像插補(bǔ)處理的運(yùn)動(dòng)補(bǔ)償預(yù)測的情況下也可以分配最短的編碼來提高壓縮效率。
[0109]例如，在第一動(dòng)作例子的第一圖像和第二圖像的壓縮編碼中，編碼部15在圖12的情況下也可以向基于運(yùn)動(dòng)矢量MV[0.5，0.5]的運(yùn)動(dòng)補(bǔ)償預(yù)測分配最短的編碼。另外，在第一動(dòng)作例子的第一圖像和第二圖像的壓縮編碼中，編碼部15在圖13的情況下也可以向基于運(yùn)動(dòng)矢量MV[-0.5,0.5]的運(yùn)動(dòng)補(bǔ)償預(yù)測分配最短的編碼。
[0110]上述預(yù)測值的計(jì)算方法依賴于所應(yīng)用的編碼方式。因此，基于像素插補(bǔ)處理的預(yù)測不限于圖12、圖13的例子。例如，也可以如圖14那樣，通過基于預(yù)測源圖像(第一圖像)的16個(gè)Gl像素的插補(bǔ)值(例如16個(gè)Gl成分的平均值或加權(quán)平均值)來求出預(yù)測目標(biāo)圖像(第二圖像)的關(guān)注像素G2x的值。另外，圖14的例子中的運(yùn)動(dòng)矢量MV為[0.5，0.5]。
[0111](B)基于像素偏移處理的預(yù)測
[0112]圖15-圖25是表示基于像素偏移處理的像素值的預(yù)測例子的圖。在像素偏移處理中，在第一圖像和第二圖像之間，根據(jù)在預(yù)測源圖像中處于不同位置的像素的值來對(duì)預(yù)測目標(biāo)圖像的關(guān)注像素的值進(jìn)行預(yù)測。
[0113]圖15-圖18是在顏色排列的左上配置有Gl像素、在顏色排列的右下配置有G2像素的情況。
[0114]在圖15的情況下，根據(jù)在RAW圖像中位于右上的像素Glb的值來對(duì)預(yù)測目標(biāo)圖像(第二圖像)的關(guān)注像素G2x的值進(jìn)行預(yù)測。在圖15的情況下，預(yù)測源圖像的參照像素(Glb所屬的樣本點(diǎn))相對(duì)于預(yù)測目標(biāo)圖像中的關(guān)注像素(G2x所屬的樣本點(diǎn))的位置向右偏移I像素。因此，圖15的例子中的運(yùn)動(dòng)矢量MV為[1，0]。
[0115]在圖16的情況下，根據(jù)在RAW圖像中位于左下的像素Glc的值來對(duì)預(yù)測目標(biāo)圖像(第二圖像)的關(guān)注像素G2x的值進(jìn)行預(yù)測。在圖16的情況下，預(yù)測源圖像的參照像素(Glc所屬的樣本點(diǎn))相對(duì)于預(yù)測目標(biāo)圖像中的關(guān)注像素(G2x所屬的樣本點(diǎn))的位置向下偏移I像素。因此，圖16的例子中的運(yùn)動(dòng)矢量MV為[0，I]。另外，如圖15、圖16那樣的運(yùn)動(dòng)補(bǔ)償預(yù)測在包括從左下向右上的斜向邊緣的圖案的塊中被選擇的概率高。
[0116]在圖17的情況下，根據(jù)在RAW圖像中位于左上的像素Gla的值來對(duì)預(yù)測目標(biāo)圖像(第二圖像)的關(guān)注像素G2x的值進(jìn)行預(yù)測。在圖17的情況下，預(yù)測源圖像的參照像素(Gla所屬的樣本點(diǎn))與預(yù)測目標(biāo)圖像中的關(guān)注像素(G2x所屬的樣本點(diǎn))的位置相同。因此，圖17的例子中的運(yùn)動(dòng)矢量MV為[0，0]。
[0117]在圖18的情況下，根據(jù)在RAW圖像中位于右下的像素Gld的值來對(duì)預(yù)測目標(biāo)圖像(第二圖像)的關(guān)注像素G2x的值進(jìn)行預(yù)測。在圖18的情況下，預(yù)測源圖像的參照像素(Gld所屬的樣本點(diǎn))相對(duì)于預(yù)測目標(biāo)圖像中的關(guān)注像素(G2x所屬的樣本點(diǎn))的位置向右偏移I像素并向下偏移I像素。因此，圖18的例子中的運(yùn)動(dòng)矢量MV為[1，I]。另外，如圖17、圖18那樣的運(yùn)動(dòng)補(bǔ)償預(yù)測在包括從右下向左上的斜向邊緣的圖案的塊中被選擇的概率高。
[0118]另一方面，圖19-圖22是在顏色排列的右上配置有Gl像素、在顏色排列的左下配置有G2像素的情況。
[0119]在圖19的情況下，根據(jù)在RAW圖像中位于右上的像素Glb的值來對(duì)預(yù)測目標(biāo)圖像(第二圖像)的關(guān)注像素G2x的值進(jìn)行預(yù)測。在圖19的情況下，預(yù)測源圖像的參照像素(Glb所屬的樣本點(diǎn))與預(yù)測目標(biāo)圖像中的關(guān)注像素(G2x所屬的樣本點(diǎn))的位置相同。因此，圖19的例子中的運(yùn)動(dòng)矢量MV為[0，0]。
[0120]在圖20的情況下，根據(jù)在RAW圖像中位于左下的像素Glc的值來對(duì)預(yù)測目標(biāo)圖像(第二圖像)的關(guān)注像素G2x的值進(jìn)行預(yù)測。在圖20的情況下，預(yù)測源圖像的參照像素(Glc所屬的樣本點(diǎn))相對(duì)于預(yù)測目標(biāo)圖像中的關(guān)注像素(G2x所屬的樣本點(diǎn))的位置向左偏移I像素并向下偏移I像素。因此，圖20的例子中的運(yùn)動(dòng)矢量MV為[-1，I]。另外，圖19、圖20那樣的運(yùn)動(dòng)補(bǔ)償預(yù)測在包括從左下向右上的斜向邊緣的圖案的塊中被選擇的概率較高。
[0121]在圖21的情況下，根據(jù)在RAW圖像中位于左上的像素Gla的值來對(duì)預(yù)測目標(biāo)圖像(第二圖像)的關(guān)注像素G2x的值進(jìn)行預(yù)測。在圖21的情況下，預(yù)測源圖像的參照像素(Gla所屬的樣本點(diǎn))相對(duì)于預(yù)測目標(biāo)圖像中的關(guān)注像素(G2x所屬的樣本點(diǎn))的位置向左偏移I像素。因此，圖21的例子中的運(yùn)動(dòng)矢量MV為[_1，0]。
[0122]在圖22的情況下，根據(jù)在RAW圖像中位于右下的像素Gld的值來對(duì)預(yù)測目標(biāo)圖像(第二圖像)的關(guān)注像素G2x的值進(jìn)行預(yù)測。在圖22的情況下，預(yù)測源圖像的參照像素(Gld所屬的樣本點(diǎn))相對(duì)于預(yù)測目標(biāo)圖像中的關(guān)注像素(G2x所屬的樣本點(diǎn))的位置向下偏移I像素。因此，圖22的例子中的運(yùn)動(dòng)矢量MV為[0，I]。另外，如圖21、圖22那樣的運(yùn)動(dòng)補(bǔ)償預(yù)測在包括從右下向左上的斜向邊緣的圖案的塊中被選擇的概率較高。
[0123]在圖15-圖22中，說明了將相對(duì)于關(guān)注像素在RAW圖像中以傾斜45度相鄰的參照像素用于預(yù)測的例子，但是不限于上述例子。作為其他的例子，說明圖23-圖25。另外，圖23-圖25是在顏色排列的左上配置有Gl像素、在顏色排列的右下配置有G2像素的情況。
[0124]圖23表示了根據(jù)2個(gè)屬于右側(cè)的顏色排列的像素Glf的值對(duì)預(yù)測目標(biāo)圖像(第二圖像)的關(guān)注像素G2x的值進(jìn)行預(yù)測的例子。圖23的例子中的運(yùn)動(dòng)矢量MV為[2，0]。
[0125]圖24表示了根據(jù)屬于左下的顏色排列的像素Glg的值對(duì)預(yù)測目標(biāo)圖像(第二圖像)的關(guān)注像素G2x的值進(jìn)行預(yù)測的例子。圖24的例子中的運(yùn)動(dòng)矢量MV為[1，1]。另外，如圖23、圖24那樣的運(yùn)動(dòng)補(bǔ)償預(yù)測在包括從左下向右上以大約18.4度(=tan-1 (1/3))傾斜的邊緣的圖案的塊中被選擇的概率較高。
[0126]圖25表示了根據(jù)I個(gè)屬于右側(cè)的顏色排列的像素Glg和2個(gè)屬于右側(cè)的顏色排列的像素Glf的平均值對(duì)預(yù)測目標(biāo)圖像(第二圖像)的關(guān)注像素G2x的值進(jìn)行預(yù)測的例子。圖25的例子中的運(yùn)動(dòng)矢量MV為[1.5，0]。另外，如圖25那樣的運(yùn)動(dòng)補(bǔ)償預(yù)測在包括從左下向右上以大約26.6度(=tan_1(l/2))傾斜的邊緣的圖案的塊中被選擇的概率較高。
[0127]壓縮處理部113在包括斜向邊緣的圖案的塊中，根據(jù)邊緣的角度和方向來選擇基于圖15-圖25的像素偏移處理的預(yù)測。由此，能夠減小第一圖像和第二圖像的預(yù)測誤差，能夠更高效地進(jìn)行編碼。
[0128]在#103中，通過圖12-圖14所示的圖像插補(bǔ)處理、圖15-圖22的像素偏移處理，壓縮處理部113能夠使運(yùn)動(dòng)矢量的探索范圍成為從關(guān)注像素的位置在空間方向上土 I像素的范圍。另外，根據(jù)圖23-圖25的像素偏移處理，壓縮處理部113能夠使運(yùn)動(dòng)矢量的探索范圍成為從關(guān)注像素的位置在空間方向上±2像素的范圍。
[0129]另外，如果與從不同的RAW圖像分離的第一圖像和第二圖像的運(yùn)動(dòng)補(bǔ)償預(yù)測相比，在從相同的RAW圖像分離的第一圖像和第二圖像的運(yùn)動(dòng)補(bǔ)償預(yù)測中，能夠應(yīng)用上述像素插補(bǔ)處理和像素偏移處理的頻率變高。因此，在從相同的RAW圖像分離的第一圖像和第二圖像的運(yùn)動(dòng)補(bǔ)償預(yù)測中，壓縮處理部113能夠通過像素插補(bǔ)處理和像素偏移處理將運(yùn)動(dòng)矢量的探索范圍設(shè)定得較窄，從而能夠抑制運(yùn)算負(fù)荷。
[0130]步驟#104:圖像處理引擎104經(jīng)由記錄I/F107將被壓縮編碼了的圖像的數(shù)據(jù)(#103)記錄在存儲(chǔ)介質(zhì)110中。
[0131]步驟#105:圖像處理引擎104判斷是否接收到了結(jié)束動(dòng)態(tài)圖像攝影的指示。在滿足上述條件的情況下(是的情況下)，處理轉(zhuǎn)移到#106。另一方面，在不滿足上述條件的情況下(否的情況下)，返回到#101，圖像處理引擎104重復(fù)上述動(dòng)作。通過從#101到#105的否的情況下的循環(huán)，對(duì)依次獲取的RAW圖像的幀在顏色成分的更換后進(jìn)行壓縮編碼，在記錄介質(zhì)上記錄動(dòng)態(tài)圖像。
[0132]步驟#106:圖像處理引擎104生成RAW動(dòng)態(tài)圖像的附帶數(shù)據(jù)。上述附帶數(shù)據(jù)包括原RAW圖像的圖像尺寸和顏色排列的圖案、基于圖像變換部112的圖像的重新排列的方式(第一圖像和第二圖像的像素排列、圖像尺寸)等、以及用于壓縮了的RAW動(dòng)態(tài)圖像的解碼的信息。
[0133]然后，#106中的圖像處理引擎104在包括被壓縮了的RAW動(dòng)態(tài)圖像數(shù)據(jù)的壓縮RA