專利名稱：圖像處理單元、圖像處理方法及計算機(jī)程序的制作方法
技術(shù)領(lǐng)域：
本公開涉及圖像處理單元、圖像處理方法及計算機(jī)程序。
背景技術(shù)：
存在遵循如下方法(例如，MPEG(運(yùn)動圖像專家組))的設(shè)備，在該方法中，圖像信息以數(shù)字形式被處理，并且此時，為了高效的信息傳輸和累積，利用作為圖像信息的特性的冗余來通過諸如離散余弦變換之類的正交變換和運(yùn)動補(bǔ)償來對該圖像信息進(jìn)行壓縮。近年來，該設(shè)備正被廣泛用在諸如廣播之類的信息發(fā)送以及一般家庭中的信息接收兩者中。此外，近年來，AVC(高級視頻編碼)(MPEG 4，部分 10，IS0/IEC 14496-10ITU-T (國際電訊聯(lián)盟-電訊標(biāo)準(zhǔn)化部)H. 264)(以下稱為AVC/H. 264)標(biāo)準(zhǔn)的標(biāo)準(zhǔn)化正被執(zhí)行。在 ITU-T與IS0/IEC之間，成立了總體地執(zhí)行視頻編碼的標(biāo)準(zhǔn)化的稱為JVT(聯(lián)合視頻組)的團(tuán)體，并且正通過該團(tuán)體進(jìn)行標(biāo)準(zhǔn)化。眾所周知，與相關(guān)技術(shù)中的MPEG2和MPEG4編碼方法相比，H. 264實現(xiàn)了較高的編碼效率，但是由于編碼和譯碼而需要較大量的計算。與現(xiàn)有的MPEG2和MPEG4編碼方法相比，AVC/H. 264實現(xiàn)了兩倍或更多的壓縮效率 (編碼效率)，但是由于此，譯碼處理中的處理量也急劇增加。另外，隨著由于圖像的圖片質(zhì)量的提高而導(dǎo)致的圖像數(shù)據(jù)量的增加，譯碼處理的處理量進(jìn)一步增加。然而，例如，在被發(fā)送編碼數(shù)據(jù)的比特流順序地被譯碼的情況中或者在記錄在記錄介質(zhì)中的編碼數(shù)據(jù)被讀出、 譯碼并且圖像被再現(xiàn)的情況中，存在需要高速且穩(wěn)定地執(zhí)行譯碼處理并且其中因譯碼處理引起的可允許延遲范圍較小的情況。因此，為了高效地執(zhí)行譯碼處理，存在這樣的方法(例如，日本未實審專利申請公報No. 2000-30047)，其中，通過將編碼數(shù)據(jù)的比特流分割成多個單元并且利用多個譯碼器 (處理器或LSI (大規(guī)模集成電路))來并行地執(zhí)行譯碼從而實現(xiàn)譯碼處理的加速。在日本未實審專利申請公報No. 2000-30047記載的該方法中，比特流按照稱為宏塊的數(shù)據(jù)單位被分發(fā)給各個處理器，并且編碼處理和譯碼處理并行地被執(zhí)行。據(jù)此，實現(xiàn)了譯碼處理的加速。另外，除此之外，例如，存在這樣的方法，其中，如圖1所示比特流按照稱為片段 (slice)的數(shù)據(jù)單位被分發(fā)并且譯碼處理并行地被執(zhí)行，所述片段由多個宏塊組成。在圖1 的示例的情況中，一個圖片的比特流被分割為六個片段(片段1至片段6)并且這些片段一次兩片地被分發(fā)給三個處理器(處理器1至處理器幻。這些處理器的每個并行地同時執(zhí)行對所分配片段的譯碼。據(jù)此，實現(xiàn)了譯碼處理的加速。相比之下，用于向用戶顯示立體(3D)內(nèi)容以感覺到具有三維深度的圖像的家庭電視機(jī)的銷售也已正式開始，并且與此伴隨的是，越來越希望創(chuàng)建許多3D內(nèi)容。因此，存在對用于在短時間內(nèi)創(chuàng)建大量3D內(nèi)容的高速編碼器的需求。

發(fā)明內(nèi)容
當(dāng)通常將相關(guān)技術(shù)中的編碼器按原樣應(yīng)用于3D內(nèi)容的編碼時，針對左眼圖像和右眼圖像的編碼被執(zhí)行。然后，編碼以宏塊為單位或者以圖片為單位重復(fù)。由于該方法，能夠進(jìn)行維持作為3D的所有圖像質(zhì)量的編碼。然而，由于3D內(nèi)容中將簡單地被編碼的數(shù)據(jù)量加倍，因此存在以下問題與在相關(guān)技術(shù)中一樣，在該編碼方法中，計算量至少是常規(guī)內(nèi)容時的兩倍或者更多，并且編碼將花費(fèi)極長的時間。因此，希望提供新穎的經(jīng)改進(jìn)的圖像處理單元、圖像處理方法和計算機(jī)程序，其能夠通過縮短(abbreviate)正在觀看3D內(nèi)容的用戶容易感覺到3D圖像的區(qū)域以外的區(qū)域中的編碼處理來執(zhí)行高速編碼處理。根據(jù)本公開的一個實施例，提供了一種圖像處理單元，該單元具有統(tǒng)計信息計算部件，該統(tǒng)計信息計算部件針對具有多個視區(qū)的圖像數(shù)據(jù)以宏塊為單位計算統(tǒng)計信息；區(qū)域確定部件，該區(qū)域確定部件利用由統(tǒng)計信息計算部件計算出的統(tǒng)計信息，以對三維圖像的識別水平為確定標(biāo)準(zhǔn)來對圖像數(shù)據(jù)執(zhí)行區(qū)域確定；以及編碼處理部件，該編碼處理部件根據(jù)由區(qū)域確定部件執(zhí)行的區(qū)域確定的結(jié)果，在對每個視區(qū)的圖像數(shù)據(jù)進(jìn)行編碼并且生成經(jīng)編碼流的同時改變針對每個宏塊的編碼處理的內(nèi)容。更可取地，區(qū)域確定部件利用由統(tǒng)計信息計算部件計算出的統(tǒng)計信息，將圖像數(shù)據(jù)劃分為能被識別為三維圖像的區(qū)域和在視區(qū)之間具有較少差異的區(qū)域，并且編碼處理部件利用如下處理來執(zhí)行編碼，在該處理中，視區(qū)之間具有較少差異的區(qū)域比另外視區(qū)的圖像數(shù)據(jù)更多地被簡化。更可取地，編碼處理部件利用固定運(yùn)動向量和模式來對視區(qū)之間具有較少差異的區(qū)域執(zhí)行編碼。更可取地，區(qū)域確定部件利用由統(tǒng)計信息計算部件計算出的統(tǒng)計信息，將能被識別為三維圖像的區(qū)域劃分為容易識別出三維圖像的區(qū)域和難以識別出三維圖像的區(qū)域，并且編碼處理部件利用如下處理來執(zhí)行編碼，在該處理中，難以識別出三維圖像的區(qū)域比來自另外視區(qū)的圖像數(shù)據(jù)更多地被簡化。更可取地，編碼處理部件利用固定模式來對視區(qū)之間具有較少差異的區(qū)域執(zhí)行編碼。更可取地，統(tǒng)計信息計算部件以宏塊為單位計算亮度和對比度來作為統(tǒng)計信息， 并且對宏塊執(zhí)行邊緣確定。更可取地，在區(qū)域確定部件確定作為相同區(qū)域的預(yù)定數(shù)目或更多的區(qū)域連續(xù)時， 示出了預(yù)定數(shù)目或更多的區(qū)域連續(xù)的信息與利用編碼處理部件生成的經(jīng)編碼流一起被傳輸。另外，根據(jù)本公開另一實施例，提供了一種圖像處理方法，該方法包括針對具有多個視區(qū)的圖像數(shù)據(jù)以宏塊為單位計算統(tǒng)計信息；利用在統(tǒng)計信息計算步驟中計算出的統(tǒng)計信息，以對三維圖像的識別水平為確定標(biāo)準(zhǔn)來對圖像數(shù)據(jù)執(zhí)行區(qū)域確定；以及根據(jù)在區(qū)域確定步驟中執(zhí)行的區(qū)域確定的結(jié)果，在對每個視區(qū)的圖像數(shù)據(jù)進(jìn)行編碼并且生成經(jīng)編碼流的同時改變針對每個宏塊的編碼處理的內(nèi)容。根據(jù)上述本公開的實施例，可以提供新穎的經(jīng)改進(jìn)的圖像處理單元、圖像處理方法和計算機(jī)程序，其能夠通過縮短正在觀看3D內(nèi)容的用戶容易感覺到3D圖像的區(qū)域以外的區(qū)域中的編碼處理來執(zhí)行高速編碼處理。


圖1是圖示出相關(guān)技術(shù)的編碼處理的概念的說明圖；圖2是圖示出根據(jù)本公開實施例的圖像處理單元的配置的說明圖；圖3是圖示出一個圖像被分割成多個宏塊的狀態(tài)的說明圖；圖4是圖示出編碼處理部件的配置的說明圖；圖5是圖示出根據(jù)本公開實施例的圖像處理單元的操作的流程圖；圖6是圖示出使用區(qū)域確定部件的區(qū)域確定處理的流程圖；以及圖7是圖示出根據(jù)本公開實施例的圖像處理單元的硬件配置示例的說明圖。
具體實施例方式下面，將參考附圖詳細(xì)描述本發(fā)明的適當(dāng)實施例。這里，在本說明書和附圖中，通過賦予相同的標(biāo)號而省略對實際上具有相同功能配置的構(gòu)成元件的重復(fù)描述。這里，將以如下順序進(jìn)行描述。1.本公開的實施例1-1.圖像處理單元的配置1-2.編碼部件的配置1-3.圖像處理單元的操作1-4.區(qū)域確定處理1-5.硬件配置示例2.總結(jié)1.本公開的實施例1-1.圖像處理單元的配置首先，將參考附圖描述根據(jù)本公開實施例的圖像處理單元的配置。圖2是圖示出根據(jù)本公開實施例的圖像處理單元100的配置的說明圖。下面，將利用圖2來描述根據(jù)本公開實施例的圖像處理單元100的配置。在根據(jù)本實施例的圖像處理單元100中，不僅常規(guī)圖像OD圖像)而且3D圖像也被發(fā)送。在圖像處理單元100發(fā)送3D圖像的情況中，編碼處理針對左眼圖像和右眼圖像被執(zhí)行。如圖2所示，根據(jù)本公開實施例的圖像處理單元100被配置為包括A/D轉(zhuǎn)換部件 110、緩沖器120、統(tǒng)計信息計算部件130、區(qū)域確定部件140以及編碼處理部件150。A/D轉(zhuǎn)換部件110將從圖像處理單元100外面提供來的模擬圖像信號(輸入信號) 轉(zhuǎn)換為數(shù)字?jǐn)?shù)據(jù)。在將圖像信號轉(zhuǎn)換為數(shù)字圖像數(shù)據(jù)之后，A/D轉(zhuǎn)換部件110將數(shù)字圖像數(shù)據(jù)輸出給后一級的緩沖器120。這里，在從圖像處理單元100外面提供來的圖像信號是數(shù)字?jǐn)?shù)據(jù)的情況中，則不需要經(jīng)過A/D轉(zhuǎn)換部件110。緩沖器120接收從A/D轉(zhuǎn)換部件110輸出的數(shù)字圖像數(shù)據(jù)的供應(yīng)，并且根據(jù)圖像壓縮信息的GOP(圖片組)結(jié)構(gòu)來對幀執(zhí)行重排列。在緩沖器120中被執(zhí)行了幀的重排列的圖像數(shù)據(jù)被發(fā)送給統(tǒng)計信息計算部件130。統(tǒng)計信息計算部件130針對在緩沖器120中被執(zhí)行了幀的重排列的圖像數(shù)據(jù)，以圖片為單位讀出左眼圖像和右眼圖像的每個，并且以左眼圖像和右眼圖像的每個的宏塊為單位計算每個幀的統(tǒng)計信息。
圖3是圖示出將一個圖像分割成多個宏塊的狀態(tài)的說明圖。圖3所示的圖片Pl 示出了一個圖片的圖像數(shù)據(jù)，并且其內(nèi)的每個框塊示出了各個宏塊。這里，各自宏塊中的數(shù)字以模型化方式指示出了各自的區(qū)別信息(宏塊地址)的示例。宏塊地址按自然數(shù)的升序從左上邊緣的宏塊開始以光柵順序被分配。統(tǒng)計信息計算部件130以圖片為單位讀出左眼圖像和右眼圖像的每個，并且對于左眼圖像和右眼圖像的每個以宏塊為單位計算平均亮度值、色散值和對比度來作為統(tǒng)計信息，并且執(zhí)行該宏塊是否是邊緣部分的判斷。各個信息例如如下這樣來計算?？梢酝ㄟ^以像素為單位計算所有圖像值并且除以該宏塊中的像素總數(shù)來計算出平均亮度值。另外，可以利用來計算色散值Var2= (Xi-Avg)2。此外，可以利用Contrast = (Σ Xi-Avg)/256 來計算對比度值 Contrast。另外，為了在無法僅利用色散值來確定的邊緣和復(fù)雜紋理之間進(jìn)行區(qū)分，統(tǒng)計信息計算部件130例如執(zhí)行如下的邊緣確定。當(dāng)然，下面所示的方法是邊緣確定方法的一個示例，并且無須說，本公開的邊緣確定方法不限于此示例。(1)精確邊緣確定統(tǒng)計信息計算部件130確定利用濾波處理計算的濾波之后的宏塊單位的平均值。 即，統(tǒng)計信息計算部件 130 計算 Filter_MAD = ( Σ | Filter_Xi_Filter_Mean |)/η。(2)邊緣方向的排序的確定統(tǒng)計信息計算部件130利用下式(1)來計算Coh值。
權(quán)利要求
1.一種圖像處理單元，包括統(tǒng)計信息計算部件，所述統(tǒng)計信息計算部件針對具有多個視區(qū)的圖像數(shù)據(jù)以宏塊為單位計算統(tǒng)計信息；區(qū)域確定部件，所述區(qū)域確定部件利用由所述統(tǒng)計信息計算部件計算出的所述統(tǒng)計信息，以對三維圖像的識別水平為確定標(biāo)準(zhǔn)來對所述圖像數(shù)據(jù)執(zhí)行區(qū)域確定；以及編碼處理部件，所述編碼處理部件根據(jù)由所述區(qū)域確定部件執(zhí)行的區(qū)域確定的結(jié)果， 在對每個視區(qū)的圖像數(shù)據(jù)進(jìn)行編碼并且生成經(jīng)編碼流的同時改變針對每個宏塊的編碼處理的內(nèi)容。
2.根據(jù)權(quán)利要求1所述的圖像處理單元，其中，所述區(qū)域確定部件利用由所述統(tǒng)計信息計算部件計算出的所述統(tǒng)計信息，將所述圖像數(shù)據(jù)劃分為能被識別為三維圖像的區(qū)域和在視區(qū)之間具有很少差異的區(qū)域，并且所述編碼處理部件利用如下處理來執(zhí)行編碼，在該處理中，所述視區(qū)之間具有很少差異的區(qū)域比另外視區(qū)的圖像數(shù)據(jù)更多地被簡化。
3.根據(jù)權(quán)利要求2所述的圖像處理單元，其中，所述編碼處理部件利用固定運(yùn)動向量和模式來對所述視區(qū)之間具有很少差異的區(qū)域執(zhí)行編碼。
4.根據(jù)權(quán)利要求2所述的圖像處理單元，其中，所述區(qū)域確定部件利用由所述統(tǒng)計信息計算部件計算出的所述統(tǒng)計信息，將所述能被識別為三維圖像的區(qū)域劃分為容易識別出三維圖像的區(qū)域和難以識別出三維圖像的區(qū)域，并且所述編碼處理部件利用如下處理來執(zhí)行編碼，在該處理中，所述難以識別出三維圖像的區(qū)域比來自另外視區(qū)的圖像數(shù)據(jù)更多地被簡化。
5.根據(jù)權(quán)利要求4所述的圖像處理單元，其中，所述編碼處理部件利用固定模式來對所述視區(qū)之間具有很少差異的區(qū)域執(zhí)行編碼。
6.根據(jù)權(quán)利要求1所述的圖像處理單元，其中，所述統(tǒng)計信息計算部件以宏塊為單位計算亮度和對比度來作為統(tǒng)計信息，并且對宏塊執(zhí)行邊緣確定。
7.根據(jù)權(quán)利要求1所述的圖像處理單元，其中，在所述區(qū)域確定部件確定作為相同區(qū)域的預(yù)定數(shù)目或更多的區(qū)域連續(xù)時，示出了所述預(yù)定數(shù)目或更多的區(qū)域連續(xù)的信息與利用所述編碼處理部件生成的經(jīng)編碼流一起被傳輸。
8.一種圖像處理方法，包括針對具有多個視區(qū)的圖像數(shù)據(jù)以宏塊為單位計算統(tǒng)計信息；利用在統(tǒng)計信息計算步驟中計算出的所述統(tǒng)計信息，以對三維圖像的識別水平為確定標(biāo)準(zhǔn)來對所述圖像數(shù)據(jù)執(zhí)行區(qū)域確定；以及根據(jù)在區(qū)域確定步驟中執(zhí)行的區(qū)域確定的結(jié)果，在對每個視區(qū)的圖像數(shù)據(jù)進(jìn)行編碼并且生成經(jīng)編碼流的同時改變針對每個宏塊的編碼處理的內(nèi)容。
全文摘要
本發(fā)明公開了圖像處理單元、圖像處理方法及計算機(jī)程序。一種圖像處理單元包括統(tǒng)計信息計算部件，其針對具有多個視區(qū)的圖像數(shù)據(jù)以宏塊為單位計算統(tǒng)計信息；區(qū)域確定部件，其利用由統(tǒng)計信息計算部件計算出的統(tǒng)計信息，以對三維圖像的識別水平為確定標(biāo)準(zhǔn)來對圖像數(shù)據(jù)執(zhí)行區(qū)域確定；以及編碼處理部件，其根據(jù)由區(qū)域確定部件執(zhí)行的區(qū)域確定的結(jié)果，在對每個視區(qū)的圖像數(shù)據(jù)進(jìn)行編碼并且生成經(jīng)編碼流的同時改變針對每個宏塊的編碼處理的內(nèi)容。
文檔編號H04N13/00GK102316345SQ20111018298
公開日2012年1月11日 申請日期2011年6月27日 優(yōu)先權(quán)日2010年7月2日
發(fā)明者河野雅一 申請人:索尼公司