專利名稱：相機(jī)系統(tǒng)和圖像處理方法
技術(shù)領(lǐng)域：
本發(fā)明涉及例如適合應(yīng)用于對從各種布置體系的圖像拍攝元件獲得的RAW數(shù)據(jù) (原始數(shù)據(jù))進(jìn)行高效壓縮編碼和對經(jīng)壓縮編碼的RAW數(shù)據(jù)進(jìn)行解壓縮的相機(jī)系統(tǒng)和圖像 處理方法。
背景技術(shù)：
使用拜耳布置(Bayer arrangement)的圖像拍攝元件的圖像拍攝裝置在過去一般 是已知的。這種圖像拍攝元件經(jīng)由濾色器(color filter)捕捉對象的圖像光，并且輸出根 據(jù)圖像光的強(qiáng)度的圖像信號。然后，后續(xù)處理部件使圖像信號經(jīng)歷預(yù)定的處理，從而圖像拍 攝裝置可以在取景器或外部顯示裝置上顯示圖像。一般地，用于實(shí)況廣播等等的相機(jī)系統(tǒng)包括用作圖像拍攝裝置并且具有圖像拍攝 元件的相機(jī)部件和安裝在遠(yuǎn)離相機(jī)部件的場所的CCU(相機(jī)控制單元)部件。相機(jī)部件 和CCU部件之間的連接是通過使用傳送復(fù)合相機(jī)線纜(transmitting composite camera cable)等等來建立的，并且C⑶部件在相機(jī)部件中進(jìn)行設(shè)定。此時(shí)，C⑶部件實(shí)時(shí)地以很高 的精確度對從相機(jī)部件傳送來的圖像執(zhí)行信號處理。此外，現(xiàn)有相機(jī)系統(tǒng)處理諸如4K圖像 和8K圖像之類的高分辨率的圖像或者諸如60P/240P之類的高幀速率的圖像，從而處理了 巨大量的數(shù)據(jù)。從而，相機(jī)部件直接將RAW圖像數(shù)據(jù)傳送到CCU部件，并且CCU部件執(zhí)行相 機(jī)信號處理。另外，8K表示諸如8192樣本X4320行之類高分辨率的規(guī)格的示例。4K表示諸如 4096樣本X2160行之類的比8K低的分辨率的規(guī)格的示例。2K表示諸如2048樣本X 1080 行之類的比4K低的分辨率的規(guī)格的示例。日本專利早期公開Νο.2002_247376(以下稱之為專利文獻(xiàn)1)描述了通過 JPEG (聯(lián)合圖片專家組)等等直接對從拜耳布置的圖像拍攝元件獲得的RAW數(shù)據(jù)(顏色插 值(color interpolation)之前的圖像數(shù)據(jù))的壓縮。日本專利早期公開No. 2003-125209 (以下稱之為專利文獻(xiàn)2)描述了用于對G1、 G2、R和B的每個(gè)分量分別執(zhí)行圖像壓縮的技術(shù)以及使用小波壓縮的具體示例，作為用于對 從拜耳布置的圖像拍攝元件獲得的RAW數(shù)據(jù)進(jìn)行壓縮的方法。

發(fā)明內(nèi)容
在現(xiàn)有的相機(jī)系統(tǒng)中，RAW圖像數(shù)據(jù)是以未壓縮的狀態(tài)從相機(jī)部件傳送到CXU部 件的。然而，當(dāng)RAW圖像數(shù)據(jù)被以未壓縮的狀態(tài)傳送時(shí)，與RAW圖像數(shù)據(jù)被壓縮的情況相比， 傳送頻帶(transmission band)增大了，從而傳送線路的功耗增大了。此外，為了確保傳送 頻帶，需要確保具有IOGbps的傳送速率的多條昂貴的傳送線纜，并且需要構(gòu)造包括這些傳 送線纜的非常昂貴的相機(jī)系統(tǒng)。此外，即使在假定直接壓縮RAW圖像數(shù)據(jù)的情況下，關(guān)于用 于壓縮RAW圖像數(shù)據(jù)的具體方法的細(xì)節(jié)也是不清楚的，或者壓縮效率沒有提高。此外，當(dāng)RAW圖像數(shù)據(jù)被壓縮時(shí)，因?yàn)榫G色像素的像素位置在水平方向和垂直方向上是交替(alternatively)相互偏離(shift)的，所以綠色像素在傳統(tǒng)上被分割成Gl和 G2兩個(gè)分量以使得像素位置不相互偏離，然后被壓縮。此壓縮是在原本其間具有作為一個(gè) 圖
尤其是小波變換能夠通過對整個(gè)圖片的子帶分割(subband division)來實(shí)現(xiàn)很 高的壓縮效率。然而，現(xiàn)有的體系將整個(gè)圖片分割成單獨(dú)的圖片，從而沒有運(yùn)用小波變換的 本來很高的壓縮效率。此外，通過利用小波變換重復(fù)子帶分割，可從一個(gè)壓縮碼(compression code)獲 得不同分辨率的圖像。例如，當(dāng)利用專利文獻(xiàn)2中描述的技術(shù)在取景器等等上顯示分辨率 為某一圖像的一定分辨率的一半的圖像時(shí)，只使用分割出的兩個(gè)綠色圖像之中的一個(gè)。在 此情況下，執(zhí)行簡單的“像素離散縮減”(pixel discrete reduction)，并且取景器上顯示 的圖像例如受到混疊噪聲(aliasing noise)的影響。從而，無法充分地享受到使用小波變 換的優(yōu)點(diǎn)。此外，現(xiàn)有的技術(shù)涉及一種對從拜耳布置的圖像拍攝元件獲得的RAW數(shù)據(jù)進(jìn)行壓 縮的方法，但不涉及用于對從雙倍密度拜耳布置的圖像拍攝元件或者具有在傾斜方向上布 置的像素的三板(three-panel)圖像拍攝元件系統(tǒng)獲得的RAW數(shù)據(jù)進(jìn)行壓縮的技術(shù)。從而，對于圖像拍攝元件的不同像素布置需要使用不同的壓縮體系，而不能共享 硬件。此外，專利文獻(xiàn)1公開了一種用于在不進(jìn)行到RGB(紅綠藍(lán))全像素(RGB full Pixel)的顏色分離的情況下執(zhí)行壓縮和記錄的技術(shù)。此技術(shù)直接壓縮圖像數(shù)據(jù)，而不會由 于顏色分離而增大數(shù)據(jù)率，從而具有能夠控制數(shù)據(jù)率的優(yōu)點(diǎn)。然而，關(guān)于如何壓縮圖像數(shù) 據(jù)的細(xì)節(jié)是不清楚的。如果圖像數(shù)據(jù)在拜耳布置中照字面那樣直接作為一個(gè)圖像被壓縮， 則每個(gè)RGB像素的電平在許多自然圖像中是不同的。于是，因?yàn)橄噜徬袼乇徊煌孛枥L成 RGB，所以出現(xiàn)很大的高頻分量，并且壓縮效率不會提高。換言之，將預(yù)期到很高的壓縮噪 聲。希望對從如下一種像素布置的圖像拍攝元件獲得的RAW數(shù)據(jù)執(zhí)行高效的壓縮編 碼在所述像素布置中，三種原色之中的至少一種顏色的像素位置在水平方向或垂直方向 上是交替相互偏離的，并且還希望將圖像從相機(jī)部件傳送到CXU部件。根據(jù)本發(fā)明實(shí)施例的相機(jī)部件對從其中三種原色之中的至少一種顏色的像素位 置在水平方向或垂直方向上交替相互偏離的像素布置的圖像拍攝元件輸出的圖像數(shù)據(jù)中 包括的其像素位置交替相互偏離的那種顏色的圖像數(shù)據(jù)執(zhí)行子帶分割。此子帶分割是以相 鄰的上下兩行的像素或者相鄰的左右兩列的像素為單位來執(zhí)行的。然后，相機(jī)部件經(jīng)由傳送線路輸出子帶圖像。另一方面，根據(jù)本發(fā)明實(shí)施例的相機(jī)控制部件經(jīng)由傳送線路接收子帶圖像。然后，相機(jī)控制部件以相鄰的上下兩行的像素或者相鄰的左右兩列的像素為單位 將子帶圖像解壓縮成像素位置交替相互偏離的顏色的圖像數(shù)據(jù)，并且將子帶圖像合成為圖 像數(shù)據(jù)。根據(jù)本發(fā)明的實(shí)施例，即使當(dāng)像素位置在水平或垂直方向上交替相互偏離時(shí)，也 以相鄰的上下兩行的像素或者相鄰的左右兩列的像素為單位執(zhí)行子帶分割。從而，通過在像素位置保持相互偏離的情況下執(zhí)行壓縮編碼，可以執(zhí)行高效的壓縮編碼。根據(jù)本發(fā)明的實(shí)施例，可以以高精確度、實(shí)時(shí)地執(zhí)行相機(jī)部件的信號處理，因?yàn)橄?機(jī)部件壓縮圖像數(shù)據(jù)(例如RAW數(shù)據(jù))并將經(jīng)壓縮的數(shù)據(jù)傳送到CCU部件，并且CCU部件 對經(jīng)壓縮的數(shù)據(jù)進(jìn)行解壓縮，從而再現(xiàn)圖像數(shù)據(jù)。此時(shí)，可以對從如下一種像素布置的圖像 拍攝元件獲得的圖像數(shù)據(jù)執(zhí)行高效的壓縮編碼在所述像素布置中，三種原色之中的至少 一種顏色的像素位置在水平方向或垂直方向上是交替相互偏離的。


圖1是示出根據(jù)本發(fā)明實(shí)施例的相機(jī)部件的示圖；圖2是示出根據(jù)本發(fā)明實(shí)施例的CXU部件的示圖；圖3是示出圖像拍攝元件的像素布置的示例的示圖；圖4是壓縮編碼時(shí)壓縮處理部件的框圖；圖5是示出小波變換的分割級別的示圖；圖6A和6B是示出小波變換的分割級別的示圖；圖7是壓縮解碼時(shí)解壓縮處理部件的框圖；圖8A、8B和8C是現(xiàn)有技術(shù)的示圖；圖9A、9B、9C和9D是現(xiàn)有技術(shù)被應(yīng)用到雙倍密度拜耳布置的示圖；圖10是小波變換時(shí)壓縮I/F(接口)部件的處理的示圖；圖11是逆變換時(shí)解壓縮I/F部件的處理的示圖；圖12A、12B、12C和12D是針對雙倍密度拜耳布置的壓縮I/F部件的小波變換處理 的示圖；圖13A、13B、13C和13D是針對雙倍密度拜耳布置的壓縮I/F部件的小波變換處理 的另一示例的示圖；圖14A、14B、14C和14D是示出小波變換后的子帶圖像的像素重心位置的示圖；圖I5AU5BU5C禾Π 15D是針對傾斜布置三板體系(oblique arrangement three-panel system)的壓縮I/F部件的小波變換處理的示圖；圖16A、16B、16C和16D是針對拜耳布置的壓縮I/F部件的小波變換處理的示圖；圖17是示出針對各種像素布置的壓縮I/F部件的輸出的示圖；圖18是針對RGB全像素體系的壓縮I/F部件的小波變換時(shí)的具體處理的示圖；圖19是針對RGB全像素體系的解壓縮I/F部件的逆變換時(shí)的具體處理的示圖；圖20是針對雙倍密度拜耳布置的壓縮I/F部件的小波變換時(shí)的具體處理的示 圖；圖21是針對雙倍密度拜耳布置的解壓縮I/F部件的逆變換時(shí)的具體處理的示 圖；圖22是針對傾斜布置三板體系的壓縮I/F部件的小波變換時(shí)的具體處理的示 圖；圖23是針對傾斜布置三板體系的解壓縮I/F部件的逆變換時(shí)的具體處理的示 圖；圖24是針對拜耳布置的壓縮I/F部件的小波變換時(shí)的具體處理的示圖25是針對拜耳布置的解壓縮I/F部件的逆變換時(shí)的具體處理的示圖；圖26A、26B、26C和26D是示出壓縮I/F部件針對雙倍密度拜耳布置執(zhí)行哈爾變換 (Haar transform)的示例的示圖；圖27A、27B、27C和27D是示出壓縮I/F部件針對傾斜布置三板體系執(zhí)行哈爾變換 的示例的示圖；并且圖28A、28B、28C和28D是示出壓縮I/F部件針對拜耳布置執(zhí)行哈爾變換的示例的 示圖。
具體實(shí)施例方式
下面將描述實(shí)現(xiàn)本發(fā)明的最佳模式(以下該最佳模式將被稱為實(shí)施例)。另外，將 按以下順序進(jìn)行描述。1.第一實(shí)施例(壓縮編碼或解碼的控制使用小波變換的示例)2.第二實(shí)施例(壓縮編碼或解碼的控制使用哈爾變換的示例)3.修改的示例<1.第一實(shí)施例>[使用小波變換對圖像進(jìn)行壓縮編碼和使用逆小波變換對子帶圖像進(jìn)行解碼的示 例]下面將參考圖1至25來描述本發(fā)明的第一實(shí)施例。在以下實(shí)施例中，將對應(yīng)用到相機(jī)系統(tǒng)的示例進(jìn)行描述，該相機(jī)系統(tǒng)包括相機(jī)部 件10，用于對從沒有RGB全像素的、拜耳布置的圖像拍攝元件、沒有RGB全像素的、雙倍密度 拜耳布置的圖像拍攝元件、以及沒有RGB全像素的、使用具有在傾斜方向上布置的像素的 三個(gè)圖像拍攝元件的圖像拍攝系統(tǒng)獲得的RAW數(shù)據(jù)之中的任何一種中的三個(gè)R/G/B分量中 的每一個(gè)進(jìn)行高效的壓縮編碼，將RAW數(shù)據(jù)分解成子帶圖像，并且輸出子帶圖像；以及CCU 部件20，用于對經(jīng)由傳送復(fù)合相機(jī)線纜113從相機(jī)部件10接收的子帶圖像進(jìn)行解壓縮。包 括RGB像素的要素的三個(gè)分量信號在下文中將被簡稱為“三個(gè)R/G/B分量”。本示例中的相機(jī)部件10通過鏡頭塊101把在圖像拍攝元件部件102中轉(zhuǎn)換成電 信號的RAW圖像數(shù)據(jù)傳送到CCU部件20。即使當(dāng)因?yàn)閳D像拍攝元件部件102中缺乏真實(shí)像 素而造成像素位置在水平方向或垂直方向上交替相互偏離時(shí)，相機(jī)部件10也可以通過在 像素位置保持相互偏離的情況下執(zhí)行壓縮編碼，從而實(shí)現(xiàn)壓縮編碼而不降低壓縮效率。在此情況下，其中像素位置在水平方向或垂直方向上交替相互偏離的離散縮減圖 像通過與小波變換相結(jié)合而被取平均。從而，具有一半分辨率的縮減子帶圖像成為了具有 RGB全像素的圖像。S卩，執(zhí)行通過小波變換進(jìn)行的簡單的所謂顏色分離(去拜耳化(De-Bayer))處理， 并且可以圖中未示出的監(jiān)視器上進(jìn)行顯示，該監(jiān)視器設(shè)置在相機(jī)部件10中。這是因?yàn)楫?dāng)使 用小波變換時(shí)，可從相同的圖像數(shù)據(jù)獲得不同分辨率的圖像。即使從需要諸如拜耳顏色分 離之類的顏色分離的圖像拍攝元件獲得的RAW數(shù)據(jù)也經(jīng)歷了小波變換，從而可以很容易被 顯示在監(jiān)視器等等上。當(dāng)從RGB全像素的圖像拍攝元件獲得的圖像被進(jìn)行小波變換時(shí)，RGB中的每一個(gè) 被子帶分割成四個(gè)圖像，并且該圖像被分解成RGB的總共12個(gè)子帶圖像。當(dāng)使用根據(jù)本示例的壓縮編碼方法時(shí)，可將RAW數(shù)據(jù)視為小波變換后的子帶圖像的數(shù)目上的差異。例如， 從拜耳布置獲得的RAW數(shù)據(jù)可被視為四個(gè)子帶圖像，從雙倍密度拜耳布置獲得的RAW數(shù)據(jù) 可被 視為八個(gè)子帶圖像，從具有在傾斜方向上布置的像素的三板圖像拍攝元件系統(tǒng)獲得的 RAW數(shù)據(jù)可被視為六個(gè)子帶圖像。從而，小波變換后的壓縮編碼處理可以作為共用的處理而 實(shí)現(xiàn)。此外，諸如4K圖像之類的高分辨率圖像有大量數(shù)據(jù)要處理，因此在執(zhí)行實(shí)時(shí)處理 時(shí)將需要某些并行處理。然而，通過使用根據(jù)本示例的壓縮編碼方法，如上所述可將諸如4K 圖像之類的高分辨率圖像視為子帶圖像的數(shù)目上的差異。從而，可以相互并行地操作必要 數(shù)目的處理塊，來作為圖像被進(jìn)行子帶分割后的處理，并且操作速度可以按與并行度相對 應(yīng)的量降低。此外，如后所述，不僅是使用小波變換，對于簡單的硬件使用哈爾變換也可獲 得相同的效果。圖1和圖2是示出處理4KX2K像素的相機(jī)系統(tǒng)的配置示例的框圖。圖1是示出相 機(jī)部件10的框圖。圖2是示出CCU部件20 (相機(jī)控制單元)的框圖。相機(jī)部件10和CCU 部件20之間的連接是通過使用傳送復(fù)合相機(jī)線纜113來建立的。圖1示出了處理4K圖像和2K圖像的相機(jī)部件10的示例。相機(jī)部件10是能夠根據(jù)本發(fā)明實(shí)施例進(jìn)行圖像壓縮的圖像拍攝裝置的示例。鏡頭塊101控制光圈和變焦，并且在圖像拍攝元件部件102上形成光學(xué)圖像。此外，圖像拍攝元件部件I02把從鏡頭塊101輸入的光學(xué)圖像轉(zhuǎn)換成視頻數(shù)字信 號，并且輸出該視頻數(shù)字信號作為圖像拍攝RAW數(shù)據(jù)(D102)。在本示例中，可以針對如圖3 所示的像素布置的圖像拍攝元件中的任何一種進(jìn)行設(shè)置。〈RGB全像素體系>·利用光學(xué)棱鏡將光分離成RGB的RGB三板體系·如下結(jié)構(gòu)的單板體系在傳感器深度方向上具有光波長敏感性·像液晶電視中那樣一個(gè)像素被不同地描繪成三個(gè)RGB條帶的單板體系〈雙倍密度拜耳布置〉通常的拜耳布置的像素的密度被加倍，并且被45°傾斜部署。從而，對于G獲得全 像素，而R像素和B像素是按在傾斜方向上間隔開的像素布置來布置的(圖3中的粗框指 示通常拜耳布置中的像素)。<傾斜布置三板體系> 作為一個(gè)圖像拍攝元件具有45°傾斜布置的像素并且假定在水平方向或垂直方 向上相鄰的兩個(gè)像素或四個(gè)像素之間執(zhí)行像素插值以插值出圖3中的粗框(通常拜耳布置 中的像素)中的虛線圓圈所指示的像素的像素布置?！そY(jié)合光學(xué)棱鏡，利用三個(gè)圖像拍攝元件執(zhí)行圖像拍攝的系統(tǒng)?！せ蛘呔哂猩鲜鱿袼夭贾貌⑶揖哂性趥鞲衅鞯纳疃确较蛏嫌泄獠ㄩL敏感性這樣一 種結(jié)構(gòu)的單板體系。<拜耳布置>·所謂的通常拜耳布置壓縮I/F部件105通過小波變換把來自拜耳布置之類的圖像拍攝元件的圖像拍攝 RAW數(shù)據(jù)(D102)分解成2K頻帶(2K band)的子帶圖像。壓縮I/F部件105充當(dāng)子帶分割部件，用于使從其中三種原色之中的至少一種顏色的像素位置在水平方向或垂直方向上交 替相互偏離的像素布置的圖像拍攝元件輸出的圖像數(shù)據(jù)中包括的、其像素位置交替相互偏 離的那種顏色的圖像數(shù)據(jù)經(jīng)歷以相鄰的上下兩行的像素或者相鄰的左右兩列的像素為單 位的子帶分割。壓縮I/F部件105以相鄰的上下兩行為單位掃描其像素位置交替相互偏離的那種 顏色的圖像數(shù)據(jù)的像素，并且在水平方向上執(zhí)行小波變換?；蛘撸瑝嚎sI/F部件105以相鄰 的左右兩列為單位掃描其像素位置交替相互偏離的那種顏色的圖像數(shù)據(jù)的像素，并且在垂 直方向上執(zhí)行小波變換。在本示例中，壓縮I/F部件105輸出以下子帶圖像。在水平方向和垂直方向上都為低頻分量的2K頻帶的子帶圖像被輸出作為 D105-LL。在水平方向上為高頻分量并且在垂直方向上為低頻分量的2K頻帶的子帶圖像被 輸出作為D105-HL。在水平方向上為低頻分量并且在垂直方向上為高頻分量的2K頻帶的子帶圖像被 輸出作為D105-LH。在水平方向和垂直方向上都為高頻分量的2K頻帶的子帶圖像被輸出作為 D105-HH。取決于圖像拍攝元件部件102的像素布置，存在這樣的情況，即不是對于RGB中的 每一個(gè)都將2K頻帶的子帶圖像HL/LH/HH全部輸出，而是不輸出一些子帶圖像。將單獨(dú)描 述其細(xì)節(jié)。壓縮處理部件106利用壓縮編碼體系對2K頻帶的子帶圖像(D105-LL/HL/LH/HH) 中的每一個(gè)進(jìn)行圖像壓縮，并且輸出經(jīng)壓縮的子帶圖像作為相應(yīng)的碼流(D106-LL/HL/LH/ HH)。因?yàn)閴嚎sI/F部件105使用小波變換，所以最好壓縮處理部件106采用使用同樣的小 波變換的JPEG2000等等。然而，壓縮處理部件106也可使用其他的現(xiàn)有圖像壓縮體系。此外，壓縮處理部件106充當(dāng)壓縮編碼部件，用于在壓縮I/F部件105所分割的每 個(gè)頻帶中和三種原色的每一種中并行地對從壓縮I/F部件105輸出的圖像數(shù)據(jù)進(jìn)行壓縮編 碼。傳送I/F部件107整合來自壓縮處理部件106的碼流(D106-LL/HL/LH/HH)，作為 向C⑶部件20傳送的接口，并且輸出主線傳送信號(D107)。此時(shí)，作為第一傳送接口部件， 傳送I/F部件107把從碼流(D106-LL/HL/LH/HH)形成的壓縮子帶圖像轉(zhuǎn)換成預(yù)定的圖像 信號，并且經(jīng)由傳送復(fù)合相機(jī)線纜113輸出該圖像信號。 取景器信號處理部件109是用于將輸入圖像作為顯示信號輸出以便在顯示系統(tǒng) 上顯示的顯示信號輸出部件的示例。2K頻帶的子帶圖像之中的子帶圖像D105-LL是在水平 方向和垂直方向上都為低頻的子帶圖像，因此可以作為2K大小的RGB全圖像而被監(jiān)視。從 而，可以像相機(jī)信號處理部件203(參見下文中將要描述的圖2)中那樣在2K中進(jìn)行針對白 平衡、亮度等等的相機(jī)圖像調(diào)整。另外，取景器信號處理部件109例如生成用于拍攝的設(shè)定 信息，并且執(zhí)行用于幫助聚焦的峰化處理，并且將圖像拍攝2K圖像(D109)輸出到取景器部 件 110。取景器部件110通過操作部件選擇來自取景器信號處理部件109的圖像拍攝2K圖像(D109)或者從CXU部件20發(fā)送來的返回2K圖像(D209)，并且顯示圖像拍攝2K圖像 0)109)或返回2K圖像(D209)。系統(tǒng)控制部件111具有控制軟件程序，并且根據(jù)該程序來控制整個(gè)相機(jī)部件10。 此外，響應(yīng)于來自操作部件112的輸入，系統(tǒng)控制部件111將每個(gè)塊連接到總線，交換數(shù)據(jù)， 并且控制用于拍攝的設(shè)定和狀態(tài)。操作部件112接收對相機(jī)部件10的操作，并且將該操作以電信號的形式發(fā)送到系 統(tǒng)控制部件111。傳送復(fù)合相機(jī)線纜113是使得雙向信號線路被集成到一條線路中的復(fù)合相機(jī)線 纜。傳送復(fù)合相機(jī)線纜113將相機(jī)部件10和C⑶部件20相互連接。傳送復(fù)合相機(jī)線纜 113把壓縮RAW圖像數(shù)據(jù)作為主線傳送信號(D107)從相機(jī)部件10傳送到CXU部件20，并 且將用于控制相機(jī)部件10的控制信號疊加在未壓縮的返回2K圖像上，并將該未壓縮的返 回2K圖像從CXU部件20傳送到相機(jī)部件10。接下來將參考圖2描述CXU部件20的內(nèi)部配置的示例。CXU部件20在對從相機(jī)部件10壓縮傳送的RAW圖像數(shù)據(jù)進(jìn)行解壓縮之后以高精 確度執(zhí)行相機(jī)信號處理，并且將圖像拍攝4K圖像(D203)輸出到監(jiān)視器輸出部件204。此 外，CCU部件20把作為除相機(jī)部件10拍攝的圖像以外的圖像的、從外部輸入部件210輸入 的外部4K圖像(D210)作為返回2K圖像(D209)發(fā)送到相機(jī)部件10，并且通過向相機(jī)部件 10發(fā)送控制信號來在相機(jī)部件10中進(jìn)行設(shè)定。傳送I/F部件207通過執(zhí)行從自相機(jī)部件10發(fā)送來的主線傳送信號(D107)到 每個(gè)子帶圖像的壓縮數(shù)據(jù)(D106-LL/HL/LH/HH)的轉(zhuǎn)換來作為接口。此時(shí)，作為第二傳送 接口部件，傳送I/F部件207把經(jīng)由傳送復(fù)合相機(jī)線纜113輸入的圖像信號轉(zhuǎn)換成從碼流 (D106-LL/HL/LH/HH)形成的壓縮子帶圖像。解壓縮處理部件206充當(dāng)解壓縮解碼部件，用于對從相機(jī)部件10傳送來的每個(gè)子 帶圖像的壓縮數(shù)據(jù)進(jìn)行解壓縮，并且將結(jié)果作為2K頻帶的子帶圖像(D105-LL/HL/LH/HH) 輸出。此時(shí)，解壓縮處理部件206針對壓縮I/F部件105所分割的每個(gè)頻帶和三種原色的 每一種并行地執(zhí)行對經(jīng)壓縮編碼的子帶圖像進(jìn)行解壓縮解碼的處理。解壓縮I/F部件205充當(dāng)圖像解壓縮部件，用于通過執(zhí)行逆小波變換來合成由解 壓縮處理而產(chǎn)生的2K頻帶的子帶圖像(D105-LL/HL/LH/HH)，并且將合成的數(shù)據(jù)作為圖像 拍攝RAW數(shù)據(jù)(D102)輸出。此時(shí)，解壓縮I/F部件205經(jīng)由傳送I/F部件207和解壓縮處 理部件206接收子帶圖像。然后，解壓縮I/F部件205以相鄰的上下兩行的像素或相鄰的 左右兩列的像素為單位，把子帶圖像解壓縮成像素位置交替相互偏離的顏色的圖像數(shù)據(jù)， 并且把子帶圖像合成為從圖像拍攝元件輸出的圖像數(shù)據(jù)。解壓縮I/F部件205通過使子帶圖像經(jīng)歷以相鄰的上下兩行的像素為單位的水平 方向上的逆小波變換或者使子帶圖像經(jīng)歷以相鄰的左右兩列的像素為單位的垂直方向上 的逆小波變換，來將子帶圖像解壓縮成像素位置交替相互偏離的顏色的圖像數(shù)據(jù)。此外，相機(jī)信號處理部件203從由拜耳布置之類的圖像拍攝元件部件102輸出的 圖像拍攝RAW數(shù)據(jù)(D102)創(chuàng)建RGB全4K圖像(所謂的顏色分離)以使其為能夠被確認(rèn)為 一個(gè)圖像，針對白平衡、亮度等等進(jìn)行相機(jī)圖像調(diào)整，并且將圖像拍攝4K圖像(D203)輸出 到監(jiān)視器輸出部件204。
監(jiān)視器輸出部件204將4K圖像的視頻信號輸出到外部4K監(jiān)視器等等。下轉(zhuǎn)換器(down-converter)部件209通過操作部件212選擇來自相機(jī)信號處理 部件203的圖像拍攝4K圖像(D203)和來自外部輸入部件210的外部4K圖像(D210)之 一。然后，下轉(zhuǎn)換器部件209將該4K圖像下轉(zhuǎn)換成2K圖像，并且將該2K圖像作為返回2K 圖像(D209)輸出，以通過傳送復(fù)合相機(jī)線纜113將該返回2K圖像(D209)傳送到相機(jī)部件 10。因?yàn)?K圖像具有大量信息并且占用傳送頻帶，而且相機(jī)部件10 —般不使用能夠顯示 4K圖像的取景器部件110，所以CXU部件20將4K圖像下轉(zhuǎn)換成2K圖像，然后傳送2K圖像。 然而，如果可能，可以直接傳送4K圖像。此外，雖然CXU部件20從外部輸入部件210取入 4K圖像，但CXU部件20也可以以2K圖像的形式取入圖像。在該情況下繞過下轉(zhuǎn)換器部件 209。系統(tǒng)控制部件211具有控制軟件程序，并且根據(jù)該程序控制整個(gè)相機(jī)系統(tǒng)。此外， 響應(yīng)于來自操作部件212的輸入，系統(tǒng)控制部件211將每個(gè)塊連接到數(shù)據(jù)總線，交換數(shù)據(jù)， 并且控制CCU部件20中用于拍攝的設(shè)定和狀態(tài)。系統(tǒng)控制部件211不僅控制CCU部件20 中也控制相機(jī)部件10中用于拍攝的設(shè)定和狀態(tài)。用于執(zhí)行這種控制的控制信號通過傳送 I/F部件207以疊加在傳送復(fù)合相機(jī)線纜113的信號上的狀態(tài)被發(fā)送到相機(jī)部件10。操作部件212接收對相機(jī)系統(tǒng)的操作，并且將該操作以電信號的形式傳送到系統(tǒng) 控制部件211。用于實(shí)現(xiàn)本發(fā)明的塊是壓縮I/F部件105和解壓縮I/F部件205，它們在壓縮圖像 數(shù)據(jù)時(shí)使用小波變換。從而，首先將描述利用小波類似地執(zhí)行壓縮和解壓縮的壓縮處理部 件106和解壓縮處理部件206。圖4是壓縮編碼時(shí)壓縮處理部件106的詳細(xì)框圖。小波變換部件32使2K頻帶的子帶圖像D105-LL經(jīng)歷小波變換，然后輸出小波變 換系數(shù)D32-LL。小波變換部件32 —般是用包括低通濾波器和高通濾波器的濾波器組實(shí)現(xiàn)的。另 外，數(shù)字濾波器一般具有多個(gè)抽頭的長度的沖擊響應(yīng)(濾波器系數(shù))，從而需要預(yù)先緩沖足 夠用于執(zhí)行濾波的輸入圖像或系數(shù)。另外，在分多級執(zhí)行小波變換的情況下，需要預(yù)先緩沖 前一級中生成的小波變換系數(shù)，這些系數(shù)是執(zhí)行濾波所必需的。下面將描述通過小波變換生成的子帶圖像。圖5示出了子帶圖像的示例。一般地，在此小波變換中，如圖5所示，低頻分量被 反復(fù)地變換和分割。這是因?yàn)閳D像的能量大多集中在低頻分量中。從以下事實(shí)也可明確這 一點(diǎn)隨著分割級別從圖6A所示的分割級別=1前進(jìn)到圖6B所示的分割級別=3，形成了 子帶圖像。圖5中的小波變換的分割級別是3，并且作為小波變換的結(jié)果形成了總共10個(gè)子 帶圖像。在此情況下，圖5中的L和H分別表示低頻和高頻，并且L或H前面的數(shù)字指示分 割級別。具體而言，例如，ILH表示處于分割級別=1的子帶圖像，該子帶圖像在水平方向上 具有低頻并且在垂直方向上具有高頻。將返回對圖4的描述。小波變換系數(shù)D32-LL接下來被量化部件33所量化。然后 經(jīng)量化的系數(shù)D33-LL被輸出。對于此情況中的量化部件，使用標(biāo)量量化即可，在JPEG2000 中也用的是標(biāo)量量化。如以下的(式1)中所示，把通過將小波變換系數(shù)W除以量化步長Δ而獲得的值設(shè)定為量化系數(shù)q的值即可。q = ff/Δ ...(式 1)量化步長A37-LL是從下文中將描述的碼量測量部件37提供的。量化系數(shù)D33-LL接下來被輸出到熵編碼部件35。熵編碼部件35利用任意信息源 壓縮部件對量化系數(shù)D33-LL進(jìn)行壓縮。只要采用常用的霍夫曼編碼(MPEG和JPEG中采用 的體系，該體系參考霍夫曼編碼表來生成代碼，該霍夫曼編碼表是預(yù)先根據(jù)數(shù)據(jù)中出現(xiàn)的 符號(symbol)的發(fā)生頻率來創(chuàng)建的)或算術(shù)編碼(H. 264和JPEG2000中采用的體系)作 為熵編碼部件即可。另外，此時(shí)，雖然這里未詳細(xì)描述，但是與JPEG2000中一樣，量化系數(shù) 可與作為以比特平面為單位的熵編碼的EBCOT (具有最優(yōu)截?cái)嗟那度胧綁K編碼)相結(jié)合。熵編碼部件35編碼的結(jié)果被輸出作為經(jīng)編碼的碼流D35-LL以成為壓縮處理部件 106的輸出D106-LL，并且還被輸入到碼量測量部件37。碼量測量部件37在累積一個(gè)幀內(nèi)的經(jīng)編碼碼流D35-LL的碼量的同時(shí)，將一個(gè)幀 內(nèi)的經(jīng)編碼碼流D35-LL的碼量與從控制部件36提供來的目標(biāo)碼量D36-LL相比較。當(dāng)一 個(gè)幀內(nèi)的經(jīng)編碼碼流D35-LL的碼量的累積可能超過目標(biāo)碼量時(shí)，碼量測量部件37把用于 量化部件33的量化步長D37-LL改變成大一級的大小。相反，當(dāng)一個(gè)幀內(nèi)的經(jīng)編碼碼流D35-LL的碼量的累積可能小于目標(biāo)碼量時(shí)，碼量 測量部件37將用于量化部件33的量化步長D37-LL改變成小一級的大小。以上是對壓縮編碼時(shí)壓縮處理部件106的操作的描述。然而，不僅2K頻帶的子帶 圖像LL分量，而且HL分量、LH分量和HH分量都被輸入到壓縮處理部件106。小波變換部件32也可被用于HL/LH/HH分量，就像其用于LL分量那樣，以提升分 割級別。然而，在圖4的示例中，在壓縮I/F部件105中已經(jīng)執(zhí)行了第一級別的小波變換。 從而，根據(jù)利用圖5所示的圖像的能量大多集中于低頻分量中這一屬性的常見小波變換， 采用僅對低頻分量的子帶圖像D105-LL進(jìn)行反復(fù)的變換和分割的模式。另外，存在這樣的情況，其中例如硬件可以以一個(gè)電路的形式實(shí)現(xiàn)從小波變換到 熵編碼的處理。在此情況下，對于利用相互并行的四個(gè)現(xiàn)有電路形成壓縮處理部件106沒 有施加限制，無需花費(fèi)精力來開發(fā)不執(zhí)行小波變換的新電路。在圖4的示例中，對于除LL分量以外的2K頻帶的子帶圖像D105-HL、D105-LH和 D105-HH，只執(zhí)行量化和熵編碼，不提升小波分割級別。然后，除LL分量以外的2K頻帶的子帶圖像D105-HL、D105-LH和D105-HH分別作為 經(jīng)編碼的碼流D35-HL、D35-LH和D35-HH而被輸出。然后，經(jīng)編碼的碼流D35-HL、D35_LH和 D35-HH成為壓縮處理部件106的輸出D106-HL、D106-LH和D106-HH。此外，碼量測量部件 37在累積一個(gè)幀內(nèi)的各經(jīng)編碼碼流的碼量的同時(shí)，將一個(gè)幀內(nèi)的各經(jīng)編碼碼流的碼量與從 控制部件36提供來的目標(biāo)碼量D36-HL、D36-LH和D36-HH相比較。與LL分量一樣，當(dāng)一個(gè) 幀內(nèi)的各經(jīng)編碼碼流的碼量可能超過目標(biāo)碼量時(shí)，碼量測量部件37把用于量化部件33的 量化步長改變成大一級的大小。相反，當(dāng)一個(gè)幀的各個(gè)經(jīng)編碼碼流的碼量的累積可能小于 目標(biāo)碼量時(shí)，碼量測量部件37將用于量化部件33的量化步長改變成小一級的大小。各2K頻帶的子帶圖像的碼量被如上所述地控制。在以上描述中，控制部件36預(yù)先在各相應(yīng)的碼量測量部件37中為各2K頻帶的子 帶圖像設(shè)定目標(biāo)碼量。然而，例如，關(guān)于碼量累積狀況的信息可從每個(gè)碼量測量部件37發(fā)送到控制部件36，并且每個(gè)子帶的目標(biāo)碼量可根據(jù)每個(gè)碼量測量部件37的碼量累積狀況 而適應(yīng)性調(diào)節(jié)和改變。因?yàn)樽匀粓D像可包括大量的低頻分量或相反地包括大量的高頻分 量，所以最優(yōu)碼量控制可根據(jù)圖像的屬性而執(zhí)行。以上是對壓縮編碼時(shí)的操作的描述。接下來，圖7是在解壓縮解碼時(shí)解壓縮處理部件206的詳細(xì)框圖，并且壓縮解碼時(shí) 的操作將被描述。被提供以經(jīng)編碼碼流D106-LL、D106-HL、D106-LH和D106-HH的熵解碼部件38根 據(jù)與參考圖4描述的熵編碼相對應(yīng)的部分執(zhí)行解碼。作為熵解碼的結(jié)果，生成了量化系數(shù) D38-LL、D38-HL、D38-LH 和 D38-HH。量化系數(shù)D38-LL、D38-HL、D38-LH和D38-HH在解量化部件39中被從量化系數(shù) D38-LL、D38-HL、D38-LH 和 D38-HH 轉(zhuǎn)換成小波變換系數(shù) D39-LL、D39-HL、D39_LH 和 D39-HH。 此情況中的解量化部件執(zhí)行作為(式1)的逆的操作，并且可由以下的(式2)來表達(dá)W = qX Δ …(式 2)(W是小波變換系數(shù)，q是量化系數(shù)，并且Δ是量化步長)。小波變換系數(shù)D39-LL在逆小波變換部件40中被恢復(fù)成LL分量的2Κ頻帶的子帶 圖像D105-LL。然后子帶圖像D105-LL被輸出。要明確的是，當(dāng)除LL分量以外的2Κ頻帶的子帶圖像D105-HL、D105-LH和D105-HH 在編碼時(shí)也經(jīng)歷小波重分割時(shí)，只要為每個(gè)子帶提供逆小波變換部件40以用于將小波變 換系數(shù)D39-HL、D39-LH和D39-HH恢復(fù)成各2K頻帶的子帶圖像即可。以上是對壓縮解碼時(shí)的操作的描述。下面將參考圖8A至8C來總結(jié)現(xiàn)有的專利文獻(xiàn)2中描述的技術(shù)的問題。圖8A示出了使用通常拜耳布置的4K拜耳RAW圖像的示例。雖然存在4K像素，但這4K像素如圖8A所示在通常拜耳布置中被不同地描繪成 RGB,并且只有與RGB濾色器相對應(yīng)的光波長分量在各像素中被從光轉(zhuǎn)換成電信號。在通常 拜耳布置中，G被布置成棋盤格(格子旗)圖案。圖8B示出了通過分離4K拜耳RAW圖像的像素而獲得的R像素、Gl像素、G2像素 和B像素這四種顏色分量的示例。在專利文獻(xiàn)2中描述的技術(shù)中，上述的4K拜爾RAW圖像被視為R像素、Gl像素、 G2像素和B像素這四種顏色分量。圖8C示出了對于不同像素收集圖8B所示的四種顏色分量的示例。在專利文獻(xiàn)2中描述的技術(shù)中，圖8B所示的顏色分量中包括的像素被收集，以形 成2K R圖像、2K Gl圖像、2K G2圖像以及2K B圖像，并且2K R圖像、2K Gl圖像、2K G2圖 像和2K B圖像各自經(jīng)歷使用小波變換的壓縮編碼，然后被記錄。Gl像素和G2像素原本在傾斜方向上是相鄰的，并且已知Gl像素和G2像素之間具 有很高的相關(guān)性。然而，專利文獻(xiàn)2中描述的技術(shù)花費(fèi)精力來對Gl圖像和G2圖像進(jìn)行壓 縮編碼，就好像Gl圖像和G2圖像是兩個(gè)獨(dú)立圖像(或兩種顏色分量)那樣，從而降低了壓 縮效率。雖然尤其是小波變換因?yàn)檎麄€(gè)畫面被轉(zhuǎn)換成了子帶而實(shí)現(xiàn)了高壓縮效率，但是很 難說現(xiàn)有技術(shù)與小波變換的組合可以享受到小波變換中固有的高壓縮率。此外，如圖8B所示，由于Gl圖像和G2圖像的亞采樣而導(dǎo)致的“離散縮減”被執(zhí)行。從而，很明顯，當(dāng)只有Gl圖像或G2圖像被顯示在2K監(jiān)視器上時(shí)，根據(jù)采樣定理而發(fā)生 混疊。從而，Gl圖像和G2圖像都可用于通過信號處理而生成2K平均圖像，并隨后將2K平 均圖像顯示在監(jiān)視器上，但是必須兩次訪問2K的數(shù)據(jù)。然而，小波變換是子帶分割，從而本 質(zhì)上就能夠在只有2K低頻分量被訪問時(shí)使能監(jiān)視器上的顯示。從這個(gè)方面來看，也很難說 專利文獻(xiàn)2中描述的技術(shù)完全享受了小波變換的優(yōu)點(diǎn)。圖9A至9D示出了現(xiàn)有技術(shù)被應(yīng)用到雙倍密度拜耳布置的示例。在圖9A中，通常拜耳布置的像素密度被加倍，并且像素被45°傾斜布置。在此布置中，G圖像是4K全像素的，R圖像和B圖像是傾斜間隔開的，但在水平方 向和垂直方向上提供了 4K分辨率。該布置的像素密度是通常拜耳布置的兩倍，從而該布置 在以下描述中將被稱為“雙倍密度拜耳布置”。現(xiàn)在將考慮根據(jù)專利文獻(xiàn)2中描述的技術(shù)對使用此雙倍密度拜耳布置的4K RAff 圖像進(jìn)行壓縮的情況。在此情況下，與拜耳布置不同，對于G提供所有4K像素，而R圖像和 B圖像是棋盤格圖案的形式，如圖9B所示。從而，如圖9C所示，4K RAff圖像被視為Rl像素、 R2像素、G像素(4K分辨率)、Bl像素和B2像素這五種顏色分量。然后，如圖9D所示收集 像素，以形成2K Rl圖像、2K R2圖像、4K G圖像、2K Bl圖像和2K B2圖像。每個(gè)圖像經(jīng)歷 使用小波變換的壓縮編碼，然后被記錄。雖然在拜耳布置中只有G圖像經(jīng)歷了分離成兩個(gè)畫面的亞采樣分離并隨后被壓 縮，但在雙倍密度拜耳布置中R圖像和B圖像都經(jīng)歷了到兩個(gè)畫面的亞采樣分離。另外，在 拜耳布置中，高像素密度的G圖像被分離成兩個(gè)畫面，從而即使當(dāng)G圖像的壓縮效率被降低 時(shí)也原本具有高像素密度，并且可以與低像素密度的R圖像和G圖像的壓縮圖像質(zhì)量獲得 平衡。另一方面，在雙倍密度拜耳布置中，低像素密度的R圖像和B圖像都進(jìn)一步經(jīng)歷到 兩個(gè)畫面的亞采樣分離，從而具有低像素密度并且壓縮效率也降低，并且與G圖像的壓縮 圖像質(zhì)量的平衡進(jìn)一步受到了妨害。此外，如聯(lián)系拜耳布置的G圖像所述，當(dāng)經(jīng)亞采樣的R圖像和經(jīng)亞采樣的B圖像被 直接顯示在2K監(jiān)視器上時(shí)，恐怕會發(fā)生混疊。另一方面，可以預(yù)期根據(jù)本示例的相機(jī)部件10將利用小波變換的固有特征、聯(lián)系 尤其是雙倍密度拜耳布置中的R圖像和B圖像的RAW數(shù)據(jù)壓縮，而提供巨大的改善。另外， 從通常拜耳布置到RGB全像素的像素布置都可通過同一種方法來處理。接下來將參考圖10來描述壓縮I/F部件105的小波變換時(shí)的處理的示例。壓縮I/F部件105在使用小波變換時(shí)可使其效果最大化。從而，雖然壓縮I/F部 件105具有與壓縮處理部件106中的小波變換部件32相同的基本配置，但是將參考圖10 來重新描述壓縮I/F部件105的處理。圖像拍攝RAW數(shù)據(jù)D102作為壓縮I/F部件105的輸入圖像被輸入。在此情況下， 假定圖3所示的4K RGB全像素被輸入，4096 X 2160大小的三個(gè)R/G/B分量經(jīng)歷完全相同的 處理。首先，輸入圖像經(jīng)歷水平方向上的小波變換。該小波變換包括低通濾波器(LPF) 和高通濾波器(HPF)，它們各自執(zhí)行2 1下采樣(圖10中由向下箭頭和數(shù)字2指示)。結(jié) 果，獲得了水平方向上減半的2048X2160大小的低頻子帶圖像(L)和高頻子帶圖像(H)。
接下來，2048X2160低頻子帶圖像(L)經(jīng)歷垂直方向上的小波變換。該小波變換 經(jīng)由低通濾波器(LPF)和高通濾波器(HPF)中的每一個(gè)執(zhí)行2 1下采樣。作為此處理的 結(jié)果，獲得了垂直方向上減半的2048X1080大小的低頻子帶圖像(L，L)D105-LL和高頻子 帶圖像(L, H)D105-LHo此外，2048X2160高頻子帶圖像(H)經(jīng)歷垂直方向上的小波變換。該小波變換經(jīng) 由低通濾波器(LPF)和高通濾波器(HPF)中的每一個(gè)執(zhí)行2 1下采樣。作為此處理的結(jié) 果，獲得了垂直方向上減半的2048X1080大小的低頻子帶圖像(H，L)D105-HL和高頻子帶 圖像(H，H)D105-HH。如上所述，壓縮I/F部件105使4096 X 2160大小的三個(gè)R/G/B分量經(jīng)歷小波變換， 并且獲得以下三個(gè)分量·在水平方向和垂直方向上都經(jīng)過了低通濾波器的2048X1080大小的子帶圖像 (L, L)D105-LL 是三個(gè) R/G/B 分量·在水平方向上經(jīng)過了低通濾波器并且在垂直方向上經(jīng)過了高通濾波器的 2048X1080大小的子帶圖像(L，H)D105_LH是三個(gè)R/G/B分量·在水平方向上經(jīng)過了高通濾波器并且在垂直方向上經(jīng)過了低通濾波器的 2048 X 1080大小的子帶圖像(H，L)D105_HL是三個(gè)R/G/B分量·在水平方向和垂直方向上都經(jīng)過了高通濾波器的2048X1080大小的子帶圖像 (H, H)D105-HH 是三個(gè) R/G/B 分量從而，2048 X 1080大小的四種子帶圖像被轉(zhuǎn)換成三個(gè)R/G/B分量的總共12個(gè) 2048X1080大小的子帶圖像。接下來將描述逆小波變換時(shí)解壓縮I/F部件205的處理。從相機(jī)部件10傳送來并且經(jīng)解壓縮處理部件206解壓縮的2048 X 1080大小的每 個(gè)子帶圖像(D105-LL/HL/LH/HH)的三個(gè)R/G/B分量作為輸入圖像被輸入到解壓縮I/F部 件205中。在水平方向和垂直方向上都經(jīng)過了低通濾波器的2048X1080大小的子帶圖像 (L，L)D105-LL和在水平方向上經(jīng)過了低通濾波器并且在垂直方向上經(jīng)過了高通濾波器的 2048X1080大小的子帶圖像(L，H)D105-LH經(jīng)歷垂直方向上的逆小波變換。該逆小波變換 使子帶圖像D105-LL經(jīng)歷1 2上采樣(圖11中由向上箭頭和數(shù)字2指示)，然后使子帶 圖像D105-LL經(jīng)過低通濾波器(LPF)，并且使子帶圖像D105-LH經(jīng)歷1 2上采樣，然后使 子帶圖像D105-LH經(jīng)過高通濾波器(HPF)。然后，兩個(gè)子帶圖像被合成，從而獲得垂直方向 上加倍的2048X2160大小的低頻子帶圖像(L)。此外，在水平方向上經(jīng)過了高通濾波器并且在垂直方向上經(jīng)過了低通濾波器的 2048X1080大小的子帶圖像(H，L)D105-HL和在水平方向和垂直方向上都經(jīng)過了高通濾波 器的2048X1080大小的子帶圖像(H，H)D105-HH經(jīng)歷垂直方向上的逆小波變換。該逆小 波變換使子帶圖像D105-HL經(jīng)歷1 2上采樣，然后使子帶圖像D105-HL經(jīng)過低通濾波器 (LPF)，并且使子帶圖像D105-HH經(jīng)歷1 2上采樣，然后使子帶圖像D105-HH經(jīng)過高通濾 波器(HPF)。然后，兩個(gè)子帶圖像被合成，從而獲得垂直方向上加倍的2048X2160大小的高 頻子帶圖像(H)。接下來，由垂直方向上的逆小波變換產(chǎn)生的2048X2160大小的低頻子帶圖像(L)和2048X2160大小的高頻子帶圖像(H)經(jīng)歷水平方向上的逆小波變換。該逆小波變換使低 頻子帶圖像(L)經(jīng)歷1 2上采樣，然后使低頻子帶圖像(L)經(jīng)過低通濾波器(LPF)，并且 使高頻子帶圖像(H)經(jīng)歷1 2上采樣，然后使高頻子帶圖像(H)經(jīng)過高通濾波器(HPF)。 然后，兩個(gè)子帶圖像被合成，從而獲得水平方向也加倍的4096X2160大小的圖像拍攝RAW 數(shù)據(jù)D105。如上所述，逆小波變換時(shí)解壓縮I/F部件205的處理是利用從相機(jī)部件10傳送來 的、經(jīng)解壓縮的2048X1080大小的子帶圖像(D105-LL/HL/LH/HH)來執(zhí)行的。在此處理中， 利用針對三個(gè)R/G/B分量的子帶圖像，在垂直方向和水平方向上執(zhí)行逆小波變換，并且將 子帶圖像解碼成4096X2160大小的三個(gè)R/G/B分量。現(xiàn)在將參考圖12A至12D來描述本示例中的壓縮I/F部件105如何針對圖3所示 的雙倍密度拜耳布置執(zhí)行處理。圖12A示出了如上所述通過使通常拜耳布置的像素密度加倍并且以45°傾斜地 布置通常拜耳布置而形成的雙倍密度拜耳布置。在雙倍密度拜耳布置中，G圖像是4K全像 素，R圖像和G圖像是傾斜間隔開的，但在水平方向和垂直方向上提供4K分辨率。此時(shí)，圖像拍攝元件部件I02具有雙倍密度拜耳布置，這是通過使拜耳布置的像 素密度加倍并且以45°傾斜地布置拜耳布置而獲得的像素布置。壓縮I/F部件105通過以相鄰的上下兩行為單位掃描像素并且執(zhí)行水平方向上的 小波變換，或者通過以相鄰的左右兩列為單位掃描像素并且執(zhí)行垂直方向上的小波變換， 來把從雙倍密度拜耳布置的圖像拍攝元件部件102輸出的RGB圖像數(shù)據(jù)的R和B圖像數(shù)據(jù) 分解成R和B子帶圖像。壓縮I/F部件105通過以一行的像素為單位執(zhí)行水平方向上的小 波變換并且以一列的像素為單位執(zhí)行垂直方向上的小波變換，來把G圖像數(shù)據(jù)分解成G子 帶圖像。具體而言，首先描述G，要明確的是，只要進(jìn)行與參考圖10描述的處理完全相同的 處理即可，因?yàn)镚圖像具有4K全像素。具體而言，壓縮I/F部件105如圖12B所示使4096X2160大小的G圖像經(jīng)歷水平 方向上的小波變換。然后，如圖12C所示獲得水平方向上減半的2048X2160大小的低頻子 帶G圖像(L)和高頻子帶G圖像(H)。以JPEG2000中定義的5X3可逆小波濾波器(對于 低通側(cè)的濾波器有五個(gè)抽頭，對于高通側(cè)的濾波器有三個(gè)抽頭)為例，圖中虛線所圍繞的 區(qū)域表示五抽頭濾波器(低通側(cè)的濾波器)所覆蓋的像素范圍，其中圖中左端的像素(帶 有星形的像素)是該像素范圍的中心。這是對水平方向上的每兩個(gè)像素執(zhí)行的，從而實(shí)現(xiàn) 了 2 1下采樣。關(guān)于細(xì)節(jié)，應(yīng)參考JPEG2000標(biāo)準(zhǔn)等等。接下來，水平方向上減半的2048X2160大小的低頻子帶G圖像(L)和高頻子帶G 圖像(H)如圖12C所示經(jīng)歷垂直方向上的小波變換。然后，獲得以下子帶圖像，如圖12D所 在水平方向和垂直方向上都經(jīng)過了低通濾波器的2048X1080大小的子帶G圖像 (LL)。在水平方向上經(jīng)過了低通濾波器并且在垂直方向上經(jīng)過了高通濾波器的 2048X1080大小的子帶G圖像(LH)。在水平方向上經(jīng)過了高通濾波器并且在垂直方向上經(jīng)過了低通濾波器的2048X1080大小的子帶G圖像(HL)。在水平方向和垂直方向上都經(jīng)過了高通濾波器的2048X1080大小的子帶G圖像 (HH)。從而，形成4K雙倍密度拜耳RAW圖像的G圖像被轉(zhuǎn)換成四種2048 X 1080大小的 子帶G圖像?，F(xiàn)在將考慮R圖像和B圖像。R圖像和B圖像是棋盤格圖案的形式。因此，當(dāng)使用 參考圖9A至9D描述的方法時(shí)，像素密度較低，并且壓縮效率也降低，如上所述。從而，與G 圖像的壓縮圖像質(zhì)量的平衡進(jìn)一步受到妨害。本示例中的壓縮I/F部件105從而使R圖像和B圖像經(jīng)歷以相鄰的上下兩行為單 位的小波變換。具體而言，如圖12B所示，壓縮I/F部件105以相鄰的上下兩行為單位，以W的形 式掃描R圖像的像素，并且就好像這些像素形成一行的像素?cái)?shù)據(jù)那樣執(zhí)行小波變換。此外，壓縮I/F部件105以相鄰的上下兩行為單位，以M的形式掃描B圖像的像素， 并且就好像這些像素形成一行的像素?cái)?shù)據(jù)那樣執(zhí)行小波變換。當(dāng)上下兩行被設(shè)定為一個(gè)單位時(shí)，可以認(rèn)為一行具有4096個(gè)真實(shí)像素。從而，R圖 像和B圖像可被視為4096 X 1080圖像。此4096X 1080R圖像經(jīng)歷水平方向上的小波變換，以被轉(zhuǎn)換成經(jīng)過了低通濾波器的2048X 1080大小的子帶R圖像；以及經(jīng)過了高通濾波器的2048X 1080大小的子帶R圖像。4096X1080B圖像類似地經(jīng)歷水平方向上的小波變換，以被轉(zhuǎn)換成經(jīng)過了低通濾波器的2048X 1080大小的子帶B圖像；以及經(jīng)過了高通濾波器的2048X 1080大小的子帶B圖像。在已執(zhí)行了水平方向上的小波變換的時(shí)間點(diǎn)，已經(jīng)獲得了 2048X1080大小的子 帶圖像，并且該大小與G的子帶圖像的大小相一致。從而，不在垂直方向上執(zhí)行小波變換。這意味著，對于所有RGB都獲得了統(tǒng)一的2048X1080大小的子帶圖像，獲得了 2048X 1080RGB全圖像，并且執(zhí)行了簡單的所謂顏色分離。從而，從壓縮I/F部件105輸出的子帶圖像在4K全像素體系和4K雙倍密度拜耳 布置中具有相同的大小，因此從壓縮處理部件106起以后的處理可以是共用的處理。將單 獨(dú)詳細(xì)描述這一點(diǎn)。在圖12D中，以下描述用于與下文中描述的其他體系相區(qū)分，并且用于描述僅經(jīng) 歷了水平方向上的小波變換的R圖像和B圖像?！そ?jīng)過了低通濾波器的2048X 1080大小的子帶R圖像是子帶R圖像(LL)·經(jīng)過了高通濾波器的2048X 1080大小的子帶R圖像是子帶R圖像(HL)·經(jīng)過了低通濾波器的2048X 1080大小的子帶B圖像是子帶B圖像(LL)·經(jīng)過了高通濾波器的2048X 1080大小的子帶B圖像是子帶B圖像(HL)雖然已經(jīng)在假定壓縮I/F部件105以W的形式掃描R像素并且以M的形式掃描B 像素的情況下進(jìn)行了描述，但是要明確的是，當(dāng)R像素和B像素的起始像素位置變得不同 時(shí)，W形式和M形式被顛倒。已經(jīng)參考圖12A至12D描述了通過對雙倍密度拜耳布置的R圖像和B圖像以相鄰的上下兩行為單位執(zhí)行小波變換來解決這些問題的方法。作為另一種方法，將參考圖13A 至13D來描述通過對雙倍密度拜耳布置的R圖像和B圖像以相鄰的左右兩個(gè)像素為單位執(zhí) 行小波變換來解決這些問題的方法。首先，對于G圖像，因?yàn)镚圖像具有4K全像素，所以執(zhí)行與參考圖12A至12D描述 的處理完全相同的處理，這里將省略。雖然從圖13A至13D明顯可見，但仍將按順序描述對雙倍密度拜耳布置的R圖像 和B圖像的處理。此時(shí)，壓縮I/F部件105以相鄰的左右兩列為單位掃描從雙倍密度拜耳布置的圖 像拍攝元件部件102輸出的RGB圖像數(shù)據(jù)的R和B圖像數(shù)據(jù)的像素，并且執(zhí)行垂直方向上 的小波變換。然后，對于G圖像數(shù)據(jù)，壓縮I/F部件105以一行的像素為單位執(zhí)行水平方向 上的小波變換并且以一列的像素為單位執(zhí)行垂直方向上的小波變換。具體而言，如圖13B所示，R像素和B像素直接被發(fā)送到垂直方向上的小波變換， 而不經(jīng)歷水平方向上的小波變換。此時(shí)，如圖13C所示，壓縮I/F部件105以相鄰的左右兩 個(gè)像素為單位以朝左的W的形式掃描R像素，并且就好像這些像素形成布置成一列的像素 數(shù)據(jù)那樣執(zhí)行小波變換。此外，壓縮I/F部件105以相鄰的左右兩個(gè)像素為單位以朝右的W的形式掃描B 像素，并且就好像這些像素形成布置成一列的像素?cái)?shù)據(jù)那樣執(zhí)行小波變換。當(dāng)左右兩個(gè)像素被設(shè)定為一個(gè)單位時(shí)，可以認(rèn)為R圖像和B圖像在垂直方向上具 有2160個(gè)真實(shí)像素。從而，R圖像和B圖像可被視為2048X2160圖像。此2048X2160R圖像經(jīng)歷垂直方向上的小波變換。此時(shí)，壓縮I/F部件105將該 2048X2160R圖像轉(zhuǎn)換成經(jīng)過了低通濾波器的2048X1080大小的子帶R圖像；以及經(jīng)過了高通濾波器的2048X 1080大小的子帶R圖像。2048X2160B圖像類似地經(jīng)歷垂直方向上的小波變換。此時(shí)，壓縮I/F部件105將 該2048X2160B圖像轉(zhuǎn)換成經(jīng)過了低通濾波器的2048X 1080大小的子帶B圖像；以及經(jīng)過了高通濾波器的2048X 1080大小的子帶B圖像。在已執(zhí)行了垂直方向上的小波變換的時(shí)間點(diǎn)，獲得了 2048X1080大小的子帶圖 像，并且該大小與G的子帶圖像的大小相一致。從而，從壓縮I/F部件105輸出的子帶圖像在4K全像素體系和4K雙倍密度拜耳 布置中具有相同的大小，因此從壓縮處理部件106起以后的處理可以是共用的處理。將單 獨(dú)詳細(xì)描述這一點(diǎn)。在圖13D中，子帶圖像被如下描述，以便區(qū)分于下文中將要描述的其他體系，并且 用于描述僅經(jīng)歷了垂直方向上的小波變換的R圖像和B圖像。·經(jīng)過了低通濾波器的2048X 1080大小的子帶R圖像是子帶R圖像(LL)·經(jīng)過了高通濾波器的2048X 1080大小的子帶R圖像是子帶R圖像(LH)·經(jīng)過了低通濾波器的2048X 1080大小的子帶B圖像是子帶B圖像(LL)·經(jīng)過了高通濾波器的2048X 1080大小的子帶B圖像是子帶B圖像(LH)雖然以上已經(jīng)在假定壓縮I/F部件105以朝左的W的形式掃描R像素并且以朝右的W的形式掃描B像素的情況下參考圖13A至13D進(jìn)行了描述，但是要明確的是，當(dāng)R像素 和B像素的起始像素位置變得不同時(shí)，朝左的W的形式和朝右的W的形式被顛倒。另一方面，解壓縮I/F部件205通過使R和B子帶圖像經(jīng)歷以相鄰的上下兩行的 像素為單位的水平方向上的逆小波變換或者以相鄰的左右兩列的像素為單位的垂直方向 上的逆小波變換，來將R和B子帶圖像解壓縮成R和B圖像數(shù)據(jù)。解壓縮I/F部件205通 過使G子帶圖像經(jīng)歷以一行的像素為單位的水平方向上的逆小波變換和以一列的像素為 單位的垂直方向上的逆小波變換，來將G子帶圖像解壓縮成G圖像數(shù)據(jù)。以上已經(jīng)參考圖12A至12D和圖13A至13D描述了如何針對雙倍密度拜耳布置執(zhí) 行小波變換處理。接下來將參考圖14A至14D來描述在小波變換之后經(jīng)過了低通濾波器的 2048 X 1080大小的子帶圖像的像素重心位置。以下描述將利用作為JPEG20005X3可逆小波濾波器系數(shù)的(-1/8，2/8，6/8， 2/8，-1/8)作為示例來進(jìn)行。圖14A示出了 5X3可逆小波濾波器被應(yīng)用到G圖像的示例。首先，水平方向上的 五個(gè)像素被乘以濾波器系數(shù)(-1/8，2/8，6/8，2/8，-1/8)。第三個(gè)像素被乘以6/8，并且以第 三個(gè)像素為中心的左側(cè)兩個(gè)像素和右側(cè)兩個(gè)像素被乘以對稱的系數(shù)。從而，水平方向上的
像素的重心與第三個(gè)像素的位置一致。接下來，垂直方向上的五個(gè)像素被乘以濾波器系數(shù)(-1/8，2/8，6/8，2/8，-1/8)。第 三個(gè)像素被乘以6/8，并且以第三個(gè)像素為中心的上方兩個(gè)像素和下方兩個(gè)像素被乘以對 稱的系數(shù)。從而，垂直方向上的像素的重心也與第三個(gè)像素的位置一致。即，通過使G圖像經(jīng)過低通小波濾波器而獲得的2048X 1080大小的子帶圖像的像 素重心位置在水平方向和垂直方向上都是被乘以了濾波器系數(shù)6/8的像素(圖14A中的圓 圈標(biāo)記〇)的位置。圖14B示出了 5X3可逆小波濾波器被應(yīng)用到R圖像的示例。如參考圖12A至12D 所述，壓縮I/F部件105以相鄰的上下兩行為單位以W的形式掃描R圖像的像素，并且使這 些像素經(jīng)歷小波變換，就好像這些像素是一行的像素?cái)?shù)據(jù)那樣。五個(gè)像素被乘以濾波器系數(shù)(-1/8，2/8，6/8，2/8，-1/8)。第三個(gè)像素被乘以6/8， 并且以第三個(gè)像素為中心的左側(cè)兩個(gè)像素和右側(cè)兩個(gè)像素被乘以對稱的系數(shù)。從而，水平 方向上的像素的重心與第三個(gè)像素的位置一致。R圖像不經(jīng)歷垂直方向上的小波變換。關(guān)注上述水平方向上的小波系數(shù)，濾波器系 數(shù)(-1/8，6/8，-1/8)被應(yīng)用到上方一行的三個(gè)像素。從而表明上方一行的三個(gè)像素的系數(shù) 的權(quán)重是-1/8+6/8-1/8 = 1/2接下來，濾波器系數(shù)(2/8，2/8)被應(yīng)用到下方一行的兩個(gè)像素，從而表明下方一 行的兩個(gè)像素的系數(shù)的權(quán)重是2/8+2/8 = 1/2以上表明，R圖像的垂直方向上的像素的重心正好是以相鄰的上下兩行為單位以 W的形式掃描像素的那兩行之間的中間位置。即，通過使R圖像經(jīng)過低通小波濾波器而獲得的2048X 1080大小的子帶圖像的像素重心位置在水平方向上是被乘以了濾波器系數(shù)6/8的像素的位置，而在垂直方向上是被 設(shè)定為作為一個(gè)單位的相鄰的上下兩行的那些行之間的位置(圖14B中的圓圈標(biāo)記〇)。圖14C示出了 5X3可逆小波濾波器被應(yīng)用到B圖像的示例。如參考圖12A至12D 所述，壓縮I/F部件105以相鄰的上下兩行為單位以M的形式掃描B圖像的像素，并且使這 些像素經(jīng)歷小波變換，就好像這些像素是一行的像素?cái)?shù)據(jù)那樣。五個(gè)像素被乘以濾波器系數(shù)(-1/8，2/8，6/8，2/8，-1/8)。第三個(gè)像素被乘以6/8， 并且以第三個(gè)像素為中心的左側(cè)兩個(gè)像素和右側(cè)兩個(gè)像素被乘以對稱的系數(shù)。從而，水平 方向上的像素的重心與第三個(gè)像素的位置一致。B圖像不經(jīng)歷垂直方向上的小波變換。關(guān)注上述水平方向上的小波系數(shù)，濾波器系 數(shù)(-1/8，6/8，-1/8)被應(yīng)用到下方一行的三個(gè)像素。從而表明下方一行的三個(gè)像素的系數(shù) 的權(quán)重是-1/8+6/8-1/8 = 1/2接下來，濾波器系數(shù)(2/8，2/8)被應(yīng)用到上方一行的兩個(gè)像素，從而表明上方一 行的兩個(gè)像素的系數(shù)的權(quán)重是2/8+2/8 = 1/2以上表明，B圖像的垂直方向上的像素的重心正好是以相鄰的上下兩行為單位以 M的形式掃描像素的那兩行之間的中間位置。S卩，通過使B圖像經(jīng)過低通小波濾波器而獲得的2048X 1080大小的子帶圖像的像 素重心位置在水平方向上是被乘以了濾波器系數(shù)6/8的像素的位置，而在垂直方向上是被 設(shè)定為作為一個(gè)單位的相鄰的上下兩行的那些行之間的位置(圖14C中的圓圈標(biāo)記〇)?？偨Y(jié)以上內(nèi)容，經(jīng)過了低通小波濾波器的2048X1080大小的子帶圖像的像素重 心位置如圖14D所示。此時(shí)，表明了 R圖像和B圖像具有相同的位置，而G圖像在垂直方向 上具有相同的位置，而僅略微偏離了 1/2像素。諸如JPEG2000之類的使用小波濾波器的子帶分割的特征之一是可從一個(gè)壓縮流 獲得l/2n分辨率的圖像大小。這表明，在雙倍密度拜耳布置中，當(dāng)僅顯示在水平方向和垂 直方向中的每一個(gè)上具有一半圖像大小的低頻子帶圖像時(shí)，RGB的像素重心位置也是基本 相同的。即，表明了可以顯示基本沒有顏色偏離的低頻子帶圖像，而無需使像素重心位置互一致。當(dāng)然，當(dāng)G圖像在水平方向上被校正1/2像素時(shí)，RGB的像素重心位置完全相互一 致。另外，在此情況下，因?yàn)橹挥蠫圖像在水平方向上被校正1/2像素，所以可以獲得只要 較小的硬件規(guī)模即可的效果。此外，當(dāng)R圖像和B圖像如圖13A至13D所示僅在垂直方向上經(jīng)歷小波變換時(shí)，表 明了當(dāng)應(yīng)用與圖14A至14D類似的考慮時(shí)，雖然沒有詳細(xì)示出，R圖像和B圖像具有相同的 位置，而G圖像在水平方向上具有相同位置，而在垂直方向上僅略微偏離1/2像素。以上是針對雙倍密度拜耳布置的處理的細(xì)節(jié)。接下來將參考圖15A至15D描述針對圖3中的傾斜布置三板體系的壓縮編碼處理 的示例。圖15A示出了作為一個(gè)圖像拍攝元件102具有45°傾斜布置的像素并且假定在相 鄰的兩個(gè)水平或垂直像素或者四個(gè)水平或垂直像素之間執(zhí)行像素插值以插值出圖中的虛線圓圈標(biāo)記所指示的像素的像素布置。此時(shí)，圖像拍攝元件部件102是傾斜布置三板體系，這是具有45°傾斜布置的像 素并且假定在水平方向或垂直方向上相鄰的像素之間執(zhí)行了插值的像素布置。以下將描述將本發(fā)明應(yīng)用到利用具有上述像素布置的三個(gè)圖像拍攝元件部件102 并結(jié)合光學(xué)棱鏡來執(zhí)行圖像拍攝的系統(tǒng)或者具有該像素布置并且具有在傳感器深度方向 上有光波長敏感性的這樣一種結(jié)構(gòu)的單板型圖像拍攝系統(tǒng)的方法。首先，因?yàn)榧俣▓D15A中虛線圓圈標(biāo)記所指示的像素是從周圍像素插值而來的， 所以可以認(rèn)為圖15A中虛線圓圈標(biāo)記所指示的像素不是作為真實(shí)像素存在的。S卩，如圖15B 所示，陰影所指示的像素被認(rèn)為是不存在的，并且此圖案因此可被認(rèn)為與以上參考圖12A 至12D描述的雙倍密度拜耳布置中的R或B像素的圖案相同。差異在于，R圖像、B圖像和G圖像都具有相同的圖案。因此，只要使R圖像、B圖像和G圖像經(jīng)歷以相鄰的上下兩行為單位的小波變換即可。此時(shí)，壓縮I/F部件105通過以相鄰的上下兩行為單位掃描來自傾斜布置三板體 系的圖像拍攝元件部件102的所有RGB圖像數(shù)據(jù)的像素并且執(zhí)行水平方向上的小波變換， 或者以相鄰的左右兩列為單位掃描來自傾斜布置三板體系的圖像拍攝元件部件102的所 有RGB圖像數(shù)據(jù)的像素并且執(zhí)行垂直方向上的小波變換，來將來自傾斜布置三板體系的圖 像拍攝元件部件102的所有RGB圖像數(shù)據(jù)分解成子帶圖像。具體而言，如圖15B所示，壓縮I/F部件105以相鄰的上下兩行為單位以W的形式 掃描像素，并且就好像這些像素是一行的像素?cái)?shù)據(jù)那樣執(zhí)行小波變換。取決于像素的起始 位置，可以以相鄰的上下兩行為單位以M的形式掃描像素，并且就好像這些像素是一行的 像素?cái)?shù)據(jù)那樣執(zhí)行小波變換。當(dāng)相鄰的上下兩行被設(shè)定為一個(gè)單位時(shí)，可以認(rèn)為一行具有4096個(gè)真實(shí)像素。從 而，RGB圖像可被視為4096 X 1080圖像。這些4096 X 1080圖像經(jīng)歷水平方向上的小波變換，從而RGB圖像被各自轉(zhuǎn)換成經(jīng)過了低通濾波器的2048X 1080大小的子帶圖像；以及經(jīng)過了高通濾波器的2048X 1080大小的子帶圖像。在執(zhí)行了水平方向上的小波變換的時(shí)間點(diǎn)，已經(jīng)獲得了 2048X1080大小的子帶 圖像。從而，不在垂直方向上執(zhí)行小波變換。這意味著，對于所有RGB都獲得了統(tǒng)一的2048 X 1080大小的子帶圖像，獲得了 2048X1080的RGB全圖像，并且執(zhí)行了簡單的所謂顏色分離。從而，從壓縮I/F部件105輸出的子帶圖像在4K全像素體系和4K傾斜布置三板 體系中具有相同的大小，因此從壓縮處理部件106起以后的處理可以是共用的處理。將單 獨(dú)詳細(xì)描述這一點(diǎn)。在圖15D中，2048X1080大小的子帶圖像被描述如下，以區(qū)分于下文中將描述的 其他體系，并且用于描述僅經(jīng)歷了水平方向上的小波變換的圖像?！そ?jīng)過了低通濾波器的2048X 1080大小的子帶R圖像是子帶R圖像(LL)·經(jīng)過了高通濾波器的2048X 1080大小的子帶R圖像是子帶R圖像(HL)·經(jīng)過了低通濾波器的2048X 1080大小的子帶G圖像是子帶G圖像(LL)
·經(jīng)過了高通濾波器的2048X 1080大小的子帶G圖像是子帶G圖像(HL)·經(jīng)過了低通濾波器的2048X 1080大小的子帶B圖像是子帶B圖像(LL)·經(jīng)過了高通濾波器的2048X 1080大小的子帶B圖像是子帶B圖像(HL)雖然已經(jīng)參考圖15A至15D描述了其中傾斜布置三板體系的圖像經(jīng)歷以相鄰的上 下兩行為單位的小波變換的處理，但是作為另一種方法，也可以以相鄰的左右兩個(gè)像素為 單位執(zhí)行小波變換。然而，該處理與參考圖13A至13D描述的雙倍密度拜耳布置的R圖像 和B圖像的處理完全相同，并且在這里將被省略。另一方面，解壓縮I/F部件205通過使子帶圖像經(jīng)歷以相鄰的上下兩行的像素 為單位的水平方向上的逆小波變換或者以相鄰的左右兩列的像素為單位的垂直方向上的 逆小波變換，來將子帶圖像解壓縮成來自傾斜布置三板體系的圖像拍攝元件的RGB圖像數(shù) 據(jù)。已經(jīng)參考圖14A至14D描述了在雙倍密度拜耳布置中在小波變換后經(jīng)過了低通濾 波器的2048X1080大小的子帶圖像的像素重心位置。然而，在傾斜布置三板體系中，像素位置被調(diào)節(jié)，以便在光學(xué)上相互一致。從而，很 明顯，對于RGB，小波變換后經(jīng)過了低通濾波器的2048X1080大小的子帶圖像的像素重心 位置是相同的，因此對其的描述將被省略。以上是針對傾斜布置三板體系的處理的細(xì)節(jié)。接下來將參考圖16A至16D描述針對圖3所示的通常拜耳布置的處理的示例。圖16A示出了所謂的通常拜耳布置。此時(shí)，圖像拍攝元件部件102具有拜耳布置。在圖16B中，拜耳布置被分離成RGB中的每一個(gè)，并且不存在真實(shí)像素的位置由陰 影指示。R圖像和B圖像是處于分離狀態(tài)的、已經(jīng)被離散縮減的2048X1080大小的圖像。從圖16B中可以明確，可認(rèn)為G圖像與參考圖12A至12D描述的雙倍密度拜耳布 置的R像素或B像素相同。因此，只要使G圖像經(jīng)歷以相鄰的上下兩行為單位的小波變換即可。此時(shí)，壓縮I/F部件105不向來自拜耳布置的圖像拍攝元件部件102的RGB圖像 數(shù)據(jù)的R和B圖像數(shù)據(jù)應(yīng)用小波變換。壓縮I/F部件105通過以相鄰的上下兩行為單位掃 描G圖像數(shù)據(jù)的像素并且執(zhí)行水平方向上的小波變換，或者以相鄰的左右兩列為單位掃描 G圖像數(shù)據(jù)的像素并且執(zhí)行垂直方向上的小波變換，來將G圖像數(shù)據(jù)分解成子帶圖像。具體而言，如圖16B所示，壓縮I/F部件105以相鄰的上下兩行為單位以M的形式 掃描像素，并且就好像這些像素是一行的像素?cái)?shù)據(jù)那樣執(zhí)行小波變換。取決于像素的起始位置，可以以相鄰的上下兩行為單位以W的形式掃描像素，并 且就好像這些像素是一行的像素?cái)?shù)據(jù)那樣執(zhí)行小波變換。當(dāng)相鄰的上下兩行被設(shè)定為一個(gè)單位時(shí)，可以認(rèn)為一行具有4096個(gè)真實(shí)像素。從 而，G圖像可被視為4096 X 1080的圖像。4096X1080的G圖像經(jīng)歷水平方向上的小波變換，以被轉(zhuǎn)換成經(jīng)過了低通濾波器的2048X 1080大小的子帶G圖像；以及經(jīng)過了高通濾波器的2048X 1080大小的子帶G圖像。在執(zhí)行了水平方向上的小波變換的時(shí)間點(diǎn)，已經(jīng)獲得了 2048X1080大小的子帶圖像。從而，不在垂直方向上執(zhí)行小波變換。這意味著，雖然R圖像和B圖像被離散縮減，但對于所有RGB都獲得了統(tǒng)一的 2048X1080大小的子帶圖像，獲得了 2048X1080的RGB全圖像，并且執(zhí)行了簡單的所謂顏 色分離。從而，從壓縮I/F部件105輸出的子帶圖像在4K全像素體系和4K通常拜耳布置 中具有相同大小，因此從壓縮處理部件106起以后的處理可以是共用的處理。將單獨(dú)詳細(xì) 描述這一點(diǎn)。在圖16D中，如下進(jìn)行描述，以使得R圖像和B圖像對于其他體系的處理是共用的 (雖然R圖像和B圖像被離散縮減)，并且對于G圖像，則用于與下文中將描述的其他體系 相區(qū)分，并且用于描述僅經(jīng)歷了水平方向上的小波變換的圖像?！?2048X1080大小的R圖像是子帶R圖像(LL)·經(jīng)過了低通濾波器的2048X 1080大小的子帶G圖像是子帶G圖像(LL)·經(jīng)過了高通濾波器的2048X 1080大小的子帶G圖像是子帶G圖像(HL)· 2048X1080大小的B圖像是子帶B圖像(LL)雖然已經(jīng)參考圖16A至16D描述了通常拜耳布置的G圖像經(jīng)歷以相鄰的上下兩行 為單位的小波變換的方法，但是作為另一種方法，也可以以相鄰的左右兩個(gè)像素為單位執(zhí) 行小波變換。然而，該方法與作為參考圖13A至13D描述的雙倍密度拜耳布置的R圖像和 B圖像的處理而描述的處理完全相同，并且在這里將被省略。另一方面，解壓縮I/F部件205在不使R和B子帶圖像經(jīng)歷逆小波變換的情況下 將R和B子帶圖像解壓縮成R和B圖像數(shù)據(jù)，并且通過使G子帶圖像經(jīng)歷以相鄰的上下兩 行的像素為單位的水平方向上的逆小波變換或者以相鄰的左右兩列的像素為單位的垂直 方向上的逆小波變換來將G子帶圖像解壓縮成G圖像數(shù)據(jù)。已經(jīng)參考圖14A至14D描述了雙倍密度拜耳布置中在小波變換后經(jīng)過了低通濾波 器的2048X1080大小的子帶圖像的像素重心位置。然而，在通常拜耳布置中，R圖像和B圖 像與其他發(fā)明中一樣經(jīng)歷簡單的離散縮減處理。從而，像素位置直接保持拜耳布置的像素 位置，因此對其的描述將被省略。以上是針對通常拜耳布置的處理的細(xì)節(jié)。已經(jīng)進(jìn)行了描述以表明壓縮I/F部件105從而與圖3所示的各種像素布置的任何 圖像拍攝元件相兼容。接下來將進(jìn)行描述以表明，因?yàn)閷τ趫D3所示的各種像素布置的任何圖像拍攝元 件部件102，從壓縮I/F部件105輸出的子帶圖像都具有2048 X 1080大小，所以從壓縮處理 部件106起以后的處理可以是共用的處理。圖17示出了對與到此為止描述的各種像素布置的圖像拍攝元件部件102相對應(yīng) 的從壓縮I/F部件105輸出的子帶圖像的總結(jié)。具體而言，這些子帶圖像可被總結(jié)為2048X1080大小的子帶的數(shù)目的差異，如 下。(在圖17中，未輸出的子帶圖像由虛線表示)。*RGB全像素體系· G =2048X1080 大小的四個(gè)子帶分量(LL/HL/LH/HH)· B =2048X1080 大小的四個(gè)子帶分量(LL/HL/LH/HH)
· R =2048X1080 大小的四個(gè)子帶分量(LL/HL/LH/HH)— 2048X1080大小的十二個(gè)子帶分量*雙倍密度拜耳布置· G =2048X1080 大小的四個(gè)子帶分量(LL/HL/LH/HH)· B =2048X1080大小的兩個(gè)子帶分量(LL/HL)· R =2048X1080大小的兩個(gè)子帶分量(LL/HL)— 2048X1080大小的八個(gè)子帶分量*傾斜布置三板體系· G =2048X1080大小的兩個(gè)子帶分量(LL/HL)· B =2048X1080大小的兩個(gè)子帶分量(LL/HL)· R =2048X1080大小的兩個(gè)子帶分量(LL/HL)— 2048 X 1080大小的六個(gè)子帶分量*拜耳布置· G =2048X1080大小的兩個(gè)子帶分量(LL/HL)· B =2048X1080大小的一個(gè)子帶分量(LL)· R =2048X1080大小的一個(gè)子帶分量(LL)— 2048X1080大小的四個(gè)子帶分量此外，在任何像素布置中，對于RGB圖像中的每一個(gè)都存在子帶(LL)(圖17中粗 框所包圍的子帶)。從而，如上所述，進(jìn)行簡單的顏色分離，并且可將這些子帶確認(rèn)為一個(gè)圖 像。解壓縮I/F部件205通過執(zhí)行將圖像分割成子帶圖像的處理(該處理是由壓縮I/F部 件105執(zhí)行的)的逆來合成圖像。接下來將描述針對各種像素布置的圖像拍攝元件，壓縮I/F部件105和解壓縮I/ F部件205的具體處理方法。圖18和圖19是幫助說明與RGB全像素體系相對應(yīng)的處理方法的示圖(圖18對 應(yīng)于小波變換時(shí)的處理，圖19對應(yīng)于逆變換時(shí)的處理)。圖18和圖19與圖10和圖11相同，因此這里將省略重復(fù)描述。如圖18所示，壓 縮I/F部件105對RGB全像素體系的記錄RAW數(shù)據(jù)的R圖像、G圖像和B圖像全都執(zhí)行相 同的處理。此時(shí)，壓縮I/F部件105對R圖像、G圖像和B圖像在水平方向和垂直方向上都 執(zhí)行小波變換，并且輸出2048X1080大小的子帶的12個(gè)分量。此外，如圖19所示，解壓縮 I/F部件205執(zhí)行該小波變換的逆變換，將該12個(gè)分量恢復(fù)成RGB全像素體系的圖像拍攝 RAW數(shù)據(jù)。圖20和圖21是幫助說明與雙倍密度拜耳布置的圖像拍攝元件相對應(yīng)的處理方法 的示圖(圖20對應(yīng)于小波變換時(shí)的處理，圖21對應(yīng)于逆變換時(shí)的處理)。如圖20所示，壓縮I/F部件105對于雙倍密度拜耳布置的圖像拍攝RAW數(shù)據(jù)中的 G圖像，在水平方向和垂直方向上都執(zhí)行小波變換。然而，對于R圖像和B圖像，壓縮I/F部 件105在如圖12B所示的掃描后僅執(zhí)行水平方向上的小波變換，繞過垂直方向小波變換電 路，直接輸出結(jié)果。在圖20中，被繞過的部分由陰影指示。被繞過的部分在以下的圖21至 25中也是類似地表示的。壓縮I/F部件105輸出2048X 1080大小的子帶的八個(gè)分量。如 圖21所示，同樣，在逆變換中，對于R圖像和B圖像，解壓縮I/F部件205繞過垂直方向小波合成電路，僅執(zhí)行水平方向上的小波合成。解壓縮I/F部件205可以通過在水平方向和 垂直方向上都執(zhí)行小波合成來將G圖像恢復(fù)成雙倍密度拜耳布置的圖像拍攝RAW數(shù)據(jù)。圖22和圖23是幫助說明與傾斜布置三板體系相對應(yīng)的處理方法的示圖(圖22 對應(yīng)于小波變換時(shí)的處理，圖23對應(yīng)于逆變換時(shí)的處理)。如圖22所示，壓縮I/F部件105對于傾斜布置三板體系的圖像拍攝RAW數(shù)據(jù)中的 R圖像、G圖像和B圖像全都執(zhí)行相同的處理。此時(shí)，壓縮I/F部件105執(zhí)行如圖15B所示 的掃描，對于R圖像、G圖像和B圖像僅執(zhí)行水平方向上的小波變換，繞過垂直方向小波變換 電路，直接輸出結(jié)果。壓縮I/F部件105輸出2048X1080大小的子帶的六個(gè)分量。此外， 如圖23所示，同樣，在逆變換中，解壓縮I/F部件205對于R圖像、G圖像和B圖像全都執(zhí) 行相同的處理。解壓縮I/F部件205繞過垂直方向小波合成電路，僅執(zhí)行水平方向上的小 波合成。解壓縮I/F部件205將六個(gè)分量恢復(fù)成傾斜布置三板體系的圖像拍攝RAW數(shù)據(jù)。圖24和圖25是幫助說明與通常拜耳布置的圖像拍攝元件相對應(yīng)的處理方法的示 圖(圖24對應(yīng)于小波變換時(shí)的處理，圖25對應(yīng)于逆變換時(shí)的處理)。如圖24所示，對于通常拜耳布置的圖像拍攝RAW數(shù)據(jù)中的G圖像，壓縮I/F部件 105執(zhí)行如圖16B所示的掃描，并且僅在水平方向上執(zhí)行小波變換。然而，對于R圖像和B 圖像，壓縮I/F部件105也不執(zhí)行水平方向上的小波變換，而是執(zhí)行繞過處理。壓縮I/F部 件105對于R圖像、G圖像和B圖像中的每一個(gè)都繞過垂直方向小波變換電路，直接輸出結(jié) 果。從而，壓縮I/F部件105輸出2048X1080大小的子帶的四個(gè)分量。此外，如圖25所示，同樣，在逆變換中，解壓縮I/F部件205對于R圖像、G圖像和 B圖像中的每一個(gè)繞過垂直方向小波合成電路，并且僅對于G圖像執(zhí)行水平方向上的小波 合成。對于R圖像和B圖像，解壓縮I/F部件205也不執(zhí)行水平方向上的小波合成，而是執(zhí) 行繞過處理。從而，圖像可被恢復(fù)成通常拜耳布置的圖像拍攝RAW數(shù)據(jù)。當(dāng)壓縮I/F部件105根據(jù)輸入的圖像拍攝RAW數(shù)據(jù)的種類這樣繞過小波電路時(shí)， 可以針對各種像素布置的圖像拍攝元件進(jìn)行設(shè)置。從而，只要通過控制壓縮I/F部件105 的處理，就可以使從壓縮處理部件106起以后的處理成為共用的處理，只是在輸入子帶圖 像的分量的數(shù)目上有差異。類似地，只要通過控制解壓縮I/F部件205的處理，就可以使從 解壓縮處理部件206起以后的處理成為共用的處理，只是在輸入子帶圖像的分量的數(shù)目上 有差異。然后，解壓縮I/F部件205根據(jù)輸入子帶圖像的類型繞過逆小波變換電路，從而由 各種像素布置的圖像拍攝元件進(jìn)行的圖像拍攝產(chǎn)生的圖像拍攝RAW數(shù)據(jù)可以被合成。此外，從壓縮處理部件106起以后的處理和從解壓縮處理部件206起以后的處理 可以被并行地執(zhí)行。具體而言，在壓縮處理部件106中，圖4中用于子帶圖像D105-LL的電 路、圖4中用于子帶圖像D105-HL的電路、圖4中用于子帶圖像D105-LH的電路以及圖4中 用于子帶圖像D105-HH的電路中的每一者對于RGB的三個(gè)并行系統(tǒng)分別設(shè)置(總共十二個(gè) 系統(tǒng))。從而，可以在4K RGB全圖像的情況下使用所有這些系統(tǒng)，而在其他情況下只使用 這些系統(tǒng)的一部分。類似地，在解壓縮處理部件206中，圖7中用于子帶圖像D106-LL的電 路、圖7中用于子帶圖像D106-HL的電路、圖7中用于子帶圖像D106-LH的電路以及圖7中 用于子帶圖像D106-HH的電路中的每一者對于RGB的三個(gè)并行系統(tǒng)分別設(shè)置(總共十二個(gè) 系統(tǒng))。從而，操作速度可以降低，降低量與并行度相對應(yīng)。即，可以采用適合于實(shí)時(shí)處理的 配置。
根據(jù)上述第一實(shí)施例的相機(jī)系統(tǒng)可以對從沒有RGB全像素的、拜耳布置的圖像拍 攝元件部件102、沒有RGB全像素的、雙倍密度拜耳布置的圖像拍攝元件部件102、以及沒有 RGB全像素的、使用具有在傾斜方向上布置的像素的三個(gè)圖像拍攝元件部件102的圖像拍 攝系統(tǒng)獲得的RAW數(shù)據(jù)之中的任何一種中的三個(gè)R/G/B分量中的每一個(gè)進(jìn)行高效的壓縮編碼。過去，處理諸如4K圖像之類的高分辨率圖像的相機(jī)系統(tǒng)不可避免地要進(jìn)行大量 的信號處理。此外，從圖像拍攝元件的諸如S/N(信噪比)、靈敏度之類的特性的角度來看， 該相機(jī)系統(tǒng)是難以實(shí)現(xiàn)的，除非預(yù)先通過使用所謂的拜耳布置等等來減少像素?cái)?shù)目并隨后 傳送RAW數(shù)據(jù)。然而，因?yàn)椴⒎荝GB的所有像素都存在，所以當(dāng)直接使用RAW數(shù)據(jù)執(zhí)行壓縮 和傳送時(shí)，壓縮效率沒有提高，如背景技術(shù)部分中所述。另一方面，通過使用根據(jù)上述第一實(shí)施例的壓縮I/F部件105和解壓縮I/F部件 205，可以對整個(gè)畫面進(jìn)行轉(zhuǎn)換或逆轉(zhuǎn)換(這是小波變換的特征)，并且利用小波變換中固 有的高壓縮效率。尤其對于雙倍密度拜耳布置中的R圖像和B圖像的RAW數(shù)據(jù)的壓縮，可 以預(yù)期利用小波變換的固有特征的壓縮效率的巨大改善。此外，相機(jī)部件10可以直接壓縮依圖像拍攝元件而定的RAW圖像數(shù)據(jù)，并將經(jīng)壓 縮的RAW圖像數(shù)據(jù)傳送到CXU部件20。從而，與以未壓縮的狀態(tài)傳送RAW圖像數(shù)據(jù)的情況 相比，可以減小傳送頻帶。尤其當(dāng)相機(jī)系統(tǒng)處理諸如4K圖像、8K圖像之類的高分辨率的圖 像或者諸如60P/240P之類的高幀速率的圖像時(shí)，數(shù)據(jù)量變得巨大。然而，相機(jī)部件10可以 壓縮RAW圖像數(shù)據(jù)并且將經(jīng)壓縮的RAW圖像數(shù)據(jù)傳送到CXU部件20，并且CXU部件20可以 執(zhí)行解壓縮處理，重建RAW圖像數(shù)據(jù)，然后執(zhí)行高精度的實(shí)時(shí)相機(jī)信號處理。從而，相機(jī)部 件10的大小、重量和功耗可得以減小。此外，相機(jī)部件10只要通過設(shè)定壓縮比率以使得RAW圖像數(shù)據(jù)被包含在現(xiàn)有復(fù)合 相機(jī)線纜的傳送頻帶中，就可以將RAW圖像數(shù)據(jù)傳送到CXU部件20。從而，可以構(gòu)造一種例 如不需要使用多條昂貴的復(fù)合相機(jī)線纜的相機(jī)系統(tǒng)。從而，可以實(shí)現(xiàn)一種具有很高程度的硬件效率的相機(jī)部件10，該相機(jī)部件是低分 辨率簡單顯示系統(tǒng)，而不需要特別的顏色分離電路或下轉(zhuǎn)換電路。另外，壓縮I/F部件105和解壓縮I/F部件205的處理可適應(yīng)于現(xiàn)有RGB全像素 體系、雙倍密度拜耳布置、傾斜布置三板體系和通常拜耳布置的任何圖案。從而，產(chǎn)生了這 樣一種效果，即能夠執(zhí)行共用的硬件處理，只是“子帶圖像分量的數(shù)目有差異”。這表明也提 供了這樣一種優(yōu)點(diǎn)，即在處理高分辨率圖像的系統(tǒng)中，能夠執(zhí)行并行硬件處理并且實(shí)現(xiàn)實(shí) 時(shí)處理。<2.第二實(shí)施例>[使用哈爾變換對圖像進(jìn)行壓縮編碼或使用逆哈爾變換對子帶圖像進(jìn)行解碼的示 例]接下來將參考圖26A至28D來描述應(yīng)用到根據(jù)本發(fā)明第二實(shí)施例的相機(jī)部件10 的示例。如上所述，壓縮I/F部件105與小波變換相結(jié)合提供了最有效壓縮的方法。然而， 不僅小波變換，降低硬件負(fù)擔(dān)的哈爾變換也可實(shí)現(xiàn)該方法。此時(shí)，壓縮I/F部件105以相鄰的上下兩行為單位使像素位置交替相互偏離的那種顏色的圖像數(shù)據(jù)中的傾斜方向上的每兩個(gè)相鄰像素經(jīng)歷哈爾變換。另一方面，解壓縮I/F 部件205通過以相鄰的上下兩行的像素為單位使子帶圖像經(jīng)歷逆哈爾變換，來將子帶圖像 解壓縮成像素位置交替相互偏離的那種顏色的圖像數(shù)據(jù)。圖26A至26D示出了壓縮I/F部件105針對雙倍密度拜耳布置執(zhí)行哈爾變換的示 例。圖26A示出了雙倍密度拜耳布置。首先描述G圖像，G圖像具有4K全像素，因此取代參考圖12A至12D描述的處理 中那樣的水平方向和垂直方向上的小波變換執(zhí)行哈爾變換即可。此時(shí)，壓縮I/F部件105通過使從雙倍密度拜耳布置的圖像拍攝元件部件102輸 出的RGB圖像數(shù)據(jù)的R和B圖像數(shù)據(jù)中每兩個(gè)在傾斜方向上相鄰像素經(jīng)歷以相鄰的上下兩 行為單位的哈爾變換，來將該R和B圖像數(shù)據(jù)分解成R和B子帶圖像。此外，壓縮I/F部件 105通過使G圖像數(shù)據(jù)經(jīng)歷以一行的像素為單位的水平方向上的哈爾變換和以一列的像素 為單位的垂直方向上的哈爾變換，來將G圖像數(shù)據(jù)分解成G子帶圖像。哈爾變換被認(rèn)為是兩抽頭子帶濾波器，并且相當(dāng)于獲得兩個(gè)像素之間的和與差。 和對應(yīng)于LPF，差對應(yīng)于HPF。具體而言，如圖26B所示，4096 X 2160大小的G圖像的每兩個(gè)像素經(jīng)歷水平方向上 的哈爾變換。從而，如圖26C所示，獲得了水平方向上減半的2048X2160大小的低頻子帶 G圖像(L)(和)以及高頻子帶G圖像(H)(差)。接下來，水平方向上減半的2048X2160大小的低頻子帶G圖像(L)(和)以及高 頻子帶G圖像(H)(差)各自經(jīng)歷垂直方向上的哈爾變換，如圖26C所示。結(jié)果，如圖26D 所示，2048X2160大小的低頻子帶G圖像(L)(和)以及高頻子帶G圖像(H)(差)被轉(zhuǎn)換 成了四種2048 X 1080大小的子帶G圖像。 在水平方向和垂直方向上都經(jīng)過了低通濾波器(和)的2048X1080大小的子帶 G圖像(LL)·在水平方向上經(jīng)過了低通濾波器(和)并且在垂直方向上經(jīng)過了高通濾波器 (差)的2048 X 1080大小的子帶G圖像(LH)·在水平方向上經(jīng)過了高通濾波器(差)并且在垂直方向上經(jīng)過了低通濾波器 (和)的2048X IO8O大小的子帶G圖像(HL) 在水平方向和垂直方向上都經(jīng)過了高通濾波器(差)的2048X1080大小的子帶 G圖像(HH)2048X2160大小的低頻子帶G圖像(L)(和)以及高頻子帶G圖像(H)(差)被轉(zhuǎn) 換成上述四種2048X 1080大小的子帶G圖像。R圖像和B圖像具有棋盤格圖案。從而，以相鄰的上下兩行為單位，取代小波變換， R圖像和B圖像經(jīng)歷哈爾變換。具體而言，如圖26B所示，R像素之中的以相鄰的上下兩行為單位的每兩個(gè)傾斜像 素經(jīng)歷哈爾變換。作為以上處理的結(jié)果，R圖像被轉(zhuǎn)換成經(jīng)過了低通濾波器(和)的2048X 1080大小的子帶R圖像；以及經(jīng)過了高通濾波器(差)的2048X 1080大小的子帶R圖像。
B像素之中的以相鄰的上下兩行為單位的每兩個(gè)傾斜像素(與R的傾斜方向相 反)類似地經(jīng)歷哈爾變換，以被轉(zhuǎn)換成經(jīng)過了低通濾波器(和)的2048X 1080大小的子帶B圖像；以及經(jīng)過了高通濾波器(差)的2048X 1080大小的子帶B圖像。作為以上處理的結(jié)果，已經(jīng)獲得了 2048X 1080大小的子帶圖像，并且該大小與G
的子帶圖像的大小一致。這意味著，對于所有RGB都獲得了統(tǒng)一的2048X1080大小的子帶圖像，獲得了 2048X1080大小的RGB全圖像，并且執(zhí)行了簡單的所謂顏色分離。從而，從壓縮I/F部件105輸出的子帶圖像在4K全像素體系和4K雙倍密度拜耳 布置中具有相同的大小，因此從壓縮處理部件106起以后的處理可以是共用的處理。這與 小波變換的情況相同。在圖26C和圖26D中，為了描述經(jīng)歷了傾斜方向上的哈爾變換的R圖像和B圖像， 如下描述子帶圖像?！そ?jīng)過了低通濾波器(和)的2048X 1080大小的子帶R圖像是子帶R圖像(LL)·經(jīng)過了高通濾波器(差)的2048X 1080大小的子帶R圖像是子帶R圖像(HH)·經(jīng)過了低通濾波器(和)的2048X 1080大小的子帶B圖像是子帶B圖像(LL)·經(jīng)過了高通濾波器(差)的2048X 1080大小的子帶B圖像是子帶B圖像(HH)圖26B所示的R像素和B像素的傾斜方向是示例，要明確的是，當(dāng)R像素和B像素 的起始像素位置變得不同時(shí)，傾斜方向顛倒。另一方面，解壓縮I/F部件205通過使R和B子帶圖像經(jīng)歷以相鄰的上下兩行的 像素為單位的逆哈爾變換來將R和B子帶圖像解壓縮成R和B圖像數(shù)據(jù)。此外，解壓縮I/ F部件205通過使G子帶圖像經(jīng)歷以一行的像素為單位的水平方向上的逆哈爾變換和以一 列的像素為單位的垂直方向上的逆哈爾變換來將G子帶圖像解壓縮成G圖像數(shù)據(jù)。接下來將參考圖27A至27D描述針對圖3所示的傾斜布置三板體系執(zhí)行哈爾變換 的情況。圖27A示出了傾斜布置三板體系的布置。在圖27B中，如參考圖15A至15D所述，由陰影指示的像素被認(rèn)為是不存在的，并 且因此該圖案可被認(rèn)為與以上參考圖26A至26D所述的雙倍密度拜耳布置中的R或B像素 的圖案相同。差異在于R圖像、B圖像和G圖像都具有相同的圖案。因此，只要以相鄰的上下兩行為單位取代小波變換使R圖像、B圖像和G圖像經(jīng)歷 哈爾變換即可。此時(shí)，壓縮I/F部件105通過以相鄰的上下兩行為單位使來自傾斜布置三板體系 的圖像拍攝元件部件102的RGB圖像數(shù)據(jù)中的傾斜方向上的每兩個(gè)相鄰像素經(jīng)歷哈爾變 換，來將所有RGB圖像數(shù)據(jù)分解成子帶圖像。具體而言，如參考圖27B所述，以相鄰的上下兩行為單位的每兩個(gè)傾斜像素經(jīng)歷 哈爾變換。作為以上處理的結(jié)果，RGB圖像被各自轉(zhuǎn)換成經(jīng)過了低通濾波器(和)的2048X 1080大小的子帶圖像；以及
經(jīng)過了高通濾波器(差)的2048X1080大小的子帶圖像。以上還表明，已經(jīng)獲得了 2048X 1080大小的子帶圖像。這意味著，對于所有RGB都獲得了統(tǒng)一的2048X1080大小的子帶圖像，獲得了 2048X1080大小的RGB全圖像，并且執(zhí)行了簡單的所謂的顏色分離。從而，從壓縮I/F部件105輸出的子帶圖像在4K全像素體系和4K傾斜布置三板 體系中具有相同的大小，因此從壓縮處理部件106起以后的處理可以是共用的處理。這與 小波變換的情況相同。在圖27C和圖27D中，為了描述執(zhí)行了的傾斜方向上的哈爾變換，如下描述子帶圖像?！そ?jīng)過了低通濾波器(和)的2048X 1080大小的子帶R圖像是子帶R圖像(LL)·經(jīng)過了高通濾波器(差)的2048X 1080大小的子帶R圖像是子帶R圖像(HH)·經(jīng)過了低通濾波器(和)的2048X 1080大小的子帶G圖像是子帶G圖像(LL)·經(jīng)過了高通濾波器(差)的2048X 1080大小的子帶G圖像是子帶G圖像(HH)·經(jīng)過了低通濾波器(和)的2048X 1080大小的子帶B圖像是子帶B圖像(LL)·經(jīng)過了高通濾波器(差)的2048X 1080大小的子帶B圖像是子帶B圖像(HH)圖27B所示的像素的傾斜方向是示例，要明確的是當(dāng)R像素和B像素的起始像素 位置變得不同時(shí)，傾斜方向顛倒。另一方面，解壓縮I/F部件205通過使子帶圖像經(jīng)歷以相鄰的上下兩行的像素為 單位的逆哈爾變換，來把子帶圖像解壓縮成來自傾斜布置三板體系的圖像拍攝元件的RGB 圖像數(shù)據(jù)。接下來將參考圖28A至28D來描述針對圖3所示的通常拜耳布置執(zhí)行哈爾變換的 情況。圖28A示出了所謂的通常拜耳布置。在圖28B中，在分離成RGB中的每一個(gè)之后不存在真實(shí)像素的位置由陰影指示。R 圖像和B圖像是處于分離狀態(tài)的已經(jīng)被離散縮減的2048X 1080大小的圖像。從圖28B中可以明確，可認(rèn)為G圖像與參考圖26A至26D描述的雙倍密度拜耳布 置的R像素或B像素相同。因此，以相鄰的上下兩行為單位，取代小波變換，G圖像經(jīng)歷哈爾變換。此時(shí)，壓縮I/F部件105不向來自拜耳布置的圖像拍攝元件部件102的RGB圖像 數(shù)據(jù)的R和B圖像數(shù)據(jù)應(yīng)用哈爾變換。壓縮I/F部件105通過以相鄰的上下兩行為單位使 G圖像數(shù)據(jù)中的傾斜方向上的每兩個(gè)相鄰像素經(jīng)歷哈爾變換，來將G圖像數(shù)據(jù)分解成G子帶 圖像。具體而言，如圖28B所示，以相鄰的上下兩行為單位的每兩個(gè)傾斜像素經(jīng)歷了哈 爾變換。作為以上處理的結(jié)果，G圖像被轉(zhuǎn)換成經(jīng)過了低通濾波器(和)的2048X 1080大小的子帶G圖像；以及經(jīng)過了高通濾波器(差)的2048X1080大小的子帶G圖像。以上還表明，已經(jīng)獲得了 2048X1080大小的子帶圖像。這意味著，雖然R圖像和B圖像被離散縮減，但對于所有RGB圖像都獲得了統(tǒng)一的2048X1080大小的子帶圖像。因此，獲得了 2048 X 1080RGB全圖像，并且執(zhí)行了簡單的所謂
顏色分離。從而，從壓縮I/F部件105輸出的子帶圖像在4K全像素體系和4K通常拜耳布置 中具有相同的大小，因此從壓縮處理部件106起以后的處理可以是共用的處理。這與小波 變換的情況相同。在圖28C和圖28D中，為了描述G圖像經(jīng)歷了傾斜方向上的哈爾變換，如下描述子 帶圖像?！?2048X1080大小的R圖像是子帶R圖像(LL)·經(jīng)過了低通濾波器(和)的2048X 1080大小的子帶G圖像是子帶G圖像(LL)·經(jīng)過了高通濾波器(差)的2048X 1080大小的子帶G圖像是子帶G圖像(HH)· 2048X1080大小的B圖像是子帶B圖像(LL)圖28B所示的G像素的傾斜方向是示例，要明確的是當(dāng)G的起始像素位置變得不 同時(shí)，傾斜方向顛倒。另一方面，解壓縮I/F部件205在不使R和B子帶圖像經(jīng)歷逆哈爾變換的情況下 將R和B子帶圖像解壓縮成R和B圖像數(shù)據(jù)，并且通過使G子帶圖像經(jīng)歷逆哈爾變換來將 G子帶圖像解壓縮成G圖像數(shù)據(jù)。根據(jù)上述的第二實(shí)施例，壓縮I/F部件105不僅可通過小波變換來實(shí)現(xiàn)，而且也可 通過用于更簡單的硬件的哈爾變換來實(shí)現(xiàn)。從而，與第一實(shí)施例中一樣，后續(xù)的處理可以作 為并行的處理被執(zhí)行。此外，因?yàn)榭梢院唵蔚剡M(jìn)行顏色分離，所以可以降低制造該裝置的成 本。應(yīng)注意，雖然已參考JPEG2000的5 X 3可逆小波變換系數(shù)描述了小波變換，但是要 明確的是，也可以利用9X7不可逆變換系數(shù)和其他變換系數(shù)來實(shí)現(xiàn)小波變換，而并不限于 5X3可逆小波變換或哈爾變換。<3.修改的示例>應(yīng)注意，以上所述的壓縮I/F部件105的處理、壓縮處理部件106的處理、解壓縮 I/F部件205的處理以及解壓縮處理部件206的處理不僅可通過硬件而且也可通過軟件來 執(zhí)行。當(dāng)通過軟件來執(zhí)行該系列處理時(shí)，可通過包含在專用硬件中的計(jì)算機(jī)或安裝有用于 執(zhí)行各種功能的程序的計(jì)算機(jī)來執(zhí)行構(gòu)成該軟件的程序。例如，只要將構(gòu)成所需軟件的程 序安裝在通用個(gè)人計(jì)算機(jī)等等上并執(zhí)行該程序即可。此外，記錄有用于實(shí)現(xiàn)上述實(shí)施例的功能的軟件的程序代碼的記錄介質(zhì)可被提供 到系統(tǒng)或裝置。此外，當(dāng)然，當(dāng)該系統(tǒng)或裝置的計(jì)算機(jī)(或諸如CPU之類的控制裝置)讀取 并執(zhí)行存儲在該記錄介質(zhì)上的程序代碼時(shí)，這些功能得以實(shí)現(xiàn)。在此情況中可用作提供程序代碼的記錄介質(zhì)的例如是柔性盤、硬盤、光盤、磁光 盤、CD-ROM、CD-R、磁帶、非易失性存儲卡、ROM,等等。上述實(shí)施例的功能是通過執(zhí)行被計(jì)算機(jī)讀取的程序代碼來實(shí)現(xiàn)的。此外，在計(jì)算 機(jī)等等上操作的OS基于程序代碼的指示而執(zhí)行實(shí)際處理的一部分或全部。也包括通過該 處理實(shí)現(xiàn)上述實(shí)施例的功能的情況。此外，在上述實(shí)施例中，本發(fā)明被應(yīng)用到包括相機(jī)部件10和CCU部件20的相機(jī)系 統(tǒng)。然而，本發(fā)明也可應(yīng)用于從除相機(jī)系統(tǒng)以外的處理系統(tǒng)和裝置中的雙倍密度拜耳布置、傾斜布置三板體系和拜耳布置的圖像拍攝元件獲得的RAW數(shù)據(jù)的壓縮編碼。此外，本發(fā)明可類似地應(yīng)用于從不是雙倍密度拜耳布置、傾斜布置三板體系或拜 耳布置的像素布置的圖像拍攝元件獲得的RAW數(shù)據(jù)的壓縮編碼。在該像素布置中，三種原 色中的至少一種的像素位置在水平方向或垂直方向上是交替相互偏離的。此外，本發(fā)明并不限于上述實(shí)施例，而是當(dāng)然可以采用各種其他應(yīng)用示例和各種 其他修改示例，而不脫離權(quán)利要求中記載的本發(fā)明的精神。本申請包含與2009年12月18日向日本專利局提交的日本優(yōu)先權(quán)專利申請JP 2009-288096中公開的主題相關(guān)的主題，這里通過引用將該申請的全部內(nèi)容并入。本領(lǐng)域的技術(shù)人員應(yīng)當(dāng)理解，取決于設(shè)計(jì)要求和其他因素，可以進(jìn)行各種修改、組 合、子組合和變更，只要它們處于所附權(quán)利要求或其等同物的范圍之內(nèi)即可。
權(quán)利要求
1.一種相機(jī)系統(tǒng)，包括相機(jī)部件，包括子帶分割部件，被配置為通過對從其中三種原色之中的至少一種顏色的像素位置在水 平方向和垂直方向之一上交替相互偏離的像素布置的圖像拍攝元件輸出的圖像數(shù)據(jù)中包 括的像素位置交替相互偏離的顏色的圖像數(shù)據(jù)以相鄰的上下兩行的像素或相鄰的左右兩 列的像素為單位執(zhí)行子帶分割，來將所述像素位置交替相互偏離的顏色的圖像數(shù)據(jù)分解成 子帶圖像，以及第一傳送接口部件，被配置為將所述子帶圖像轉(zhuǎn)換成預(yù)定的圖像信號，并經(jīng)由傳送線 路輸出所述圖像信號；以及相機(jī)控制部件，包括第二傳送接口部件，被配置為將經(jīng)由所述傳送線路輸入的所述圖像信號轉(zhuǎn)換成所述子 帶圖像，以及圖像解壓縮部件，被配置為以相鄰的上下兩行的像素或者相鄰的左右兩列的像素為單 位將所述子帶圖像解壓縮成所述像素位置交替相互偏離的顏色的圖像數(shù)據(jù)，并且將所述子 帶圖像合成為從所述圖像拍攝元件輸出的所述圖像數(shù)據(jù)。
2.根據(jù)權(quán)利要求1所述的相機(jī)系統(tǒng)，其中，所述子帶分割部件通過以相鄰的上下兩行為單位對所述像素位置交替相互偏離 的顏色的圖像數(shù)據(jù)的像素進(jìn)行掃描并且執(zhí)行水平方向上的小波變換，或者以相鄰的左右兩 列為單位對所述像素位置交替相互偏離的顏色的圖像數(shù)據(jù)的像素進(jìn)行掃描并且執(zhí)行垂直 方向上的小波變換，來將所述像素位置交替相互偏離的顏色的圖像數(shù)據(jù)分解成所述子帶圖 像，并且所述圖像解壓縮部件通過使所述子帶圖像經(jīng)歷以相鄰的上下兩行的像素為單位的水 平方向上的逆小波變換或者使所述子帶圖像經(jīng)歷以相鄰的左右兩列的像素為單位的垂直 方向上的逆小波變換，來將所述子帶圖像解壓縮成所述像素位置交替相互偏離的顏色的圖 像數(shù)據(jù)。
3.根據(jù)權(quán)利要求2所述的相機(jī)系統(tǒng)，其中所述圖像拍攝元件是具有拜耳布置兩倍的像素密度并且具有45°傾斜布置的像 素布置的雙倍密度拜耳布置的圖像拍攝元件，所述子帶分割部件通過以相鄰的上下兩行為單位對從所述雙倍密度拜耳布置的圖像 拍攝元件輸出的RGB圖像數(shù)據(jù)的R和B圖像數(shù)據(jù)的像素進(jìn)行掃描并且執(zhí)行水平方向上的小 波變換，或者以相鄰的左右兩列為單位對R和B圖像數(shù)據(jù)的像素進(jìn)行掃描并且執(zhí)行垂直方 向上的小波變換來將R和B圖像數(shù)據(jù)分解成R和B子帶圖像，并且通過使RGB圖像數(shù)據(jù)的 G圖像數(shù)據(jù)經(jīng)歷以一行的像素為單位的水平方向上的小波變換以及以一列的像素為單位的 垂直方向上的小波變換，來將G圖像數(shù)據(jù)分解成G子帶圖像，并且所述圖像解壓縮部件通過使所述R和B子帶圖像經(jīng)歷以相鄰的上下兩行的像素為單位 的水平方向上的逆小波變換或者使所述R和B子帶圖像經(jīng)歷以相鄰的左右兩列的像素為單 位的垂直方向上的逆小波變換，來將所述R和B子帶圖像解壓縮成所述R和B圖像數(shù)據(jù)，并 且通過使G子帶圖像經(jīng)歷以一行的像素為單位的水平方向上的逆小波變換和以一列的像 素為單位的垂直方向上的逆小波變換，來將G子帶圖像解壓縮成G圖像數(shù)據(jù)。
4.根據(jù)權(quán)利要求2所述的相機(jī)系統(tǒng)，其中，所述圖像拍攝元件是作為具有45°傾斜布置的像素并且假定在水平方向和垂直 方向之一上相鄰的像素之間執(zhí)行了插值的像素布置的傾斜布置三板體系的圖像拍攝元件，所述子帶分割部件通過以相鄰的上下兩行為單位對來自所述傾斜布置三板體系的圖 像拍攝元件的所有RGB圖像數(shù)據(jù)的像素進(jìn)行掃描并執(zhí)行水平方向上的小波變換，或者以相 鄰的左右兩列為單位對所有RGB圖像數(shù)據(jù)的像素進(jìn)行掃描并執(zhí)行垂直方向上的小波變換， 來將所有RGB圖像數(shù)據(jù)分解成所述子帶圖像，并且所述圖像解壓縮部件通過使所述子帶圖像經(jīng)歷以相鄰的上下兩行的像素為單位的水 平方向上的逆小波變換或者以相鄰的左右兩列的像素為單位的垂直方向上的逆小波變換， 來將所述子帶圖像解壓縮成來自所述傾斜布置三板體系的圖像拍攝元件的RGB圖像數(shù)據(jù)。
5.根據(jù)權(quán)利要求2所述的相機(jī)系統(tǒng)，其中，所述圖像拍攝元件是拜耳布置的圖像拍攝元件，所述子帶分割部件在不使來自所述拜耳布置的圖像拍攝元件的RGB圖像數(shù)據(jù)的R和B 圖像數(shù)據(jù)經(jīng)歷小波變換的情況下將R和B圖像數(shù)據(jù)分解成所述子帶圖像，并且通過以相鄰 的上下兩行為單位對RGB圖像數(shù)據(jù)的G圖像數(shù)據(jù)的像素進(jìn)行掃描并且執(zhí)行水平方向上的小 波變換，或者以相鄰的左右兩列為單位對G圖像數(shù)據(jù)的像素進(jìn)行掃描并且執(zhí)行垂直方向上 的小波變換，來將G圖像數(shù)據(jù)分解成所述子帶圖像，并且所述圖像解壓縮部件在不使R和B子帶圖像經(jīng)歷逆小波變換的情況下將R和B子帶圖 像解壓縮成R和B圖像數(shù)據(jù)，并且通過使G子帶圖像經(jīng)歷以相鄰的上下兩行的像素為單位 的水平方向上的逆小波變換或者使G子帶圖像經(jīng)歷以相鄰的左右兩列的像素為單位的垂 直方向上的逆小波變換，來將G子帶圖像解壓縮成G圖像數(shù)據(jù)。
6.根據(jù)權(quán)利要求1所述的相機(jī)系統(tǒng)，其中，所述子帶分割部件通過使所述像素位置交替相互偏離的顏色的圖像數(shù)據(jù)的傾斜 方向上的每兩個(gè)相鄰像素經(jīng)歷以相鄰的上下兩行為單位的哈爾變換，來將所述像素位置交 替相互偏離的顏色的圖像數(shù)據(jù)分解成所述子帶圖像，并且所述圖像解壓縮部件通過使所述子帶圖像經(jīng)歷以相鄰的上下兩行的像素為單位的逆 哈爾變換，來將所述子帶圖像解壓縮成所述像素位置交替相互偏離的顏色的圖像數(shù)據(jù)。
7.根據(jù)權(quán)利要求6所述的相機(jī)系統(tǒng)，其中，所述圖像拍攝元件是具有拜耳布置兩倍的像素密度并且具有45°傾斜布置的像 素布置的雙倍密度拜耳布置的圖像拍攝元件，所述子帶分割部件通過使從所述雙倍密度拜耳布置的圖像拍攝元件輸出的RGB圖像 數(shù)據(jù)的R和B圖像數(shù)據(jù)的傾斜方向上的每兩個(gè)相鄰像素經(jīng)歷以相鄰的上下兩行為單位的哈 爾變換來將R和B圖像數(shù)據(jù)分解成R和B子帶圖像，并且通過使RGB圖像數(shù)據(jù)的G圖像數(shù) 據(jù)經(jīng)歷以一行的像素為單位的水平方向上的哈爾變換和以一列的像素為單位的垂直方向 上的哈爾變換，來將G圖像數(shù)據(jù)分解成G子帶圖像，并且所述圖像解壓縮部件通過使R和B子帶圖像經(jīng)歷以相鄰的上下兩行的像素為單位的逆 哈爾變換，來將R和B子帶圖像解壓縮成R和B圖像數(shù)據(jù)，并且通過使G子帶圖像經(jīng)歷以一 行的像素為單位的水平方向上的逆哈爾變換和以一列的像素為單位的垂直方向上的逆哈 爾變換，來將G子帶圖像解壓縮成G圖像數(shù)據(jù)。
8.根據(jù)權(quán)利要求6所述的相機(jī)系統(tǒng)，其中，所述圖像拍攝元件是作為具有45°傾斜布置的像素并且假定在水平方向和垂直 方向之一上相鄰的像素之間執(zhí)行了插值的像素布置的傾斜布置三板體系的圖像拍攝元件， 所述子帶分割部件通過使來自所述傾斜布置三板體系的圖像拍攝元件的所有RGB圖 像數(shù)據(jù)的傾斜方向上的每兩個(gè)相鄰像素經(jīng)歷以相鄰的上下兩行為單位的哈爾變換，來將所 有RGB圖像數(shù)據(jù)分解成所述子帶圖像，并且所述圖像解壓縮部件通過使所述子帶圖像經(jīng)歷以相鄰的上下兩行的像素為單位的逆 哈爾變換，來將所述子帶圖像解壓縮成來自所述傾斜布置三板體系的圖像拍攝元件的RGB 圖像數(shù)據(jù)。
9.根據(jù)權(quán)利要求6所述的相機(jī)系統(tǒng)，其中，所述圖像拍攝元件是拜耳布置的圖像拍攝元件，所述子帶分割部件在不使來自所述拜耳布置的圖像拍攝元件的RGB圖像數(shù)據(jù)的R和B 圖像數(shù)據(jù)經(jīng)歷哈爾變換的情況下將R和B圖像數(shù)據(jù)分解成R和B子帶圖像，并且通過使RGB 圖像數(shù)據(jù)的G圖像數(shù)據(jù)的傾斜方向上的每兩個(gè)相鄰像素經(jīng)歷以相鄰的上下兩行為單位的 哈爾變換，來將G圖像數(shù)據(jù)分解成G子帶圖像，并且所述圖像解壓縮部件在不使R和B子帶圖像經(jīng)歷逆哈爾變換的情況下將R和B子帶圖 像解壓縮成R和B圖像數(shù)據(jù)，并且通過使G子帶圖像經(jīng)歷逆哈爾變換來將G子帶圖像解壓 縮成G圖像數(shù)據(jù)。
10.一種圖像處理方法，包括以下步驟通過對從其中三種原色之中的至少一種顏色的像素位置在水平方向和垂直方向之一 上交替相互偏離的像素布置的圖像拍攝元件輸出的圖像數(shù)據(jù)中包括的像素位置交替相互 偏離的顏色的圖像數(shù)據(jù)以相鄰的上下兩行的像素或相鄰的左右兩列的像素為單位執(zhí)行子 帶分割，來將所述像素位置交替相互偏離的顏色的圖像數(shù)據(jù)分解成子帶圖像；通過用于將所述子帶圖像轉(zhuǎn)換成預(yù)定的圖像信號的第一傳送接口部件經(jīng)由傳送線路 輸出通過轉(zhuǎn)換所述子帶圖像而獲得的所述圖像信號；通過用于將所述圖像信號轉(zhuǎn)換成所述子帶圖像的第二傳送接口部件將經(jīng)由所述傳送 線路輸入的所述圖像信號轉(zhuǎn)換成所述子帶圖像；以及通過以相鄰的上下兩行的像素或者相鄰的左右兩列的像素為單位執(zhí)行與所述子帶分 割相對應(yīng)的逆變換，來將所述子帶圖像解壓縮成所述像素位置交替相互偏離的顏色的圖像 數(shù)據(jù)，并且將所述子帶圖像合成為從所述圖像拍攝元件輸出的所述圖像數(shù)據(jù)。
11.一種相機(jī)系統(tǒng)，包括 相機(jī)部件，包括子帶分割部件，被配置為通過對從其中三種原色之中的至少一種顏色的像素位置在水 平方向和垂直方向之一上交替相互偏離的像素布置的圖像拍攝元件輸出的圖像數(shù)據(jù)中包 括的像素位置交替相互偏離的顏色的圖像數(shù)據(jù)以相鄰的上下兩行的像素或相鄰的左右兩 列的像素為單位執(zhí)行子帶分割，來將所述像素位置交替相互偏離的顏色的圖像數(shù)據(jù)分解成 子帶圖像，壓縮編碼部件，被配置為針對由所述子帶分割部件分割出的每個(gè)頻帶和所述三種原色 中的每一種并行地執(zhí)行對從所述子帶分割部件輸出的所述子帶圖像進(jìn)行壓縮編碼的處理，以及第一傳送接口部件，被配置為將經(jīng)壓縮編碼的所述子帶圖像轉(zhuǎn)換成預(yù)定的圖像信號， 并經(jīng)由傳送線路輸出所述圖像信號；以及 相機(jī)控制部件，包括第二傳送接口部件，被配置為將經(jīng)由所述傳送線路輸入的所述圖像信號轉(zhuǎn)換成經(jīng)壓縮 編碼的所述子帶圖像，解壓縮解碼部件，被配置為針對由所述子帶分割部件分割出的每個(gè)頻帶和所述三種原 色中的每一種并行地執(zhí)行對經(jīng)壓縮編碼的所述子帶圖像進(jìn)行解壓縮解碼的處理，以及圖像解壓縮部件，被配置為以相鄰的上下兩行的像素或者相鄰的左右兩列的像素為單 位將所述子帶圖像解壓縮成所述像素位置交替相互偏離的顏色的圖像數(shù)據(jù)，并且將所述子 帶圖像合成為從所述圖像拍攝元件輸出的所述圖像數(shù)據(jù)。
12.—種圖像處理方法，包括以下步驟通過對從其中三種原色之中的至少一種顏色的像素位置在水平方向和垂直方向之一 上交替相互偏離的像素布置的圖像拍攝元件輸出的圖像數(shù)據(jù)中包括的像素位置交替相互 偏離的顏色的圖像數(shù)據(jù)以相鄰的上下兩行的像素或相鄰的左右兩列的像素為單位執(zhí)行子 帶分割，來將所述像素位置交替相互偏離的顏色的圖像數(shù)據(jù)分解成子帶圖像；針對每個(gè)分割出的頻帶和所述三種原色中的每一種并行地執(zhí)行對所述子帶圖像進(jìn)行 壓縮編碼的處理；通過用于將經(jīng)壓縮編碼的所述子帶圖像轉(zhuǎn)換成預(yù)定的圖像信號的第一傳送接口部件 經(jīng)由傳送線路輸出通過轉(zhuǎn)換所述子帶圖像而獲得的所述圖像信號；通過用于將所述圖像信號轉(zhuǎn)換成所述子帶圖像的第二傳送接口部件將經(jīng)由所述傳送 線路輸入的所述圖像信號轉(zhuǎn)換成所述子帶圖像；針對每個(gè)分割出的頻帶和所述三種原色中的每一種并行地執(zhí)行對經(jīng)壓縮編碼的所述 子帶圖像進(jìn)行解壓縮解碼的處理；以及以相鄰的上下兩行的像素或者相鄰的左右兩列的像素為單位將所述子帶圖像解壓縮 成所述像素位置交替相互偏離的顏色的圖像數(shù)據(jù)，并且將所述子帶圖像合成為從所述圖像 拍攝元件輸出的所述圖像數(shù)據(jù)。
13.一種相機(jī)系統(tǒng)，包括 相機(jī)裝置，包括子帶分割裝置，用于通過對從其中三種原色之中的至少一種顏色的像素位置在水平方 向和垂直方向之一上交替相互偏離的像素布置的圖像拍攝元件輸出的圖像數(shù)據(jù)中包括的 像素位置交替相互偏離的顏色的圖像數(shù)據(jù)以相鄰的上下兩行的像素或相鄰的左右兩列的 像素為單位執(zhí)行子帶分割，來將所述像素位置交替相互偏離的顏色的圖像數(shù)據(jù)分解成子帶 圖像，以及第一傳送接口裝置，用于將所述子帶圖像轉(zhuǎn)換成預(yù)定的圖像信號，并經(jīng)由傳送線路輸 出所述圖像信號；以及 相機(jī)控制裝置，包括第二傳送接口裝置，用于將經(jīng)由所述傳送線路輸入的所述圖像信號轉(zhuǎn)換成所述子帶圖 像，以及圖像解壓縮裝置，用于以相鄰的上下兩行的像素或者相鄰的左右兩列的像素為單位將 所述子帶圖像解壓縮成所述像素位置交替相互偏離的顏色的圖像數(shù)據(jù)，并且將所述子帶圖 像合成為從所述圖像拍攝元件輸出的所述圖像數(shù)據(jù)。
14. 一種相機(jī)系統(tǒng)，包括 相機(jī)裝置，包括子帶分割裝置，用于通過對從其中三種原色之中的至少一種顏色的像素位置在水平方 向和垂直方向之一上交替相互偏離的像素布置的圖像拍攝元件輸出的圖像數(shù)據(jù)中包括的 像素位置交替相互偏離的顏色的圖像數(shù)據(jù)以相鄰的上下兩行的像素或相鄰的左右兩列的 像素為單位執(zhí)行子帶分割，來將所述像素位置交替相互偏離的顏色的圖像數(shù)據(jù)分解成子帶 圖像，壓縮編碼裝置，用于針對由所述子帶分割裝置分割出的每個(gè)頻帶和所述三種原色中的 每一種并行地執(zhí)行對從所述子帶分割裝置輸出的所述子帶圖像進(jìn)行壓縮編碼的處理，以及 第一傳送接口裝置，用于將經(jīng)壓縮編碼的所述子帶圖像轉(zhuǎn)換成預(yù)定的圖像信號，并經(jīng) 由傳送線路輸出所述圖像信號；以及 相機(jī)控制裝置，包括第二傳送接口裝置，用于將經(jīng)由所述傳送線路輸入的所述圖像信號轉(zhuǎn)換成經(jīng)壓縮編碼 的所述子帶圖像，解壓縮解碼裝置，用于針對由所述子帶分割裝置分割出的每個(gè)頻帶和所述三種原色中 的每一種并行地執(zhí)行對經(jīng)壓縮編碼的所述子帶圖像進(jìn)行解壓縮解碼的處理，以及圖像解壓縮裝置，用于以相鄰的上下兩行的像素或者相鄰的左右兩列的像素為單位將 所述子帶圖像解壓縮成所述像素位置交替相互偏離的顏色的圖像數(shù)據(jù)，并且將所述子帶圖 像合成為從所述圖像拍攝元件輸出的所述圖像數(shù)據(jù)。
全文摘要
本發(fā)明提供了相機(jī)系統(tǒng)和圖像處理方法。這里公開了一種相機(jī)系統(tǒng)，包括相機(jī)部件，其包括被配置為將像素位置交替相互偏離的顏色的圖像數(shù)據(jù)分解成子帶圖像的子帶分割部件，以及被配置為將子帶圖像轉(zhuǎn)換成預(yù)定的圖像信號并經(jīng)由傳送線路輸出圖像信號的第一傳送接口部件；以及相機(jī)控制部件，其包括被配置為將經(jīng)由傳送線路輸入的圖像信號轉(zhuǎn)換成子帶圖像的第二傳送接口部件，以及被配置為將子帶圖像解壓縮成圖像數(shù)據(jù)并將子帶圖像合成為從圖像拍攝元件輸出的圖像數(shù)據(jù)的圖像解壓縮部件。
文檔編號H04N5/232GK102104731SQ20101059968
公開日2011年6月22日 申請日期2010年12月13日 優(yōu)先權(quán)日2009年12月18日
發(fā)明者杉山晃 申請人:索尼公司