專利名稱：圖像處理裝置和圖像處理方法
技術(shù)領(lǐng)域：
本發(fā)明涉及通過(guò)電子的攝像單元拍攝到的被攝體像的圖像處理裝置 和圖像處理方法，尤其涉及經(jīng)由單板式的具有濾色器的攝像元件而輸出， 并按各像素由僅具有單一顏色的亮度信息的馬賽克圖像生成在各像素具 有多個(gè)顏色的亮度信息的彩色圖像并且實(shí)施圖像變形處理的攝像裝置。
背景技術(shù)：
以往，已知在數(shù)字照相機(jī)等攝像裝置中，通過(guò)鏡頭使被攝體像成像 在攝像元件上，并借助于該攝像元件對(duì)被攝體像進(jìn)行光電變換而生成圖 像信號(hào)的圖像處理裝置和圖像處理方法。
此外，還有如下的圖像處理裝置和圖像處理方法，即，作為單板式 的攝像元件，呈矩陣狀構(gòu)成多個(gè)光電變換元件，并且，在其前方與光電
變換元件相對(duì)應(yīng)地具有R (紅)G (綠)B (藍(lán))的各濾色器，對(duì)經(jīng)由該 濾色器而輸出的單一顏色的圖像信號(hào)施加信號(hào)處理而生成彩色圖像。
即，經(jīng)由單板式的攝像元件而輸出的圖像是各像素僅具有單一顏色 的顏色信息的顏色馬賽克圖像，為了生成彩色圖像，需要各像素具有紅 色(R)、綠色(G)、藍(lán)色(B)等多個(gè)顏色信息。
因此，在使用了單板式攝像元件的圖像處理中，以各像素僅具有R、 G、 B成分中的任意一種的顏色信息的顏色馬賽克圖像為基礎(chǔ)，進(jìn)行所謂 的反馬賽克處理(也稱為顏色插值處理)。在此，反馬賽克處理是通過(guò)將 在顏色馬賽克圖像的各像素中缺少的其它顏色信息使用其像素周邊的其 它像素的顏色信息進(jìn)行插值運(yùn)算，來(lái)生成各像素分別具有R、 G、 B成分 的所有顏色信息的彩色圖像的處理(所謂的顏色插值處理)。
此外，在利用了單板式攝像元件的圖像處理中，往往在如上述那樣 由顏色馬賽克圖像進(jìn)行了反馬賽克處理之后，進(jìn)行校正圖像的晃動(dòng)和歪斜等或根據(jù)需要縮放圖像的圖像變形處理。
艮口，在數(shù)字照相機(jī)等攝像裝置中，在拍攝上述被攝體時(shí)，數(shù)字照相 機(jī)違背用戶的意愿而搖動(dòng)造成的圖像混亂、所謂的晃動(dòng)和由攝像鏡頭引 起的歪斜成為問(wèn)題。因此，已知通過(guò)陀螺儀和圖像的數(shù)字信號(hào)處理來(lái)檢 測(cè)照相機(jī)的搖動(dòng)，通過(guò)使鏡頭的光軸光學(xué)移動(dòng)或使圖像信號(hào)電子移動(dòng)(即 校正像素位置)來(lái)校正晃動(dòng)和歪斜的技術(shù)。
此時(shí)，為了獲得更高品質(zhì)的像質(zhì)，不僅進(jìn)行平行移動(dòng)，還進(jìn)行旋轉(zhuǎn)
和牽拉(7才y)這樣的圖像變形和子像素單位的位置校正。
例如，在如圖9 (a)所示從圖像傳感器的輸出圖像提取進(jìn)行了若干 旋轉(zhuǎn)和縮放的變形后的圖像進(jìn)行輸出時(shí)，通常要求通過(guò)光柵掃描而從圖 像傳感器讀出，變形后的圖像也通過(guò)光柵掃描而輸出到后級(jí)。在此，在 輸出圖像變形后的第一行時(shí)，需要將圖像傳感器輸出圖像的預(yù)定區(qū)域(陰 影區(qū)域)可參考地緩存。另外，在進(jìn)行90度的旋轉(zhuǎn)和上下翻轉(zhuǎn)等圖像變 形時(shí)，該預(yù)定區(qū)域成為1個(gè)畫面的量。并且，在安裝上，由于是使作為 寫入對(duì)象的幀和作為讀出對(duì)象的幀分開的雙緩存器的結(jié)構(gòu)，所以需要2 幀量的圖像緩存器(例如，參照專利文獻(xiàn)l、 2)。
詳細(xì)地說(shuō)，如圖9(b)所示，以"從5M像素的單板式彩色圖像傳感 器輸出HD動(dòng)圖像"的攝像機(jī)為例，在現(xiàn)有的反馬賽克處理中，為了在拜 爾排列的各像素與輸出圖像的各像素相對(duì)應(yīng)地生成彩色圖像，首先，由 從圖像傳感器輸出的5M像素的顏色馬賽克圖像生成5M的RGB彩色圖 像(是各像素具有多個(gè)顏色信息的彩色圖像)，接下來(lái)，對(duì)該RGB彩色 圖像進(jìn)行抖動(dòng)校正和圖像尺寸的變更這樣的圖像變形，輸出2M的彩色 圖像。'
此時(shí)，需要將成為圖像變形對(duì)象的5M的RGB彩色圖像緩存，所以 取RGB數(shù)據(jù)為24bit/pix，當(dāng)為了動(dòng)圖像處理而取為雙緩存器時(shí)，緩沖存 儲(chǔ)器所需的存儲(chǔ)容量為240Mbit (2x5Mx24)。
此外，當(dāng)考慮60*S的處理速度時(shí)，即使參考每個(gè)像素各一次，該緩 沖存儲(chǔ)器所需的頻帶就為14.4Gbps (2 (寫入和讀出的量)x5Mx24x60)。 此外，由于實(shí)際上有時(shí)會(huì)參考多次，所以緩沖存儲(chǔ)器所需的頻帶將在此
6之上。
此外，作為彩色圖像的壓縮技術(shù)，已知有對(duì)單板式彩色圖像傳感器 的輸出不進(jìn)行顏色插值處理而直接進(jìn)行壓縮以縮小硬件的技術(shù)(例如， 參考專利文獻(xiàn)3)。
專利文件1日本特開2007—228515號(hào)公報(bào)專利文件2日本特開2007—228514號(hào)公報(bào)專利文件3日本特開2005—217896號(hào)公報(bào)
但是，在利用了單板式圖像傳感器的圖像處理裝置中，以往一直對(duì) 彩色圖像(3parm/pix)進(jìn)行圖像變形，所以緩存器需要大的容量和頻帶， 有發(fā)生功耗增大和成本增加的危險(xiǎn)。此外，專利文件3的技術(shù)公開了為 了謀求硬件的小型化而對(duì)生成彩色圖像前的馬賽克圖像進(jìn)行壓縮的技 術(shù)，但并沒(méi)有公開使用該技術(shù)有效地進(jìn)行圖像變形和生成彩色圖像時(shí)的 技術(shù)，包含圖像變形和顏色生成在內(nèi)，尚有發(fā)明的余地。

發(fā)明內(nèi)容
因此，本發(fā)明的目的在于，提供一種圖像處理裝置和圖像處理方法， 在由從具有濾色器的單板式攝像元件輸出的顏色馬賽克圖像生成各像素 具有多個(gè)顏色的亮度信息的彩色圖像并且進(jìn)行圖像變形處理時(shí)，能夠節(jié) 省緩存器的存儲(chǔ)容量和頻帶，實(shí)現(xiàn)低功耗化和低成本化。
為了達(dá)到上述目的而做出的技術(shù)方案1所述的發(fā)明是一種圖像處理 裝置，其由各像素具有單色的亮度信息的顏色馬賽克圖像在各像素生成 多個(gè)顏色的亮度信息，并且實(shí)施預(yù)定的圖像變形而生成彩色圖像，其中， 上述顏色馬賽克圖像是由具有對(duì)不同的多個(gè)顏色光進(jìn)行光電變換的像素 的單板式的攝像元件獲得的，上述圖像處理裝置包括緩沖存儲(chǔ)器，其 存儲(chǔ)上述顏色馬賽克圖像；圖像變形部，其使從上述緩沖存儲(chǔ)器輸出的 上述顏色馬賽克圖像變形；以及反馬賽克部，其由被實(shí)施了上述圖像變 形的顏色馬賽克圖像生成上述彩色圖像。
按照技術(shù)方案1所述的圖像處理裝置，包括存儲(chǔ)顏色馬賽克圖像的 緩沖存儲(chǔ)器、使從緩沖存儲(chǔ)器輸出的顏色馬賽克圖像變形的圖像變形部、以及由被實(shí)施了圖像變形的顏色馬賽克圖像生成彩色圖像的反馬賽克 部，因此，在由從單板式攝像元件輸出的顏色馬賽克圖像生成各像素具 有多個(gè)顏色的亮度信息的彩色圖像并且進(jìn)行圖像變形處理時(shí)，與對(duì)彩色 圖像進(jìn)行圖像變形相比，能夠節(jié)省緩存器的存儲(chǔ)容量和頻帶，實(shí)現(xiàn)低功 耗化和低成本化。即，按照將彩色圖像存儲(chǔ)在緩存器中的結(jié)構(gòu)，每1個(gè)
像素需要與RGB相對(duì)應(yīng)的3個(gè)變量，但通過(guò)像本發(fā)明這樣將顏色馬賽克
圖像存儲(chǔ)在緩沖存儲(chǔ)器中，能夠使每1個(gè)像素的變量為1個(gè)，能夠提供 節(jié)省緩沖存儲(chǔ)器所需的容量和頻帶而實(shí)現(xiàn)低功耗化和低成本化并具有圖 像變形功能的攝像裝置。
例如，如圖3所示，以"從5M像素的單板式彩色圖像傳感器輸出 HD動(dòng)圖像"的攝像機(jī)為例，此時(shí)，以顏色馬賽克圖像緩存，對(duì)顏色馬賽 克圖像進(jìn)行圖像變形和反馬賽克處理。此時(shí)，顏色馬賽克圖像為12bit/pix， 當(dāng)為了動(dòng)圖像處理而取為雙緩存器時(shí)，緩沖存儲(chǔ)器所需的存儲(chǔ)容量為 120Mbit (2x5Mxl2)，與圖9所示的現(xiàn)有例子相比能夠使存儲(chǔ)容量減半。
此外，技術(shù)方案1所述的圖像處理裝置，如技術(shù)方案2所述的發(fā)明 那樣，還包括壓縮部，其壓縮上述顏色馬賽克圖像；以及拉伸部，其拉 伸由上述壓縮部壓縮后的上述顏色馬賽克圖像，上述圖像處理裝置構(gòu)成 為將上述顏色馬賽克圖像由上述壓縮部壓縮后存儲(chǔ)到上述緩沖存儲(chǔ)器 中。由此，能夠進(jìn)一步削減緩沖存儲(chǔ)器的存儲(chǔ)容量。
此外，技術(shù)方案2所述的圖像處理裝置，如技術(shù)方案3所述的發(fā)明 那樣，還包括顏色平面分解部，該顏色平面分解部將上述顏色馬賽克圖 像分解成僅包含同一顏色光的亮度信息的多個(gè)顏色平面，上述壓縮部將 上述各顏色平面分割成多個(gè)塊，按該分割而成的各塊壓縮成預(yù)定的尺寸 以下。由此，能夠容易地將從單板式彩色圖像傳感器輸出的顏色馬賽克 圖像與各顏色相對(duì)應(yīng)地壓縮。
此外，技術(shù)方案2所述的圖像處理裝置，優(yōu)選如技術(shù)方案4所述的 發(fā)明那樣，上述壓縮部進(jìn)行與上述亮度的灰度相對(duì)應(yīng)的灰度壓縮。
此外，技術(shù)方案3所述的圖像處理裝置，優(yōu)選如技術(shù)方案5所述的 發(fā)明那樣，上述拉伸部將由上述壓縮部壓縮后的顏色馬賽克圖像按上述各塊拉伸。
此外，技術(shù)方案1所述的圖像處理裝置，優(yōu)選如技術(shù)方案6所述的 發(fā)明那樣，還包括存儲(chǔ)上述顏色馬賽克圖像的像素值的高速緩沖存儲(chǔ)器, 上述圖像變形部能夠不經(jīng)由上述緩沖存儲(chǔ)器而從上述高速緩沖存儲(chǔ)器獲 得上述像素值。即，在反馬賽克處理中，在生成彩色圖像的1個(gè)像素時(shí)， 參照顏色馬賽克圖像中的多個(gè)顏色的像素值，但在生成彩色圖像的相鄰 的像素時(shí)，多參照(訪問(wèn))顏色馬賽克圖像的同一像素。因此，通過(guò)使 之前剛剛參照的像素存儲(chǔ)在高速緩沖存儲(chǔ)器中，能夠削減緩沖存儲(chǔ)器的 讀出頻帶，能夠進(jìn)一步削減功耗。
并且，技術(shù)方案6所述的圖像處理裝置，優(yōu)選如技術(shù)方案7所述的 發(fā)明那樣，上述高速緩沖存儲(chǔ)器存儲(chǔ)最近訪問(wèn)過(guò)的像素的像素值或上述 塊內(nèi)的像素值組。
接下來(lái)，技術(shù)方案8所述的發(fā)明是一種圖像處理方法，由各像素具 有單色的亮度信息的顏色馬賽克圖像在各像素生成多個(gè)顏色的亮度信 息，并且實(shí)施預(yù)定的圖像變形而生成彩色圖像，其中，上述顏色馬賽克 圖像是由具有對(duì)不同的多個(gè)顏色光進(jìn)行光電變換的像素的單板式的攝像 元件獲得的，在上述圖像處理方法中使用存儲(chǔ)上述顏色馬賽克圖像的緩 沖存儲(chǔ)器，上述圖像處理方法包括圖像變形步驟，使從上述緩沖存儲(chǔ)
器輸出的顏色馬賽克圖像變形；以及反馬賽克步驟，由被實(shí)施了上述圖
像變形的顏色馬賽克圖像生成上述彩色圖像。
按照技術(shù)方案8所述的圖像處理方法，使用存儲(chǔ)顏色馬賽克圖像的
緩沖存儲(chǔ)器，包括使從緩沖存儲(chǔ)器輸出的顏色馬賽克圖像變形的圖像變 形步驟、以及由被實(shí)施了上述圖像變形的顏色馬賽克圖像生成上述彩色 圖像的反馬賽克步驟，因此，與技術(shù)方案1所述的發(fā)明相同，與對(duì)彩色 圖像進(jìn)行圖像變形相比，能夠節(jié)省緩存器的存儲(chǔ)容量和頻帶，實(shí)現(xiàn)低功 耗化和低成本化。
此外，技術(shù)方案8所述的圖像處理方法，如技術(shù)方案9所述的發(fā)明 那樣，還包括壓縮步驟，壓縮上述顏色馬賽克圖像；以及拉伸步驟，拉 伸在上述壓縮步驟中壓縮后的上述顏色馬賽克圖像，在上述圖像處理方
9法中，將上述顏色馬賽克圖像在上述壓縮步驟中壓縮后存儲(chǔ)到上述緩沖 存儲(chǔ)器中。由此，與技術(shù)方案2所述的發(fā)明相同，能夠進(jìn)一步削減緩沖 存儲(chǔ)器的存儲(chǔ)容量。
此外，技術(shù)方案9所述的圖像處理方法，如技術(shù)方案10所述的發(fā)明 那樣，還包括顏色平面分解步驟，將上述顏色馬賽克圖像分解成僅包含 同一顏色光的亮度信息的多個(gè)顏色平面，上述壓縮步驟將上述各顏色平 面分割成多個(gè)塊，按該分割而成的各塊壓縮成預(yù)定的尺寸以下。由此， 與技術(shù)方案3所述的發(fā)明相同，能夠容易地將從單板式彩色圖像傳感器 輸出的顏色馬賽克圖像與各顏色相對(duì)應(yīng)地壓縮。
此外，技術(shù)方案9所述的圖像處理方法，優(yōu)選如技術(shù)方案ll所述的
發(fā)明那樣，在上述壓縮步驟中，進(jìn)行與上述亮度的灰度相對(duì)應(yīng)的灰度壓 縮。
此外，技術(shù)方案IO所述的圖像處理方法，優(yōu)選如技術(shù)方案12所述 的發(fā)明那樣，在上述拉伸步驟中，將在上述壓縮步驟中壓縮后的顏色馬 賽克圖像按上述各塊拉伸。
此外，技術(shù)方案8所述的圖像處理方法，如技術(shù)方案13所述的發(fā)明 那樣，使用存儲(chǔ)上述顏色馬賽克圖像的像素值的高速緩沖存儲(chǔ)器，在上 述圖像變形步驟中，能夠不經(jīng)由上述緩沖存儲(chǔ)器而從上述高速緩沖存儲(chǔ) 器獲得上述像素值。由此，與技術(shù)方案6所述的發(fā)明相同，在反馬賽克 處理中，在生成彩色圖像的1個(gè)像素時(shí)，參照顏色馬賽克圖像中的多個(gè) 顏色的像素值，但在生成彩色圖像的相鄰的像素時(shí)，多參照(訪問(wèn))顏 色馬賽克圖像的同一像素。因此，通過(guò)使之前剛剛參照的像素存儲(chǔ)在高 速緩沖存儲(chǔ)器中，能夠削減緩沖存儲(chǔ)器的讀出頻帶，能夠進(jìn)一步削減功 耗。
并且，技術(shù)方案13所述的圖像處理方法，優(yōu)選如技術(shù)方案14所述 的發(fā)明那樣，上述高速緩沖存儲(chǔ)器存儲(chǔ)最近訪問(wèn)過(guò)的像素的像素值或上 述塊內(nèi)的像素值組。
本發(fā)明的圖像處理裝置和圖像處理方法包括存儲(chǔ)顏色馬賽克圖像的 緩沖存儲(chǔ)器、使從緩沖存儲(chǔ)器輸出的顏色馬賽克圖像變形的圖像變形部、以及由被實(shí)施了圖像變形的顏色馬賽克圖像生成彩色圖像的反馬賽克 部，因此，在由從單板式攝像元件輸出的顏色馬賽克圖像生成各像素具 有多個(gè)顏色的亮度信息的彩色圖像并且進(jìn)行圖像變形處理時(shí)，與對(duì)彩色 圖像進(jìn)行圖像變形相比，能夠節(jié)省緩存器的存儲(chǔ)容量和頻帶，實(shí)現(xiàn)低功 耗化和低成本化。即，按照將彩色圖像存儲(chǔ)在緩存器中的結(jié)構(gòu)，每1個(gè)
像素需要與RGB相對(duì)應(yīng)的3個(gè)變量，但通過(guò)像本發(fā)明這樣將顏色馬賽克
圖像存儲(chǔ)在緩沖存儲(chǔ)器中，能夠使每1個(gè)像素的變量為1個(gè)，能夠提供 節(jié)省緩沖存儲(chǔ)器所需的容量和頻帶而實(shí)現(xiàn)低功耗化和低成本化并具有圖 像變形功能的攝像裝置。
此外，本發(fā)明的圖像處理裝置和圖像處理方法包括壓縮上述顏色馬 賽克圖像的壓縮部、以及拉伸由壓縮部壓縮后的上述顏色馬賽克圖像的 拉伸部，使得將顏色馬賽克圖像由壓縮部壓縮后存儲(chǔ)到上述緩沖存儲(chǔ)器 中，由此，能夠進(jìn)一步削減緩沖存儲(chǔ)器的存儲(chǔ)容量。
此外，本發(fā)明的圖像處理裝置和圖像處理方法包括將顏色馬賽克圖 像分解成僅包含同一顏色光的亮度信息的多個(gè)顏色平面的顏色平面分解 部，壓縮部將上述各顏色平面分割成多個(gè)塊，按該分割而成的各塊壓縮 成預(yù)定的尺寸以下，由此，能夠容易地將從單板式彩色圖像傳感器輸出 的顏色馬賽克圖像與各顏色相對(duì)應(yīng)地壓縮。
此外，本發(fā)明的圖像處理裝置和圖像處理方法包括存儲(chǔ)馬賽克圖像 的像素值的高速緩沖存儲(chǔ)器，圖像變形部能夠不經(jīng)由緩沖存儲(chǔ)器而從高 速緩沖存儲(chǔ)器獲得上述像素值，由此，能夠削減緩沖存儲(chǔ)器的讀出頻帶， 能夠進(jìn)一步削減功耗。
此外，本發(fā)明的圖像處理裝置和圖像處理方法優(yōu)選的是，壓縮部進(jìn) 行與上述亮度的灰度相對(duì)應(yīng)的灰度壓縮，優(yōu)選的是，拉伸部按各塊拉伸 由壓縮部壓縮后的顏色馬賽克圖像，更加優(yōu)選的是，高速緩沖存儲(chǔ)器存 儲(chǔ)最近訪問(wèn)過(guò)的像素的像素值或上述塊內(nèi)的像素值組。


圖1是表示應(yīng)用了本發(fā)明的圖像處理裝置和圖像處理方法的、第一實(shí)施方式的攝像裝置1的結(jié)構(gòu)的框圖。
圖2是該第一實(shí)施方式中的顏色平面分解部和顏色生成部的功能說(shuō) 明圖，(a)是表示從攝像單元2輸出的拜爾排列的顏色馬賽克圖像的圖，
(b)、 (c)、 (d)、 (e)分別是表示由顏色平面分解部生成的R平面、Gr 平面、Gb平面、B平面的配置的圖、(f)是插值計(jì)算采樣坐標(biāo)的像素值 時(shí)的說(shuō)明圖。
圖3是該第一實(shí)施方式中的、由顏色馬賽克圖像進(jìn)行圖像變形和生 成彩色圖像的反馬賽克處理的說(shuō)明圖。
圖4是表示該第一實(shí)施方式的圖像處理裝置和圖像處理方法中的彩 色圖像生成的順序的流程圖。
圖5是表示應(yīng)用了本發(fā)明的圖像處理裝置和圖像處理方法的、第二 實(shí)施方式的攝像裝置1A的結(jié)構(gòu)的框圖。
圖6是表示該第二實(shí)施方式的圖像處理裝置和圖像處理方法中的彩 色圖像生成的順序的流程圖。
圖7是表示圖6中的壓縮和高速緩沖控制器的順序的細(xì)節(jié)的流程圖。
圖8是表示變形例中的從高速緩沖存儲(chǔ)器按各塊輸出像素值時(shí)的掃 描例的圖。
圖9是現(xiàn)有的反馬賽克處理和圖像變形處理的說(shuō)明圖。
1、 1A:攝像裝置；2:攝像單元；3:攝像鏡頭；5:攝像元件；5a: 拜爾排列的濾色器；6: AFE (Analog Front End); 7:相關(guān)雙采樣電路； 8:可變?cè)鲆娣糯笃?AGC: Automatic Gain Control); 9: A/D轉(zhuǎn)換器； 13: TG(Timing Generator); 15:角速度傳感器；18: CPU(Central Processing Unit); 19: ROM (Read Only Memory); 20:壓縮部；21:緩沖存儲(chǔ)器； 22: R平面存儲(chǔ)器；23a: Gr平面存儲(chǔ)器；23b: Gb平面存儲(chǔ)器；24: B 平面存儲(chǔ)器；25:拉伸部；26:高速緩沖控制器；27:高速緩沖存儲(chǔ)器； 28:反馬賽克部；29:輸出像素掃描部；30:坐標(biāo)轉(zhuǎn)換部；31:采樣部； 32:插值部；33:顏色生成部；34:視覺(jué)校正部；35:壓縮部；36:記 錄部；38:像差系數(shù)表；40:晃動(dòng)檢測(cè)部；100、 100A:圖像處理裝置。
具體實(shí)施方式
(第一實(shí)施方式)
接下來(lái)，基于

本發(fā)明的圖像處理裝置和圖像處理方法的第 一實(shí)施方式。
圖1是表示應(yīng)用了本發(fā)明的圖像處理裝置和圖像處理方法的、第一 實(shí)施方式的攝像裝置1的結(jié)構(gòu)的框圖，圖2是該第一實(shí)施方式中的顏色
平面分解部和顏色生成部的功能說(shuō)明圖，(a)是表示從攝像單元2輸出 的拜爾排列的顏色馬賽克圖像的圖，(b)、 (c)、 (d)、 (e)分別是表示由 顏色平面分解部生成的R平面、Gr平面、Gb平面、B平面的配置的圖， (f)是插值計(jì)算采樣坐標(biāo)的像素值時(shí)的說(shuō)明圖。
此外，圖3是該第一實(shí)施方式中的、由顏色馬賽克圖像進(jìn)行圖像變 形和生成彩色圖像的反馬賽克處理的說(shuō)明圖，圖4是表示該第一實(shí)施方 式的圖像處理裝置和圖像處理方法中的彩色圖像生成的順序的流程圖。
攝像裝置1是例如手機(jī)等移動(dòng)設(shè)備上搭載的照相機(jī)模塊，如圖1所 示，由攝像單元2和圖像處理裝置100構(gòu)成，其中，上述攝像單元2將 被攝體像P引導(dǎo)至攝像元件5而作為數(shù)字圖像信號(hào)(馬賽克狀的圖像信 號(hào))輸出，上述圖像處理裝置100根據(jù)經(jīng)由攝像單元2輸出的數(shù)字圖像 信號(hào)，進(jìn)行攝像單元2相對(duì)于被攝體的晃動(dòng)校正和預(yù)定的圖像變形，并 且生成各像素具有多個(gè)顏色信息的彩色圖像。另外，本實(shí)施例的攝像裝 置1如圖3所示，在圖像處理裝置100中，將從攝像單元2輸出的顏色 馬賽克圖像存儲(chǔ)到后述的緩沖存儲(chǔ)器21，訪問(wèn)緩沖存儲(chǔ)器21而進(jìn)行圖像
變形和反馬賽克處理。
接下來(lái)，如圖1所示，攝像單元2包括將被攝體像P引導(dǎo)至攝像 元件5的攝像鏡頭3、將接收到的攝像光轉(zhuǎn)換為電學(xué)量而輸出的攝像元件 (CCD: Charge Coupled Devices) 5、將從攝像元件5輸出的模擬圖像信 號(hào)轉(zhuǎn)換為數(shù)字圖像信號(hào)C而輸出的AFE (Analog Front End) 6、以預(yù)定 的周期控制攝像元件5和AFE6的TG (Timing Generator) 13、以及檢測(cè) 攝像裝置1相對(duì)于被攝體的晃動(dòng)并輸出與其晃動(dòng)量相應(yīng)的電信號(hào)的角速 度傳感器15等。攝像元件5是單板式攝像元件，其構(gòu)成為多個(gè)光電變換元件呈矩陣
狀配置，在其前面與光電變換元件相對(duì)應(yīng)地具有由R (紅)G (綠)B (藍(lán)) 三原色的拜爾(Bayer)排列構(gòu)成的濾色器5a，將通過(guò)各顏色的濾色器部 的單一顏色的光量轉(zhuǎn)換為模擬電信號(hào)。另外，從攝像元件5以光柵順序 輸出模擬電信號(hào)。
上述原色拜爾排列如圖2 (a)所示，G色的濾色器以格子圖案配置， G色濾色器與R色濾色器交替配置的列和配置了 G濾色器和B濾色器的 列交替構(gòu)成。另外，在本實(shí)施例中，在圖2 (a)中，將與R并排配置于 一個(gè)方向上的G色表示為Gr、將與B并排配置于一個(gè)方向上的G色表 示為Gb。
AFE6由對(duì)經(jīng)由攝像元件5輸出的模擬圖像信號(hào)除去噪聲的相關(guān)雙 采樣電路(CDS: Correlated Double Sampling) 7、將由相關(guān)雙采樣電路7 進(jìn)行了相關(guān)雙采樣的圖像信號(hào)放大的可變?cè)鲆娣糯笃?AGC: Automatic Gain Control) 8、以及將經(jīng)由可變?cè)鲆娣糯笃?輸入的模擬圖像信號(hào)轉(zhuǎn)換 為數(shù)字圖像信號(hào)的A/D轉(zhuǎn)換器9等構(gòu)成，將從攝像元件5輸出的圖像信 號(hào)轉(zhuǎn)換為數(shù)字圖像信號(hào)C而輸出到圖像處理裝置100。
此外，在攝像單元2中，也可以使用CMOS (Complementary Metal Oxide Semiconductor)傳感器來(lái)代替攝像元件5、相關(guān)雙采樣電路7、可 變?cè)鲆娣糯笃?、以及A/D轉(zhuǎn)換器9等。因?yàn)閺臄z像元件5輸出的各像 素的信號(hào)只具有單一顏色的信息，所以從攝像單元2向圖像處理裝置100 輸出馬賽克狀的圖像信號(hào)。另外，剛剛被AD轉(zhuǎn)換后的顏色馬賽克圖像 也被稱為RAW數(shù)據(jù)。
角速度傳感器15例如由公知的振動(dòng)陀螺儀構(gòu)成，生成與該攝像單元 2的、向被攝體前后方向的晃動(dòng)、左右方向的晃動(dòng)、上下方向的晃動(dòng)、以 前后方向?yàn)樾D(zhuǎn)軸的旋轉(zhuǎn)晃動(dòng)、以左右方向?yàn)樾D(zhuǎn)軸的旋轉(zhuǎn)晃動(dòng)、以上 下方向?yàn)樾D(zhuǎn)軸的旋轉(zhuǎn)晃動(dòng)等相應(yīng)的電信號(hào)(以下稱為晃動(dòng)信號(hào))并輸 出到圖像處理裝置100。另外，也可以使用壓電型的三軸加速度傳感器或 與彼此正交的3個(gè)軸方向相對(duì)應(yīng)地使用多個(gè)加速度傳感器來(lái)代替角速度 傳感器15。另外，在檢測(cè)晃動(dòng)時(shí)，也可以在圖像處理裝置100中檢測(cè)在預(yù)定時(shí)間內(nèi)拍攝的多個(gè)圖像間的圖像信號(hào)的差值并根據(jù)這些差值檢測(cè)上 述晃動(dòng)，來(lái)代替利用上述傳感器檢測(cè)晃動(dòng)。
接下來(lái)，圖像處理裝置100由保存(存儲(chǔ))從攝像單元2輸出的馬 賽克圖像的緩沖存儲(chǔ)器21;生成對(duì)從緩沖存儲(chǔ)器21輸出的顏色馬賽克圖 像實(shí)施了預(yù)定的圖像變形的彩色圖像的反馬賽克部28;為了提高顏色圖
像的視覺(jué)質(zhì)量而對(duì)從顏色生成部33輸出的彩色圖像信號(hào)進(jìn)行公知的伽瑪 校正和色度校正、邊緣增強(qiáng)等的視覺(jué)校正部34;將經(jīng)由視覺(jué)校正部34輸 出的彩色圖像用例如JPEG等方法壓縮的壓縮部35;將經(jīng)由壓縮部35輸 出的彩色圖像記錄到例如閃速存儲(chǔ)器等記錄介質(zhì)中的記錄部36; CPU (Central Processing Unit) 18;以及ROM (Read Only Memory) 19等構(gòu) 成，CPU18按照存儲(chǔ)于ROM19中的控制用程序，控制該攝像裝置1和 圖像處理裝置100的各種處理。
另外，圖像處理裝置100包括與攝像鏡頭3的鏡頭狀態(tài)相對(duì)應(yīng)地 記錄有用于校正攝像單元2的歪曲像差的歪曲像差系數(shù)的像差系數(shù)表38、 根據(jù)從角速度傳感器15輸出的晃動(dòng)信號(hào)計(jì)算相對(duì)于從攝像單元2輸入的 顏色馬賽克圖像的晃動(dòng)的校正值的晃動(dòng)檢測(cè)部40等。
緩沖存儲(chǔ)器21由DRAM等實(shí)現(xiàn)，與拜爾排列相對(duì)應(yīng)地，由存儲(chǔ)R 的像素信號(hào)的R平面存儲(chǔ)器22 、存儲(chǔ)Gr的像素信號(hào)的Gr平面存儲(chǔ)器23a、 存儲(chǔ)Gb的像素信號(hào)的Gb平面存儲(chǔ)器23b、存儲(chǔ)B的像素信號(hào)的B平面 存儲(chǔ)器24構(gòu)成，將R像素、Gr像素、Gb像素、B像素分別以光柵順序 按序保存，根據(jù)來(lái)自CPU18的指令，將這些像素信號(hào)(以下稱為像素值) 輸出到反馬賽克部28中的采樣部31。
在像差系數(shù)表38中保存有表示由攝像鏡頭3引起的像差的像差系 數(shù)。該像差系數(shù)被輸出到反馬賽克部28中的坐標(biāo)變換部30。
晃動(dòng)檢測(cè)部40根據(jù)從角度傳感器15輸出的晃動(dòng)的電信號(hào)，檢測(cè)攝 像單元2相對(duì)于被攝體的晃動(dòng)，將用于校正晃動(dòng)的晃動(dòng)校正參數(shù)(z、 dx、 dy、 e、 vy、 Vx等)輸出到反馬賽克部28中的坐標(biāo)變換部30。
在晃動(dòng)校正參數(shù)(以下也稱為晃動(dòng)校正值)中，相對(duì)于被攝體而言， z是與攝像單元2的前后方向的晃動(dòng)相伴的被攝體像的大小的校正值，dx是與左右方向或搖擺軸的晃動(dòng)相伴的被攝體像的左右位置的校正值、dy
是與上下方向或俯仰軸的晃動(dòng)相伴的被攝體像的上下位置的校正值、0是
與以前后方向?yàn)樾D(zhuǎn)軸的晃動(dòng)相伴的被攝體像的旋轉(zhuǎn)的校正值、i|/y是與
上下方向或俯仰軸的晃動(dòng)相伴的被攝體像的上下方向的牽拉的校正值、
X)/X是與左右方向或搖擺軸的晃動(dòng)相伴的被攝體像的左右方向的牽拉的校
正值。另外，晃動(dòng)校正參數(shù)z也可以包含攝像裝置l的變焦倍率。
接下來(lái)，反馬賽克部28包括統(tǒng)一各種像差校正和抖動(dòng)校正、圖像
的縮放這樣的圖像變形，并對(duì)輸出的彩色圖像的像素坐標(biāo)進(jìn)行掃描的輸
出像素掃描部29;根據(jù)表示從輸出像素掃描部29輸出的像素坐標(biāo)的信號(hào) 和從晃動(dòng)檢測(cè)部40與像差系數(shù)表38輸出的信號(hào)，計(jì)算與輸出的彩色圖 像的像素位置對(duì)應(yīng)的顏色馬賽克圖像上的采樣坐標(biāo)的坐標(biāo)變換部30;將 由坐標(biāo)變換部30計(jì)算出的采樣坐標(biāo)附近的顏色馬賽克圖像上的各顏色的 像素的像素值，從緩沖存儲(chǔ)器21讀入的采樣部31;按各R、 Gr、 Gb、 B 的顏色平面由通過(guò)采樣部31獲得的像素值插值生成采樣坐標(biāo)的像素值的 插值部32;以及合成由插值部32獲得的采樣坐標(biāo)的各顏色的像素值，生 成各像素具有多個(gè)顏色成分的顏色數(shù)據(jù)的顏色生成部33等。
此外，當(dāng)進(jìn)行上述圖像變形時(shí)，因?yàn)轭伾R賽克圖像和輸出彩色圖 像的像素位置不是單純地對(duì)應(yīng)，所以通過(guò)該反馬賽克部28中的坐標(biāo)變換 部30建立其對(duì)應(yīng)關(guān)系。接下來(lái)，說(shuō)明反馬賽克部28處理的細(xì)節(jié)。
在輸出像素掃描部29中，以光柵順序掃描輸出的彩色圖像的全部像 素，并將各像素的坐標(biāo)(Ud， vd)輸出到坐標(biāo)變換部30。
接下來(lái)，坐標(biāo)變換部30根據(jù)從晃動(dòng)檢測(cè)部40輸出的晃動(dòng)校正參數(shù) 和像差系數(shù)表38中保存的像差系數(shù)，包含歪曲像差校正和抖動(dòng)校正、數(shù) 字變焦這樣的圖像變形在內(nèi)，計(jì)算與輸出的彩色圖像的像素位置(Ud， vd) 對(duì)應(yīng)的顏色馬賽克圖像上的采樣坐標(biāo)。此外，本發(fā)明中的圖像變形部借 助于坐標(biāo)變換部30來(lái)表現(xiàn)其功能。
苜先，作為坐標(biāo)系，將與像素位置相對(duì)應(yīng)的坐標(biāo)系用uv表示，將便 于在校正計(jì)算中使用的坐標(biāo)系用xy表示。另外，下標(biāo)s表示在顏色馬賽 克圖像上的坐標(biāo)，下標(biāo)d表示在輸出彩色圖像上的坐標(biāo)。
16另外，對(duì)彩色圖像雙方，弓f入歸一化后的xy坐標(biāo)系。在xy坐標(biāo)系 中，以圖像中心為原點(diǎn)，使其圖像對(duì)角長(zhǎng)為2。
艮P，如果使彩色圖像的尺寸為1920x1080像素，則輸出的彩色圖像 的像素位置(ud， vd)在xy坐標(biāo)系下的表現(xiàn)為(式1) 。 g卩，在由彩色 圖像的尺寸為1920x1080的等間隔的像素排列構(gòu)成時(shí)，算出 ^19202 +10802)/2 —1100，賦予偏移(offset) (x， y) = (960/1100' 540/1100)
=(0.87， 0.49)，使得圖像中心(ud， vd) = (960， 540)為原點(diǎn)(xd， =(0， 0)，得到(式1)。式1
<formula>formula see original document page 17</formula>
接下來(lái)，應(yīng)用上述晃動(dòng)校正的參數(shù)(z、 e、 dx、 dy、 \)/x、 vy)，利 用(式2)計(jì)算晃動(dòng)校正后的坐標(biāo)(xs， ys)。此外，在(式2)中，設(shè) xs=wxs/w、 ys=wys/w。式2
<formula>formula see original document page 17</formula>
式2
晃動(dòng)檢測(cè)部40也可以將含有該晃動(dòng)校正參數(shù)的(式2)的矩陣本身 輸出到坐標(biāo)變換部30，來(lái)代替將晃動(dòng)校正參數(shù)(z、 dx、 dy、 0、 v(/y、 v)/x 等)輸出到坐標(biāo)變換部30。而且，坐標(biāo)變換部30直接應(yīng)用該矩陣本身而 算出晃動(dòng)校正后的坐標(biāo)(xs， ys)即可。
進(jìn)一步，對(duì)晃動(dòng)校正后的坐標(biāo)應(yīng)用被保存在像差系數(shù)表38中的歪曲 像差校正的系數(shù)k!、 k2、 Pl、 p2，用運(yùn)算式xsG=X' (l+kir'2+k2r'4) + 2pxy+p2 (r'2+2x'2)、 ysG=y' (1+1^'2+]^4)十2p2X'y'+p！ (r'2+ 2y'2)計(jì)算被保存在緩沖存儲(chǔ)器21中的Gr平面和Gb平面中的采樣坐標(biāo) xsG、 ysG。此時(shí)，設(shè)r'2三x'2+y'2。ki、 k2、 Pl、 P2是表示攝像鏡頭3的歪曲像差的系數(shù)，k卜k2表示放 射線方向的歪斜、Pl、 P2表示切線方向的歪斜。
進(jìn)一步，應(yīng)用被保存在像差系數(shù)表38中的顏色像差系數(shù)kK、kB、dRx、
dRy、 dBx、 dBy，考慮攝像鏡頭3的顏色像差而通過(guò)(式3)、(式4)計(jì)算 R平面、B平面中的采樣坐標(biāo)(xsR， ysR) (xsB， ysB)。式3
<formula>formula see original document page 18</formula>式式4
<formula>formula see original document page 18</formula>式4
在此，kR、 kB是以Gr平面和Gb平面為基準(zhǔn)時(shí)的R、 B平面的倍率， dnx、 (ky是以Gr平面和Gb平面為基準(zhǔn)時(shí)的R平面的平行偏移量，dBx、 dBy是以Gr平面和Gb平面為基準(zhǔn)時(shí)的B平面的平行偏移量。
然后，如果設(shè)顏色馬賽克圖像的尺寸為2560x1920像素，對(duì)應(yīng)的顏 色馬賽克圖像的像素位置(us， vs)在xy坐標(biāo)系下的表現(xiàn)為(式5)、(式 6)、(式7)。目卩，當(dāng)顏色馬賽克圖像由2560x1920的等間隔的像素排列構(gòu) 成時(shí)，算出如602 +19202)/2=1600，賦予偏移(u， v) = (1280， 960)，
以使圖像中心(Us, vs) = (1280， 960)成為原點(diǎn)(xs， ys) = (0， 0)， 得到(式5)、(式6)、(式7)。式5
XsR x 1600 + 、ysR X 1600 + 960」
<formula>formula see original document page 18</formula>式式6
,XsG x 1600 + 1280、 、VsG」〔ysG X1600 + 960乂
式式7
「XsB x 1600 + 1280 、 、VsB卩—、ysB X 1600 +960 〉
此外，像素存在于(u， v)的整數(shù)格子中，但由(式5)、(式6)、 (式7)算出的采樣坐標(biāo)的值不限于整數(shù)，是包含小數(shù)部分的實(shí)數(shù)。
接下來(lái)，如圖2所示，采樣部31由緩沖存儲(chǔ)器21存儲(chǔ)的顏色馬賽 克圖像，按R像素組、Gr像素組、Gb像素組、B像素組分別輸出位于由 坐標(biāo)變換部30算出的采樣坐標(biāo)周圍的像素的值。
詳細(xì)地說(shuō)，從R像素組輸出位于(usR， vsR)周圍的像素的值，從 Gr像素組輸出位于(usC)， vs0)周圍的像素的值，從Gb像素組輸出位于 (usG， vsG)周圍的像素的值，從B像素組輸出位于(usB， vsB)周圍的 像素的值。
而且，如上述那樣，采樣位置(us， vs)不限于整數(shù)坐標(biāo)，所以讀入 包圍(us， vs)的4個(gè)有值像素的值。
如圖2所示，R平面、Gr平面、Gb平面、B平面中的每個(gè)平面都呈 縱橫的格點(diǎn)狀具有4個(gè)有值像素，因此，包圍采樣坐標(biāo)401、 402、 403、 404的4個(gè)有值像素，如果該釆樣坐標(biāo)UsR為(100.8， 101.4)，則包圍該 采樣坐標(biāo)的4個(gè)像素(u， v)為(100， 100) 、 (100， 102) 、 (102， 100) 、 (102， 102)，從緩沖存儲(chǔ)器21讀取這4個(gè)像素的值。
接下來(lái)，插值部32如圖2 (f)所示，求出隔著采樣坐標(biāo)相對(duì)的有值 像素間的距離的比(在此，x方向是0.4: 0.6， y方向是0.7: 0.3)，使 用4個(gè)有值像素的像素值，通過(guò)插值計(jì)算采樣位置(100.8， 101.4)中的 R的像素值。
例如，對(duì)R平面，將4個(gè)有值像素的像素值用R (100， 100) 、 R
式7(100， 102) 、 R(102， 100) 、 R (102， 102)表示，將采樣位置(100.8， 101.4)的R的像素值用R (100.8， 101.4)表示，則通過(guò)R (100.8， 101.4) =0.6* 0.3 * R (100， 100) +0.6* 0.7* R (100， 102) +0.4* 0.3 *R
(102， 100) +0.4 * 0.7 * R (102， 102)，算出R平面上的采樣坐標(biāo) 401的像素值(100.8， 101.4)，作為R的采樣值Rsample (usR， vsR)。
并且，由Gr像素組、Gb像素組、B像素組也同樣通過(guò)插值算出采 樣坐標(biāo)中的像素值，分別為Grsample (usG， vsG) 、 Gbsample (usG， vsG)、
Bsample (Usb， Vsb)。
接下來(lái)，顏色生成部33根據(jù)由插值部32獲得的各顏色的采樣值
Rsample (USR, Vsr) 、 Grsample (Usg， Vsg) 、 Gbsample (Usg， Vsg) 、 Bsampie (Usb，
vsB)，生成各像素的顏色信息(RGB成分)R
(ud. vd) 、 U (ud, vd) 、 D (ud, vd) o
此時(shí)，單純地使R
(ud' vd) Rsample
(usR， vsr) 、 B
vsB) 、 G
(ud' vd) — ( GrSample (USG， vsg) + Gbsample (UsG， vsg) ) /2。 另外，顏色生成部33還進(jìn)行偽色抑制。作為偽色抑制的一個(gè)例子，
在由攝像元件5構(gòu)成的拜爾排列的彩色圖像傳感器中，在尼奎斯特頻率 附近的高頻處易于發(fā)生紅和藍(lán)的偽色，因此，通過(guò)取Gr和Gb的差值能 夠檢測(cè)這些斑紋，能夠抑制偽色。
詳細(xì)地說(shuō)，首先，計(jì)算高頻成分K^Grs咖pie(UsG， vsG) — Gbsample (usG，
vsG)。
接下來(lái)，設(shè)SumRB:Rsa—e (usR， vsR) +Bsample (usB， vsB) 、 DiffRB =Rsa—e(usR， vsR) —Bsample(usB， vsB)，使用運(yùn)算式Dif￡RB'=sign(DiffRB) Max (0， abs (DiffRB) —abs (K))，從abs (DiffRB)不跨過(guò)0地減 去abs (K)，計(jì)算DiffRB'。 Sign是使符號(hào)為+ 1/0/—1的運(yùn)算符，abs 是求絕對(duì)值的運(yùn)算符。
接下來(lái)，使用運(yùn)算式R (ud， vd) = (SumRB+DiffRB') /2、 G (ud， vd) 二 (Grsample (usG， vsG) +Gb，ple (usG， vsG) ) /2、 B (ud， vd) = (SumRB 一DiffRB') /2，再次生成彩色圖像中的各像素的顏色成分。由此，能夠
進(jìn)行抑制了在高頻部發(fā)生的紅和藍(lán)的偽色的顏色生成。
接下來(lái)，由視覺(jué)校正部34進(jìn)行色調(diào)曲線(伽瑪)校正、色度增強(qiáng)、
20邊緣增強(qiáng)這樣的圖像校正，然后，由壓縮部35將彩色圖像的數(shù)字圖像信
號(hào)用JPEG (Joint Photographic Experts Group)等的方法進(jìn)行壓縮，由記 錄部36將壓縮后的數(shù)字圖像信號(hào)存儲(chǔ)到記錄介質(zhì)中。
接下來(lái)，根據(jù)圖4，說(shuō)明由經(jīng)由攝像單元2輸入的顏色馬賽克圖像 (輸入圖像)進(jìn)行晃動(dòng)校正和歪曲像差等的圖像變形并生成彩色圖像(輸 出圖像)時(shí)的順序。該順序由CPU18根據(jù)被保存在ROM19中的程序?qū)?各功能部賦予指令信號(hào)來(lái)執(zhí)行。另外，圖4中的S表示步驟。另外，本 發(fā)明的反馬賽克步驟由S110 S210實(shí)現(xiàn)其功能，本發(fā)明的圖像變形步驟 由S180實(shí)現(xiàn)其功能。
首先，該順序在由操作者對(duì)圖像處理裝置100輸入了啟動(dòng)信號(hào)時(shí)開始。
接著，在S110中，經(jīng)由攝像單元2取得顏色馬賽克圖像，然后移至 S120。
接著，在S120中，將顏色馬賽克圖像讀入緩沖存儲(chǔ)器21，與拜爾 排列相對(duì)應(yīng)，按R的像素信號(hào)、Gr的像素信號(hào)、Gb的像素信號(hào)、B的像 素信號(hào)分別存儲(chǔ)，然后，移至S190。
另一方面，在S130中，使用輸出像素掃描部29，掃描輸出圖像(彩 色圖像)而順序取得處理對(duì)象像素(ud， vd)，然后，移至S180。
另外，在S140中，使用鏡頭狀態(tài)檢測(cè)部37檢測(cè)與焦點(diǎn)距離和被攝 體距離相對(duì)應(yīng)的鏡頭狀態(tài)，然后，在S150中，從像差系數(shù)表38取得與 鏡頭狀態(tài)相對(duì)應(yīng)地保存的像差系數(shù)和變焦倍率等，然后，移至S180。
另外，在S160中，使用角速度傳感器15和晃動(dòng)檢測(cè)部40檢測(cè)攝像 裝置1A的晃動(dòng)量，然后，移至SH0，在S170中取得用于晃動(dòng)量校正的 參數(shù)，然后，移至S180。
接著，在S180中，使用坐標(biāo)變換部30，利用在S150中取得的像差 系數(shù)、在S170中取得的晃動(dòng)校正參數(shù)等，對(duì)在S130中取得的輸出圖像
(彩色圖像)的處理對(duì)象中的像素位置，計(jì)算施加了歪曲像差和抖動(dòng)、 變焦倍率等的圖像變形處理的坐標(biāo)(Us， Vs)，然后，移至S190。
接著，在S190中，使用采樣部31，從緩沖存儲(chǔ)器21取得位于由坐標(biāo)變換部30算出的采樣坐標(biāo)周圍的、各R、 Gr、 Gb， B的像素值，然后， 移至S200。
接著，在S200中，使用插值部32，按各R、 Gr、 Gb， B由位于采 樣坐標(biāo)周圍的像素的像素值插值生成位于采樣坐標(biāo)的像素值Rsamp)e (usR， vsR) 、 Grsample (usG， vsG) 、 Gbsample (usG， vsG) 、 Bsample (usB， vsB)，然 后，移至S210。
接著，在S210中，使用顏色生成部33合成由采樣部31算出的各顏 色的采樣值，由此，按各處理對(duì)象像素生成多個(gè)顏色的顏色信息R (Ud， vd) 、 G (ud， vd) 、 B (Ud， vd)，然后，移至S220。
接著，在S220中，判斷輸出圖像內(nèi)有無(wú)下一掃描像素，在判斷為沒(méi) 有像素(No)時(shí)移至S230，在判斷為有像素(Yes)時(shí)重復(fù)S180 S220， 在S220中成為沒(méi)有像素(No)時(shí)移至S230。
接著，在S230中，使用視覺(jué)校正部34，對(duì)由顏色生成部33生成的 彩色圖像進(jìn)行色調(diào)曲線(伽瑪)校正、色度增強(qiáng)、邊緣增強(qiáng)這樣的圖像 校正，然后，移至S240。
接著，在S240中，使用壓縮部35，將經(jīng)由視覺(jué)校正部34輸出的彩 色圖像的數(shù)字圖像信號(hào)用JPEG (Joint Photographic Experts Group)等方 法進(jìn)行壓縮，縮小記錄時(shí)的圖像數(shù)據(jù)的尺寸，然后，移至S250。
接著，在S250中，使用記錄部36，將壓縮后的數(shù)字圖像信號(hào)存儲(chǔ) 在閃速存儲(chǔ)器等記錄介質(zhì)中，然后，結(jié)束本圖像處理程序。
如上所述，第一實(shí)施方式記載的圖像處理裝置100和圖像處理方法 通過(guò)用顏色馬賽克圖像進(jìn)行在進(jìn)行圖像變形時(shí)所需的圖像數(shù)據(jù)的緩沖， 能夠?qū)⒕彌_存儲(chǔ)器21的容量抑制在每1個(gè)像素1個(gè)變量，能夠節(jié)省緩沖 存儲(chǔ)器21的存儲(chǔ)容量和頻帶，以低成本和低功耗實(shí)現(xiàn)具有彩色馬賽克和 圖像變形的攝像裝置l。 (第二實(shí)施方式)
接下來(lái)，使用圖5 圖8說(shuō)明本發(fā)明的第二實(shí)施方式。圖5是表示 應(yīng)用了本發(fā)明的圖像處理裝置和圖像處理方法的第二實(shí)施方式的攝像裝 置1A的結(jié)構(gòu)的框圖，圖6是表示該第二實(shí)施方式的圖像處理裝置和圖像處理方法中的彩色圖像生成的順序的流程圖，圖7是表示圖6中的壓縮 和高速緩沖控制器的順序的細(xì)節(jié)的流程圖。
第二實(shí)施方式中的攝像裝置1A基本上具有與第一實(shí)施方式所示的 攝像裝置1相同的結(jié)構(gòu)，所以對(duì)其相同的結(jié)構(gòu)部分標(biāo)記同一標(biāo)號(hào)并省略 詳細(xì)的說(shuō)明，以下說(shuō)明成為特征的部分。
攝像裝置1A中的圖像處理裝置100A包括壓縮從攝像單元2輸出
的反馬賽克圖像的壓縮部20;讀入被壓縮并保存在緩沖存儲(chǔ)器21中的反 馬賽克圖像進(jìn)行拉伸的拉伸部25;按照來(lái)自反馬賽克部28的請(qǐng)求從高速 緩沖存儲(chǔ)器27或拉伸部25將像素?cái)?shù)據(jù)輸出到釆樣部31的高速緩沖控制 器26;以及存儲(chǔ)由高速緩沖控制器26取得的最新的像素組的高速緩沖存 儲(chǔ)器27等。
首先，將拍攝到的顏色馬賽克圖像從攝像元件5以光柵順序作為與 各像素的曝光量相應(yīng)的模擬信號(hào)被輸出到A/D轉(zhuǎn)換器9。
接下來(lái)，A/D轉(zhuǎn)換器9將該模擬信號(hào)轉(zhuǎn)換為12bit的數(shù)字信號(hào)(以下 稱為像素值)，將該像素值輸出到壓縮部20。
接下來(lái)，壓縮部20將從A/D轉(zhuǎn)換器9順序輸入的像素值組按各顏色 像素以水平8個(gè)像素的塊單位蓄積，將被蓄積的塊數(shù)據(jù)從12x8二96bit壓 縮到64bit，并輸出到緩沖存儲(chǔ)器21。另外，本發(fā)明中的顏色平面分解部 借助于壓縮部20實(shí)現(xiàn)其功能。
另一方面，反馬賽克部28以光柵順序生成彩色圖像。此時(shí)，因?yàn)檫M(jìn) 行圖像變形，所以經(jīng)由高速緩沖控制器26對(duì)顏色馬賽克圖像請(qǐng)求非光柵 順序的采樣。
接下來(lái)，高速緩沖控制器26接受該采樣請(qǐng)求，如果請(qǐng)求的像素的像 素值已保存在高速緩沖存儲(chǔ)器27中，則不訪問(wèn)緩沖存儲(chǔ)器21而從高速 緩沖存儲(chǔ)器27讀入該像素值，并輸出到采樣部31。
另外，如果請(qǐng)求的像素的像素值沒(méi)有保存在高速緩沖存儲(chǔ)器27中， 則高速緩沖控制器26對(duì)緩沖存儲(chǔ)器21訪問(wèn)含有該像素的塊數(shù)據(jù)。
接下來(lái)，緩沖存儲(chǔ)器21將由高速緩沖控制器26訪問(wèn)的塊數(shù)據(jù)輸出 到拉伸部25。接下來(lái)，拉伸部25拉伸從緩沖存儲(chǔ)器21輸入的塊數(shù)據(jù)，再現(xiàn)8個(gè) 12bit的像素值。
接下來(lái)，高速緩沖控制器26從拉伸部25接收被再現(xiàn)的8個(gè)12bit 的像素值并輸出到反馬賽克部28的采樣部31，同時(shí)，將該8個(gè)12bit的 像素值保存到高速緩沖存儲(chǔ)器27中。此外，如果高速緩沖存儲(chǔ)器27的 空間已滿，則高速緩沖控制器26用LRU (Least-Recently-Used)法等已 知的高速緩沖控制法進(jìn)行更新。
高速緩沖存儲(chǔ)器27與高速緩沖控制器26和反馬賽克部28在同一半 導(dǎo)體集成電路上作為SRAM被集成，作為與緩沖存儲(chǔ)器21相比小容量、 高速的存儲(chǔ)器而安裝。另外，本實(shí)施例的高速緩沖存儲(chǔ)器27作為讀高速 緩沖器動(dòng)作。另外，高速緩沖存儲(chǔ)器27的行尺寸構(gòu)成為能夠保存1個(gè)塊 的像素值組。
接下來(lái)，反馬賽克部28與第一實(shí)施方式相同，使用經(jīng)由高速緩沖控 制器26輸入的顏色馬賽克圖像的各像素?cái)?shù)據(jù)，在采樣部31中，取得位 于由坐標(biāo)變換部30算出的釆樣坐標(biāo)周圍的各R、 Gr、 Gb， B的像素值， 然后，在插值部32中，按各R、 Gr、 Gb， B，由位于采樣坐標(biāo)周圍的像 素的像素值插值生成位于采樣坐標(biāo)的像素值RsampIe (usR, vsR) 、 Grsampte
(UsG， VsG) 、 Gb咖pk (UsG， VsG) 、 Bsampie (UsB， VsB)，然后，在顏色生
成部33中，按各處理對(duì)象像素生成多個(gè)顏色的顏色信息R (ud， vd) 、 G (ud， vd) 、 B (ud， vd)。
接下來(lái)，根據(jù)圖6、圖7，說(shuō)明由經(jīng)由攝像單元2輸入的顏色馬賽克 圖像(輸入圖像)進(jìn)行晃動(dòng)校正和歪曲像差等的圖像變形并生成彩色圖 像(輸出圖像)時(shí)的順序。該順序由CPU18根據(jù)保存在ROM19中的程 序?qū)Ω鞴δ懿抠x予指令信號(hào)來(lái)執(zhí)行。另外，在本流程圖中對(duì)與第一方式 所示的流程圖相同的步驟賦予同一編號(hào)，并省略其詳細(xì)說(shuō)明。本發(fā)明中 的壓縮步驟由S300實(shí)現(xiàn)其功能，本發(fā)明的拉伸步驟由S500實(shí)現(xiàn)其功能。
首先，該順序在由操作者對(duì)圖像處理裝置IOOA輸入了啟動(dòng)信號(hào)時(shí)開始。
接著，在S110中，經(jīng)由攝像單元2取得顏色馬賽克圖像，然后移至
24S300的壓縮步驟。
接著，在S300中，如圖7 (a)所示，首先，在S310的塊分割步驟 中將顏色馬賽克圖像數(shù)據(jù)按各塊分割，然后，移至S320。此時(shí)，按拜爾 排列的R、 Gr、 Gb、 B的各像素，以垂直1個(gè)像素x水平8個(gè)像素為塊單 位，將上述8個(gè)12bit像素值(x (n) ， n=1...8)作為像素值組，進(jìn)行 接下來(lái)的S320 S350的處理。另外，本發(fā)明中的顏色平面分解步驟由 S310實(shí)現(xiàn)其功能。
接著，在S320中，求出像素值組內(nèi)的x (n)的最小值Min和范圍 R (=最大值—最小值)，然后，移至S330。
接著，在S330中，使用在S320中求出的范圍R，用運(yùn)算式E二log2 (Rxl28/127) —6計(jì)算共用指數(shù)E，然后，移至S340。此時(shí)，如果E是 非整數(shù)則將E進(jìn)位，如果E是負(fù)數(shù)，則使E為O而作為非負(fù)整數(shù)。
接著，在S340中，使用運(yùn)算式M (n) = (x (n) —Min) /2￡計(jì)算 尾數(shù)M (n)。此時(shí)，如果尾數(shù)M (n)是非整數(shù)，則將尾數(shù)M (n)四 舍五入成整數(shù)，然后，移至S350。
由此，Min可取12bit、 E可取0 7的整數(shù)值，所以可用3bit表示， M(n)可取0 63的整數(shù)值，所以可用6bit表示。此外，在S330的求E 的運(yùn)算式中，由于R與(128/127)相乘而涉及S340的尾數(shù)算出步驟中 的四舍五入引起的溢出。排列這些數(shù)據(jù)則為63bit (12+3 + 6x8 = 63)。
接著，在S350中，匯集這些數(shù)據(jù)63bit (12+3 + 6x8 = 63)而將8 個(gè)像素組作為壓縮數(shù)據(jù)，然后，移至圖6的S400。由S310 S350實(shí)現(xiàn) 本發(fā)明的灰度壓縮。
接著，在S400中，將在S350中被壓縮的數(shù)據(jù)保存在緩沖存儲(chǔ)器21 中，然后，移至S500。在作為緩沖存儲(chǔ)器21使用通用DRAM的情況下， 其大多數(shù)將8x2"bit作為訪問(wèn)單位，所以追加lbit，用64bit邊界(boundary) 進(jìn)行保存是有效率的。
接著，在S500中，使用拉伸部25從緩沖存儲(chǔ)器21讀入63bit的壓 縮數(shù)據(jù)，將該壓縮數(shù)據(jù)拉伸為8個(gè)12bit像素值x' (n)，然后，移至S600。 此時(shí)，在S500中，從緩沖存儲(chǔ)器21讀入包含所希望的像素?cái)?shù)據(jù)的63 (或
2564) bit的封裝(encapsulate)后的數(shù)據(jù)，將12bit分解為Min、將3bit分 解為E、將8個(gè)6bit數(shù)據(jù)分解為M (n)，由這些分解后的數(shù)據(jù)，使x' (n) =M (n) x2E+Min，再現(xiàn)像素值組。
另外，在S350的封裝步驟中，也可以具有可逆壓縮部的功能。在壓 縮部20中，對(duì)63bit的數(shù)據(jù)嘗試可逆壓縮，如果不能壓縮成63bit以下， 則將可逆壓縮使用標(biāo)記lbit設(shè)置成false賦予，作為64bit的數(shù)據(jù)保存在 緩沖存儲(chǔ)器21中。
另外，在能壓縮成63bit以下的情況下，將可逆壓縮使用標(biāo)記lbit 設(shè)置成true賦予，然后，將被壓縮的數(shù)據(jù)繼續(xù)保存在緩沖存儲(chǔ)器21中。 由此，能夠削減緩沖存儲(chǔ)器21的改寫量，能夠進(jìn)一步實(shí)現(xiàn)節(jié)省功耗。另 外，作為可逆壓縮可以使用行程長(zhǎng)度壓縮和熵編碼。
另一方面，在S500的拉伸步驟中，從緩沖存儲(chǔ)器21讀入64bit的壓 縮數(shù)據(jù)，首先確認(rèn)可逆壓縮使用標(biāo)記，如果可逆壓縮使用標(biāo)記是false, 則由接下來(lái)的63bit輸出用12bit表示的8個(gè)像素值x' (n)。另外，如果 可逆壓縮使用標(biāo)記是true,則將接下來(lái)的數(shù)據(jù)可逆拉伸之后輸出用12bit 表示的8個(gè)像素值x' (n)。
接著，S600的高速緩沖控制器步驟如圖7 (b)所示，按照來(lái)自反馬 賽克部28的訪問(wèn)請(qǐng)求，在S610中，判斷由反馬賽克部28請(qǐng)求的像素?cái)?shù) 據(jù)是否存在于高速緩沖存儲(chǔ)器27中，在判斷為像素?cái)?shù)據(jù)存在(yes)時(shí)移 至S620，在判斷為像素?cái)?shù)據(jù)不存在(No)時(shí)移至S611。
接著，在S611中，讀入包含請(qǐng)求像素的壓縮數(shù)據(jù)，然后，移至S612。
接著，在S612中，使用拉伸部25，拉伸壓縮數(shù)據(jù)而取得包含所請(qǐng) 求的像素值的像素值組，然后，在S613中，將被拉伸的像素值組保存在 高速緩沖存儲(chǔ)器27中，同時(shí)，移至S630。
另一方面，在S610中像素?cái)?shù)據(jù)存在(yes)時(shí)，在S620中，從高速 緩沖存儲(chǔ)器27讀出該像素值，然后，移至S630。
接著，在S630中，將由反馬賽克部28請(qǐng)求的像素值輸出到反馬賽 克部28，然后，移至圖6的S190。
接著，與第一實(shí)施方式相同，在S190 S220中進(jìn)行圖像變形和反馬賽克處理，然后，在進(jìn)行了 S230的視覺(jué)校正步驟、S240的壓縮步驟之后，
結(jié)束本處理。
如以上那樣，第二實(shí)施方式記載的圖像處理裝置100A和圖像處理方 法通過(guò)使用壓縮部20來(lái)壓縮緩沖存儲(chǔ)器21中保存的顏色馬賽克圖像數(shù) 據(jù)，能夠削減所需的緩沖存儲(chǔ)器21的存儲(chǔ)容量，并且，對(duì)bit深度不是8 的倍數(shù)的顏色馬賽克圖像也能通過(guò)適當(dāng)?shù)卦O(shè)定壓縮率而高效地利用通用 的8x2"寬度的DRAM。
另外，在反馬賽克部28中，為了生成彩色圖像的l個(gè)像素而參照顏 色馬賽克圖像中的多個(gè)像素的像素值，而在生成彩色圖像的相鄰的像素 的情況下，多參照(訪問(wèn))顏色馬賽克圖像中的同一像素。與此相應(yīng)， 第二實(shí)施方式記載的圖像處理裝置100A和圖像處理方法引入了高速緩 沖存儲(chǔ)器27，所以能夠削減緩沖存儲(chǔ)器21的讀出頻帶，能進(jìn)一步削減功 耗。
(變形例)
以上，說(shuō)明了本發(fā)明的一個(gè)實(shí)施例，但本發(fā)明并不限于上述實(shí)施例， 能夠取各種方式。
例如，為了更有效地利用高速緩沖存儲(chǔ)器，也可以構(gòu)成輸出像素掃 描部29中的掃描順序。艮P，在掃描彩色圖像的全部像素時(shí)，進(jìn)行區(qū)域性 強(qiáng)的掃描。作為這樣的掃描的例子，可列舉出希爾伯特曲線的活用。例 如，可以如圖8所示，將輸出彩色圖像分割為8x8的塊，在各塊內(nèi)沿希 爾伯特曲線進(jìn)行掃描，將各像素的坐標(biāo)輸出到坐標(biāo)變換部30。另外，如 果1個(gè)塊內(nèi)的像素掃描結(jié)束，則按光柵順序掃描下一塊。
另外，壓縮部20通過(guò)像Motion JPEG或MPEG那樣，利用基于縱 向8個(gè)像素的塊的壓縮方式，能夠不需要在光柵輸入中所需的光柵塊轉(zhuǎn)換。
另外，在本實(shí)施例的攝像裝置l、 1A中，還包括使攝像鏡頭3在光 軸方向滑動(dòng)的滑動(dòng)機(jī)構(gòu)和檢測(cè)攝像鏡頭3的位置的檢測(cè)部，在坐標(biāo)變換 部30中，可以與攝像鏡頭3的鏡頭狀態(tài)相對(duì)應(yīng)地進(jìn)行坐標(biāo)變換，以校正 保存在攝像單元2的像差系數(shù)表38中的像差系數(shù)。
權(quán)利要求
1. 一種圖像處理裝置，其由各像素具有單色的亮度信息的顏色馬賽克圖像在各像素生成多個(gè)顏色的亮度信息，并且實(shí)施預(yù)定的圖像變形而生成彩色圖像，其中，上述顏色馬賽克圖像是由具有對(duì)不同的多個(gè)顏色光進(jìn)行光電變換的像素的單板式的攝像元件獲得的，上述圖像處理裝置包括緩沖存儲(chǔ)器，其存儲(chǔ)上述顏色馬賽克圖像；圖像變形部，其使從上述緩沖存儲(chǔ)器輸出的上述顏色馬賽克圖像變形；以及反馬賽克部，其由被實(shí)施了上述圖像變形的顏色馬賽克圖像生成上述彩色圖像。
2. 根據(jù)權(quán)利要求l所述的圖像處理裝置，其特征在于 上述圖像處理裝置還包括壓縮部，其壓縮上述顏色馬賽克圖像；以及拉伸部，其拉伸由上述壓縮部壓縮后的上述顏色馬賽克圖像，上述圖像處理裝置構(gòu)成為將上述顏色馬賽克圖像由上述壓縮部壓縮 后存儲(chǔ)到上述緩沖存儲(chǔ)器中。
3. 根據(jù)權(quán)利要求2所述的圖像處理裝置，其特征在于上述圖像處理裝置還包括顏色平面分解部，該顏色平面分解部將上 述顏色馬賽克圖像分解成僅包含同一顏色光的亮度信息的多個(gè)顏色平 面，上述壓縮部將上述各顏色平面分割成多個(gè)塊，按該分割而成的各塊 壓縮成預(yù)定的尺寸以下。
4. 根據(jù)權(quán)利要求2所述的圖像處理裝置，其特征在于上述壓縮部進(jìn)行與上述亮度的灰度相對(duì)應(yīng)的灰度壓縮。
5. 根據(jù)權(quán)利要求3所述的圖像處理裝置，其特征在于 上述拉伸部按上述各塊拉伸由上述壓縮部壓縮后的顏色馬賽克圖像。
6. 根據(jù)權(quán)利要求l所述的圖像處理裝置，其特征在于 上述圖像處理裝置還包括存儲(chǔ)上述顏色馬賽克圖像的像素值的高速緩沖存儲(chǔ)器，上述圖像變形部能夠不經(jīng)由上述緩沖存儲(chǔ)器而從上述高速緩沖存儲(chǔ) 器獲得上述像素值。
7. 根據(jù)權(quán)利要求6所述的圖像處理裝置，其特征在于 上述高速緩沖存儲(chǔ)器存儲(chǔ)最近訪問(wèn)過(guò)的像素的像素值或上述塊內(nèi)的像素值組。
8. —種圖像處理方法，由各像素具有單色的亮度信息的顏色馬賽克 圖像在各像素生成多個(gè)顏色的亮度信息，并且實(shí)施預(yù)定的圖像變形而生 成彩色圖像，其中，上述顏色馬賽克圖像是由具有對(duì)不同的多個(gè)顏色光 進(jìn)行光電變換的像素的單板式的攝像元件獲得的，在上述圖像處理方法中使用存儲(chǔ)上述顏色馬賽克圖像的緩沖存儲(chǔ)器，上述圖像處理方法包括-圖像變形步驟，使從上述緩沖存儲(chǔ)器輸出的顏色馬賽克圖像變形；以及反馬賽克步驟，由被實(shí)施了上述圖像變形的顏色馬賽克圖像生成上 述彩色圖像。
9. 根據(jù)權(quán)利要求8所述的圖像處理方法，其特征在于-上述圖像處理方法還包括壓縮步驟，壓縮上述顏色馬賽克圖像；以及拉伸步驟，拉伸在上述壓縮步驟中壓縮后的上述顏色馬賽克圖像， 在上述圖像處理方法中，將上述顏色馬賽克圖像在上述壓縮步驟中 壓縮后存儲(chǔ)到上述緩沖存儲(chǔ)器中。
10. 根據(jù)權(quán)利要求9所述的圖像處理方法，其特征在于-上述圖像處理方法還包括顏色平面分解步驟，將上述顏色馬賽克圖像分解成僅包含同一顏色光的亮度信息的多個(gè)顏色平面，上述壓縮步驟將上述各顏色平面分割成多個(gè)塊，按該分割而成的各塊壓縮成預(yù)定的尺寸以下。
11. 根據(jù)權(quán)利要求9所述的圖像處理方法，其特征在于 在上述壓縮步驟中，進(jìn)行與上述亮度的灰度相對(duì)應(yīng)的灰度壓縮。
12. 根據(jù)權(quán)利要求10所述的圖像處理方法，其特征在于 在上述拉伸步驟中，按上述各塊拉伸在上述壓縮步驟中壓縮后的顏色馬賽克圖像。
13. 根據(jù)權(quán)利要求8所述的圖像處理方法，其特征在于 在上述圖像處理方法中使用存儲(chǔ)上述顏色馬賽克圖像的像素值的高速緩沖存儲(chǔ)器，在上述圖像變形步驟中，能夠不經(jīng)由上述緩沖存儲(chǔ)器而從上述高速 緩沖存儲(chǔ)器獲得上述像素值。
14. 根據(jù)權(quán)利要求13所述的圖像處理方法，其特征在于上述高速緩沖存儲(chǔ)器存儲(chǔ)最近訪問(wèn)過(guò)的像素的像素值或上述塊內(nèi)的 像素值組。
全文摘要
本發(fā)明提供一種圖像處理裝置和圖像處理方法，在由從單板式的具有濾色器的攝像元件輸出的馬賽克圖像生成彩色圖像并且進(jìn)行圖像變形處理時(shí)，能夠節(jié)省緩存器的存儲(chǔ)容量和頻帶，實(shí)現(xiàn)低功耗化和低成本化。圖像處理裝置包括存儲(chǔ)從攝像元件(5)輸出的顏色馬賽克圖像的緩沖存儲(chǔ)器(21)和對(duì)從緩沖存儲(chǔ)器(21)輸出的顏色馬賽克圖像進(jìn)行圖像變形并且生成每個(gè)像素具有多個(gè)顏色信息的彩色圖像的反馬賽克部(28)。
文檔編號(hào)H04N9/64GK101448169SQ200810182340
公開日2009年6月3日 申請(qǐng)日期2008年11月21日 優(yōu)先權(quán)日2007年11月28日
發(fā)明者增田孝, 沢田保宏 申請(qǐng)人:安奇邏輯股份有限公司