本發(fā)明涉及一種圖像處理裝置、圖像處理方法和攝像裝置。

背景技術(shù)：

目前，在數(shù)字照相機(jī)(包括內(nèi)置在諸如智能電話和個(gè)人計(jì)算機(jī)的電子設(shè)備中的數(shù)字照相機(jī))中，通常使用單面型彩色圖像傳感器。單面型彩色圖像傳感器配設(shè)有馬賽克濾色器(以下簡(jiǎn)稱(chēng)為濾色器)，并且通過(guò)馬賽克濾色器和顏色插值處理(去馬賽克)的組合來(lái)生成全色圖像。

在構(gòu)成濾色器的顏色分量和顏色分量的布置中存在許多變化，但是廣泛使用具有原色拜耳陣列的濾色器。原色拜耳陣列是包括交替布置的紅色和綠色濾色器的行和包括交替布置的綠色和藍(lán)色濾色器的行在列方向上交替出現(xiàn)的陣列。在配設(shè)有具有原色拜耳陣列的濾色器的圖像傳感器(以下稱(chēng)為拜耳型圖像傳感器)中，各個(gè)像素輸出與紅色(r)、綠色(g)或藍(lán)色(b)的輝度相對(duì)應(yīng)的信號(hào)。

全色圖像是構(gòu)成圖像的各像素具有rgb分量的值的圖像。因此，為了從能夠用拜耳型圖像傳感器獲得的信號(hào)生成全色圖像，需要通過(guò)去馬賽克來(lái)為各像素生成兩個(gè)顏色分量值。已經(jīng)提出了關(guān)于去馬賽克的各種算法以便獲得高質(zhì)量圖像，但是，基于在其他位置處的信號(hào)執(zhí)行插值，因此存在將出現(xiàn)彩色莫爾紋和偽色的可能性。

同時(shí)，已經(jīng)提出了使用多個(gè)圖像傳感器獲得高質(zhì)量全色圖像的方法。日本特開(kāi)2009-105984號(hào)公報(bào)公開(kāi)了如下技術(shù)：使用具有與彩色圖像傳感器(640水平rgb像素)和單色圖像傳感器(1920水平單色像素)相同的結(jié)構(gòu)的兩個(gè)圖像傳感器，來(lái)獲得具有高分辨率和高幀速率的運(yùn)動(dòng)圖像。具體地，在用這兩個(gè)圖像傳感器交替地拍攝之后，對(duì)由圖像傳感器獲得的運(yùn)動(dòng)圖像執(zhí)行幀插值，使得運(yùn)動(dòng)圖像被轉(zhuǎn)換為具有在拍攝時(shí)的幀速率的兩倍的幀速率的運(yùn)動(dòng)圖像。組合對(duì)應(yīng)于同一時(shí)刻的兩個(gè)幀圖像，以便生成具有高輝度分辨率和在拍攝時(shí)的幀速率的兩倍的幀速率的彩色運(yùn)動(dòng)圖像。

此外，在日本特開(kāi)2001-169301號(hào)公報(bào)中，使用被布置為彼此偏移1/2像素的第一拜耳型圖像傳感器和第二拜耳型圖像傳感器生成兩個(gè)全色圖像，并且像素被布置成方格圖案(checkeredpattern)，從而生成具有比通過(guò)單獨(dú)使用圖像傳感器生成的圖像數(shù)據(jù)高的分辨率的圖像數(shù)據(jù)。

根據(jù)日本特開(kāi)2009-105984號(hào)公報(bào)的技術(shù)，交替地獲得輝度信息和顏色信息，因此，用于獲得信息的定時(shí)不同，從而導(dǎo)致特別是在運(yùn)動(dòng)圖像拍攝時(shí)合成圖像的圖像質(zhì)量的劣化。

此外，在日本特開(kāi)2001-169301號(hào)公報(bào)中，利用兩個(gè)圖像傳感器獲得的圖像在顏色插值處理之后被組合，并且未考慮顏色插值處理的精度的提高。

技術(shù)實(shí)現(xiàn)要素：

鑒于傳統(tǒng)技術(shù)中的這些問(wèn)題而做出了本發(fā)明，并且，本發(fā)明提供一種使用多個(gè)圖像提高顏色插值處理的精度的圖像處理裝置和圖像處理方法。

根據(jù)本發(fā)明的一個(gè)方面，提供一種圖像處理裝置，所述圖像處理裝置包括：獲得單元，其被構(gòu)造為獲得第一圖像數(shù)據(jù)和第二圖像數(shù)據(jù)，其中，第二圖像數(shù)據(jù)的視場(chǎng)與第一圖像數(shù)據(jù)的視場(chǎng)重疊，并且，第二圖像數(shù)據(jù)的分辨率高于第一圖像數(shù)據(jù)的分辨率；以及插值單元，其被構(gòu)造為通過(guò)參考第二圖像數(shù)據(jù)來(lái)對(duì)第一圖像數(shù)據(jù)執(zhí)行顏色插值處理，其中：第一圖像數(shù)據(jù)中的各像素值與構(gòu)成用于獲得第一圖像數(shù)據(jù)的圖像傳感器的濾色器的多個(gè)顏色分量當(dāng)中的一個(gè)顏色分量相對(duì)應(yīng)，第二圖像數(shù)據(jù)中的各像素值與構(gòu)成用于獲得第二圖像數(shù)據(jù)的圖像傳感器的濾色器的多個(gè)顏色分量當(dāng)中的一個(gè)顏色分量相對(duì)應(yīng)，并且所述插值單元通過(guò)參考構(gòu)成第二圖像數(shù)據(jù)的像素的值當(dāng)中的在與第一圖像數(shù)據(jù)中的要被插值的像素的位置相對(duì)應(yīng)的第一位置處的像素的值、或者在最靠近第一位置的第二位置處的像素的值，來(lái)對(duì)要被插值的像素執(zhí)行顏色插值處理。

根據(jù)本發(fā)明的另一個(gè)方面，提供一種攝像裝置，所述攝像裝置包括：第一圖像傳感器；第二圖像傳感器；以及圖像處理裝置，所述圖像處理裝置包括：獲得單元，其被構(gòu)造為獲得第一圖像數(shù)據(jù)和第二圖像數(shù)據(jù)，其中，第二圖像數(shù)據(jù)的視場(chǎng)與第一圖像數(shù)據(jù)的視場(chǎng)重疊，并且，第二圖像數(shù)據(jù)的分辨率高于第一圖像數(shù)據(jù)的分辨率；以及插值單元，其被構(gòu)造為通過(guò)參考第二圖像數(shù)據(jù)來(lái)對(duì)第一圖像數(shù)據(jù)執(zhí)行顏色插值處理，其中：第一圖像數(shù)據(jù)中的各像素值與構(gòu)成用于獲得第一圖像數(shù)據(jù)的圖像傳感器的濾色器的多個(gè)顏色分量當(dāng)中的一個(gè)顏色分量相對(duì)應(yīng)，第二圖像數(shù)據(jù)中的各像素值與構(gòu)成用于獲得第二圖像數(shù)據(jù)的圖像傳感器的濾色器的多個(gè)顏色分量當(dāng)中的一個(gè)顏色分量相對(duì)應(yīng)，并且所述插值單元通過(guò)參考構(gòu)成第二圖像數(shù)據(jù)的像素的值當(dāng)中的在與第一圖像數(shù)據(jù)中的要被插值的像素的位置相對(duì)應(yīng)的第一位置處的像素的值、或者在最靠近第一位置的第二位置處的像素的值，來(lái)對(duì)要被插值的像素執(zhí)行顏色插值處理，其中，使用所述第一圖像傳感器獲得第一圖像數(shù)據(jù)，并且，使用所述第二圖像傳感器獲得第二圖像數(shù)據(jù)。

根據(jù)本發(fā)明的一個(gè)方面，提供了一種由圖像處理裝置執(zhí)行的圖像處理方法，所述圖像處理方法包括：獲得第一圖像數(shù)據(jù)和第二圖像數(shù)據(jù)，其中，第二圖像數(shù)據(jù)的視場(chǎng)與第一圖像數(shù)據(jù)的視場(chǎng)重疊，并且，第二圖像數(shù)據(jù)的分辨率高于第一圖像數(shù)據(jù)的分辨率；以及通過(guò)參考第二圖像數(shù)據(jù)來(lái)對(duì)第一圖像數(shù)據(jù)執(zhí)行顏色插值處理，其中，第一圖像數(shù)據(jù)中的各像素值與構(gòu)成用于獲得第一圖像數(shù)據(jù)的圖像傳感器的濾色器的多個(gè)顏色分量當(dāng)中的一個(gè)顏色分量相對(duì)應(yīng)，第二圖像數(shù)據(jù)中的各像素值與構(gòu)成用于獲得第二圖像數(shù)據(jù)的圖像傳感器的濾色器的多個(gè)顏色分量當(dāng)中的一個(gè)顏色分量相對(duì)應(yīng)，并且在執(zhí)行所述顏色插值處理中，參考構(gòu)成第二圖像數(shù)據(jù)的像素的值當(dāng)中的在與第一圖像數(shù)據(jù)中的要被插值的像素的位置相對(duì)應(yīng)的第一位置處的像素的值、或者在最靠近第一位置的位置處的像素的值。

根據(jù)下面參照附圖對(duì)示例性實(shí)施例的描述，本發(fā)明的其他特征將變得清楚。

附圖說(shuō)明

圖1是示出根據(jù)本發(fā)明實(shí)施例的數(shù)字照相機(jī)的功能結(jié)構(gòu)的示例的框圖。

圖2是根據(jù)實(shí)施例的圖像傳感器的結(jié)構(gòu)示例的示意圖。

圖3a和圖3b是第一實(shí)施例和第二實(shí)施例中的像素的電路圖。

圖4a和圖4b是與根據(jù)實(shí)施例的列ad轉(zhuǎn)換器的“ad高分辨率”方式和“ad高速”方式的操作相關(guān)的示圖。

圖5是示出第一實(shí)施例中的圖像投影的示圖。

圖6a和圖6b是與第一圖像傳感器和第二圖像傳感器的圖像形成面之間的未對(duì)準(zhǔn)有關(guān)的示圖。

圖7是示出第一實(shí)施例中的信號(hào)處理電路的功能結(jié)構(gòu)的示例的框圖。

圖8a和圖8b是示出實(shí)施例中的參考插值電路中的g像素的坐標(biāo)關(guān)系的示圖。

圖9a和圖9b是示出實(shí)施例中的參考插值電路中的第一插值模式中的r像素的坐標(biāo)關(guān)系和b像素的坐標(biāo)關(guān)系的示圖。

圖10a和圖10b是示出實(shí)施例中的參考插值電路中的第二插值模式中的r像素的坐標(biāo)關(guān)系和b像素的坐標(biāo)關(guān)系的示圖。

圖11a和圖11b是示出實(shí)施例中的參考插值電路中的第三插值模式中的r像素的坐標(biāo)關(guān)系和b像素的坐標(biāo)關(guān)系的示圖。

圖12是實(shí)施例中的參考插值處理的流程圖。

圖13是實(shí)施例中的插值參數(shù)計(jì)算處理的流程圖。

圖14是示出第二實(shí)施例的圖像傳感器的結(jié)構(gòu)示例的示圖。

圖15是示出與第二實(shí)施例中的圖像投影相關(guān)的示圖。

圖16是示出根據(jù)第三實(shí)施例的信號(hào)處理電路的功能結(jié)構(gòu)的示例的框圖。

圖17是示出第三實(shí)施例中的圖像傳感器讀出的控制的示圖。

圖18是與第三實(shí)施例中的信號(hào)處理電路的操作相關(guān)的流程圖。

具體實(shí)施方式

現(xiàn)在將根據(jù)附圖詳細(xì)地描述本發(fā)明的示例性實(shí)施例。請(qǐng)注意，下面將描述其中根據(jù)本發(fā)明實(shí)施例的圖像處理裝置應(yīng)用于數(shù)字照相機(jī)的示例，但是，在本發(fā)明中不需要與拍攝和記錄拍攝圖像有關(guān)的功能。本發(fā)明可以在能夠獲得已被同時(shí)拍攝的多個(gè)圖像的任何電子設(shè)備中實(shí)現(xiàn)。這種電子設(shè)備的示例包括數(shù)字靜態(tài)照相機(jī)或攝像機(jī)、個(gè)人計(jì)算機(jī)、游戲設(shè)備、移動(dòng)電話、移動(dòng)信息終端、汽車(chē)導(dǎo)航系統(tǒng)、驅(qū)動(dòng)記錄器、機(jī)器人等，但是本發(fā)明不限于此。此外，下面將描述用于運(yùn)動(dòng)圖像幀的顏色插值處理(去馬賽克)，但是本發(fā)明也可以以類(lèi)似的方式應(yīng)用于靜止圖像。

第一實(shí)施例

圖1是示意性地示出本發(fā)明實(shí)施例共有的數(shù)字照相機(jī)1000的功能結(jié)構(gòu)的框圖。

數(shù)字照相機(jī)1000具有第一圖像傳感器1100、第二圖像傳感器1200、將來(lái)自攝影鏡頭2000的入射光在兩個(gè)方向上分開(kāi)的半反射鏡1300、照相機(jī)控制電路1400、信號(hào)處理電路1500和操作構(gòu)件1900。

此外，攝影鏡頭2000具有聚光透鏡2100、光圈2200、聚焦透鏡2300和透鏡控制電路2400。透鏡控制電路2400和照相機(jī)控制電路1400可以經(jīng)由透鏡通信終端1310彼此通信。攝影鏡頭2000可以從數(shù)字照相機(jī)1000移除，或者可以固定到數(shù)字照相機(jī)1000。

操作構(gòu)件1900共同地表示用戶(hù)用于向數(shù)字照相機(jī)1000輸入指令的一組輸入設(shè)備。例如，操作構(gòu)件1900不僅可以包括諸如開(kāi)關(guān)、按鈕、桿和觸摸面板的需要物理操作的輸入設(shè)備，而且可以包括接收聲音輸入和眼睛注視輸入的輸入設(shè)備。本實(shí)施例的數(shù)字照相機(jī)1000具有通過(guò)半行程按壓操作構(gòu)件1900中包括的釋放按鈕而接通的開(kāi)關(guān)(sw1)、以及通過(guò)全行程按壓釋放按鈕而接通的開(kāi)關(guān)(sw2)。請(qǐng)注意，釋放按鈕用于拍攝靜止圖像，并且分開(kāi)地設(shè)置運(yùn)動(dòng)圖像記錄按鈕以拍攝運(yùn)動(dòng)圖像。

接通開(kāi)關(guān)sw1發(fā)出開(kāi)始拍攝準(zhǔn)備操作的指令。拍攝準(zhǔn)備操作包括af(自動(dòng)聚焦)處理和ae(自動(dòng)曝光)處理。例如，ae處理和af處理可以由照相機(jī)控制電路1400基于從作為實(shí)時(shí)取景顯示的圖像獲得的信息來(lái)實(shí)現(xiàn)。

此外，接通開(kāi)關(guān)sw2發(fā)出對(duì)要記錄的圖像開(kāi)始拍攝操作的指令。除了分辨率不同之外，要記錄的圖像以與要顯示的圖像相同的方式生成。在信號(hào)處理電路1500根據(jù)需要執(zhí)行編碼處理之后，照相機(jī)控制電路1400將圖像存儲(chǔ)在與記錄格式相對(duì)應(yīng)的數(shù)據(jù)文件中，并將該圖像記錄在記錄介質(zhì)1910中。

信號(hào)處理電路1500對(duì)由第一圖像傳感器1100和第二圖像傳感器1200輸出的圖像信號(hào)應(yīng)用諸如相關(guān)雙采樣和γ校正的預(yù)處理以及諸如白平衡調(diào)整和去馬賽克的顯影處理，并且生成全色圖像。信號(hào)處理電路1500還對(duì)諸如實(shí)時(shí)取景圖像之類(lèi)的要顯示的圖像應(yīng)用圖像縮小處理，并且對(duì)要記錄的圖像應(yīng)用與記錄格式相對(duì)應(yīng)的編碼處理。另外，信號(hào)處理電路1500還執(zhí)行顯示在記錄介質(zhì)1910中記錄的圖像所需的解碼處理。要顯示的圖像可以被顯示在電子取景器(evf)1940和顯示設(shè)備1950上。另外，記錄介質(zhì)1910是諸如半導(dǎo)體存儲(chǔ)卡或ssd的非易失性存儲(chǔ)設(shè)備。記錄介質(zhì)1910可以是可移除的或內(nèi)置的。

信號(hào)處理電路1500還可以執(zhí)行包括諸如rgb-ycbcr轉(zhuǎn)換的信號(hào)格式轉(zhuǎn)換、圖像合成、色調(diào)調(diào)整、af評(píng)價(jià)值生成、用于檢測(cè)和識(shí)別特定被攝體的處理等的各種類(lèi)型的圖像處理。典型的特定被攝體是人的面部，并且，用于識(shí)別特定被攝體的處理涉及識(shí)別面部表情和個(gè)人，但是本發(fā)明不限于此。

圖2是示出第一圖像傳感器1100的結(jié)構(gòu)示例的示意圖。大量像素1120二維地布置成矩陣。像素1120包括用于拍攝圖像的有效像素和用于校正的光學(xué)黑色像素(ob像素)。有效像素布置在有效像素部分1110中，并且，ob像素布置在水平ob像素部分1112和垂直ob像素部分1111中。

有效像素配設(shè)有原色拜耳陣列形式的濾色器。在圖2中，r像素是配設(shè)有紅色(r)濾色器的像素。b像素配設(shè)有藍(lán)色(b)濾色器。gr像素和gb像素都是配設(shè)有綠色(g)濾色器的像素，但是在水平方向上與r像素相鄰的g像素被稱(chēng)為gr像素，并且在水平方向上與b像素相鄰的g像素被稱(chēng)為gb像素。

請(qǐng)注意，在以下描述中，水平方向是與垂直傳輸線1140正交的方向，并且垂直方向是平行于垂直傳輸線1140的方向。此外，水平方向上的有效像素之間的間隔δx被稱(chēng)為水平像素間距，并且垂直方向上的間隔δy被稱(chēng)為垂直像素間距。在本實(shí)施例中，水平像素間距和垂直像素間距相同(δx＝δy)。

ob像素具有通過(guò)鋁布線等對(duì)像素的光電二極管(光電轉(zhuǎn)換部)進(jìn)行遮光的結(jié)構(gòu)。垂直ob像素部分1111可以包括被構(gòu)造為不包括光電二極管的ob像素。

為各行像素1120設(shè)置垂直傳輸線1140和列ad轉(zhuǎn)換器1141。由斜坡信號(hào)生成電路1142生成的斜坡信號(hào)被輸入到各列ad轉(zhuǎn)換器1141。垂直讀取控制電路1160輸出用于以行為單位選擇像素的信號(hào)。水平傳輸電路1170輸出由列ad轉(zhuǎn)換器1141輸出的像素信號(hào)，以便在水平方向上傳輸這些信號(hào)。定時(shí)控制電路1150生成用于垂直讀取控制電路1160、斜坡信號(hào)生成電路1142和水平傳輸電路1170的操作定時(shí)信號(hào)。

像素1120具有將光轉(zhuǎn)換成電荷的光電二極管和累積由光電二極管生成的電荷并將電荷轉(zhuǎn)換成電壓的浮置擴(kuò)散區(qū)(fd)。列ad轉(zhuǎn)換器1141接收從斜坡信號(hào)生成電路1142輸出的電壓，并且將該電壓與連接到垂直傳輸線1140的像素1120的fd的電壓值進(jìn)行比較，從而對(duì)fd的電壓進(jìn)行a/d轉(zhuǎn)換。

請(qǐng)注意，像素1120的讀出在以下周期中執(zhí)行，以便抑制噪聲的影響。首先，在fd被復(fù)位的狀態(tài)下執(zhí)行讀出，并且，獲得n信號(hào)并將其保持在水平傳輸電路1170中。此后，由光電二極管轉(zhuǎn)換的電荷被傳輸?shù)絝d，再次執(zhí)行讀取，并且獲得s信號(hào)。在水平傳輸電路1170中，通過(guò)獲得從s信號(hào)減去n信號(hào)而得到的(s-n)信號(hào)，可以抑制噪聲的影響。

垂直讀取控制電路1160順序地選擇像素行，并且讀取包括在所選擇的像素行中的像素，從而可以從所有像素讀取信號(hào)。請(qǐng)注意，直到a/d轉(zhuǎn)換的讀出操作由定時(shí)控制電路1150生成的定時(shí)信號(hào)控制。根據(jù)由照相機(jī)控制電路1400執(zhí)行的ae控制或經(jīng)由操作構(gòu)件1900進(jìn)行的用戶(hù)設(shè)置來(lái)確定電荷累積時(shí)間(曝光持續(xù)時(shí)間)。相機(jī)控制電路1400將確定的電荷累積時(shí)間發(fā)送到定時(shí)控制電路1150。定時(shí)控制電路1150生成基于電荷累積時(shí)間的定時(shí)信號(hào)。

在本實(shí)施例中，除了像素間距δx和δy不同之外，第二圖像傳感器1200可以具有與第一圖像傳感器1100相同的結(jié)構(gòu)。這里，第一圖像傳感器1100的水平像素間距表示為δx1，第一圖像傳感器1100的垂直像素間距表示為δy1，第二圖像傳感器1200的水平像素間距表示為δx2，并且，第二圖像傳感器1200的垂直像素間距表示為δy2。在本實(shí)施例中，δx1＞δx2、δy1＞δy2、δx1＝δy1且δx2＝δy2。請(qǐng)注意，在具有較大像素間距的第一圖像傳感器1100中，可以使像素的光電二極管(光電轉(zhuǎn)換區(qū)域)的面積尺寸大于第二圖像傳感器的像素的光電轉(zhuǎn)換區(qū)域的面積尺寸。光電轉(zhuǎn)換區(qū)域的面積尺寸的增加擴(kuò)大了像素的動(dòng)態(tài)范圍，并且還提高了s/n比。

請(qǐng)注意，上述像素間距關(guān)系也可以通過(guò)像素讀出方法來(lái)實(shí)現(xiàn)。具體地，通過(guò)使第二圖像傳感器1200中的比第一圖像傳感器1100中更多的像素列和更多的像素行稀疏并然后讀取像素，或者在第二圖像傳感器1200中比在第一圖像傳感器1100中增加更多的像素列和更多的像素行并然后讀取像素，也可以實(shí)現(xiàn)上述像素間距關(guān)系。也就是說(shuō)，也可以通過(guò)改變投影在圖像傳感器上的被攝體圖像的采樣周期來(lái)實(shí)現(xiàn)上述像素間距關(guān)系。

通過(guò)讀出方法實(shí)現(xiàn)的像素間距被稱(chēng)為讀取像素間距，以便與物理像素間距區(qū)分開(kāi)。而且，第一圖像傳感器1100的讀取像素間距表示為δx’1、δy’1，并且，第二圖像傳感器1200的讀取像素間距表示為δx’2、δy’2。

請(qǐng)注意，在本實(shí)施例中，第一圖像傳感器1100和第二圖像傳感器1200具有不同的物理像素間距，并且，從這兩個(gè)圖像傳感器讀取所有像素。因此，δx’1＝δx1、δy’1＝δy1、δx’2＝δx2且δy’2＝δy2。

圖3a示出像素1120的電路圖。像素1120由光電二極管1121、傳輸晶體管(tr)1122、浮置擴(kuò)散區(qū)(fd)1123、復(fù)位tr1124、像素放大器1125和行選擇tr1126構(gòu)成。使用由垂直讀取控制電路1160輸出的控制信號(hào)ptx、fd復(fù)位信號(hào)pre和行選擇信號(hào)psel來(lái)執(zhí)行像素信號(hào)讀出控制。

如下控制像素1120的操作。首先，維持(assert)控制信號(hào)ptx和fd復(fù)位信號(hào)pres，并且，使光電二極管1121和fd1123復(fù)位。在復(fù)位完成之后取消(negate)控制信號(hào)ptx的操作開(kāi)始累積期間，并且光電二極管1121累積由在累積期間中進(jìn)入的光生成的電荷(光信號(hào))。

當(dāng)經(jīng)過(guò)預(yù)定累積期間時(shí)，通過(guò)取消fd復(fù)位信號(hào)pres并維持行選擇信號(hào)psel，由像素放大器1125放大的復(fù)位電壓經(jīng)由垂直傳輸線1140輸入到列ad轉(zhuǎn)換器1141，并且被轉(zhuǎn)換為數(shù)字信號(hào)。該信號(hào)被稱(chēng)為n信號(hào)。n信號(hào)被保存在水平傳輸電路1170中。

接下來(lái)，維持控制信號(hào)ptx，并且將在光電二極管1121中累積的電荷傳輸?shù)絝d1123并轉(zhuǎn)換為電壓。fd1123的電壓由像素放大器1125放大，然后經(jīng)由垂直傳輸線1140輸入到列ad轉(zhuǎn)換器1141，并且被轉(zhuǎn)換為數(shù)字信號(hào)。該信號(hào)被稱(chēng)為s信號(hào)。s信號(hào)是基于在光電二極管1121中累積的電荷的數(shù)字信號(hào)。在水平傳輸電路1170中，通過(guò)從s信號(hào)中減去n信號(hào)，可以抑制噪聲的影響。

接下來(lái)，將參照?qǐng)D4a中的時(shí)序圖來(lái)描述列ad轉(zhuǎn)換器1141的操作。

列ad轉(zhuǎn)換器1141具有向其輸入垂直傳輸線1140的電壓和由斜坡信號(hào)生成電路1142輸出的斜坡信號(hào)的比較器、以及向其輸入ad時(shí)鐘的計(jì)數(shù)器。如果斜坡信號(hào)的電壓小于或等于垂直傳輸線1140的電壓，則比較器輸出低電平，并且，如果斜坡信號(hào)的電壓超過(guò)垂直傳輸線1140的電壓，則比較器輸出高電平。

斜坡信號(hào)生成電路1142在來(lái)自定時(shí)控制電路1150的斜坡使能信號(hào)處于高電平的期間中輸出其電壓值以每單位時(shí)間的預(yù)定速率增加的斜坡信號(hào)。斜坡信號(hào)生成電路1142還在斜坡使能信號(hào)處于低電平的期間中輸出基準(zhǔn)電壓(例如，gnd)。

在復(fù)位電壓的a/d轉(zhuǎn)換之前，斜坡使能信號(hào)處于低電平，并且，垂直傳輸線1140的電壓是復(fù)位電壓，因此，比較器輸出處于低電平。當(dāng)斜坡使能信號(hào)達(dá)到高電平時(shí)，斜坡信號(hào)的電壓增加，并且，當(dāng)斜坡信號(hào)的電壓超過(guò)復(fù)位電壓時(shí)，比較器輸出將處于高電平。

從斜坡使能信號(hào)達(dá)到高電平的時(shí)刻直到比較器輸出達(dá)到高電平時(shí)的ad時(shí)鐘數(shù)由計(jì)數(shù)器計(jì)數(shù)。該計(jì)數(shù)值是指示垂直傳輸線1140的電壓的數(shù)字值。如果垂直傳輸線1140的電壓是復(fù)位電壓，則獲得n信號(hào)的數(shù)字值。

當(dāng)比較器輸出達(dá)到高電平時(shí)，讀出計(jì)數(shù)值(n信號(hào))。而且，定時(shí)控制電路1150將斜坡使能信號(hào)降低到低電平。因此，斜坡信號(hào)的電壓再次下降到復(fù)位電壓或復(fù)位電壓以下，由此比較器輸出將處于低電平。

在已經(jīng)經(jīng)過(guò)累積期間之后，當(dāng)由fd轉(zhuǎn)換的光信號(hào)的電壓被傳輸?shù)酱怪眰鬏斁€1140時(shí)，定時(shí)控制電路1150將斜坡使能信號(hào)升高到高電平。因此，斜坡信號(hào)的電壓開(kāi)始增加，并且計(jì)數(shù)器開(kāi)始對(duì)ad時(shí)鐘計(jì)數(shù)。當(dāng)斜坡信號(hào)的電壓超過(guò)光信號(hào)的電壓時(shí)，比較器輸出將處于高電平。從斜坡使能信號(hào)達(dá)到高電平的時(shí)刻直到比較器輸出達(dá)到高電平時(shí)的ad時(shí)鐘的計(jì)數(shù)值被讀出作為s信號(hào)。

圖4b是示出在斜坡信號(hào)的電壓增加率(每單位時(shí)間的電壓增加量)大于圖4a中的電壓增加率的情況下，列ad轉(zhuǎn)換器1141的操作示例的時(shí)序圖。在圖4a和圖4b之間的列ad轉(zhuǎn)換器1141的操作中沒(méi)有差別，但是，斜坡信號(hào)的電壓增加率的增加縮短了垂直傳輸線1140的電壓的a/d轉(zhuǎn)換所需的時(shí)間。

另一方面，每個(gè)計(jì)數(shù)值(量化步長(zhǎng))的電壓增加，由此a/d轉(zhuǎn)換的分辨率減小，換言之，圖像的色調(diào)數(shù)量減小。

在下面的描述中，為了方便起見(jiàn)，圖4a所示的a/d轉(zhuǎn)換操作被稱(chēng)為“ad高分辨率”方式，并且，圖4b所示的a/d轉(zhuǎn)換操作被稱(chēng)為“ad高速”方式。應(yīng)當(dāng)注意，術(shù)語(yǔ)“高分辨率”和“高速”僅僅指示相對(duì)關(guān)系。

在本實(shí)施例中，第一圖像傳感器1100的像素間距大于第二圖像傳感器1200的像素間距，因此，第一圖像傳感器1100中針對(duì)每幀讀取的像素?cái)?shù)量小于第二圖像傳感器1200中針對(duì)每幀讀取的像素?cái)?shù)量。因此，從第一圖像傳感器1100的像素讀出的信號(hào)在ad高分辨率方式下被a/d轉(zhuǎn)換。另一方面，從第二圖像傳感器1200的像素讀出的信號(hào)在ad高速方式下被a/d轉(zhuǎn)換。

請(qǐng)注意，例如，可以在考慮到由從第一圖像傳感器1100和第二圖像傳感器1200讀出的像素?cái)?shù)的差異引起的處理時(shí)間的差異的情況下，確定在ad高分辨率方式和ad高速方式中使用的斜坡信號(hào)的電壓增加率。例如，可以進(jìn)行確定，使得對(duì)從第一圖像傳感器1100和第二圖像傳感器1200中的每一個(gè)讀出的圖像信號(hào)執(zhí)行的處理在預(yù)定時(shí)間內(nèi)結(jié)束。例如，在利用第一圖像傳感器1100和第二圖像傳感器1200以相同的幀速率同時(shí)拍攝運(yùn)動(dòng)圖像的情況下，可以確定斜坡信號(hào)的電壓增加率，使得對(duì)從所述圖像傳感器中的每一個(gè)讀出的圖像信號(hào)的處理在一幀周期內(nèi)結(jié)束。

圖5是示意性地示出其中由聚光透鏡2100形成的點(diǎn)像被投影在第一圖像傳感器1100和第二圖像傳感器1200的攝像平面上的狀態(tài)的示圖。圖5中的虛線示意性地指示光束(luminousbeam)。通過(guò)聚光透鏡2100的光束被半反射鏡1300分成兩條光路。由聚光透鏡2100形成的點(diǎn)像既作為以有效像素(1，4)為中心的點(diǎn)像3100被投影在第一圖像傳感器1100上，又作為以有效像素(9，8)為中心的點(diǎn)像3200被投影在第二圖像傳感器1200上。這里，像素的坐標(biāo)被表示為(列號(hào)，行號(hào))。

請(qǐng)注意，在圖5中忽略第一圖像傳感器和第二圖像傳感器相對(duì)于聚光透鏡2100的光軸的未對(duì)準(zhǔn)，但是實(shí)際上存在由于生產(chǎn)期間的組裝誤差而導(dǎo)致未對(duì)準(zhǔn)。

圖6a是示意性地示出第一圖像傳感器1100的圖像形成平面(x-z平面)和第二圖像傳感器1200的圖像形成平面(x-y平面)之間的未對(duì)準(zhǔn)量的示圖。在下文中，類(lèi)似于參照?qǐng)D2的描述，假設(shè)與圖像傳感器的垂直傳輸線正交的方向是水平方向，并且，假設(shè)平行于垂直傳輸線的方向是垂直方向。

從第一圖像傳感器1100的有效像素中心到攝影鏡頭2000的光軸和攝像平面之間的相交處(光軸中心)的水平方向上的距離由dh1表示，并且在垂直方向上的距離由dv1表示。而且，在面向數(shù)字照相機(jī)1000的物體被投影在攝像平面上的情況下的正立像方向與第一圖像傳感器1100的垂直方向之間的角度偏差由da1表示。

類(lèi)似地，從第二圖像傳感器1200的有效像素中心到攝影鏡頭2000的光軸中心的水平方向上的距離由dh2表示，并且在垂直方向上的距離由dv2表示。而且，在面向數(shù)字照相機(jī)1000的物體被投影在攝像平面上的情況下的正立像方向與第二圖像傳感器1200的垂直方向之間的角度偏差由da2表示。

有效像素中心與光軸之間的絕對(duì)未對(duì)準(zhǔn)量，即，距離dh1、距離dv1、角度偏差da1、距離dh2、距離dv2和角度偏差da2在組裝時(shí)被最小化為目標(biāo)誤差范圍。

可以通過(guò)使用組裝之后的未對(duì)準(zhǔn)量的差異(即，dh2-dh1、dv2-dv1和da2-da1)作為參數(shù)對(duì)各個(gè)顏色分量執(zhí)行仿射變換處理，來(lái)校正用第二圖像傳感器1200和第一圖像傳感器1100拍攝的圖像之間的組裝誤差。

例如，在生產(chǎn)時(shí)將參數(shù)dh2-dh1、dv2-dv1和da2-da1作為對(duì)準(zhǔn)調(diào)整值登記在照相機(jī)控制電路1400的非易失性存儲(chǔ)器中，使得在校正時(shí)可以讀出和使用這些參數(shù)?？梢詮挠玫谝粓D像傳感器1100拍攝的圖像和用第二圖像傳感器1200拍攝的圖像計(jì)算上述參數(shù)(對(duì)準(zhǔn)調(diào)整值)的參考圖表。

此外，圖6b是示意性地示出攝影鏡頭2000的光軸與第一圖像傳感器1100的圖像形成平面(x-z平面)之間的角度偏差量以及攝影鏡頭2000的光軸與第二圖像傳感器1200的圖像形成平面(x-y平面)之間的角度偏差量的示圖。

由第一圖像傳感器1100的垂直軸(與圖2中的垂直傳輸線1140平行的軸)和光軸形成的角度由dθ1表示，并且，由與該垂直軸正交的水平軸和光軸形成的角度由表示。類(lèi)似地，由第二圖像傳感器1200的垂直軸與光軸形成的角度由dθ2表示，并且，由與該垂直軸正交的水平軸與光軸形成的角度被稱(chēng)為角度dθ1、dθ2和的理想值都是90°。

在本實(shí)施例中，除了相對(duì)于圖6a所示的光軸的未對(duì)準(zhǔn)之外，校正第一圖像傳感器1100和第二圖像傳感器1200之間的相對(duì)角度偏差(即dθ2-dθ1和)的影響。

相對(duì)角度偏差量導(dǎo)致入射在第一圖像傳感器1100上的光束和入射在第二圖像傳感器1200上的光束之間的方向差，并且導(dǎo)致圖像傳感器之間不同的二維光學(xué)陰影?？梢酝ㄟ^(guò)對(duì)所述像素中的每一個(gè)應(yīng)用從在生產(chǎn)時(shí)使用用于校準(zhǔn)的光源通過(guò)兩個(gè)圖像傳感器拍攝的圖像之間的差異獲得的增益校正量，來(lái)減小這種光學(xué)陰影的差異。例如，從角度偏差獲得的增益校正量也在生產(chǎn)時(shí)作為調(diào)整值被登記在照相機(jī)控制電路1400的非易失性存儲(chǔ)器中，使得可以在校正時(shí)讀出并使用增益校正量。

圖7是示意性地示出本實(shí)施例中的數(shù)據(jù)處理的概要以及信號(hào)處理電路1500的功能結(jié)構(gòu)的示例的示圖。第一raw圖像數(shù)據(jù)1510從第一圖像傳感器1100輸入到信號(hào)處理電路1500，并且，第二raw圖像數(shù)據(jù)1520從第二圖像傳感器1200輸入到信號(hào)處理電路1500。第一圖像數(shù)據(jù)1510和第二圖像數(shù)據(jù)1520可以是已經(jīng)被同時(shí)拍攝的靜止圖像或運(yùn)動(dòng)圖像幀的數(shù)據(jù)。

請(qǐng)注意，raw圖像數(shù)據(jù)是使用配設(shè)有濾色器的圖像傳感器獲得的圖像數(shù)據(jù)，并且是指未經(jīng)過(guò)顏色插值處理的圖像數(shù)據(jù)。因此，第一raw圖像數(shù)據(jù)1510和第二raw圖像數(shù)據(jù)1520的各個(gè)像素僅具有構(gòu)成濾色器的多個(gè)顏色分量當(dāng)中的一個(gè)顏色分量(排除缺陷像素或作為缺陷像素處理的像素)。在下文中，為了簡(jiǎn)化起見(jiàn)，將第一raw圖像數(shù)據(jù)1510和第二raw圖像數(shù)據(jù)1520分別簡(jiǎn)稱(chēng)為第一圖像數(shù)據(jù)1510和第二圖像數(shù)據(jù)1520。請(qǐng)注意，只要圖像數(shù)據(jù)的像素沒(méi)有經(jīng)過(guò)顏色插值處理，這樣的圖像數(shù)據(jù)就可能已經(jīng)經(jīng)過(guò)用于減少列ad轉(zhuǎn)換器1141之間的特性的變化的影響的校正、用于補(bǔ)償每種顏色的靈敏度的差異的校正等。圖像數(shù)據(jù)也可以經(jīng)過(guò)缺陷像素的校正以及用于提高圖像傳感器的輸入/輸出特性的線性的校正。

對(duì)準(zhǔn)處理電路1502校正已經(jīng)參照?qǐng)D6a和圖6b描述的相對(duì)于光軸中心的未對(duì)準(zhǔn)和與光軸的角度偏差。具體地，對(duì)準(zhǔn)處理電路1502讀出存儲(chǔ)在照相機(jī)控制電路1400中的非易失性存儲(chǔ)器中的對(duì)準(zhǔn)調(diào)整值和增益校正量，對(duì)第一圖像數(shù)據(jù)1510或第二圖像數(shù)據(jù)1520執(zhí)行仿射變換，并且，將增益校正量應(yīng)用到第一圖像數(shù)據(jù)1510或第二圖像數(shù)據(jù)1520。根據(jù)計(jì)算所存儲(chǔ)的對(duì)準(zhǔn)調(diào)整值和增益校正量的方法來(lái)確定應(yīng)用仿射變換和增益校正量的圖像數(shù)據(jù)。在圖7的示例中，對(duì)第二圖像數(shù)據(jù)應(yīng)用仿射變換和增益校正量。

接下來(lái)，分辨率轉(zhuǎn)換電路1503生成通過(guò)調(diào)整第二圖像數(shù)據(jù)1520的大小而得到的第三圖像數(shù)據(jù)1525，以在水平方向上和垂直方向上都具有第一圖像數(shù)據(jù)1510的分辨率的c倍(c是2的冪)的分辨率。當(dāng)水平方向和垂直方向中的每一個(gè)中的分辨率增加到c倍時(shí)，水平方向和垂直方向中的每一個(gè)中的讀取像素間距減小到1/c。

當(dāng)?shù)诙D像數(shù)據(jù)1520的讀取像素間距δx’2大于目標(biāo)像素間距(與第一圖像數(shù)據(jù)1510的分辨率的c倍相對(duì)應(yīng)的像素間距)時(shí)，分辨率轉(zhuǎn)換電路1503縮小第二圖像數(shù)據(jù)1520以生成第三圖像數(shù)據(jù)1525。此外，當(dāng)?shù)诙D像數(shù)據(jù)1520的讀取像素間距δx’2小于目標(biāo)像素間距時(shí)，分辨率轉(zhuǎn)換電路1503放大第二圖像數(shù)據(jù)1520，以生成第三圖像數(shù)據(jù)1525。

請(qǐng)注意，當(dāng)?shù)诙D像數(shù)據(jù)1520的讀取像素間距δx’2等于目標(biāo)像素間距時(shí)，不需要調(diào)整第二圖像數(shù)據(jù)1520的大小，并且，在沒(méi)有任何改變的情況下使用第二圖像數(shù)據(jù)1520作為第三圖像數(shù)據(jù)1525就足夠了?？梢允褂弥T如雙線性方法和雙三次方法的各種已知方法來(lái)調(diào)整圖像數(shù)據(jù)的大小。

在本實(shí)施例中，如圖7所示，目標(biāo)像素間距被設(shè)置為與第一圖像數(shù)據(jù)1510的分辨率的兩倍(c＝2)相對(duì)應(yīng)的像素間距1/2δx’1、1/2δy’1。因此，假設(shè)第三圖像數(shù)據(jù)1525的讀取像素間距為δx’3、δy’3，則δx’3＝(δx’1)/2和δy’3＝(δy’1)/2成立。分辨率轉(zhuǎn)換電路1503將通過(guò)調(diào)整第二圖像數(shù)據(jù)1520的大小而得到的第一圖像數(shù)據(jù)1510和第三圖像數(shù)據(jù)1525輸入到參考插值電路1501。

參考插值電路1501對(duì)第一圖像數(shù)據(jù)1510應(yīng)用去馬賽克，并且生成全色圖像1530。在本實(shí)施例中，具有不同讀取像素間距的其他圖像數(shù)據(jù)用于對(duì)第一圖像數(shù)據(jù)1510進(jìn)行去馬賽克。在本說(shuō)明書(shū)中，該去馬賽克被稱(chēng)為“參考插值”，并且下面將描述其具體方法。

將參照?qǐng)D8a和圖8b描述要被插值的像素和用于對(duì)要被插值的像素進(jìn)行插值的像素之間的位置關(guān)系。

考慮像素間距作為一單位，以二維方式規(guī)則地布置在圖像傳感器中的像素的位置可以使用兩個(gè)整數(shù)表示為(n，m)。在本實(shí)施例中，像素的坐標(biāo)被表示為(水平坐標(biāo)，垂直坐標(biāo))，并且，布置在有效像素部分中的左上端的像素的坐標(biāo)被假設(shè)為(0，0)。

圖8a示出通過(guò)提取第一圖像傳感器1100中的g像素而得到的g平面的一部分。這里，與四個(gè)g像素相鄰的中心區(qū)域具有b像素或r像素，因此不具有g(shù)分量。在下文中，假設(shè)該中心區(qū)域具有要被插值的虛擬g像素g^t。此外，假設(shè)像素g^t的中心坐標(biāo)為(i1，j1)，并且，假設(shè)第一圖像傳感器1100在水平方向和垂直方向上的讀取像素間距都為1。

因此，與像素g^t的上、下、左和右相鄰的g像素可以分別被表示為g(i1，j1-1)、g(i1，j1+1)、g(i1-1，j1)和g(i1+1，j1)。

另外，假設(shè)對(duì)應(yīng)于g^t(i1，j1)的第三圖像數(shù)據(jù)1525中的位置在坐標(biāo)(i2，j2)處。在本實(shí)施例的情況下，如果第一圖像傳感器1100的讀取像素間距為1，則i2＝2×i1和j2＝2×j1成立。如果分辨率轉(zhuǎn)換電路1503執(zhí)行c倍分辨率轉(zhuǎn)換，則i2＝c×i1和j2＝c×j1成立。

參考插值電路1501在信號(hào)處理電路1500的存儲(chǔ)器中存儲(chǔ)關(guān)于要被插值的各個(gè)g像素的第一圖像數(shù)據(jù)1510的各個(gè)像素的中心坐標(biāo)(i1，j1)與第三圖像數(shù)據(jù)1525的坐標(biāo)(i2，j2)之間的對(duì)應(yīng)關(guān)系。

在本實(shí)施例中，如圖8b所示，沒(méi)有以第三圖像數(shù)據(jù)1525中的坐標(biāo)(i2，j2)為中心的g像素。第三圖像數(shù)據(jù)1525的g像素位于在上下方向和左右方向上從坐標(biāo)(i2，j2)偏移了第一圖像數(shù)據(jù)的讀取像素間距的1/4的位置處。

在左方向上從坐標(biāo)i2偏移了1/4的坐標(biāo)被表示為i2-1/4，并且，在右方向上從坐標(biāo)i2偏移了1/4的坐標(biāo)被表示為i2+1/4。此外，在上方向上從坐標(biāo)j2偏移了1/4的坐標(biāo)被表示為j2-1/4，并且，在下方向上偏移了1/4的坐標(biāo)被表示為i2+1/4。

因此，最靠近坐標(biāo)(i2，j2)的g像素是向右偏移1/4且向上偏移1/4的g’(i2+1/4，j2-1/4)，以及向左偏移1/4且向下偏移1/4的g’(i2-1/4，j2+1/4)。

在圖8b中，g’左上(ul)、g’上(u)、g’右上(ur)、g’右(r)、g’中心(c)、g’左(l)、g’左下(ll)、g’下(b)和g’右下(lr)中的每一個(gè)由虛線圍繞以包括兩個(gè)像素，它們表示與稍后描述的插值處理相關(guān)的組。

參考插值電路1501對(duì)于r像素和b像素類(lèi)似地假設(shè)第一圖像數(shù)據(jù)和第三圖像數(shù)據(jù)之間的對(duì)應(yīng)關(guān)系。

濾色器處于原色拜耳陣列中，因此在r平面上，需要在b像素、gr像素和gb像素的像素位置處執(zhí)行插值。在b像素的位置處的第一插值模式中，在gr像素的位置處的第二插值模式中以及在gb像素的位置處的第三插值模式中執(zhí)行插值。

類(lèi)似地，在b平面上，需要在r像素、gb像素和gr像素的像素位置處執(zhí)行插值。在r像素的位置處的第一插值模式中，在gb像素的位置處的第二插值模式中以及在gr像素的位置處的第三插值模式中執(zhí)行插值。

圖9a和圖9b示出關(guān)于第一插值模式的要被插值的像素和用于對(duì)要被插值的像素進(jìn)行插值的像素之間的位置關(guān)系。在下面的描述中，也在假設(shè)第一圖像傳感器1100的水平方向和垂直方向上的讀取像素間距為1的情況下表示像素的坐標(biāo)。

首先，將描述r像素的位置關(guān)系。

如圖9a中的左邊所示，假設(shè)第一圖像傳感器1100中的布置b像素的位置處的虛擬r像素(r^t1)的中心的坐標(biāo)為(i1，j1)。因此，與第一圖像數(shù)據(jù)1510的像素r^t1的左上、左下、右上和右下相鄰的r像素分別為r(i1-1，j1-1)、r(i1-1，j1+1)、r(i1+1，j1-1)和r(i1+1，j1+1)。這些是實(shí)際布置的r像素。

而且，假設(shè)對(duì)應(yīng)于rt(i1，j1)的第三圖像數(shù)據(jù)1525中的位置在坐標(biāo)(i2，j2)處。在本實(shí)施例的情況下，與g像素的情況類(lèi)似，i2＝2×i1和j2＝2×j1成立。

對(duì)于在第一插值模式中要被插值的r像素中的每一個(gè)，參考插值電路1501在信號(hào)處理電路1500的存儲(chǔ)器中存儲(chǔ)第一圖像數(shù)據(jù)1510的像素的中心坐標(biāo)(i1，j1)和第三圖像數(shù)據(jù)1525中的坐標(biāo)(i2，j2)之間的對(duì)應(yīng)關(guān)系。

在本實(shí)施例中，如圖9b的左邊所示，在第三圖像數(shù)據(jù)1525中不存在以坐標(biāo)(i2，j2)為中心的r像素。第三圖像數(shù)據(jù)1525的r像素位于在上下方向和左右方向上從坐標(biāo)(i2，j2)偏移了第一圖像數(shù)據(jù)的讀取像素間距的1/4的位置處。

因此，最靠近坐標(biāo)(i2，j2)的r像素是從其向左偏移了1/4且向上偏移了1/4的r’(i2-1/4，j2--1/4)。

接下來(lái)，將描述b像素的位置關(guān)系。

如圖9a中的右邊所示，假設(shè)第一圖像傳感器1100中的布置r像素的位置處的虛擬b像素(b^t1)的中心的坐標(biāo)為(i1，j1)。因此，與第一圖像數(shù)據(jù)1510的像素b^t1的左上、左下、右上和右下相鄰的b像素分別為b(i1--1，j1-1)、b(i1-1，j1+1)、b(i1+1，j1-1)和b(i1+1，j1+1)。這些是實(shí)際布置的b像素。

而且，假設(shè)對(duì)應(yīng)于b^t(i1，j1)的第三圖像數(shù)據(jù)1525中的位置在坐標(biāo)(i2，j2)處。在本實(shí)施例的情況下，與g像素的情況類(lèi)似，i2＝2×i1和j2＝2×j1成立。

對(duì)于在第一插值模式中要被插值的b像素中的每一個(gè)，參考插值電路1501在信號(hào)處理電路1500的存儲(chǔ)器中存儲(chǔ)第一圖像數(shù)據(jù)1510的像素的中心坐標(biāo)(i1，j1)和第三圖像數(shù)據(jù)1525中的坐標(biāo)(i2，j2)之間的對(duì)應(yīng)關(guān)系。

在本實(shí)施例中，如圖9b的右邊所示，在第三圖像數(shù)據(jù)1525中不存在以坐標(biāo)(i2，j2)為中心的b像素。第三圖像數(shù)據(jù)1525的b像素位于在上下方向和左右方向上從坐標(biāo)(i2，j2)偏移了第一圖像數(shù)據(jù)的讀取像素間距的1/4的位置處。

因此，最靠近坐標(biāo)(i2，j2)的b像素是從其向左偏移了1/4且向上偏移了1/4的b’(i2-1/4，j2-1/4)。

在圖9b中，r’(ul)、r’(u)、r’(ur)、r’(l)、r’(c)、r’(r)、r’(ll)、r’(b)和r’(lr)，以及b’(ul)、b’(u)、b’(ur)、b’(l)、b’(c)、b’(r)、b’(ll)、b’(b)和b’(lr)中的每一個(gè)由虛線圍繞，它們表示與稍后描述的插值處理相關(guān)的組。

圖10a和圖10b示出關(guān)于第二插值模式的要被插值的像素和用于對(duì)要被插值的像素進(jìn)行插值的像素之間的位置關(guān)系。在下面的描述中，也在假設(shè)第一圖像傳感器1100的水平方向和垂直方向上的讀取像素間距為1的情況下表示像素的坐標(biāo)。

首先，將描述r像素的位置關(guān)系。

如圖10a中的左邊所示，假設(shè)第一圖像傳感器1100中的布置gr像素的位置處的虛擬r像素(r^t2)的中心的坐標(biāo)為(i1，j1)。因此，在r平面上與第一圖像數(shù)據(jù)1510的像素r^t2的左邊相鄰的像素是r(i1-1，j1)，并且與像素r^t2的右邊相鄰的像素是r(i1+1，j1)。與像素r^t2的上方和下方相鄰的像素是b像素，因此不存在r像素。然而，在第一插值模式中的插值完成之后，可以使用已經(jīng)經(jīng)過(guò)插值的r^*u(i1，j1-1)和r^*b(i1，j1+1)。

而且，假設(shè)對(duì)應(yīng)于r^t2(i1，j1)的第三圖像數(shù)據(jù)1525中的位置在坐標(biāo)(i2，j2)處。在本實(shí)施例的情況下，與g像素的情況類(lèi)似，i2＝2×i1和j2＝2×j1成立。

對(duì)于在第二插值模式中要被插值的r像素中的每一個(gè)，參考插值電路1501在信號(hào)處理電路1500的存儲(chǔ)器中存儲(chǔ)第一圖像數(shù)據(jù)1510的像素的中心坐標(biāo)(i1，j1)和第三圖像數(shù)據(jù)1525中的坐標(biāo)(i2，j2)之間的對(duì)應(yīng)關(guān)系。

在本實(shí)施例中，如圖10b的左邊所示，在第三圖像數(shù)據(jù)1525中不存在以坐標(biāo)(i2，j2)為中心的r像素。第三圖像數(shù)據(jù)1525的r像素位于在上下方向和左右方向上從坐標(biāo)(i2，j2)偏移了第一圖像數(shù)據(jù)的讀取像素間距的1/4的位置處。

因此，最靠近坐標(biāo)(i2，j2)的r像素是從其向左偏移了1/4且向上偏移了1/4的r’(i2-1/4，j2-1/4)。

接下來(lái)，將描述b像素的位置關(guān)系。

如圖10a中的右邊所示，假設(shè)第一圖像傳感器1100中的布置gb像素的位置處的虛擬b像素(b^t2)的中心的坐標(biāo)為(i1，j1)。因此，與第一圖像數(shù)據(jù)1510的像素b^t2的左邊相鄰的像素是b(i1-1，j1)，并且與像素b^t2的右邊相鄰的像素是b(i1+1，j1)。與像素b^t2的上方和下方相鄰的像素是r像素，并且，不存在b像素。然而，在第一插值模式中的插值完成之后，可以使用已經(jīng)經(jīng)過(guò)插值的b^*u(i1，j1-1)和b^*b(i1，j1+1)。

而且，假設(shè)對(duì)應(yīng)于b^t2(i1，j1)的第三圖像數(shù)據(jù)1525中的位置在坐標(biāo)(i2，j2)處。在本實(shí)施例的情況下，與g像素的情況類(lèi)似，i2＝2×i1和j2＝2×j1成立。

對(duì)于在第二插值模式中要被插值的b像素中的每一個(gè)，參考插值電路1501在信號(hào)處理電路1500的存儲(chǔ)器中存儲(chǔ)第一圖像數(shù)據(jù)1510的像素的中心坐標(biāo)(i1，j1)和第三圖像數(shù)據(jù)1525中的坐標(biāo)(i2，j2)之間的對(duì)應(yīng)關(guān)系。

在本實(shí)施例中，如圖10b的右邊所示，在第三圖像數(shù)據(jù)1525中不存在以坐標(biāo)(i2，j2)為中心的b像素。第三圖像數(shù)據(jù)的b像素位于在上下方向和左右方向上從坐標(biāo)(i2，j2)偏移了第一圖像數(shù)據(jù)的讀取像素間距的1/4的位置處。

因此，最靠近坐標(biāo)(i2，j2)的b像素位于向右偏移了1/4且向下偏移了1/4的b’(i2+1/4，j2+1/4)處。

在圖10b中，r’(ul)、r’(u)、r’(ur)、r’(l)、r’(c)、r’(r)、r’(ll)、r’(b)和r’(lr)，以及b’(ul)、b’(u)、b’(ur)、b’(l)、b’(c)、b’(r)、b’(ll)、b’(b)和b’(lr)中的每一個(gè)由虛線圍繞，它們表示與稍后描述的插值處理相關(guān)的組。

圖11a和圖11b示出關(guān)于第三插值模式的要被插值的像素和用于對(duì)要被插值的像素進(jìn)行插值的像素之間的位置關(guān)系。此外，在下面的描述中，在假設(shè)第一圖像傳感器1100的水平方向和垂直方向上的讀取像素間距為1的情況下表示像素的坐標(biāo)。

首先，將描述r像素的位置關(guān)系。

如圖11a中的左邊所示，假設(shè)第一圖像傳感器1100中的布置gb像素的位置處的虛擬r像素(r^t3)的中心的坐標(biāo)為(i1，j1)。因此，在r平面上，與第一圖像數(shù)據(jù)1510的像素r^t3的上方相鄰的像素是r(i1，j1-1)，并且，與像素r^t3的下方相鄰的像素是r(i1，j1+1)。與r^t3的右邊和左邊相鄰的像素是b像素，因此不存在r像素。然而，在第一插值模式中的插值完成之后，可以使用已經(jīng)經(jīng)過(guò)插值的r^*l(i1-1，j1)和r^*r(i1+1，j1)。

而且，假設(shè)對(duì)應(yīng)于r^t3(i1，j1)的第三圖像數(shù)據(jù)1525中的位置在坐標(biāo)(i2，j2)處。在本實(shí)施例的情況下，與g像素的情況類(lèi)似，i2＝2×i1和j2＝2×j1成立。

對(duì)于在第三插值模式中要被插值的r像素中的每一個(gè)，參考插值電路1501在信號(hào)處理電路1500的存儲(chǔ)器中存儲(chǔ)第一圖像數(shù)據(jù)1510的像素的中心坐標(biāo)(i1，j1)和第三圖像數(shù)據(jù)1525中的坐標(biāo)(i2，j2)之間的對(duì)應(yīng)關(guān)系。

在本實(shí)施例中，如圖11b的左邊所示，在第三圖像數(shù)據(jù)1525中不存在以坐標(biāo)(i2，j2)為中心的r像素。第三圖像數(shù)據(jù)1525的r像素位于在上下方向和左右方向上從坐標(biāo)(i2，j2)偏移了第一圖像數(shù)據(jù)的讀取像素間距的1/4的位置處。

因此，最靠近坐標(biāo)(i2，j2)的r像素是從其向左偏移了1/4且向上偏移了1/4的r’(i2-1/4，j2-1/4)。

接下來(lái)，將描述b像素的位置關(guān)系。

如圖11b中的右邊所示，假設(shè)第一圖像傳感器1100中的布置gr像素的位置處的虛擬b像素(b^t3)的中心的坐標(biāo)為(i1，j1)。因此，與第一圖像數(shù)據(jù)1510的像素b^t3的上方相鄰的像素是b(i1，j1-1)，并且，與像素b^t3的下方相鄰的像素是b(i1，j1+1)。與像素b^t3的左邊和右邊相鄰的像素是r像素，因此不存在b像素。然而，在第一插值模式中的插值完成之后，可以使用已經(jīng)經(jīng)過(guò)插值的b^*l(i1-1，j1)和b^*r(i1+1，j1)。

而且，假設(shè)對(duì)應(yīng)于b^t3(i1，j1)的第三圖像數(shù)據(jù)1525中的位置在坐標(biāo)(i2，j2)處。在本實(shí)施例的情況下，與g像素的情況類(lèi)似，i2＝2×i1和j2＝2×j1成立。

對(duì)于在第三插值模式中要被插值的b像素中的每一個(gè)，參考插值電路1501在信號(hào)處理電路1500的存儲(chǔ)器中存儲(chǔ)第一圖像數(shù)據(jù)1510的像素的中心坐標(biāo)(i1，j1)和第三圖像數(shù)據(jù)1525中的坐標(biāo)(i2，j2)之間的對(duì)應(yīng)關(guān)系。

在本實(shí)施例中，如圖11b的右邊所示，在第三圖像數(shù)據(jù)1525中不存在以坐標(biāo)(i2，j2)為中心的b像素。第三圖像數(shù)據(jù)1525的b像素位于在上下方向和左右方向上從坐標(biāo)(i2，j2)偏移了第一圖像數(shù)據(jù)的讀取像素間距的1/4的位置處。

因此，最靠近坐標(biāo)(i2，j2)的b像素是從其向右偏移了1/4且向下偏移了1/4的b’(i2+1/4，j2+1/4)。

在圖11b中，r’(ul)、r’(u)、r’(ur)、r’(l)、r’(c)、r’(r)、r’(ll)、r’(b)和r’(lr)，以及b’(ul)、b’(u)、b’(ur)、b’(l)、b’(c)、b’(r)、b’(ll)、b’(b)和b’(lr)中的每一個(gè)由虛線圍繞，它們表示與稍后描述的插值處理相關(guān)的組。

下面將參照?qǐng)D12所示的流程圖描述由參考插值電路1501執(zhí)行的參考插值處理的操作。

在步驟s10中，參考插值電路1501對(duì)關(guān)于g分量(g平面)的第三圖像數(shù)據(jù)1525進(jìn)行預(yù)處理。在本實(shí)施例中，參考插值電路1501在稍后描述的去馬賽克中執(zhí)行考慮在8個(gè)方向上圍繞要被插值的像素的像素的值的自適應(yīng)插值。

參考插值電路1501假設(shè)第一圖像數(shù)據(jù)1510中要被插值的像素是像素g^t(i1，j1)，并且與像素g^t的坐標(biāo)相對(duì)應(yīng)的第三圖像數(shù)據(jù)1525中的像素是g’(c)。然后，參考插值電路1501使用第三圖像數(shù)據(jù)1525的g’(n，m)根據(jù)下式1計(jì)算像素g’(c)的值和在8個(gè)方向上圍繞像素g’(c)的像素(g’(ul)、g’(u)、g’(ur)、g’(l)、g’(r)、g’(ll)、g’(b)和g’(lr))的值。

在步驟s20中，參考插值電路1501從在步驟s10中獲得的九個(gè)像素的值計(jì)算與在像素g^t的去馬賽克中使用的校正量相關(guān)的校正參數(shù)。參考插值電路1501根據(jù)下式2從像素g’(c)的值和八個(gè)周邊像素中的每一個(gè)的值之間的差計(jì)算校正參數(shù)α1至α8。

在步驟s30中，參考插值電路1501基于在步驟s20中計(jì)算出的校正參數(shù)αk(k＝1，2，3，4，5，6，7和8)的大小來(lái)確定像素g’(c)和八個(gè)周邊像素之間的相似度。在本實(shí)施例中，參考插值電路1501確定其作為與像素g’(c)的差值的校正參數(shù)αk取較小值的像素具有較高的相似度，并根據(jù)該相似度計(jì)算通過(guò)對(duì)校正參數(shù)αk進(jìn)行加權(quán)而得到的校正參數(shù)α’k。

將參照?qǐng)D13描述該處理。

在步驟s1020中，參考插值電路1501根據(jù)要被校正的像素的顏色對(duì)處理進(jìn)行分支。首先，將描述g像素的情況。

在步驟s1110中，參考插值電路1501根據(jù)下式3計(jì)算用于計(jì)算校正參數(shù)α’k的閾值th。

式3是用于獲得中心像素(g’(c))和八個(gè)周邊像素的平均值的式子，其中，中心像素(g’(c))的值和八個(gè)周邊像素中的每一個(gè)的值之間的差的絕對(duì)值被視為該中心像素與八個(gè)周邊像素中的每一個(gè)的歐幾里得距離。

隨后，在步驟s1120至s1150的處理中，參考插值電路1501通過(guò)基于閾值th的下式4的運(yùn)算針對(duì)αk的所有值計(jì)算校正參數(shù)α’k。

滿(mǎn)足|αk|＞th的周邊像素的值與要被插值的中心像素的值的相似度低。因此，用于插值的系數(shù)α’k被設(shè)置為零，使得從插值處理排除該像素。

關(guān)于不滿(mǎn)足|αk|＞th的周邊像素，系數(shù)α’k被設(shè)置為th-|αk|。因此，在值上周邊像素與中心像素的相似度越高，周邊像素的系數(shù)α’k的值就越大。

在步驟s1160中，參考插值電路1501根據(jù)下式5計(jì)算系數(shù)α’k的和∑α’。

∑α’＝α’1+α’2+α’3+α’4+α’5+α’6+α’7+α’8…(5)

如果式5中的∑α’為零，則在將在稍后描述的g像素的去馬賽克中將發(fā)生除以零，因此，在步驟s1170中，參考插值電路1501檢查在步驟s1160中獲得的和∑α’是否為零。

如果∑α’為零，則所有八個(gè)像素，即g’(ul)、g’(u)、g’(ur)、g’(l)、g’(r)、g’(ll)、g’(b)和g’(lr)，具有相同的值，并且式4中的α’k＝th-|αk|對(duì)于α’k的所有值將為零。因此，如果∑α’為零，則唯一地確定α’的最佳值，并且在步驟s1180中，參考插值電路1501確定α’的值，如下式6所示。

這樣的一系列處理是圖12中的步驟s30的處理，其中獲得在步驟s40中要使用的插值參數(shù)α’k及和σα’。

在步驟s40中，參考插值電路1501使用在步驟s30中獲得的參數(shù)根據(jù)下式7來(lái)計(jì)算要被插值的g像素g^t。

接下來(lái)，將描述對(duì)于r像素的處理。

在步驟s110中，參考插值電路1501假設(shè)與第一圖像數(shù)據(jù)1510中要被插值的像素的坐標(biāo)相對(duì)應(yīng)的第三圖像數(shù)據(jù)1525中的像素是像素r’(c)，如圖8a至圖11b所示。然后，參考插值電路1501根據(jù)下式8計(jì)算像素r’(c)的值和在八個(gè)方向上圍繞該像素r’(c)的像素的值。

在步驟s120中，參考插值電路1501從在步驟s110中獲得的九個(gè)像素的值計(jì)算與用于去馬賽克的校正量相關(guān)的校正參數(shù)。參考插值電路1501根據(jù)下式9從像素r’(c)的值和八個(gè)周邊像素中的每一個(gè)的值之間的差計(jì)算校正參數(shù)β1至β8。

在步驟s130中，與對(duì)g像素的處理(步驟s30)類(lèi)似，參考插值電路1501基于在步驟s120中計(jì)算出的校正參數(shù)βk(k＝1至8)的大小確定像素r’(c)和八個(gè)周邊像素之間的相似度，并計(jì)算β’k的值。將再次參照?qǐng)D13描述步驟s130的處理。

在步驟s1020中，參考插值電路1501根據(jù)要被插值的像素的顏色對(duì)處理進(jìn)行分支。這里，要被插值的像素是r像素，因此參考插值電路1501使本過(guò)程進(jìn)入步驟s1210。

在步驟s1210中，參考插值電路1501根據(jù)下式10計(jì)算用于計(jì)算β’k的閾值th，并且使本過(guò)程進(jìn)入步驟s1220。

隨后，在步驟s1220至s1250的處理中，參考插值電路1501通過(guò)基于閾值th的下式11的運(yùn)算針對(duì)βk的所有值計(jì)算β’k。

滿(mǎn)足|βk|＞th的周邊像素的值與要被插值的中心像素的值具有低的相似度。因此，用于插值的系數(shù)β’k被設(shè)置為零，使得從插值處理排除該像素。

關(guān)于不滿(mǎn)足|βk|＞th的周邊像素，系數(shù)β’k被設(shè)置為th-|βk|。因此，在值上周邊像素與中心像素的相似度越高，周邊像素的系數(shù)β’k的值就越大。

在步驟s1260中，參考插值電路1501根據(jù)下式12計(jì)算系數(shù)β’k的和∑β’。

∑β’＝β’1+β’2+β’3+β’4+β’5+β’6+β’7+β’8…(12)

如果式12中的∑β’為零，則在將在稍后描述的r像素的去馬賽克中將發(fā)生除以零，因此，在步驟s1270中，參考插值電路1501檢查在步驟s1260中獲得的和∑β’是否為零。

如果∑β’為零，則所有八個(gè)像素，即r’(ul)、r’(u)、r’(ur)、r’(l)、r’(r)、r’(ll)、r’(b)和r’(lr)，具有相同的值，并且式11中的β’k＝th-|βk|對(duì)于β’k的所有值將為零。因此，如果∑β’為零，則唯一地確定β’的最佳值，并且在步驟s1280中，參考插值電路1501確定β’的值，如下式13所示。

這樣的一系列處理是圖12中的步驟s130的處理，其中獲得在步驟s140中要使用的插值參數(shù)β’k及和∑β’。

在步驟s140中，參考插值電路1501使用在步驟s130中獲得的參數(shù)根據(jù)下式14來(lái)計(jì)算要被插值的r像素r^t。

在計(jì)算要被插值的所有像素r^t1之后，參考插值電路1501根據(jù)下式15和16計(jì)算要被插值的像素r^t2和r^t3。

這里，計(jì)算r^*u(i1，j1-1)、r^*b(i1，j1+1)、r^*l(i1-1，j1)和r^*r(i1+1，j1)作為r^t1。

最后，將描述對(duì)于b像素的處理。

在步驟s210中，參考插值電路1501假設(shè)與第一圖像數(shù)據(jù)1510中要被插值的像素的坐標(biāo)相對(duì)應(yīng)的第三圖像數(shù)據(jù)1525中的像素是像素b’(c)，如圖8a至圖11b所示。然后，參考插值電路1501根據(jù)下式17計(jì)算像素b’(c)的值和在八個(gè)方向上圍繞該像素b’(c)的像素的值。

在步驟s220中，參考插值電路1501從在步驟s210中獲得的九個(gè)像素的值計(jì)算與用于去馬賽克的校正量相關(guān)的校正參數(shù)。參考插值電路1501根據(jù)下式18從像素b’(c)的值和八個(gè)周邊像素中的每一個(gè)的值之間的差計(jì)算校正參數(shù)γ1至γ8。

在步驟s230中，參考插值電路1501基于在步驟s220中計(jì)算出的校正參數(shù)γk(k＝1至8)的大小確定像素b’(c)和八個(gè)周邊像素之間的相似度，并計(jì)算γ’k的值。將再次參照?qǐng)D13描述步驟s230的處理。

在步驟s1020中，參考插值電路1501根據(jù)要被校正的像素的顏色對(duì)處理進(jìn)行分支。這里，要被校正的像素是b像素，因此參考插值電路1501使本過(guò)程進(jìn)入步驟s1310。

在步驟s1310中，參考插值電路1501根據(jù)下式19計(jì)算用于計(jì)算γ’k的閾值th，并且使本過(guò)程進(jìn)入步驟s1320。

隨后，在步驟s1320至s1350的處理中，參考插值電路1501通過(guò)基于閾值th的下式20的運(yùn)算針對(duì)γk的所有值計(jì)算γ’k。

滿(mǎn)足|γk|＞th的周邊像素的值與要被插值的中心像素的值具有低的相似度。因此，用于插值的系數(shù)γ’k被設(shè)置為零，使得從插值處理排除該像素。

關(guān)于不滿(mǎn)足|γk|＞th的周邊像素，系數(shù)γ’k被設(shè)置為th-|γk|。因此，在值上周邊像素與中心像素的相似度越高，周邊像素的系數(shù)γ’k的值就越大。

在步驟s1360中，參考插值電路1501根據(jù)下式21計(jì)算系數(shù)γ’k的和σγ’。

σγ’＝γ’1+γ’2+γ’3+γ’4+γ’5+γ’6+γ’7+γ’8…(21)

如果式21中的σγ’為零，則在將在稍后描述的b像素的去馬賽克中將發(fā)生除以零，因此，在步驟s1370中，參考插值電路1501檢查在步驟s1360中獲得的和σγ’是否為零。

如果σγ’為零，則所有八個(gè)像素，即b’(ul)、b’(u)、b’(ur)、b’(l)、b’(r)、b’(ll)、b’(b)和b’(lr)，具有相同的值，并且式11中的γ’k＝th-|γk|對(duì)于γ’k的所有值將為零。因此，如果σγ’為零，則唯一地確定γ’的最佳值，并且在步驟s1380中，參考插值電路1501確定γ’的值，如下式22所示。

這樣的一系列處理是圖12中的步驟s230的處理，其中獲得在步驟s240中要使用的插值參數(shù)γ’k及和σγ’。

在步驟s240中，參考插值電路1501使用在步驟s230中獲得的參數(shù)根據(jù)下式23來(lái)計(jì)算要被插值的b像素b^t。

在計(jì)算要被插值的所有像素b^t1之后，參考插值電路1501根據(jù)下式24和25計(jì)算要被插值的像素b^t2和b^t3。

這里，計(jì)算b^*u(i1，j1-1)、b^*b(i1，j1+1)、b^*l(i1-1，j1)和b^*r(i1+1，j1)作為b^t1。

參考插值電路1501對(duì)要被插值的所有像素執(zhí)行步驟s10至s240的處理。因此，完成用于獲得在其中所有像素位置處具有rgb分量的全色圖像的去馬賽克。

請(qǐng)注意，在本實(shí)施例中，給出對(duì)下述情況中的參考插值電路1501的處理的描述：由分辨率轉(zhuǎn)換電路1503生成在水平方向和垂直方向中的每一個(gè)上都具有第一圖像數(shù)據(jù)1510的分辨率的兩倍的分辨率的第三圖像數(shù)據(jù)1525。然而，第三圖像數(shù)據(jù)1525的水平方向和垂直方向上的分辨率可以是第一圖像數(shù)據(jù)的分辨率的2的n次冪(n是大于或等于2的整數(shù))。

即使第三圖像數(shù)據(jù)1525的水平方向和垂直方向上的分辨率是四倍、八倍等，在步驟s10、s110和s210中改變像素和用于計(jì)算周邊像素的權(quán)重也就足夠了。

類(lèi)似地，關(guān)于去馬賽克和去馬賽克參數(shù)，也示出了考慮八個(gè)方向上的像素的自適應(yīng)插值，但是，在第三圖像數(shù)據(jù)的分辨率較高的情況下，可以通過(guò)執(zhí)行考慮更多方向上的像素的插值來(lái)提高插值精度。

請(qǐng)注意，在水平方向和垂直方向中的每一個(gè)上第二圖像數(shù)據(jù)的分辨率是第一圖像數(shù)據(jù)1510的分辨率的2的n次冪(n是大于或等于2的整數(shù))的情況下，第二圖像數(shù)據(jù)可以用于參考插值而不被轉(zhuǎn)換為第三圖像數(shù)據(jù)。

另外，盡管上述描述是基于第一圖像數(shù)據(jù)和第二圖像數(shù)據(jù)的視場(chǎng)被設(shè)計(jì)為彼此匹配的假設(shè)，但是第一圖像數(shù)據(jù)和第二圖像數(shù)據(jù)的視場(chǎng)至少部分重疊就足夠了。此外，可以采用這樣的結(jié)構(gòu)，其中，對(duì)視場(chǎng)重疊的區(qū)域執(zhí)行通過(guò)參考插值的去馬賽克，并且，在視場(chǎng)不重疊的區(qū)域上執(zhí)行傳統(tǒng)的去馬賽克。此外，在拍攝基本上不隨時(shí)間變化的被攝體的情況下，不一定需要同時(shí)拍攝第一圖像數(shù)據(jù)和第二圖像數(shù)據(jù)。

而且，圖像傳感器的數(shù)量不限于兩個(gè)，并且，可以使用具有不同像素間距的三個(gè)或更多個(gè)圖像傳感器。在這種情況下，在用任何兩個(gè)圖像傳感器獲得的圖像數(shù)據(jù)當(dāng)中，用具有較窄像素間距的圖像傳感器獲得的圖像數(shù)據(jù)可以用于對(duì)用具有較寬像素間距的圖像傳感器獲得的圖像數(shù)據(jù)的去馬賽克。

根據(jù)本實(shí)施例，在用具有不同像素間距的多個(gè)圖像傳感器獲得的圖像數(shù)據(jù)當(dāng)中，用具有比第一像素間距窄的第二像素間距的圖像傳感器獲得的圖像數(shù)據(jù)，用于對(duì)用具有第一像素間距的圖像傳感器獲得的圖像數(shù)據(jù)的去馬賽克。因此，高空間頻率高的邊緣部分的插值精度提高，并且，可以獲得其中抑制彩色莫爾紋和偽色的出現(xiàn)的具有高分辨率感和高圖像質(zhì)量的全色圖像。

而且，在使具有第一像素間距的圖像傳感器的像素的光接收區(qū)域(光電二極管)的面積尺寸大于具有第二像素間距的圖像傳感器的像素的光接收區(qū)域的面積尺寸的情況下，除了由于去馬賽克引起的分辨率感的提高之外，還可以實(shí)現(xiàn)s/n比和動(dòng)態(tài)范圍的提高。例如，本發(fā)明在曝光時(shí)間受幀速率限制的情況下(例如，在運(yùn)動(dòng)圖像拍攝的情況下)特別有用。

此外，即使在處理時(shí)間受幀速率限制的情況下，例如，在運(yùn)動(dòng)圖像拍攝的情況下，也可以通過(guò)選擇基于圖像數(shù)據(jù)的分辨率的a/d轉(zhuǎn)換的操作模式來(lái)實(shí)現(xiàn)實(shí)時(shí)處理。

第二實(shí)施例

接下來(lái)，將描述本發(fā)明的第二實(shí)施例。在本實(shí)施例中，將給出對(duì)具有不同分辨率并且由具有相同物理像素間距和不同讀取像素間距的兩個(gè)圖像傳感器獲得的圖像數(shù)據(jù)的去馬賽克的描述。

具體地，使第二實(shí)施例中的第一圖像傳感器1100’的像素間距為δx1和δy1，并且，將第二圖像傳感器1200的像素間距設(shè)為δx2和δy2，則在本實(shí)施例中δx1＝δx2、δy1＝δy2、δx1＝δy1和δx2＝δy2成立。

此外，假設(shè)第一圖像傳感器1100’的讀取像素間距δx’1和δy’1滿(mǎn)足δx’1＞δx1和δy’1＞δy1，并且第二圖像傳感器1200的讀取像素間距δx’2和δy’2滿(mǎn)足δx’2＝δx2和δy’2＝δy2，讀出具有不同分辨率的第一圖像數(shù)據(jù)和第二圖像數(shù)據(jù)。

圖14是示出第二實(shí)施例中的第一圖像傳感器1100’的結(jié)構(gòu)示例的示意圖，并且對(duì)與第一實(shí)施例(圖2)中的組成元件相似的組成元件給予相同的附圖標(biāo)記。在本實(shí)施例中，對(duì)以預(yù)定方式布置的像素1120設(shè)置加法線。

例如，設(shè)置連接像素1120(1)、像素1120(2)和像素1120(3)的加法線，類(lèi)似地，設(shè)置連接像素1120(4)、像素1120(5)和像素1120(6)的加法線。此外，在垂直ob像素部分1112’中設(shè)置用于ob像素的加法線。在設(shè)計(jì)時(shí)確定通過(guò)加法線連接的像素(要相加的像素)的布置。

而且，圖3b是第二實(shí)施例中的像素1120的電路圖，并且對(duì)與第一實(shí)施例(圖3a)中的組成元件類(lèi)似的組成元件給予相同的附圖標(biāo)記。在本實(shí)施例中，添加了加法tr1127，其將加法線連接到fd1123和像素放大器1125之間的點(diǎn)，并且由加法信號(hào)padd進(jìn)行導(dǎo)通-斷開(kāi)控制。因此，加法信號(hào)padd使得能夠控制加法線和fd1123之間的連接和切斷。例如，根據(jù)定時(shí)控制電路1150的控制，垂直讀取控制電路1160輸出加法信號(hào)padd。

第二實(shí)施例中的像素的操作被如下控制。首先，維持加法信號(hào)padd，并且，將fd1123連接到加法線。在本實(shí)施例的情況下，例如，將像素1120(1)、像素1120(2)和像素1120(3)相加，并且，將像素1120(4)、像素1120(5)和像素1120(6)相加。可以對(duì)于所有像素使用相同的控制信號(hào)來(lái)執(zhí)行通過(guò)加法信號(hào)padd的控制。

接下來(lái)，維持控制信號(hào)ptx和fd復(fù)位信號(hào)pres，并且，使光電二極管1121和fd1123復(fù)位。在復(fù)位完成之后取消控制信號(hào)ptx的操作開(kāi)始累積期間，并且光電二極管1121累積由在累積期間中進(jìn)入的光生成的電荷(光信號(hào))。

當(dāng)經(jīng)過(guò)預(yù)定累積期間時(shí)，由像素放大器1125放大的復(fù)位電壓經(jīng)由垂直傳輸線1140輸入到列ad轉(zhuǎn)換器1141，并且通過(guò)取消fd復(fù)位信號(hào)pres并維持行選擇信號(hào)psel而被轉(zhuǎn)換為數(shù)字信號(hào)。該信號(hào)被稱(chēng)為n信號(hào)。n信號(hào)被保存在水平傳輸電路1170中。

接下來(lái)，維持控制信號(hào)ptx，并且將在光電二極管1121中累積的電荷傳輸?shù)絝d1123并轉(zhuǎn)換為電壓。fd1123的電壓由像素放大器1125放大，然后經(jīng)由垂直傳輸線1140輸入到列ad轉(zhuǎn)換器1141，并且被轉(zhuǎn)換為數(shù)字信號(hào)。該信號(hào)被稱(chēng)為s信號(hào)。s信號(hào)是基于在光電二極管1121中累積的電荷的數(shù)字信號(hào)。在水平傳輸電路1170中，通過(guò)從s信號(hào)中減去n信號(hào)，可以抑制噪聲的影響。

通過(guò)執(zhí)行如上所述的有加法的讀取，可以在垂直方向上對(duì)像素信號(hào)進(jìn)行相加，這增加了光電二極管的表觀面積尺寸，因此提高信號(hào)的動(dòng)態(tài)范圍和sn特性。

列ad轉(zhuǎn)換器1141具有與第一實(shí)施例中的結(jié)構(gòu)類(lèi)似的結(jié)構(gòu)，并且可以根據(jù)使用斜坡信號(hào)的控制來(lái)選擇ad高分辨率方式下的操作或ad高速方式下的操作。

請(qǐng)注意，也可以在水平方向上設(shè)置用于連接多個(gè)像素的加法線，但是，加法線的數(shù)量的增加減小了像素的開(kāi)口的尺寸，減小了光電二極管的有效面積，并且使信號(hào)的動(dòng)態(tài)范圍和sn特性劣化。因此，在本實(shí)施例中，代替在水平方向上設(shè)置用于對(duì)像素進(jìn)行相加的加法線，水平傳輸電路1170執(zhí)行相加平均，從而實(shí)現(xiàn)與加法線相同的效果。

將描述水平方向上的加法處理的示例。

將通過(guò)用上述方法連接fd1123來(lái)將像素1120(1)、像素1120(2)和像素1120(3)相加并通過(guò)列ad轉(zhuǎn)換器1141轉(zhuǎn)換相加結(jié)果而得到的數(shù)字值存儲(chǔ)在水平傳輸電路1170中。此時(shí)，類(lèi)似地，通過(guò)將像素1120(7)、像素1120(8)和像素1120(9)相加而得到的數(shù)字值以及通過(guò)將像素1120(13)、像素1120(14)和像素1120(15)相加而得到的數(shù)字值存儲(chǔ)在水平傳輸電路1170中。

此后，通過(guò)使用加法器進(jìn)一步將這三個(gè)數(shù)字值相加并使用除法器或位移位計(jì)算器將相加的值除以9，可以最終獲得九個(gè)像素的平均值。

此外，通過(guò)改變用于控制padd的方法和水平方向上的加法處理的設(shè)置，可從多個(gè)選項(xiàng)中選擇要相加的像素的組合。要相加的像素的數(shù)量增加得越多，要讀出的像素的數(shù)量就減少得越多，因此讀取圖像數(shù)據(jù)所需的時(shí)間被縮短。在下面的描述中，通過(guò)相加控制的上述讀出被稱(chēng)為“有加法的讀取”。

此外，也是在本實(shí)施例的結(jié)構(gòu)中，通過(guò)不執(zhí)行padd的初始維持，并且不執(zhí)行水平方向上的水平傳輸電路中的加法處理，使得能夠進(jìn)行與第一實(shí)施例的讀取類(lèi)似的讀取。在下文中，與第一實(shí)施例類(lèi)似地控制的讀出被稱(chēng)為“無(wú)加法的讀取”，以便與有加法的讀取區(qū)分開(kāi)。

作為用于從像素讀取信號(hào)的控制操作，已經(jīng)描述了無(wú)加法的讀取和有加法的讀取的示例，但是可以通過(guò)其他控制操作來(lái)執(zhí)行讀取。

可以通過(guò)有加法的讀取和無(wú)加法的讀取的設(shè)置以及ad高分辨率方式和ad高速方式的設(shè)置的組合，根據(jù)預(yù)期目的來(lái)驅(qū)動(dòng)第一圖像傳感器1100’和第二圖像傳感器1200。

例如，考慮與第一實(shí)施例類(lèi)似地利用第一圖像傳感器1100’和第二圖像傳感器1200同時(shí)執(zhí)行運(yùn)動(dòng)圖像拍攝，并且對(duì)各幀執(zhí)行使用參考插值的去馬賽克的情況。在這種情況下，第一圖像傳感器1100’在“ad高分辨率方式”下針對(duì)“有加法的讀取”被驅(qū)動(dòng)，使得可以以適當(dāng)?shù)膸俾逝臄z具有足夠的色調(diào)特性的運(yùn)動(dòng)圖像。此外，為了以與第一圖像傳感器1100’的幀速率類(lèi)似的幀速率讀出具有比第一圖像傳感器更大數(shù)量的像素的幀，第二圖像傳感器1200在“ad高速方式”下針對(duì)“無(wú)加法的讀取”被驅(qū)動(dòng)。

圖15是示意性地示出本實(shí)施例中的由聚光透鏡2100形成的點(diǎn)像被投影在第一圖像傳感器1100’和第二圖像傳感器1200的攝像平面上的狀態(tài)的示圖。對(duì)與第一實(shí)施例(圖5)的組成元件類(lèi)似的組成元件給予相同的附圖標(biāo)記。圖15中的虛線示意性地指示光束。通過(guò)聚光透鏡2100的光束被半反射鏡1300分成兩條光路。此外，由聚光透鏡2100形成的點(diǎn)像既作為以有效像素(2，8)為中心的點(diǎn)像3100’被投影在第一圖像傳感器1100’上，又作為以有效像素(9，8)為中心的點(diǎn)像3200被投影在第二圖像傳感器1200上。這里，像素的坐標(biāo)被表示為(列號(hào)，行號(hào))。

正被投影的點(diǎn)像的半徑相同，但是第一圖像傳感器1100’執(zhí)行有加法的讀取，因此在第一圖像數(shù)據(jù)1510中，圖像在水平方向上被縮小為δx1/δx’1。這同樣適用于垂直方向。

在第一實(shí)施例中，通過(guò)改變圖像傳感器的物理像素間距來(lái)獲得分辨率低于第二圖像數(shù)據(jù)1520的第一圖像數(shù)據(jù)1510。在本實(shí)施例中，通過(guò)改變圖像傳感器的讀取像素間距來(lái)獲得與第一實(shí)施例的第一圖像數(shù)據(jù)1510和第二圖像數(shù)據(jù)1520類(lèi)似的第一圖像數(shù)據(jù)1510和第二圖像數(shù)據(jù)1520。

因此，信號(hào)處理電路1500對(duì)第一圖像數(shù)據(jù)1510和第二圖像數(shù)據(jù)1520執(zhí)行與第一實(shí)施例的處理類(lèi)似的處理，從而可以獲得全色圖像1530。

根據(jù)本實(shí)施例，即使在使用具有相同物理像素間距的多個(gè)圖像傳感器的情況下，也可以獲得與第一實(shí)施例的效果類(lèi)似的效果。

請(qǐng)注意，第一圖像數(shù)據(jù)的格式不限于在第一實(shí)施例和第二實(shí)施例中描述的格式，并且，可以根據(jù)物理像素間距和讀取像素間距的組合來(lái)獲取具有不同分辨率、高寬比等的各種類(lèi)型的圖像數(shù)據(jù)。

第三實(shí)施例

接下來(lái)，將描述本發(fā)明的第三實(shí)施例。除了信號(hào)處理電路的結(jié)構(gòu)之外，本實(shí)施例可以與第一實(shí)施例和第二實(shí)施例相同，因此將描述信號(hào)處理電路。圖16是示意性地示出本實(shí)施例中的數(shù)據(jù)處理的概要以及信號(hào)處理電路1500’的功能結(jié)構(gòu)的示例的示圖。在圖16中，對(duì)與第一實(shí)施例(圖7)共有的組成元件給予相同的附圖標(biāo)記。請(qǐng)注意，假設(shè)在使用具有與第一實(shí)施例相同的結(jié)構(gòu)的第一圖像傳感器1100的情況下進(jìn)行圖示，但是可以使用具有與第二實(shí)施例相同的結(jié)構(gòu)的第一圖像傳感器1100。在本實(shí)施例的信號(hào)處理電路1500’中，在分辨率轉(zhuǎn)換電路1503之后的一級(jí)配設(shè)參考圖像存儲(chǔ)電路1504。

類(lèi)似于第一實(shí)施例和第二實(shí)施例，第二圖像數(shù)據(jù)1520由對(duì)準(zhǔn)處理電路1502和分辨率轉(zhuǎn)換電路1503處理，并與第一圖像數(shù)據(jù)1510對(duì)準(zhǔn)，并且，第二圖像數(shù)據(jù)1520的分辨率被轉(zhuǎn)換，以便生成第三圖像數(shù)據(jù)1525。然后，將第三圖像數(shù)據(jù)1525存儲(chǔ)在參考圖像存儲(chǔ)電路1504中。請(qǐng)注意，在分辨率不需要被轉(zhuǎn)換的情況下，第二圖像數(shù)據(jù)1520被存儲(chǔ)為第三圖像數(shù)據(jù)1525而沒(méi)有任何改變。

在本實(shí)施例中，與第一實(shí)施例或第二實(shí)施例類(lèi)似，參考插值電路1501使用第一圖像數(shù)據(jù)1510和存儲(chǔ)在參考圖像存儲(chǔ)電路1504中的第三圖像數(shù)據(jù)1525來(lái)執(zhí)行去馬賽克。

例如，基于獲得第一圖像數(shù)據(jù)1510的時(shí)刻與獲得第二圖像數(shù)據(jù)1520的時(shí)刻之間的差，確定存儲(chǔ)在參考圖像存儲(chǔ)電路1504中的第三圖像數(shù)據(jù)1525是否可以用于參考插值處理，其中第三圖像數(shù)據(jù)1525是基于第二圖像數(shù)據(jù)1520的。然而，例如，可接受的時(shí)間差可以取決于被攝體的運(yùn)動(dòng)的大小。例如，被攝體的運(yùn)動(dòng)越小，可接受的時(shí)間差就變得越長(zhǎng)。而且，在參考插值處理中可以使用和不能使用的部分可以存在于第三圖像數(shù)據(jù)1525中。

下面將參照?qǐng)D17描述本實(shí)施例中的獲得圖像數(shù)據(jù)和去馬賽克的操作控制。圖17中的上部示出控制第一圖像傳感器1100的讀取的操作及其定時(shí)。

當(dāng)幀同步信號(hào)被輸入到第一圖像傳感器1100時(shí)，從有效像素部分1110的領(lǐng)先像素行中順序地讀出信號(hào)，如第n幀讀取信號(hào)的直線所示。此外，各像素行的累積期間在由虛線指示的第n幀復(fù)位信號(hào)的定時(shí)開(kāi)始，并且，復(fù)位時(shí)間與讀出時(shí)間之間的差是各像素行的累積期間。

圖17中的下部示出控制第二圖像傳感器1200的讀取的操作及其定時(shí)。在本實(shí)施例中，第一圖像傳感器1100的讀取和第二圖像傳感器1200的讀取不同步，并且第二圖像傳感器1200的讀取與用于第二圖像傳感器1200的幀同步信號(hào)同步，第二圖像傳感器1200的幀同步信號(hào)獨(dú)立于供給到第一圖像傳感器1100的幀同步信號(hào)。

在第二圖像傳感器1200的拍攝請(qǐng)求信號(hào)被維持之后讀出第二圖像傳感器1200。通過(guò)取消第二圖像傳感器1200的拍攝請(qǐng)求信號(hào)，照相機(jī)控制電路1400可以停止參考插值處理和利用第二圖像傳感器1200的拍攝。例如，當(dāng)進(jìn)行不適合作為用于參考插值的圖像的拍攝條件的設(shè)置(例如，設(shè)置大于或等于預(yù)定值的拍攝靈敏度的情況)時(shí)，例如，照相機(jī)控制電路1400可以取消拍攝請(qǐng)求信號(hào)，但是也可以使用其他條件。在圖17的示例中，保持拍攝請(qǐng)求信號(hào)的維持，因此連續(xù)執(zhí)行利用第二圖像傳感器1200的拍攝和信號(hào)處理電路1500′中的參考插值處理。

為了對(duì)第一圖像傳感器1100的第n幀的圖像數(shù)據(jù)進(jìn)行去馬賽克，信號(hào)處理電路1500′使用基于利用第二圖像傳感器1200拍攝且存儲(chǔ)在參考圖像存儲(chǔ)電路1504中的第m幀的圖像數(shù)據(jù)而生成的第三圖像數(shù)據(jù)。請(qǐng)注意，在圖17中，關(guān)注獲得第二圖像數(shù)據(jù)和第一圖像數(shù)據(jù)的定時(shí)，因此為了方便起見(jiàn)，描述了第二圖像數(shù)據(jù)被用作第三圖像數(shù)據(jù)而沒(méi)有任何改變的情況。

為了也對(duì)第一圖像傳感器1100的第n+1幀的圖像數(shù)據(jù)進(jìn)行去馬賽克，信號(hào)處理電路1500’使用存儲(chǔ)在參考圖像存儲(chǔ)電路1504中的第二圖像傳感器1200的第m幀的圖像數(shù)據(jù)。

然而，參考舊的圖像數(shù)據(jù)可能會(huì)導(dǎo)致插值精度的劣化，因此本實(shí)施例的信號(hào)處理電路1500’執(zhí)行圖18所示的控制。

在步驟s310中，信號(hào)處理電路1500’從第一圖像傳感器1100獲得第一圖像數(shù)據(jù)。

隨后，在步驟s320中，信號(hào)處理電路1500’確定第一圖像數(shù)據(jù)和第二圖像數(shù)據(jù)之間的拍攝開(kāi)始時(shí)間的差δf是否大于預(yù)定值(壽命)，其中存儲(chǔ)在參考圖像存儲(chǔ)電路1504中的第三圖像數(shù)據(jù)是基于該第二圖像數(shù)據(jù)。如果沒(méi)有確定δf大于預(yù)定值，則信號(hào)處理電路1500’使本過(guò)程進(jìn)入步驟s340，并且使用存儲(chǔ)在參考圖像存儲(chǔ)電路1504中的第三圖像數(shù)據(jù)執(zhí)行去馬賽克。

另一方面，如果確定δf大于預(yù)定值，則信號(hào)處理電路1500’使本過(guò)程進(jìn)入步驟s350，并且在不使用存儲(chǔ)在參考圖像存儲(chǔ)電路1504中的第三圖像數(shù)據(jù)的情況下執(zhí)行去馬賽克。

例如，在第二圖像傳感器1200的第m幀和第一圖像傳感器的第n幀之間的拍攝開(kāi)始時(shí)間的差δf(n)大于預(yù)定值的情況下，對(duì)于去馬賽克，信號(hào)處理電路1500′不使用基于第二圖像傳感器1200的第m幀的第三圖像數(shù)據(jù)。

隨后，當(dāng)在步驟s340中執(zhí)行去馬賽克時(shí)，參考插值電路1501將其中第一圖像數(shù)據(jù)1510和存儲(chǔ)在參考圖像存儲(chǔ)電路1504中的第三圖像數(shù)據(jù)中的對(duì)應(yīng)像素值之間的差小于或等于預(yù)定值的區(qū)域用于參考。例如，參考插值電路1501獲得位于要被插值的虛擬像素的周邊且實(shí)際存在的第一圖像數(shù)據(jù)中的多個(gè)像素中的每一個(gè)，與具有相同的顏色且存在于與第一圖像數(shù)據(jù)的該像素相對(duì)應(yīng)或最接近的位置處的第三圖像數(shù)據(jù)中的像素之間的值的差。如果差的總和小于或等于預(yù)定值，則參考插值電路1501使用上述參考插值執(zhí)行去馬賽克，并且，如果差的總和超過(guò)預(yù)定值，則執(zhí)行其中參考插值不用于要被插值的虛擬像素的去馬賽克。

即使在第一圖像數(shù)據(jù)1510和第二圖像數(shù)據(jù)1520之間存在拍攝時(shí)刻的差的情況下，上述操作也能夠至少部分地使用參考插值來(lái)進(jìn)行去馬賽克。

根據(jù)本實(shí)施例，存儲(chǔ)在參考插值期間要參考和使用的圖像數(shù)據(jù)，由此減輕了對(duì)利用第一圖像傳感器和第二圖像傳感器的拍攝定時(shí)的限制。因此，可以對(duì)利用更多樣化的攝像裝置獲取的圖像數(shù)據(jù)實(shí)現(xiàn)參考插值。

以上僅通過(guò)示例描述了本發(fā)明的一些示例性實(shí)施例，并且，不應(yīng)當(dāng)被解釋為在任何意義上限制本發(fā)明的范圍。本發(fā)明的范圍由權(quán)利要求的范圍規(guī)定，并且，權(quán)利要求的范圍所包含的變型例和等同例包括在本發(fā)明的范圍內(nèi)。

其他實(shí)施例

本發(fā)明的(多個(gè))實(shí)施例也可以通過(guò)如下實(shí)現(xiàn)：一種系統(tǒng)或裝置的計(jì)算機(jī)，該系統(tǒng)或裝置讀出并執(zhí)行在存儲(chǔ)介質(zhì)(其也可被更充分地稱(chēng)為“非暫態(tài)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)”)上記錄的計(jì)算機(jī)可執(zhí)行指令(例如，一個(gè)或多個(gè)程序)，以執(zhí)行上述(多個(gè))實(shí)施例中的一個(gè)或多個(gè)的功能，并且/或者，該系統(tǒng)或裝置包括用于執(zhí)行上述(多個(gè))實(shí)施例中的一個(gè)或多個(gè)的功能的一個(gè)或多個(gè)電路(例如，專(zhuān)用集成電路(asic))；以及由該系統(tǒng)或者裝置的計(jì)算機(jī)執(zhí)行的方法，例如，從存儲(chǔ)介質(zhì)讀出并執(zhí)行計(jì)算機(jī)可執(zhí)行指令，以執(zhí)行上述(多個(gè))實(shí)施例中的一個(gè)或多個(gè)的功能，并且/或者，控制所述一個(gè)或多個(gè)電路以執(zhí)行上述(多個(gè))實(shí)施例中的一個(gè)或多個(gè)的功能。所述計(jì)算機(jī)可以包括一個(gè)或更多處理器(例如，中央處理單元(cpu)，微處理單元(mpu))，并且可以包括分開(kāi)的計(jì)算機(jī)或分開(kāi)的處理器的網(wǎng)絡(luò)，以讀出并執(zhí)行所述計(jì)算機(jī)可執(zhí)行指令。所述計(jì)算機(jī)可執(zhí)行指令可以例如從網(wǎng)絡(luò)或存儲(chǔ)介質(zhì)被提供給計(jì)算機(jī)。例如，存儲(chǔ)介質(zhì)可以包括如下中的一個(gè)或多個(gè)：硬盤(pán)，隨機(jī)存取存儲(chǔ)器(ram)，只讀存儲(chǔ)器(rom)，分布式計(jì)算系統(tǒng)的存儲(chǔ)器，光盤(pán)(例如，壓縮盤(pán)(cd)，數(shù)字多功能光盤(pán)(dvd)，或藍(lán)光光盤(pán)(bd)^tm)，閃速存儲(chǔ)器裝置，存儲(chǔ)卡，等等。

本發(fā)明的實(shí)施例還可以通過(guò)如下的方法來(lái)實(shí)現(xiàn)，即，通過(guò)網(wǎng)絡(luò)或者各種存儲(chǔ)介質(zhì)將執(zhí)行上述實(shí)施例的功能的軟件(程序)提供給系統(tǒng)或裝置，該系統(tǒng)或裝置的計(jì)算機(jī)或是中央處理單元(cpu)、微處理單元(mpu)讀出并執(zhí)行程序的方法。

雖然針對(duì)示例性實(shí)施例描述了本發(fā)明，但是，應(yīng)該理解，本發(fā)明不限于公開(kāi)的示例性實(shí)施例。下述權(quán)利要求的范圍應(yīng)當(dāng)被賦予最寬的解釋?zhuān)员愫w所有變型例以及等同的結(jié)構(gòu)和功能。