專利名稱：數(shù)據(jù)處理設(shè)備、圖像處理設(shè)備、相機(jī)和數(shù)據(jù)處理方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種將丟失彩色信號(hào)內(nèi)插到每個(gè)像素的圖像信號(hào)中、用于具有固體攝像元件的相機(jī)(例如，攝像機(jī)、數(shù)碼相機(jī)等)的數(shù)據(jù)處理設(shè)備(例如，相機(jī)信號(hào)處理設(shè)備等)。此外，本發(fā)明還涉及采用該數(shù)據(jù)處理設(shè)備的數(shù)據(jù)處理方法，采用該數(shù)據(jù)處理方法的圖像處理設(shè)備以及使用該圖像處理設(shè)備和固體攝像元件的相機(jī)(例如，攝像機(jī)、數(shù)碼相機(jī)、具有相機(jī)的移動(dòng)電話等)。
背景技術(shù)：
在采用一個(gè)固體攝像元件的傳統(tǒng)相機(jī)(例如，攝像機(jī)、數(shù)碼相機(jī)等，以下將它們稱為相機(jī))中，在固體攝像元件的各像素上分離設(shè)置濾色器。
每個(gè)濾色器具有三色(三原色)之一，例如紅色(R)、綠色(G)和藍(lán)色(B)。R、G和B濾色器之一設(shè)置在每個(gè)像素上。通過(guò)計(jì)算可以獲得對(duì)像素設(shè)置的濾色器的顏色之外的顏色(彩色信號(hào))。在這種情況下，可以獲得空間連續(xù)數(shù)據(jù)(在此是二維的)，如同連續(xù)設(shè)置3個(gè)濾色器。用于獲得空間連續(xù)數(shù)據(jù)的這種計(jì)算被稱為內(nèi)插。
以下將詳細(xì)說(shuō)明內(nèi)插。
圖8是示出傳統(tǒng)濾色器的排列的示意圖。
通常，在濾色器板上，以棋盤圖形方式排列G濾色器，同時(shí)以棋盤圖形方式一起排列R濾色器和B濾色器，其中R濾色器或B濾色器排列在其他行上(參考圖8)。將這種排列稱為Bayer陣列。
如果固體攝像元件利用具有Bayer陣列的濾色器板來(lái)數(shù)字化圖像信號(hào)，則每個(gè)像素提供的圖像信號(hào)僅表示一種顏色。因此，為了獲得每個(gè)像素的全色圖像信號(hào)(包括所有R、G和B彩色信號(hào))，需要根據(jù)丟失彩色信號(hào)的其他像素的圖像信號(hào)內(nèi)插未送到像素的彩色數(shù)據(jù)。
在這種情況下，利用單獨(dú)方法內(nèi)插G像素以及R像素和B像素。
圖9A和9B是用于解釋傳統(tǒng)內(nèi)插技術(shù)的示意圖。在這兩個(gè)附圖中，利用G表示對(duì)其設(shè)置G濾色器的像素。由于R濾色器和B濾色器排列在要內(nèi)插的像素上，所以利用P和Q分別表示對(duì)其設(shè)置R濾色器和B濾色器的像素。
如圖9A所示，例如，假定G33是要內(nèi)插的像素。需要通過(guò)內(nèi)插獲得像素的R和B(P和Q)數(shù)據(jù)。G像素的相鄰像素是R像素和B像素。
利用P33和Q33表示內(nèi)插G33獲得的P和Q。具體地說(shuō)，利用下面的表達(dá)式，根據(jù)P和Q的相鄰像素G33，計(jì)算P33和Q33G33＝G33P33＝(P32+P34)/2Q33＝(Q23+Q43)/2接著，如圖9B所示，假定Q33是要內(nèi)插的像素。通過(guò)內(nèi)插，獲得該像素的G數(shù)據(jù)和P數(shù)據(jù)。Q像素的相鄰像素是G像素和P像素。
利用G33和P33表示通過(guò)內(nèi)插Q33獲得的G和P。具體地說(shuō)，利用下面的表達(dá)式，根據(jù)G和P的相鄰像素Q33，計(jì)算G33和P33G33＝(G23+G32+G34+G43)/4P33＝(P22+P24+P42+P44)/4Q33＝Q33然而，上述通用內(nèi)插技術(shù)導(dǎo)致圖像失真，而且導(dǎo)致邊緣部分的分辨率降低，如下所述。
下面將參考圖10A說(shuō)明該問題，在圖10A中，成像垂直帶狀圖形。
在圖10A中，G11至G15形成的線是高亮度線，該線通常被顯示為白色。Q21至Q25形成的線是低亮度線，該線通常被顯示為黑色。
圖10B是示出位于圖10A所示垂直帶狀圖形上的每個(gè)像素的圖像信號(hào)值的示意圖，其中每個(gè)白色像素具有值100，而每個(gè)黑色像素具有值0。
假定G33是要內(nèi)插的像素。根據(jù)上面的表達(dá)式進(jìn)行內(nèi)插。結(jié)果，G33＝100P33＝(P32+P34)/2＝100，以及Q33＝(Q23+Q43)/2＝0同樣，根據(jù)上述表達(dá)式，對(duì)所有其他像素進(jìn)行內(nèi)插。結(jié)果示于圖10C至10E。圖10C示出內(nèi)插之后的G值。圖10D示出內(nèi)插之后的P值。圖10E示出內(nèi)插之后的Q值。
如圖10C所示，G的內(nèi)插數(shù)據(jù)不表示垂直帶狀圖形，因此圖像出現(xiàn)失真。如圖10E所示，Q的內(nèi)插數(shù)據(jù)不表示垂直帶狀圖形，其中該帶消失，即圖像出現(xiàn)失真。
例如第7-59098號(hào)日本專利公報(bào)中，嘗試解決因?yàn)閮?nèi)插引起的這種圖像失真問題。在該文獻(xiàn)中，根據(jù)水平或垂直相鄰像素之間的差值，獲得像素的灰度級(jí)。將該灰度級(jí)與預(yù)定閾值進(jìn)行比較。根據(jù)比較結(jié)果，進(jìn)行內(nèi)插。
下面將參考圖11A說(shuō)明上面的文獻(xiàn)公開的這種內(nèi)插技術(shù)，在圖11A中，成像水平帶狀圖形。
在圖11A中，G11到G51、G13到G53、G15到G55分別形成的線分別具有低亮度，通常，將低亮度顯示為黑色。P12到P52和P14到P54分別形成的線分別具有高亮度，通常，將高亮度顯示為白色。
圖11B示出圖11A所示水平帶狀圖形上的每個(gè)像素的圖像信號(hào)值，其中每個(gè)白像素分別具有值100，而每個(gè)黑像素分別具有值0。
根據(jù)上述文獻(xiàn)，如果假定圖11A所示的像素Q23是要內(nèi)插的像素，則利用下面的表達(dá)式計(jì)算彩色數(shù)據(jù)G23和P23Q23＝Q23P23＝0.25×[P14-Adap(G14)+P12-Adap(G12)+P32-Adap(G32)+P34-Adap(G34)]+Adap(G23)G23＝Adap(G23)…(1)
根據(jù)上述文獻(xiàn)，利用表達(dá)式(2)計(jì)算表達(dá)式(1)中的Adap，表達(dá)式(2)具有條件轉(zhuǎn)移。下面的表達(dá)式(2)表示圖11A中的像素G23。在表達(dá)式(2)中，“Threshold”表示預(yù)定閾值，“Gdiff-hor”表示亮度的水平差值，以及“Gdiff-ver”表示亮度的垂直差值。
Gdiff-hor＝|G13-G33|Gdiff-ver＝|G22-G24|Threshold＝預(yù)定值如果(Gdiff-hor＜Threshold)且(Gdiff-ver＜Threshold)或(Gdiff-hor＞Threshold)且(Gdiff-ver＞Threshold)那么|Adap(G23)＝(G13+G33+G22+G24)/4|如果(Gdiff-hor＜Threshold)且(Gdiff-ver＞Threshold)那么|Adap(G23)＝(G13+G33)/2|如果(Gdiff-hor＞Threshold)且(Gdiff-ver＜Threshold)那么|Adap(G23)＝(G22+G24)/2|…(2)然而，利用上述文獻(xiàn)公開的內(nèi)插技術(shù)，一些圖像可能出現(xiàn)失真。
例如，利用表達(dá)式(1)和(2)，根據(jù)圖11B所示的數(shù)據(jù)值，計(jì)算G23。結(jié)果，Gdiff-hor＝Gdiff-ver＝0而且，如果不考慮閾值的值，則G23＝Adap(G23)＝|G13+G33+G22+G24|/4＝50同樣，所計(jì)算的G43也是50。
根據(jù)上述文獻(xiàn)，利用每個(gè)像素的數(shù)據(jù)計(jì)算的G13、G33和G53均為0。
圖11C示出所獲得的G13到G53的數(shù)據(jù)。
在圖11C中，內(nèi)插產(chǎn)生偽白色信號(hào)，相反，它在圖11A中是黑色，因此在水平線上，產(chǎn)生亮度差。獲得的圖形顯示交替的黑色和白色，或弱亮度和強(qiáng)亮度，這被稱為閃光環(huán)噪聲(zipper noise)。即，圖像出現(xiàn)失真。
此外，在上述文獻(xiàn)的內(nèi)插技術(shù)中，將亮度值的垂直差值和水平差值與預(yù)定閾值進(jìn)行比較。如果圖像信號(hào)沒有噪聲等，則這種技術(shù)有效。然而，如果因?yàn)樵肼暤仁沟昧炼戎档乃讲钪岛痛怪辈钪翟谠撻撝蹈浇▌?dòng)，則內(nèi)插計(jì)算以時(shí)序方式波動(dòng)，因此數(shù)據(jù)也波動(dòng)。例如，要內(nèi)插的像素很可能以時(shí)序方式閃爍。

發(fā)明內(nèi)容
根據(jù)本發(fā)明的一個(gè)方面，提供了一種用于處理固體攝像元件獲得的圖像信號(hào)的數(shù)據(jù)處理設(shè)備，在該固體攝像元件內(nèi)，在各像素上分離設(shè)置多種類型的濾色器，而要內(nèi)插的像素及其周圍像素具有圖像信號(hào)。該設(shè)備包括內(nèi)插部分，通過(guò)至少利用要內(nèi)插的像素及其周圍像素的圖像信號(hào)中的周圍像素的圖像信號(hào)進(jìn)行內(nèi)插，產(chǎn)生每個(gè)像素的圖像信號(hào)內(nèi)的丟失彩色信號(hào)。根據(jù)要內(nèi)插的像素及其周圍像素的圖像信號(hào)的均勻性和傾斜度，內(nèi)插部分至少獲得一個(gè)與要內(nèi)插的像素及其周圍像素的數(shù)據(jù)值的圖形類似的內(nèi)插圖形，然后，根據(jù)該至少一個(gè)內(nèi)插圖形，進(jìn)行內(nèi)插。
在本發(fā)明的一個(gè)實(shí)施例中，該數(shù)據(jù)處理設(shè)備進(jìn)一步包括內(nèi)插圖形存儲(chǔ)部分，用于存儲(chǔ)多個(gè)表示圖像信號(hào)的均勻性和傾斜度的內(nèi)插圖形。根據(jù)要內(nèi)插的像素及其周圍像素的圖像信號(hào)的均勻性和傾斜度，內(nèi)插部分從內(nèi)插圖形存儲(chǔ)部分內(nèi)的多個(gè)內(nèi)插圖形中選擇與要內(nèi)插的像素及其周圍像素的數(shù)據(jù)值的圖形類似的內(nèi)插圖形，然后，根據(jù)選擇的內(nèi)插圖形進(jìn)行內(nèi)插。
在本發(fā)明的一個(gè)實(shí)施例中，對(duì)存儲(chǔ)在內(nèi)插圖形存儲(chǔ)部分內(nèi)的多個(gè)內(nèi)插圖形分別提供識(shí)別信息，以及內(nèi)插部分將選擇的內(nèi)插圖形的識(shí)別信息存儲(chǔ)到內(nèi)插圖形存儲(chǔ)部分內(nèi)。
在本發(fā)明的一個(gè)實(shí)施例中，內(nèi)插部分計(jì)算表示至少一個(gè)內(nèi)插圖形中的每個(gè)內(nèi)插圖形與要內(nèi)插的像素及其周圍像素的數(shù)據(jù)值的圖形的相似性的方向性數(shù)據(jù)，并選擇其中方向性數(shù)據(jù)是最小的內(nèi)插圖形。
在本發(fā)明的一個(gè)實(shí)施例中，根據(jù)要內(nèi)插的像素是主要對(duì)亮度起作用的像素，還是不是主要對(duì)亮度起作用的像素，內(nèi)插部分選擇至少一個(gè)內(nèi)插圖形之一，然后，根據(jù)選擇的內(nèi)插圖形進(jìn)行內(nèi)插。
在本發(fā)明的一個(gè)實(shí)施例中，當(dāng)要內(nèi)插的像素是主要對(duì)亮度起作用的像素時(shí)，至少使用存儲(chǔ)在內(nèi)插圖形存儲(chǔ)部分內(nèi)的多個(gè)內(nèi)插圖形之一，而當(dāng)要內(nèi)插的像素不是主要對(duì)亮度起作用的像素上，至少使用存儲(chǔ)在內(nèi)插圖形存儲(chǔ)部分內(nèi)的多個(gè)內(nèi)插圖形之一。
在本發(fā)明的一個(gè)實(shí)施例中，內(nèi)插圖形存儲(chǔ)部分存儲(chǔ)其中水平排列具有規(guī)定值的像素的圖形；其中垂直排列具有規(guī)定值的像素的圖形；其中向右上方向傾斜排列具有規(guī)定值的像素的圖形；其中向右下方向傾斜排列具有規(guī)定值的像素的圖形；其中具有規(guī)定值的像素一起排列在左上角部分的圖形；其中具有規(guī)定值的像素一起排列在右上角部分的圖形；其中具有規(guī)定值的像素一起排列在左下角部分的圖形；以及其中具有規(guī)定值的像素一起排列在右下角部分的圖形，作為多個(gè)內(nèi)插圖形。
在本發(fā)明的一個(gè)實(shí)施例中，當(dāng)存儲(chǔ)在內(nèi)插圖形存儲(chǔ)部分內(nèi)的多個(gè)內(nèi)插圖形均不與要內(nèi)插的像素及其周圍像素的圖像信號(hào)的數(shù)據(jù)值的圖形類似時(shí)，根據(jù)規(guī)定的表達(dá)式，內(nèi)插部分進(jìn)行內(nèi)插。
在本發(fā)明的一個(gè)實(shí)施例中，當(dāng)存儲(chǔ)在內(nèi)插圖形存儲(chǔ)部分內(nèi)的多個(gè)內(nèi)插圖形中的兩個(gè)或者更多個(gè)內(nèi)插圖形與要內(nèi)插的像素及其周圍像素的圖像信號(hào)的數(shù)據(jù)值的圖形類似時(shí)，根據(jù)對(duì)一個(gè)或者多個(gè)周圍像素選擇的內(nèi)插圖形，內(nèi)插部分選擇兩個(gè)或者更多個(gè)內(nèi)插圖形之一。
在本發(fā)明的一個(gè)實(shí)施例中，根據(jù)對(duì)應(yīng)于獲得的內(nèi)插圖形的表達(dá)式，內(nèi)插部分進(jìn)行內(nèi)插。
根據(jù)本發(fā)明的另一個(gè)方面，提供了一種圖像處理設(shè)備，該圖像處理設(shè)備包括上述數(shù)據(jù)處理設(shè)備；以及圖像處理部分，根據(jù)數(shù)據(jù)處理設(shè)備獲得的內(nèi)插圖形，進(jìn)行圖像處理。
根據(jù)本發(fā)明的另一個(gè)方面，提供了一種相機(jī)，該相機(jī)包括上述圖像處理設(shè)備。相機(jī)從固體攝像元件接收?qǐng)D像信號(hào)，然后，進(jìn)行內(nèi)插和圖像處理，以獲得相機(jī)的圖形數(shù)據(jù)。
根據(jù)本發(fā)明的另一個(gè)方面，提供了一種用于處理從固體攝像元件獲得的圖像信號(hào)的數(shù)據(jù)處理方法，在該固體攝像元件內(nèi)，在各像素上分離設(shè)置多種類型的濾色器，而要內(nèi)插的像素及其周圍像素具有圖像信號(hào)。該方法包括步驟根據(jù)要內(nèi)插的像素及其周圍像素的圖像信號(hào)的均勻性和傾斜度，獲得與要內(nèi)插的像素及其周圍像素的數(shù)據(jù)值的圖形類似的內(nèi)插圖形；以及根據(jù)該內(nèi)插圖形，進(jìn)行內(nèi)插，以產(chǎn)生要內(nèi)插的像素的圖像信號(hào)內(nèi)的丟失彩色信號(hào)。
下面說(shuō)明本發(fā)明的功能。
在固體攝像元件內(nèi)分離設(shè)置(例如，Bayer陣列)多種類型的濾色器，例如RGB(三原色)濾色器。該裝置獲得數(shù)字化圖像信號(hào)(像素信號(hào))。根據(jù)本發(fā)明，通過(guò)進(jìn)行內(nèi)插，在未設(shè)置對(duì)應(yīng)于丟失彩色信號(hào)的濾色器的像素，可以獲得丟失彩色數(shù)據(jù)(信號(hào))，如同所有濾色器連續(xù)設(shè)置在每個(gè)像素內(nèi)一樣。例如，當(dāng)固體攝像元件具有1,000像素時(shí)，每個(gè)像素具有對(duì)應(yīng)于R、G和B之任一的圖像信號(hào)的數(shù)據(jù)。通過(guò)進(jìn)行內(nèi)插，分別對(duì)R、G和B獲得1,000個(gè)數(shù)據(jù)(信號(hào))。這樣，獲得3,000個(gè)彩色信號(hào)。因此，可以實(shí)現(xiàn)空間(在此是二維的)的數(shù)據(jù)連續(xù)性。
根據(jù)本發(fā)明，如下進(jìn)行內(nèi)插。根據(jù)圖像信號(hào)的均勻性和傾斜度，獲得與要內(nèi)插的像素及其周圍像素的圖像信號(hào)的數(shù)據(jù)值的圖形類似的內(nèi)插圖形。根據(jù)獲得的內(nèi)插圖形，進(jìn)行內(nèi)插。這樣，考慮到圖像信號(hào)的均勻性和傾斜度，進(jìn)行內(nèi)插。這樣，可以防止出現(xiàn)傳統(tǒng)內(nèi)插技術(shù)中發(fā)生的圖像失真。此外，正如第7-59098號(hào)日本專利公報(bào)描述的那樣，在該專利申請(qǐng)中，在內(nèi)插過(guò)程中使用閾值，由于噪聲干擾，而導(dǎo)致內(nèi)插計(jì)算過(guò)程發(fā)生變化，因此圖像信號(hào)發(fā)生波動(dòng)。利用本發(fā)明可以解決這種問題。
考慮到圖像信號(hào)的均勻性和傾斜度，準(zhǔn)備內(nèi)插圖形。例如，內(nèi)插圖形存儲(chǔ)部分存儲(chǔ)其中水平排列具有規(guī)定值的像素的圖形；其中垂直排列具有規(guī)定值的像素的圖形；其中向右上方向傾斜排列具有規(guī)定值的像素的圖形；其中向右下方向傾斜排列具有規(guī)定值的像素的圖形；其中具有規(guī)定值的像素一起排列在左上角部分的圖形；其中具有規(guī)定值的像素一起排列在右上角部分的圖形；其中具有規(guī)定值的像素一起排列在左下角部分的圖形；以及其中具有規(guī)定值的像素一起排列在右下角部分的圖形。對(duì)于每個(gè)內(nèi)插圖形，計(jì)算表示內(nèi)插圖形的相似性的方向性數(shù)據(jù)。可以選擇具有最小方向性數(shù)據(jù)值的內(nèi)插圖形。
假定像素位于內(nèi)插圖形內(nèi)，根據(jù)對(duì)應(yīng)于內(nèi)插圖形的表達(dá)式，利用要內(nèi)插的像素及其周圍像素的圖像信號(hào)，或者其周圍像素的圖像信號(hào)，進(jìn)行內(nèi)插。對(duì)所有像素連續(xù)進(jìn)行該處理。
當(dāng)與要內(nèi)插的像素及其周圍像素的圖像信號(hào)的數(shù)據(jù)值的圖形類似的內(nèi)插圖形未存儲(chǔ)在內(nèi)插圖形存儲(chǔ)部分內(nèi)時(shí)，利用規(guī)定的表達(dá)式進(jìn)行內(nèi)插。因此，即使根據(jù)均勻性和傾斜度不能獲得最佳內(nèi)插圖形，仍可以進(jìn)行更精確內(nèi)插。
當(dāng)將與要內(nèi)插的像素及其周圍像素的圖像信號(hào)的數(shù)據(jù)值的圖形類似的兩個(gè)或者更多個(gè)內(nèi)插圖形存儲(chǔ)到內(nèi)插圖形存儲(chǔ)部分內(nèi)時(shí)，根據(jù)對(duì)周圍像素選擇的內(nèi)插圖形，選擇兩個(gè)或者更多個(gè)內(nèi)插圖形之一。通過(guò)考慮到周圍像素的內(nèi)插圖形，即使噪聲等的波動(dòng)以時(shí)序方式改變圖像信號(hào)數(shù)據(jù)，仍可以防止內(nèi)插過(guò)程計(jì)算的圖像信號(hào)發(fā)生波動(dòng)。
在圖像的邊緣部分，亮度發(fā)生顯著變化，而顏色在該部分的變化減小。主要對(duì)亮度起作用的像素，例如G像素在邊緣部分發(fā)生顯著變化，而不對(duì)亮度起主要作用的像素，例如R和B像素變化較小。因此，通過(guò)對(duì)上述情況分別進(jìn)行內(nèi)插，可以進(jìn)行最佳內(nèi)插。
此外，內(nèi)插之后，可以根據(jù)內(nèi)插圖形，進(jìn)行數(shù)字圖像信號(hào)處理，例如邊緣加重處理，偽彩色信號(hào)抑制處理等，該內(nèi)插圖形是根據(jù)要內(nèi)插的像素及其周圍像素的圖像信號(hào)的均勻性和傾斜度獲得的。因此，可以產(chǎn)生令人滿意的圖像。
這樣，在此描述的本發(fā)明可以有利提供數(shù)據(jù)處理設(shè)備(例如，相機(jī)信號(hào)處理設(shè)備等)，其中當(dāng)從固體攝像元件獲得內(nèi)插的數(shù)字圖像信號(hào)時(shí)，可以避免噪聲波動(dòng)，而且可以防止圖像失真，在該固體攝像元件內(nèi)，在各像素上分離設(shè)置多種類型的濾色器；使用該數(shù)據(jù)處理設(shè)備的數(shù)據(jù)處理方法；采用該數(shù)據(jù)處理方法的圖像處理設(shè)備；以及使用該圖像處理設(shè)備的相機(jī)。
在參考附圖閱讀并理解了下面的詳細(xì)說(shuō)明后，對(duì)于本技術(shù)領(lǐng)域內(nèi)的熟練技術(shù)人員，本發(fā)明的這些以及其他優(yōu)點(diǎn)是顯而易見的。


圖1是示出根據(jù)本發(fā)明實(shí)施例的相機(jī)的配置的方框圖。
圖2是用于解釋圖1所示內(nèi)插部分執(zhí)行的內(nèi)插過(guò)程的流程圖。
圖3A和3B是示出存儲(chǔ)在圖1所示行存儲(chǔ)器內(nèi)的圖像信號(hào)的圖像示意圖，其中P和Q分別表示R像素或B像素，或者B像素或R像素。
圖4A至4H是示出關(guān)于G像素的典型內(nèi)插圖形的示意圖，其中P和Q分別表示R像素或B像素，或者B像素或R像素。
圖5A至5D是用于解釋根據(jù)本發(fā)明確定內(nèi)插過(guò)程的內(nèi)插圖形的方法的示意圖，其中P和Q分別表示R像素或B像素，或者B像素或R像素。
圖6A至6H是示出關(guān)于P像素的典型內(nèi)插圖形的示意圖，其中P和Q分別表示R像素或B像素，或者B像素或R像素。
圖7A至7H是用于解釋作為根據(jù)本發(fā)明的圖像處理過(guò)程進(jìn)行邊緣加重處理的示意圖，其中P和Q分別表示R像素或B像素，或者B像素或R像素。
圖8是示出濾色器上各顏色的傳統(tǒng)Bayer陣列排列的示意圖。
圖9A和9B是用于解釋傳統(tǒng)內(nèi)插技術(shù)的示意圖，其中P和Q分別表示R像素或B像素，或者B像素或R像素。
圖10A至10E是用于解釋傳統(tǒng)內(nèi)插技術(shù)存在的問題的示意圖，其中P和Q分別表示R像素或B像素，或者B像素或R像素。
圖11A至11C是用于解釋傳統(tǒng)內(nèi)插技術(shù)存在的另一個(gè)問題的示意圖，其中P和Q分別表示R像素或B像素，或者B像素或R像素。
具體實(shí)施例方式
下面將參考附圖，利用說(shuō)明性例子，說(shuō)明本發(fā)明。包括圖像處理設(shè)備的相機(jī)(相機(jī)系統(tǒng))包括本發(fā)明的數(shù)據(jù)處理設(shè)備，以下將特別說(shuō)明該相機(jī)。
圖1是示出根據(jù)本發(fā)明實(shí)施例的相機(jī)的配置的方框圖。在圖1中，實(shí)線箭頭表示圖像信號(hào)流，而點(diǎn)劃線箭頭表示控制信號(hào)流。
在圖1中，相機(jī)100包括固體攝像元件1；CDS(相關(guān)雙采樣電路)2；AGC(自動(dòng)增益控制電路)3；A/D(模擬/數(shù)字)變換電路4；DSP(數(shù)字信號(hào)處理器)5，是圖像處理設(shè)備，例如相機(jī)信號(hào)處理設(shè)備等；以及TG(定時(shí)信號(hào)生成電路)6。
固體攝像元件1包括進(jìn)行光電變換的光電二極管。R、G和B(三原色)濾色器以所謂Bayer陣列的方式分離排列在光電二極管上，如圖8所示。進(jìn)入光電二極管的光信號(hào)被光電變換為電信號(hào)。
CDS2和AGC3分別對(duì)固體攝像元件1輸出的信號(hào)進(jìn)行相關(guān)雙采樣和自動(dòng)增益控制處理。
A/D變換電路4將模擬圖像信號(hào)變換為數(shù)字圖像信號(hào)。
DSP5對(duì)A/D變換電路4輸出的數(shù)字信號(hào)進(jìn)行圖像處理(以下做詳細(xì)說(shuō)明)。
TG6是用于產(chǎn)生/驅(qū)動(dòng)定時(shí)信號(hào)以傳送上述電信號(hào)的電路。
DSP5包括5行的行存儲(chǔ)器7、內(nèi)插部分8、內(nèi)插圖形存儲(chǔ)內(nèi)存9、圖像信號(hào)處理部分10以及I/F部分11。行存儲(chǔ)器7、內(nèi)插部分8以及內(nèi)插圖形存儲(chǔ)內(nèi)存9構(gòu)成數(shù)據(jù)處理設(shè)備12。
行存儲(chǔ)器7保存輸入到DSP5的圖像信號(hào)的5行的數(shù)據(jù)，并將該數(shù)據(jù)連續(xù)送到內(nèi)插部分8。
根據(jù)行存儲(chǔ)器7輸入的圖像信號(hào)，內(nèi)插部分8對(duì)要內(nèi)插的像素進(jìn)行內(nèi)插。任選使用存儲(chǔ)在內(nèi)插圖形存儲(chǔ)內(nèi)存9內(nèi)的內(nèi)插圖形。內(nèi)插處理取決于要內(nèi)插的像素及其周圍像素的圖像信號(hào)均勻性和傾斜度。將內(nèi)插之后獲得的圖像信號(hào)傳送到圖像信號(hào)處理部分10。
內(nèi)插圖形存儲(chǔ)內(nèi)存9預(yù)先存儲(chǔ)多個(gè)內(nèi)插圖形。當(dāng)內(nèi)插部分8進(jìn)行內(nèi)插時(shí)，將內(nèi)插圖形存儲(chǔ)內(nèi)存9選擇的內(nèi)插圖形號(hào)作為用于識(shí)別內(nèi)插圖形的信息存儲(chǔ)到內(nèi)插圖形存儲(chǔ)內(nèi)存9內(nèi)。
圖像信號(hào)處理部分10是用于處理圖像信號(hào)的眾所周知的每塊。在此不做詳細(xì)說(shuō)明。通常，圖像信號(hào)處理部分10進(jìn)行多種圖像處理，例如，用于調(diào)節(jié)固體攝像元件1的曝光的自動(dòng)曝光控制處理，用于調(diào)節(jié)圖像信號(hào)的白電平的自動(dòng)白平衡控制處理，用于加重邊緣信號(hào)的邊緣加重處理，用于去除邊緣部分產(chǎn)生的偽色的偽色抑制處理等。
I/F部分11接收?qǐng)D像信號(hào)處理部分10已經(jīng)處理過(guò)的圖像信號(hào)，然后，與外部電路系統(tǒng)同步傳送該圖像信號(hào)。
以下將參考圖2以及圖3A和B至6，說(shuō)明內(nèi)插部分8執(zhí)行的內(nèi)插。
圖3A和3B是示出從存儲(chǔ)在行存儲(chǔ)器7內(nèi)的圖像信號(hào)中提取的、具有5×5像素(水平方向和垂直方向分別有5個(gè)像素)的圖像的示意圖，其中要內(nèi)插的像素位于G33，G33位于該圖像的中心。圖3A示出其中設(shè)置在要內(nèi)插的像素上的濾色器的顏色是G的圖像。圖3B示出其中設(shè)置在要內(nèi)插的像素上的濾色器的顏色是R或B的圖像。請(qǐng)注意，在該Bayer陣列中，R或B濾色器設(shè)置在要內(nèi)插的像素上，因此，在圖3B中，利用P和Q表示R和B濾色器。
我們知道，亮度在圖像的邊緣部分顯著變化，而該部分的顏色的變化卻較小。例如，主要對(duì)亮度起作用的G像素的圖像信號(hào)在邊緣部分顯著變化，而主要對(duì)彩色分量起作用而不對(duì)亮度起作用的R和B像素的圖像信號(hào)的變化較小。
因此，在圖2所示步驟S1，內(nèi)插部分8對(duì)G像素或者R像素或B像素分別進(jìn)行最佳內(nèi)插。
首先，將說(shuō)明對(duì)G像素進(jìn)行的內(nèi)插。
在圖2所示的步驟S2，當(dāng)在步驟S1確定對(duì)G像素進(jìn)行內(nèi)插時(shí)，計(jì)算要內(nèi)插的G像素及其周圍像素的圖像信號(hào)的均勻性和傾斜度。為了獲得圖像信號(hào)的均勻性和傾斜度，需要將均勻性和傾斜度變換為數(shù)值形式。數(shù)值數(shù)據(jù)被稱為方向性數(shù)據(jù)。
在該實(shí)施例中，將如圖4A至4H所示的內(nèi)插圖形存儲(chǔ)到內(nèi)插圖形存儲(chǔ)內(nèi)存9內(nèi)，對(duì)于每個(gè)內(nèi)插圖形，根據(jù)下面描述的表達(dá)式，計(jì)算方向性數(shù)據(jù)Gv(x)。結(jié)果，可以獲得其數(shù)量與內(nèi)插圖形的數(shù)量相同的方向性數(shù)據(jù)。方向性數(shù)據(jù)表示與其相應(yīng)內(nèi)插圖形的相似性。當(dāng)方向性數(shù)據(jù)的值小時(shí)，確定G像素(要內(nèi)插的像素)及其周圍像素的圖像信號(hào)的數(shù)據(jù)值的圖形與內(nèi)插圖形類似。
例如，圖4A示出其中低亮度像素排列在向右上方傾斜的線上的內(nèi)插圖形。因此，圖4A所示的內(nèi)插圖形沒有均勻性，而且具有從左向右升高的傾斜度。當(dāng)圖像信號(hào)的數(shù)據(jù)值的圖形與該內(nèi)插圖形類似時(shí)，確定該圖形數(shù)據(jù)出現(xiàn)在向右上方傾斜的線上。因此，方向性數(shù)據(jù)Gv(1)表示要內(nèi)插的像素及其周圍像素的圖像信號(hào)的數(shù)據(jù)值的圖形與內(nèi)插圖形之間的相似性的數(shù)值值，通過(guò)計(jì)算要內(nèi)插的像素的G33與剩余像素G51、G42、G24以及G15的值之間的差值的平均值，可以獲得該方向性數(shù)據(jù)。因此，方向性數(shù)據(jù)Gv(1)被表示為
Gv(1)＝(|G33-G51|+|G33-G42|+|G33-G24|+|G33-G15|)/4當(dāng)要內(nèi)插的像素及其周圍像素的圖像信號(hào)與內(nèi)插圖形匹配時(shí)，所有差值均為0。方向性數(shù)據(jù)Gv(1)的值越小，要內(nèi)插的像素及其周圍像素的圖像信號(hào)的數(shù)據(jù)值的圖形與圖4A所示的內(nèi)插圖形之間的相似性越高。
圖4B示出其中水平排列低亮度像素的內(nèi)插圖形。因此，圖4B所示的內(nèi)插圖形沒有均勻性，而且其傾斜度是水平的。因此，方向性數(shù)據(jù)Gv(2)表示要內(nèi)插的像素及其周圍像素的圖像信號(hào)的數(shù)據(jù)值的圖形與內(nèi)插圖形之間的相似性的數(shù)值值，利用下面的表達(dá)式計(jì)算方向性數(shù)據(jù)Gv(2)Gv(2)＝(|G33-G13|+|G33-G53|)/2方向性數(shù)據(jù)Gv(2)的值越小，要內(nèi)插的像素及其周圍像素的圖像信號(hào)的數(shù)據(jù)值的圖形與圖4B所示的內(nèi)插圖形之間的相似性越高。
圖4C示出其中將低亮度像素排列在向右下方傾斜的線上的內(nèi)插圖形。因此，圖4C所示的內(nèi)插圖形沒有均勻性，而且具有從左向右降低的傾斜度。方向性數(shù)據(jù)Gv(3)表示要內(nèi)插的像素及其周圍像素的圖像信號(hào)的數(shù)據(jù)值的圖形與內(nèi)插圖形之間的相似性的數(shù)值值，利用下面的表達(dá)式計(jì)算方向性數(shù)據(jù)Gv(3)Gv(3)＝(|G33-G11|+|G33-G22|+|G33-G44|+|G33-G55|)/4方向性數(shù)據(jù)Gv(3)的值越小，要內(nèi)插的像素及其周圍像素的圖像信號(hào)的數(shù)據(jù)值的圖形與圖4C所示的內(nèi)插圖形之間的相似性越高。
圖4D示出其中垂直排列低亮度像素的內(nèi)插圖形。因此，圖4D所示的內(nèi)插圖形沒有均勻性，而且其傾斜度是垂直的。因此，方向性數(shù)據(jù)Gv(4)表示要內(nèi)插的像素及其周圍像素的圖像信號(hào)的數(shù)據(jù)值的圖形與內(nèi)插圖形之間的相似性的數(shù)值值，利用下面的表達(dá)式計(jì)算方向性數(shù)據(jù)Gv(4)Gv(4)＝(|G33-G31|+|G33-G35|)/2方向性數(shù)據(jù)Gv(4)的值越小，要內(nèi)插的像素及其周圍像素的圖像信號(hào)的數(shù)據(jù)值的圖形與圖4D所示的內(nèi)插圖形之間的相似性越高。
圖4E示出其中將低亮度像素一起排列在該圖形的左上部分的內(nèi)插圖形。因此，圖4E所示的內(nèi)插圖形具有均勻性(左上部分)和傾斜度(角部)。方向性數(shù)據(jù)Gv(5)表示要內(nèi)插的像素及其周圍像素的圖像信號(hào)的數(shù)據(jù)值的圖形與內(nèi)插圖形之間的相似性的數(shù)值值，利用下面的表達(dá)式計(jì)算方向性數(shù)據(jù)Gv(5)Gv(5)＝(|G33-G11|+|G33-G31|+|G33-G22|+|G33-G13|)/4方向性數(shù)據(jù)Gv(5)的值越小，要內(nèi)插的像素及其周圍像素的圖像信號(hào)的數(shù)據(jù)值的圖形與圖4E所示的內(nèi)插圖形之間的相似性越高。
圖4F示出其中將低亮度像素一起排列在該圖形的右上部分的內(nèi)插圖形。因此，圖4F所示的內(nèi)插圖形具有均勻性(右上部分)和傾斜度(角部)。方向性數(shù)據(jù)Gv(6)表示要內(nèi)插的像素及其周圍像素的圖像信號(hào)的數(shù)據(jù)值的圖形與內(nèi)插圖形之間的相似性的數(shù)值值，利用下面的表達(dá)式計(jì)算方向性數(shù)據(jù)Gv(6)Gv(6)＝(|G33-G31|+|G33-G42|+|G33-G51|+|G33-G53|)/4方向性數(shù)據(jù)Gv(6)的值越小，要內(nèi)插的像素及其周圍像素的圖像信號(hào)的數(shù)據(jù)值的圖形與圖4F所示的內(nèi)插圖形之間的相似性越高。
圖4G示出其中將低亮度像素一起排列在該圖形的左下部分的內(nèi)插圖形。因此，圖4G所示的內(nèi)插圖形具有均勻性(左下部分)和傾斜度(角部)。方向性數(shù)據(jù)Gv(7)表示要內(nèi)插的像素及其周圍像素的圖像信號(hào)的數(shù)據(jù)值的圖形與內(nèi)插圖形之間的相似性的數(shù)值值，利用下面的表達(dá)式計(jì)算方向性數(shù)據(jù)Gv(7)Gv(7)＝(|G33-G13|+|G33-G24|+|G33-G15|+|G33-G35|)/4方向性數(shù)據(jù)Gv(7)的值越小，要內(nèi)插的像素及其周圍像素的圖像信號(hào)的數(shù)據(jù)值的圖形與圖4G所示的內(nèi)插圖形之間的相似性越高。
圖4H示出其中將低亮度像素一起排在該圖形的右下部分的內(nèi)插圖形。因此，圖4H所示的內(nèi)插圖形具有均勻性(右下部分)和傾斜度(角部)。方向性數(shù)據(jù)Gv(8)表示要內(nèi)插的像素及其周圍像素的圖像信號(hào)的數(shù)據(jù)值的圖形與內(nèi)插圖形之間的相似性的數(shù)值值，利用下面的表達(dá)式計(jì)算方向性數(shù)據(jù)Gv(8)Gv(8)＝(|G33-G35|+|G33-G44|+|G33-G53|+|G33-G55|)/4方向性數(shù)據(jù)Gv(8)的值越小，要內(nèi)插的像素及其周圍像素的圖像信號(hào)的數(shù)據(jù)值的圖形與圖4H所示的內(nèi)插圖形之間的相似性越高。
在用于計(jì)算方向性數(shù)據(jù)的上述表達(dá)式中，使用圖像信號(hào)的2個(gè)或者4個(gè)數(shù)據(jù)。在這兩種情況下，數(shù)據(jù)的數(shù)量與內(nèi)插圖形上出現(xiàn)的所有G像素的數(shù)量對(duì)應(yīng)。
具有方向性數(shù)據(jù)值Gv(1)至Gv(8)中最小值的、要內(nèi)插的像素及其周圍像素的圖像信號(hào)的數(shù)據(jù)值的圖形與存儲(chǔ)在內(nèi)插圖形存儲(chǔ)內(nèi)存9內(nèi)的內(nèi)插圖形最相似。將方向性數(shù)據(jù)的()內(nèi)的數(shù)值值稱為內(nèi)插圖形號(hào)。在這種情況下，將內(nèi)插圖形稱為Gn33。
在圖2所示的步驟S3，利用上述方向性數(shù)據(jù)Gv(1)至Gv(8)獲得對(duì)于要內(nèi)插的像素及其周圍像素的圖像信號(hào)具有最小方向性數(shù)據(jù)值的內(nèi)插圖形。
例如，當(dāng)成像圖5A所示水平帶狀圖形(2條帶)以獲得圖5B所示圖像信號(hào)的數(shù)據(jù)值時(shí)，以下獲得Gv(1)至Gv(8)，其中G33是要內(nèi)插的像素，Gv(1)＝(100+100+100+0)/4＝75Gv(2)＝(0+0)/2＝0Gv(3)＝(100+100+100+0)/4＝75Gv(4)＝(100+0)/2＝50Gv(5)＝(100+100+100+0)/4＝75Gv(6)＝(100+100+100+0)/4＝75Gv(7)＝(100+0+0+0)/4＝25Gv(8)＝(100+0+0+0)/4＝25。
在這種情況下，具有最小值的方向性數(shù)據(jù)是Gv(2)，它是內(nèi)插圖形方向性數(shù)據(jù)中的唯一最小值。
接著，在圖2所示步驟S4中，確定是否只有一個(gè)內(nèi)插圖形提供最小方向性數(shù)據(jù)值。當(dāng)只有一個(gè)內(nèi)插圖形(是)時(shí)，該處理過(guò)程到步驟S5。當(dāng)存在兩個(gè)或者更多個(gè)內(nèi)插圖形(否)時(shí)，該處理過(guò)程到步驟S6。
在步驟S5，例如，當(dāng)最小值是Gv(2)時(shí)，可以看出要內(nèi)插的像素及其周圍像素的圖像信號(hào)的數(shù)據(jù)值的圖形與圖4B所示內(nèi)插圖形類似。在這種情況下，內(nèi)插部分8將要內(nèi)插的像素的內(nèi)插圖形(Gn33＝2)存儲(chǔ)到內(nèi)插圖形存儲(chǔ)內(nèi)存9內(nèi)。
在步驟S7，內(nèi)插部分8根據(jù)每個(gè)內(nèi)插圖形進(jìn)行內(nèi)插。通過(guò)內(nèi)插獲得的彩色數(shù)據(jù)被指定為Go、Po或Qo。利用在內(nèi)插圖形存儲(chǔ)內(nèi)存9等內(nèi)事先準(zhǔn)備好的內(nèi)插表達(dá)式，可以計(jì)算彩色數(shù)據(jù)，該內(nèi)插表達(dá)式與彩色數(shù)據(jù)的內(nèi)插圖形對(duì)應(yīng)。
下面將說(shuō)明適合用于對(duì)應(yīng)于Gv(1)至Gv(8)的每個(gè)內(nèi)插圖形的典型內(nèi)插表達(dá)式。
內(nèi)插圖形號(hào)1(Gv(1)是最小的)Go＝(G15+G24×2+G33×2+G42×2+G51)/8Po＝(P14+P34+P32+P52)/4Qo＝(Q23+Q25+Q43+Q41)/4內(nèi)插圖形號(hào)2(Gv(2)是最小的)Go＝(G13+G33×2+G53)/4Po＝(P12+P14+P32×2+P34×2+P52+P54)/8Qo＝(Q23+Q43)/2內(nèi)插圖形號(hào)3(Gv(3)是最小的)Go＝(G11+G22×2+G33×2+G44×2+G55)/8Po＝(P12+P34+P32+P54)/4Qo＝(Q21+Q23+Q43+Q45)/4內(nèi)插圖形號(hào)4(Gv(4)是最小的)Go＝(G31+G33×2+G35)/4Po＝(P32+P34)/2Qo＝(Q21+Q41+Q23×2+Q43×2+Q25+Q45)/8內(nèi)插圖形號(hào)5(Gv(5)是最小的)Go＝(G11+G13+G22+G31+G33×4)/8Po＝(P12+P32)/2Qo＝(Q21+Q23)/2
內(nèi)插圖形號(hào)6(Gv(6)是最小的)Go＝(G31+G42+G53+G51+G33×4)/8Po＝(P32+P52)/2Qo＝(Q41+Q43)/2內(nèi)插圖形號(hào)7(Gv(7)是最小的)Go＝(G13+G15+G24+G35+G33×4)/8Po＝(P14+P34)/2Qo＝(Q23+Q25)/2內(nèi)插圖形號(hào)8(Gv(8)是最小的)Go＝(G35+G44+G53+G55+G33×4)/8Po＝(P34+P54)/2Qo＝(Q43+Q45)/2通過(guò)利用上述表達(dá)式進(jìn)行內(nèi)插，可以計(jì)算彩色數(shù)據(jù)。
在上述內(nèi)插表達(dá)式中，計(jì)算圖像信號(hào)的平均值以獲得Go、Po和Qo。在這種情況下，要均化的像素的數(shù)量是2的乘方。這是因?yàn)槿绻褂?的乘方，則利用移位操作可以簡(jiǎn)化計(jì)算過(guò)程，因此容易構(gòu)造計(jì)算器(硬件)，而且可以提高計(jì)算速度。通過(guò)加權(quán)特定像素(s)，可以進(jìn)行其中數(shù)據(jù)值的數(shù)量是2的乘方的均化過(guò)程，而非進(jìn)行簡(jiǎn)單平均。這是因?yàn)椋酶拷獌?nèi)插的像素的像素的數(shù)據(jù)，可以獲得更精確的數(shù)據(jù)。
下面將說(shuō)明圖2所示步驟S4。并不是始終僅有一個(gè)內(nèi)插圖形具有最小方向性數(shù)據(jù)值。例如，當(dāng)成像如圖5A所示的水平帶狀圖形時(shí)，可以獲得圖像信號(hào)的數(shù)據(jù)值，如圖5B所示。在這種情況下，如果如圖5C所示，G31因?yàn)橹T如噪聲等的波動(dòng)而變成0，則如下計(jì)算Gv(1)至Gv(8)
Gv(1)＝(100+100+100+0)/4＝75Gv(2)＝(0+0)/2＝0Gv(3)＝(100+100+100+0)/4＝75Gv(4)＝(0+0)/2＝0Gv(5)＝(100+100+100+0)/4＝75Gv(6)＝(100+100+100+0)/4＝75Gv(7)＝(100+0+0+0)/4＝25Gv(8)＝(100+0+0+0)/4＝25。
根據(jù)上述計(jì)算結(jié)果，Gv(2)和Gv(4)是最小方向性數(shù)據(jù)值。
因此，如上述計(jì)算結(jié)果所示，利用獲得具有最小方向性數(shù)據(jù)值的內(nèi)插圖形和內(nèi)插圖形號(hào)的方法，有時(shí)會(huì)獲得兩個(gè)或者更多個(gè)內(nèi)插圖形。不能確定將哪個(gè)內(nèi)插圖形用于最佳內(nèi)插表達(dá)式。
在該實(shí)施例中，在圖2所示的步驟S6，當(dāng)存在兩個(gè)或者更多個(gè)具有最小方向性數(shù)據(jù)值的內(nèi)插圖形時(shí)，要考慮到與已經(jīng)確定其最佳內(nèi)插圖形的周圍像素的內(nèi)插圖形相關(guān)。這是因?yàn)?，在圖像中，要內(nèi)插的像素的圖像信號(hào)的數(shù)據(jù)值與其周圍像素的圖像信號(hào)的數(shù)據(jù)值高度相關(guān)。
在圖5C中，從左上像素向右，然后向下，…，即Q01，G11，…，Q41，G51，G02，P12，…，Q45，G55進(jìn)行內(nèi)插。
假定要內(nèi)插的當(dāng)前像素是G33。當(dāng)以上述順序進(jìn)行內(nèi)插時(shí)，已經(jīng)對(duì)像素G13、G22和G31進(jìn)行了內(nèi)插。將其內(nèi)插圖形號(hào)存儲(chǔ)到內(nèi)插圖形存儲(chǔ)內(nèi)存9。
假定圖5C所示的像素G13、G22和G31分別具有存儲(chǔ)的內(nèi)插圖形號(hào)Gn13、Gn22和Gn31。在這種情況下，成像具有圖5A所示2條帶的水平帶狀圖形，顯然，Gn13和Gn22＝2，而Gn314。因此，確定Gv(2)與周圍像素的內(nèi)插圖形相關(guān)。具體地說(shuō)，如果具有最小值的一個(gè)內(nèi)插圖形是周圍像素G的內(nèi)插圖形，則該內(nèi)插圖形是周圍像素G的內(nèi)插圖形之一。在這種情況下，在步驟S7，執(zhí)行“對(duì)應(yīng)于圖形的內(nèi)插”。具體地說(shuō)，確定最佳內(nèi)插圖形號(hào)G33是2，而將適合用于Gv(2)的內(nèi)插圖形的內(nèi)插表達(dá)式進(jìn)行內(nèi)插。
因此，即使噪聲的波動(dòng)使圖5B所示的數(shù)據(jù)轉(zhuǎn)變?yōu)閳D5C所示的數(shù)據(jù)，但是仍可以對(duì)像素G33進(jìn)行內(nèi)插，以精確計(jì)算彩色數(shù)據(jù)，而不受噪聲的干擾。
然而，對(duì)于圖5D所示的圖像，方向性數(shù)據(jù)Gv(1)至Gv(8)均具有同樣的值，而且與周圍像素的內(nèi)插圖形不相關(guān)。在這種情況下，在步驟S6，確定不能確定內(nèi)插圖形具有最小值。換句話說(shuō)，如果不存在“最小內(nèi)插圖形＝周圍像素G的內(nèi)插圖形”，則確定“內(nèi)插圖形＝不能確定”。當(dāng)被確定為“不能確定”時(shí)，在步驟S7，進(jìn)行“對(duì)應(yīng)于圖形的內(nèi)插”。具體地說(shuō)，為了對(duì)應(yīng)于“不能確定”的情況事先在內(nèi)插圖形存儲(chǔ)內(nèi)存9內(nèi)準(zhǔn)備好的內(nèi)插表達(dá)式用于進(jìn)行內(nèi)插。
以下將說(shuō)明用于“不能確定”情況的典型內(nèi)插表達(dá)式。
“不能確定”Go＝(G22+G24+G42+G44+G33×4)/8Po＝(P32+P34)/2Qo＝(Q23+Q43)/2將這樣獲得的內(nèi)插圖形號(hào)或表示“不能確定”的編號(hào)作為Gn33存儲(chǔ)到內(nèi)插圖形存儲(chǔ)內(nèi)存9，而且在內(nèi)插周圍像素時(shí)，可以利用它驗(yàn)證內(nèi)插圖形的相關(guān)性。
利用步驟S1至S7，可以對(duì)G信號(hào)，實(shí)現(xiàn)最佳內(nèi)插，G信號(hào)是主要對(duì)亮度起作用的圖像信號(hào)。
接著，將說(shuō)明R像素和B像素的內(nèi)插過(guò)程。
請(qǐng)注意，當(dāng)R像素是要內(nèi)插的像素時(shí)B像素的排列與當(dāng)B像素是要內(nèi)插的像素時(shí)R像素的排列相同。因此，下面對(duì)要內(nèi)插的像素指定P，而對(duì)G像素之外的其他像素指定Q。
為了獲得適合P像素和Q像素的內(nèi)插圖形，在圖2所示步驟S8驗(yàn)證對(duì)周圍像素G獲得的內(nèi)插圖形的相關(guān)性。
通常，分辨率在邊緣部分發(fā)生變化。特別是亮度(＝黑色和白色)變化顯著，而彩色信號(hào)的變化不非常明顯。因此，在邊緣部分，僅處理對(duì)亮度起作用的G像素?cái)?shù)據(jù)。如果內(nèi)插R像素或B像素，則在其他情況下是黑色的部分會(huì)具有彩色信號(hào)。因此，當(dāng)內(nèi)插R像素和B像素(P像素和Q像素)時(shí)，需要內(nèi)插G像素的內(nèi)插圖形與其周圍像素的內(nèi)插圖形的相關(guān)性。
在該實(shí)施例中，在圖2所示步驟S8，當(dāng)圍繞要內(nèi)插的P像素的各G像素的內(nèi)插圖形號(hào)相同時(shí)，將對(duì)應(yīng)于周圍像素G的內(nèi)插圖形的號(hào)用作要內(nèi)插的P像素的最佳內(nèi)插圖形。
在步驟S8，周圍像素G的內(nèi)插圖形號(hào)相同時(shí)，在步驟S14，選擇周圍像素G的內(nèi)插圖形作為要內(nèi)插的P像素的內(nèi)插圖形。例如，假定要內(nèi)插的P像素的內(nèi)插圖形號(hào)是Pn33。當(dāng)從左上像素向右，然后向下，進(jìn)行內(nèi)插時(shí)，Gn32和Gn23用作周圍像素G的內(nèi)插圖形號(hào)。在步驟S8，如果Gn23＝Gn32，則在圖2所示步驟S14，設(shè)置內(nèi)插圖形號(hào)Pn33等于Gn23。
接著，在圖2所示步驟S8，當(dāng)圍繞要內(nèi)插的P像素的G信號(hào)的內(nèi)插圖形號(hào)不同時(shí)(否)，計(jì)算數(shù)值方向性數(shù)據(jù)，以獲得要內(nèi)插的P像素及其周圍像素的圖像信號(hào)的均勻性和傾斜度。
在該實(shí)施例中，在內(nèi)插圖形存儲(chǔ)內(nèi)存9內(nèi)準(zhǔn)備好如圖6A至6H所示的內(nèi)插圖形。對(duì)于每個(gè)內(nèi)插圖形，利用下面的表達(dá)式計(jì)算方向性數(shù)據(jù)Pv(x)。
因此，計(jì)算其數(shù)值值與內(nèi)插圖形的數(shù)值值相同的方向性數(shù)據(jù)值。這些方向性數(shù)據(jù)值分別表示與其相應(yīng)內(nèi)插圖形的相似性。當(dāng)方向性數(shù)據(jù)的數(shù)值值小時(shí)，確定要內(nèi)插的G像素及其周圍像素的圖像信號(hào)的數(shù)據(jù)值的圖形與內(nèi)插圖形類似。在內(nèi)插P像素的過(guò)程中，要考慮到與其周圍像素G的相關(guān)性。因此，準(zhǔn)備好與對(duì)G像素準(zhǔn)備的內(nèi)插圖形類似的圖形作為內(nèi)插圖形。同樣，建立內(nèi)插圖形號(hào)。
例如，與圖4A類似，圖6A示出其中低亮度像素排列在向右上方傾斜的線上的內(nèi)插圖形。因此，圖6A所示的內(nèi)插圖形沒有均勻性，而且具有從左向右升高的傾斜度。當(dāng)圖像信號(hào)的數(shù)據(jù)值的圖形與該內(nèi)插圖形類似時(shí)，確定該圖形數(shù)據(jù)出現(xiàn)在向右上方傾斜的線上。因此，方向性數(shù)據(jù)Pv(1)表示要內(nèi)插的像素及其周圍像素的圖像信號(hào)的數(shù)據(jù)值的圖形與內(nèi)插圖形之間的相似性的數(shù)值值，通過(guò)計(jì)算要內(nèi)插的像素的P33與剩余像素P51和P15的值之間的差值的平均值，可以獲得該方向性數(shù)據(jù)。因此，方向性數(shù)據(jù)Pv(1)被表示為Pv(1)＝(|P33-P51|+|P33-P15|)/2當(dāng)要內(nèi)插的像素及其周圍像素的圖像信號(hào)與內(nèi)插圖形匹配時(shí)，所有差值均為0。方向性數(shù)據(jù)Pv(1)的值越小，要內(nèi)插的像素及其周圍像素的圖像信號(hào)的數(shù)據(jù)值的圖形與圖6A所示的內(nèi)插圖形之間的相似性越高。
與圖4B類似，圖6B示出其中水平排列低亮度像素的內(nèi)插圖形。因此，圖6B所示的內(nèi)插圖形沒有均勻性，而且其傾斜度是水平的。因此，方向性數(shù)據(jù)Pv(2)表示要內(nèi)插的像素及其周圍像素的圖像信號(hào)的數(shù)據(jù)值的圖形與內(nèi)插圖形之間的相似性的數(shù)值值，利用下面的表達(dá)式計(jì)算方向性數(shù)據(jù)Pv(2)Pv(2)＝(|P33-P13|+|P33-P53|)/2方向性數(shù)據(jù)Pv(2)的值越小，要內(nèi)插的像素及其周圍像素的圖像信號(hào)的數(shù)據(jù)值的圖形與圖6B所示的內(nèi)插圖形之間的相似性越高。
與圖4C類似，圖6C示出其中將低亮度像素排列在向右下方傾斜的線上的內(nèi)插圖形。因此，圖6C所示的內(nèi)插圖形沒有均勻性，而且具有從左向右降低的傾斜度。方向性數(shù)據(jù)Pv(3)表示要內(nèi)插的像素及其周圍像素的圖像信號(hào)的數(shù)據(jù)值的圖形與內(nèi)插圖形之間的相似性的數(shù)值值，利用下面的表達(dá)式計(jì)算方向性數(shù)據(jù)Pv(3)Pv(3)＝(|P33-P11|+|P33-P55|)/2方向性數(shù)據(jù)Pv(3)的值越小，要內(nèi)插的像素及其周圍像素的圖像信號(hào)的數(shù)據(jù)值的圖形與圖6C所示的內(nèi)插圖形之間的相似性越高。
與圖4D類似，圖6D示出其中垂直排列低亮度像素的內(nèi)插圖形。因此，圖6D所示的內(nèi)插圖形沒有均勻性，而且其傾斜度是垂直的。因此，方向性數(shù)據(jù)Pv(4)表示要內(nèi)插的像素及其周圍像素的圖像信號(hào)的數(shù)據(jù)值的圖形與內(nèi)插圖形之間的相似性的數(shù)值值，利用下面的表達(dá)式計(jì)算方向性數(shù)據(jù)Pv(4)Pv(4)＝(|P33-P31|+|P33-P35|)/2方向性數(shù)據(jù)Pv(4)的值越小，要內(nèi)插的像素及其周圍像素的圖像信號(hào)的數(shù)據(jù)值的圖形與圖6D所示的內(nèi)插圖形之間的相似性越高。
與圖4E類似，圖6E示出其中將低亮度像素一起排列在該圖形的左上部分的內(nèi)插圖形。因此，圖6E所示的內(nèi)插圖形具有均勻性(左上部分)和傾斜度(角部)。方向性數(shù)據(jù)Pv(5)表示要內(nèi)插的像素及其周圍像素的圖像信號(hào)的數(shù)據(jù)值的圖形與內(nèi)插圖形之間的相似性的數(shù)值值，利用下面的表達(dá)式計(jì)算方向性數(shù)據(jù)Pv(5)Pv(5)＝(|P33-P11|+|P33-P31|+|P33-P13|)/3方向性數(shù)據(jù)Pv(5)的值越小，要內(nèi)插的像素及其周圍像素的圖像信號(hào)的數(shù)據(jù)值的圖形與圖6E所示的內(nèi)插圖形之間的相似性越高。
與圖4F類似，圖6F示出其中將低亮度像素一起排列在該圖形的右上部分的內(nèi)插圖形。因此，圖6F所示的內(nèi)插圖形具有均勻性(右上部分)和傾斜度(角部)。方向性數(shù)據(jù)Pv(6)表示要內(nèi)插的像素及其周圍像素的圖像信號(hào)的數(shù)據(jù)值的圖形與內(nèi)插圖形之間的相似性的數(shù)值值，利用下面的表達(dá)式計(jì)算方向性數(shù)據(jù)Pv(6)Pv(6)＝(|P33-P31|+|P33-P51|+|P33-P53|)/3方向性數(shù)據(jù)Pv(6)的值越小，要內(nèi)插的像素及其周圍像素的圖像信號(hào)的數(shù)據(jù)值的圖形與圖6F所示的內(nèi)插圖形之間的相似性越高。
與圖4G類似，圖6G示出其中將低亮度像素一起排列在該圖形的左下部分的內(nèi)插圖形。因此，圖6G所示的內(nèi)插圖形具有均勻性(左下部分)和傾斜度(角部)。方向性數(shù)據(jù)Pv(7)表示要內(nèi)插的像素及其周圍像素的圖像信號(hào)的數(shù)據(jù)值的圖形與內(nèi)插圖形之間的相似性的數(shù)值值，利用下面的表達(dá)式計(jì)算方向性數(shù)據(jù)Pv(7)Pv(7)＝(|P33-P13|+|P33-P15|+|P33-P35|)/3方向性數(shù)據(jù)Pv(7)的值越小，要內(nèi)插的像素及其周圍像素的圖像信號(hào)的數(shù)據(jù)值的圖形與圖6G所示的內(nèi)插圖形之間的相似性越高。
與圖4H類似，圖6H示出其中將低亮度像素一起排列在該圖形的右下部分的內(nèi)插圖形。因此，圖6H所示的內(nèi)插圖形具有均勻性(右下部分)和傾斜度(角部)。方向性數(shù)據(jù)Pv(8)表示要內(nèi)插的像素及其周圍像素的圖像信號(hào)的數(shù)據(jù)值的圖形與內(nèi)插圖形之間的相似性的數(shù)值值，利用下面的表達(dá)式計(jì)算方向性數(shù)據(jù)Pv(8)Pv(8)＝(|P33-P35|+|P33-P53|+|P33-P55|)/3方向性數(shù)據(jù)Pv(8)的值越小，要內(nèi)插的像素及其周圍像素的圖像信號(hào)的數(shù)據(jù)值的圖形與圖6H所示的內(nèi)插圖形之間的相似性越高。
在用于計(jì)算方向性數(shù)據(jù)的上述表達(dá)式中，使用圖像信號(hào)的2個(gè)或者3個(gè)數(shù)據(jù)。在這兩種情況下，數(shù)據(jù)的數(shù)量與內(nèi)插圖形上出現(xiàn)的所有P像素的數(shù)量對(duì)應(yīng)。
具有方向性數(shù)據(jù)值Pv(1)至Pv(8)中最小值的、要內(nèi)插的像素及其周圍像素的圖像信號(hào)的數(shù)據(jù)值的圖形與存儲(chǔ)在內(nèi)插圖形存儲(chǔ)內(nèi)存9內(nèi)的內(nèi)插圖形最相似。將方向性數(shù)據(jù)的()內(nèi)的數(shù)值值稱為內(nèi)插圖形號(hào)。在這種情況下，將內(nèi)插圖形稱為Pn33。
在圖2所示的步驟S10，利用上述方向性數(shù)據(jù)Gv(1)至Gv(8)獲得對(duì)于要內(nèi)插的像素及其周圍像素的圖像信號(hào)具有最小方向性數(shù)據(jù)值的內(nèi)插圖形。
接著，在圖2所示步驟S11，確定是否只有一個(gè)內(nèi)插圖形提供最小方向性數(shù)據(jù)值。當(dāng)只有一個(gè)內(nèi)插圖形(是)時(shí)，該處理過(guò)程到步驟S12。當(dāng)存在兩個(gè)或者更多個(gè)內(nèi)插圖形(否)時(shí)，該處理過(guò)程到步驟S13。
在圖2所示步驟S12，由于在步驟S11確定只有一個(gè)內(nèi)插圖形具有最小方向性數(shù)據(jù)值，所以將該內(nèi)插圖形號(hào)存儲(chǔ)到內(nèi)插圖形存儲(chǔ)內(nèi)存9內(nèi)，作為要內(nèi)插的像素的內(nèi)插圖形號(hào)Pn33。
在圖2所示步驟S12，當(dāng)存在兩個(gè)或者更多個(gè)內(nèi)插圖形具有最小方向性數(shù)據(jù)值時(shí)，在步驟S13，要考慮與已經(jīng)確定其最佳內(nèi)插圖形的周圍像素的內(nèi)插圖形的相關(guān)性。現(xiàn)在，假定從左上像素向右，然后向下進(jìn)行內(nèi)插。還假定要內(nèi)插的當(dāng)前像素是P33。還假定像素G23和G32已經(jīng)被內(nèi)插，而且將其相應(yīng)內(nèi)插圖形號(hào)Gn23和Gn32存儲(chǔ)到內(nèi)插圖形存儲(chǔ)內(nèi)存9內(nèi)。當(dāng)內(nèi)插圖形號(hào)Gn23和Gn32與具有最小方向性數(shù)據(jù)值Pv(x)的一個(gè)或者多個(gè)內(nèi)插圖形匹配時(shí)，將該內(nèi)插圖形號(hào)存儲(chǔ)到內(nèi)插圖形存儲(chǔ)內(nèi)存9內(nèi)作為Pn33。為什么考慮G像素，而不考慮P信號(hào)和Q像素的原因是G像素比P像素和Q像素更適合圖形檢測(cè)。
當(dāng)具有最小方向性數(shù)據(jù)值的兩個(gè)或者更多個(gè)內(nèi)插圖形均不與周圍像素的任何內(nèi)插圖形匹配時(shí)，在步驟S13，確定不能確定內(nèi)插圖形。在這種情況下，利用事先存儲(chǔ)在內(nèi)插圖形存儲(chǔ)內(nèi)存9內(nèi)的、對(duì)應(yīng)于“不能確定”情況的內(nèi)插表達(dá)式，進(jìn)行內(nèi)插。
在圖2所示步驟S15，進(jìn)行對(duì)應(yīng)于每個(gè)內(nèi)插圖形的內(nèi)。通過(guò)內(nèi)插獲得的彩色數(shù)據(jù)指定為Go、Po或Qo。利用在內(nèi)插圖形存儲(chǔ)內(nèi)存9等內(nèi)事先準(zhǔn)備好的內(nèi)插表達(dá)式，可以計(jì)算彩色數(shù)據(jù)，該內(nèi)插表達(dá)式與彩色數(shù)據(jù)的內(nèi)插圖形對(duì)應(yīng)。
下面將說(shuō)明適合用于對(duì)應(yīng)于Pv(1)至Pv(8)的每個(gè)內(nèi)插圖形的典型內(nèi)插表達(dá)式。
內(nèi)插圖形號(hào)1(Pv(1)是最小的)Go＝(G14+G25+G23×2+G34×2+G32×2+G43×2+G41+G52)/12Po＝(P15+P33×2+P51)/4Qo＝(Q42+Q24)/2
內(nèi)插圖形號(hào)2(Pv(2)是最小的)Go＝(G23+G43)/2Po＝(P13+P33×2+P53)/4Qo＝(Q22+Q24+Q42+Q44)/4內(nèi)插圖形號(hào)3(Pv(3)是最小的)Go＝(G12+G21+G23×2+G32×2+G34×2+G43×2+G45+G54)/12Po＝(P11+P33×2+P55)/4Qo＝(Q22+Q44)/2內(nèi)插圖形號(hào)4(Pv(4)是最小的)Go＝(G32+G34)/2Po＝(P31+P33×2+P35)/4Qo＝(Q22+Q24+Q42+Q44)/4內(nèi)插圖形號(hào)5(Pv(5)是最小的)Go＝(G12+G21+G23×2+G32×2)/6Po＝(P11+P13+P31+P33×3)/6Qo＝Q22內(nèi)插圖形號(hào)6(Pv(6)是最小的)Go＝(G41+G52+G32×2+G43×2)/6Po＝(P31+P51+P53+P33×3)/6Qo＝Q42內(nèi)插圖形號(hào)7(Pv(7)是最小的)Go＝(G14+G25+G23×2+G34×2)/6Po＝(P15+P35+P13+P33×3)/6Qo＝Q24
內(nèi)插圖形號(hào)8(Pv(8)是最小的)Go＝(G54+G45+G34×2+G43×2)/6Po＝(P55+P35+P53+P33×3)/6Qo＝Q44當(dāng)“不能確定”時(shí)Go＝(G23+G32+G34+G43)/4Po＝P33Qo＝(Q22+Q24+Q42+Q44)/4通過(guò)利用上述表達(dá)式進(jìn)行內(nèi)插，可以計(jì)算彩色數(shù)據(jù)。
如上所述，G信號(hào)是主要對(duì)亮度起作用的圖像信號(hào)，R和B信號(hào)是不對(duì)亮度起作用的圖像信號(hào)，可以對(duì)G信號(hào)以及R信號(hào)和B信號(hào)實(shí)現(xiàn)最佳內(nèi)插。
將這樣獲得的內(nèi)插圖形號(hào)或表示“不能確定”的編號(hào)存儲(chǔ)到內(nèi)插圖形存儲(chǔ)內(nèi)存9。內(nèi)插之后，當(dāng)利用圖像信號(hào)處理部分10處理數(shù)字圖像信號(hào)時(shí)，通過(guò)根據(jù)相應(yīng)內(nèi)插圖形處理信號(hào)，可以進(jìn)行信號(hào)處理。
下面將簡(jiǎn)要說(shuō)明典型圖像信號(hào)處理過(guò)程，其中存儲(chǔ)在內(nèi)插圖形存儲(chǔ)內(nèi)存9內(nèi)的內(nèi)插圖形號(hào)用于對(duì)圖7A所示的圖像圖形進(jìn)行邊緣加重處理。
圖7B是示出圖7A所示圖像的圖像信號(hào)的值的示意圖，其中白色部分分別具有值100，而黑色部分分別具有值40。在典型邊緣加重處理過(guò)程中，使圖像信號(hào)通過(guò)圖7C所示的所謂拉普拉斯濾波器，此后，使獲得的值與原始信號(hào)相加。
圖7D是示出邊緣加重處理的結(jié)果的示意圖。具體地說(shuō)，使圖7B所示的圖像(數(shù)據(jù))通過(guò)圖7C所示濾波器。使獲得的每個(gè)值分別乘以1/8，然后，使它與原始信號(hào)相加。
圖7E是示出在圖7D內(nèi)水平排列的像素G13、Q13、G33、Q43和G53的數(shù)值值的示意圖。圖7F是示出從圖7D的左上角傾斜排列的像素G11、G22、G33、G44和G55的數(shù)值值的示意圖。
根據(jù)圖7E，利用上述方法對(duì)該信號(hào)的邊緣進(jìn)行加重處理。然而，根據(jù)圖7F，對(duì)像素G33的信號(hào)進(jìn)行加重處理以進(jìn)一步變負(fù)，而不對(duì)像素G22的信號(hào)進(jìn)行加重處理。
在該實(shí)施例中，將每個(gè)像素的內(nèi)插圖形號(hào)存儲(chǔ)到內(nèi)插圖形存儲(chǔ)內(nèi)存9內(nèi)。例如，對(duì)于圖7A所示圖像，將圖4A所示內(nèi)插圖形號(hào)存儲(chǔ)到內(nèi)插圖形存儲(chǔ)內(nèi)存9內(nèi)。
作為對(duì)應(yīng)于圖4A所示內(nèi)插圖形的濾波器，可以采用圖7G所示濾波器。使像素G22的數(shù)據(jù)通過(guò)圖7G所示濾波器。使獲得的每個(gè)值分別乘以1/4，然后，使它與原始信號(hào)相加。圖7H示出獲得的數(shù)值值，從圖7H可以明顯看出，利用內(nèi)插圖形進(jìn)行邊緣加重處理。同樣，還可以將對(duì)應(yīng)于內(nèi)插圖形的濾波器用于對(duì)應(yīng)于內(nèi)插圖形的其他數(shù)字信號(hào)處理過(guò)程，例如偽彩色信號(hào)處理過(guò)程等。
根據(jù)該實(shí)施例，在內(nèi)插圖形存儲(chǔ)內(nèi)存9內(nèi)準(zhǔn)備多個(gè)內(nèi)插圖形。根據(jù)要內(nèi)插的像素及其周圍像素的圖像信號(hào)的均勻性和傾斜度，內(nèi)插部分8獲得與要內(nèi)插的像素及其周圍像素的圖像信號(hào)的數(shù)據(jù)值的圖形類似的內(nèi)插圖形。假定要內(nèi)插的像素位于所獲得的內(nèi)插圖形內(nèi)，對(duì)應(yīng)于該內(nèi)插圖形的表達(dá)式用于進(jìn)行內(nèi)插。結(jié)果，可以考慮到圖像信號(hào)的均勻性和傾斜度進(jìn)行內(nèi)插。因此，可以防止傳統(tǒng)內(nèi)插技術(shù)產(chǎn)生的圖像失真，而不考慮噪聲的干擾。
在該實(shí)施例中，使用了8個(gè)內(nèi)插圖形(如果包括“不能確定”的情況是9個(gè)內(nèi)插圖形)。然而，可以改變圖形的數(shù)量，以便例如減小內(nèi)插圖形存儲(chǔ)內(nèi)存9等的電路規(guī)模。例如，本發(fā)明進(jìn)行了試驗(yàn)。結(jié)果，在上述8個(gè)內(nèi)插圖形中，圖4A和6A所示的水平圖形、圖4B和6B所示的垂直圖形、圖4C和6C所示的向下向右傾斜圖形以及圖4D和6D所示的向上向右傾斜圖形占據(jù)了大多數(shù)情況(約90％)?？紤]到成本性能，可以僅利用這4個(gè)內(nèi)插圖形表示圖像信號(hào)的均勻性和傾斜度。例如，在使用一維圖像的系統(tǒng)，例如條形碼閱讀器等中，僅需要使用圖4D和6D所示的內(nèi)插圖形。作為一種選擇，在具有足夠大電路規(guī)?；蚬ぷ餍阅艿南到y(tǒng)中，可以增加行存儲(chǔ)器7，以增加內(nèi)插圖形的數(shù)量。在這種情況下，圖形更精確，因此，可以改善內(nèi)插。
在該實(shí)施例中，根據(jù)內(nèi)插圖形，進(jìn)行內(nèi)插。因此，使用簡(jiǎn)單表達(dá)式。在本發(fā)明中，根據(jù)圖像信號(hào)的均勻性和傾斜度，獲得與要內(nèi)插的像素及其周圍像素的圖形相似的內(nèi)插圖形。進(jìn)行對(duì)應(yīng)于內(nèi)插圖形的內(nèi)插。對(duì)于每個(gè)內(nèi)插圖形，可以正確提供用于計(jì)算內(nèi)插的最佳方法。
在本發(fā)明中，根據(jù)要內(nèi)插的像素及其周圍像素的均勻性和傾斜度，獲得最佳內(nèi)插圖形。利用該內(nèi)插圖形和周圍像素的內(nèi)插圖形確定內(nèi)插方法。因此，在本發(fā)明范圍內(nèi)，可以對(duì)內(nèi)插圖形、內(nèi)插圖形的數(shù)量、內(nèi)插圖形號(hào)、內(nèi)插計(jì)算方法、使用要內(nèi)插的像素的內(nèi)插圖形的方法、使用周圍像素的內(nèi)插圖形的方法以及利用內(nèi)插圖形進(jìn)行內(nèi)插后的數(shù)字圖像信號(hào)處理過(guò)程進(jìn)行適當(dāng)修改。
如上所述，根據(jù)本發(fā)明的數(shù)據(jù)處理設(shè)備處理固體攝像元件獲得的圖像信號(hào)，該固體攝像元件分離設(shè)置多種類型的濾色器(RGB等)。當(dāng)利用該設(shè)備進(jìn)行內(nèi)插時(shí)，根據(jù)要內(nèi)插的像素及其周圍像素的圖像信號(hào)的均勻性和傾斜度，獲得與要內(nèi)插的像素及其周圍像素的圖形類似的內(nèi)插圖形。執(zhí)行對(duì)應(yīng)于內(nèi)插圖形的內(nèi)插過(guò)程。這樣，由于考慮到圖像信號(hào)的均勻性和傾斜度進(jìn)行內(nèi)插，所以可以防止出現(xiàn)傳統(tǒng)內(nèi)插技術(shù)中發(fā)生的圖像失真。此外，即使存在不是圖像的信號(hào)，例如噪聲等，仍可以表示令人滿意的邊緣，同時(shí)可以防止出現(xiàn)在第7-59098號(hào)日本專利公報(bào)中出現(xiàn)的圖像信號(hào)波動(dòng)，因此可以防止分辨率惡化。
此外，在內(nèi)插之后，根據(jù)內(nèi)插圖形，可以進(jìn)行數(shù)字圖像信號(hào)處理，例如邊緣加重處理、偽彩色信號(hào)抑制處理等，該內(nèi)插圖形是根據(jù)要內(nèi)插的像素及其周圍像素的圖像信號(hào)的均勻性和傾斜度獲得的。因此，可以產(chǎn)生令人滿意的圖像信號(hào)。
在不脫離本發(fā)明的精神與主旨的實(shí)質(zhì)范圍內(nèi)，對(duì)于本技術(shù)領(lǐng)域內(nèi)的熟練技術(shù)人員各種其他修改是顯而易見的，而且他們可以容易地進(jìn)行各種修改。因此，無(wú)意使在此所附權(quán)利要求所限定的范圍局限于上面的描述，而應(yīng)該廣泛理解權(quán)利要求的意義。
權(quán)利要求
1.一種用于處理固體攝像元件獲得的圖像信號(hào)的數(shù)據(jù)處理設(shè)備，在該固體攝像元件內(nèi)，在各像素上分離設(shè)置多種類型的濾色器，而要內(nèi)插的像素及其周圍像素具有圖像信號(hào)，該設(shè)備包括內(nèi)插部分，通過(guò)至少利用要內(nèi)插的像素及其周圍像素的圖像信號(hào)中的周圍像素的圖像信號(hào)進(jìn)行內(nèi)插，產(chǎn)生每個(gè)像素的圖像信號(hào)內(nèi)的丟失彩色信號(hào)，其中根據(jù)要內(nèi)插的像素及其周圍像素的圖像信號(hào)的均勻性和傾斜度，內(nèi)插部分至少獲得一個(gè)與要內(nèi)插的像素及其周圍像素的數(shù)據(jù)值的圖形類似的內(nèi)插圖形，然后，根據(jù)該至少一個(gè)內(nèi)插圖形，進(jìn)行內(nèi)插。
2.根據(jù)權(quán)利要求1所述的數(shù)據(jù)處理設(shè)備，該數(shù)據(jù)處理設(shè)備進(jìn)一步包括內(nèi)插圖形存儲(chǔ)部分，用于存儲(chǔ)多個(gè)表示圖像信號(hào)的均勻性和傾斜度的內(nèi)插圖形，其中根據(jù)要內(nèi)插的像素及其周圍像素的圖像信號(hào)的均勻性和傾斜度，內(nèi)插部分從內(nèi)插圖形存儲(chǔ)部分內(nèi)的多個(gè)內(nèi)插圖形中選擇與要內(nèi)插的像素及其周圍像素的數(shù)據(jù)值的圖形類似的內(nèi)插圖形，然后，根據(jù)選擇的內(nèi)插圖形進(jìn)行內(nèi)插。
3.根據(jù)權(quán)利要求2所述的數(shù)據(jù)處理設(shè)備，其中對(duì)存儲(chǔ)在內(nèi)插圖形存儲(chǔ)部分內(nèi)的多個(gè)內(nèi)插圖形分別提供識(shí)別信息，以及內(nèi)插部分將選擇的內(nèi)插圖形的識(shí)別信息存儲(chǔ)到內(nèi)插圖形存儲(chǔ)部分內(nèi)。
4.根據(jù)權(quán)利要求1所述的數(shù)據(jù)處理設(shè)備，其中內(nèi)插部分計(jì)算表示至少一個(gè)內(nèi)插圖形中的每個(gè)內(nèi)插圖形與要內(nèi)插的像素及其周圍像素的數(shù)據(jù)值的圖形的相似性的方向性數(shù)據(jù)，并選擇其中方向性數(shù)據(jù)是最小的內(nèi)插圖形。
5.根據(jù)權(quán)利要求1所述的數(shù)據(jù)處理設(shè)備，其中根據(jù)要內(nèi)插的像素是主要對(duì)亮度起作用的像素，還是不是主要對(duì)亮度起作用的像素，內(nèi)插部分選擇至少一個(gè)內(nèi)插圖形之一，然后，根據(jù)選擇的內(nèi)插圖形進(jìn)行內(nèi)插。
6.根據(jù)權(quán)利要求2所述的數(shù)據(jù)處理設(shè)備，其中當(dāng)要內(nèi)插的像素是主要對(duì)亮度起作用的像素時(shí)，至少使用存儲(chǔ)在內(nèi)插圖形存儲(chǔ)部分內(nèi)的多個(gè)內(nèi)插圖形之一，而當(dāng)要內(nèi)插的像素不是主要對(duì)亮度起作用的像素上，至少使用存儲(chǔ)在內(nèi)插圖形存儲(chǔ)部分內(nèi)的多個(gè)內(nèi)插圖形之一。
7.根據(jù)權(quán)利要求2所述的數(shù)據(jù)處理設(shè)備，其中內(nèi)插圖形存儲(chǔ)部分存儲(chǔ)其中水平排列具有規(guī)定值的像素的圖形；其中垂直排列具有規(guī)定值的像素的圖形；其中向右上方向傾斜排列具有規(guī)定值的像素的圖形；其中向右下方向傾斜排列具有規(guī)定值的像素的圖形；其中具有規(guī)定值的像素一起排列在左上角部分的圖形；其中具有規(guī)定值的像素一起排列在右上角部分的圖形；其中具有規(guī)定值的像素一起排列在左下角部分的圖形；以及其中具有規(guī)定值的像素一起排列在右下角部分的圖形，作為多個(gè)內(nèi)插圖形。
8.根據(jù)權(quán)利要求2所述的數(shù)據(jù)處理設(shè)備，其中當(dāng)存儲(chǔ)在內(nèi)插圖形存儲(chǔ)部分內(nèi)的多個(gè)內(nèi)插圖形均不與要內(nèi)插的像素及其周圍像素的圖像信號(hào)的數(shù)據(jù)值的圖形類似時(shí)，根據(jù)規(guī)定的表達(dá)式，內(nèi)插部分進(jìn)行內(nèi)插。
9.根據(jù)權(quán)利要求2所述的數(shù)據(jù)處理設(shè)備，其中當(dāng)存儲(chǔ)在內(nèi)插圖形存儲(chǔ)部分內(nèi)的多個(gè)內(nèi)插圖形中的兩個(gè)或者更多個(gè)內(nèi)插圖形與要內(nèi)插的像素及其周圍像素的圖像信號(hào)的數(shù)據(jù)值的圖形類似時(shí)，根據(jù)對(duì)一個(gè)或者多個(gè)周圍像素選擇的內(nèi)插圖形，內(nèi)插部分選擇兩個(gè)或者更多個(gè)內(nèi)插圖形之一。
10.根據(jù)權(quán)利要求1所述的數(shù)據(jù)處理設(shè)備，其中根據(jù)對(duì)應(yīng)于獲得的內(nèi)插圖形的表達(dá)式，內(nèi)插部分進(jìn)行內(nèi)插。
11.一種圖像處理設(shè)備，該圖像處理設(shè)備包括根據(jù)權(quán)利要求1所述的數(shù)據(jù)處理設(shè)備；以及圖像處理部分，根據(jù)該數(shù)據(jù)處理設(shè)備獲得的內(nèi)插圖形，進(jìn)行圖像處理。
12.一種相機(jī)，該相機(jī)包括根據(jù)權(quán)利要求11所述的圖像處理設(shè)備，其中相機(jī)從固體攝像元件接收?qǐng)D像信號(hào)，然后，進(jìn)行內(nèi)插和圖像處理，以獲得相機(jī)的圖像數(shù)據(jù)。
13.一種用于處理從固體攝像元件獲得的圖像信號(hào)的數(shù)據(jù)處理方法，在該固體攝像元件內(nèi)，在各像素上分離設(shè)置多種類型的濾色器，而要內(nèi)插的像素及其周圍像素具有圖像信號(hào)，該方法包括步驟根據(jù)要內(nèi)插的像素及其周圍像素的圖像信號(hào)的均勻性和傾斜度，獲得與要內(nèi)插的像素及其周圍像素的數(shù)據(jù)值的圖形類似的內(nèi)插圖形；以及根據(jù)該內(nèi)插圖形，進(jìn)行內(nèi)插，以產(chǎn)生要內(nèi)插的像素的圖像信號(hào)內(nèi)的丟失彩色信號(hào)。
全文摘要
本發(fā)明提供了一種用于處理固體攝像元件獲得的圖像信號(hào)的數(shù)據(jù)處理設(shè)備，在該固體攝像元件內(nèi)，在各像素上分離設(shè)置多種類型的濾色器，而要內(nèi)插的像素及其周圍像素具有圖像信號(hào)。該設(shè)備包括內(nèi)插部分，通過(guò)至少利用要內(nèi)插的像素及其周圍像素的圖像信號(hào)中的周圍像素的圖像信號(hào)進(jìn)行內(nèi)插，產(chǎn)生每個(gè)像素的圖像信號(hào)內(nèi)的丟失彩色信號(hào)。根據(jù)要內(nèi)插的像素及其周圍像素的圖像信號(hào)的均勻性和傾斜度，內(nèi)插部分獲得與要內(nèi)插的像素及其周圍像素的數(shù)據(jù)值的圖形類似的內(nèi)插圖形，然后，根據(jù)該內(nèi)插圖形，進(jìn)行內(nèi)插。
文檔編號(hào)G06T3/40GK1574973SQ20041005938
公開日2005年2月2日 申請(qǐng)日期2004年6月18日 優(yōu)先權(quán)日2003年6月18日
發(fā)明者木村勝治, 吉田卓司 申請(qǐng)人:夏普株式會(huì)社