注意，盡 管圖像傳感器具有"缺陷像素"，但是圖像傳感器中的像素與通過(guò)攝影獲得的圖像的像素是 對(duì)應(yīng)關(guān)系，因此在以下描述中將對(duì)應(yīng)于缺陷像素的圖像中的像素稱為"缺陷像素"。另外，缺 陷像素可以被稱作校正目標(biāo)像素。
[0036] 接下來(lái)，將描述本實(shí)施例中缺陷像素校正操作的概要。這里如圖2中的2a部分， 假定R像素是缺陷像素。首先，當(dāng)獲得了 2a部分示出的圖像時(shí)，從通過(guò)缺陷像素的線（關(guān) 注線）提取包括將要成為校正目標(biāo)的缺陷像素并表示此線的特征的多個(gè)像素，并生成由提 取的像素構(gòu)成的2b部分所示的特征像素序列。這里示出了如下示例：關(guān)注線為水平線， 提取與缺陷像素位于相同水平坐標(biāo)上且與缺陷像素顏色相同的像素，從而生成特征像素序 列。請(qǐng)注意，盡管這里給出了提取缺陷像素及位于關(guān)注線上的缺陷像素的前后、且與缺陷像 素顏色相同的兩個(gè)像素來(lái)作為特征像素的示例的描述，但是提取特征像素的方法并不限定 于此。
[0037] 接下來(lái)，從與關(guān)注線平行的另一條線（參照線）上存在的像素中提取表示此線的 特征的多個(gè)像素，并生成由提取的像素構(gòu)成的2c部分所示的特征像素序列。這里，示出了 如下示例：在關(guān)注線上方兩個(gè)像素處設(shè)置參照線，從參照線上的像素中提取與缺陷像素顏 色相同的像素以生成特征像素序列。由于如稍后描述的那樣計(jì)算相關(guān)量，因此從參照線提 取的特征像素的數(shù)量比從關(guān)注線提取的特征像素的數(shù)量更大。
[0038] 請(qǐng)注意，在本實(shí)施例中，將參照線設(shè)置為使得與缺陷像素顏色相同的像素存在于 線上。因此，在諸如由拜耳陣列中的R像素和B像素等兩個(gè)像素構(gòu)成重復(fù)單位的情況下，將 參照線設(shè)置為使得其與關(guān)注線的距離是重復(fù)單位的倍數(shù)（2n[像素]，其中，n是等于或大于 1的整數(shù)）。
[0039] 如2d部分示出了從關(guān)注線和參照線生成的特征像素序列的各像素值、以及從特 征像素序列的像素值生成的波形的示例。在這樣從關(guān)注線和參照線上的特征像素序列生成 兩個(gè)波形后，針對(duì)多個(gè)相對(duì)位置（偏移量）獲得相關(guān)量，從而獲得兩個(gè)波形間的相關(guān)性最高 的偏移量和方向。
[0040] 例如，如2e部分所示出，假定由于將關(guān)注線上的特征像素序列的波形偏移+2 (即， 在向右方向上兩個(gè)像素），其與參照線上的特征像素序列的波形的相關(guān)性變?yōu)樽罡?。由于?征像素序列由拜耳陣列中相同顏色的像素所構(gòu)成，因此偏移量（+2)X2與原始像素陣列中 像素坐標(biāo)的差相對(duì)應(yīng)。因此，如2f部分所示出，發(fā)現(xiàn)參照線上與缺陷像素最相關(guān)的像素位 于水平坐標(biāo)上距缺陷像素+4的位置處（即，在向右方向上距缺陷像素4個(gè)像素）。
[0041] 為此，例如，在最簡(jiǎn)單的方法中，可以通過(guò)將與缺陷像素最相關(guān)的像素的值用作缺 陷像素的值來(lái)校正缺陷像素。
[0042] 接下來(lái)，將通過(guò)圖3中示出的流程圖來(lái)描述如何利用圖1A中示出的攝像裝置100 實(shí)現(xiàn)本實(shí)施例的上述缺陷像素校正。
[0043] 首先，在步驟S301中，CPU103獲得作為處理目標(biāo)的圖像數(shù)據(jù)。這里，圖像數(shù)據(jù)可 以通過(guò)攝影來(lái)獲得，或可以通過(guò)讀出存儲(chǔ)介質(zhì)106中記錄的圖像數(shù)據(jù)來(lái)獲得。另選地，可以 經(jīng)由通信裝置109從外部設(shè)備獲得。請(qǐng)注意，這里獲得的圖像數(shù)據(jù)處于缺陷像素還未被校 正的狀態(tài)，例如是RAW圖像數(shù)據(jù)。
[0044] CPU103在例如一次存儲(chǔ)設(shè)備104中加載獲得的圖像數(shù)據(jù)。然后CPU103掃描圖像 數(shù)據(jù)的各像素，同時(shí)對(duì)根據(jù)步驟S302中的確定是缺陷像素的關(guān)注像素，應(yīng)用步驟S302至步 驟S307中的處理。請(qǐng)注意，盡管在步驟S302中確定圖像數(shù)據(jù)的各關(guān)注像素是否為圖3的示 例中的缺陷像素，但可以使用缺陷像素的位置信息對(duì)缺陷像素依次執(zhí)行步驟S303至S307 中的處理。
[0045] 例如，缺陷像素的信息可以是在制造攝像裝置100時(shí)存儲(chǔ)在二次存儲(chǔ)設(shè)備105中 的缺陷像素信息。另外，例如，可以從諸如在啟動(dòng)攝像裝置1〇〇時(shí)等特定條件下拍攝的圖像 中檢測(cè)出圖像傳感器102中的缺陷像素，其位置信息可以被存儲(chǔ)在二次存儲(chǔ)設(shè)備105中。此 時(shí)，可以利用通過(guò)隨后的檢測(cè)處理所獲得的缺陷像素信息而更新在制造時(shí)存儲(chǔ)的信息?？?以將缺陷像素信息記錄為圖像數(shù)據(jù)的附加信息。
[0046] 現(xiàn)在將描述對(duì)根據(jù)上述確定是缺陷像素的像素所執(zhí)行的步驟S303及隨后的步驟 中的處理。在步驟S303中，CPU103生成關(guān)注線上的特征像素序列（第一像素序列）。例 如，如利用圖2中的2b所描述的，此步驟可以是用于提取與缺陷像素存在于相同水平坐標(biāo) 上的與缺陷像素顏色相同的像素、并生成特征像素序列的處理。請(qǐng)注意，如其他實(shí)施例中所 描述的，可以使用其他方法執(zhí)行特征像素的提取。
[0047] 接下來(lái)，在步驟S304中，CPU103生成參照線上的特征像素序列（第二像素序 列）。這里同樣地，如利用圖2中2c部分所描述，此步驟可以是例如用于提取位于在關(guān)注線 上方兩個(gè)像素處設(shè)置的參照線上的與缺陷像素顏色相同的像素、并生成特征像素序列的處 理。
[0048] 在步驟S305中，為了確定適合缺陷像素校正所參照的像素值，在改變從關(guān)注線和 參照線生成的特征像素序列的相對(duì)位置的同時(shí)，CPU103檢測(cè)相關(guān)性最大的偏移量。
[0049] 以下將利用圖4來(lái)描述步驟S305中相關(guān)量計(jì)算處理的具體示例。
[0050] 在該實(shí)施例中，在關(guān)注線上的特征像素序列和與關(guān)注線上的特征像素序列具有相 同數(shù)量的像素的參照線上的特征像素序列的部分（參照線中的區(qū)域）之間計(jì)算相關(guān)量。每 當(dāng)序列間的偏移量改變，則利用參照線上的特征像素序列的不同區(qū)域計(jì)算針對(duì)該偏移量的 相關(guān)量。因此，參照線上的特征像素序列可以被視為包括多個(gè)像素區(qū)域。
[0051] 圖4示意性示出了在相對(duì)于關(guān)注線上的特征像素序列而將參照線上的特征像素 序列偏移X個(gè)像素（X是整數(shù)，其為正時(shí)表示向右的方向、其為負(fù)時(shí)表示向左的方向）時(shí)計(jì) 算相關(guān)量的示例。CPU103合計(jì)各偏移量（相對(duì)的位置）中通過(guò)各箭頭所連接的像素值之 間的差。例如，假定被計(jì)算相關(guān)性的像素的數(shù)量是2W+1 (W是正整數(shù)），關(guān)注線上的特征像素 序列的指數(shù)i(參見(jiàn)圖4)處的像素值是Ti，并且參照線上的特征像素序列的指數(shù)i處的像 素值是Ri。此時(shí)，通過(guò)以下等式計(jì)算偏移量X時(shí)的相關(guān)量Sx。
[0052]
[0053] 換目之，相關(guān)量Sx越/」、衣不;t日大'|王越尚。1肓7土懇，仕目肖U所述的方法中，從關(guān)注線 提取包括缺陷像素的特征像素以生成特征像素序列。為此，不可以將缺陷像素的值（T0)用 于計(jì)算相關(guān)值。因此，例如僅當(dāng)i= 〇時(shí)獲得將要加到等式（1)中的相關(guān)量為〇的相關(guān)量 Sx〇
[0054] 可以從針對(duì)預(yù)定范圍內(nèi)的多個(gè)偏移量而計(jì)算出的相關(guān)值Sx中獲得最小相關(guān)值Sx的偏移量X中，確定用于校正缺陷像素的參照像素的位置。例如，如果在偏移量X= +2時(shí) 相關(guān)量Sx是最小值，則確定與缺陷像素顏色相同的像素中、位于缺陷像素向右兩個(gè)像素處 的像素（即，位于參照線上比缺陷像素向右四個(gè)像素處）是參照像素。
[0055] 圖5A是示出步驟S305中相關(guān)量計(jì)算處理的具體示例的流程圖。首先，在步驟 S1701中，CPU103利用用作開(kāi)始系數(shù)的-W替代X，此后，在步驟S1702中，初始化最小相關(guān) 量Smin及最小相關(guān)量時(shí)的偏移量Xmin。此后，CPU103執(zhí)行步驟S1703至S1706中的處 理，同時(shí)在步驟S1705中對(duì)X進(jìn)行遞增。
[0056] 在步驟S1703中，CPU103確定在這個(gè)時(shí)間點(diǎn)計(jì)算出的相關(guān)量Sx是否小于最小相 關(guān)量Smin，如果Sx<Smin則處理進(jìn)入到步驟S1704,而如果Sx彡Smin則處理進(jìn)入到步驟 S1705。請(qǐng)注意，當(dāng)是第一次計(jì)算相關(guān)量Sx時(shí)（這里是X= -W的情況下），CPU103推進(jìn)處 理到步驟S1704。
[0057] 在步驟S1704中，CPU103利用當(dāng)前的相關(guān)量Sx更新最小相關(guān)量Smin。同樣利用 X的當(dāng)前值更新對(duì)應(yīng)于最小相關(guān)量Smin的偏移量Wmin。然后，在步驟S1705中，CPU103對(duì) X進(jìn)行遞增，而在步驟S1706中，CPU103確定是否已對(duì)整個(gè)偏移范圍執(zhí)行了處理。如果已 對(duì)整個(gè)偏移范圍執(zhí)行了處理則CPU103結(jié)束處理，而如果還存在未經(jīng)過(guò)處理的數(shù)據(jù)則將處 理返回到步驟S1703。利用上述處理，能夠獲得偏移范圍內(nèi)的最小相關(guān)量Smin以及可以用 來(lái)獲得最小相關(guān)量的偏移量Wmin。
[0058] 請(qǐng)注意，圖5A中示出的用于相關(guān)量計(jì)算處理的方法僅是示例，可以使用任何可以 獲得相似結(jié)果的其他方法。例如，不是必須從最小值而遞增偏移量X，而是只要可以計(jì)算出 對(duì)應(yīng)于各偏移量的相關(guān)值，就可以以任何順序改變?cè)撝?。另外，可以存?chǔ)對(duì)應(yīng)于各偏移量的 所有相關(guān)值，并且可以最后選擇對(duì)應(yīng)于最小相關(guān)值的偏移量。
[0059] 在這樣基于特征像素序列的相關(guān)量而確定參照像素的位置后，CPU103在步驟 S306中計(jì)算相關(guān)量。在最簡(jiǎn)單的情況中，校正值可以是參照像素的值，但可以使用其他方法 計(jì)算校正值。例如，可以使用從參照像素的值及參照像素的周邊像素的值中計(jì)算出的諸如 顏色差等特征量來(lái)校正缺陷像素。
[0060] 在步驟S306中計(jì)算出校正值后，在步驟S307中，CPU103使用校正值校正缺陷像 素。此后，在步驟S308中，CPU103確定是否已完成像素掃描，并重復(fù)執(zhí)行步驟S302至S307 直到掃描完成。
[0061] 請(qǐng)注意，盡管本實(shí)施例描述了在水平方向上設(shè)置關(guān)注線和參照線的示例，但對(duì)于 關(guān)注線和參照線所設(shè)置的角度并無(wú)限制，可以在諸如垂直方向或傾斜方向等任何方向上設(shè) 置關(guān)注線和參照線。
[0062] 盡管本實(shí)施例將參照線設(shè)置在通過(guò)缺陷像素的關(guān)注線上方兩個(gè)像素處，但可以以 其他距離或在其他方向上設(shè)置參照線。例如，可以在關(guān)注