圖像處理裝置和圖像處理裝置的控制方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及一種圖像處理裝置和圖像處理裝置的控制方法，尤其涉及一種用于校 正缺陷像素的技術(shù)。
【背景技術(shù)】
[0002] 諸如數(shù)字照相機等攝像裝置使用諸如CMOS傳感器等圖像傳感器來拍攝圖像。通 常，由于圖像傳感器中配設(shè)了大量像素，因此圖像傳感器中存在缺陷像素。作為用于校正此 類缺陷像素的值的技術(shù)，已知如下方法：將根據(jù)存在于缺陷像素的周邊的一個或更多個非 缺陷像素的一個或更多個值而估計的像素值，用作缺陷像素位置處的像素值。在本說明書 的下文中，獲得在像素為非缺陷的情況下應(yīng)該被獲得的缺陷位置處的像素值，將被稱為缺 陷像素校正。
[0003] 例如，日本特開平11-220661號公報公開了一種方法，在該方法中，參照與缺陷像 素顏色相同的周邊像素的值，將缺陷像素附近的被攝體的形狀分類為任意預(yù)定圖案，并通 過使用對應(yīng)于已分類的圖案的周邊像素及方法來校正缺陷像素。日本特開2005-175547號 公報公開了如下方法：在缺陷像素附近的被攝體的空間頻率高的情況下，使用鄰接像素來 檢測缺陷像素的校正中將要使用的像素的參照方向，從而實現(xiàn)比使用與缺陷像素顏色相同 的像素的情況更精確的插值。
[0004] 然而，利用上述專利文獻中公開的傳統(tǒng)技術(shù)，可以對具有預(yù)定的特定的角度的被 攝體精確地校正缺陷像素，但在被攝體具有不同的角度的情況下存在發(fā)生錯誤校正的情 況。例如，考慮到被攝體具有如圖16A中示出的接近水平的角度（這里大約為27度）的情 況。在圖16A中，以粗框表示傳統(tǒng)技術(shù)中的缺陷像素的校正中使用的像素的參照區(qū)域。假 定缺陷像素位置處的像素值是圖16B中示出的值（0)，利用參照區(qū)域內(nèi)與缺陷像素顏色相 同的像素的值（30或40)不能適當(dāng)?shù)匦Ｕ毕菹袼亍?br>[0005] 通過擴展參照區(qū)域能夠提高在參照區(qū)域內(nèi)發(fā)現(xiàn)適合于缺陷像素校正的像素值的 可能性。然而，例如，如果由于缺陷像素而使具有圖16C所示的重復(fù)圖案的被攝體的像素值 變?yōu)槿鐖D16D所示，則存在不能夠基于兩點間的差正確地檢測被攝體的角度的情況。

【發(fā)明內(nèi)容】

[0006] 本發(fā)明提供一種即使在包含缺陷像素的被攝體不具有特定角度時，也能夠?qū)崿F(xiàn)適 當(dāng)?shù)娜毕菹袼氐男Ｕ膱D像處理裝置和圖像處理裝置的控制方法。
[0007] 根據(jù)本發(fā)明的一方面，提供一種圖像處理裝置包括：獲得單元，用于獲得圖像；第 一設(shè)置單元，用于基于校正目標像素的位置來設(shè)置所述圖像的第一區(qū)域，所述第一區(qū)域包 括被設(shè)置為通過所述校正目標像素的關(guān)注線上的多個像素；第二設(shè)置單元，用于設(shè)置所述 圖像的多個第二區(qū)域，各個所述第二區(qū)域都基于在被設(shè)置為不通過所述校正目標像素的至 少一條參照線上存在的多個像素的位置；相關(guān)性計算單元，用于計算各個所述第二區(qū)域與 所述第一區(qū)域的相關(guān)量；以及校正單元，通過使用基于所述相關(guān)量而確定的、各個所述至 少一條參照線上的像素的值，來計算用于校正與所述校正目標像素對應(yīng)的像素的值的校正 值，并使用所述校正值來校正與所述校正目標像素對應(yīng)的像素的值，其中，所述相關(guān)性計算 單元以對與對應(yīng)于所述校正目標像素的像素越接近的部分的相關(guān)性應(yīng)用越大權(quán)重的方式， 計算所述相關(guān)量。
[0008] 根據(jù)本發(fā)明的另一方面，提供一種圖像處理裝置的控制方法，所述方法包括：獲得 步驟，獲得圖像；第一設(shè)置步驟，基于校正目標像素的位置來設(shè)置所述圖像的第一區(qū)域，所 述第一區(qū)域包括被設(shè)置為通過所述校正目標像素的關(guān)注線上的多個像素；第二設(shè)置步驟， 設(shè)置所述圖像的多個第二區(qū)域，各個所述第二區(qū)域都基于在被設(shè)置為不通過所述校正目標 像素的至少一條參照線上存在的多個像素的位置；相關(guān)性計算步驟，計算各第二區(qū)域與所 述第一區(qū)域的相關(guān)量；以及校正步驟，通過使用基于所述相關(guān)量而確定的、各個所述至少一 條參照線上的像素的值，來計算用于校正與所述校正目標像素對應(yīng)的像素的值的校正值， 并使用所述校正值校正與所述校正目標像素對應(yīng)的像素的值，其中，在所述相關(guān)性計算步 驟中，以對與對應(yīng)于所述校正目標像素的像素越接近的部分的相關(guān)性應(yīng)用越大權(quán)重的方 式，計算所述相關(guān)量。
[0009] 根據(jù)以下參照附圖對示例性實施例的詳細描述，本發(fā)明的其他特征將變得清楚。
【附圖說明】
[0010] 圖1A和圖1B是根據(jù)本發(fā)明的實施例的攝像裝置和信息處理裝置的框圖。
[0011] 圖2是示出實施例中的圖像傳感器中的示例性像素陣列的圖。
[0012] 圖3是示出第一實施例中的缺陷像素校正處理的流程圖。
[0013] 圖4是第一實施例中的相關(guān)量計算處理的示意圖。
[0014] 圖5A和圖5B示出了實施例中的相關(guān)量計算處理的具體示例。
[0015] 圖6是示出第二實施例中的參照線的設(shè)置的示意圖。
[0016] 圖7是用于例不第二實施例的不意圖。
[0017] 圖8A和圖8B是用于例示第四實施例的示意圖。
[0018] 圖9是示出第四實施例中缺陷像素校正的概要的示意圖。
[0019] 圖10是示出第四實施例中缺陷像素校正處理的流程圖。
[0020] 圖11A至圖11D是示出第四實施例中用于合成校正值的示例性方法的圖。
[0021] 圖12A和圖12B是用于例示第四實施例中用于合成校正值的方法的圖。
[0022] 圖13A和圖13B是用于例示在第五實施例中要處理的問題的示意圖。
[0023] 圖14是第五實施例中的相關(guān)量計算處理的示意圖。
[0024] 圖15A至圖15C是例示第五實施例的效果的圖。
[0025] 圖16A至圖16D是示出利用傳統(tǒng)技術(shù)很難處理的被攝體條件的示例的圖。
【具體實施方式】
[0026] 將根據(jù)附圖詳細描述本發(fā)明的示例性實施例。下文描述的本發(fā)明的各實施例能夠 被獨立地實施，或者在必要時或從各個實施例的要素或特征的組合在單個實施中是有益的 時，作為多個實施例或其特征的組合來實施。
[0027] 請注意，盡管以下實施例將描述本發(fā)明應(yīng)用于攝像裝置的示例，但諸如與攝影和 攝影圖像的記錄相關(guān)的功能等攝像裝置所獨有的配置不是根據(jù)本發(fā)明的圖像處理裝置所 必需的?？梢栽谌魏文軌颢@得通過攝影獲得的圖像數(shù)據(jù)、以及與在該攝影中使用的圖像傳 感器中的缺陷像素有關(guān)的信息的電子設(shè)備中實施本發(fā)明。"攝像裝置"并不限于諸如數(shù)字照 相機等主要功能為攝影的裝置，而是指任何具有攝影功能的電子設(shè)備。
[0028]第一實施例
[0029] 圖1A是示出作為根據(jù)本發(fā)明的實施例的示例性圖像處理裝置的攝像裝置（或圖 像處理裝置）100的示例性功能配置的框圖。
[0030] 攝像裝置100是諸如數(shù)字照相機或數(shù)字攝像機等對被攝體進行攝影并獲得表示 被攝體的圖像的數(shù)據(jù)（圖像數(shù)據(jù)）的裝置。光學(xué)系統(tǒng)101具有透鏡、快門及光圈，并在CPU 103的控制下在圖像傳感器102上形成被攝體的光學(xué)圖像。可以為C⑶或CMOS圖像傳感器 的圖像傳感器102在各像素處對形成的被攝體的光學(xué)圖像執(zhí)行光電轉(zhuǎn)換，并將其轉(zhuǎn)換為模 擬圖像信號。CPU103將模擬圖像信號轉(zhuǎn)換為數(shù)字圖像信號（圖像數(shù)據(jù)），并將其應(yīng)用于諸 如白平衡調(diào)整和顏色插值處理等所謂的顯影處理及編碼處理。CPU103通過執(zhí)行程序并控 制各功能塊來實現(xiàn)攝像裝置100的各種功能。請注意，被描述為作為軟件由CPU103實現(xiàn) 的功能中的至少一些功能可以通過硬件（即離散電路、ASIC、可編程邏輯設(shè)備等）來實現(xiàn)。
[0031] 例如，一次存儲設(shè)備104是諸如RAM等易失性存儲設(shè)備，并被用作諸如CPU103的 工作區(qū)域等臨時數(shù)據(jù)存儲區(qū)域。例如，二次存儲設(shè)備105是諸如EEPR0M等非易失性存儲設(shè) 備，并存儲用于控制攝像裝置100的程序（固件）、由CPU103執(zhí)行的程序、各種設(shè)置信息 等。
[0032]例如，存儲介質(zhì)106(半導(dǎo)體存儲卡）將通過攝影獲得的圖像數(shù)據(jù)存儲為預(yù)定格式 的數(shù)據(jù)文件。例如，存儲介質(zhì)106可以從攝像裝置100移除，并可以與諸如個人電腦等具有 訪問存儲介質(zhì)106的功能的其他設(shè)備一起使用。換言之，攝像裝置100僅需要具有訪問存 儲介質(zhì)106的功能并能夠從/向存儲介質(zhì)106中讀出/寫入數(shù)據(jù)。
[0033] 例如，顯示單元107用于在攝影時顯示取景器圖像、顯示拍攝的圖像或從存儲介 質(zhì)106讀出的圖像以及顯示用于交互操作的用戶界面。例如，操作單元108具有諸如按鈕、 開關(guān)、操縱桿以及觸摸面板等輸入設(shè)備，且使用戶能夠?qū)z像裝置100給出各種指令并配 置其設(shè)置。請注意，操作單元108中還包括實現(xiàn)諸如語音輸入或視線輸入等不需要物理操 作的輸入方法的配置。
[0034] 通信裝置109使攝像裝置100能夠向/從外部設(shè)備發(fā)送/接收控制命令和數(shù)據(jù)。 要用于與外部設(shè)備通信的協(xié)議并無特別限定，例如可以是PTP(圖片傳輸協(xié)議）。請注意，例 如，通信裝置109可以使用USB(通用串行總線）電纜等通過有線連接與外部設(shè)備通信，或 者可以使用無線LAN等通過無線連接與外部設(shè)備通信。通信裝置109可以直接與外部設(shè)備 相連接，或者可以經(jīng)由服務(wù)器或經(jīng)由諸如互聯(lián)網(wǎng)等網(wǎng)絡(luò)來連接。
[0035] 在圖2中，2a部分示出了本實施例中圖像傳感器102中的示例性像素陣列。圖像 傳感器102包括具有原色拜耳陣列的濾色器。具體地說，其包括具有由兩個水平像素X兩 個垂直像素的四個像素構(gòu)成的重復(fù)單位的陣列。在重復(fù)單位中，左上方的像素是紅色（R) 像素、右上方和左下方是綠色（G)像素，右下方像素是藍色（B)像素。盡管2a部分示出了 缺陷像素位于中心處的非常少的一部分像素，但是其他部分也具有相同的陣列。請