圖像處理裝置及圖像處理裝置的控制方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及一種圖像處理裝置和圖像處理裝置的控制方法，尤其涉及一種校正缺 陷像素的技術(shù)。
【背景技術(shù)】
[0002] 諸如數(shù)字照相機(jī)等攝像裝置使用諸如CMOS傳感器等圖像傳感器來拍攝圖像。通 常，由于圖像傳感器中配設(shè)了大量像素，因此其中存在缺陷像素。作為校正此類缺陷像素的 值的技術(shù)，已知一種將從存在于缺陷像素的周邊的一個或多個非缺陷像素的一個或多個值 中估計的像素值用作缺陷像素位置處的像素值的方法。在本說明書的下文中，獲取在像素 為非缺陷的情況下應(yīng)該被獲取的缺陷位置處的像素值將被稱為缺陷像素校正。
[0003] 例如，日本特開平11-220661號公報公開了一種方法，在該方法中，參照與缺陷像 素顏色相同的周邊像素的值，將缺陷像素附近的被攝體的形狀分類為任何預(yù)定圖案，并通 過使用對應(yīng)于已分類的圖案的周邊像素及方法來校正缺陷像素。日本特開2005-175547號 公報公開了一種方法，在缺陷像素附近的被攝體的空間頻率高時使用鄰接像素來檢測缺陷 像素的校正中將要使用的像素的參照方向，從而實(shí)現(xiàn)比使用與缺陷像素顏色相同的像素的 情況更精確的插值。
[0004] 然而，利用上述專利文獻(xiàn)中公開的傳統(tǒng)技術(shù)可以對具有預(yù)定的特定的角度的被攝 體精確地校正缺陷像素，但在被攝體具有不同的角度的情況下存在發(fā)生錯誤校正的情況。 例如，考慮到被攝體具有如圖13A中示出的接近水平的角度（這里大約是27度）的情況。 在圖13A中，以粗框表示傳統(tǒng)技術(shù)中的缺陷像素的校正中使用的像素的參照區(qū)域。假定缺 陷像素位置處的像素值是圖13B中示出的值（0)，利用參照區(qū)域內(nèi)與缺陷像素顏色相同的 像素的值（30或40)不能適當(dāng)?shù)匦Ｕ毕菹袼亍?br>[0005] 通過擴(kuò)展參照區(qū)域能夠提高在參照區(qū)域內(nèi)發(fā)現(xiàn)適合于缺陷像素校正的像素值的 可能性。然而，例如，如果由于缺陷像素而使具有圖13C所示的重復(fù)圖案的被攝體的像素值 變?yōu)槿鐖D13D所示，則存在不能夠基于兩點(diǎn)間的差正確地檢測被攝體的角度的情況。

【發(fā)明內(nèi)容】

[0006] 本發(fā)明提供一種即使是包含缺陷像素的被攝體不具有特定角度時也能夠?qū)崿F(xiàn)恰 當(dāng)校正缺陷像素的圖像處理裝置及該圖像處理裝置的控制方法。
[0007] 根據(jù)本發(fā)明的一方面，提供一種圖像處理裝置，所述圖像處理裝置包括：用于獲取 圖像的獲取單元；用于基于校正目標(biāo)像素的位置而設(shè)置所述圖像的第一區(qū)域的第一設(shè)置單 元，所述第一區(qū)域包括在被設(shè)置為通過所述校正目標(biāo)像素的關(guān)注線上的多個像素；用于設(shè) 置所述圖像的多個第二區(qū)域的第二設(shè)置單元，各個所述第二區(qū)域都基于在被設(shè)置為不通過 所述校正目標(biāo)像素的至少一條參照線上存在的多個像素的位置；用于計算各個所述第二區(qū) 域與所述第一區(qū)域的相關(guān)量的相關(guān)性計算單元；以及通過利用基于所述相關(guān)量確定的、各 個所述至少一條參照線上的像素的值而計算用來校正與所述校正目標(biāo)像素對應(yīng)的像素的 值的校正值，并利用所述校正值來校正與所述校正目標(biāo)像素對應(yīng)的像素的值的校正單元。
[0008] 根據(jù)本發(fā)明的另一方面，提供了一種用于控制圖像處理裝置的方法，所述方法包 括：用于獲取圖像的獲取步驟；用于基于校正目標(biāo)像素的位置而設(shè)置所述圖像的第一區(qū)域 的第一設(shè)置步驟，所述第一區(qū)域包括在被設(shè)置為通過所述校正目標(biāo)像素的關(guān)注線上的多個 像素；用于設(shè)置所述圖像的多個第二區(qū)域的第二設(shè)置步驟，各個所述第二區(qū)域都基于在被 設(shè)置為不通過所述校正目標(biāo)像素的至少一條參照線上存在的多個像素的位置；用于計算各 個所述第二區(qū)域與所述第一區(qū)域的相關(guān)量的相關(guān)性計算步驟；以及通過利用基于所述相關(guān) 量而確定的、各個所述至少一條參照線上的像素的值而計算用來校正與所述校正目標(biāo)像素 對應(yīng)的像素的值的校正值，并利用所述校正值而校正與所述校正目標(biāo)像素對應(yīng)的像素的值 的校正步驟。
[0009] 根據(jù)以下參照附圖對實(shí)施例的詳細(xì)描述，本發(fā)明的其他特征將變得清楚。
【附圖說明】
[0010] 圖1A和圖1B是根據(jù)本發(fā)明的實(shí)施例的攝像裝置和信息處理裝置的框圖。
[0011] 圖2是示出實(shí)施例中的圖像傳感器中的示例性像素陣列的圖。
[0012] 圖3是示出第一實(shí)施例中的缺陷像素校正處理的流程圖。
[0013] 圖4是第一實(shí)施例中的相關(guān)量計算處理的示意圖。
[0014] 圖5A至圖5C示出了實(shí)施例中的相關(guān)量計算處理的具體例子。
[0015] 圖6是示出第二實(shí)施例中的參照線的設(shè)置的示意圖。
[0016] 圖7是例示第三實(shí)施例的示意圖。
[0017] 圖8A和圖8B是例示第四實(shí)施例的示意圖。
[0018] 圖9是示出第四實(shí)施例中缺陷像素校正的概要的示意圖。
[0019] 圖10是示出第四實(shí)施例中缺陷像素校正處理的流程圖。
[0020] 圖11A至圖11D是示出第四實(shí)施例中用于合成校正值的示例性方法的圖。
[0021] 圖12A和圖12B是例示第四實(shí)施例中用于合成校正值的方法的圖。
[0022] 圖13A至圖13D是示出利用傳統(tǒng)技術(shù)很難處理的被攝體條件的例子的圖。
【具體實(shí)施方式】
[0023] 將根據(jù)附圖詳細(xì)描述本發(fā)明的實(shí)施例。下文描述的本發(fā)明的各實(shí)施例能夠被獨(dú)立 地實(shí)施，或者在必要時或從各個實(shí)施例的要素或特征的組合在單個實(shí)施中是有益的時，作 為多個實(shí)施例或其特征的組合來實(shí)施。
[0024] 請注意，盡管以下實(shí)施例將描述本發(fā)明應(yīng)用于攝像裝置的示例，但諸如與攝影和 攝影圖像的記錄相關(guān)的功能等攝像裝置所獨(dú)有的配置不是根據(jù)本發(fā)明的圖像處理裝置所 必需的?？梢栽谌魏文軌颢@取通過攝影獲取的圖像數(shù)據(jù)以及用于此攝影中的圖像傳感器中 的缺陷像素的相關(guān)信息的電子設(shè)備中實(shí)施本發(fā)明。"攝像裝置"并不限于諸如數(shù)字照相機(jī)等 主要功能為攝影的裝置，而是指任何具有攝影功能的電子設(shè)備。
[0025] 第一實(shí)施例
[0026] 圖1A是示出作為根據(jù)本發(fā)明實(shí)施例的示例性圖像處理裝置的攝像裝置（或圖像 處理裝置）100的示例性功能配置的框圖。
[0027] 攝像裝置100是諸如數(shù)字照相機(jī)或數(shù)字?jǐn)z像機(jī)等拍攝被攝體并獲取表示被攝體 的圖像的數(shù)據(jù)（圖像數(shù)據(jù)）的裝置。光學(xué)系統(tǒng)101具有透鏡、快門及光圈，并在CPU103的 控制下在圖像傳感器102上形成被攝體的光學(xué)圖像?？梢允侵T如CCD或CMOS圖像傳感器 的圖像傳感器102在各像素處對形成的被攝體的光學(xué)圖像執(zhí)行光電轉(zhuǎn)換，并將其轉(zhuǎn)換為模 擬圖像信號。CPU103將模擬圖像信號轉(zhuǎn)換為數(shù)字圖像信號（圖像數(shù)據(jù)），并將其應(yīng)用于諸 如白平衡調(diào)整和色插值處理等所謂的顯影處理及編碼處理。CPU103通過執(zhí)行程序并控制 各功能塊來實(shí)現(xiàn)攝像裝置100的各種功能。請注意，被描述為作為軟件由CPU103實(shí)現(xiàn)的 功能中的至少一些功能可以通過硬件（即離散電路、ASIC、可編程邏輯器件等）來實(shí)現(xiàn)。
[0028]例如，一次存儲設(shè)備104是諸如RAM等易失性存儲設(shè)備，并被用作諸如CPU103的 工作區(qū)域等臨時數(shù)據(jù)存儲區(qū)域。例如，二次存儲設(shè)備105是諸如EEPR0M等非易失性存儲設(shè) 備，并存儲用于控制攝像裝置1〇〇的程序（固件）、CPU103執(zhí)行的程序、各種設(shè)置信息等。
[0029] 例如，存儲介質(zhì)106(半導(dǎo)體存儲卡）將通過攝影獲取的圖像數(shù)據(jù)存儲為預(yù)定格式 的數(shù)據(jù)文件。例如，存儲介質(zhì)106可以從攝像裝置100移除，并可以與諸如個人電腦等具有 訪問存儲介質(zhì)106的功能的其他設(shè)備一起使用。換言之，攝像裝置100僅需要具有訪問存 儲介質(zhì)106的功能并能夠從/向存儲介質(zhì)106中讀出/寫入數(shù)據(jù)。
[0030] 例如，顯示單元107用于在攝影時顯示取景器圖像、顯示拍攝的圖像或從存儲介 質(zhì)106讀出的圖像以及顯示用于交互操作的用戶界面。例如，操作單元108具有諸如按鈕、 開關(guān)、操縱桿以及觸摸面板等輸入器件，且使用戶能夠針對攝像裝置100給出各種指令并 配置其設(shè)置。請注意，操作單元108中還包括實(shí)現(xiàn)諸如語音輸入或視線輸入等不需要物理 操作的輸入方法的配置。
[0031] 通信裝置109使攝像裝置100能夠向/從外部設(shè)備發(fā)送/接收控制命令和數(shù)據(jù)。 將要用于與外部設(shè)備通信的協(xié)議并無特別限定，其可以是例如PTP(圖片傳輸協(xié)議）。請注 意，例如，通信裝置109可以使用USB(通用串行總線）電纜等通過有線連接與外部設(shè)備通 信，或者可以使用無線LAN等通過無線連接與外部設(shè)備通信。通信裝置109可以直接與外 部設(shè)備相連接，或者可以經(jīng)由服務(wù)器或經(jīng)由諸如互聯(lián)網(wǎng)等網(wǎng)絡(luò)來連接。
[0032] 在圖2中，2a部分示出了本實(shí)施例中圖像傳感器102中的示例性像素陣列。圖像傳 感器102包含具有原色拜耳陣列的顏色濾波器。具體地說，其包含具有由兩個水平像素X 兩個垂直像素的四個像素構(gòu)成的重復(fù)單位的陣列。在重復(fù)單位中，左上方的像素是紅色（R) 像素、右上方和左下方是綠色（G)像素，右下方像素是藍(lán)色（B)像素。盡管2a部分示出了 缺陷像素位于中心的非常少的一部分像素，但是其他部分也具有相同的陣列。請注意，盡管 圖像傳感器具有"缺陷像素