圖像處理裝置、圖像處理方法和程序的制作方法
【技術(shù)領(lǐng)域】
[0001] 本技術(shù)涉及圖像處理裝置、圖像處理方法和用于致使計(jì)算機(jī)執(zhí)行該方法的程序。 具體地，本技術(shù)涉及能夠降低運(yùn)動(dòng)圖像的噪聲的圖像處理裝置、圖像處理方法以及用于致 使計(jì)算機(jī)執(zhí)行該方法的程序。
【背景技術(shù)】
[0002] 為了降低混合在運(yùn)動(dòng)圖像中的噪聲，從過(guò)去就已經(jīng)使用了被稱(chēng)為三維降噪（3DNR : 3-dimensional noise reduction)的技術(shù)。3DNR是通過(guò)把在時(shí)間軸上連續(xù)的兩個(gè)二維（2D : two-dimensional)幀混合而降低噪聲的技術(shù)。在3DNR中，一般地，每次當(dāng)輸入幀被輸入時(shí)， 圖像處理裝置將在先輸出的輸出幀和當(dāng)前輸入幀混合，以便生成當(dāng)前輸出幀。在這樣的混 合時(shí)，曾提出了如下的圖像處理裝置：其使在先輸出幀和當(dāng)前輸入幀相互比較以便獲得運(yùn) 動(dòng)量，且隨著所述運(yùn)動(dòng)量的變大而使在先輸出幀的混合比率變低（參見(jiàn)例如專(zhuān)利文獻(xiàn)1)。
[0003] 引用文獻(xiàn)列表
[0004] 專(zhuān)利文獻(xiàn)
[0005] 專(zhuān)利文獻(xiàn)1 :日本專(zhuān)利申請(qǐng)?zhí)亻_(kāi)第2010-4266號(hào)

【發(fā)明內(nèi)容】

[0006] 本發(fā)明所要解決的技術(shù)問(wèn)題
[0007] 然而，在上述的相關(guān)技術(shù)中，有可能無(wú)法充分地降低噪聲。即，因?yàn)樯鲜龅膱D像處 理裝置根據(jù)運(yùn)動(dòng)量來(lái)決定混合比率，所以當(dāng)運(yùn)動(dòng)量恒定不變的狀態(tài)持續(xù)發(fā)生時(shí)，各輸出幀 就會(huì)根據(jù)該恒定不變的混合比率而被混合。當(dāng)在多個(gè)輸入幀上該混合比率為恒定不變時(shí)， 就存在著如下可能性：這些輸入幀不會(huì)以均等比率與輸出幀混合。
[0008] 例如，當(dāng)連續(xù)的輸入幀F(xiàn)1、F2和F3按照時(shí)間順序被輸入且輸出幀的混合比率是恒 定值α?xí)r，輸入幀F(xiàn)1沒(méi)有變化地首先被輸出從而作為輸出幀F(xiàn)1'。接著，比率為α的在 先輸出幀F(xiàn)I'（ 即，輸入幀F(xiàn)1)和比率為（l-α)的輸入幀F(xiàn)2被混合，從而輸出輸出幀F(xiàn)2'。 然后，比率為α的在先輸出幀F(xiàn)2'和比率為（l-α)的輸入幀F(xiàn)3被混合，從而輸出輸出幀 F3'。因?yàn)檩敵鰩現(xiàn)2'中的輸入幀F(xiàn)1和F2的比率是α : (l-α )，所以輸出幀F(xiàn)3'中的輸入 幀F(xiàn)1、F2和F3的比率是α2:α (1-α):(1-α)。關(guān)于混合比率α，通常被設(shè)定為小于"1" 的值，這樣，在輸出幀中，越早過(guò)去的輸入幀就具有越小的比率。因此，存在著這樣的可能 性：當(dāng)混合比率為恒定不變時(shí)，無(wú)法充分地降低噪聲。
[0009] 而且，當(dāng)在運(yùn)動(dòng)圖像中出現(xiàn)強(qiáng)烈的運(yùn)動(dòng)時(shí)，存在著如下可能：輸出幀中的各輸入幀 之間的比率差別被增大了。例如，設(shè)想這樣的一種情況：輸入幀F(xiàn)1與F2之間的變化是大的 變化，且下一個(gè)輸入幀F(xiàn)3及其隨后的各幀在相鄰的幀之間具有小的變化。在這種情況下， 因?yàn)檩斎霂現(xiàn)1與F2之間的變化大，所以在將輸入幀F(xiàn)1和F2混合時(shí)，輸入幀F(xiàn)1以高的混 合比率α而被混合。與此相反，輸入幀F(xiàn)2及其隨后的各輸入幀在相鄰的幀之間具有小的 變化，且這些輸入幀以較低的混合比率而被混合。結(jié)果，輸入幀F(xiàn)1以比跟在輸入幀F(xiàn)1之后 的各輸入幀的比率高的比率而被混合，并且降噪效果受到損失。
[0010] 本技術(shù)是鑒于如上所述的情形而被做出的，且本技術(shù)的目的是充分地降低運(yùn)動(dòng)圖 像中的噪聲。
[0011] 解決技術(shù)問(wèn)題所采取的技術(shù)方案
[0012] 為了消除上述問(wèn)題而做出了本技術(shù)。根據(jù)本技術(shù)的第一方面，提供了圖像處理裝 置、圖像處理方法和致使計(jì)算機(jī)執(zhí)行所述圖像處理方法的程序。所述圖像處理裝置包括：判 定部，每次當(dāng)輸入圖像被輸入時(shí)，所述判定部判定所述輸入圖像和已被輸出的輸出圖像中 的像素值分布的變化量是否小于預(yù)定閾值；混合比率供給部，所述混合比率供給部供給隨 著所述變化量被相繼地判定為小于所述預(yù)定閾值的次數(shù)的變多而變大的值，該值作為在所 述輸入圖像和所述輸出圖像混合時(shí)所述輸出圖像的混合比率；以及混合部，每次當(dāng)所述輸 入圖像被輸入時(shí)，所述混合部基于被供給過(guò)來(lái)的所述混合比率而將所述輸入圖像和所述輸 出圖像混合，然后輸出混合后的所述輸入圖像和所述輸出圖像以作為新的輸出圖像。因此， 發(fā)揮了下列作用：所述輸入圖像和所述輸出圖像是以隨著所述變化量被相繼地判定為小于 所述預(yù)定閾值的次數(shù)的變多而變大的混合比率而被混合的。
[0013] 而且，在第一方面中，所述混合比率供給部可以包括上限值生成部、獲取部和限制 部。所述上限值生成部生成隨著所述次數(shù)的變多而變大的上限值。所述獲取部獲得隨著所 述變化量的變大而變小的值。當(dāng)所述獲取部的獲取值大于所述上限值時(shí)，所述限制部提供 該上限值以作為所述混合比率，而當(dāng)所述獲取值不超過(guò)所述上限值時(shí)，所述限制部提供該 獲取值以作為所述混合比率。因此，發(fā)揮了下列作用：被隨著所述次數(shù)的變多而變大的所述 上限值限制的值被提供以作為所述混合比率。
[0014] 而且，在第一方面中，所述混合比率供給部可以提供如下的隨著所述次數(shù)的變多 而變大的所述混合比率：該所述混合比率使得混合于所述輸出圖像中的各所述輸入圖像的 比例變得均一。因此，發(fā)揮了下列作用：提供了隨著所述次數(shù)的變多而變大、且使混合于所 述輸出圖像中的各所述輸入圖像的比例變得均一的混合比率。
[0015] 而且，在第一方面中，所述輸入圖像和所述輸出圖像各者可以是包括多個(gè)區(qū)域的 圖像，各所述區(qū)域包括多個(gè)像素。所述判定部可以以每個(gè)所述區(qū)域?yàn)閱挝欢卸ㄋ鲎兓?量是否小于所述預(yù)定閾值。所述混合比率供給部可以以每個(gè)所述區(qū)域?yàn)閱挝欢@得所述變 化量被相繼地判定為小于所述預(yù)定閾值的所述次數(shù)，且供給隨著以每個(gè)所述區(qū)域?yàn)閱挝凰?獲得的所述次數(shù)中的最小值的變大而變大的所述混合比率。因此，發(fā)揮了下列作用：供給了 隨著以每個(gè)區(qū)域?yàn)閱挝凰鲎兓勘幌嗬^地判定為小于所述預(yù)定閾值的所述次數(shù)中的最 小值的變大而變大的混合比率。
[0016] 而且，在第一方面中，所述輸入圖像和所述輸出圖像各者可以是包括多個(gè)像素的 圖像。所述判定部可以以每個(gè)所述像素為單位而判定所述變化量是否小于所述預(yù)定閾值。 所述混合比率供給部可以以每個(gè)所述像素為單位而獲得所述變化量被相繼地判定為小于 所述預(yù)定閾值的所述次數(shù)，且供給隨著以每個(gè)所述像素為單位所獲得的所述次數(shù)中的最小 值的變大而變大的所述混合比率。因此，發(fā)揮了下列作用：供給了隨著以每個(gè)所述像素為單 位所述變化量被相繼地判定為小于所述預(yù)定閾值的所述次數(shù)中的最小值的變大而變大的 混合比率。
[0017] 而且，在第一方面中，所述圖像處理裝置還可以包括：更換部，在所述像素包括表 示像素值的有效數(shù)據(jù)且包括不適用于所述有效數(shù)據(jù)的無(wú)效數(shù)據(jù)的情況下，所述更換部基于 所述次數(shù)以每個(gè)所述像素為單位而更換該像素內(nèi)的所述無(wú)效數(shù)據(jù)；和圖像保存部，所述圖 像保存部保存已被更換了所述無(wú)效數(shù)據(jù)的所述輸出圖像。在該圖像處理裝置中，所述混合 比率供給部可以從所述被保存的輸出圖像中獲得所述次數(shù)。因此，發(fā)揮了下列作用：所述次 數(shù)是從已被更換了所述無(wú)效數(shù)據(jù)的所述輸出圖像中獲得的。
[0018] 此外，根據(jù)本技術(shù)的第二方面，提供了一種攝像裝置，其包括：判定部，每次當(dāng)輸入 圖像被輸入時(shí)，所述判定部判定所述輸入圖像和已被輸出的輸出圖像中的像素值分布的變 化量是否小于預(yù)定閾值；混合比率供給部，所述混合比率供給部供給隨著所述變化量被相 繼地判定為小于所述預(yù)定閾值的次數(shù)的變多而變大的值，該值作為在所述輸入圖像和所述 輸出圖像混合時(shí)所述輸出圖像的混合比率；混合部，每次當(dāng)所述輸入圖像被輸入時(shí)，所述混 合部基于被供給過(guò)來(lái)的所述混合比率將所述輸入圖像和所述輸出圖像混合，然后輸出混合 后的所述輸入圖像和所述輸出圖像以作為新的輸出圖像；以及圖像保存部，所述圖像保存 部保存所述已被輸出的輸出圖像。因此，發(fā)揮了下列作用：所述輸入圖像和所述輸出圖像是 以隨著所述變化量被相繼地判定為小于所述預(yù)定閾值的所述次數(shù)的變多而變大的混合比 率而被混合的。
[0019] 本發(fā)明的效果
[0020] 根據(jù)本技術(shù)，可以獲得能夠充分地降低運(yùn)動(dòng)圖像中的噪聲的良好效果。
【附圖說(shuō)明】
[0021] 圖1是示出了第一實(shí)施例中的攝像裝置的構(gòu)造例的框圖。
[0022] 圖2是示出了第一實(shí)施例中的圖像處理部的構(gòu)造例的框圖。
[0023] 圖3是示出了第一實(shí)施例中的混合比率供給部的構(gòu)造例的框圖。
[0024] 圖4是示出了第一實(shí)施例中的與運(yùn)動(dòng)量對(duì)應(yīng)的混合比率的例子的曲線圖。
[0025] 圖5是示出了第一實(shí)施例中的與計(jì)數(shù)值對(duì)應(yīng)的限制值的例子的曲線圖。
[0026] 圖6是示出了第一實(shí)施例中的混合部的構(gòu)造例的框圖。
[0027] 圖7是示出了第一實(shí)施例中由圖像處理部200執(zhí)行的圖像處理的例子的流程圖。
[0028] 圖8是示出了第一實(shí)施例中要被處理的運(yùn)動(dòng)圖像的例子的圖。
[0029] 圖9是示出了第一實(shí)施例中的計(jì)數(shù)值、限制值和混合比率的例子的圖。
[0030] 圖10是示出了第一實(shí)施例中的IIR系數(shù)的例子的曲線圖。
[0031] 圖11是示出了第二實(shí)施例中的圖像處理部的構(gòu)造例的框圖。
[0032] 圖12是示出了第二實(shí)施例中的在計(jì)數(shù)值嵌入之前的像素?cái)?shù)據(jù)的數(shù)據(jù)結(jié)構(gòu)例的 圖。
[0033] 圖13是示出了第二實(shí)施例中的在計(jì)數(shù)值嵌入之后的像素?cái)?shù)據(jù)的數(shù)據(jù)結(jié)構(gòu)例的 圖。
[0034] 圖14是示出了第二實(shí)施例中的運(yùn)動(dòng)判定部的構(gòu)造例的框圖。
[0035] 圖15是示出了第二實(shí)施例中的靜止幀數(shù)計(jì)數(shù)部的構(gòu)造例的框圖。
[0036] 圖16是示出了第二實(shí)施例中的限制部的構(gòu)造例的框圖。
[0037] 圖17是示出了第三實(shí)施例中的運(yùn)動(dòng)判定部的構(gòu)造例的框圖。
[0038] 圖18是示出了第三實(shí)施例中的靜止幀數(shù)計(jì)數(shù)部的構(gòu)造例的框圖。
[0039] 圖19是示出了第四實(shí)施例中的運(yùn)動(dòng)判定部的構(gòu)造例的框圖。
[0040] 圖20是示出了第四實(shí)施例中的靜止幀數(shù)計(jì)數(shù)部的構(gòu)造例的框圖。
【具體實(shí)施方式】
[0041] 以下，將說(shuō)明用來(lái)實(shí)施本技術(shù)的方式（以下，稱(chēng)為實(shí)施例）。應(yīng)當(dāng)注意的是，將按照 下列順序提供說(shuō)明。
[0042] 1.第一實(shí)施例（以隨著計(jì)數(shù)值的變大而變大的混合比率混合的例子）
[0043] 2.第二實(shí)施例（以隨著每個(gè)像素和整個(gè)圖像的計(jì)數(shù)值中的最小值的變大而變大 的混合比率混合的例子）
[0044] 3.第三實(shí)施例（以隨著每個(gè)像素和每個(gè)區(qū)域的計(jì)數(shù)值中的最小值的變大而變大 的混合比率混合的例子）
[0045] 4.第四實(shí)施例（以隨著整個(gè)圖像、每個(gè)像素和每個(gè)區(qū)域的計(jì)數(shù)值中的最小值的變 大而變大的混合比率混合的例子）
[0046] 1.第一實(shí)施例
[0047] 攝像裝置的構(gòu)造例
[0048] 圖1是示出了本技術(shù)第一實(shí)施例中的攝像裝置100的構(gòu)造例的框圖。攝像裝置 100是攝取圖像用的裝置，且攝像裝置100包括攝像鏡頭110、攝像器件120、模擬前端130、 A/D轉(zhuǎn)換部140、可編程增益放大器150和相機(jī)控制部160。而且，攝像裝置100還包括圖像 處理部200、D/A轉(zhuǎn)換部170和顯示部180。
[0049] 攝像鏡頭110是用來(lái)在攝像器件120上形成被攝目標(biāo)的圖像的透鏡。攝像鏡頭 110包括諸如聚焦鏡頭和變焦鏡頭等鏡頭。
[0050] 攝像器件120對(duì)來(lái)自攝像鏡頭110的光進(jìn)行光電轉(zhuǎn)換，且將轉(zhuǎn)換后的電信號(hào)作為 圖像信號(hào)而通過(guò)信號(hào)線129提供給模擬前端130。攝像器件120能夠利用電荷耦合器件 (CCD :Charge Coupled Device)或互補(bǔ)金屬氧化物半導(dǎo)體（CMOS 〖Complementary Metal Oxide Semiconductor)傳感器等來(lái)實(shí)現(xiàn)。
[0051] 模擬前端130對(duì)模擬圖像信號(hào)執(zhí)行諸如噪聲消除處理和放大處理等處理，且將得 到的信號(hào)通過(guò)信號(hào)線139提供給A/D轉(zhuǎn)換部140。模擬前端130包括例如相關(guān)雙采樣（⑶S :