圖像處理裝置、程序的制作方法
【專利摘要】一種圖像處理裝置，具有：特定部，其從拍攝到被攝物體像的第1拍攝圖像確定灰階喪失的圖像區(qū)域；像構(gòu)造圖像生成部，其將拍攝到和上述第1拍攝圖像相同的被攝物體的第2拍攝圖像與上述第1拍攝圖像對位，并提取出與由上述特定部確定的圖像區(qū)域?qū)?yīng)的像構(gòu)造，從而生成像構(gòu)造圖像；和插補部，其對由上述像構(gòu)造圖像生成部生成的上述像構(gòu)造圖像和上述第1拍攝圖像進行合成而對上述第1拍攝圖像的上述圖像區(qū)域進行插補。
【專利說明】圖像處理裝置、程序
【技術(shù)領(lǐng)域】
[0001 ] 本發(fā)明涉及圖像處理裝置及程序。
【背景技術(shù)】
[0002]以往，在圖像處理裝置中，通過HDR (High Dynamic Range:高動態(tài)范圍)合成來生成抑制了全白(white-out)和全黑(black-out)的圖像(參照專利文獻I)。在這樣的圖像處理裝置中，對同一攝影場景連續(xù)拍攝重視被攝物體的明部的曝光的圖像、和重視被攝物體的暗部的曝光的圖像，并對這兩幅圖像進行合成處理來生成抑制了全白和全黑的圖像。
[0003]現(xiàn)有技術(shù)文獻
[0004]專利文獻
[0005]專利文獻1:日本國特開2011-15380號公報
【發(fā)明內(nèi)容】

[0006]但是，在HDR合成中，存在生成具有不協(xié)調(diào)感的合成圖像的情況。
[0007]根據(jù)本發(fā)明的第I方案，圖像處理裝置具有:特定部，其從拍攝到被攝物體像的第I拍攝圖像確定灰階喪失的圖像區(qū)域；像構(gòu)造圖像生成部，其將拍攝到和第I拍攝圖像相同的被攝物體的第2拍攝圖像與第I拍攝圖像對位，提取出與由特定部所確定的圖像區(qū)域?qū)?yīng)的像構(gòu)造，生成像構(gòu)造圖像；和插補部，其對由像構(gòu)造圖像生成部所生成的像構(gòu)造圖像和第I拍攝圖像進行合成而對第I拍攝圖像的圖像區(qū)域進行插補。
[0008]根據(jù)本發(fā)明的第2方案，在第I方案的圖像處理裝置中優(yōu)選為，灰階喪失的圖像區(qū)域包括發(fā)生全黑、全白及顏色飽和中的至少一個的圖像區(qū)域。
[0009]根據(jù)本發(fā)明的第3方案，在第2方案的圖像處理裝置中優(yōu)選為，發(fā)生全黑的圖像區(qū)域是指，亮度為第I閾值以下的像素連結(jié)了規(guī)定數(shù)以上的像素塊，發(fā)生全白的圖像區(qū)域是指，亮度為第2閾值以上的像素連結(jié)了規(guī)定數(shù)以上的像素塊，發(fā)生顏色飽和的圖像區(qū)域是指，彩度為第3閾值以上的像素連結(jié)了規(guī)定數(shù)以上的像素塊。
[0010]根據(jù)本發(fā)明的第4方案，在第3方案的圖像處理裝置中優(yōu)選為，還具有變更第I閾值的設(shè)定值或第2閾值的設(shè)定值、或者該雙方的閾值設(shè)定部，閾值設(shè)定部生成第I拍攝圖像的亮度直方圖，并將亮度直方圖分割成多組，在多組中，針對包括頻數(shù)不為零的最小等級的第I組，計算出當(dāng)前幀的積分值與前幀的該組的積分值之間的第I差分，在多組中，針對包括頻數(shù)不為零的最大等級的第2組，計算出當(dāng)前幀的積分值與前幀的該組的積分值之間的第2差分，在第I差分為規(guī)定值以上時，將第I組的最大值設(shè)定為第I閾值，在第2差分為規(guī)定值以上時，將第2組的最小值設(shè)定為第2閾值。
[0011]根據(jù)本發(fā)明的第5方案，在第I至第4任一方案的圖像處理裝置中優(yōu)選為，像構(gòu)造至少包括圖像的輪廓。
[0012]根據(jù)本發(fā)明的第6方案，在第5方案的圖像處理裝置中優(yōu)選為，像構(gòu)造還包括圖像的亮度的灰階信息。[0013]根據(jù)本發(fā)明的第7方案，在第I方案至第6方案的任一圖像處理裝置中優(yōu)選為，具有對第I拍攝圖像及第2拍攝圖像進行拍攝的拍攝部。
[0014]根據(jù)本發(fā)明的第8方案，提供一種程序，用于使計算機實現(xiàn)以下功能:特定功能，從拍攝到被攝物體像的第I拍攝圖像確定灰階喪失的圖像區(qū)域；像構(gòu)造圖像生成功能，將拍攝到和第I拍攝圖像相同的被攝物體的第2拍攝圖像與第I拍攝圖像對位，并提取出與由特定部所確定的圖像區(qū)域?qū)?yīng)的像構(gòu)造，生成像構(gòu)造圖像；和插補功能，對由像構(gòu)造圖像生成部生成的像構(gòu)造圖像和第I拍攝圖像進行合成而對第I拍攝圖像的圖像區(qū)域進行插補。
[0015]根據(jù)本發(fā)明的第9方案，圖像處理裝置具有:幀圖像提取部，其從記錄于記錄部的構(gòu)成動態(tài)圖像的幀圖像中提取需要進行曝光修正的對象幀圖像；特定部，其在對象幀圖像中確定灰階喪失的圖像區(qū)域；推定部，其使用構(gòu)成動態(tài)圖像的對象幀圖像以外的幀圖像來推定灰階喪失的圖像區(qū)域的構(gòu)造；和插補部，其使用基于推定部的推定結(jié)果對幀圖像的灰階喪失的圖像區(qū)域進行插補。
[0016]根據(jù)本發(fā)明的第10方案，在第9方案的圖像處理裝置中優(yōu)選為，特定部基于幀圖像內(nèi)的亮度分布來確定灰階喪失的圖像區(qū)域。
[0017]根據(jù)本發(fā)明的第11方案，在第9或第10方案的圖像處理裝置中優(yōu)選為，推定部使用對象幀圖像以外的幀圖像來生成灰階喪失的圖像區(qū)域的紋理圖像，插補部將紋理圖像與全黑區(qū)域合成來進行插補。
[0018]根據(jù)本發(fā)明的第12方案，在第9方案至第11方案的任一圖像處理裝置中優(yōu)選為，還具有對被攝物體光進行拍攝的拍攝元件，記錄部記錄基于來自拍攝元件的拍攝信號的動態(tài)圖像。
[0019]發(fā)明效果
[0020]根據(jù)本發(fā)明，能夠?qū)θ凇⑷?、顏色飽和等實質(zhì)缺乏灰階變化的圖像區(qū)域進行適當(dāng)插補。
【專利附圖】

【附圖說明】
[0021]圖1是表示第I實施方式的數(shù)碼相機的系統(tǒng)結(jié)構(gòu)的框圖。
[0022]圖2是表示基于第I實施方式的數(shù)碼相機的動態(tài)畫面拍攝處理的流程圖。
[0023]圖3是表示動態(tài)畫面拍攝中的、各幀圖像的規(guī)定區(qū)域的亮度伴隨時間經(jīng)過的推移的曲線圖。
[0024]圖4的(a)是在圖3的時間t=4生成的幀圖像。圖4的(b)是表示對圖4的(a)的幀圖像進行了基于色調(diào)曲線(tone curve)的曝光修正后的圖像的圖。
[0025]圖5是表示從幀圖像確定的全黑區(qū)域的圖。
[0026]圖6是在圖3的時間t=3生成的幀圖像。
[0027]圖7是基于在圖3的時間t=3生成的幀圖像的紋理圖像。
[0028]圖8是表示與全黑區(qū)域相當(dāng)?shù)募y理圖像的圖。
[0029]圖9的(a)是表示通過合成紋理圖像對全黑區(qū)域進行插補而得到的幀圖像的圖。圖9的(b)是表示對圖9的(a)的幀圖像進行基于色調(diào)曲線的曝光修正而得到的圖像的圖。
[0030]圖10是表示作為第2實施方式的圖像處理裝置的數(shù)碼相機的系統(tǒng)結(jié)構(gòu)的框圖。[0031]圖11的(a)是喪失灰階的圖像的一例，是表示由于全黑而導(dǎo)致灰階喪失的圖像的圖。圖11的(b)是沒有喪失灰階的圖像的一例。圖11的(C)是例示由特定部確定的圖像區(qū)域的圖。
[0032]圖12是表示對圖11的(a)的圖像進行基于色調(diào)曲線的曝光修正而得到的圖像的一例的圖。
[0033]圖13是表示特定部的處理的流程圖。
[0034]圖14的(a)是表示圖11的(b)的圖像的像構(gòu)造的圖。圖14的(b)是表示像構(gòu)造圖像的一例的圖。
[0035]圖15是表示像構(gòu)造圖像生成部的處理的流程圖。
[0036]圖16是表示插補部的處理的流程圖。
[0037]圖17的(a)是表示對像構(gòu)造圖像進行半透明合成而得到的圖像的一例的圖。圖17的(b)是表示對圖17的(a)的圖像進行基于色調(diào)曲線的曝光修正而得到的圖像的一例的圖。
[0038]圖18是表示圖像處理裝置的灰階插補處理的流程圖的一例。
[0039]圖19是與圖13中的第I閾值及第2閾值的設(shè)定處理相關(guān)的流程圖。
[0040]圖20是與圖13中的第I閾值及第2閾值的設(shè)定處理相關(guān)的流程圖。
[0041]圖21是表示亮度直方圖的分割例的圖。
[0042]圖22是表示控制程序的提供情況的圖。
【具體實施方式】
[0043](第I實施方式)
[0044]以下，參照附圖，對作為本發(fā)明的實施方式的圖像處理裝置的數(shù)碼相機進行說明。圖1是表示實施方式的數(shù)碼相機的系統(tǒng)結(jié)構(gòu)的框圖。如圖1所示，數(shù)碼相機2具有控制部4，該控制部4由微處理器等構(gòu)成，統(tǒng)括地控制數(shù)碼相機2的各部分。在控制部4上連接有顯示部6、拍攝元件8、操作部10、記錄介質(zhì)12、存儲部14及緩沖存儲器16。
[0045]顯示部6設(shè)置在數(shù)碼相機2的殼體背面，根據(jù)基于來自拍攝元件8的拍攝信號的實時取景圖像(live-view image)或記錄在記錄介質(zhì)12中的圖像數(shù)據(jù)來顯示靜態(tài)圖像或動態(tài)圖像。拍攝元件8由CCD或CMOS等構(gòu)成，對經(jīng)由攝影透鏡18的被攝物體光進行拍攝并將拍攝信號輸出到控制部4?？刂撇?對從拍攝元件8輸出的拍攝信號進行分辨率調(diào)整、曝光調(diào)整等圖像處理而生成動態(tài)圖像、實時取景圖像等的圖像數(shù)據(jù)。
[0046]操作部10包括以下部分而構(gòu)成:進行釋放指示的釋放按鈕、使對被攝物體進行拍攝的攝影模式進行切換的模式按鈕、在菜單項目等的選擇和各種設(shè)定時操作的十字鍵、和對菜單項目等的選擇和各種設(shè)定進行確認(rèn)操作的確認(rèn)按鈕等。
[0047]記錄介質(zhì)12為能夠裝拆地安裝在卡槽(未圖示)中的具有可攜帶性的例如CF卡、SD卡、智能媒介等。在該記錄介質(zhì)12中記錄有在控制部4中生成的靜態(tài)圖像數(shù)據(jù)和動態(tài)圖像數(shù)據(jù)。
[0048]存儲部14存儲用于從基于在進行動態(tài)畫面拍攝時拍攝元件8所輸出的拍攝信號而得到的幀圖像的亮度分布中，將亮度為零或規(guī)定值以下的像素組確定為幀圖像的全黑區(qū)域的面積值等。緩沖存儲器16在進行動態(tài)圖像的拍攝的情況下暫時存儲基于來自拍攝元件8的拍攝信號的幀圖像。
[0049]接下來，參照圖2所示的流程圖對基于數(shù)碼相機2的動態(tài)圖像拍攝處理進行說明。首先，使用者通過操作部10來設(shè)定動態(tài)畫面拍攝模式，按下指示開始拍攝動態(tài)畫面的釋放按鈕。由此控制部4開始動態(tài)圖像的拍攝，基于來自拍攝元件8的拍攝信號而生成幀圖像并存儲到緩沖存儲器16中。此外，控制部4直到使用者通過再次按下釋放按鈕來指示動態(tài)畫面拍攝結(jié)束之前，持續(xù)地向緩沖存儲器16存儲幀圖像。
[0050]控制部4按時間從舊到新的順序讀取存儲在緩沖存儲器16中的幀圖像(步驟SI)。控制部4檢測所讀取的幀圖像的亮度分布(步驟S2)，將檢測出的亮度分布暫時存儲在存儲部14中。
[0051]控制部4對最先讀取的幀圖像實施白平衡和/或輪廓強調(diào)等規(guī)定的圖像處理并將其記錄到記錄介質(zhì)12中。控制部4將對第二個以后讀取的幀圖像檢測出的亮度分布與存儲在存儲部14中的前一幀圖像的亮度分布進行比較，基于該比較結(jié)果判斷是否需要對幀圖像進行曝光調(diào)整(步驟S3)。即，控制部4根據(jù)與前一幀圖像的亮度分布的比較結(jié)果，在當(dāng)前幀圖像的明部衰減一定量的情況下，判斷成需要對當(dāng)前幀圖像進行曝光調(diào)整(步驟S3:是)，并提取為需要進行曝光調(diào)整的對象幀圖像。
[0052]控制部4在對象幀圖像中確定全黑區(qū)域(步驟S4)。具體而言，控制部4在亮度為零或規(guī)定值以下的像素組的面積中，將存儲在存儲部14中的面積值以上的面積的像素組確定為全黑區(qū)域。
[0053]在此，圖3是表示動態(tài)畫面拍攝中的、各幀圖像的規(guī)定區(qū)域的亮度伴隨時間經(jīng)過的推移的曲線圖，橫軸表示時間(t)，縱軸表示亮度(Y)，示出了在時間t=4生成的幀圖像的規(guī)定區(qū)域的亮度與前后的幀圖像的規(guī)定區(qū)域的亮度相比大幅降低的情況。此外，規(guī)定區(qū)域是在時間t=4確定為全黑區(qū)域的區(qū)域。在該圖3所示的基于動態(tài)畫面拍攝的動態(tài)圖像中，由于在時間t=4生成的幀圖像的規(guī)定區(qū)域的亮度與前后的幀圖像的規(guī)定區(qū)域的亮度相比大幅降低，所以將在時間t=4生成的幀圖像提取為需要進行曝光調(diào)整的對象幀圖像，并在該對象幀圖像中確定全黑區(qū)域。
[0054]在此，在動態(tài)圖像拍攝的對象為在室內(nèi)拍攝從窗戶看到的風(fēng)景這樣的對象的情況下，在時間t=4生成的幀圖像如圖4的(a)所示那樣，從窗戶看到的風(fēng)景明亮地顯示、除此以外的部分昏暗地顯示的情況下，即使對該幀圖像進行基于色調(diào)曲線(tone curve)的灰階調(diào)整或提高增益的調(diào)整等，也如圖4的(b)所示那樣，雖然明亮地拍下的風(fēng)景構(gòu)造顯現(xiàn)出來，但全黑區(qū)域依舊昏暗。此外，分別在圖11的(a)和圖12中示出示意地表示圖4的(a)和圖4的(b)的圖。
[0055]因此，控制部4確定全黑區(qū)域并推定全黑區(qū)域的構(gòu)造。即，在將圖4的(a)所示的幀圖像提取為對象幀圖像的情況下，控制部4如圖5所示那樣將從窗戶看到的風(fēng)景以外的部分確定為全黑區(qū)域。然后，控制部4對所確定的全黑區(qū)域的構(gòu)造進行推定(步驟S5)。BP,控制部4進行對象幀圖像與其前后生成的任意幀圖像的對位處理并對與全黑區(qū)域相當(dāng)?shù)牟课坏臉?gòu)造進行推定。此外，在圖11的(a)和圖11的(c)中分別示出示意地表示圖4的(a)和圖5的圖。
[0056]此外,關(guān)于對位處理,只要適用作為公知技術(shù)的垂直方向、水平方向、旋轉(zhuǎn)方向、標(biāo)度變更、仿射變換等基于多軸的LK法，就能夠高精度地進行與全黑區(qū)域相當(dāng)?shù)奈矬w的對位。換言之，對位處理只要適用作為公知技術(shù)的使用了垂直方向及水平方向的平行移動、旋轉(zhuǎn)、標(biāo)度變更、仿射變換等操作的Lucas-Kanade法，就能夠高精度地進行與全黑區(qū)域相當(dāng)?shù)奈矬w的對位。
[0057]S卩，例如在使用記錄于緩沖存儲器16的在時間t=3生成的幀圖像(以下，稱作前幀圖像)來進行全黑區(qū)域的構(gòu)造推定的情況下，控制部4首先如圖6所示那樣生成拍下全黑區(qū)域的構(gòu)造的前幀圖像的紋理圖像。該紋理圖像如圖7所示，為顯示了包含全黑區(qū)域在內(nèi)的前幀圖像的構(gòu)造的圖像。接著，控制部4基于紋理圖像來推定全黑區(qū)域、即如圖8所示那樣從窗戶看到的風(fēng)景以外的區(qū)域的構(gòu)造。此外，分別在圖11的(b)、圖14的(a)、圖14的(b)中示出示意地表示圖6、圖7、圖8的圖。
[0058]控制部4使用所推定的全黑區(qū)域的構(gòu)造來進行全黑區(qū)域的插補(步驟S6)。S卩，控制部4在對象幀圖像中的全黑區(qū)域合成從紋理圖像推定的構(gòu)造。由此，對象幀圖像成為圖9的(a)所示那樣具有全黑區(qū)域的構(gòu)造信息的幀圖像。因此，通過由控制部4對對象幀圖像進行基于色調(diào)曲線的灰階調(diào)整，如圖9的(b)所示，能夠得到顯現(xiàn)出全黑區(qū)域的構(gòu)造的幀圖像。此外，分別在圖17的(a)和圖17的(b)中不出不意地表不圖9的(a)和圖9的(b)的圖。
[0059]控制部4在步驟S6中進行了全黑區(qū)域的插補之后，或在步驟S3中判斷成不需要進行曝光調(diào)整的情況(步驟S3:否)下，對幀圖像進行規(guī)定的圖像處理并記錄到記錄介質(zhì)12中(步驟S7)。在將幀圖像記錄到記錄介質(zhì)12中之后，控制部4判斷在緩沖存儲器16中是否存留有幀圖像(步驟S8)?？刂撇?在判斷成在緩沖存儲器16中存留有幀圖像時(步驟S8:是)，返回到步驟SI，讀取下一幅幀圖像，并檢測該幀圖像的亮度分布。另外，控制部4在判斷成在緩沖存儲器16中沒有存留幀圖像時(步驟S8:否)，結(jié)束動態(tài)圖像拍攝處理。
[0060]在本實施方式的數(shù)碼相機中，能夠生成對全黑區(qū)域的紋理進行了插補的幀圖像。因此，即使在曝光調(diào)整中進行增益處理的情況下也能夠生成沒有不協(xié)調(diào)感的圖像。另外，由于僅對對象幀圖像中的全黑區(qū)域進行插補，所以能夠防止如HDR合成那樣在合成兩幅幀圖像時背景等模糊地拍出的情況。
[0061]此外，在上述實施方式中，在動態(tài)畫面拍攝時，以進行幀圖像中的全黑區(qū)域的插補的情況為例進行了說明，但也可以在動態(tài)畫面拍攝后進行全黑區(qū)域的插補。在該情況下，只要在記錄于記錄介質(zhì)12的各幀圖像中，與前后的幀圖像比較亮度分布，并根據(jù)比較結(jié)果提取出需要進行曝光調(diào)整的幀圖像，使用提取出的幀圖像的前后的幀圖像來進行上述的全黑區(qū)域的推定和全黑區(qū)域的插補即可。
[0062]另外，全黑區(qū)域的構(gòu)造推定也可以使用如下方法:在前后的幀圖像的對位處理后將全黑區(qū)域細分化成小區(qū)域，計算出各小區(qū)域的矢量，并根據(jù)前后的幀圖像與成為對象的幀圖像的比例分配來推定構(gòu)造。
[0063]而且，在本申請中以圖像的全黑為例進行了說明，但第I實施方式當(dāng)然不限于圖像的全黑，也能夠適用于全白、灰階飽和等、缺乏圖像灰階的區(qū)域的插補。
[0064]以上，使用上述實施方式說明了本發(fā)明，但本發(fā)明的技術(shù)范圍不限定于上述實施方式所記載的范圍。
[0065](第2實施方式)
[0066]對作為本發(fā)明的第2實施方式的圖像處理裝置的數(shù)碼相機進行說明。圖10是數(shù)碼相機I的結(jié)構(gòu)框圖。數(shù)碼相機I能夠進行靜態(tài)圖像的拍攝、動態(tài)圖像的拍攝、連續(xù)拍攝。如圖10所示,數(shù)碼相機I具有控制部3、顯示部5、拍攝元件7、操作部9、記錄介質(zhì)11、存儲部13、緩沖存儲器15、和攝影透鏡17。
[0067]控制部3例如由微處理器等構(gòu)成?？刂撇?通過執(zhí)行存儲在存儲部13中的與數(shù)碼相機I的控制相關(guān)的控制程序131，能夠控制數(shù)碼相機I的各部分。例如，控制部3作為將在后詳細說明的圖像處理部31而發(fā)揮功能。
[0068]顯示部5例如是設(shè)置在數(shù)碼相機I的殼體背面的液晶顯示裝置。
[0069]在顯示部5上顯示有例如各種菜單畫面、基于來自拍攝元件7的拍攝信號的實時取景圖像、基于記錄在記錄介質(zhì)11中的圖像數(shù)據(jù)的靜態(tài)圖像和動態(tài)圖像等。
[0070]拍攝元件7例如由CXD或CMOS等構(gòu)成。從攝影透鏡17通過的來自被攝物體的光束被引導(dǎo)到拍攝元件7的拍攝面。拍攝元件7對在其拍攝面成像的被攝物體像進行拍攝。在拍攝元件7的拍攝面上，例如以拜耳(bayer)陣列配置有:設(shè)有紅色(R)濾光片的拍攝像素、設(shè)有綠色(G)濾光片的拍攝像素、和設(shè)有藍色(B)濾光片的拍攝像素。拍攝元件7將RGB表色系的拍攝信號向控制部3輸出?？刂撇?將拍攝信號A/D轉(zhuǎn)換成規(guī)定灰階(例如，256灰階)的數(shù)字信號，并且在圖像處理部31中進行各種圖像處理，從而生成動態(tài)圖像、靜態(tài)圖像、實時取景圖像等的圖像數(shù)據(jù)。
[0071]操作部9包括供使用者對數(shù)碼相機I進行輸入操作的操作部件。例如，在操作部9中例如包含以下部件而構(gòu)成:數(shù)碼相機I的電源開關(guān)、進行釋放指示的釋放按鈕、使對被攝物體進行拍攝的拍攝模式進行切換的模式按鈕、在菜單項目等的選擇和各種設(shè)定時操作的十字鍵、用于對菜單項目等的選擇和各種設(shè)定進行確認(rèn)操作的確認(rèn)按鈕等。
[0072]記錄介質(zhì)11具有非易失性存儲區(qū)域。記錄介質(zhì)11例如通過CF卡、S D卡等而安裝。在記錄介質(zhì)11中記錄有控制部3所生成的圖像數(shù)據(jù)等。
[0073]存儲部13由ROM、硬盤、閃存等構(gòu)成。在存儲部13中存儲有控制程序131，并且存儲有與數(shù)碼相機I的設(shè)定相關(guān)的信息等。
[0074]緩沖存儲器15由RAM等構(gòu)成，具有暫時存儲數(shù)據(jù)的存儲區(qū)域。例如在進行動態(tài)圖像的拍攝時，在緩沖存儲器15中暫時存儲有每一幀的圖像。此外，各幀的圖像基于來自拍攝元件7的拍攝信號而由圖像處理部31而生成。
[0075]在使用數(shù)碼相機I等拍攝裝置的拍攝中，在沒有適當(dāng)?shù)剡M行與曝光等相關(guān)的設(shè)定的情況下，存在在圖像數(shù)據(jù)中產(chǎn)生稱作全黑或全白的現(xiàn)象的情況。全黑是指被攝物體像的昏暗部分中的灰階喪失的狀態(tài)，例如被攝物體像的與昏暗部分對應(yīng)的各像素位置的亮度全部為最小值(例如，零)的狀態(tài)。全白是指被攝物體像的明亮部分中的灰階喪失的狀態(tài)，例如被攝物體像的與明亮部分對應(yīng)的各像素位置的亮度全部為最大值的狀態(tài)。
[0076]另外，在使用數(shù)碼相機I等拍攝裝置的拍攝中，在沒有適當(dāng)?shù)剡M行與對比度等相關(guān)的設(shè)定的情況下，存在產(chǎn)生稱作顏色飽和的現(xiàn)象的情況。顏色飽和是指被攝物體像的相同色相部分中的灰階喪失的狀態(tài)，例如拍攝到規(guī)定色相的被攝物體(例如，紅色的花)的像素位置的彩度全部為最大值的狀態(tài)。
[0077]喪失的灰階無法在基于色調(diào)曲線等的調(diào)整中恢復(fù)。例如，即使對發(fā)生全黑的圖像區(qū)域(像素塊)進行基于色調(diào)曲線等的調(diào)整，也僅使該發(fā)生全黑的圖像區(qū)域變得同樣地明売。[0078]圖像處理部31為了對這樣的喪失灰階的圖像進行插補而能夠執(zhí)行稱作灰階插補處理的圖像處理。圖10圖示出用于灰階插補處理的特定部311、像構(gòu)造圖像生成部312、插補部313和閾值設(shè)定部314。
[0079](特定部311)
[0080]特定部311根據(jù)數(shù)碼相機I所拍攝且記錄在緩沖存儲器15或記錄介質(zhì)11中的圖像數(shù)據(jù)來確定符合以下條件的圖像區(qū)域(像素塊)，并將成為灰階插補處理的對象的圖像的圖像數(shù)據(jù)記錄到緩沖存儲器15中。
[0081]第I條件:亮度為第I閾值以下的像素連結(jié)了規(guī)定數(shù)以上的圖像區(qū)域(像素塊)
[0082]第2條件:亮度為第2閾值以上的像素連結(jié)了規(guī)定數(shù)以上的圖像區(qū)域(像素塊)
[0083]第3條件:彩度為第3閾值以上的像素連結(jié)了規(guī)定數(shù)以上的圖像區(qū)域(像素塊)
[0084]在符合第I條件的圖像區(qū)域(像素塊)中，包括發(fā)生了全黑的像素。在符合第2條件的圖像區(qū)域(像素塊)中，包括發(fā)生了全白的像素。在符合第3條件的圖像區(qū)域(像素塊)中，包括發(fā)生了顏色飽和的像素。第I閾值、第2閾值、第3閾值可以作為預(yù)先設(shè)定的規(guī)定值，也可以通過閾值設(shè)定部314來改變該設(shè)定值。
[0085]使用圖11的(a)_ (c)來說明特定部311。在圖11的(a)中例示出發(fā)生了全黑的拍攝圖像100。圖11的(b)示出適當(dāng)?shù)卦O(shè)定數(shù)碼相機I的曝光并對與圖11的(a)相同的被攝物體進行拍攝而得到的拍攝圖像。此外，在圖11以后的附圖中，每一個拍攝像素的亮度以陰影線的濃度來表現(xiàn)，陰影線越濃表示越昏暗。
[0086]在圖11的(b)所例示的拍攝圖像110中，拍攝到窗戶的圖像區(qū)域101、和基于文字“SOUTH EAST”的引導(dǎo)顯示的文字像102。圖11的(a)的拍攝圖像100與圖11的(b)的拍攝圖像110相比整體上昏暗，在窗戶的圖像區(qū)域101以外的圖像區(qū)域103發(fā)生了全黑。因此，在圖11的(a)中，與引導(dǎo)顯示的文字像102相關(guān)的灰階喪失。此外，即使對圖11的(a)的拍攝圖像100適用采用了色調(diào)曲線的曝光調(diào)整，也如圖12所示的圖像130那樣，因全黑而喪失的與引導(dǎo)顯示的文字像102相關(guān)的灰階不會恢復(fù)。
[0087]圖11的(C)例示出對圖11的(a)的拍攝圖像100適用了特定部311的處理而得到的圖像120。在圖11的(c)所示的圖像120中，從圖11的(a)中通過特定部311確定符合第I條件的圖像區(qū)域103。另外，在圖像120中，在圖11的(a)中沒有喪失灰階的窗戶的圖像區(qū)域101的像沒有被特定部311確定出。
[0088]圖13是與特定部311相關(guān)的流程圖的一例。關(guān)于圖13所示的處理，在將圖像數(shù)據(jù)記錄到緩沖存儲器15時通過控制部3而執(zhí)行。在步驟S200中，控制部3提取出亮度為第I閾值以下的像素連結(jié)了規(guī)定數(shù)以上的圖像區(qū)域。通過該處理提取出符合第I條件的圖像區(qū)域。在步驟S201中，控制部3將與在步驟S200中提取出的圖像區(qū)域相關(guān)的圖像數(shù)據(jù)記錄到緩沖存儲器15中。在圖11所示的例子中，控制部3將與圖11的(c)的圖像120相關(guān)的圖像數(shù)據(jù)記錄到緩沖存儲器15中。
[0089]在步驟S202中，控制部3提取出亮度為第2閾值以上的像素連結(jié)了規(guī)定數(shù)以上的圖像區(qū)域。通過該處理提取出符合第2條件的圖像區(qū)域。在步驟S203中，控制部3將與在步驟S202中提取出的圖像區(qū)域相關(guān)的圖像數(shù)據(jù)記錄到緩沖存儲器15中。此外，在圖11所示的例子中，不存在滿足第2條件的區(qū)域。
[0090]在步驟S204中，控制部3提取出彩度為第3閾值以上的像素連結(jié)了規(guī)定數(shù)以上的圖像區(qū)域。通過該處理提取出符合第3條件的圖像區(qū)域。在步驟S205中，控制部3將與在步驟S204中提取出的圖像區(qū)域相關(guān)的圖像數(shù)據(jù)記錄到緩沖存儲器15中。此外，在圖11所示的例子中，不存在滿足第3條件的區(qū)域。
[0091]以后，將通過特定部311而確定了圖像區(qū)域的拍攝圖像的圖像信息稱作插補圖像數(shù)據(jù)K。另外，將通過特定部311而記錄在緩沖存儲器15中的與符合第I條件、第2條件或第3條件的圖像區(qū)域相關(guān)的圖像數(shù)據(jù)稱作對象圖像數(shù)據(jù)GT。此外，對象圖像數(shù)據(jù)Gt作為按所符合的條件而不同的圖像信息記錄在緩沖存儲器15中。在對象圖像數(shù)據(jù)Gt中，關(guān)于沒有被特定部311確定的圖像區(qū)域，存儲有規(guī)定的屏蔽用數(shù)據(jù)。
[0092](像構(gòu)造圖像生成部312)
[0093]像構(gòu)造圖像生成部312確定特定部311所確定的圖像區(qū)域的像構(gòu)造。在本發(fā)明中，像構(gòu)造是指，該圖像區(qū)域的內(nèi)側(cè)的亮度的灰階信息、和位于該圖像區(qū)域的內(nèi)側(cè)的邊緣信息。像構(gòu)造圖像生成部312針對推定出的像構(gòu)造而生成稱作像構(gòu)造圖像的圖像數(shù)據(jù)。例如圖14的(b)是針對圖11的(C)的像構(gòu)造圖像。在圖14的(b)中，提取出圖14的(a)的圖像區(qū)域中的與圖11的(c)的圖像區(qū)域103對應(yīng)的區(qū)域。
[0094]像構(gòu)造圖像生成部312基于稱作參照圖像數(shù)據(jù)Gk的圖像信息和對象圖像數(shù)據(jù)Gt而生成像構(gòu)造圖像數(shù)據(jù)。參照圖像數(shù)據(jù)Gk是存儲在記錄介質(zhì)11、存儲部13、緩沖存儲器15等中的圖像數(shù)據(jù)，是與插補前圖像數(shù)據(jù)Gtl不同的圖像數(shù)據(jù)，且是對與插補前拍攝圖像數(shù)據(jù)G0相同的被攝物體進行拍攝而得到的圖像數(shù)據(jù)。參照圖像數(shù)據(jù)Gk可以由使用者從存儲在記錄介質(zhì)11、存儲部13、緩沖存儲器15等中的圖像數(shù)據(jù)中進行選擇，也可以是由像構(gòu)造圖像生成部312從該圖像數(shù)據(jù)中進行選擇的結(jié)構(gòu)。
[0095]參照圖像數(shù)據(jù)Gk優(yōu)選為沒有被特定部311確定出任何圖像區(qū)域那樣的拍攝圖像數(shù)據(jù)，至少優(yōu)選為沒有通過與供確定插補對象即插補前圖像數(shù)據(jù)Gtl的條件相同種類的條件而確定的拍攝圖像的圖像信息。在插補前圖像數(shù)據(jù)Gtl為拍攝中的動態(tài)圖像的幀圖像的情況下，只要選擇與當(dāng)前幀的亮度分布相比較而暗部或明部的亮度(彩度)為規(guī)定量以上的不同的幀圖像即可。對與第I條件相關(guān)的對象圖像數(shù)據(jù)Gt只要選擇明部的亮度為規(guī)定量以上的不同的幀圖像即可，對與第2條件相關(guān)的對象圖像數(shù)據(jù)Gt只要選擇暗部的亮度為規(guī)定量以上的不同的幀圖像即可，對與第3條件相關(guān)的對象圖像數(shù)據(jù)Gt只要選擇圖像整體的彩度為規(guī)定值以上的不同的幀圖像即可。
[0096]圖15是與像構(gòu)造圖像生成部312相關(guān)的流程圖的一例。圖15的處理通過控制部3而執(zhí)行。在圖15的處理開始前，選擇參照圖像數(shù)據(jù)GK。
[0097]在步驟S401中，控制部3使用插補前圖像數(shù)據(jù)Gtl和參照圖像數(shù)據(jù)Gk來進行圖像的對位處理。在對位處理中，采用Lucas-Kanade法、Block Matching法等公知方法即可。
[0098]在步驟S402中，控制部3對對位后的參照圖像數(shù)據(jù)Gk進行邊緣檢測?？刂撇?僅生成與通過邊緣檢測而檢測到的邊緣的邊緣圖像相關(guān)的圖像數(shù)據(jù)Ge。在步驟S403中，控制部3生成僅提取出對位后的參照圖像數(shù)據(jù)Gk的亮度的灰階信息而得到的圖像數(shù)據(jù)Ges。例如，控制部3將對位后的參照圖像數(shù)據(jù)Gk轉(zhuǎn)換成灰色標(biāo)度(gray scale)，進而通過進行規(guī)定的灰階轉(zhuǎn)換而生成圖像數(shù)據(jù)Ges。
[0099]在步驟S404中，控制部3對在步驟S402中生成的圖像數(shù)據(jù)Ge和在步驟S403中生成的圖像數(shù)據(jù)Ges進行半透明合成，生成合成圖像數(shù)據(jù)GC1。在半透明合成中，只要采用例如alpha混合等公知方法即可。圖14的(a)是表示在步驟S404中生成的合成圖像的一例的圖。在圖14的(a)所示的合成圖像140中，包括窗戶的圖像區(qū)域101及窗戶的圖像區(qū)域101以外的圖像區(qū)域103的邊緣及亮度的灰階信息。
[0100]在步驟S405中，控制部3基于對象圖像數(shù)據(jù)Gt和圖像數(shù)據(jù)Ga而生成像構(gòu)造圖像的圖像數(shù)據(jù)GIS。例如，基于對象圖像數(shù)據(jù)Gt所包含的屏蔽用數(shù)據(jù)，將圖像數(shù)據(jù)Ga中的與沒有被特定部311確定的圖像區(qū)域?qū)?yīng)的圖像數(shù)據(jù)變更成規(guī)定的屏蔽用數(shù)據(jù)。圖14的(b)是表示像構(gòu)造圖像的一例的圖。在圖14的(b)所示的像構(gòu)造圖像150中，提取出圖14的(a)的合成圖像140中的與圖11的(c)的圖像區(qū)域103相當(dāng)?shù)膱D像。換言之，提取出儲存有屏蔽用數(shù)據(jù)的圖像120的窗戶的圖像區(qū)域101的內(nèi)側(cè)的圖像區(qū)域以外的區(qū)域。
[0101]此外，在本實施例中，示出了在圖像數(shù)據(jù)中僅包括滿足第I條件的區(qū)域的情況，但在同時存在全白和灰階飽和等多種條件的情況下，將滿足彼此條件的區(qū)域數(shù)據(jù)也變更成屏蔽用數(shù)據(jù)。例如，在插補對象圖像同時存在滿足第2條件的區(qū)域和滿足第3條件的區(qū)域的情況下，為了提取出第2數(shù)據(jù)區(qū)域而將不滿足第2數(shù)據(jù)條件的圖像區(qū)域(滿足第3條件的區(qū)域和不滿足第I?第3條件的區(qū)域)變更成屏蔽數(shù)據(jù)，為了提取出第3數(shù)據(jù)區(qū)域而將不滿足第3條件的圖像區(qū)域(滿足第2條件的區(qū)域和不滿足第I?第3條件的區(qū)域)變更成屏蔽數(shù)據(jù)。
[0102](插補部313)
[0103]插補部313使用由像構(gòu)造圖像生成部312生成的像構(gòu)造圖像的圖像數(shù)據(jù)Gis來對插補前圖像數(shù)據(jù)Gtl進行插補。圖16是關(guān)于插補部313的流程圖的一例。
[0104]在圖16的步驟S600中，控制部3將像構(gòu)造圖像的圖像數(shù)據(jù)Gis與插補前圖像數(shù)據(jù)G0半透明合成而生成合成圖像的圖像數(shù)據(jù)GC2。在半透明合成中，只要采用例如alpha混合等公知方法即可。
[0105]圖17的(a)是表示在步驟S600中生成的合成圖像的一例的圖。圖17的(a)例示出將圖14的(b)的像構(gòu)造圖像150與圖11的(a)的拍攝圖像100半透明合成而得到的合成圖像160。
[0106]在本發(fā)明中，將像構(gòu)造與插補前圖像數(shù)據(jù)Gtl中的實際喪失灰階的圖像區(qū)域半透明合成，由此能夠恢復(fù)灰階。另外，根據(jù)本發(fā)明，通過特定部311確定插補對象圖像中的喪失像構(gòu)造的區(qū)域，并僅合成與所確定的區(qū)域?qū)?yīng)的像構(gòu)造圖像區(qū)域。因此，由于不像HDR那樣在保持圖像整體的灰階的狀態(tài)下對連續(xù)拍攝的多個拍攝圖像數(shù)據(jù)進行合成處理，所以能夠?qū)崿F(xiàn)自然且沒有不協(xié)調(diào)感的插補圖像。
[0107]在步驟S601中，控制部3對合成圖像的圖像數(shù)據(jù)Gc2進行采用了色調(diào)曲線的曝光修正。圖17的(b)的圖像170示出對圖17的(a)所例示的合成圖像160進行采用了色調(diào)曲線的曝光修正的結(jié)果。在圖17的(b)所示的圖像170中，適當(dāng)?shù)匦拚艘龑?dǎo)顯示的文字像 102。
[0108]在步驟S601中，在對符合第I條件的圖像區(qū)域進行插補的情況下，控制部3通過采用了色調(diào)曲線的曝光修正以使合成圖像整體變得明亮的方式進行曝光修正。另外，在對符合第2條件的圖像區(qū)域進行插補的情況下，控制部3通過采用了色調(diào)曲線的曝光修正以使合成圖像整體變得昏暗的方式進行曝光修正。在對符合第3條件的圖像區(qū)域進行插補的情況下，控制部3基于合成圖像整體的亮度分布來進行采用了色調(diào)曲線的曝光修正。[0109]在步驟S602中，控制部3將曝光修正后的合成圖像的圖像數(shù)據(jù)Gc2記錄到緩沖存儲器15中?？刂撇?也可以使用該圖像數(shù)據(jù)來替換插補前圖像數(shù)據(jù)G。。
[0110]圖18是與采用以上說明的各處理的對喪失灰階的圖像進行插補的處理整體相關(guān)的流程圖。關(guān)于圖18所示的處理，在例如拍攝動態(tài)圖像時，在對前幀的亮度分布和當(dāng)前幀的亮度分布進行比較時，在當(dāng)前幀的明部或暗部增減了規(guī)定量以上的情況下，開始其執(zhí)行。
[0111]在圖18的步驟S800中，控制部3執(zhí)行圖13所示那樣的特定部311的處理。在步驟S801中，控制部3判斷是否通過特定部311確定了符合第I條件、第2條件及第3條件中的某一個的圖像區(qū)域?？刂撇?在步驟S801為肯定判斷時使處理進入到步驟S802，在步驟S801為否定判斷時結(jié)束灰階插補處理。在步驟S802中，執(zhí)行圖15所示的像構(gòu)造圖像生成部312的處理。在步驟S803中，執(zhí)行圖16所示的插補部313的處理。
[0112](閾值設(shè)定部314)
[0113]閾值設(shè)定部314分別改變上述的第I條件的第I閾值、第2條件的第2閾值、第3條件的第3閾值的設(shè)定值。通過使閾值設(shè)定部314改變各閾值的設(shè)定值，在動態(tài)圖像的拍攝和靜態(tài)圖像的連續(xù)拍攝等中，能夠通過特定部311確定適當(dāng)?shù)膱D像區(qū)域。以下，使用拍攝動態(tài)圖像中的第I閾值的設(shè)定為例進行說明。
[0114]圖19及圖20是與拍攝動態(tài)圖像時的第I閾值的設(shè)定方法相關(guān)的流程圖。關(guān)于圖19的處理，例如在拍攝動態(tài)畫面時，在圖18的步驟S800的處理開始時開始執(zhí)行。此外，在連續(xù)拍攝靜態(tài)圖像時也能夠執(zhí)行相同的處理。
[0115]在圖19的步驟S1000中，控制部3將第I閾值初始化成規(guī)定的設(shè)定值。例如，在亮度的灰階為256灰階的情況下,控制部3將第I閾值設(shè)定為零。
[0116]在步驟S1001中，控制部3針對當(dāng)前幀及前幀的幀圖像生成亮度直方圖。在步驟S1002中，控制部3以規(guī)定的亮度值C3為邊界將當(dāng)前幀的亮度直方圖分割成至少兩組，即能夠檢測到全黑的亮度區(qū)域0-C3和不能檢測到全黑的亮度區(qū)域C3-255。
[0117]圖21的(a)是插補對象圖像即當(dāng)前幀的亮度直方圖，圖21的(b)是表示參照圖像即前幀的亮度直方圖的一例的圖。在圖21中，以用于判斷全黑的規(guī)定的亮度值為邊界將亮度O至C3分割成三組，即O以上不足Cl的組、Cl以上不足C2的組、C2以上不足C3的組。
[0118]在步驟S1003中，控制部3計算對當(dāng)前幀的幀圖像計算出的與組O-Cl相關(guān)的亮度的積分值Maff1、和對前幀的幀圖像計算出的該組O-Cl的亮度的積分值Mpkev之間的差分Λ Ml。
[0119]在步驟S1004中，控制部3判斷差分ΛΜ1是否為規(guī)定值以上?？刂撇?在步驟S1004為肯定判斷的情況下使處理進入到步驟S1005，在步驟S1004為否定判斷的情況下使處理進入到圖20的步驟S1006。
[0120]在步驟S1005中，控制部3將第I閾值變更為組O-Cl中的最大亮度值。
[0121]在圖20的步驟S1006中，控制部3計算對當(dāng)前幀的幀圖像計算出的與組C1-C2相關(guān)的積分值Mcuk、和對前幀的幀圖像計算出的該組C1-C2的積分值Mpkev之間的差分ΛΜ2。在步驟S1007中，控制部3判斷差分Λ M2是否為規(guī)定值以上?？刂撇?在步驟S1007為肯定判斷的情況下使處理進入到步驟S1008，在步驟S1007為否定判斷的情況下使處理進入到步驟S1009。
[0122]在步驟S1008中，控制部3將第I閾值變更為組C1-C2中的最大亮度值。[0123]在步驟S1009中，控制部3計算對當(dāng)前幀的幀圖像計算出的與組C2-C3相關(guān)的積分值M?、和對前幀的幀圖像計算出的該組C2-C3的積分值Mpkev之間的差分ΛΜ3。在步驟S1010中，控制部3判斷差分Λ M3是否為規(guī)定值以上?？刂撇?在步驟S1010為肯定判斷的情況下使處理進入到步驟S1011，在步驟S1010為否定判斷的情況下結(jié)束圖20的處理。
[0124]在步驟SlOll中，控制部3將第I閾值變更為組C2-C3中的最大亮度值。
[0125]圖19?21的步驟也能夠適用于第2閾值、第3閾值的設(shè)定。在第2閾值的設(shè)定的情況下，例如，將在圖21的(a)、(b)的高亮度側(cè)設(shè)定的判斷成全白的規(guī)定的亮度值作為邊界分成三組，即亮度C4以上不足C5的組、C5以上不足C6的組、C6以上C7以下的組。在設(shè)定用于全白的閾值的情況下，關(guān)于圖19的步驟S1003以后的步驟和圖20的設(shè)定流程，按照以下順序:判斷C6以上不足C7的組中的插補對象圖像與參照圖像的差分是否為規(guī)定值以上，判斷C5以上不足C6的組中的插補對象圖像與參照圖像的差分是否為規(guī)定值以上，判斷C4以上不足C5的組中的插補對象圖像與參照圖像的差分是否為規(guī)定值以上。另外，關(guān)于第3閾值的設(shè)定，也能夠?qū)⑸鲜龅?閾值的設(shè)定說明適用于將“亮度”置換成“彩度”的情況。
[0126]關(guān)于上述閾值分割，在以明度為O至255的256灰階表現(xiàn)的圖像的情況下，例如，將256灰階四等分，將第I閾值的條件設(shè)定成亮度灰階O至63，將適當(dāng)曝光區(qū)域設(shè)定成亮度灰階63至192，將第2閾值的條件設(shè)定成亮度灰階192至255。
[0127]全黑檢測區(qū)域(第I閾值的設(shè)定范圍)、全白檢測區(qū)域(第2閾值的設(shè)定范圍)、彩度飽和檢測區(qū)域(第3閾值的設(shè)定范圍)及這些區(qū)域的分割數(shù)量可以預(yù)先設(shè)定，也可以構(gòu)成為能夠由使用者進行設(shè)定。
[0128]根據(jù)以上說明的實施方式，能夠得到以下作用效果。
[0129]本發(fā)明的控制部3作為特定部311、像構(gòu)造圖像生成部312和插補部313而發(fā)揮功能。特定部311從拍攝到被攝物體像的插補前圖像數(shù)據(jù)Gtl確定全黑區(qū)域等喪失灰階的圖像區(qū)域(圖13)。像構(gòu)造圖像生成部312將拍攝到與拍攝圖像相同的被攝物體的參照圖像數(shù)據(jù)Ge與插補前圖像數(shù)據(jù)Gtl對位(圖15的步驟S401)，并提取出與由特定部311確定的對象圖像數(shù)據(jù)Gt對應(yīng)的像構(gòu)造，生成像構(gòu)造圖像的圖像數(shù)據(jù)Gis (圖15的步驟S405)。插補部313對由像構(gòu)造圖像生成部312生成的像構(gòu)造圖像的圖像數(shù)據(jù)Gis和插補前圖像數(shù)據(jù)Gtl進行半透明合成而對拍攝圖像的對象圖像數(shù)據(jù)Gt進行插補。像這樣，不是對多幅圖像數(shù)據(jù)圖像整體進行合成，而是將對位后的對象圖像數(shù)據(jù)Gt的像構(gòu)造與插補前圖像數(shù)據(jù)Gtl半透明合成，由此，能夠?qū)θ?、全白、顏色飽和等實質(zhì)缺乏灰階變化的圖像區(qū)域適當(dāng)?shù)剡M行插補。
[0130]以上說明的實施方式能夠以如下方式變形而實施。
[0131]本發(fā)明也能夠適用于數(shù)碼相機1、2以外的圖像處理裝置。例如，也能夠適用于與存儲有控制程序131的硬盤或閃存等記錄介質(zhì)連接的個人計算機、移動電話等。
[0132]另外，在適用于例如個人計算機等的情況下，上述控制程序131能夠通過⑶-ROM等記錄介質(zhì)或因特網(wǎng)等的數(shù)據(jù)信號而提供。圖22是表示該情況的圖。個人計算機400經(jīng)由⑶-R0M404而接受程序的提供。另外，個人計算機400具有與通信線路401的連接功能。計算機402是提供控制程序131的服務(wù)器計算機，將控制程序131存儲在硬盤403等記錄介質(zhì)中。通信線路401為因特網(wǎng)、個人計算機通信等的通信線路或?qū)Ｓ猛ㄐ啪€路等。計算機402使用硬盤403來讀取控制程序131，并經(jīng)由通信線路401將控制程序131發(fā)送到個人計算機400。即，將控制程序131作為數(shù)據(jù)信號，通過載波并經(jīng)由通信線路401而發(fā)送。像這樣，控制程序131能夠作為記錄介質(zhì)或數(shù)據(jù)信號(載波)等各種方式的計算機可讀的計算機程序制品而供給。
[0133]以上說明的實施方式和變形例僅為例示，只要不損害發(fā)明特征則本發(fā)明不限定于這些內(nèi)容。另外，只要不損害發(fā)明特征則以上說明的實施方式和變形例也可以組合實施。
[0134]將下面的優(yōu)先權(quán)基礎(chǔ)申請的公開內(nèi)容作為引用文而編入于此。
[0135]日本國專利申請2011年第191268號(2011年9月2日申請)
【權(quán)利要求】
1.一種圖像處理裝置，其特征在于，具有: 特定部，其從拍攝到被攝物體像的第I拍攝圖像確定灰階喪失的圖像區(qū)域； 像構(gòu)造圖像生成部，其將拍攝到和所述第I拍攝圖像相同的被攝物體的第2拍攝圖像與所述第I拍攝圖像對位，提取出與由所述特定部所確定的圖像區(qū)域?qū)?yīng)的像構(gòu)造，生成像構(gòu)造圖像；和 插補部，其對由所述像構(gòu)造圖像生成部所生成的所述像構(gòu)造圖像和所述第I拍攝圖像進行合成而對所述第I拍攝圖像的所述圖像區(qū)域進行插補。
2.如權(quán)利要求1所述的圖像處理裝置，其特征在于， 所述灰階喪失的圖像區(qū)域包括發(fā)生全黑、全白及顏色飽和中的至少一個的圖像區(qū)域。
3.如權(quán)利要求2所述的圖像處理裝置，其特征在于， 發(fā)生所述全黑的圖像區(qū)域是指，亮度為第I閾值以下的像素連結(jié)了規(guī)定數(shù)以上的像素塊， 發(fā)生所述全白的圖像區(qū)域是指，亮度為第2閾值以上的像素連結(jié)了規(guī)定數(shù)以上的像素塊， 發(fā)生所述顏色飽和的圖像區(qū)域是指，彩度為第3閾值以上的像素連結(jié)了規(guī)定數(shù)以上的像素塊。
4.如權(quán)利要求3所述的 圖像處理裝置，其特征在于， 還具有變更所述第I閾值的設(shè)定值或所述第2閾值的設(shè)定值、或者所述第I閾值的設(shè)定值和所述第2閾值的設(shè)定值雙方的閾值設(shè)定部， 所述閾值設(shè)定部生成所述第I拍攝圖像的亮度直方圖，并將所述亮度直方圖分割成多組，針對所述多組中的、包括頻數(shù)不為零的最小等級的第I組，計算出當(dāng)前幀的積分值與前幀的該組的積分值之間的第I差分，針對所述多組中的、包括頻數(shù)不為零的最大等級的第2組，計算出當(dāng)前幀的積分值與前幀的該組的積分值之間的第2差分， 所述閾值設(shè)定部在所述第I差分為規(guī)定值以上時，將所述第I組的最大值設(shè)定為所述第I閾值，在所述第2差分為規(guī)定值以上時，將所述第2組的最小值設(shè)定為所述第2閾值。
5.如權(quán)利要求1至4中任一項所述的圖像處理裝置，其特征在于， 所述像構(gòu)造至少包括圖像的輪廓。
6.如權(quán)利要求5所述的圖像處理裝置，其特征在于， 所述像構(gòu)造還包括圖像的亮度的灰階信息。
7.如權(quán)利要求1至6中任一項所述的圖像處理裝置，其特征在于， 具有對所述第I拍攝圖像及所述第2拍攝圖像進行拍攝的拍攝部。
8.一種程序，用于使計算機實現(xiàn)以下功能: 特定功能，從拍攝到被攝物體像的第I拍攝圖像確定灰階喪失的圖像區(qū)域； 像構(gòu)造圖像生成功能，將拍攝到和所述第I拍攝圖像相同的被攝物體的第2拍攝圖像與所述第I拍攝圖像對位，并提取出與由所述特定部所確定的圖像區(qū)域?qū)?yīng)的像構(gòu)造，生成像構(gòu)造圖像；和 插補功能，對由所述像構(gòu)造圖像生成部生成的所述像構(gòu)造圖像和所述第I拍攝圖像進行合成而對所述第I拍攝圖像的所述圖像區(qū)域進行插補。
9.一種圖像處理裝置，其特征在于，具有:幀圖像提取部，其從記錄于記錄部的構(gòu)成動態(tài)圖像的幀圖像中提取需要進行曝光修正的對象幀圖像； 特定部，其在所述對象幀圖像中確定灰階喪失的圖像區(qū)域； 推定部，其使用構(gòu)成所述動態(tài)圖像的所述對象幀圖像以外的幀圖像來推定所述灰階喪失的圖像區(qū)域的構(gòu)造；和 插補部，其使用基于所述推定部的推定結(jié)果來對所述幀圖像的灰階喪失的圖像區(qū)域進行插補。
10.如權(quán)利要9所述的圖像處理裝置，其特征在于， 所述特定部基于所述幀圖像內(nèi)的亮度分布來確定灰階喪失的圖像區(qū)域。
11.如權(quán)利要求9或10所述的圖像處理裝置，其特征在于， 所述推定部使用所述對象幀圖像以外的幀圖像來生成所述灰階喪失的圖像區(qū)域的紋理圖像， 所述插補部將所述紋理圖像與所述全黑區(qū)域合成來進行插補。
12.如權(quán)利要求9至11中任一項所述的圖像處理裝置，其特征在于， 還具有對被攝物體光進行拍攝的拍攝元件， 所述記錄部記錄基于來自所`述拍攝元件的拍攝信號的動態(tài)圖像。
【文檔編號】G06T5/00GK103797782SQ201280041781
【公開日】2014年5月14日 申請日期:2012年9月3日 優(yōu)先權(quán)日:2011年9月2日
【發(fā)明者】西岳志 申請人:株式會社尼康