專利名稱：攝像裝置以及圖像處理方法
技術領域：
本發(fā)明涉及對通過水中的攝像而得到的圖像數(shù)據(jù)進行顏色校正的技術。
背景技術：
以往，公知有如下技術與通常的光源顏色軌跡不同地準備水中用的光源顏色軌跡，根據(jù)從水中拍攝的圖像得到的顏色信息和水中用光源顏色軌跡，計算圖像的攝像狀況下的光源顏色，進行白平衡校正(參照JP2008-17198A)。但是，在水中具有如下特性水深越深，太陽光等來自水上的自然光的紅色成分越衰減。因此，為了使白色點成為白色，當使用現(xiàn)有技術針對在水深較深的位置拍攝的圖像進行基于水中用光源顏色軌跡的白平衡校正時，產生成為強調了紅色的不自然的照片的問題。

發(fā)明內容
本發(fā)明的目的在于，提供針對在水中拍攝的圖像數(shù)據(jù)進行與水深深度對應的適當顏色校正的技術。本發(fā)明的某個方式的攝像裝置能夠進行陸地和水中的拍攝，其中，該攝像裝置具有攝像部，其對由攝像元件接收到的被攝體光進行光電轉換，從而生成圖像數(shù)據(jù)；顏色信息取得部，其從所述圖像數(shù)據(jù)取得顏色信息；判定部，其判定所述圖像數(shù)據(jù)是通過水中的攝像而生成，還是通過陸地上的攝像而生成；水中用顏色平衡基準設定部，其設定對在水中攝像的圖像數(shù)據(jù)進行顏色校正時作為顏色校正基準的水中用顏色平衡基準；水中用顏色校正數(shù)據(jù)計算部，其在由所述判定部判定為所述圖像數(shù)據(jù)通過水中的攝像而生成的情況下，根據(jù)由所述顏色信息取得部取得的顏色信息以及所述水中用顏色平衡基準，計算水中用顏色校正數(shù)據(jù)；以及顏色校正部，其根據(jù)由所述水中用顏色校正數(shù)據(jù)計算部計算出的水中用顏色校正數(shù)據(jù)，對通過所述水中的攝像而生成的圖像數(shù)據(jù)進行顏色校正。本發(fā)明的其他方式的圖像處理方法用于在陸地或水中拍攝的圖像，其中，該圖像處理方法具有以下步驟輸入圖像數(shù)據(jù)；從所述輸入的圖像數(shù)據(jù)取得顏色信息；判定所述圖像數(shù)據(jù)是通過水中的攝像而生成，還是通過陸地上的攝像而生成；設定對在水中攝像的圖像數(shù)據(jù)進行顏色校正時作為顏色校正基準的水中用顏色平衡基準；在判定為所述圖像數(shù)據(jù)通過水中的攝像而生成的情況下，根據(jù)所述取得的顏色信息以及所述水中用顏色平衡基準，計算水中用顏色校正數(shù)據(jù)；以及根據(jù)所述計算出的水中用顏色校正數(shù)據(jù)，對通過所述水中的攝像而生成的圖像數(shù)據(jù)進行顏色校正。根據(jù)本發(fā)明，能夠針對在水中拍攝的圖像數(shù)據(jù)進行與水深深度對應的適當顏色校正。


圖I是示出第I實施方式的攝像裝置即數(shù)字靜止照相機的結構的框圖。
4
圖2是示出在自動白平衡處理時由AWB處理部進行的處理內容的流程圖。圖3(a)是示出從SDRAM中讀入的圖像數(shù)據(jù)的圖，圖3(b)是示出用于對圖像數(shù)據(jù)進行分割的評價塊的圖。并且，圖3(c)是通過多個評價塊對圖像數(shù)據(jù)進行分割后的圖。圖4(a) (C)是示出按照圖像數(shù)據(jù)的各評價塊區(qū)域計算R、G、B各自的像素值的平均值的結果的圖。圖5(a)是示出按照各評價塊區(qū)域計算出WB評價值的狀態(tài)的圖，圖5(b)是將WB 評價值映射到橫軸為R/G、縱軸為B/G的顏色空間坐標上的圖。圖6是示出白平衡增益計算處理的詳細內容的流程圖。圖7(a)是示出在橫軸為R/G、縱軸為B/G的顏色空間坐標上設定的白平衡判定用區(qū)域的圖，圖7(b)是將WB評價值映射到設定有白平衡判定用區(qū)域的顏色空間坐標上的圖， 圖7(c)是示出在各白平衡判定用區(qū)域內存在的WB評價值的計數(shù)結果的一例的圖。圖8 (a)是在橫軸為R/G、縱軸為B/G的顏色空間坐標上示出紅、藍、綠、品紅、黃、青相對于白色的相對位置關系的圖，圖8(b)是示出在水中水深和各顏色的透過率的關系的圖，圖8(c)是根據(jù)圖8(b)所示的各顏色的透過率的衰減特性在橫軸為R/G、縱軸為B/G的顏色空間坐標上示出水中用的白色點軌跡的圖。圖9(a)是示出在水中水深為5m的位置處的紅、藍、綠、品紅、黃、青相對于白色的相對位置關系的圖，圖9(b)是示出在水中水深為20m的位置處的紅、藍、綠、品紅、黃、青相對于白色的相對位置關系的圖。圖10是示出針對在水中攝像的圖像數(shù)據(jù)由AWB處理部進行的白平衡增益計算處理的詳細內容的流程圖。圖11 (a)是示出在橫軸為R/G、縱軸為B/G的顏色空間坐標上設定的水中區(qū)域的一例的圖，圖11(b)是示出在橫軸為R/G、縱軸為B/G的顏色空間坐標上設定的水中用白平衡增益軌跡的一例的圖。圖12(a)是示出水中用白平衡增益軌跡的設定范圍的圖，圖12(b)是示出根據(jù)在水中區(qū)域內存在的WB評價值的重心位置求出水中用白平衡增益軌跡上的位置的方法的圖。圖13(a)是示出在水深較淺的情況下計算白平衡增益的方法的圖，圖13(b)是示出在水深比較深、但圖像內的藍色區(qū)域的面積較少的情況下計算白平衡增益的方法的圖， 圖13(c)是示出在水深比較深、且圖像內的藍色區(qū)域的面積較多的情況下計算白平衡增益的方法的圖。圖14是示出在第2實施方式的攝像裝置中由AWB處理部進行的處理內容的流程圖。標號說明102 :攝像元件；103 :模擬處理部；104 :A/D轉換部；117 :閃存(存儲部)；118 =AffB 處理部(顏色信息取得部、判定部、水中用顏色校正數(shù)據(jù)計算部、陸地用白平衡校正數(shù)據(jù)計算部、最終顏色校正數(shù)據(jù)計算部)；1071 =WB校正部(顏色校正部)。
具體實施例方式-第I實施方式-
圖I是示出第I實施方式的攝像裝置即數(shù)字靜止照相機的結構的框圖。圖I所示的數(shù)字靜止照相機由照相機主體I和更換式鏡頭2構成。更換式鏡頭2具有鏡頭1010、閃存1011、微計算機1012、驅動器1013、光圈1014。 更換式鏡頭2經由I/F 999以能夠進行通信的方式與照相機主體I連接。照相機主體I具有機械快門101、攝像元件102、模擬處理部103、模擬/數(shù)字轉換部 104 (以下為 A/D 轉換部 104)、總線 105、SDRAM (Synchronous Dynamic Random Access Memory) 106、圖像處理部107、AE處理部108、AF處理部109、圖像壓縮解壓縮部110、存儲器接口 111(以下為存儲器I/F 111)、記錄介質112、IXD驅動器113、LCD 114、微計算機115、 操作部 116、閃存 117、AWB (Auto White Balance)處理部 118。鏡頭1010使被攝體的光學像會聚于攝像元件102。鏡頭1010可以是單焦鏡頭，也可以是變焦鏡頭。微計算機1012與I/F 999、閃存1011以及驅動器1013連接，進行存儲在閃存1011 中的信息的讀出/寫入，并且控制驅動器1013。微計算機1012還能夠經由I/F 999與微計算機115進行通信，向微計算機115發(fā)送鏡頭的焦距信息等，并且從微計算機115接收光圈值等的信息。驅動器1013接受微計算機1012的指示，驅動鏡頭1010，進行焦距或對焦位置的變更，并且驅動光圈1014。光圈1014設置在鏡頭1010附近，對被攝體的光量進行調節(jié)。機械快門101接受微計算機115的指示并進行驅動，控制攝像元件102的曝光時間。攝像元件102是在構成各像素的光電二極管的前表面配置有拜耳排列的濾色器的攝像元件。拜耳排列構成為，在水平方向上具有交替配置有R(紅色)像素和G(Gr :綠色) 像素的線和交替配置有G(Gb :綠色)像素和B(藍色)像素的線，進而，在垂直方向上也交替配置這兩條線。該攝像元件102利用構成像素的光電二極管對由鏡頭1010會聚的光進行受光并對其進行光電轉換，將光量作為電荷量輸出到模擬處理部103。另外，攝像元件102 可以是CMOS方式，也可以是CXD方式。并且，也可以使用拜耳排列以外的彩色攝像元件。模擬處理部103針對從攝像元件102讀出的電信號(模擬圖像信號)降低復位噪聲等，然后進行波形整形，進而進行增益放大以使其成為目標明亮度。A/D轉換部104將從模擬處理部103輸出的模擬圖像信號轉換成數(shù)字圖像信號(以后稱為圖像數(shù)據(jù))。另外，可以將攝像元件102、模擬處理部103和A/D轉換部104統(tǒng)稱為攝像部。總線105是用于將在數(shù)字照相機內部產生的各種數(shù)據(jù)轉送到數(shù)字照相機內的各部的轉送路徑?？偩€105與A/D轉換部104、SDRAM 106、圖像處理部107、AE處理部108、 AF處理部109、圖像壓縮解壓縮部110、存儲器I/F IlUIXD驅動器113、微計算機115、AWB 處理部118連接。從A/D轉換部104輸出的圖像數(shù)據(jù)經由總線105臨時存儲在SDRAM 106中。SDRAM 106是臨時存儲在A/D轉換部104中得到的圖像數(shù)據(jù)、在圖像處理部107和圖像壓縮解壓縮部110中進行處理后的圖像數(shù)據(jù)等的各種數(shù)據(jù)的存儲部。圖像處理部107包含白平衡校正部1071(以下為WB校正部1071)、同步處理部 1072、顏色再現(xiàn)處理部1073以及降噪處理部1074(以下為NR處理部1074)，對從SDRAM 106 讀出的圖像數(shù)據(jù)實施各種圖像處理。WB校正部(也稱為顏色校正部)1071進行如下處理根據(jù)由AWB處理部118計算出的白平衡增益，對圖像數(shù)據(jù)的白平衡進行校正。同步處理部 1072進行如下處理從基于拜耳排列的圖像數(shù)據(jù)，按照每個像素與由R、G、B信息構成的圖像數(shù)據(jù)同步。顏色再現(xiàn)處理部1073進行改變圖像色調的顏色再現(xiàn)處理。NR處理部1074進行降低噪聲的處理。降噪處理后的圖像數(shù)據(jù)存儲在SDRAM 106中。AE處理部108根據(jù)圖像數(shù)據(jù)計算被攝體亮度。用于計算被攝體亮度的數(shù)據(jù)可以是專用測光傳感器的輸出。AF處理部109從圖像數(shù)據(jù)中取出高頻成分的信號，通過AF(Autc) Focus)累加處理取得對焦評價值。AWB處理部(也稱為顏色信息取得部、判定部、水中用顏色平衡基準設定部、水中用顏色校正數(shù)據(jù)計算部、陸地用白平衡校正數(shù)據(jù)計算部)118在根據(jù)圖像的攝像狀況下的光源自動調整白平衡的自動白平衡處理時，計算白平衡增益。特別地，AWB處理部118在陸地攝像時計算陸地攝像時的白平衡增益，在水中攝像時計算水中攝像時的白平衡增益(水中用顏色校正數(shù)據(jù))。圖像壓縮解壓縮部110在記錄靜態(tài)圖像數(shù)據(jù)時，從SDRAM 106中讀出圖像數(shù)據(jù)，按照JPEG(Joint Photographic Experts Group)壓縮方式對所讀出的圖像數(shù)據(jù)進行壓縮,將壓縮后的JPEG圖像數(shù)據(jù)臨時存儲在SDRAM 106中。微計算機115對存儲在SDRAM 106中的 JPEG圖像數(shù)據(jù)附加構成JPEG文件所需要的JPEG頭，生成JPEG文件，經由存儲器I/F 111 將所生成的JPEG文件記錄在記錄介質112中。并且，圖像壓縮解壓縮部110在記錄動態(tài)圖像數(shù)據(jù)時，從SDRAM 106中讀出動態(tài)圖像數(shù)據(jù)，例如按照H. 264方式對所讀出的動態(tài)圖像數(shù)據(jù)進行壓縮，將壓縮后的動態(tài)圖像數(shù)據(jù)臨時存儲在SDRAM 106中。圖像壓縮解壓縮部110還進行如下處理根據(jù)來自微計算機 115的指令，對壓縮數(shù)據(jù)進行展開(解壓縮)。記錄介質112例如是由能夠相對于照相機主體I進行裝卸的存儲卡構成的記錄介質，但是不限于此。IXD驅動器113使IXD 114顯示圖像。圖像顯示包含短時間顯示剛剛拍攝的圖像數(shù)據(jù)的重放顯示、記錄在記錄介質112中的JPEG文件的再現(xiàn)顯示、以及實時取景顯示等的動態(tài)圖像的顯示。在對記錄在記錄介質112中的壓縮數(shù)據(jù)進行再現(xiàn)的情況下，圖像壓縮解壓縮部110讀出記錄在記錄介質112中的壓縮數(shù)據(jù)并實施展開(解壓縮)處理，然后，將展開的數(shù)據(jù)臨時存儲在SDRAM 106中。IXD驅動器113從SDRAM106中讀出解壓縮后的數(shù)據(jù)， 將所讀出的數(shù)據(jù)轉換為影像信號后，輸出到LCD114進行顯示。具有作為控制部的功能的微計算機115統(tǒng)一控制數(shù)字照相機主體I的各種順序。 在微計算機115連接有操作部116和閃存117。操作部116是電源按鈕、釋放按鈕、各種輸入鍵等操作部件。用戶對操作部116的任意操作部件進行操作，由此，微計算機115執(zhí)行與用戶操作對應的各種順序。電源按鈕是用于進行該數(shù)字照相機的電源的接通/斷開指示的操作部件。按下電源按鈕時，該數(shù)字照相機的電源接通。再次按下電源按鈕時，該數(shù)字照相機的電源斷開。釋放按鈕構成為具有第一釋放開關和第二釋放開關的2級開關。在半按下釋放按鈕而接通第一釋放開關的情況下，微計算機115進行AE處理或AF處理等拍攝準備順序。并且，在全按下釋放按鈕而接通第二釋放開關的情況下，微計算機115執(zhí)行拍攝順序進行拍攝。閃存(也稱為存儲部)117存儲各種光源的預設白平衡增益、后述的水中區(qū)域的設定值和水中用白平衡增益軌跡的設定值、低通濾波器系數(shù)、數(shù)字照相機的動作所需要的各種參數(shù)、用于確定數(shù)字靜止照相機的制造編號等。并且，閃存117還存儲由微計算機115執(zhí)行的各種程序。微計算機115按照存儲在閃存117中的程序，從閃存117中讀入各種順序所需要的參數(shù)，從而執(zhí)行各處理。圖2是示出在自動白平衡處理時由AWB處理部118進行的處理內容的流程圖。在步驟SlO中，從SDRAM 106中讀入圖像數(shù)據(jù)(RAW數(shù)據(jù))。在步驟S20中，從閃存117中讀入用于將圖像數(shù)據(jù)分割為多個評價塊的評價塊設定值，根據(jù)所讀入的評價塊設定值來設定評價塊。然后，利用多個評價塊對在步驟Sio中讀入的圖像數(shù)據(jù)進行分割。圖3(a)是示出從SDRAM 106中讀入的圖像數(shù)據(jù)30的圖，圖3(b)是示出用于對圖像數(shù)據(jù)進行分割的評價塊31的圖。并且，圖3(c)是通過多個評價塊31對圖像數(shù)據(jù)30進行分割后的圖。在步驟S30中，計算白平衡評價值(以下稱為WB評價值)。因此，首先，按照圖像數(shù)據(jù)的各評價塊區(qū)域計算R、G、B各自的像素值的平均值。圖4(a) (C)是示出按照圖像數(shù)據(jù)的各評價塊區(qū)域計算R、G、B各自的像素值的平均值的結果的圖。接著,按照每個評價塊區(qū)域計算WB評價值。當設某個評價塊區(qū)域中的R、G、B的像素值的平均值分別為R_ave、G_ave、B_ave時,WB評價值為R_ave/G_ave、B_ave/G_ave。圖 5(a)是示出按照每個評價塊區(qū)域計算出WB評價值的狀態(tài)的圖。在步驟S40中，將在步驟S30中計算出的WB評價值映射到橫軸為R/G、縱軸為B/G 的顏色空間坐標上。圖5(b)是將各評價塊區(qū)域的WB評價值映射到橫軸為R/G、縱軸為B/G 的顏色空間坐標上的圖。另外，用于計算白平衡增益的顏色空間坐標不限于橫軸為R/G、縱軸為B/G的坐標。例如，在設亮度信號為Y時，也可以使用橫軸為色差(R-Y)、縱軸為色差(B-Y)的顏色空間坐標。亮度信號Y由下式⑴表現(xiàn)。Y = O. 299 X R+0. 587 XG+0. 114XB (I)在步驟S50中，計算白平衡增益。在本實施方式的攝像裝置中，在圖像數(shù)據(jù)通過水中的攝像而生成的情況以及通過陸地上的攝像而生成的情況下，使用不同的方法來計算白平衡增益。使用圖6所示的流程圖對通過陸地上的攝像而生成圖像數(shù)據(jù)時的白平衡增益計算處理進行說明。并且，使用圖10所示的流程圖對通過水中的攝像而生成圖像數(shù)據(jù)時的白平衡增益計算處理進行說明。在圖6所示的流程圖的步驟S600中，從閃存117中讀入各光源的預設白平衡增益。各光源例如是陰、陰天、晴天、夕陽、電燈泡。在步驟S610中，將在步驟S600中讀入的白平衡增益轉換為R/G值、B/G值。在步驟S620中，從閃存117中讀入白平衡判定用區(qū)域設定值。在步驟S630中，根據(jù)在步驟S610中求出的各光源的預設白平衡增益的R/G值、B/ G值、以及在步驟S620中讀入的白平衡判定用區(qū)域設定值，在橫軸為R/G、縱軸為B/G的顏色空間坐標上設定白平衡判定用區(qū)域。即，將以由各光源的預設白平衡增益的R/G值、B/G 值確定的位置為中心的規(guī)定范圍設定為白平衡判定用區(qū)域。
圖7 (a)是示出在橫軸為R/G、縱軸為B/G的顏色空間坐標上設定的白平衡判定用區(qū)域的圖。在圖7(a)所示的例子中，作為白平衡判定用區(qū)域，示出陰區(qū)域71、陰天區(qū)域72、 晴天區(qū)域73、夕陽區(qū)域74、電燈泡區(qū)域75。另外，在橫軸為R/G、縱軸為B/G的顏色空間坐標上，連接各光源的預設白平衡增益位置的曲線77被稱為黑體軌跡。在步驟S640中，取得在圖2所示的流程圖的步驟S40中求出的圖像數(shù)據(jù)針對顏色空間坐標的映射數(shù)據(jù)(WB評價值)，將所取得的數(shù)據(jù)映射到顏色空間坐標上。圖7(b)是將WB評價值映射到設定有白平衡判定用區(qū)域的顏色空間坐標上的圖。在步驟S650中，對在各白平衡判定用區(qū)域71 75內存在的WB評價值進行計數(shù)。 圖7(c)是示出在各白平衡判定用區(qū)域71 75內存在的WB評價值的計數(shù)結果的一例的圖。在步驟S660中，根據(jù)步驟S650的計數(shù)結果，確定WB評價值的數(shù)量最多的白平衡判定用區(qū)域，計算在所確定的區(qū)域內存在的WB評價值的平均值即R/G、B/G的平均值。在步驟S670中，計算在步驟S660中計算出的R/G、B/G的平均值的倒數(shù)G/R、G/B 作為白平衡增益。然后，圖像處理部107內的WB校正部1071進行如下處理根據(jù)計算出的白平衡增益對圖像數(shù)據(jù)的白平衡進行校正。接著，說明針對通過水中的攝像而得到的圖像數(shù)據(jù)的白平衡校正。圖8 (a)是在橫軸為R/G、縱軸為B/G的顏色空間坐標上示出紅(R)、藍⑶、綠(G)、 品紅(Mg)、黃(Ye)、青(Cy)相對于白色(W)的相對位置關系的圖。在針對在陸地上攝像的圖像數(shù)據(jù)的白平衡校正中，如圖7(a)所示，使黑體軌跡上的與各光源對應的預設白平衡位置成為白色點，由此，能夠正確地進行顏色再現(xiàn)。但是，在水中，一般地，水深越深，光被海水吸收而越容易成為藍色的色調。圖8(b) 是示出在水中水深和各顏色的透過率的關系的圖。如圖8(b)所示，在水中，由于各顏色的不同，與水深對應的透過率的衰減特性不同，當水深變深時，紅色最先衰減。圖8(c)是根據(jù)圖8(b)所示的各顏色的透過率的衰減特性在橫軸為R/G、縱軸為 B/G的顏色空間坐標上示出水中用的白色點軌跡80的圖。如圖8(c)所示，水中用的白色點軌跡80是與陸地上的白色點軌跡即黑體軌跡77不同的軌跡。如果根據(jù)該水中用的白色點軌跡80進行白平衡校正，則能夠使白色點成為白色。但是，在水中的情況下，由于圖8(b) 所示的衰減特性，不僅白色點大幅變化，全體的色調分布也大幅變化。因此，在水中的情況下，即使使白色點成為白色，全體的顏色再現(xiàn)也不一定是良好的結果。圖9(a)是示出在根據(jù)白色點軌跡80對在水深為5m的位置處攝像的圖像數(shù)據(jù)進行白平衡校正的情況下、紅、藍、綠、品紅、黃、青相對于白色的相對位置關系的圖。該情況下，如使用圖8(b)說明的那樣，與其他顏色相比，紅色成分減少。圖9 (b)是示出在根據(jù)白色點軌跡80對在水深為20m的位置處攝像的圖像數(shù)據(jù)進行白平衡校正的情況下、紅、藍、綠、品紅、黃、青相對于白色的相對位置關系的圖。該情況下，相對于其他顏色，紅色成分極端減少，并且，品紅成分和黃成分也減少。因此，即使對在水中攝像的圖像數(shù)據(jù)進行僅使白色點成為白色的白平衡校正，也成為不自然地強調了紅色的照片，或者藍色消失而不像是水中的照片。因此，在水深較淺的泛藍少的場景中，重要的是，通過應用比較接近水中的白色點軌跡的白平衡增益，實現(xiàn)最佳的顏色再現(xiàn)。并且，在水深較深的泛藍多的場景中，重要的是， 通過應用與水中的白色點軌跡不同的位置的白平衡增益，不進行無謂的色調強調，得到自然的具有藍色的水中照片。在第I實施方式的攝像裝置中，針對在水中攝像的圖像進行與水深對應的適當顏色校正。另外，在本實施方式中，如圖9 (a)、圖9 (b)所示，針對在水中攝像的圖像數(shù)據(jù)進行的白平衡校正處理不是僅使白色點成為白色的處理。由此，例如，顏色平衡校正處理或顏色校正處理這樣的有所區(qū)別的稱呼是適當?shù)?，但是，為了簡便而將其稱為白平衡校正處理。因此，為了簡便，將在針對在水中攝像的圖像數(shù)據(jù)進行白平衡校正處理時使用的顏色校正數(shù)據(jù)稱為作為一般稱呼的白平衡增益。圖10是示出針對在水中攝像的圖像數(shù)據(jù)由AWB處理部118進行的白平衡增益計算處理的詳細內容的流程圖。AWB處理部118在判定為處理對象的圖像數(shù)據(jù)是在水中攝像的圖像數(shù)據(jù)的情況下，進行圖10所示的流程圖的處理。例如，在白平衡的設定模式被設定為水中模式的情況下，判定為處理對象的圖像數(shù)據(jù)是在水中攝像的圖像數(shù)據(jù)。但是，判定處理對象的圖像數(shù)據(jù)是否是在水中攝像的圖像數(shù)據(jù)的方法不限于上述判定方法，例如，也可以根據(jù)設置在攝像裝置上的水深計的計測結果進行判定。在步驟S1000中，從閃存117中讀入各光源的預設白平衡增益。該處理與圖6所示的流程圖的步驟S600的處理相同。在步驟S1010中，將在步驟S1000中讀入的白平衡增益轉換為R/G值、B/G值。該處理對應于圖6所示的流程圖的步驟S610的處理。在步驟S1020中，從閃存117中讀入用于計算水中白平衡增益的水中區(qū)域的設定值。在步驟S1030中，根據(jù)在步驟S1020中讀入的設定值，在橫軸為R/G、縱軸為B/G的顏色空間坐標上設定水中區(qū)域。圖11(a)是示出在橫軸為R/G、縱軸為B/G的顏色空間坐標上設定的水中區(qū)域 1100的一例的圖。在步驟S1040中，取得在圖2所示的流程圖的步驟S40中求出的針對顏色空間坐標的映射數(shù)據(jù)(WB評價值)，將所取得的數(shù)據(jù)映射到顏色空間坐標上(參照圖11(a))。在步驟S1050中，計算在水中區(qū)域1100內存在的WB評價值的重心位置。在步驟S1060中，從閃存117中讀入水中用白平衡增益軌跡的設定值，根據(jù)所讀入的設定值，在橫軸為R/G、縱軸為B/G的顏色空間坐標上設定水中用白平衡增益軌跡(水中用顏色平衡基準)。該水中用白平衡增益軌跡是對在水中攝像的圖像數(shù)據(jù)進行顏色校正時的顏色校正基準。圖11 (b)是示出在橫軸為R/G、縱軸為B/G的顏色空間坐標上設定的水中用白平衡增益軌跡1110的一例的圖。該水中用白平衡增益軌跡1110與以白色為基準而確定的現(xiàn)有的白平衡增益軌跡80(參照圖8(c))不同，是為了得到再現(xiàn)與水深對應的適當顏色的圖像而確定的。在橫軸為R/G、縱軸為B/G的顏色空間坐標上，與黑體軌跡相比，水中用白平衡增益軌跡1110更靠近原點側，一般設定在假設為陰色溫的色溫與假設為夕陽色溫的色溫之間(參照圖12(a))。在步驟S1070中，根據(jù)在步驟S1050中計算出的重心位置，求出水中用白平衡增益軌跡上的位置。這里，從在步驟S1050中計算出的重心位置針對表示水中用白平衡增益軌跡的線引垂線，求出垂線與表示水中用白平衡增益軌跡的線的交點。
圖12(b)是示出根據(jù)在水中區(qū)域1100內存在的WB評價值的重心位置1150求出水中用白平衡增益軌跡1110上的位置的方法的圖。從重心位置1150針對水中用白平衡增益軌跡1110引垂線1160，求出垂線1160與水中用白平衡增益軌跡1110的交點1170。在步驟S1080中，計算在步驟S1070中求出的位置的作為R/G、B/G的倒數(shù)G/R、G/ B作為白平衡增益。然后，圖像處理部107內的WB校正部1071進行如下處理(顏色校正處理)根據(jù)計算出的白平衡增益對圖像數(shù)據(jù)的白平衡進行校正。根據(jù)上述方法，能夠計算出與水深深度對應的適當?shù)陌灼胶庠鲆?。使用圖13說明該情況。圖13(a)是示出在水深較淺的情況下計算白平衡增益的方法的圖，圖13(b)是示出在水深比較深、但圖像內的藍色區(qū)域的面積較少的情況下計算白平衡增益的方法的圖， 圖13(c)是示出在水深比較深、且圖像內的藍色區(qū)域的面積較多的情況下計算白平衡增益的方法的圖。在水深較淺的情況下，如圖13(a)所示，在步驟S1070中求出的水中用白平衡增益軌跡上的點成為接近黑體軌跡的位置。即，與陸地的情況同樣，通過使白色點成為白色的白平衡校正，能夠準確地再現(xiàn)白色和白色以外的顏色的色調。如圖13(b)所示，在水深比較深、但圖像內的藍色區(qū)域的面積較少的情況下，在步驟S1070中求出的水中用白平衡增益軌跡上的點成為接近WB評價值分布的位置，能夠計算出接近圖像色調分布的白平衡增益。另一方面，如圖13(c)所示，在水深比較深、且圖像內的藍色區(qū)域的面積較多的情況下，能夠計算出用于成為產生藍色的圖像的白平衡增益，而不會無謂地強度藍色以外的色調。以上，根據(jù)第I實施方式的攝像裝置，從圖像數(shù)據(jù)取得顏色信息，并且，設定對在水中攝像的圖像數(shù)據(jù)進行顏色校正時作為顏色校正基準的水中用顏色平衡基準。然后，在判定為圖像數(shù)據(jù)通過水中的攝像而生成的情況下，根據(jù)取得的顏色信息以及水中用顏色平衡基準，計算水中用顏色校正數(shù)據(jù)，根據(jù)計算出的水中用顏色校正數(shù)據(jù)，對通過水中的攝像而生成的圖像數(shù)據(jù)進行顏色校正。由此，能夠針對在水中攝像的圖像數(shù)據(jù)進行與水深對應的適當顏色校正，能夠得到色彩豐富的水中照片。-第2實施方式-在第2實施方式的攝像裝置中，根據(jù)對在陸地上攝像的圖像數(shù)據(jù)進行白平衡校正時計算出的白平衡增益(陸地用白平衡增益)、以及對在水中攝像的圖像數(shù)據(jù)進行白平衡校正時計算出的白平衡增益(水中用白平衡增益)，計算最終的白平衡增益。圖14是示出在第2實施方式的攝像裝置中由AWB處理部(也稱為最終顏色校正數(shù)據(jù)計算部)118進行的處理內容的流程圖。在步驟S1400中，進行陸地用白平衡增益的計算處理。具體而言，進行圖6所示的流程圖的步驟S600 步驟S670的處理。在步驟S1410中，進行水中用白平衡增益的計算處理。具體而言，進行圖10所示的流程圖的步驟S1000 步驟S1080的處理。在步驟S1420中，計算在橫軸為R/G、縱軸為B/G的顏色空間坐標上映射的WB評價值中、在水中區(qū)域1100(參照圖11)內存在的WB評價值的比率。在步驟S1430中，根據(jù)陸地用白平衡增益、水中用白平衡增益以及在步驟S1420中計算出的比率，計算最終的白平衡增益。具體而言，以在步驟S1420中計算出的比率越大、 水中用白平衡增益的權重越大的方式，對陸地用白平衡增益和水中用白平衡增益進行加權合成，計算最終的白平衡增益。并且，以在步驟S1420中計算出的比率越小、陸地用白平衡增益的權重越大的方式，對陸地用白平衡增益和水中用白平衡增益進行加權合成，計算最終的白平衡增益。另外，在步驟S1420中計算出的比率為1/2的情況下，以使陸地用白平衡增益和水中用白平衡增益的權重相等的方式，對陸地用白平衡增益和水中用白平衡增益進行加權合成，計算最終的白平衡增益。然后，圖像處理部107內的WB校正部1071進行如下處理(顏色校正處理)根據(jù)計算出的白平衡增益對圖像數(shù)據(jù)的白平衡進行校正。以上，根據(jù)第2實施方式的攝像裝置，與水中用顏色校正數(shù)據(jù)一起計算出陸地用白平衡校正數(shù)據(jù)，根據(jù)從圖像數(shù)據(jù)取得的顏色信息、水中用顏色校正數(shù)據(jù)以及陸地用白平衡校正數(shù)據(jù)，計算最終的顏色校正數(shù)據(jù)。然后，根據(jù)最終的顏色校正數(shù)據(jù)，對圖像數(shù)據(jù)進行顏色校正，而與圖像數(shù)據(jù)是否通過水中的攝像而生成無關。由此，即使在從陸地上到水中、 或者從水中到陸地上這樣變更了攝像場所的情況下，也能夠無縫地切換陸地用白平衡增益和水中用顏色校正數(shù)據(jù)。另外，在上述第I 第2實施方式的說明中，作為攝像裝置進行的處理，以基于硬件的處理為前提，但是，不必限于這種構成。例如，也可以構成為通過獨立的軟件進行處理。 該情況下，計算機具有CPU、RAM等主存儲裝置、存儲有用于實現(xiàn)上述處理的全部或一部分的程序的計算機可讀取的存儲介質。這里，將該程序稱為顏色校正程序。而且，CPU讀出存儲在上述存儲介質中的顏色校正程序并執(zhí)行信息的加工/運算處理，由此，實現(xiàn)與上述攝像裝置相同的處理。這里,計算機可讀取的記錄介質是指磁盤、光磁盤、⑶-ROM、DVD-ROM、半導體存儲器等。并且，也可以通過通信線路向計算機發(fā)布該顏色校正程序，接受該發(fā)布的計算機執(zhí)行該顏色校正程序。本發(fā)明不限于上述第I 第2實施方式，能夠在不脫離本發(fā)明主旨的范圍內進行各種變形和應用。例如，在上述實施方式中，預先在閃存117中存儲水中用白平衡增益軌跡的設定值，根據(jù)存儲在閃存117中的水中用白平衡增益軌跡的設定值，設定水中用白平衡增益軌跡。但是，也可以在閃存117中存儲以圖11(b)所示的表示水中用白平衡增益軌跡的直線1110為基準坐標軸的坐標數(shù)據(jù)，根據(jù)存儲在閃存117中的坐標數(shù)據(jù)，設定水中用白平衡增益軌跡。并且，還可以在閃存117中存儲用于確定圖像數(shù)據(jù)的顏色信息與水中用白平衡增益的關系的表數(shù)據(jù)，根據(jù)存儲在閃存117中的表數(shù)據(jù)和圖像數(shù)據(jù)的顏色信息，計算水中用白平衡增益。根據(jù)該方法，根據(jù)在圖10的步驟S1050中計算出的WB評價值的重心位置，通過參照表數(shù)據(jù)，能夠計算出水中用白平衡增益。對在水中攝像的圖像數(shù)據(jù)進行顏色校正時作為顏色校正基準的水中用白平衡增益軌跡(水中用顏色平衡基準)不限于圖11(b)的直線1110所示的軌跡。但是，如使用圖 12 (a)說明的那樣，相對于R/G軸，需要低于黑體軌跡，相對于B/G軸，需要設定在假設為陰色溫的色溫與假設為夕陽色溫的色溫之間。
權利要求
1.一種攝像裝置，其能夠進行陸地和水中的拍攝，該攝像裝置的特征在于具有攝像部，其對由攝像元件接收到的被攝體光進行光電轉換，從而生成圖像數(shù)據(jù)；顏色信息取得部，其從所述圖像數(shù)據(jù)取得顏色信息；判定部，其判定所述圖像數(shù)據(jù)是通過水中的攝像而生成，還是通過陸地上的攝像而生成；水中用顏色平衡基準設定部，其設定對在水中攝像的圖像數(shù)據(jù)進行顏色校正時作為顏色校正基準的水中用顏色平衡基準；水中用顏色校正數(shù)據(jù)計算部，其在由所述判定部判定為所述圖像數(shù)據(jù)通過水中的攝像而生成的情況下，根據(jù)由所述顏色信息取得部取得的顏色信息以及所述水中用顏色平衡基準，計算水中用顏色校正數(shù)據(jù)；以及顏色校正部，其根據(jù)由所述水中用顏色校正數(shù)據(jù)計算部計算出的水中用顏色校正數(shù)據(jù)，對通過所述水中的攝像而生成的圖像數(shù)據(jù)進行顏色校正。
2.根據(jù)權利要求I所述的攝像裝置，其特征在于，該攝像裝置還具有陸地用白平衡校正數(shù)據(jù)計算部，該陸地用白平衡校正數(shù)據(jù)計算部在由所述判定部判定為所述圖像數(shù)據(jù)通過陸地上的攝像而生成的情況下，根據(jù)由所述顏色信息取得部取得的顏色信息以及對在陸地上攝像的圖像數(shù)據(jù)進行白平衡校正時作為基準的白平衡基準，計算陸地用白平衡校正數(shù)據(jù)，所述顏色校正部根據(jù)所述陸地用白平衡校正數(shù)據(jù)，對通過陸地上的攝像而生成的圖像數(shù)據(jù)進行作為顏色校正的白平衡校正。
3.根據(jù)權利要求I或2所述的攝像裝置，其特征在于，該攝像裝置還具有存儲表示所述水中用顏色平衡基準的數(shù)據(jù)的存儲部，所述水中用顏色平衡基準設定部根據(jù)存儲在所述存儲部中的數(shù)據(jù)，設定所述水中用顏色平衡基準。
4.根據(jù)權利要求I或2所述的攝像裝置，其特征在于，該攝像裝置還具有存儲將所述水中用顏色平衡基準作為至少一個基準坐標軸的坐標數(shù)據(jù)的存儲部，所述水中用顏色平衡基準設定部根據(jù)存儲在所述存儲部中的坐標數(shù)據(jù)，設定所述水中用顏色平衡基準。
5.根據(jù)權利要求I或2所述的攝像裝置，其特征在于，該攝像裝置還具有存儲確定圖像數(shù)據(jù)的顏色信息與所述水中用顏色校正數(shù)據(jù)之間的關系的表數(shù)據(jù)的存儲部，所述水中用顏色校正數(shù)據(jù)計算部根據(jù)由所述顏色信息取得部取得的顏色信息以及存儲在所述存儲部中的表數(shù)據(jù)，計算所述水中用顏色校正數(shù)據(jù)。
6.根據(jù)權利要求2所述的攝像裝置，其特征在于，該攝像裝置還具有最終顏色校正數(shù)據(jù)計算部，該最終顏色校正數(shù)據(jù)計算部根據(jù)由所述顏色信息取得部取得的顏色信息、所述水中用顏色校正數(shù)據(jù)以及所述陸地用白平衡校正數(shù)據(jù)，計算最終的顏色校正數(shù)據(jù)，所述顏色校正部根據(jù)由所述最終顏色校正數(shù)據(jù)計算部計算出的最終的顏色校正數(shù)據(jù)， 與所述圖像數(shù)據(jù)是通過水中的攝像而生成還是通過陸地上的攝像而生成無關地對圖像數(shù)據(jù)進行顏色校正。
7.—種在陸地或水中拍攝的圖像的圖像處理方法，其特征在于，該圖像處理方法具有以下步驟輸入圖像數(shù)據(jù)；從所述輸入的圖像數(shù)據(jù)取得顏色信息；判定所述圖像數(shù)據(jù)是通過水中的攝像而生成，還是通過陸地上的攝像而生成；設定對在水中攝像的圖像數(shù)據(jù)進行顏色校正時作為顏色校正基準的水中用顏色平衡基準；在判定為所述圖像數(shù)據(jù)通過水中的攝像而生成的情況下，根據(jù)所述取得的顏色信息以及所述水中用顏色平衡基準，計算水中用顏色校正數(shù)據(jù)；以及根據(jù)所述計算出的水中用顏色校正數(shù)據(jù)，對通過所述水中的攝像而生成的圖像數(shù)據(jù)進行顏色校正。
全文摘要
本發(fā)明提供攝像裝置以及圖像處理方法。攝像裝置具有攝像部，其對由攝像元件受光的被攝體光進行光電轉換，從而生成圖像數(shù)據(jù)；顏色信息取得部，其從圖像數(shù)據(jù)取得顏色信息；判定部，其判定圖像數(shù)據(jù)是否通過水中的攝像而生成；水中用基準顏色平衡特性設定部，其設定對在水中攝像的圖像數(shù)據(jù)進行顏色校正時作為基準的水中用基準顏色平衡特性；水中用顏色校正數(shù)據(jù)計算部，其在判定為圖像數(shù)據(jù)通過水中的攝像而生成的情況下，根據(jù)由顏色信息取得部取得的顏色信息以及水中用基準顏色平衡特性，計算水中用顏色校正數(shù)據(jù)；以及顏色校正部，其根據(jù)水中用顏色校正數(shù)據(jù)，對通過水中的攝像而生成的圖像數(shù)據(jù)進行顏色校正。
文檔編號H04N9/73GK102595031SQ20111030135
公開日2012年7月18日 申請日期2011年9月28日 優(yōu)先權日2010年9月29日
發(fā)明者木野達哉 申請人:奧林巴斯映像株式會社