攝像設(shè)備及其控制方法
【專利摘要】本發(fā)明涉及一種攝像設(shè)備及其控制方法。從生成合成圖像所使用的曝光量不同的多個(gè)圖像中的至少兩個(gè)圖像檢測(cè)攝像相關(guān)評(píng)價(jià)值?；陬A(yù)定操作來從所檢測(cè)到的多個(gè)攝像相關(guān)評(píng)價(jià)值中選擇對(duì)攝像設(shè)備的操作進(jìn)行控制所使用的攝像相關(guān)評(píng)價(jià)值，由此提高HDR運(yùn)動(dòng)圖像拍攝操作時(shí)的攝像相關(guān)評(píng)價(jià)值的檢測(cè)精度。
【專利說明】攝像設(shè)備及其控制方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及攝像設(shè)備及其控制方法，尤其涉及可以拍攝動(dòng)態(tài)范圍擴(kuò)大的運(yùn)動(dòng)圖像的攝像設(shè)備及其控制方法。
【背景技術(shù)】
[0002]傳統(tǒng)上，一般的數(shù)字照相機(jī)中所使用的圖像傳感器((XD圖像傳感器或CMOS圖像傳感器等)與鹵化銀膠片相比存在動(dòng)態(tài)范圍(利用輸出值可表示的輸入亮度范圍)較窄的問題。作為獲得具有比圖像傳感器的動(dòng)態(tài)范圍寬的動(dòng)態(tài)范圍的圖像的方法，已知有被稱為“HDR(高動(dòng)態(tài)范圍)”的技術(shù)。HDR是通過合成使用不同的曝光量拍攝一個(gè)場(chǎng)景所獲得的多個(gè)圖像(例如，過曝光圖像和曝光不足圖像等)來生成一個(gè)圖像(HDR圖像)的方法(日本特開平 11-164195)。
[0003]此外，近年來，已提出了用于使用可以在一個(gè)幀時(shí)間段的攝像操作時(shí)拍攝曝光量不同的多個(gè)圖像的圖像傳感器來生成HDR圖像的技術(shù)，并且還涉及了適用于運(yùn)動(dòng)圖像拍攝操作時(shí)的HDR圖像生成的應(yīng)用(日本特開2011-244309)。
[0004]在用于通過合成多個(gè)圖像來生成幀圖像的HDR運(yùn)動(dòng)圖像拍攝操作中，在從合成圖像檢測(cè)到攝像所需的攝像相關(guān)評(píng)價(jià)值的情況下，這些攝像相關(guān)評(píng)價(jià)值的反映定時(shí)延遲。在如日本特開平11-164195所述的針對(duì)多個(gè)幀時(shí)間段獲取曝光量不同的多個(gè)圖像的結(jié)構(gòu)中、以及還在如日本特開2011-244309所述的可以在一個(gè)幀時(shí)間段內(nèi)獲取曝光量不同的多個(gè)圖像的結(jié)構(gòu)中，存在該問題。注意，攝像相關(guān)評(píng)價(jià)值包括AF(自動(dòng)調(diào)焦檢測(cè))評(píng)價(jià)值、AE(自動(dòng)曝光控制)評(píng)價(jià)值和WB (白平衡)評(píng)價(jià)值等。
[0005]例如，將檢查在HDR運(yùn)動(dòng)圖像的攝像操作期間基于AF評(píng)價(jià)值來執(zhí)行AF控制操作的情況。在這種情況下，在采用用于使用從合成圖像檢測(cè)到的AF評(píng)價(jià)值來執(zhí)行AF控制操作的結(jié)構(gòu)的情況下，AF評(píng)價(jià)值的反映定時(shí)在圖像合成之后出現(xiàn)，這導(dǎo)致針對(duì)被攝體的運(yùn)動(dòng)的AF響應(yīng)差。由于該原因，期望使用合成之前的圖像來檢測(cè)并反映AF評(píng)價(jià)值。
[0006]然而，在始終使用合成之前的圖像(例如，曝光量大的過曝光圖像和曝光量小的曝光不足圖像)的其中一個(gè)來檢測(cè)攝像相關(guān)評(píng)價(jià)值的結(jié)構(gòu)中，由于曝光量和攝像場(chǎng)景之間的關(guān)系而導(dǎo)致經(jīng)常無法檢測(cè)到精確的攝像相關(guān)評(píng)價(jià)值。例如，在背景為夜景的狀態(tài)下對(duì)人物攝像的非常暗的場(chǎng)景中，從曝光不足圖像無法檢測(cè)到精確的攝像相關(guān)評(píng)價(jià)值。可選地，在由于攝像場(chǎng)景十分亮并且具有寬的動(dòng)態(tài)范圍、因此被攝體遭受暗部缺失或高光溢出的情況下，從過曝光圖像無法檢測(cè)到精確的攝像相關(guān)評(píng)價(jià)值。
[0007]在(主被攝體的背景非常亮的)背光場(chǎng)景和(背景暗并且主被攝體的占用面積小的)隧道場(chǎng)景等中，存在相同的問題。

【發(fā)明內(nèi)容】

[0008]本發(fā)明是考慮到上述相關(guān)技術(shù)的問題而作出的，并且提供可以提高HDR運(yùn)動(dòng)圖像拍攝操作時(shí)的攝像相關(guān)評(píng)價(jià)值的檢測(cè)精度的攝像設(shè)備及其控制方法。[0009]根據(jù)本發(fā)明的方面，提供一種攝像設(shè)備，其特征在于，包括:攝像部件，用于拍攝曝光量不同的多個(gè)圖像；曝光控制部件，用于控制所述攝像部件的曝光；評(píng)價(jià)值檢測(cè)部件，用于從所述攝像部件所獲得的曝光量不同的所述多個(gè)圖像中的至少兩個(gè)圖像檢測(cè)攝像相關(guān)評(píng)價(jià)值；選擇部件，用于基于預(yù)定條件，來從所述評(píng)價(jià)值檢測(cè)部件所檢測(cè)到的多個(gè)攝像相關(guān)評(píng)價(jià)值中選擇對(duì)所述攝像設(shè)備的操作進(jìn)行控制所用的攝像相關(guān)評(píng)價(jià)值；以及控制部件，用于基于所述選擇部件所選擇的攝像相關(guān)評(píng)價(jià)值來控制所述攝像設(shè)備的操作。
[0010]根據(jù)本發(fā)明的另一方面，提供一種攝像設(shè)備的控制方法，所述攝像設(shè)備包括用于拍攝運(yùn)動(dòng)圖像的攝像部件，所述控制方法包括以下步驟:設(shè)置步驟，用于設(shè)置所述攝像部件的曝光條件，從而拍攝生成合成圖像要使用的、曝光量不同的多個(gè)圖像；評(píng)價(jià)值檢測(cè)步驟，用于從所述攝像部件所獲得的曝光量不同的所述多個(gè)圖像中的至少兩個(gè)圖像檢測(cè)攝像相關(guān)評(píng)價(jià)值；選擇步驟，用于基于預(yù)定條件，來從所述評(píng)價(jià)值檢測(cè)步驟中所檢測(cè)到的多個(gè)攝像相關(guān)評(píng)價(jià)值中選擇對(duì)所述攝像設(shè)備的操作進(jìn)行控制所用的攝像相關(guān)評(píng)價(jià)值；以及控制步驟，用于基于所述選擇步驟中所選擇的攝像相關(guān)評(píng)價(jià)值來控制所述攝像設(shè)備的操作。
[0011]通過以下參考附圖對(duì)典型實(shí)施例的說明，本發(fā)明的其它特征將變得明顯。
【專利附圖】

【附圖說明】
[0012]圖1是示出根據(jù)本發(fā)明第一實(shí)施例的攝像設(shè)備的功能結(jié)構(gòu)示例的框圖；
[0013]圖2是用于說明根據(jù)本發(fā)明第一實(shí)施例的攝像設(shè)備中的HDR運(yùn)動(dòng)圖像拍攝操作的操作定時(shí)的時(shí)序圖；
[0014]圖3是用于說明根據(jù)本發(fā)明第一實(shí)施例的攝像設(shè)備的HDR運(yùn)動(dòng)圖像拍攝操作的流程圖；
[0015]圖4是示出根據(jù)本發(fā)明第二實(shí)施例的攝像設(shè)備的功能結(jié)構(gòu)示例的框圖；
[0016]圖5是用于說明根據(jù)本發(fā)明第二實(shí)施例的攝像設(shè)備的HDR運(yùn)動(dòng)圖像拍攝操作的流程圖；
[0017]圖6是示出根據(jù)本發(fā)明第二實(shí)施例的攝像設(shè)備中的攝像相關(guān)評(píng)價(jià)值的選擇示例的表；
[0018]圖7是示出根據(jù)本發(fā)明第三實(shí)施例的攝像設(shè)備的圖像傳感器的結(jié)構(gòu)示例的框圖；
[0019]圖8是示出圖7所示的單位像素的結(jié)構(gòu)示例的電路圖；
[0020]圖9是用于說明根據(jù)本發(fā)明第三實(shí)施例的攝像設(shè)備的HDR運(yùn)動(dòng)圖像拍攝操作的時(shí)序圖；
[0021]圖10是用于說明根據(jù)本發(fā)明第三實(shí)施例的攝像設(shè)備的HDR運(yùn)動(dòng)圖像拍攝操作時(shí)垂直掃描單元的操作的時(shí)序圖；
[0022]圖11是用于說明根據(jù)本發(fā)明第三實(shí)施例的攝像設(shè)備的HDR運(yùn)動(dòng)圖像拍攝操作的流程圖；
[0023]圖12A和12B是用于說明根據(jù)本發(fā)明第三實(shí)施例的攝像設(shè)備中、使用直方圖的攝像相關(guān)評(píng)價(jià)值的選擇操作的圖；以及
[0024]圖13是用于說明根據(jù)本發(fā)明第四實(shí)施例的攝像設(shè)備的HDR運(yùn)動(dòng)圖像拍攝操作的流程圖?！揪唧w實(shí)施方式】
[0025]現(xiàn)在將根據(jù)附圖來詳細(xì)說明本發(fā)明的典型實(shí)施例。
[0026]第一實(shí)施例
[0027]在本說明書中，攝像相關(guān)評(píng)價(jià)值是在對(duì)攝像設(shè)備進(jìn)行控制并且對(duì)所拍攝圖像應(yīng)用校正等時(shí)所需的參數(shù)，并且是從所拍攝圖像獲取到的參數(shù)。例如，AF(自動(dòng)調(diào)焦檢測(cè))評(píng)價(jià)值、WB(白平衡)評(píng)價(jià)值和AE(自動(dòng)曝光控制)評(píng)價(jià)值等是典型的攝像相關(guān)評(píng)價(jià)值，但本發(fā)明不限于這些特定值。
[0028]AF評(píng)價(jià)值(焦點(diǎn)評(píng)價(jià)值)用于使光學(xué)系統(tǒng)與被攝體聚焦，并且主要是對(duì)調(diào)焦透鏡的位置進(jìn)行控制所需的。
[0029]WB評(píng)價(jià)值(白平衡評(píng)價(jià)值)用于對(duì)所拍攝圖像的色調(diào)進(jìn)行校正，并且是顯像處理所需的參數(shù)。
[0030]AE評(píng)價(jià)值(曝光評(píng)價(jià)值)是自動(dòng)調(diào)整攝像操作的曝光條件所需的，并且主要用于設(shè)置光圈、快門速度和感光度。
[0031]圖1是示出根據(jù)本實(shí)施例的攝像設(shè)備的功能結(jié)構(gòu)示例的框圖。
[0032]鏡頭101是構(gòu)成光學(xué)系統(tǒng)的透鏡組，并且包括用于調(diào)節(jié)聚焦距離的調(diào)焦透鏡。調(diào)焦透鏡的位置可以沿著光軸方向改變，并且系統(tǒng)控制器108基于攝像評(píng)價(jià)值檢測(cè)器107所檢測(cè)到的AF評(píng)價(jià)值來經(jīng)由鏡頭驅(qū)動(dòng)控制器106控制調(diào)焦透鏡的位置。
[0033]經(jīng)由鏡頭101入射的光在包括CXD或CMOS圖像傳感器等的圖像傳感器102的成像面上形成被攝體的光學(xué)圖像。
[0034]圖像傳感器102將入射到各像素的光轉(zhuǎn)換成電荷，針對(duì)各像素來將被攝體的光學(xué)圖像轉(zhuǎn)換成電信號(hào)，并且輸出該電信號(hào)。
[0035]拍攝信號(hào)處理器103對(duì)從圖像傳感器102輸出的電信號(hào)應(yīng)用諸如A/D轉(zhuǎn)換等的信號(hào)處理，并且輸出處理后的信號(hào)作為圖像數(shù)據(jù)。注意，可以將拍攝信號(hào)處理器103作為圖像傳感器102的周邊電路進(jìn)行嵌入。
[0036]攝像評(píng)價(jià)值檢測(cè)器107根據(jù)從拍攝信號(hào)處理器103輸出的圖像數(shù)據(jù)檢測(cè)預(yù)定的攝像相關(guān)評(píng)價(jià)值。在這種情況下，攝像評(píng)價(jià)值檢測(cè)器107在來自系統(tǒng)控制器108的輸出定時(shí)從HDR處理之前的過曝光圖像和曝光不足圖像檢測(cè)攝像相關(guān)評(píng)價(jià)值，并且選擇這些攝像相關(guān)評(píng)價(jià)值的其中一個(gè)(后面將說明詳細(xì)內(nèi)容)。
[0037]然后，系統(tǒng)控制器108基于所檢測(cè)到的攝像相關(guān)評(píng)價(jià)值中的AF評(píng)價(jià)值來確定鏡頭101 (調(diào)焦透鏡)的控制量，并且將該控制量輸出至鏡頭驅(qū)動(dòng)控制器106。
[0038]鏡頭驅(qū)動(dòng)控制器106基于來自系統(tǒng)控制器108的控制量來在光軸方向上驅(qū)動(dòng)鏡頭101中所包括的調(diào)焦透鏡，由此調(diào)整鏡頭101的聚焦距離。
[0039]幀存儲(chǔ)器113存儲(chǔ)輸入至視頻信號(hào)處理器104的圖像數(shù)據(jù)。視頻信號(hào)處理器104通過對(duì)存儲(chǔ)在幀存儲(chǔ)器113中的圖像數(shù)據(jù)應(yīng)用預(yù)定處理來生成HDR圖像，并且輸出可以顯示在顯示單元105上的圖像信號(hào)。
[0040]視頻信號(hào)處理器104針對(duì)從圖像傳感器102輸出的運(yùn)動(dòng)圖像的各幀或針對(duì)預(yù)定幀數(shù)輸出圖像信號(hào)。
[0041]系統(tǒng)控制器108是諸如CPU(中央處理單元)等的可編程處理器，并且根據(jù)存儲(chǔ)在ROM等中的程序來控制攝像設(shè)備整體。更具體地，系統(tǒng)控制器108控制鏡頭驅(qū)動(dòng)控制器106、圖像傳感器102、拍攝信號(hào)處理器103、視頻信號(hào)處理器104和攝像評(píng)價(jià)值檢測(cè)器107的處理。此外，系統(tǒng)控制器108控制顯示單元105、外部輸入/輸出端子單元109、操作單元110、存儲(chǔ)單元111和電源單元112。
[0042]外部輸入/輸出端子單元109是使外部裝置連接至攝像設(shè)備所需的外部接口，并且例如包括符合HDMI和USB標(biāo)準(zhǔn)等的連接器。
[0043]操作單元110是用戶向攝像設(shè)備輸入指示和設(shè)置所需的輸入裝置組。操作單元110包括釋放按鈕、記錄/播放模式切換開關(guān)、箭頭鍵、確定/執(zhí)行鍵和菜單按鈕等(即，通常包括在攝像設(shè)備中的按鈕和鍵等)。注意，諸如觸摸面板和語音輸入等的在無需任何硬件鍵的情況下實(shí)現(xiàn)輸入方法所需的結(jié)構(gòu)也包括在操作單元110中。
[0044]存儲(chǔ)單元111包括記錄介質(zhì)，并且將所拍攝到的運(yùn)動(dòng)圖像和靜止圖像記錄在該記錄介質(zhì)中。記錄介質(zhì)可以是可拆卸型(例如，半導(dǎo)體存儲(chǔ)卡等)或固定型(內(nèi)部驅(qū)動(dòng)器)或這兩者。
[0045]電源單元112例如包括二次電池和電源電路，并且供給驅(qū)動(dòng)攝像設(shè)備的各單元所需的電源電壓。
[0046]以下將說明根據(jù)本實(shí)施例的HDR運(yùn)動(dòng)圖像生成處理。注意，運(yùn)動(dòng)圖像拍攝操作不僅包括要記錄的圖像的拍攝，而且還包括為了在攝像待機(jī)模式下顯示在顯示單元105上所要拍攝的實(shí)時(shí)取景圖像的拍攝。在本實(shí)施例中，為了簡(jiǎn)便和容易理解，將曝光量不同的兩個(gè)圖像合成以生成HDR圖像(運(yùn)動(dòng)圖像幀)。可選地，可以使用三個(gè)以上的圖像來生成一個(gè)HDR圖像。注意，在以下說明中，將使用比適當(dāng)曝光量大的曝光量所拍攝到的過曝光圖像稱為高(High)圖像，將使用適當(dāng)曝光量所拍攝到的圖像稱為中(Middle)圖像，并且將使用比適當(dāng)曝光量小的曝光量所拍攝到的曝光不足圖像稱為低(Low)圖像。
[0047]圖2是用于說明本實(shí)施例的攝像設(shè)備中的HDR運(yùn)動(dòng)圖像拍攝操作時(shí)的操作定時(shí)的時(shí)序圖。假定HDR運(yùn)動(dòng)圖像的幀頻為30幀/秒(fps)。由于根據(jù)兩個(gè)圖像來生成HDR運(yùn)動(dòng)圖像的一幀，因此攝像幀頻為60fps。注意，這些幀頻是示例，并且可以使用其它幀頻。
[0048]系統(tǒng)控制器108使用內(nèi)部時(shí)鐘來生成定時(shí)脈沖。與l/60s周期的攝像同步信號(hào)同步地執(zhí)行60fps的攝像操作。
[0049]在本實(shí)施例中，系統(tǒng)控制器108交替執(zhí)行高圖像201和低圖像202的攝像操作。在這種情況下，例如假定高圖像是在比適當(dāng)曝光等級(jí)Ev(O)亮I級(jí)(+1級(jí))的曝光條件Ev(H)下拍攝到的過曝光圖像，并且低圖像是在比適當(dāng)曝光等級(jí)暗I級(jí)(-1級(jí))的曝光條件Ev(L)下拍攝到的曝光不足圖像。
[0050]將所拍攝圖像臨時(shí)存儲(chǔ)在幀存儲(chǔ)器113中。在獲得了高圖像201和低圖像202的情況下，視頻信號(hào)處理器104在下一幀周期合成這兩個(gè)圖像以生成HDR圖像203。注意，可以使用已知方法來根據(jù)高圖像201和低圖像202生成HDR圖像203。
[0051]攝像評(píng)價(jià)值檢測(cè)器107根據(jù)從系統(tǒng)控制器108輸出的攝像評(píng)價(jià)值提取定時(shí)204和205來從高圖像201和低圖像202分別檢測(cè)預(yù)定的攝像相關(guān)評(píng)價(jià)值。
[0052]此外，攝像評(píng)價(jià)值檢測(cè)器107根據(jù)從系統(tǒng)控制器108輸出的攝像評(píng)價(jià)值選擇定時(shí)206來選擇被判斷為比其它更適合用在HDR運(yùn)動(dòng)圖像拍攝操作中的攝像相關(guān)評(píng)價(jià)值。
[0053]在要從合成圖像獲得攝像相關(guān)評(píng)價(jià)值的情況下，這些攝像相關(guān)評(píng)價(jià)值是在合成處理之后獲得的。然而，在本實(shí)施例中，可以在合成處理開始之前的定時(shí)選擇并反映攝像相關(guān)評(píng)價(jià)值，由此提高使用攝像相關(guān)評(píng)價(jià)值的處理的響應(yīng)。
[0054]系統(tǒng)控制器108基于在攝像評(píng)價(jià)值選擇定時(shí)所選擇的攝像相關(guān)評(píng)價(jià)值中的AF評(píng)價(jià)值來經(jīng)由鏡頭驅(qū)動(dòng)控制器106控制調(diào)焦透鏡位置，由此調(diào)整鏡頭101的聚焦距離。系統(tǒng)控制器108在鏡頭控制定時(shí)207的一個(gè)周期、即輸出同步信號(hào)的一個(gè)周期(1/30秒)內(nèi)執(zhí)行調(diào)焦透鏡位置的控制。
[0055]以下將參考圖3所示的流程圖來詳細(xì)說明根據(jù)本實(shí)施例的攝像設(shè)備的HDR運(yùn)動(dòng)圖像拍攝操作。注意，在以下說明中，設(shè)α是從高圖像檢測(cè)到的攝像相關(guān)評(píng)價(jià)值、并且β是從低圖像檢測(cè)到的攝像相關(guān)評(píng)價(jià)值。
[0056]在例如通過對(duì)操作單元110的電源開關(guān)進(jìn)行操作來接通電源的情況下(步驟
5301)，電源單元112向各單元供給電源電壓。系統(tǒng)控制器108執(zhí)行各種初始設(shè)置(步驟
5302)，并且設(shè)置成攝像待機(jī)狀態(tài)。
[0057]在這種狀態(tài)下對(duì)操作單元110的記錄按鈕等進(jìn)行操作的情況下，開始要記錄的運(yùn)動(dòng)圖像的攝像操作?？蛇x地，在無需記錄按鈕的任何操作的情況下，開始在待機(jī)狀態(tài)下要顯示在顯示單元105上的實(shí)時(shí)取景視頻的攝像操作(步驟S303)。在本實(shí)施例中，假定在任一情況下執(zhí)行HDR運(yùn)動(dòng)圖像拍攝操作，并且以下將在無需區(qū)分實(shí)時(shí)取景視頻和要記錄的視頻的情況下進(jìn)行說明。
[0058]系統(tǒng)控制器108利用已知的任意方法來計(jì)算適當(dāng)曝光條件，并且參考該適當(dāng)曝光條件來確定+1級(jí)的高圖像用曝光條件Ev⑶和-1級(jí)的低圖像用曝光條件Ev(L)(步驟S304)。假定在這種情況下，通過將快門速度(并且根據(jù)需要還將感光度)相對(duì)于適當(dāng)曝光條件調(diào)整了 +1級(jí)和-1級(jí)來確定這些條件Ev (H)和Ev (L)。此外，假定系統(tǒng)控制器108通過控制圖像傳感器102中的電荷累積時(shí)間段來控制快門速度。
[0059]在步驟S305中，系統(tǒng)控制器108根據(jù)步驟S304中所確定的曝光條件Ev(H)來執(zhí)行攝像操作。系統(tǒng)控制器108將通過該攝像操作所獲得的高圖像保存在幀存儲(chǔ)器113中，并且將該圖像供給至攝像評(píng)價(jià)值檢測(cè)器107。攝像評(píng)價(jià)值檢測(cè)器107從該高圖像檢測(cè)攝像相關(guān)評(píng)價(jià)值α (步驟S306)。
[0060]在步驟S307中，系統(tǒng)控制器108根據(jù)步驟S304中所確定的曝光條件Ev(L)來執(zhí)行攝像操作。系統(tǒng)控制器108將通過該攝像操作所獲得的低圖像保存在幀存儲(chǔ)器113中，并且將該圖像供給至攝像評(píng)價(jià)值檢測(cè)器107。攝像評(píng)價(jià)值檢測(cè)器107從該低圖像檢測(cè)攝像相關(guān)評(píng)價(jià)值β (步驟S308)。
[0061]在步驟S309中，視頻信號(hào)處理器104開始用于根據(jù)保存在幀存儲(chǔ)器113中的高圖像和低圖像生成HDR圖像(HDR運(yùn)動(dòng)圖像幀)的合成處理。
[0062]在步驟S310中，視頻信號(hào)處理器104執(zhí)行步驟S309中所生成的HDR圖像的顯像處理。在該顯像處理之后，將運(yùn)動(dòng)圖像記錄在存儲(chǔ)單元111中或者將實(shí)時(shí)取景視頻顯示在顯示單元105上。注意,如圖2所示,步驟S310中所記錄或所顯示的HDR圖像是在緊前的幀周期處所拍攝到的高圖像和低圖像的合成圖像。
[0063]在步驟S311中輸入運(yùn)動(dòng)圖像拍攝結(jié)束指示(例如，記錄操作結(jié)束指示或向著無任何實(shí)時(shí)取景顯示操作的操作模式的轉(zhuǎn)變指示)的情況下，系統(tǒng)控制器108結(jié)束該處理。另一方面，在要繼續(xù)攝像操作的情況下，該處理進(jìn)入步驟S312。
[0064]在步驟S312?S314中，攝像評(píng)價(jià)值檢測(cè)器107基于步驟S306中從高圖像檢測(cè)到的攝像相關(guān)評(píng)價(jià)值α和步驟S308中從低圖像檢測(cè)到的攝像相關(guān)評(píng)價(jià)值β的比較結(jié)果，來選擇這些攝像相關(guān)評(píng)價(jià)值中的被判斷為更適合的一個(gè)攝像相關(guān)評(píng)價(jià)值。
[0065]例如，假定攝像相關(guān)評(píng)價(jià)值是對(duì)比度檢測(cè)方法的自動(dòng)調(diào)焦檢測(cè)(對(duì)比度AF)所用的AF評(píng)價(jià)值。在這種情況下，AF評(píng)價(jià)值表示對(duì)比度的大小，并且AF評(píng)價(jià)值越高(越大)，這意味著光學(xué)系統(tǒng)越接近聚焦?fàn)顟B(tài)。因此，圖像的對(duì)比度越大，所獲得的AF評(píng)價(jià)值越高。
[0066]例如，在拍攝背光場(chǎng)景的情況下，被攝體的對(duì)比度(AF評(píng)價(jià)值)在高圖像中高并且在低圖像中低。
[0067]在步驟S312中判斷為從高圖像檢測(cè)到的攝像相關(guān)評(píng)價(jià)值α不小于從低圖像檢測(cè)到的攝像相關(guān)評(píng)價(jià)值β (α ^ β)的情況下，在步驟S313中攝像評(píng)價(jià)值檢測(cè)器107選擇從高圖像檢測(cè)到的攝像相關(guān)評(píng)價(jià)值α。另一方面，在步驟S312中判斷為從低圖像檢測(cè)到的攝像相關(guān)評(píng)價(jià)值β較高(α〈β)的情況下，在步驟S314中攝像評(píng)價(jià)值檢測(cè)器107選擇從低圖像檢測(cè)到的攝像相關(guān)評(píng)價(jià)值β。注意，在要合成三個(gè)以上的圖像的情況下，可以選擇最高的評(píng)價(jià)值。
[0068]然后，重復(fù)從步驟S304起的處理。
[0069]系統(tǒng)控制器108基于所選擇的攝像相關(guān)評(píng)價(jià)值來控制攝像設(shè)備的操作。在攝像相關(guān)評(píng)價(jià)值是AF評(píng)價(jià)值的情況下，如圖2所示，系統(tǒng)控制器108在鏡頭控制定時(shí)207處控制調(diào)焦透鏡。注意，沒有特別限制基于AF評(píng)價(jià)值來如何控制調(diào)焦透鏡，并且可以使用已知方法。
[0070]如上所述，根據(jù)本實(shí)施例，在需要使用在拍攝HDR運(yùn)動(dòng)圖像的同時(shí)所檢測(cè)到的攝像相關(guān)評(píng)價(jià)值的情況下，代替從合成之后的HDR圖像檢測(cè)到的攝像相關(guān)評(píng)價(jià)值，在從合成之前的多個(gè)圖像檢測(cè)到的攝像相關(guān)評(píng)價(jià)值中動(dòng)態(tài)地選擇并使用適當(dāng)?shù)臄z像相關(guān)評(píng)價(jià)值。由于該原因，可以縮短從拍攝到要合成的圖像起直到獲得攝像相關(guān)評(píng)價(jià)值為止所需的時(shí)間段，由此使得能夠進(jìn)行響應(yīng)快速的控制。此外，由于可以使用從合成之前的多個(gè)圖像檢測(cè)到的攝像相關(guān)評(píng)價(jià)值中的最佳攝像相關(guān)評(píng)價(jià)值，因此與使用從按合成之前的多個(gè)圖像的特定順序拍攝到的圖像中檢測(cè)到的攝像相關(guān)評(píng)價(jià)值的情況相比，可以提高控制精度。
[0071]注意，在本實(shí)施例中，已說明了 AF評(píng)價(jià)值作為攝像相關(guān)評(píng)價(jià)值的示例。關(guān)于例如白平衡評(píng)價(jià)值(WB評(píng)價(jià)值)和AE評(píng)價(jià)值的其它攝像相關(guān)評(píng)價(jià)值，可以應(yīng)用相同的結(jié)構(gòu)。
[0072]也就是說，如圖3所示，在步驟S306中從高圖像并且在步驟S308中從低圖像分別檢測(cè)其它攝像相關(guān)評(píng)價(jià)值，并且在步驟S312中選擇最佳值。然后，基于所選擇的攝像相關(guān)評(píng)價(jià)值來控制攝像設(shè)備的操作(白平衡系數(shù)的計(jì)算操作或下次攝像時(shí)的曝光控制參數(shù)的確定)。
[0073]第二實(shí)施例
[0074]在第一實(shí)施例中，基于從合成之前的多個(gè)圖像檢測(cè)到的攝像相關(guān)評(píng)價(jià)值的比較結(jié)果來選擇最佳攝像相關(guān)評(píng)價(jià)值。第二實(shí)施例的特征在于以下:基于攝像場(chǎng)景的檢測(cè)時(shí)所使用的信息來選擇最佳攝像相關(guān)評(píng)價(jià)值。
[0075]圖4是示出根據(jù)第二實(shí)施例的攝像設(shè)備的功能結(jié)構(gòu)示例的框圖，并且共通的附圖標(biāo)記表示與圖1所示的攝像設(shè)備中的單元共通的單元。本實(shí)施例的攝像設(shè)備的特征在于以下:向圖1所示的攝像設(shè)備添加了面部信息檢測(cè)器401、亮度信息檢測(cè)器402、顏色信息檢測(cè)器403和場(chǎng)景判斷單元404。[0076]面部信息檢測(cè)器401對(duì)從拍攝信號(hào)處理器103輸出的圖像信號(hào)應(yīng)用已知的面部檢測(cè)處理以檢測(cè)包括在圖像中的人物或動(dòng)物(寵物等)的面部區(qū)域，并且將所檢測(cè)到的面部區(qū)域的信息作為被攝體檢測(cè)信息輸出至場(chǎng)景判斷單元404。注意，被攝體檢測(cè)信息可以是除面部區(qū)域以外的檢測(cè)信息。
[0077]亮度信息檢測(cè)器402將與從視頻信號(hào)處理器104接收到的視頻信號(hào)相對(duì)應(yīng)的圖像分割成多個(gè)區(qū)域，并且計(jì)算各區(qū)域的平均亮度值。
[0078]然后，亮度信息檢測(cè)器402例如使用這些平均亮度值來計(jì)算諸如幀圖像的中心部和周邊部之間的亮度差或者中心亮度值等的亮度信息。將亮度信息檢測(cè)器402所檢測(cè)到的亮度信息發(fā)送至場(chǎng)景判斷單元404。
[0079]顏色信息檢測(cè)器403對(duì)從視頻信號(hào)處理器104接收到的視頻信號(hào)應(yīng)用顏色檢測(cè)處理，并且檢測(cè)諸如平均飽和度或高飽和度區(qū)域的面積等的顏色信息。將顏色信息檢測(cè)器403所檢測(cè)到的顏色信息發(fā)送至場(chǎng)景判斷單元404。
[0080]場(chǎng)景判斷單元404基于從面部信息檢測(cè)器401、亮度信息檢測(cè)器402和顏色信息檢測(cè)器403發(fā)送來的各信息，根據(jù)視頻信號(hào)處理器104處理后的視頻信號(hào)來判斷攝像場(chǎng)景是否是滿足特定條件的攝像場(chǎng)景。例如，可以使用已知的場(chǎng)景判斷技術(shù)(還稱為場(chǎng)景識(shí)別技術(shù))基于背景的亮度值和被攝體的亮度值之間的關(guān)系、背景的顏色信息以及有無檢測(cè)到人物來執(zhí)行該判斷。
[0081 ] 從面部信息檢測(cè)器401、亮度信息檢測(cè)器402和顏色信息檢測(cè)器403發(fā)送來的各信息由場(chǎng)景判斷單元404臨時(shí)保存，并且根據(jù)需要進(jìn)行更新。
[0082]然后，場(chǎng)景判斷單元404將根據(jù)所判斷出的攝像場(chǎng)景來改變攝像參數(shù)和圖像處理參數(shù)等所需的信息發(fā)送至系統(tǒng)控制器108。
[0083]攝像評(píng)價(jià)值檢測(cè)器107基于場(chǎng)景判斷單元404的信息來選擇是否使用從高圖像或低圖像獲得的攝像相關(guān)評(píng)價(jià)值。
[0084]以下將說明利用場(chǎng)景判斷單元404的場(chǎng)景判斷操作。
[0085]場(chǎng)景判斷單元404基于亮度信息檢測(cè)器402所檢測(cè)到的亮度信息和顏色信息檢測(cè)器403所檢測(cè)到的顏色信息來針對(duì)HDR處理之前的高圖像和低圖像判斷攝像場(chǎng)景的背景。
[0086]此外，場(chǎng)景判斷單元404使用面部信息檢測(cè)器401所檢測(cè)到的面部信息來針對(duì)HDR處理之前的高圖像和低圖像判斷攝像場(chǎng)景中的主被攝體。
[0087]首先將說明判斷攝像場(chǎng)景的背景的情況。
[0088]場(chǎng)景判斷單元404分析亮度信息檢測(cè)器402所檢測(cè)到的亮度信息和顏色信息檢測(cè)器403所檢測(cè)到的顏色信息。然后，在圖像上的天藍(lán)色區(qū)域的面積不小于閾值的情況下，場(chǎng)景判斷單元404判斷為攝像場(chǎng)景的背景是藍(lán)色天空。
[0089]此外，場(chǎng)景判斷單元404分析亮度信息檢測(cè)器402所檢測(cè)到的亮度信息和顏色信息檢測(cè)器403所檢測(cè)到的顏色信息。然后，在亮度信息檢測(cè)器402所檢測(cè)到的亮度信息和顏色信息檢測(cè)器403所檢測(cè)到的顏色信息被判斷為圖像亮度與直方圖分布或方差相關(guān)聯(lián)地滿足預(yù)定條件的情況下，場(chǎng)景判斷單元404判斷為攝像場(chǎng)景的背景是夜景。
[0090]例如，在低亮度部占圖像的亮度直方圖的大部分、并且高亮度部斷續(xù)分布的情況下，場(chǎng)景判斷單元404可以判斷為攝像場(chǎng)景的背景是夜景。
[0091]此外，場(chǎng)景判斷單元404分析亮度信息檢測(cè)器402所檢測(cè)到的亮度信息和顏色信息檢測(cè)器403所檢測(cè)到的顏色信息。然后，在圖像的平均飽和度和高飽和度區(qū)域的面積這兩者不小于閾值的情況下，場(chǎng)景判斷單元404判斷為攝像場(chǎng)景是彩色場(chǎng)景。
[0092]以下將說明判斷攝像場(chǎng)景中的主被攝體的情況。
[0093]場(chǎng)景判斷單元404分析來自面部信息檢測(cè)器401的面部信息，并且在根據(jù)圖像信號(hào)檢測(cè)到面部的情況下，判斷為攝像場(chǎng)景中的主被攝體是人物。
[0094]這樣，場(chǎng)景判斷單元404判斷場(chǎng)景的背景和被攝體這兩者，并且將作為這些判斷結(jié)果的組合的一個(gè)判斷結(jié)果輸出至系統(tǒng)控制器108。
[0095]例如，在如背光場(chǎng)景那樣的背景非常亮的狀態(tài)下拍攝人物的圖像的情況下，低圖像的亮度信息和顏色信息的檢測(cè)值較高，并且高圖像的面部信息的檢測(cè)值較高。
[0096]另一方面，在如隧道場(chǎng)景那樣的、背景暗并且主被攝體的占用面積小的情況下，高圖像的亮度信息和顏色信息的檢測(cè)值較高，并且低圖像的面部信息的檢測(cè)值較高。
[0097]攝像評(píng)價(jià)值檢測(cè)器107基于從場(chǎng)景判斷單元404獲得的信息來選擇從高圖像檢測(cè)到的攝像相關(guān)評(píng)價(jià)值α和從低圖像檢測(cè)到的攝像相關(guān)評(píng)價(jià)值β的其中一個(gè)。
[0098]以下將參考圖5所示的流程圖來詳細(xì)說明本實(shí)施例的攝像設(shè)備的HDR運(yùn)動(dòng)圖像拍攝操作。注意，在圖5中，與圖3相同的附圖標(biāo)記表示執(zhí)行與第一實(shí)施例的處理相同的處理的步驟，并且將省略針對(duì)這些步驟的重復(fù)說明。在以下說明中，設(shè)Xh是從高圖像檢測(cè)到的面部信息檢測(cè)值、Yh是亮度信息檢測(cè)值、并且Zh是顏色信息檢測(cè)值。此外，設(shè)Π是從低圖像檢測(cè)到的面部信息檢測(cè)值、Yl是亮度信息檢測(cè)值、并且Π是顏色信息檢測(cè)值。注意，作為比較時(shí)所使用的面部信息、亮度信息和顏色信息，可以使用檢測(cè)器401?403所檢測(cè)到的多個(gè)類型的信息中的預(yù)定一個(gè)信息，或者可以在預(yù)定條件下將多個(gè)類型的信息轉(zhuǎn)換成一個(gè)值。
[0099]攝像評(píng)價(jià)值檢測(cè)器107將從低圖像和高圖像分別檢測(cè)到的面部信息X、亮度信息Y和顏色信息Z的信息值進(jìn)行比較，并且例如如圖6所示選擇攝像相關(guān)評(píng)價(jià)值α和β。圖6示出基于面部信息、亮度信息和顏色信息的大小關(guān)系的組合來選擇攝像相關(guān)評(píng)價(jià)值α和β中的哪一個(gè)。
[0100]注意，如圖6所示，攝像評(píng)價(jià)值檢測(cè)器107可以基于場(chǎng)景判斷單元404的場(chǎng)景判斷結(jié)果來選擇攝像相關(guān)評(píng)價(jià)值α和β。在使用場(chǎng)景判斷結(jié)果的情況下，可以不必進(jìn)行各信息的比較。
[0101]在步驟S305中獲取到高圖像之后，在步驟S501中，針對(duì)該高圖像，面部信息檢測(cè)器401檢測(cè)面部信息Xh，亮度信息檢測(cè)器402檢測(cè)亮度信息Xh，并且顏色信息檢測(cè)器403檢測(cè)顏色信息Zh。
[0102]此外，在步驟S502中，針對(duì)步驟S307中所獲取到的低圖像，面部信息檢測(cè)器401檢測(cè)面部信息Π，亮度信息檢測(cè)器402檢測(cè)亮度信息XI，并且顏色信息檢測(cè)器403檢測(cè)顏色信息Zl。
[0103]在步驟S311中輸入攝像操作結(jié)束指示的情況下，系統(tǒng)控制器108結(jié)束該處理。另一方面，在要繼續(xù)攝像操作的情況下，該處理進(jìn)入步驟S504。
[0104]在步驟S504中，攝像評(píng)價(jià)值檢測(cè)器107根據(jù)步驟S501中從高圖像檢測(cè)到的各值和步驟S502中從低圖像檢測(cè)到的各值，來確定要反映到下一攝像操作的攝像相關(guān)評(píng)價(jià)值。
[0105]例如，在各值的關(guān)系如下的情況下，[0106]面部信息值:Xh 0(1
[0107]亮度信息值:Yh>Yl
[0108]顏色信息值:Zh>H
[0109]攝像評(píng)價(jià)值檢測(cè)器107選擇從高圖像檢測(cè)到的攝像相關(guān)評(píng)價(jià)值α。注意，由于在場(chǎng)景判斷單元404判斷為背光場(chǎng)景的情況下也滿足這些關(guān)系，因此如果場(chǎng)景判斷單元404判斷為背光場(chǎng)景，則攝像評(píng)價(jià)值檢測(cè)器107可以立即選擇攝像相關(guān)評(píng)價(jià)值α。
[0110]同樣，在各值的關(guān)系如下的情況下，
[0111]面部信息值:Xh>Xl
[0112]亮度信息值:Yh≤Yl
[0113]顏色信息值:a≤Zl
[0114]攝像評(píng)價(jià)值檢測(cè)器107選擇從低圖像檢測(cè)到的攝像相關(guān)評(píng)價(jià)值β。注意，由于在場(chǎng)景判斷單元404判斷為隧道場(chǎng)景的情況下也滿足這些關(guān)系，因此如果場(chǎng)景判斷單元404判斷為隧道場(chǎng)景，則攝像評(píng)價(jià)值檢測(cè)器107可以立即選擇攝像相關(guān)評(píng)價(jià)值β。
[0115]將步驟S504中所選擇的攝像相關(guān)評(píng)價(jià)值反映到下一攝像操作。
[0116]在第二實(shí)施例中，在實(shí)時(shí)取景模式下或在記錄運(yùn)動(dòng)圖像時(shí)執(zhí)行HDR處理的情況下，基于場(chǎng)景判斷結(jié)果或場(chǎng)景判斷時(shí)所使用的信息來選擇最佳攝像相關(guān)評(píng)價(jià)值，由此獲得運(yùn)動(dòng)圖像中的精確的HDR結(jié)果。
[0117]在本實(shí)施例中執(zhí)行場(chǎng)景判斷時(shí)，從高圖像和低圖像各自檢測(cè)面部信息、亮度信息和顏色信息。然而，可以使用其它方法。例如，可以從一幀之前的合成前圖像或HDR圖像檢測(cè)各信息。
[0118]本實(shí)施例已說明了使用面部信息、亮度信息和顏色信息來進(jìn)行場(chǎng)景判斷。可選地，可以使用這些信息中的一些信息，或者可以使用較多數(shù)量的類型的信息來執(zhí)行場(chǎng)景判斷并選擇攝像相關(guān)評(píng)價(jià)值。
[0119]在本實(shí)施例中，選擇從與面部信息、亮度信息和顏色信息中的取大值的至少兩個(gè)相對(duì)應(yīng)的圖像檢測(cè)到的攝像相關(guān)評(píng)價(jià)值。然而，可以對(duì)各信息值進(jìn)行加權(quán)并進(jìn)行比較。
[0120]本實(shí)施例已說明了要合成高圖像和低圖像這兩個(gè)圖像的情況。此外，相同的結(jié)構(gòu)可應(yīng)用于要合成高圖像、低圖像和中圖像的三個(gè)以上的圖像的情況。
[0121]第三實(shí)施例
[0122]以下將說明本發(fā)明的第三實(shí)施例。在本實(shí)施例中，將第一實(shí)施例的結(jié)構(gòu)應(yīng)用于可以在一個(gè)幀時(shí)間段內(nèi)獲取曝光量不同的多個(gè)圖像的結(jié)構(gòu)。
[0123]圖7是示出作為圖像傳感器102的示例的CMOS圖像傳感器的結(jié)構(gòu)示例的框圖。圖像傳感器102包括像素陣列單元701，其中在該像素陣列單元701中，各自包括光電轉(zhuǎn)換元件的單位像素(以下簡(jiǎn)稱為“像素”)700呈矩陣模式二維配置。圖像傳感器102例如包括垂直掃描單元702、列信號(hào)處理電路703、列選擇電路704和水平掃描單元705等，作為像素陣列單元701的周邊電路。
[0124]對(duì)單位像素700布線垂直信號(hào)線706，并且針對(duì)各線布線例如復(fù)位控制信號(hào)線RST707、傳送控制線TRS708和選擇控制線SEL709的驅(qū)動(dòng)控制線。
[0125]圖8示出單位像素700的電路結(jié)構(gòu)示例。
[0126]除了例如光電二極管300的光電轉(zhuǎn)換元件以外，單位像素700還采用具有例如傳送晶體管301、復(fù)位晶體管302、放大器晶體管303和選擇晶體管304這四個(gè)晶體管的像素結(jié)構(gòu)。
[0127]傳送晶體管301連接在光電二極管300的陰極電極和作為電荷電壓轉(zhuǎn)換單元的浮動(dòng)擴(kuò)散305之間。
[0128]傳送晶體管301的柵極電極連接至傳送控制線TRS708。在從傳送控制線TRS708向柵極電極(控制電極)施加傳送脈沖的情況下，傳送晶體管301將通過光電二極管300的光電轉(zhuǎn)換所累積的信號(hào)電荷傳送至浮動(dòng)擴(kuò)散305。
[0129]復(fù)位晶體管302的漏極電極連接至像素電源VDD，并且其源極電極連接至浮動(dòng)擴(kuò)散305。復(fù)位晶體管302的柵極電極連接至復(fù)位控制線RST707。
[0130]在從光電二極管300向浮動(dòng)擴(kuò)散305傳送信號(hào)電荷之前，從復(fù)位控制線RST707向復(fù)位晶體管302的柵極電極施加復(fù)位脈沖。因而，可以將浮動(dòng)擴(kuò)散305的電位復(fù)位為預(yù)定電位。
[0131]放大器晶體管303的柵極電極連接至浮動(dòng)擴(kuò)散305，并且漏極電極連接至像素電源VDD。放大器晶體管303將利用復(fù)位晶體管302進(jìn)行復(fù)位之后的浮動(dòng)擴(kuò)散305的電位輸出作為復(fù)位電平。
[0132]此外，放大器晶體管303將利用傳送晶體管301傳送了信號(hào)電荷之后的浮動(dòng)擴(kuò)散305的電位輸出作為信號(hào)電平。
[0133]選擇晶體管304的漏極電極例如連接至放大器晶體管303的源極電極，并且其源極電極連接至垂直信號(hào)線706。
[0134]此外，選擇晶體管304的柵極電極連接至選擇控制線SEL709。在向該柵極電極施加選擇脈沖的情況下選擇晶體管304有效，從而將單位像素700設(shè)置成選擇狀態(tài)，由此將從放大器晶體管303輸出的電信號(hào)輸出到垂直信號(hào)線706上。
[0135]注意，選擇晶體管304可以連接在像素電源VDD和放大器晶體管303的漏極電極之間。
[0136]上述單位像素的結(jié)構(gòu)是示例。例如，可以采用三晶體管結(jié)構(gòu)，即可以省略選擇晶體管304，并且可以共通地使用放大器晶體管303作為選擇晶體管304?？蛇x地，可以采用放大器晶體管303由多個(gè)單位像素共用的結(jié)構(gòu)。還可以采用其它結(jié)構(gòu)。
[0137]圖7所示的垂直掃描單元702包括線選擇電路和驅(qū)動(dòng)器電路。
[0138]線選擇電路包括移位寄存器或地址解碼器等，并且在系統(tǒng)控制器108的控制下生成針對(duì)各線垂直地掃描單位像素700所需的諸如傳送脈沖、復(fù)位脈沖和選擇脈沖等的像素驅(qū)動(dòng)脈沖。
[0139]驅(qū)動(dòng)器電路與利用行選擇電路的垂直掃描同步地，將使單位像素700的晶體管301、302和304有效/無效所需的具有預(yù)定電壓的傳送脈沖、復(fù)位脈沖和選擇脈沖供給至單位像素700。此外，驅(qū)動(dòng)器電路被配置為將具有比預(yù)定電壓低的中間電壓的傳送脈沖供給至單位像素700。
[0140]列信號(hào)處理電路703與像素陣列單元701的各列相對(duì)應(yīng)地配置。
[0141]各列信號(hào)處理電路703對(duì)經(jīng)由垂直信號(hào)線706從通過垂直掃描所選擇的讀取線的相應(yīng)單位像素700輸出的電信號(hào)應(yīng)用預(yù)定的信號(hào)處理以生成與從該單位像素700讀出的信號(hào)電荷相對(duì)應(yīng)的像素信號(hào)，并且臨時(shí)保持該像素信號(hào)。[0142]例如，代替拍攝信號(hào)處理器103，各列信號(hào)處理電路703可以執(zhí)行類似的信號(hào)處理。例如，各列信號(hào)處理電路703可以執(zhí)行⑶S (相關(guān)雙采樣)處理。該⑶S處理減少復(fù)位噪聲、以及諸如放大器晶體管303的閾值變化等的像素特有的固定模式噪聲。此外，各列信號(hào)處理電路703可以執(zhí)行用于將模擬信號(hào)轉(zhuǎn)換成數(shù)字信號(hào)的Α/D轉(zhuǎn)換處理。
[0143]列選擇電路704包括移位寄存器和地址解碼器等。列選擇電路704針對(duì)像素陣列單元701的各像素列進(jìn)行水平掃描，并且控制水平掃描單元705以按水平掃描順序讀出列信號(hào)處理電路703臨時(shí)保持的像素信號(hào)。
[0144]水平掃描單元705包括水平選擇開關(guān)等，并且通過列選擇電路704的水平掃描來順次讀出列信號(hào)處理電路703臨時(shí)保持的像素信號(hào)，由此針對(duì)各線輸出圖像信號(hào)。
[0145]系統(tǒng)控制器108控制垂直掃描單元702和列選擇電路704的操作，以針對(duì)各線在垂直方向上掃描像素陣列單元701的單位像素700，由此通過水平掃描輸出通過該垂直掃描所讀出的各像素的信號(hào)。
[0146]在本實(shí)施例中，如圖7所示，使用相鄰的兩個(gè)線作為一個(gè)單位，設(shè)置長(zhǎng)時(shí)間曝光用偶數(shù)(Even)線和短時(shí)間曝光用奇數(shù)(Odd)線以控制像素陣列單元701的掃描。
[0147]當(dāng)前市售的1-CXD型彩色圖像傳感器包括原色拜爾(Bayer)矩陣的顏色濾波器，其中在該顏色濾波器中，R、GUB和G2規(guī)則排列以具有垂直和水平的兩個(gè)像素作為重復(fù)單位。在本實(shí)施例中，假設(shè)圖像傳感器102包括原色拜爾矩陣的顏色濾波器來給出以下配置。
[0148]由于拜爾矩陣使用垂直和水平的兩個(gè)像素這四個(gè)像素作為重復(fù)單位，因此本實(shí)施例將由拜爾矩陣的重復(fù)單位構(gòu)成的相鄰兩個(gè)線定義為一個(gè)像素區(qū)域，并且針對(duì)各像素區(qū)域設(shè)置長(zhǎng)時(shí)間曝光用偶數(shù)線和短時(shí)間曝光用奇數(shù)線。在圖7中，將線(Ln，Ln+l)和(Ln+2, Ln+3)分別設(shè)置為奇數(shù)線，并且將線(Hn，Hn+1)和(Hn+2，Hn+3)分別設(shè)置為偶數(shù)線。短時(shí)間曝光用奇數(shù)線和長(zhǎng)時(shí)間曝光用偶數(shù)線在垂直方向上相鄰。
[0149]圖9是用于說明本實(shí)施例的攝像設(shè)備中的HDR運(yùn)動(dòng)圖像拍攝操作的操作定時(shí)的時(shí)序圖。在這種情況下，假定HDR運(yùn)動(dòng)圖像的幀頻為60幀/秒(fps)。根據(jù)兩個(gè)圖像來生成HDR運(yùn)動(dòng)圖像的一幀。在本實(shí)施例中，由于(通過一次攝像操作)在一個(gè)幀時(shí)間段內(nèi)獲取到曝光量不同的兩個(gè)圖像，因此攝像幀頻為60fps。注意，這些幀頻是示例，并且可以使用其它幀頻。
[0150]響應(yīng)于系統(tǒng)控制器108所生成的l/60s周期的攝像同步信號(hào)(垂直同步信號(hào))，針對(duì)一個(gè)幀時(shí)間段執(zhí)行攝像操作。
[0151]在本實(shí)施例中，系統(tǒng)控制器108在一個(gè)幀時(shí)間段內(nèi)同時(shí)執(zhí)行低圖像901和高圖像902的攝像操作和曝光操作。注意，例如，高圖像是在比適當(dāng)曝光等級(jí)Ev(O)亮I級(jí)(+1級(jí))的曝光條件Ev(H)下拍攝到的過曝光圖像，并且低圖像是在比適當(dāng)曝光等級(jí)Ev(O)暗I級(jí)(-1級(jí))的曝光條件Ev(L)下拍攝到的曝光不足圖像。
[0152]將在一個(gè)幀時(shí)間段內(nèi)獲取到的低圖像901和高圖像902這兩者臨時(shí)存儲(chǔ)在幀存儲(chǔ)器113中。在獲得了低圖像和高圖像之后，視頻信號(hào)處理器104在下一幀時(shí)間段內(nèi)合成這兩個(gè)圖像，由此生成HDR圖像903。
[0153]攝像評(píng)價(jià)值檢測(cè)器107根據(jù)從系統(tǒng)控制器108輸出的攝像相關(guān)評(píng)價(jià)值提取定時(shí)904來從低圖像901和高圖像902分別檢測(cè)預(yù)定的攝像相關(guān)評(píng)價(jià)值。
[0154]此外，攝像評(píng)價(jià)值檢測(cè)器107根據(jù)從系統(tǒng)控制器108輸出的攝像評(píng)價(jià)值選擇定時(shí)905來選擇被判斷為與其它相比更適合用在HDR運(yùn)動(dòng)圖像拍攝操作中的攝像相關(guān)評(píng)價(jià)值。
[0155]在要從合成圖像獲得攝像相關(guān)評(píng)價(jià)值的情況下，這些攝像相關(guān)評(píng)價(jià)值是在合成處理之后獲得的。然而，在本實(shí)施例中，可以在合成處理開始之前的定時(shí)選擇并反映攝像相關(guān)評(píng)價(jià)值，由此提高使用攝像相關(guān)評(píng)價(jià)值的處理的響應(yīng)。
[0156]系統(tǒng)控制器108基于在攝像評(píng)價(jià)值選擇定時(shí)所選擇的攝像相關(guān)評(píng)價(jià)值中的AF評(píng)價(jià)值來經(jīng)由鏡頭驅(qū)動(dòng)控制器106控制調(diào)焦透鏡位置，由此調(diào)整鏡頭101的聚焦距離。系統(tǒng)控制器108在鏡頭控制定時(shí)906的一個(gè)周期、即輸出同步信號(hào)的一個(gè)周期(1/60秒)內(nèi)執(zhí)行調(diào)焦透鏡位置的控制。
[0157]圖10是垂直掃描單元702為了在一個(gè)幀時(shí)間段內(nèi)獲取生成HDR圖像所需的低圖像和高圖像而生成的信號(hào)的時(shí)序圖。圖10示出短時(shí)間曝光用奇數(shù)線的復(fù)位控制線RST_Ln和傳送控制線TRS_Ln、以及長(zhǎng)時(shí)間曝光用偶數(shù)線的復(fù)位控制線RST_Hn和傳送控制線TRS_Hn的信號(hào)定時(shí)。
[0158]在傳送控制線TRS信號(hào)和復(fù)位控制線RST信號(hào)上升的情況下，光電二極管300的電荷被復(fù)位并且開始曝光(電荷累積)。在系統(tǒng)控制器108所設(shè)置的條件下，按預(yù)定順序?qū)ο袼仃嚵袉卧?01的各線順次執(zhí)行該操作。
[0159]之后，在低圖像所用的奇數(shù)線中，在經(jīng)過了獲取低圖像所需的曝光時(shí)間之后，奇數(shù)線所用的TRS_Ln信號(hào)順次上升。因而，累積在光電二極管300上的電荷被讀出至選擇晶體管304，并且經(jīng)由列選擇電路704被輸出。根據(jù)這些信號(hào)獲得了低圖像901。
[0160]然后，在經(jīng)過了獲取高圖像所需的曝光時(shí)間之后，TRS_Hn信號(hào)順次上升，并且累積在光電二極管300上的電荷被讀出至選擇晶體管304并且經(jīng)由列選擇電路704被輸出。根據(jù)這些信號(hào)獲得了高圖像902。
[0161]以下將參考圖11所示的流程圖來詳細(xì)說明本實(shí)施例的攝像設(shè)備的HDR運(yùn)動(dòng)圖像拍攝操作。注意，在以下說明中，設(shè)α是從高圖像檢測(cè)到的攝像相關(guān)評(píng)價(jià)值、并且β是從低圖像檢測(cè)到的攝像相關(guān)評(píng)價(jià)值。
[0162]在圖11中，與圖3相同的步驟編號(hào)表示執(zhí)行與第一實(shí)施例所述的處理相同的處理的步驟，將不重復(fù)針對(duì)這些處理的說明，并且將說明不同于第一實(shí)施例的處理步驟。如通過圖3和11之間的比較可以看出，在本實(shí)施例中，圖3的步驟S305和S307中的高圖像和低圖像的獲取操作被步驟SllOl所替換，并且步驟S306和S308中的攝像相關(guān)評(píng)價(jià)值α和β的檢測(cè)操作被步驟S1102所替換。
[0163]在步驟SllOl中，系統(tǒng)控制器108根據(jù)步驟S304中所確定的曝光條件Ev(H)和Ev(L)來生成定時(shí)脈沖，并且將這些定時(shí)脈沖供給至圖像傳感器102的偶數(shù)線和奇數(shù)線。因而，在一個(gè)幀時(shí)間段內(nèi)，可以從奇數(shù)線獲取到低圖像并且可以從偶數(shù)線獲取到高圖像。系統(tǒng)控制器108將所獲取到的低圖像和高圖像保存在幀存儲(chǔ)器113中。
[0164]在步驟SI 102中，攝像評(píng)價(jià)值檢測(cè)器107參考幀存儲(chǔ)器113來檢測(cè)針對(duì)高圖像的攝像相關(guān)評(píng)價(jià)值α和針對(duì)低圖像的攝像相關(guān)評(píng)價(jià)值β。
[0165]由于其它處理與第一實(shí)施例中的處理相同，因此將不重復(fù)針對(duì)這些處理的說明。
[0166]如上所述，第一實(shí)施例可以應(yīng)用于在一個(gè)巾貞時(shí)間段內(nèi)獲取曝光量不同的多個(gè)圖像并且合成這些多個(gè)圖像以獲得HDR圖像的攝像設(shè)備。
[0167]注意，在選擇AF評(píng)價(jià)值時(shí)，代替對(duì)比度AF評(píng)價(jià)值的比較，可以通過比較焦點(diǎn)檢測(cè)區(qū)域的直方圖來選擇最佳的AF評(píng)價(jià)值。
[0168]圖12A和12B示出高圖像和低圖像的示例、以及相應(yīng)直方圖的示例。
[0169]在圖12A中，直方圖1202表示低圖像的焦點(diǎn)檢測(cè)區(qū)域1201的信號(hào)水平分布，并且直方圖1204表示高圖像的焦點(diǎn)檢測(cè)區(qū)域1203的信號(hào)水平分布。該信號(hào)水平可以是亮度水平。攝像評(píng)價(jià)值檢測(cè)器107生成直方圖1202和1204，然后針對(duì)高圖像和低圖像計(jì)算各直方圖中的信號(hào)水平的min值的個(gè)數(shù)和max值的個(gè)數(shù)。
[0170]在圖12A中，設(shè)min_la是低圖像中的min值的個(gè)數(shù)、并且max_la是max值的個(gè)數(shù)。此外，設(shè)min_ha是高圖像中的min值的個(gè)數(shù)、并且max_ha是max值的個(gè)數(shù)。在圖12A所示的直方圖1202和1204中，滿足以下關(guān)系。
[0171]min_la<max_la
[0172]min_ha<max_ha
[0173]在這種情況下，攝像評(píng)價(jià)值檢測(cè)器107比較各圖像中的個(gè)數(shù)較多的值、即在圖12A的示例中低圖像中的個(gè)數(shù)max_la和高圖像中的個(gè)數(shù)max_ha。
[0174]在該示例中，由于max_la〈max_ha,因此針對(duì)高圖像的焦點(diǎn)檢測(cè)區(qū)域1203的直方圖1204因信號(hào)水平高的像素?cái)?shù)大而暗示高光溢出。
[0175]另一方面，在針對(duì)低圖像的焦點(diǎn)檢測(cè)區(qū)域1201的直方圖1202中，由于與高圖像相t匕、信號(hào)水平向著中央分布，因此高光溢出的可能性低。由于該原因，攝像評(píng)價(jià)值檢測(cè)器107在圖12A的示例中在步驟S312中選擇從低圖像檢測(cè)到的攝像相關(guān)評(píng)價(jià)值β。
[0176]圖12Β示出背光場(chǎng)景等的示例，并且低圖像的焦點(diǎn)檢測(cè)區(qū)域1205的直方圖1206表示信號(hào)水平低的像素?cái)?shù)大。
[0177]在圖12Β中，設(shè)min_lb是低圖像中的min值的個(gè)數(shù)、并且max_lb是max值的個(gè)數(shù)。此外，設(shè)min_hb是高圖像中的min值的個(gè)數(shù)、并且max_hb是max值的個(gè)數(shù)。在這種情況下，根據(jù)各圖像的直方圖獲得以下關(guān)系。
[0178]min_lb>max_lb
[0179]min_hb<max_hb
[0180]在這種情況下，攝像評(píng)價(jià)值檢測(cè)器107比較各圖像中的個(gè)數(shù)較多的值、即在圖12B的示例中低圖像中的個(gè)數(shù)min_lb和高圖像中的個(gè)數(shù)max_hb。
[0181]在該示例中，由于min_lb〈max_hb,因此針對(duì)低圖像的焦點(diǎn)檢測(cè)區(qū)域1205的直方圖1206因信號(hào)水平低的像素?cái)?shù)大而暗示暗部缺失的生成。
[0182]另一方面，在高圖像的焦點(diǎn)檢測(cè)區(qū)域1207的直方圖1208中，與低圖像相比，信號(hào)水平向著中央分布。由于該原因，攝像評(píng)價(jià)值檢測(cè)器107在圖12B的示例中在步驟S312中選擇從高圖像檢測(cè)到的攝像相關(guān)評(píng)價(jià)值α。
[0183]這樣，可以根據(jù)從高圖像和低圖像檢測(cè)到的min值的個(gè)數(shù)和max值的個(gè)數(shù)來選擇AF評(píng)價(jià)值。
[0184]注意，作為直方圖比較示例，已說明了比較具有min值和max值的像素?cái)?shù)的方法?？蛇x地，通過采用用于將不小于預(yù)定閾值的像素?cái)?shù)和小于該閾值的像素?cái)?shù)進(jìn)行比較的其它方法，可以檢測(cè)到最佳攝像相關(guān)評(píng)價(jià)值。
[0185]已說明了作為攝像相關(guān)評(píng)價(jià)值的示例的AF評(píng)價(jià)值?？蛇x地，可以利用相同結(jié)構(gòu)來從例如WB評(píng)價(jià)值或AE評(píng)價(jià)值的其它攝像相關(guān)評(píng)價(jià)值中檢測(cè)最佳評(píng)價(jià)值。[0186]在WB評(píng)價(jià)值或AE評(píng)價(jià)值的情況下，還從圖11的步驟SI 102中獲取到的高圖像和低圖像檢測(cè)到這些WB評(píng)價(jià)值或AE評(píng)價(jià)值。
[0187]然后，在步驟S313或S314中，基于所選擇的WB評(píng)價(jià)值來計(jì)算顯像所需的參數(shù)。關(guān)于AE評(píng)價(jià)值，基于步驟S313或S314中所選擇的AE評(píng)價(jià)值來計(jì)算光圈、快門速度和感光度的控制值，以在下一幀的攝像操作時(shí)獲得適當(dāng)曝光值。
[0188]如上所述，即使在一個(gè)幀時(shí)間段內(nèi)獲取曝光量不同的多個(gè)圖像的設(shè)備中，也可以獲得與第一實(shí)施例相同的效果。
[0189]第四實(shí)施例
[0190]以下將說明本發(fā)明的第四實(shí)施例。在本實(shí)施例中，將第二實(shí)施例的結(jié)構(gòu)應(yīng)用于可以在一個(gè)幀時(shí)間段內(nèi)獲取曝光量不同的多個(gè)圖像的結(jié)構(gòu)。
[0191]由于根據(jù)本實(shí)施例的攝像設(shè)備的功能結(jié)構(gòu)可以與第二實(shí)施例(圖4)的功能結(jié)構(gòu)相同，因此將不給出針對(duì)該功能結(jié)構(gòu)的說明。
[0192]以下將參考圖13所示的流程圖來說明本實(shí)施例的攝像設(shè)備的HDR運(yùn)動(dòng)圖像拍攝操作。注意，在圖13中，與圖5相同的步驟編號(hào)表示執(zhí)行與第二實(shí)施例的處理相同的處理的步驟，并且將省略針對(duì)這些步驟的重復(fù)說明。
[0193]在步驟S1201中，與第三實(shí)施例的步驟SllOl相同，在一個(gè)幀時(shí)間段內(nèi)獲取低圖像和聞圖像。
[0194]在步驟S1202中，執(zhí)行與步驟S501和S502的處理相同的處理。
[0195]在步驟S1203中，執(zhí)行與步驟S306和S308的處理相同的處理。
[0196]其它處理步驟與第二實(shí)施例中的處理步驟相同。
[0197]這樣，即使在一個(gè)幀時(shí)間段內(nèi)獲取曝光量不同的多個(gè)圖像的設(shè)備中，也可以獲得與第二實(shí)施例相同的效果。
[0198]其它實(shí)施例
[0199]本發(fā)明的實(shí)施例還可以通過如下的方法來實(shí)現(xiàn)，S卩，通過網(wǎng)絡(luò)或者各種存儲(chǔ)介質(zhì)將執(zhí)行上述實(shí)施例的功能的軟件(程序)提供給系統(tǒng)或裝置，該系統(tǒng)或裝置的計(jì)算機(jī)或是中央處理單元(CPU)、微處理單元(MPU)讀出并執(zhí)行程序的方法。
[0200]盡管已經(jīng)參考典型實(shí)施例說明了本發(fā)明，但是應(yīng)該理解，本發(fā)明不限于所公開的典型實(shí)施例。所附權(quán)利要求書的范圍符合最寬的解釋，以包含所有這類修改、等同結(jié)構(gòu)和功倉泛。
【權(quán)利要求】
1.一種攝像設(shè)備，其特征在于，包括: 攝像部件，用于拍攝曝光量不同的多個(gè)圖像； 曝光控制部件，用于控制所述攝像部件的曝光； 評(píng)價(jià)值檢測(cè)部件，用于從所述攝像部件所獲得的曝光量不同的所述多個(gè)圖像中的至少兩個(gè)圖像檢測(cè)攝像相關(guān)評(píng)價(jià)值； 選擇部件，用于基于預(yù)定條件，來從所述評(píng)價(jià)值檢測(cè)部件所檢測(cè)到的多個(gè)攝像相關(guān)評(píng)價(jià)值中選擇對(duì)所述攝像設(shè)備的操作進(jìn)行控制所用的攝像相關(guān)評(píng)價(jià)值；以及 控制部件，用于基于所述選擇部件所選擇的攝像相關(guān)評(píng)價(jià)值來控制所述攝像設(shè)備的操作。
2.根據(jù)權(quán)利要求1所述的攝像設(shè)備，其特征在于，還包括生成部件，所述生成部件用于通過合成曝光量不同的所述多個(gè)圖像來生成合成圖像。
3.根據(jù)權(quán)利要求1或2所述的攝像設(shè)備，其特征在于，所述攝像相關(guān)評(píng)價(jià)值包括曝光評(píng)價(jià)值，并且所述曝光控制部件基于所述選擇部件所選擇的曝光評(píng)價(jià)值來控制所述攝像部件的曝光量。
4.根據(jù)權(quán)利要求1或2所述的攝像設(shè)備，其特征在于，所述攝像相關(guān)評(píng)價(jià)值包括焦點(diǎn)評(píng)價(jià)值，并且基于所述選擇 部件所選擇的焦點(diǎn)評(píng)價(jià)值來執(zhí)行所述攝像部件的焦點(diǎn)調(diào)節(jié)。
5.根據(jù)權(quán)利要求1或2所述的攝像設(shè)備，其特征在于，所述攝像相關(guān)評(píng)價(jià)值包括白平衡評(píng)價(jià)值，并且基于所述選擇部件所選擇的白平衡評(píng)價(jià)值來執(zhí)行所述攝像部件的白平衡處理。
6.根據(jù)權(quán)利要求1或2所述的攝像設(shè)備，其特征在于，所述選擇部件基于所述評(píng)價(jià)值檢測(cè)部件所檢測(cè)到的多個(gè)攝像相關(guān)評(píng)價(jià)值的比較結(jié)果，來進(jìn)行選擇。
7.根據(jù)權(quán)利要求1或2所述的攝像設(shè)備，其特征在于，還包括場(chǎng)景判斷部件，所述場(chǎng)景判斷部件用于判斷攝像場(chǎng)景， 其中，所述選擇部件根據(jù)所述場(chǎng)景判斷部件所判斷出的場(chǎng)景來進(jìn)行選擇。
8.根據(jù)權(quán)利要求7所述的攝像設(shè)備，其特征在于，所述曝光控制部件在要以比適當(dāng)曝光量大的曝光量進(jìn)行攝像的條件、和要以比所述適當(dāng)曝光量小的曝光量進(jìn)行攝像的條件下，對(duì)所述曝光進(jìn)行控制，以及 在所述攝像相關(guān)評(píng)價(jià)值是焦點(diǎn)評(píng)價(jià)值、并且所述場(chǎng)景判斷部件判斷為所述攝像場(chǎng)景是背光場(chǎng)景的情況下，所述選擇部件選擇從曝光量不同的所述多個(gè)圖像中的如下圖像檢測(cè)到的攝像相關(guān)評(píng)價(jià)值，其中該圖像是在要以比所述適當(dāng)曝光量大的曝光量進(jìn)行攝像的條件下拍攝到的。
9.根據(jù)權(quán)利要求7所述的攝像設(shè)備，其特征在于，所述曝光控制部件在要以比適當(dāng)曝光量大的曝光量進(jìn)行攝像的條件、和要以比所述適當(dāng)曝光量小的曝光量進(jìn)行攝像的條件下，對(duì)所述曝光進(jìn)行控制，以及 在所述攝像相關(guān)評(píng)價(jià)值是AF評(píng)價(jià)值、并且所述場(chǎng)景判斷部件判斷為所述攝像場(chǎng)景是隧道場(chǎng)景的情況下，所述選擇部件選擇從曝光量不同的所述多個(gè)圖像中的如下圖像檢測(cè)到的攝像相關(guān)評(píng)價(jià)值，其中該圖像是在要以比所述適當(dāng)曝光量小的曝光量進(jìn)行攝像的條件下拍攝到的。
10.根據(jù)權(quán)利要求1或2所述的攝像設(shè)備，其特征在于，還包括場(chǎng)景判斷部件，所述場(chǎng)景判斷部件用于基于從曝光量不同的所述多個(gè)圖像分別獲得的信息來判斷攝像場(chǎng)景， 其中，所述選擇部件根據(jù)從曝光量不同的所述多個(gè)圖像分別獲得的所述信息的比較結(jié)果來進(jìn)行選擇。
11.根據(jù)權(quán)利要求10所述的攝像設(shè)備，其特征在于，所述信息包括亮度信息、顏色信息和被攝體檢測(cè)信息中的至少一個(gè)。
12.根據(jù)權(quán)利要求1或2所述的攝像設(shè)備，其特征在于，所述曝光控制部件針對(duì)在所述攝像部件中預(yù)先設(shè)置的多個(gè)像素區(qū)域設(shè)置多個(gè)電荷累積時(shí)間，由此控制所述攝像部件以在一個(gè)幀時(shí)間段內(nèi)拍攝曝光量不同的所述多個(gè)圖像。
13.根據(jù)權(quán)利要求12所述的攝像設(shè)備，其特征在于，所述多個(gè)像素區(qū)域是基于所述攝像部件中所包括的圖像傳感器的顏色濾波器的重復(fù)單位所設(shè)置的。
14.一種攝像設(shè)備的控制方法，所述攝像設(shè)備包括用于拍攝運(yùn)動(dòng)圖像的攝像部件，所述控制方法包括以下步驟: 設(shè)置步驟，用于設(shè)置所述攝像部件的曝光條件，從而拍攝生成合成圖像要使用的、曝光量不同的多個(gè)圖像； 評(píng)價(jià)值檢測(cè)步驟，用于從所述攝像部件所獲得的曝光量不同的所述多個(gè)圖像中的至少兩個(gè)圖像檢測(cè)攝像相關(guān)評(píng)價(jià)值； 選擇步驟，用于基于預(yù)定條件，來從所述評(píng)價(jià)值檢測(cè)步驟中所檢測(cè)到的多個(gè)攝像相關(guān)評(píng)價(jià)值中選擇對(duì)所述攝像設(shè)備的操作進(jìn)行控制所用的攝像相關(guān)評(píng)價(jià)值；以及 控制步驟，用于基于所述選擇步驟中所選擇的攝像相關(guān)評(píng)價(jià)值來控制所述攝像設(shè)備的操作。
【文檔編號(hào)】H04N5/235GK104038702SQ201410080011
【公開日】2014年9月10日 申請(qǐng)日期:2014年3月6日 優(yōu)先權(quán)日:2013年3月6日
【發(fā)明者】渡邊忍 申請(qǐng)人:佳能株式會(huì)社