專利名稱：通過亮度和運動選擇拍攝條件的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及ー種電子圖像拍攝裝置以及圖像拍攝裝置的控制，以在有運動時提供單幅拍攝圖像中改進的圖像質(zhì)量。
背景技術(shù)：
電子成像系統(tǒng)取決于透鏡系統(tǒng)來在圖像傳感器上形成圖像以生成視覺圖像的電子表達。這樣的圖像傳感器范例包括電荷耦合器件(CXD)圖像傳感器和有源像素傳感器(APS)裝置(APS裝置常常被稱為CMOS傳感器，因為能夠在互補金屬氧化物半導(dǎo)體エ藝中制造它們)。傳感器包括個體圖畫元素傳感器或像素的ニ維陣列。典型地，為每個像素提供紅色、緑色或藍色濾光器，例如在1976年7月20日授權(quán)的共同轉(zhuǎn)讓Bayer描述的美國專利No. 3971065所述，從而可以產(chǎn)生全色圖像。不論采用什么類型的圖像傳感器，例如CXD或CMOS，像素都充當ー個容器，在電子成像系統(tǒng)拍攝圖像期間，其中累積光產(chǎn)生的電荷，電荷 與入射到像素中的光量成正比。圖像傳感器在稱為曝光時間或積分時間的時段內(nèi)收集光以在拍攝圖像期間進行正確的曝光?；谝上竦木拔锏牧炼葴y量值，采用電子成像系統(tǒng)(通常具有自動曝光系統(tǒng))確定適當?shù)钠毓鈺r間，將產(chǎn)生具有有效亮度和有效信噪比的圖像。景物越暗，電子成像系統(tǒng)就必須使用越大量的時間來收集光以進行正確曝光。如果在拍攝圖像期間有相對于圖像拍攝裝置的運動，在運動速度相對于曝光時間增大時，在拍攝的圖像中可能會有運動模糊。有兩種運動模糊全局運動模糊和局部運動模糊。在圖像拍攝裝置在拍攝期間相對于景物運動時產(chǎn)生全局運動模糊，這樣ー來，整幅圖像都是模糊的。減少全局運動模糊的方法是本領(lǐng)域技術(shù)人員公知的。ー種方法是使用慣性測量裝置(典型地為陀螺儀)在拍攝期間測量圖像拍攝裝置的運動，然后使用具有可以橫向移動的透鏡元件的特殊透鏡使透鏡在圖像傳感器上形成的圖像沿補償圖像拍攝裝置運動的方向運動。美國專利公開No. 2006/0274156中描述了第二種方法，基于圖像的數(shù)字偏移，以補償拍攝視頻期間數(shù)字攝像機的運動，從而減小全局運動模糊并使視頻中的圖像穩(wěn)定。不過，這些方法都未解決景物之內(nèi)產(chǎn)生的局部運動模糊問題。減少局部運動模糊的ー種方法是縮短曝光時間。這種方法將曝光時間減少到大致少于自動曝光系統(tǒng)選擇的曝光時間；結(jié)果，拍攝到信噪比低的更暗圖像?？梢韵驁D像中的像素值應(yīng)用模擬或數(shù)字増益，以使更暗的圖像變亮，但本領(lǐng)域的技術(shù)人員將發(fā)現(xiàn)，這將導(dǎo)致噪聲更大的圖像。減少局部運動模糊的另ー種方法是利用更大孔徑的透鏡和圖像傳感器上更大的像素收集更多光，從而能夠使曝光時間更短。這種方法能夠產(chǎn)生局部運動模糊和可接受噪聲水平減小的圖像。不過，電子成像系統(tǒng)行業(yè)內(nèi)當前的趨勢是使圖像拍攝裝置更緊湊且價格更低。因此，能夠收集更多光的高級光學(xué)元件不切實際，這種光學(xué)元件具有大孔徑和有更大像素的圖像傳感器。減少局部運動模糊的另ー種方法是縮短曝光時間并利用照相閃光補充可用光線。照相閃光產(chǎn)生維持零點幾秒的強光通量，曝光時間被設(shè)置為包含閃光時間?？梢詫⑵毓鈺r間設(shè)置為比無閃光時顯著更短的時段，因為照相閃光非常亮。因此，減小了曝光期間由局部運動導(dǎo)致的模糊。不過，在強光中閃光沒有效果，強光中快速運動的對象仍然能夠造成局部運動模糊。此外，通常僅在閃光和被拍照景物之間的距離小時，閃光照相才有用。閃光照相還容易造成人為噪聲，例如紅眼以及非常亮的區(qū)域或暗的區(qū)域，很多人會覺得這很令人討厭。用于選擇曝光時間的常規(guī)方案通常使用ー個或多個標準化設(shè)置，或響應(yīng)于操作員的模式設(shè)置來獲得曝光時間。圖2A示出了通常在自動曝光控制系統(tǒng)中執(zhí)行的用于數(shù)字攝像機的典型攝像機控制系統(tǒng)200的流程圖。在步驟210中，攝像機利用景物亮度傳感器或利用預(yù)覽圖像的分析評估景物亮度。在圖2A中所示的典型攝像機控制系統(tǒng)中，不測量或考慮運動。在步驟220中，基于景物亮度和任何操作員設(shè)置或標準化設(shè)置確定拍攝模式。在步驟230中，根據(jù)景物亮度和拍攝模式確定ISO。然后在步驟240中根據(jù)景物亮度、拍攝模式和ISO確定隱光時間。在步驟250中，拍攝并存儲最后的歸檔圖像。不過，典型攝像 機控制系統(tǒng)200的方法可能拍攝到感知圖像質(zhì)量差的圖像，因為景物中的明亮程度和運動可能變化劇烈并且由于不考慮運動，圖像中可能存在令人失望的運動模糊或噪聲水平。在美國專利公開2007/0237514中，在拍攝圖像之前測量景物中的運動。如果檢測到緩慢的運動，那么進行補充分析以幫助選擇攝像機的景物模式。如果檢測到快速運動，那么將ー組標準化攝像機設(shè)置用作自動曝光控制系統(tǒng)確定的設(shè)置，將操作員可選的攝像機設(shè)置用作圖2A中給出的設(shè)置。這樣ー來，2007/0237514的方法僅提供了一種拍攝具有緩慢運動的景物的改進方法。在美國專利公開2007/0237506中，描述了ー種攝像機，其中如果未檢測到攝像機運動，就以更慢的快門速度拍攝圖像。如果檢測到攝像機運動，那么以更快的快門速度拍攝圖像。盡管這種方法確實減少了圖像中的運動模糊，但在選擇包括曝光時間和ISO的拍攝條件時，其未解決圖像中的運動模糊和噪聲對圖像的感知圖像質(zhì)量的綜合影響。2007/0237506的方法還不包括基于局部運動的拍攝條件選擇。圖2B示出了 WO 2007017835中描述的現(xiàn)有技術(shù)中針對控制多圖像拍攝過程的方法的流程圖290。在步驟270中，如圖2A中所示，利用攝像機自動曝光控制系統(tǒng)定義的曝光條件拍攝第一圖像。在步驟275中，然后針對圖像質(zhì)量的各方面，例如過度曝光或曝光不足、運動模糊、動態(tài)范圍或景深，分析第一圖像，以判斷滿足那些方面，哪些仍然不足?；谶@種分析，步驟280是檢查圖像質(zhì)量的各方面中是否仍然有不足。如果圖像質(zhì)量的各方面中仍然有ー些不足，該過程前進到步驟282，在此針對至少一幅額外圖像設(shè)置新的曝光參數(shù)。該過程然后循環(huán)回到步驟272，在此利用新的曝光參數(shù)拍攝至少一幅額外圖像。然后針對圖像質(zhì)量的各方面在步驟275中分析額外的圖像。重復(fù)這個過程，直到在已經(jīng)拍攝的多幅圖像中已經(jīng)滿足圖像質(zhì)量的所有方面。然后從步驟285中組合的多幅圖像的部分構(gòu)造最終圖像，使得滿足期望的圖像質(zhì)量的所有方面。不過，WO 2007017835的方法g在控制多圖像拍攝照相術(shù)，其中將多幅圖像的部分組合以產(chǎn)生改進的圖像，不會解決單幅拍攝圖像中與運動相關(guān)的問題。于是，需要一種自動化方法以選擇拍攝條件，在被成像景物中存在全局運動或局部運動時，改善單幅拍攝圖像中的感知圖像質(zhì)量。

發(fā)明內(nèi)容
這里描述的發(fā)明提供了ー種利用圖像拍攝裝置拍攝歸檔圖像，并基于在景物中測量的信號比形式的景物亮度和測量的運動速度自動選擇圖像拍攝裝置的設(shè)置的方法。本發(fā)明提供了至少部分利用數(shù)據(jù)處理系統(tǒng)實施的方法，數(shù)據(jù)處理系統(tǒng)基于多維模型測量景物中的亮度和運動并選擇拍攝模式和拍攝條件，以拍攝感知圖像質(zhì)量得到改善的圖像。在第一實施例中，本發(fā)明包括利用具有可選拍攝模式、ISO和曝光時間的圖像拍攝裝置拍攝景物的至少兩幅預(yù)覽圖像；分析所述預(yù)覽圖像以確定景物中的景物亮度和運動；基于圖像中的景物亮度確定像素信號速率；基于所述景物中的運動確定像素速度；確定信號比，即像素信號速率/像素速度；根據(jù)所述信號比選擇拍攝模式；根據(jù)所述拍攝模式和所述信號比選擇ISO ;根據(jù)所述ISO和景物亮度選擇曝光時間；以及利用選定的拍攝模式、ISO和曝光時間拍攝歸檔圖像并向存儲器中存儲歸檔圖像。其中選擇拍攝模式可以包括選擇圖像傳感器的合并率(binning ratio)或選擇單圖像拍攝模式或多圖像拍攝模式。
在本發(fā)明的另ー實施例中，在景物中存在局部運動時，針對圖像中的不同區(qū)域來確定局部像素速度。在本發(fā)明的一個實施例中，基于分析圖像不同區(qū)域的局部像素速度的分布來確定信號比。在本發(fā)明的另ー實施例中，基于平均局部像素速度來確定信號比。在本發(fā)明的另ー實施例中，基于峰值或最大局部像素速度來確定信號比。在本發(fā)明的又一實施例中，在圖像拍攝裝置中設(shè)置慣性測量裝置，使用慣性測量裝置確定像素速度。在本實施例中，用于確定像素信號速率的景物亮度是通過分析一幅或多幅預(yù)覽圖像或從亮度傳感器收集的數(shù)據(jù)確定的。使用確定的像素速度和像素信號速率來確定如前所述使用的信號比。在本發(fā)明的再一實施例中，使用慣性測量裝置確定存在的全局運動，而結(jié)合從慣性測量裝置確定的全局運動使用兩幅或更多幅預(yù)覽圖像的分析以確定存在的局部運動。根據(jù)本發(fā)明的圖像拍攝尤其適于在景物中有局部運動或由于圖像拍攝裝置相對于景物運動而存在全局運動時，拍攝靜止和視頻圖像的圖像拍攝裝置。本發(fā)明對圖像拍攝裝置有很寬應(yīng)用范圍，由于基于測量的亮度和測量的運動組合選擇拍攝模式、ISO和曝光時間的方法，眾多類型的圖像拍攝裝置都能夠有效利用這些圖像拍攝方法來拍攝感知圖像質(zhì)量得到改善的圖像。參考附圖，閱讀優(yōu)選實施例的以下詳細描述和所附權(quán)利要求，將更清晰地理解并認識到本發(fā)明的這些和其他方面、目的、特征和優(yōu)點。


圖I是圖像拍攝裝置的方框圖；圖2A是典型現(xiàn)有技術(shù)攝像機控制系統(tǒng)的流程圖。圖2B是用于拍攝多幅圖像的現(xiàn)有技術(shù)方法的流程圖。圖3是本發(fā)明實施例的流程圖；圖4A是示出針對低模糊圖像的ISO和感知圖像質(zhì)量之間關(guān)系的圖。圖4B是示出針對低ISO圖像的圖像中模糊量和感知圖像質(zhì)量之間關(guān)系的圖。圖5是示出了針對不同拍攝模式的信號比和感知質(zhì)量之間的關(guān)系的圖。
圖6是示出了針對全分辨率拍攝模式，ISO和像素模糊對感知圖像質(zhì)量影響的圖；圖7是示出了針對用于改善的感知圖像質(zhì)量的全分辨率拍攝模式的信號比和ISO之間關(guān)系的圖；圖8是示出了針對2X合并拍攝模式，ISO和像素模糊對感知圖像質(zhì)量影響的圖；圖9是針對用于改善的感知圖像質(zhì)量的2X合并拍攝模式的信號比和ISO之間關(guān)系的圖；圖10是示出了針對多圖像拍攝模式，ISO和像素模糊對感知圖像質(zhì)量影響的圖；圖11是示出了針對用于改善的感知圖像質(zhì)量的多圖像拍攝模式的信號比和ISO之間關(guān)系的圖；圖12是Bayer濾色器陣列的圖示； 圖13是示出了本發(fā)明方法針對不同水平的景物亮度和不同水平的運動選擇的ISO的圖示；以及圖14是示出了本發(fā)明方法針對不同水平的景物亮度和不同水平的運動選擇的曝光時間的圖示。
具體實施例方式參考圖1，在具體實施例中，示出了數(shù)字圖像拍攝裝置10的部件，其中在提供結(jié)構(gòu)支撐和保護的主體中布置部件。可以改變主體以符合特定用途和風(fēng)格考慮的需求。安裝在數(shù)字圖像拍攝裝置10的主體中的電子圖像拍攝單元14具有拍攝鏡頭16和與拍攝鏡頭16對準的圖像傳感器18。來自景物的光沿著通過拍攝鏡頭16的光路20傳播，到達圖像傳感器18，產(chǎn)生模擬電子圖像。所用的圖像傳感器類型可以變化，但高度優(yōu)選地，圖像傳感器是現(xiàn)有幾種固態(tài)圖像傳感器之一。例如，圖像傳感器可以是電荷耦合器件(CXD)、CMOS傳感器(CMOS)或電荷注入器件(CID)。電子圖像拍攝單元14包括與圖像傳感器18相關(guān)聯(lián)的其他部件。典型的圖像傳感器18帶著獨立的部件，充當時鐘驅(qū)動器(這里也稱為定時發(fā)生器)、模擬信號處理器(ASP)和模數(shù)轉(zhuǎn)換器/放大器(A/D轉(zhuǎn)換器)。也可以將這樣的部件并入具有圖像傳感器18的單個單元中。例如，利用允許將其他部件集成到同一半導(dǎo)體管芯上的エ藝制造CMOS圖像傳感器。電子圖像拍攝單元14利用三個或更多彩色通道拍攝圖像。當前優(yōu)選的是，與濾色器陣列一起使用單個圖像傳感器18，不過，可以使用多個圖像傳感器和不同類型的濾光器。適當?shù)臑V光器是本領(lǐng)域技術(shù)人員公知的，在一些情況下與圖像傳感器18合井，以提供一體的部件。來自圖像傳感器18每個像素的電信號與到達像素的光的強度和持續(xù)時間都相關(guān)。允許像素對來自入射光的信號進行累積或積分。這個時間被稱為積分時間或曝光時間。積分時間由快門22控制，快門22可以在打開狀態(tài)和關(guān)閉狀態(tài)之間切換。快門22可以是機械的、機電的，或可以提供為電子圖像拍攝單元14的硬件和軟件的邏輯功能。例如，一些類型的圖像傳感器18允許通過重新設(shè)置圖像傳感器18，然后一定時間之后讀出圖像傳感器18來以電子方式控制積分時間。在使用CCD時，可以通過在非光敏區(qū)域中提供的遮光寄存器下偏移累積的電荷來實現(xiàn)圖像傳感器18積分時間的電子控制。這個遮光寄存器可以用于所有像素，如在幀轉(zhuǎn)換裝置CCD中那樣，或者可以是像素排或列之間的排或列形式，如在行間傳輸裝置CCD中那樣。適當?shù)难b置和流程是本領(lǐng)域技術(shù)人員公知的。于是，定時發(fā)生器24能夠提供ー種方法控制針對圖像傳感器18上的像素何時發(fā)生積分時間以拍攝圖像。在圖I的圖像拍攝裝置10中，快門22和定時發(fā)生器24聯(lián)合確定積分時間?？傮w光強和積分時間的組合稱為曝光。曝光與圖像傳感器18的靈敏度和噪聲特性組合決定了所拍攝圖像中提供的信噪比?？梢酝ㄟ^光強和積分時間的各種組合實現(xiàn)等效曝光。盡管曝光是等效的，但基于景物特性或關(guān)聯(lián)的信噪比對于拍攝景物圖像而言，光強和積分時間的特定曝光組合可能比其他等效曝光更優(yōu)。盡管圖I示出了若干曝光控制元件，但ー些 實施例可能不包括這些元件中的ー個或多個，或者可能有控制曝光的替代機制。圖像拍攝裝置10可以具有圖示那些特征的替代特征。例如，還充當光闌的快門是本領(lǐng)域技術(shù)人員公知的。在圖示的圖像拍攝裝置10中，濾光器組件26和孔徑28改變圖像傳感器18的光強。每者都是能夠調(diào)節(jié)的?？讖?8利用機械光闌或可調(diào)孔徑(未示出)控制到達圖像傳感器18的光強度，以在光程20中阻擋光?？讖降某叽缈梢允沁B續(xù)可調(diào)的、步進的或以其他方式變化的。作為替代，可以將孔徑28移入和移出光路20。濾光器組件26可以類似變化。例如，濾光器組件26可以包括ー組不同的中性密度濾光器，其可以旋轉(zhuǎn)或以其他方式移入光路中。其他適當?shù)臑V光器組件和孔徑是本領(lǐng)域技術(shù)人員公知的。圖像拍攝裝置10具有光學(xué)系統(tǒng)44，光學(xué)系統(tǒng)44包括拍攝鏡頭16，還可以包括取景器部件(未示出)，以幫助操作員構(gòu)成要拍攝的圖像。光學(xué)系統(tǒng)44可以采取很多不同形式。例如，拍攝鏡頭16可以完全與光學(xué)取景器獨立或可以包括數(shù)字取景器，其具有內(nèi)部顯示器上方提供的目鏡，在拍攝圖像之前和之后在那里連續(xù)顯示預(yù)覽圖像。其中，預(yù)覽圖像典型地是連續(xù)拍攝的較低分辨率圖像。取景器透鏡單元和拍攝鏡頭16也可以共享ー個或多個部件。這些和其他替代光學(xué)系統(tǒng)的細節(jié)是本領(lǐng)域技術(shù)人員公知的。為了方便起見，下文結(jié)合具有數(shù)字取景器顯示器76或相機顯示器48的實施例一般地論述光學(xué)系統(tǒng)44，可以使用顯示器76或48觀看景物的預(yù)覽圖像，如利用諸如數(shù)字攝像機的圖像拍攝裝置拍攝之前構(gòu)成圖像那樣一般所做那樣。拍攝鏡頭16可以是簡單的，例如具有單個焦距和人工聚焦或固定焦距，但這不是優(yōu)選的。在圖I所示的圖像拍攝裝置10中，拍攝鏡頭16是馬達驅(qū)動的可變焦距鏡頭，其中通過縮放控制50相對于其他透鏡元件驅(qū)動透鏡元件或多個透鏡元件。這樣允許改變透鏡的有效焦距。也可以使用數(shù)字變焦(數(shù)字圖像的數(shù)字放大)替代光學(xué)變焦或與光學(xué)變焦結(jié)合。拍攝鏡頭16還可以包括可通過宏控制驅(qū)動器52插入或移出光路的透鏡元件或透鏡組(未示出)，以便提供宏(緊密焦點)能力。攝像機10的拍攝鏡頭單元16優(yōu)選也是自動聚焦的。例如，自動聚焦系統(tǒng)能夠利用無源或有源自動聚焦或兩者組合提供聚焦。參考圖1，由焦點控制器54驅(qū)動拍攝鏡頭16的一個或多個聚焦元件(未獨立示出)，以將來自景物中特定距離的光聚焦到圖像傳感器20上。自動聚焦系統(tǒng)能夠利用具有不同透鏡聚焦設(shè)置的預(yù)覽圖像工作，或者自動聚焦系統(tǒng)能夠具有測距儀56，其具有一個或多個感測元件，向系統(tǒng)控制器66發(fā)送信號，該信號與從圖像拍攝裝置10到景物的距離相關(guān)。系統(tǒng)控制器66對預(yù)覽圖像或來自測距儀的信號進行焦點分析，然后操作聚焦驅(qū)動器54以移動拍攝鏡頭16的可聚焦透鏡元件(未獨立示出)。自動聚焦方法是本領(lǐng)域公知的。圖像拍攝裝置10包括景物亮度的度量?？梢酝ㄟ^分析預(yù)覽圖像中的像素代碼值或利用亮度傳感器58進行亮度測量。在圖I中，亮度傳感器58被示為ー個或多個獨立部件。也可以提供亮度傳感器58作為電子圖像拍攝單元14的硬件和軟件的邏輯功能?？梢允褂昧炼葌鞲衅?8提供ー個或多個表示景物的景物光強度的信號，在為ー個或多個圖像傳感器18選擇曝光時使用 。作為選擇，來自亮度傳感器58的信號也可以提供彩色平衡信息。在美國專利No. 4887121中公開了可用于提供景物照明和顏色值之一或兩者并且與電子圖像拍攝單元14獨立的適當亮度傳感器58的范例?？梢杂勺詣悠毓饪刂苼泶_定曝光?？梢栽谙到y(tǒng)控制器66之內(nèi)實現(xiàn)自動曝光控制，可以從本領(lǐng)域已知的技術(shù)中選擇，在1994年8月2日授權(quán)的美國專利No. 5335041披露了其范例?；诹炼葌鞲衅?8提供的或從預(yù)覽圖像中的像素值測量提供的被成像景物的亮度測量值，電子成像系統(tǒng)通常采用自動曝光控制處理確定有效曝光時間，te，其將產(chǎn)生具有有效亮度和良好信噪比的圖像。在本發(fā)明中，由自動曝光控制％確定的曝光時間用于拍攝預(yù)覽圖像，然后加以修改，用于基于景物亮度和預(yù)期運動模糊的歸檔圖像拍攝的拍攝。其中歸檔圖像是已經(jīng)基于本發(fā)明的方法定義的拍攝條件(包括曝光時間)之后拍攝的最終圖像。本領(lǐng)域的技術(shù)人員將認識到，在歸檔圖像中將存在更短的曝光時間、更少運動模糊和更多噪聲。圖I的圖像拍攝裝置10包括閃光單元60，其具有電子控制的照明器，例如氙氣閃光管61 (圖I中標記為“FLASH”)。可以任選地提供閃光傳感器62，其響應(yīng)于拍攝歸檔圖像期間從景物感測的光或通過拍攝歸檔圖像之前預(yù)閃光來輸出信號。在專用閃光控制器63或根據(jù)控制単元65控制閃光単元的輸出時使用閃光傳感器信號。或者，閃光輸出可以是固定的或基于其他信息，例如焦點距離而變化?？梢栽趩蝹€部件或拍攝單元和控制單元的邏輯功能中組合閃光傳感器62和亮度傳感器58的功能。圖像傳感器18接收透鏡16提供的景物圖像并將圖像轉(zhuǎn)換成模擬電子圖像。電子圖像傳感器18由圖像傳感器驅(qū)動器操作?？梢栽诙喾N拍攝模式中操作圖像傳感器18，包括各種合并布置。合并布置判斷是否使用像素單獨收集以光電方式產(chǎn)生的電荷，由此在拍攝期間以滿分辨率工作，或與相鄰像素電連接在一起，由此在拍攝期間以更低分辨率工作。合并率描述拍攝期間電連接在一起的像素數(shù)量。更高的合并率表示在拍攝期間將更多像素電連接在一起，以相應(yīng)地提高被合并像素的靈敏度并降低圖像傳感器的分辨率。例如，典型的合并率包括2X、3X、6X和9X。在合并模式中合并在一起的相鄰像素分布也可以變化。圖12示出了公知的Bayer濾色器陣列模式，其中R、G和B字母分別表示紅、綠和藍像素。典型地，將顏色相似的相鄰像素合并在一起，以保持彩色信息如圖像傳感器所提供的那樣相客?？梢酝鹊貙⒈景l(fā)明應(yīng)用于具有其他類型圖像傳感器的圖像拍攝裝置，所述圖像傳感器具有其他濾色器陣列模式和其他合并模式。控制單元65控制或調(diào)節(jié)曝光調(diào)節(jié)元件及其他攝像機部件，方便傳輸圖像和其他信號，并執(zhí)行與圖像相關(guān)的處理。圖I中所示的控制單元65包括系統(tǒng)控制器66、定時發(fā)生器24、模擬信號處理器68、A/D轉(zhuǎn)換器80、數(shù)字信號處理器70和存儲器72a_72d。用于控制單元65的適當部件是本領(lǐng)域技術(shù)人員公知的?？梢匀缑杜e的那樣提供，或由單個物理裝置或由大量獨立部件提供這些部件。系統(tǒng)控制器66可以采取適當配置的微計算機形式，例如具有RAM的嵌入式微處理器，用于數(shù)據(jù)操縱和通用程序執(zhí)行?？刂茊卧?5修改是切實可行的，例如這里別處所述那樣。定時發(fā)生器24以定時關(guān)系為所有電子部件供應(yīng)控制信號。用于個體圖像拍攝裝置10的校準值存儲在校準存儲器(未獨立示出)中，例如EEPROM中，并供應(yīng)給系統(tǒng)控制器66。用戶接ロ(下文論述)的部件連接到控制單元65并利用系統(tǒng)控制器66上執(zhí)行的軟件程序的組合而工作?？刂茊卧?5還操作各種控制器和關(guān)聯(lián)的驅(qū)動器和存儲器，包括縮放控制50、聚焦控制54、宏控制52、顯示控制器64和其他分別用于快門22、孔徑28、濾光器組件26和取景器和狀態(tài)顯示器76、74的控制器(未示出)。圖像拍攝裝置10可以包括其他部件以提供補充拍攝的圖像信息或預(yù)拍攝信息的信息。這種補充信息部件的范例是圖I中所示的取向傳感器78。其他范例包括實時時鐘、慣性測量傳感器、全球定位系統(tǒng)接收機和小鍵盤或用于輸入用戶字幕或其他信息的其他輸入裝置。應(yīng)該理解，可以通過本領(lǐng)域技術(shù)人員公知的各種方式修改圖示和描述的電路。還應(yīng)理解，可以替代地將這里結(jié)合物理電路描述的各特征提供為固件或軟件功能或兩者的組合。同樣地，可以方便地組合或共享這里圖示為獨立単元的部件?？梢栽诜植嫉奈恢锰峁┒鄠€部件。由模擬信號處理器68和模擬到數(shù)字(A/D)轉(zhuǎn)換器-放大器80放大來自圖像傳感器18的初始電子圖像并從模擬到數(shù)字地轉(zhuǎn)換成數(shù)字電子圖像，然后利用DSP存儲器72a在數(shù)字信號處理器70中處理并存儲在系統(tǒng)存儲器72b或可移除存儲卡72c中。圖示為數(shù)據(jù)總線81的信號線電連接圖像傳感器18、系統(tǒng)控制器66、數(shù)字信號處理器70、圖像顯示器48和其他電子部件；并提供用于地址和數(shù)據(jù)信號的通道?！按鎯ζ鳌笔侵赴雽?dǎo)體存儲器或磁存儲器等中提供的物理存儲器的ー個或多個適當大小的邏輯單元。存儲器72a-72d可以均是任何類型的隨機存取存儲器。例如，存儲器可以是內(nèi)存儲器，例如閃速EPROM存儲器，或者是可移除存儲器，例如緊湊閃存卡，或兩者的組合。可以為歸檔圖像存儲器提供可移除存儲卡72c。可移除存儲卡72c可以是任何類型，例如插入插座82中并經(jīng)由存儲卡接ロ 83連接到系統(tǒng)控制器66的緊湊閃存(CF)或安全數(shù)字(SD)型的卡。使用的其他類型存儲器包括，但不限于PC卡或多媒體卡(MMC)?？刂茊卧?5、系統(tǒng)控制器66和數(shù)字信號處理器70可以受到存儲在與用于圖像存儲器相同的物理存儲器中存儲的軟件控制，但優(yōu)選控制單元65、數(shù)字信號處理器70和控制器66受到專用程序存儲器72d，例如，ROM或EPROM固件存儲器中存儲的固件控制。也可以提供獨立的專用存儲器單元以支持其他功能。存儲拍攝的圖像的存儲器可以是圖像拍攝裝置10中固定的或可移除的或兩者的組合。所用存儲器的類型和信息存儲的方式，例如光學(xué)或磁或電子，并不關(guān)鍵。例如，可移除存儲器可以是軟盤、CD、DVD磁帶盒或閃速存儲卡或存儲棒?？梢詫⒖梢瞥鎯ζ饔糜谝詳?shù)字形式向和從攝像機傳輸圖像記錄，或者可以將那些圖像記錄作為電子信號傳送。除了系統(tǒng)控制器66之外，數(shù)字信號處理器70是本實施例中的兩個處理器或控制器之一。盡管在多個控制器和處理器之間這樣劃分攝像機功能控制是典型的，但以各種方式組合這些控制器或處理器，而不會影響攝像機的功能操作和本發(fā)明的應(yīng)用。這些控制器或處理器可以包括ー個或多個數(shù)字信號處理器裝置、微控制器、可編程序邏輯器件或其他、數(shù)字邏輯電路。盡管已經(jīng)描述了這種控制器或處理器的組合，但應(yīng)當明了的是，一個控制器或處理器能夠執(zhí)行全部所需功能。所有這些變化能夠執(zhí)行同樣的功能。在圖示的實施例中，控制單元65和數(shù)字信號處理器70根據(jù)程序存儲器72d中永久存儲并拷貝到系統(tǒng)存儲器72b以在拍攝圖像期間執(zhí)行的軟件程序，操作存儲器72a中的數(shù)字圖像數(shù)據(jù)。控制單元65和數(shù)字信號處理器70執(zhí)行進行圖像處理所需的軟件。也可以通過與其他數(shù)字攝像機中同樣的方式修改數(shù)字圖像以增強圖像。例如，可以由數(shù)字信號處理器70處理圖像以提供內(nèi)插和邊緣增強。電子歸檔圖像的數(shù)字處理可以包括與文件轉(zhuǎn)移相關(guān)的修改，例如JPEG壓縮和文件格式化。也可以通過本領(lǐng)域技術(shù)人員公知的方式為元數(shù)據(jù)提供數(shù)字圖像數(shù)據(jù)。系統(tǒng)控制器66基于程序存儲器72d中存儲的軟件程序控制圖像拍攝裝置的總體操作，程序存儲器可以包括閃速EEPROM或其他非易失性存儲器。該存儲器也可以用于存儲校準數(shù)據(jù)、用戶設(shè)置選擇和關(guān)閉圖像拍攝裝置時必須保持的其他數(shù)據(jù)。系統(tǒng)控制器66通過引導(dǎo)宏控制52、閃光控制63、聚焦控制54、縮放控制50和如前所述的拍攝單元部件的其他驅(qū)動器，引導(dǎo)定時發(fā)生器24操作圖像傳感器18和關(guān)聯(lián)元件，并引導(dǎo)控制單元65和數(shù)字信 號處理器70處理拍攝的圖像數(shù)據(jù)，來控制圖像拍攝序列。在拍攝并處理圖像之后，系統(tǒng)存儲器72b或DSP存儲器72a中存儲的最終圖像文件通過主機接ロ 84傳輸至主計算機，存儲在可移除存儲卡72c或其他存儲裝置上，并在圖像顯示器48上為用戶顯示。主機接ロ84提供了通往個人計算機或其他主計算機的高速連接，用于傳輸圖像數(shù)據(jù)，以進行顯示、存儲、操作或打印。這個接ロ可以是IEEE 1394或USB 2. O串行接ロ或任何其他適當?shù)臄?shù)字接ロ。在該方法中，以數(shù)字形式傳輸圖像可以是在物理介質(zhì)上，或作為傳送的電子信號。在圖示的圖像拍攝裝置10中，已處理圖像被拷貝到系統(tǒng)存儲器72b中的顯示緩存并通過視頻編碼器86連續(xù)讀出以產(chǎn)生用于預(yù)覽圖像的視頻信號。這個信號由顯示控制器64或數(shù)字信號處理器70處理并呈現(xiàn)在攝像機圖像顯示器48上作為預(yù)覽圖像，或者可以直接從圖像拍攝裝置10輸出，以在外部監(jiān)視器上顯示。如果使用圖像拍攝裝置10拍攝視頻，視頻圖像是歸檔的，如果用作預(yù)覽圖像進行取景或在拍攝靜止歸檔圖像之前構(gòu)圖，則是不歸檔的。圖像拍攝裝置10具有用戶接ロ，其向操作員提供輸出并接收操作員輸入。用戶接ロ包括一個或多個用戶輸入控制器93 (圖I中標記為“USER INPUTS”)和圖像顯示器48?？梢酝ㄟ^按鈕、搖臂開關(guān)、操縱桿、旋轉(zhuǎn)式撥號盤、觸摸屏等組合的形式提供用戶輸入控制器。用戶輸入93可以包括快門開關(guān)、控制透鏡單元變焦距的“放大/縮小”控制，以及其他用戶控制器。用戶接ロ可以包括一個或多個顯示器或指示器，以向操作員呈現(xiàn)攝像機信息，例如曝光水平、剰余曝光、電池狀態(tài)、閃光燈狀態(tài)等。也可以替代地或額外地使用圖像顯示器48顯示非圖像信息，例如攝像機設(shè)置。例如，可以提供圖形用戶界面(⑶I)，包括呈現(xiàn)選項選擇和用于檢查所拍攝圖像的審閱模式的菜単。圖像顯示器48和數(shù)字取景器顯示器76都能夠提供相同的功能，可以取消其中一個或另ー個。圖像拍攝裝置10可以包括揚聲器，用于呈現(xiàn)與視頻拍攝相關(guān)聯(lián)的音頻信息，能夠提供音頻警告來替代或補充狀態(tài)顯示器74、圖像顯示器48或兩者上顯示的視覺警告。用戶接ロ的部件連接到控制單元并利用系統(tǒng)控制器66上執(zhí)行的軟件程序的組合而工作。
最后向圖像顯示器48傳送電子圖像，圖像顯示器48是由顯示控制器64操作的?？梢允褂貌煌愋偷膱D像顯示器48。例如，圖像顯示器48可以是液晶顯示器(“IXD”)、陰極射線管顯示器或有機電致發(fā)光顯示器(“0LED”)。圖像顯示器48優(yōu)選安裝在攝像機機身上，以便容易被攝像者看到。作為在圖像顯示器48上顯示圖像的一部分，圖像拍攝裝置10能夠修改圖像，用于針對特定顯示器加以校準。例如，可以提供變換，其修改每幅圖像以在顯示器48的灰度級、色域和白點以及圖像傳感器18和電子拍攝單元14的其他部件方面適應(yīng)不同的能力。優(yōu)選選擇顯示器48，以便能夠顯示整幅圖像；不過，可以使用更有限的顯示器。在后一種情況下，顯示圖像包括校準步驟，其切掉圖像的一部分或?qū)Ρ榷鹊燃壔驁D像中信息的某些其他部分。還要理解，這里所述的圖像拍攝裝置10不限于特定的特征組，除非如權(quán)利要求界 定的那樣。例如，圖像拍攝裝置可以是數(shù)字攝像機，能夠包括這里未詳細論述的各種特征的任ー種，例如可拆卸和可更換透鏡。圖像拍攝裝置10也可以是便攜式的或固定在適當位置，能夠提供一個或多個與成像相關(guān)或無關(guān)的其他功能。例如，圖像拍攝裝置10可以是手機攝像機或能夠以其他某種方式提供通信功能。同樣地，圖像拍攝裝置10能夠包括計算機硬件和計算機化設(shè)備。圖像拍攝裝置10還可以包括多個拍攝単元。圖3示出了本發(fā)明方法第一實施例300的流程圖，這是由圖I中的控制單元65或數(shù)字信號處理器70提供的。在步驟310中，收集預(yù)拍攝數(shù)據(jù)，包括2幅或更多幅預(yù)覽圖像、GPS位置信息、光級信息、音頻信息和聚焦信息。然后分析預(yù)拍攝數(shù)據(jù)以在步驟320中確定景物亮度L和運動。其中可以從亮度傳感器58 (圖I所示)或從預(yù)覽圖像中的像素代碼值，與用于拍攝預(yù)覽圖像的曝光時間相比來確定景物亮度し可以通過比較兩幅或更多幅不同預(yù)覽圖像以識別預(yù)覽圖像中拍攝的景物中對應(yīng)對象的位置差異，根據(jù)像素的移動來判斷運動。美國專利公開2006/0274156中描述了通過比較視頻圖像確定運動的方法。全局運動和局部運動都可以通過這種方式從預(yù)覽圖像中識別。全局運動是指整幅圖像中通常由圖像拍攝裝置相對于景物的運動產(chǎn)生的共同運動，而局部運動是指景物之內(nèi)對象的運動。在步驟330中，將按照預(yù)覽圖像之間像素偏移確定的運動與預(yù)覽圖像拍攝之間的時間比較，以確定以像素/秒為單位的運動速率或像素速度入。在步驟340，使用從預(yù)覽圖像或預(yù)拍攝光級確定的亮度L，連同預(yù)覽圖像的曝光時間和信號増益，f/數(shù)值，和其他數(shù)據(jù)，如傳感器量子效率和透鏡透射率，針對每個像素以電子/秒為單位確定總體像素信號速率S。熟悉攝像機曝光確定的人將認識到，像素信號速率S受到諸如像素面積、傳感器量子效率、透鏡f/數(shù)值和透鏡透射率以及景物亮度等因素的影響。在步驟345中，由控制單元65或數(shù)字信號處理器70計算像素信號速率/像素速度的信號比(S/λ )。在本發(fā)明的實施例中，信號比是信號處理器70用于選擇拍攝模式和拍攝條件的參數(shù)。在圖3中，步驟330被示為發(fā)生于步驟340之前。不過，將要認識到，這兩個步驟的次序?qū)τ诒景l(fā)明而言不重要，因為兩個步驟都涉及基于步驟310和320中收集的數(shù)據(jù)計算值。結(jié)果，步驟340可以發(fā)生于步驟330之前，或者可以在數(shù)字信號處理器70的能力范圍之內(nèi)同時完成兩個步驟。在全局運動和局部運動都存在的景物中，對于圖像的不同區(qū)域，所確定的像素速度將是不同的。在與這種情況相關(guān)的本發(fā)明實施例中，可以針對圖像的不同區(qū)域，通過比較兩幅或更多幅不同預(yù)覽圖像之間的對應(yīng)區(qū)域，在步驟330中確定局部像素速度。可以逐塊比較預(yù)覽圖像(如美國專利公開2006/0274156中所述)。例如，可以將預(yù)覽圖像分成像素塊，其尺寸為32像素乘32像素，以獲得預(yù)覽圖像上局部像素速度的稀疏采樣。在本發(fā)明的另ー實施例中，對于包括諸如ー個或多個陀螺儀或ー個或多個加速度計的慣性測量裝置的圖像拍攝裝置，在步驟310中從慣性測量裝置獲得與圖像拍攝裝置運動相關(guān)的數(shù)據(jù)。然后使用來自慣性測量裝置的數(shù)據(jù)在步驟320確定與圖像拍攝裝置的運動相關(guān)聯(lián)的全局運動，而不是分析預(yù)覽圖像確定運動。在這種情況下，分析一幅或多幅預(yù)覽圖像以確定景物亮度?；蛘?，利用亮度傳感器確定景物亮度，在這種情況下，在步驟310中不需要拍攝具有預(yù)拍攝數(shù)據(jù)的預(yù)覽圖像?；谕哥R提供的視角范 圍，在步驟330中，將慣性測量裝置測量的數(shù)據(jù)從陀螺儀或加速度計分別測量的旋轉(zhuǎn)速度或直線加速度轉(zhuǎn)換成整幅圖像上的像素速度分布。此外，由于慣性測量裝置通常在IOOHz以上輸出運動數(shù)據(jù)，所以可以在諸如預(yù)覽圖像的曝光時間的一段時間內(nèi)多次對慣性測量裝置的數(shù)據(jù)采樣。在本發(fā)明的又一實施例中，結(jié)合來自慣性測量裝置的數(shù)據(jù)，使用對兩幅或更多幅預(yù)覽圖像的分析在存在的全局運動和局部運動之間進行區(qū)分。在這種情況下，使用在步驟310中從慣性測量裝置收集的數(shù)據(jù)在步驟320中確定由于圖像拍攝裝置運動而存在的全局運動。然后如前面在步驟320中所述那樣比較兩幅或更多幅預(yù)覽圖像以確定存在全局和局部運動。在步驟330中，將比較預(yù)覽圖像確定的全局和局部運動轉(zhuǎn)換成局部像素速度。在步驟330中還將從慣性測量裝置確定的全局運動轉(zhuǎn)換成局部像素速度分布，然后從通過比較兩幅或更多幅預(yù)覽圖像確定的局部像素速度減去它，使得剰余的針對不同區(qū)域的局部像素速度值歸因于來自運動景物的全局運動(不是由圖像拍攝裝置的運動產(chǎn)生的)和局部運動。通過這種方式，在步驟330中確定全局運動和局部運動。如前所述，出于本發(fā)明的目的，在至少與預(yù)覽圖像曝光時間部分交疊的一段時間內(nèi)收集慣性測量數(shù)據(jù)，使得用于為歸檔圖像選擇拍攝模式和拍攝條件的運動數(shù)據(jù)是相容的。這種方法對于區(qū)分因圖像拍攝裝置運動導(dǎo)致的全局運動和因景物，例如像火車那樣的大對象運動導(dǎo)致的全局運動是有效的。在本發(fā)明的任何實施例中，在對所確定的運動進行數(shù)據(jù)分析吋，它可以包括任何類型的統(tǒng)計分析，以選擇要用于本發(fā)明方法中的全局運動或局部運動的代表性度量，包括平均值、平均數(shù)、最大值或最小值。在本發(fā)明的另ー實施例中，在景物中存在局部運動且確定的局部像素速度對于圖像不同區(qū)域而言不同時，可以在步驟330中利用局部像素速度的分布分析完成圖3的方法，以選擇在確定信號比時要在步驟345中使用的像素速度λ。這種分析是由圖I中的控制単元65或數(shù)字信號處理器70提供的。在本發(fā)明的第一實施例中，將局部像素速度的平均值用作步驟345中的λ。這種方法將實現(xiàn)運動模糊的適度總體減小，同時造成噪聲適度增大。這種方法可能適用于希望產(chǎn)生總體感知圖像質(zhì)量改善且具有一些局部運動模糊的圖像的情況。在本發(fā)明的替代實施例中，將針對圖像所有區(qū)域的最大或峰值像素速度用作步驟345中的λ。這種方法將實現(xiàn)圖像所有區(qū)域中運動模糊的更夸張減小，同時將噪聲提高到更大范圍。這種方法可能適用于希望產(chǎn)生在圖像中具有更快運動的區(qū)域(例如體育運動圖像中的運動員)運動模糊減小的圖像的情況。
在信號處理器70選擇圖像拍攝裝置的拍攝條件時，例如ISO和曝光時間，在存在運動時必須要考慮圖像質(zhì)量的折衷。如本領(lǐng)域的技術(shù)人員公知的那樣，ISO是指拍攝圖像時，圖像傳感器響應(yīng)于給定量的光和施加到像素值的關(guān)聯(lián)模擬或數(shù)字增益而產(chǎn)生的信號(就像素值而言)。典型地，還通過進一步選擇圖像處理參數(shù)來補充ISO的選擇，圖像處理參數(shù)包括增益和各種噪聲減少圖像處理選擇，其中更高的ISO伴隨著更大水平的噪聲減少圖像處理。長的曝光時間提高了信噪比，因此所得的圖像看起來明亮且噪聲低，但那時存在的運動會在圖像中造成更大模糊。在這種情況下，存在的任何局部運動都導(dǎo)致局部模糊的區(qū)域，例如在快速移動的汽車進入景物中時，此外，全局運動導(dǎo)致整幅圖像模糊，例如在拍攝圖像期間圖像拍攝裝置被碰撞時?？s短曝光時間減少了運動模糊，但也降低了信噪比，使得所得圖像看起來暗或有噪聲。隨著景物中的照明條件變暗，需要更長的曝光時間來產(chǎn)生適當亮度且噪聲不大的具有可接受信噪比的圖像。提高拍攝圖像的增益增大了圖像亮度，但也使得噪聲更見明顯，使得圖像看起來有噪聲。要指出的要點是，運動模糊和圖像中噪聲的折衷是一個感知的問題。這里公開的發(fā)明提供了一種用于攝像機控制的方法，包括對拍攝模式、ISO和曝光時間進行滑動調(diào)節(jié)，考慮到受到信號比表示的所拍攝圖像中的運動模糊和噪聲影響的圖像質(zhì)量感知。
圖4-11針對利用具體數(shù)字攝像機拍攝的大量圖像示出了來自圖像質(zhì)量研究的數(shù)據(jù)，這是由一組二十名觀察者觀察并以恰好可察覺差異單位(JND)為單位對感知的圖像質(zhì)量進行評定。在數(shù)字成像中普遍使用JND來描述感知圖像質(zhì)量的變化。可以在以下參考文獻中找到 JND 的描述Yoichi Miyake 和 D. Rene Rasmussen 編著的 Image Quality andSystem Performance 中的 “ ISO 20462, A psychophysical image quality measurementstandard，，，Proceedings of SPIE-IS&T Electronic Imaging, Vol. 5294 (2004)，PP. 181-189。JND單位是統(tǒng)計上可辨別的差異水平，其中單個JND是可由觀察者一致檢測到的最小質(zhì)量差異。在圖4-11中給出的多維模型中，以JND單位表達了質(zhì)量，與被感知為具有JND零水平的優(yōu)秀圖像質(zhì)量的圖像比較。圖4-11的數(shù)據(jù)中示出的質(zhì)量值實質(zhì)是從高質(zhì)量參考水平開始的圖像質(zhì)量下降的JND單位?？梢栽诟鞣N圖像質(zhì)量特性中，包括模糊和噪聲，定義JND。圖4A和圖4B示出了單一觀察者對同一景物的大量圖像評定的感知圖像質(zhì)量匯集，拍攝的大量圖像具有分別通過不同的ISO設(shè)置和受控全局運動產(chǎn)生的受控量噪聲和模糊。圖4A示出了一系列低模糊圖像的數(shù)據(jù)，這些圖像具有不等量的噪聲，是通過利用數(shù)字攝像機的不同ISO設(shè)置拍攝同一景物產(chǎn)生的。從這個數(shù)據(jù)可以看出，隨著ISO增大，感知的圖像質(zhì)量逐漸變差。圖4B示出了一系列圖像的數(shù)據(jù)，這一系列圖像是利用低ISO設(shè)置拍攝的，具有通過曝光時間期間攝像機受控運動產(chǎn)生的各種量的模糊。足夠有趣的是，該數(shù)據(jù)表明，在模糊高于特定水平之前，它對感知的圖像質(zhì)量沒有任何影響。圖5示出了針對幾種不同拍攝模式按照JND得到的信號比(S/ λ )和感知圖像質(zhì)量之間的關(guān)系未合并(全分辨率)；2Χ合并(一半分辨率)和多次圖像拍攝。在多圖像拍攝模式中，利用更短曝光時間拍攝多幅圖像，然后對準，以補償拍攝之間的運動，并組合，以提高信噪比，如以下申請中所述共同未決的美國專利申請12/258389，涉及利用CMOS圖像傳感器多次拍攝，以及美國專利申請12/184446，涉及利用CXD圖像傳感器多次拍攝。重要的是意識到很多不同拍攝模式是可能的，本發(fā)明包括提供不同時間分辨率或不同空間分辨率的各種模式。通過在不同曝光時間提供的不同時間增量上拍攝或通過如多次拍攝模式中那樣將期望的曝光時間分成多個更短曝光時間，實現(xiàn)不同的時間分辨率。通過以不同合并率拍攝來實現(xiàn)不同的空間分辨率。圖5中的圖表示出了照相空間的區(qū)域，其中與針對用于圖4-11中給出的數(shù)據(jù)的具體數(shù)字攝像機的其他模式不同的拍攝模式提供的圖像具有作為信號比(S/λ )函數(shù)的更高感知圖像質(zhì)量。盡管圖5中所示的感知圖像質(zhì)量和拍攝模式之間的關(guān)系一般是適用的，但在不同類型的數(shù)字攝像機或其他圖像拍攝裝置之間關(guān)系可能變化。為了提供高的感知圖像質(zhì)量，本發(fā)明提供了轉(zhuǎn)換點510，其中將攝像機或圖像拍攝裝置從一種模式改變?yōu)榱硪环N模式，這是基于測量的信號比確定的。圖5中給出數(shù)據(jù)作為按照JND相對于Log2 (S/λ )給出的圖像質(zhì)量的感知水平。如圖5所示，在S值低或者λ高(S/λ低)時，多次拍攝模式提供了更高的感知圖像質(zhì)量。在S/λ的中間值中，合并拍攝模式提供了更高的感知圖像質(zhì)量。在S值高或λ低(S/λ高)時，未合并(完整分辨率)拍攝模式或多次拍攝模式將提供更高的感知圖像質(zhì)量。圖6基于圖4Α和4Β中給出的組合數(shù)據(jù)示出了 ISO、像素模糊和感知的總體圖像質(zhì) 量JND之間的關(guān)系。圖6中的數(shù)據(jù)被表示為Log2 (像素模糊)+5相對于Log2 (IS0)，還示出了垂直的ISO虛線610。像素模糊是由像素速度λ和曝光時間之積表述的所拍攝圖像中的模糊量。常數(shù)感知圖像質(zhì)量620的等值線被視為按照JND標記。在圖6中可以看出，在像素模糊低時，常數(shù)JND 620的等值線傾向于垂直，在像素模糊高時，傾向于水平。這表明，在低水平的像素模糊下，像素模糊不是非常引人關(guān)注，而與增大ISO相關(guān)聯(lián)的噪聲非常引人注目，因此常數(shù)感知圖像質(zhì)量的線是垂直的。在照相空間的這一低模糊區(qū)域中，重要的是使用具有更低ISO設(shè)置的更長曝光，以減少噪聲，同時允許有一些模糊(注意不能將ISO減小到圖像傳感器的基礎(chǔ)ISO以下，在這種情況下基礎(chǔ)ISO為117.2)。相反，在常數(shù)JND線水平的高水平像素模糊下，與噪聲相比，像素模糊非常引人注目。在照相空間的這個高模糊區(qū)域中，重要的是使用具有更高ISO設(shè)置的更短曝光時間以減少模糊，同時允許有一些噪聲。通過圖6中的傾斜曲線630確定ISO和曝光時間值的選擇，以在圖示的真?zhèn)€照相空間中獲得改善的感知圖像質(zhì)量。出于參考，圖6還包括常數(shù)信號比640的有角度線。常數(shù)信號比的線表示針對給定信號比在不同ISO值拍攝圖像可用的質(zhì)量折衷位置。在圖的左側(cè)和頂部用其相應(yīng)的信號比的值標記常數(shù)信號比640的線。這幅圖的一個重要暗示是，總體的圖像質(zhì)量并不僅僅取決于景物亮度，也不僅僅取決于像素速度；它取決于這兩個值。圖6中的曲線630示出了針對給定信號比的ISO和像素模糊優(yōu)選組合。為了在拍攝裝置之內(nèi)進行實時決策，常數(shù)質(zhì)量的輪廓線所示的完整質(zhì)量表面是過剩的。圖中最重要的關(guān)系是曲線630。觀察圖6，可以看出對于指定的信號比，通過利用接近曲線630的ISO拍攝圖像獲得了改進的圖像質(zhì)量。信號比和ISO的組合決定了像素模糊，因此可以根據(jù)ISO和信號比同樣呈現(xiàn)數(shù)據(jù)。圖7是圖6的簡化，示出了圖6中給出的數(shù)據(jù)，但僅依照曲線630的信號比和ISO。圖7示出了信號比(S/λ )和ISO之間的關(guān)系，以在完整分辨率拍攝模式中利用本研究中使用的數(shù)字攝像機獲得改善的感知圖像質(zhì)量，其中數(shù)據(jù)被呈現(xiàn)為Log2 (ISO)相對于Log2 (S/λ)。圖7中還針對不同水平的ISO示出了水平線710。如斜線730所示，隨著S增大(相對于運動速度景物更亮)，為了改善感知圖像質(zhì)量，ISO應(yīng)當更低。為更亮的景物使用更低ISO的這種關(guān)系常用于數(shù)字攝像機的操作系統(tǒng)中。不過，由于圖7中的X軸基于S/λ，斜線還表明，隨著λ增大(更多運動)和s/λ減小，ISO應(yīng)當更高。對于本研究中操作的數(shù)字攝像機，可以通過以下方程I的形式表示斜線730。Log2 (ISO) =-0. 000445 (S/ λ ) 3+0. 00526 (S/ λ ) 2-0. 6855 (S/ λ ) +14. 872 方程 I本領(lǐng)域的技術(shù)人員將認識到，僅可以將ISO減小到圖像傳感器的基礎(chǔ)ISO (或飽和受限的ISO) (IS0T)，對于圖7中所示的數(shù)據(jù)，為117. 2。結(jié)果，圖7中所示的斜線730在ISO=I 17. 2處變?yōu)樗骄€。圖8是類似于圖6的圖表，示出了對于本研究中使用的同一數(shù)字攝像機作為ISO和像素模糊函數(shù)的感知圖像質(zhì)量，但在這種情況下，工作于具有2X合并率的合并拍攝模式中。圖8中所示的關(guān)系類似于圖6所示，有些輕微不同。在圖8中，ISO線810和信號比線840與圖6中的對應(yīng)線處在相同相對位置。在圖8中立即可以看出合并產(chǎn)生的傳感器更高 基礎(chǔ)ISO的效果，常數(shù)感知圖像質(zhì)量線820僅下降到稍高于X軸上的ISO 200。通常，與圖6中的感知質(zhì)量線620相比，圖8中的感知質(zhì)量線820向右偏移。結(jié)果,該曲線表明，相對于圖6中的對應(yīng)曲線630，對于給定信號比830，ISO和像素模糊的優(yōu)選組合稍微向下偏移。圖9是針對圖8中所示的改進圖像質(zhì)量曲線示出信號比(S/λ )和ISO之間的關(guān)系的圖表，使用如前所述的相同數(shù)字攝像機，但現(xiàn)在工作于2X合并拍攝模式中。盡管關(guān)系類似于圖7所示的關(guān)系，但有一些差異。常數(shù)ISO線910與圖7中所示的ISO線710相同。由下面的方程2給出描述斜線930的方程以獲得改善的感知圖像質(zhì)量，該方程是信號比和ISO之間的關(guān)系。Log2 (ISO) =-0. 0007418 (S/ λ ) 3+0. 006498 (S/ λ ) 2-0. 68008 (S/ λ ) +14. 983 方程 2圖10和11中針對研究的相同數(shù)字攝像機示出了類似圖表，但工作于多圖像拍攝模式中。圖10是對于工作于多圖像拍攝模式中的同一攝像機的ISO和像素模糊之間的關(guān)系的圖表。在圖10中，ISO線1010和信號比線1040與圖6和8中的對應(yīng)線處在相同相對位置。在常數(shù)感知圖像質(zhì)量1020的線下降到大約ISO 100中可以看到針對這種工作模式的較低基礎(chǔ)ISO的影響。通常，與圖6和8中分別示出的感知質(zhì)量線620和820相比，圖10中的感知質(zhì)量線1020向右偏移。結(jié)果，該曲線表明，相對于圖6和8中分別示出的對應(yīng)曲線630和830，對于給定信號比1030，ISO和像素模糊的優(yōu)選組合進一步向下偏移。圖11是針對圖10中所示的多圖像拍攝模式用于改善感知圖像質(zhì)量的信號比和ISO之間的關(guān)系圖示。常數(shù)ISO線1110被示為處于和圖7和9中那些相同的相對位置。在這種模式中，傳感器的基礎(chǔ)ISO為119. 8。由下面的方程3給出描述斜線1130的方程，這是為實現(xiàn)改進的感知圖像質(zhì)量的ISO。Log2(ISO) =-0. 000612 (S/λ )3+0· 00616 (S/λ ) 2-0· 7224 (S/λ )+15. 336 方程 3返回到圖3，本發(fā)明提供了一種方法，利用所確定的像素信號S、確定的像素速度λ和像素信號/像素速度的信號比(S/λ )以選擇拍攝模式和拍攝條件，利用圖4-11所示的數(shù)據(jù)提供改善的感知圖像質(zhì)量。在步驟350中，將確定的信號比的值(S/λ )與圖5中給出的數(shù)據(jù)一起用于選擇拍攝模式。其中可以以查找表格的形式給出圖5的數(shù)據(jù)，其定義轉(zhuǎn)換點510，確定由信號比(S/λ )定義的照相空間的面積，其中不同的拍攝模式提供更高的感知圖像質(zhì)量。在步驟360中，在方程I中使用信號比(S/λ )的確定值或圖7中的數(shù)據(jù)用于完整分辨率拍攝，以選擇用于拍攝圖像的iso。如果在步驟350中選擇了 2X合并拍攝模式或多圖像拍攝模式，那么在步驟360中，用于選擇ISO的數(shù)據(jù)將分別是在方程2或圖9，或方程3或圖11中得到的數(shù)據(jù)。然后，在步驟370中，在方程4中使用選擇的ISO和景物亮度L，以選擇用于運動調(diào)節(jié)的曝光時間tem的值。tem=K/ (ISOXL)，方程 4其中L以Iux為單位表示，K是與透鏡和圖像拍攝裝置其他方面相關(guān)的恒定值。再次，如果在步驟350中選擇了 2X合并拍攝模式或多圖像拍攝模式，那么在步驟370中，用于選擇運動調(diào)節(jié)的曝光時間的ISO數(shù)據(jù)將分別是從方程2或圖9，或方程3或圖11中得到的數(shù)據(jù)。 最后在步驟380中，使用選定的拍攝條件，包括拍攝I旲式、ISO和曝光時間,拍攝歸檔圖像，然后在適當?shù)拇鎯ζ?，例如系統(tǒng)存儲器72b或存儲卡72c中存儲，或發(fā)送到遠方位置的另一存儲器。于是，本發(fā)明的方法使用亮度和運動的測量結(jié)果來選擇反映亮度和運動以及對感知圖像質(zhì)量影響之間的相對平衡的拍攝模式、ISO和曝光時間。將方程I與方程2和方程3比較表明，數(shù)字攝像機的工作模式不會劇烈影響用于改善感知圖像質(zhì)量的信號比和ISO之間的關(guān)系。方程1、2和3表示的關(guān)系在本質(zhì)上相當類似于系數(shù)僅有小變化。在研究過的所有三個工作模式中，使用信號比選擇IS0，然后選擇曝光時間，與典型的現(xiàn)有技術(shù)自動曝光系統(tǒng)相比，提供了改善的感知圖像質(zhì)量，現(xiàn)有技術(shù)的自動曝光系統(tǒng)僅僅基于標準模式和景物亮度選擇曝光時間。本領(lǐng)域的技術(shù)人員將認識到，圖4-11中給出且特征是由方程1-3和圖5表示的多維模型的具體數(shù)據(jù)集給出了工作在幾種不同拍攝模式中的數(shù)字攝像機模型。預(yù)計數(shù)字攝像機的其他模型或其他類型的圖像拍攝裝置將具有稍微不同的數(shù)據(jù)集，連同稍微不同的多維模型，其類似于先前所述的關(guān)系。具體而言，圖像傳感器18和透鏡16 (和光學(xué)圖像穩(wěn)定)或電子圖像拍攝單元14和相關(guān)聯(lián)圖像處理技術(shù)的變化將導(dǎo)致ISO和感知圖像質(zhì)量之間關(guān)系的偏移。不過，像素模糊和感知圖像質(zhì)量之間的關(guān)系適用范圍很寬。在任何情況下，本發(fā)明的方法都寬泛地適用于數(shù)字圖像拍攝裝置，在該方法中基于像素速度和信號速率(或信號t匕)選擇拍攝模式、曝光時間和ISO。范例在典型的現(xiàn)有技術(shù)數(shù)字攝像機中，在準備拍攝單幅靜止圖像時，由自動曝光控制基于平均亮度和拍攝模式選擇曝光時間和IS0，其中基于預(yù)覽圖像中亮度分布的分析或拍攝模式的操作員選擇來選擇拍攝模式。結(jié)合ISO選擇合并率。在選擇曝光時間、ISO或拍攝模式時不測量或考慮運動。不計算信號比(s/λ)。圖13示出了利用本發(fā)明的方法針對不同水平的景物亮度以及不同水平的圖像拍攝裝置運動選擇ISO。所用的三個水平的運動和它們對應(yīng)的像素速度是低速運動(4像素/秒的速度)、中速運動(40像素/秒的速度)和高速運動(160像素/秒的速度)。如圖13中針對不同水平運動的不同ISO曲線所示，如針對低速運動、中速運動和高速運動的相應(yīng)條件的ISO曲線1310、1320和1330所示，在選擇ISO時可以清楚地看出亮度和運動兩者的影響。在高水平的景物亮度下，對所有運動條件都將ISO保持非常低。ISO曲線1310所示的低速運動的條件導(dǎo)致選擇比ISO曲線1330所示的高速運動條件顯著更低的ISO。應(yīng)當指出，傳感器的ISO僅能夠減小到傳感器基礎(chǔ)IS0，結(jié)果，對于圖13范例中的所有三條ISO曲線(1310，1320，1330)IS0曲線都在大約64處形成平坦區(qū)，如果傳感器可以運行于更低的IS0，本發(fā)明的控制系統(tǒng)將利用更低的ISO設(shè)置。隨著景物變暗，穩(wěn)定地增大選定的IS0，最終達到高水平。如果有低速運動，如ISO曲線1310所示，在增大ISO之前，將ISO保持在低至501ux的基礎(chǔ)ISO。相反，如果有高速運動，在ISO曲線1330所示的整個測試范圍內(nèi)連續(xù)增大ISO。在圖14中，針對不同水平的景物亮度以及不同水平的運動，示出了利用本發(fā)明方法為圖像拍攝裝置選擇曝光時間。在圖14中針對圖13中針對ISO曲線所示的低速運動、中速運動和高速運動的相同相應(yīng)水平示出了曝光曲線1440、1450和1460。在高水平的景物亮度下，針對圖示的所有水平的運動選擇短曝光時間。隨著景物亮度減小，增加曝光時間。如本發(fā)明的方法中所給出的，曝光曲線1 460所示的高水平運動與曝光曲線1450和1440相比導(dǎo)致更低的曝光時間?！⒖紤]圖13和14表明，ISO和曝光時間的選擇是集成的且響應(yīng)于本發(fā)明方法中存在的運動。低速運動的情況表明如何隨著景物亮度增大，一開始ISO和曝光時間都以本發(fā)明的方式減小，不過，在ISO到達傳感器的基礎(chǔ)ISO時，不再可能減小ISO。結(jié)果，對于低速運動和高于50勒克斯的景物亮度，ISO曲線1310和曝光曲線1440的斜率改變。與中速運動的情況類似，ISO曲線1320和曝光曲線1450的斜率在大約500勒克斯處改變。本發(fā)明的方法測量存在的運動并隨后以集成方式選擇ISO和曝光時間，從而在拍攝的圖像中產(chǎn)生更高感知圖像質(zhì)量。圖13和14表明，針對不同水平的景物亮度選擇的ISO和曝光時間值對于不同水平運動而言差異很大。因為典型的現(xiàn)有技術(shù)攝像機控制在選擇拍攝模式、ISO或曝光時間時不測量運動或考慮運動，所以現(xiàn)有技術(shù)攝像機與本發(fā)明方法拍攝的圖像相比往往拍攝到感知圖像質(zhì)量更低的圖像。在運動模糊不成問題的低水平運動下，本發(fā)明選擇比典型現(xiàn)有技術(shù)攝像機控制更長的曝光時間和更低的IS0，以拍攝噪聲更低的圖像。相反，在運動模糊是個大問題的高水平運動下，本發(fā)明選擇比典型現(xiàn)有技術(shù)攝像機控制更短的曝光時間和更高的IS0，以拍攝運動模糊更小的圖像。本發(fā)明能夠針對包括運動和景物亮度的景物特性調(diào)整拍攝條件，這是本發(fā)明的重要特征，使得要拍攝的圖像能夠具有改善的感知圖像質(zhì)量。部件列表10數(shù)字攝像機14電子圖像拍攝單元16 透鏡18圖像傳感器20 光路22 快門24定時發(fā)生器26濾光器組件28 孔徑44光學(xué)系統(tǒng)48圖像顯示器
50縮放控制52宏控制54焦點控制56測距儀58亮度傳感器60閃光燈系統(tǒng)61閃光燈62閃光傳感器63閃光燈控制64顯示控制器65控制單元66系統(tǒng)控制器68模擬信號處理器70數(shù)字信號處理器72a數(shù)字信號處理器存儲器72b系統(tǒng)存儲器72c存儲卡72d程序存儲器74狀態(tài)顯示器
76取景器顯示器78取向傳感器80摸擬到數(shù)字轉(zhuǎn)換器(A/D)81數(shù)據(jù)總線82 插座83存儲卡接口84主機接口86視頻編碼器93用戶輸入控制器200典型攝像機控制流程圖210評估景物亮度步驟220確定拍攝模式步驟230確定ISO步驟240確定曝光時間步驟250拍攝歸檔圖像步驟270拍攝圖像步驟275分析圖像步驟272拍攝額外圖像步驟280圖像質(zhì)量檢查步驟282設(shè)置曝光參數(shù)步驟
285構(gòu)造最終圖像步驟290多圖像拍攝的現(xiàn)有技術(shù)流程圖300流程圖310收集預(yù)拍攝數(shù)據(jù)步驟
320確定亮度和運動步驟330確定像素速度步驟340確定像素信號速率步驟345計算信號比步驟
350選擇ISO步驟360選擇曝光時間步驟370選擇拍攝模式步驟380拍攝歸檔圖像步驟510拍攝模式之間的轉(zhuǎn)換點610 常數(shù) ISO 線620常數(shù)感知圖像質(zhì)量等值線630改進的感知圖像質(zhì)量的關(guān)系640常數(shù)信號比線710 常數(shù) ISO 線730 斜線810 常數(shù) ISO 線820常數(shù)感知圖像質(zhì)量等值線830改進的感知圖像質(zhì)量的關(guān)系840常數(shù)信號比線910 常數(shù) ISO 線930 斜線1010 常數(shù) ISO 線1020常數(shù)感知圖像質(zhì)量等值線1030改進的感知圖像質(zhì)量的關(guān)系1040常數(shù)信號比線1110 常數(shù) ISO 線1130 斜線1310低速運動的ISO曲線1320中速運動的ISO曲線1330高速運動的ISO曲線1440低速運動的曝光曲線1450中速運動的曝光曲線1460高速運動的曝光曲線
權(quán)利要求
1.一種用于拍攝改善的歸檔圖像的方法，包括利用圖像拍攝裝置拍攝景物的至少兩幅預(yù)覽圖像，并利用信號處理器分析所述預(yù)覽圖像以確定所述景物中的景物亮度和運動速度，以提供像素信號速率/像素速度之比；以及利用計算的比值來選擇拍攝模式、ISO和曝光時間，以用于拍攝所述歸檔圖像。
2.一種利用具有可選擇的拍攝模式、ISO和曝光時間的圖像拍攝裝置拍攝歸檔圖像的方法，包括如下步驟 使用圖像拍攝裝置拍攝景物的至少兩幅預(yù)覽圖像； 使用信號處理器 分析所述預(yù)覽圖像以確定所述景物中的景物亮度和運動； 基于圖像中的所述景物亮度來確定像素信號速率； 基于所述景物中的所述運動來確定像素速度； 確定信號比，即像素信號速率/像素速度； 根據(jù)所述信號比來選擇所述拍攝模式； 根據(jù)所述拍攝模式和所述信號比來選擇所述ISO ； 根據(jù)所述ISO和景物亮度來選擇所述曝光時間；以及 使用所述圖像拍攝裝置以選定的拍攝模式、ISO和曝光時間來拍攝歸檔圖像，并將所述歸檔圖像存儲到存儲器中。
3.根據(jù)權(quán)利要求2所述的方法，其中所述分析步驟包括在兩幅或更多幅預(yù)覽圖像之間彼此進行比較，以確定全局運動或局部運動。
4.根據(jù)權(quán)利要求3所述的方法，其中通過所述全局運動來確定所述像素速度。
5.根據(jù)權(quán)利要求3所述的方法，其中通過分析所述局部運動來確定所述像素速度。
6.根據(jù)權(quán)利要求5所述的方法，其中通過平均局部運動來確定所述像素速度。
7.根據(jù)權(quán)利要求5所述的方法，其中通過峰值局部運動來確定所述像素速度。
8.根據(jù)權(quán)利要求2所述的方法，其中所述圖像拍攝裝置包括亮度傳感器，并且利用所述亮度傳感器來確定景物亮度。
9.根據(jù)權(quán)利要求2所述的方法，其中所述確定步驟包括使用通過兩幅或更多幅預(yù)覽圖像確定的全局運動或局部運動以及確定的景物亮度來選擇拍攝模式、ISO和曝光時間。
10.根據(jù)權(quán)利要求3所述的方法，其中所述圖像拍攝裝置包括慣性測量裝置，并且利用所述慣性測量裝置來確定全局運動。
11.根據(jù)權(quán)利要求2所述的方法，其中所述選擇步驟包括使用多維模型以根據(jù)信號比和景物亮度來選擇拍攝模式、ISO和曝光時間。
12.根據(jù)權(quán)利要求2所述的方法，其中選擇所述拍攝模式的步驟包括選擇合并率。
13.根據(jù)權(quán)利要求2所述的方法，其中選擇所述拍攝模式的步驟包括選擇單次拍攝模式或多次拍攝模式。
14.一種使用具有慣性測量裝置、可選擇的拍攝模式、ISO和曝光時間的圖像拍攝裝置拍攝歸檔圖像的方法，包括如下步驟 利用所述慣性測量裝置確定所述圖像拍攝裝置的全局運動； 使用信號處理器 將所述圖像拍攝裝置的所述全局運動轉(zhuǎn)換成圖像中的像素速度；確定景物亮度； 基于景物亮度來確定圖像中的像素信號速率； 確定信號比，即像素信號速率/像素速度； 根據(jù)所述信號比來選擇所述拍攝模式； 根據(jù)所述信號比來選擇ISO ； 根據(jù)所述ISO和景物亮度選擇曝光時間；以及 使用所述圖像拍攝裝置以選定的拍攝模式、ISO和曝光時間拍攝歸檔圖像，并將所述歸檔圖像存儲在存儲器中。
15.根據(jù)權(quán)利要求14所述的方法，其中確定景物亮度的步驟包括拍攝一幅或多幅預(yù)覽圖像并且分析所述一幅或多幅預(yù)覽圖像以確定景物亮度。
16.根據(jù)權(quán)利要求14所述的方法，其中所述圖像拍攝裝置包括亮度傳感器，并且確定景物亮度的步驟包括從亮度傳感器收集數(shù)據(jù)并將所述數(shù)據(jù)轉(zhuǎn)換成景物亮度。
17.根據(jù)權(quán)利要求14所述的方法，其中所述選擇步驟包括使用多維模型以根據(jù)所述信號比和景物亮度來選擇拍攝模式、ISO和曝光時間。
18.根據(jù)權(quán)利要求14所述的方法，其中選擇所述拍攝模式的步驟包括選擇合并率。
19.根據(jù)權(quán)利要求14所述的方法，其中選擇所述拍攝模式的步驟包括選擇單次拍攝模式或多次拍攝模式。
全文摘要
一種基于模型的用于拍攝改善的歸檔圖像的方法，包括拍攝景物的至少兩幅預(yù)覽圖像，分析預(yù)覽圖像以確定景物亮度和景物的運動速度。使用分析的數(shù)據(jù)計算像素信號速率/像素速度之比，將其用于選擇拍攝模式、ISO和曝光時間，用于拍攝歸檔圖像。
文檔編號H04N5/232GK102754426SQ201180008683
公開日2012年10月24日 申請日期2011年2月1日 優(yōu)先權(quán)日2010年2月8日
發(fā)明者A·M·塔卡爾迪, B·H·皮爾曼, J·N·博德 申請人:伊斯曼柯達公司