專利名稱：高動(dòng)態(tài)范圍圖像組合的制作方法
技術(shù)領(lǐng)域：
本發(fā)明大體來(lái)說(shuō)涉及高動(dòng)態(tài)范圍圖像組合。
背景技術(shù)：
技術(shù)的進(jìn)步已產(chǎn)生更小且更強(qiáng)大的計(jì)算裝置。舉例來(lái)說(shuō)，當(dāng)前存在各種便攜式個(gè)人計(jì)算裝置，包括無(wú)線計(jì)算裝置，例如便攜式無(wú)線電話、個(gè)人數(shù)字助理(PDA)和尋呼裝置， 其體積小、重量輕且易于由用戶攜帶。更具體來(lái)說(shuō)，便攜式無(wú)線電話(例如，蜂窩式電話和因特網(wǎng)協(xié)議(IP)電話)可經(jīng)由無(wú)線網(wǎng)絡(luò)傳送語(yǔ)音和數(shù)據(jù)包。此外，許多此類無(wú)線電話包括并入于其中的其它類型的裝置。舉例來(lái)說(shuō)，無(wú)線電話還可包括數(shù)字靜態(tài)相機(jī)、數(shù)字視頻相機(jī)、數(shù)字記錄器和音頻文件播放器。并且，此類無(wú)線電話可處理包括可用于接入因特網(wǎng)的軟件應(yīng)用程序(例如，網(wǎng)絡(luò)瀏覽器應(yīng)用程序)的可執(zhí)行指令。因此，這些無(wú)線電話可包括顯著的計(jì)算能力。數(shù)字信號(hào)處理器(DSP)、圖像處理器和其它處理裝置被頻繁地用于包括數(shù)碼相機(jī)或顯示由數(shù)碼相機(jī)俘獲的圖像或視頻數(shù)據(jù)的便攜式個(gè)人計(jì)算裝置中。此類處理裝置可用以提供視頻和音頻功能、處理所接收的數(shù)據(jù)(例如，所俘獲的圖像數(shù)據(jù))或執(zhí)行其它功能。由數(shù)碼相機(jī)俘獲的圖像數(shù)據(jù)或視頻數(shù)據(jù)的動(dòng)態(tài)范圍指示可被正確解析的最高亮度級(jí)(light level)與最低亮度級(jí)之間的比率。圖像的動(dòng)態(tài)范圍可隨圖像的曝光時(shí)間而變化。可使用兩個(gè)不同曝光時(shí)間俘獲圖像且可組合所得若干組圖像數(shù)據(jù)以產(chǎn)生高動(dòng)態(tài)范圍 (HDR)圖像。雖然所得HDR圖像可歸因于具有不同曝光時(shí)間的不同圖像的組合而提供增強(qiáng)的對(duì)比度，但許多顯示器或數(shù)據(jù)傳送標(biāo)準(zhǔn)不支持所得HDR圖像的增加的數(shù)據(jù)要求。

發(fā)明內(nèi)容
在特定實(shí)施例中，揭示一種方法，所述方法包括從圖像傳感器接收第一圖像數(shù)據(jù)。 所述第一圖像數(shù)據(jù)是使用第一曝光時(shí)間而產(chǎn)生。所述方法包括從所述圖像傳感器接收第二圖像數(shù)據(jù)，所述第二圖像數(shù)據(jù)使用大于所述第一曝光時(shí)間的第二曝光時(shí)間而產(chǎn)生。所述方法包括基于所述第二曝光時(shí)間與所述第一曝光時(shí)間的比率按比例調(diào)整所述第一圖像數(shù)據(jù)的亮度值以產(chǎn)生經(jīng)按比例調(diào)整的第一圖像數(shù)據(jù)。所述方法還包括基于所述經(jīng)按比例調(diào)整的第一圖像數(shù)據(jù)的第一有效動(dòng)態(tài)范圍與所述第二圖像數(shù)據(jù)的第二有效動(dòng)態(tài)范圍之間的重疊來(lái)選擇性組合所述經(jīng)按比例調(diào)整的第一圖像數(shù)據(jù)與所述第二圖像數(shù)據(jù)以產(chǎn)生高動(dòng)態(tài)范圍 (HDR)圖像。所述方法還包括產(chǎn)生色調(diào)映射以壓縮所述HDR圖像的動(dòng)態(tài)范圍。產(chǎn)生所述色調(diào)映射包括基于所述HDR圖像的每一像素的鄰域內(nèi)的亮度變化而確定全域色調(diào)映射值與局域色調(diào)映射值的逐像素加權(quán)。所述方法進(jìn)一步包括提供具有所述HDR圖像的經(jīng)壓縮的動(dòng)態(tài)范圍的色調(diào)映射的圖像以顯示于顯示裝置處。在另一實(shí)施例中，揭示一種方法，所述方法包括基于第一圖像數(shù)據(jù)的亮度分布而調(diào)整第一圖像數(shù)據(jù)的第一亮度值以產(chǎn)生第二圖像數(shù)據(jù)。所述方法還包括基于所述第二圖像數(shù)據(jù)的區(qū)域的局域亮度分布而調(diào)整所述第二圖像數(shù)據(jù)的所述區(qū)域的第二亮度值以產(chǎn)生經(jīng)局域調(diào)整的圖像數(shù)據(jù)。所述方法進(jìn)一步包括產(chǎn)生具有比所述第一圖像數(shù)據(jù)小的動(dòng)態(tài)范圍的第三圖像數(shù)據(jù)。對(duì)應(yīng)于所述第二圖像數(shù)據(jù)的所述區(qū)域的所述第三圖像數(shù)據(jù)的亮度值通過(guò)基于所述第二圖像數(shù)據(jù)的所述區(qū)域內(nèi)的所述第二圖像數(shù)據(jù)的亮度變化而組合所述經(jīng)局域調(diào)整的圖像數(shù)據(jù)與所述區(qū)域內(nèi)的所述第二圖像數(shù)據(jù)來(lái)確定。在另一實(shí)施例中，揭示一種無(wú)線裝置，所述無(wú)線裝置包括處理器和可由所述處理器存取的存儲(chǔ)器。所述無(wú)線裝置還包括相機(jī)和顯示裝置。所述處理器經(jīng)配置以基于圖像數(shù)據(jù)的多個(gè)像素中的每一特定像素的鄰域內(nèi)的亮度變化而產(chǎn)生包括所述特定像素的經(jīng)色調(diào)映射的像素值的經(jīng)色調(diào)映射的圖像數(shù)據(jù)。所述圖像數(shù)據(jù)對(duì)應(yīng)于所述相機(jī)處所俘獲的圖像。 所述處理器還經(jīng)配置以提供所述經(jīng)色調(diào)映射的圖像數(shù)據(jù)以顯示于所述顯示裝置處。在另一實(shí)施例中，揭示一種設(shè)備，所述設(shè)備包括用于基于圖像數(shù)據(jù)的多個(gè)像素中的每一特定像素的鄰域內(nèi)的亮度變化而產(chǎn)生包括所述特定像素的經(jīng)色調(diào)映射的像素值的經(jīng)色調(diào)映射的圖像數(shù)據(jù)的裝置。所述圖像數(shù)據(jù)對(duì)應(yīng)于相機(jī)處所俘獲的圖像。所述設(shè)備還包括用于提供所述經(jīng)色調(diào)映射的圖像數(shù)據(jù)以用于顯示的裝置。在另一實(shí)施例中，揭示一種裝置，所述裝置包括全域映射模塊，其經(jīng)配置以在圖像的區(qū)域內(nèi)產(chǎn)生第一經(jīng)全域映射的亮度值。所述裝置還包括局域映射模塊，其經(jīng)配置以在所述圖像的所述區(qū)域內(nèi)產(chǎn)生第二經(jīng)局域映射的亮度值。所述裝置進(jìn)一步包括組合模塊，其經(jīng)配置以使用所述第一經(jīng)全域映射的亮度值和所述第二經(jīng)局域映射的亮度值的加權(quán)總和而確定在輸出圖像的對(duì)應(yīng)區(qū)域內(nèi)的亮度值。所述加權(quán)總和的權(quán)重至少部分地基于所述圖像的所述區(qū)域內(nèi)的亮度變化。在另一實(shí)施例中，揭示一種計(jì)算機(jī)可讀媒體，其包括在執(zhí)行時(shí)致使處理器接收第一圖像數(shù)據(jù)并基于所述第一圖像數(shù)據(jù)的亮度分布而產(chǎn)生第二圖像數(shù)據(jù)的可執(zhí)行指令。所述可執(zhí)行指令在執(zhí)行時(shí)致使所述處理器基于所述第二圖像數(shù)據(jù)的區(qū)域內(nèi)的局域亮度分布而產(chǎn)生經(jīng)局域調(diào)整的圖像數(shù)據(jù)并產(chǎn)生具有比所述第一圖像數(shù)據(jù)小的動(dòng)態(tài)范圍的第三圖像數(shù)據(jù)。對(duì)應(yīng)于所述第二圖像數(shù)據(jù)的所述區(qū)域的所述第三圖像數(shù)據(jù)的區(qū)域的亮度值通過(guò)基于所述第二圖像數(shù)據(jù)的所述區(qū)域內(nèi)的所述第二圖像數(shù)據(jù)的亮度變化而組合所述經(jīng)局域調(diào)整的圖像數(shù)據(jù)與所述第二圖像數(shù)據(jù)來(lái)確定。由高動(dòng)態(tài)范圍圖像組合的實(shí)施例提供的一個(gè)特定優(yōu)點(diǎn)為與較低動(dòng)態(tài)范圍圖像傳送和顯示機(jī)制兼容的增強(qiáng)的對(duì)比度的圖像。在審閱包括以下部分的整個(gè)申請(qǐng)案之后，本發(fā)明的其它方面、優(yōu)點(diǎn)和特征將變得顯而易見(jiàn)


具體實(shí)施方式
和權(quán)利要求書。

圖1為包括圖像處理系統(tǒng)的系統(tǒng)的特定說(shuō)明性實(shí)施例的框圖，所述圖像處理系統(tǒng)具有高動(dòng)態(tài)范圍(HDR)組合模塊和HDR壓縮模塊；圖2為高動(dòng)態(tài)范圍圖像組合系統(tǒng)的第一說(shuō)明性實(shí)施例的框圖；圖3為高動(dòng)態(tài)范圍圖像組合系統(tǒng)的第二說(shuō)明性實(shí)施例的框圖；圖4為高動(dòng)態(tài)范圍圖像組合系統(tǒng)的第三說(shuō)明性實(shí)施例的框圖；圖5為圖像配準(zhǔn)和組合系統(tǒng)的框圖；圖6為組合圖像以產(chǎn)生高動(dòng)態(tài)范圍圖像的說(shuō)明性實(shí)施例的總圖7為壓縮高動(dòng)態(tài)范圍圖像數(shù)據(jù)的方法的說(shuō)明性實(shí)施例的流程圖；圖8為高動(dòng)態(tài)范圍圖像組合的方法的第一說(shuō)明性實(shí)施例的流程圖；圖9為高動(dòng)態(tài)范圍圖像組合的方法的第二說(shuō)明性實(shí)施例的流程圖；圖10為高動(dòng)態(tài)范圍圖像組合的方法的第三說(shuō)明性實(shí)施例的流程圖；圖11為包括高動(dòng)態(tài)范圍組合模塊的裝置的特定實(shí)施例的框圖；以及圖12為包括高動(dòng)態(tài)范圍組合模塊的無(wú)線通信裝置的框圖。
具體實(shí)施例方式圖1為包括圖像處理系統(tǒng)的系統(tǒng)的特定說(shuō)明性實(shí)施例的框圖，所述圖像處理系統(tǒng)具有高動(dòng)態(tài)范圍(HDR)組合模塊和使用局域和全域映射的HDR壓縮模塊。所述系統(tǒng)100包括圖像俘獲裝置101，其耦合到圖像處理系統(tǒng)130。所述圖像處理系統(tǒng)130耦合到圖像存儲(chǔ)裝置140和顯示裝置170。所述圖像處理系統(tǒng)130經(jīng)配置以從所述圖像俘獲裝置101接收使用不同曝光時(shí)間的多組圖像數(shù)據(jù)109并產(chǎn)生與低動(dòng)態(tài)范圍(LDR)傳送、存儲(chǔ)和顯示機(jī)制兼容的HDR圖像。大體來(lái)說(shuō)，所述系統(tǒng)100可實(shí)施于經(jīng)配置以使用相對(duì)有限的處理資源執(zhí)行實(shí)時(shí)圖像處理的電子裝置中。在特定實(shí)施例中，所述圖像俘獲裝置101為相機(jī)，例如，視頻相機(jī)或靜態(tài)相機(jī)。所述圖像俘獲裝置101包括透鏡102，其對(duì)聚焦模塊104和曝光模塊106作出響應(yīng)。傳感器 108經(jīng)耦合以經(jīng)由所述透鏡102接收光并響應(yīng)于經(jīng)由所述透鏡102接收的圖像而產(chǎn)生所述圖像數(shù)據(jù)109。所述聚焦模塊104可對(duì)所述傳感器108作出響應(yīng)且可適于自動(dòng)地控制所述透鏡102的聚焦。所述曝光模塊106也可對(duì)傳感器108作出響應(yīng)且可適于控制圖像的曝光并變化待組合成HDR圖像的多個(gè)圖像的曝光。在特定實(shí)施例中，所述傳感器108包括經(jīng)布置以使得相鄰檢測(cè)器檢測(cè)光的不同顏色的多個(gè)檢測(cè)器或像素井(Pixel well)。舉例來(lái)說(shuō)， 所接收的光可經(jīng)濾光以使得每一檢測(cè)器接收紅色、綠色或藍(lán)色入射光。所述圖像俘獲裝置101經(jīng)耦合以將所述圖像數(shù)據(jù)109提供到所述圖像處理系統(tǒng) 130。所述圖像處理系統(tǒng)130包括解馬賽克模塊110，其用以對(duì)從所述傳感器108接收的圖像數(shù)據(jù)109執(zhí)行解馬賽克操作。顏色和伽瑪校正模塊112經(jīng)配置以對(duì)經(jīng)解馬賽克的圖像數(shù)據(jù)執(zhí)行顏色校正并產(chǎn)生經(jīng)伽瑪校正的圖像數(shù)據(jù)。顏色轉(zhuǎn)換模塊114經(jīng)耦合以對(duì)經(jīng)伽瑪校正的圖像數(shù)據(jù)執(zhí)行顏色空間轉(zhuǎn)換。所述圖像處理系統(tǒng)130還包括高動(dòng)態(tài)范圍(HDR)組合模塊116以及使用局域和全域映射的HDR壓縮模塊118。所述HDR組合模塊116經(jīng)配置以組合使用縮短的曝光時(shí)間俘獲的第一低動(dòng)態(tài)范圍圖像160與使用較長(zhǎng)曝光時(shí)間俘獲的第二低動(dòng)態(tài)范圍圖像162。所述低動(dòng)態(tài)范圍(LDR)圖像160和162經(jīng)組合以形成高動(dòng)態(tài)范圍圖像164。所述使用局域和全域映射的HDR壓縮模塊118經(jīng)配置以將所述高動(dòng)態(tài)范圍圖像164壓縮到與傳送層(例如， 聯(lián)合照相專家組(JPEG)編碼)或顯示裝置(例如，顯示裝置170)兼容的位范圍。關(guān)于圖 2到圖10來(lái)描述HDR組合以及使用局域和全域映射的HDR壓縮的說(shuō)明性實(shí)施例。壓縮和存儲(chǔ)模塊120經(jīng)耦合以接收所述HDR壓縮模塊118的輸出并將輸出數(shù)據(jù)作為經(jīng)壓縮的HDR文件166存儲(chǔ)于所述圖像存儲(chǔ)裝置140處。舉例來(lái)說(shuō)，所述壓縮和存儲(chǔ)模塊120可經(jīng)配置以使用JPEG編碼來(lái)編碼所述HDR壓縮模塊118的待存儲(chǔ)的輸出。所述圖像存儲(chǔ)裝置140可包括任何類型的存儲(chǔ)媒體，例如，一個(gè)或一個(gè)以上顯示緩沖器、寄存器、高速緩沖存儲(chǔ)器、快閃存儲(chǔ)器元件、硬盤、任何其它存儲(chǔ)裝置，或其任何組合。所述圖像存儲(chǔ)裝置140可由所述顯示裝置170存取以使得所述經(jīng)壓縮的HDR文件166可被檢索到以作為 HDR圖像168顯示于所述顯示裝置170處。在操作期間，所述系統(tǒng)100可執(zhí)行代表性圖像150的至少兩個(gè)圖像俘獲操作。所述圖像150包括亮區(qū)域(被說(shuō)明為太陽(yáng))以及暗區(qū)域(被說(shuō)明為樹(shù)蔭)。所述低動(dòng)態(tài)范圍圖像160可包括響應(yīng)于縮短的曝光時(shí)間而在所述傳感器108處俘獲的圖像數(shù)據(jù)。所述縮短的曝光時(shí)間可使傳感器108能夠俘獲圖像150的較亮區(qū)域內(nèi)的細(xì)節(jié)。舉例來(lái)說(shuō)，所述縮短的曝光時(shí)間可防止太陽(yáng)的區(qū)域中的傳感器像素的飽和，結(jié)果可能未俘獲到較暗區(qū)域(例如，樹(shù)蔭)的細(xì)節(jié)。另一方面，第二低動(dòng)態(tài)范圍圖像162可包括由傳感器108以較長(zhǎng)曝光時(shí)間(例如，圖像160的曝光時(shí)間的兩倍)俘獲的圖像數(shù)據(jù)。所述較長(zhǎng)曝光時(shí)間使傳感器108 能夠俘獲圖像150的較暗部分的細(xì)節(jié)但致使在亮區(qū)域附近的傳感器108的像素飽和。因此，第一 LDR圖像160可提供亮區(qū)域而非較暗區(qū)域間的對(duì)比度，而第二 LDR圖像 162可提供較暗區(qū)域中的對(duì)比度，但亮區(qū)域可顯得模糊或不清楚。通過(guò)組合低動(dòng)態(tài)范圍圖像160與162以產(chǎn)生高動(dòng)態(tài)范圍圖像164，圖像處理系統(tǒng)130使圖像數(shù)據(jù)能夠包括在太陽(yáng)周圍的亮區(qū)域中以及在樹(shù)蔭周圍的較暗區(qū)域中的細(xì)節(jié)。然而，所得HDR圖像164可實(shí)質(zhì)上需要比可由傳送層(例如，JPEG層)或由顯示裝置(例如，顯示裝置170)支持的信息多的信息。舉例來(lái)說(shuō)，在低動(dòng)態(tài)范圍圖像160和162兩者可將像素亮度值表示為8位值(例如， 具有0到255的范圍)的情形下，HDR圖像164可使用(例如)16位值表示像素亮度值以提供0到65，535的范圍。然而，顯示裝置170可能僅支持每一像素8位亮度值。因此，HDR 圖像164的16位亮度值壓縮到8位值以便可在顯示裝置170處顯示。HDR壓縮模塊118使用局域色調(diào)映射和全域色調(diào)映射兩者來(lái)壓縮HDR圖像164。舉例來(lái)說(shuō)，全域色調(diào)映射可用于基于整個(gè)HDR圖像164上的亮度值的分布而將高動(dòng)態(tài)范圍圖像的大數(shù)目的亮度值減小到較小數(shù)目的亮度值。然而，全域色調(diào)映射在HDR圖像164的任何特定區(qū)域中可能為次佳的。舉例來(lái)說(shuō)，全域色調(diào)映射可能不向在太陽(yáng)周圍的亮區(qū)域和在樹(shù)的底部處的樹(shù)蔭區(qū)域兩者提供足夠大的動(dòng)態(tài)范圍。另一方面，局域色調(diào)映射可邏輯上將高動(dòng)態(tài)范圍圖像劃分成多個(gè)區(qū)域并逐區(qū)域地將像素亮度值選擇性地映射到減小的范圍的亮度值。因此，局域色調(diào)映射可實(shí)現(xiàn)動(dòng)態(tài)范圍較局域有效地映射到減小的范圍的亮度值但可導(dǎo)致跨越圖像的多個(gè)區(qū)域的均一性的損失。HDR壓縮模塊118可基于所接收的HDR圖像數(shù)據(jù)執(zhí)行全域色調(diào)映射以及局域色調(diào)映射并逐像素地選擇局域色調(diào)映射、全域色調(diào)映射或局域色調(diào)映射與全域色調(diào)映射的經(jīng)加權(quán)的組合。舉例來(lái)說(shuō)，當(dāng)考慮中的像素在高亮度值變化的區(qū)域中時(shí)，HDR壓縮模塊118可選擇較大加權(quán)的局域映射以在所述像素的區(qū)域中提供較大動(dòng)態(tài)范圍的亮度值。相比來(lái)說(shuō)，在特定像素的鄰域中不存在大量亮度變化的情形下，HDR壓縮模塊118可選擇較大加權(quán)的全域色調(diào)映射以實(shí)現(xiàn)整個(gè)圖像中的較大均一性。通過(guò)組合使用不同曝光值的所述一個(gè)或一個(gè)以上低動(dòng)態(tài)范圍圖像160、162且接著使用局域和全域色調(diào)映射兩者壓縮所得HDR圖像164，系統(tǒng)100實(shí)現(xiàn)圖像產(chǎn)生，此在所關(guān)注的區(qū)域中提供實(shí)際上較大的動(dòng)態(tài)范圍，同時(shí)保持與較低動(dòng)態(tài)范圍技術(shù)的兼容性。此外，通過(guò)選擇性地組合經(jīng)局域色調(diào)映射的像素值與經(jīng)全域色調(diào)映射的像素值以將HDR圖像164壓縮到較小范圍的亮度值，可基于特定圖像特性選擇適當(dāng)映射技術(shù)或若干映射技術(shù)的混合形式，且映射技術(shù)的選擇可隨圖像特性變化而在整個(gè)圖像中變化。雖然在圖1中所說(shuō)明的特定實(shí)施例中，圖像俘獲裝置102被說(shuō)明為具有單一傳感器108，但在其它實(shí)施例中，圖像俘獲裝置102可具有多個(gè)傳感器。舉例來(lái)說(shuō)，圖像俘獲裝置102可具有兩個(gè)或兩個(gè)以上傳感器，所述兩個(gè)或兩個(gè)以上傳感器經(jīng)配置以使用不同曝光設(shè)定來(lái)執(zhí)行特定場(chǎng)景的多個(gè)同時(shí)圖像俘獲，以提供LDR圖像160和162。在具有多個(gè)傳感器的實(shí)施例中，所述傳感器不需要為相同的且替代地可具有不同性質(zhì)。參看圖2，描繪高動(dòng)態(tài)范圍(HDR)圖像組合系統(tǒng)的第一說(shuō)明性實(shí)施例且大體以200 表示所述系統(tǒng)。系統(tǒng)200包括圖像配準(zhǔn)(registration)模塊202、圖像按比例調(diào)整模塊 204、圖像組合模塊206和加權(quán)函數(shù)208。系統(tǒng)200組合第一圖像數(shù)據(jù)212與第二圖像數(shù)據(jù) 214以產(chǎn)生HDR圖像數(shù)據(jù)216。在說(shuō)明性實(shí)施例中，系統(tǒng)200可包括于圖1的HDR組合模塊 116 中。第一圖像數(shù)據(jù)212可包括圖像傳感器的對(duì)應(yīng)于使用第一曝光時(shí)間的圖像的輸出， 而第二圖像數(shù)據(jù)214可包括同一圖像傳感器(或另一圖像傳感器)的對(duì)應(yīng)于使用第二曝光時(shí)間的所述圖像的輸出。舉例來(lái)說(shuō)，可使用曝光時(shí)間N曝光第一圖像數(shù)據(jù)212，而可使用曝光時(shí)間1. 5N、2N、4N或N的任何其它整數(shù)或非整數(shù)倍來(lái)曝光第二圖像數(shù)據(jù)214。在特定實(shí)施例中，圖像配準(zhǔn)模塊202經(jīng)配置以接收第一圖像數(shù)據(jù)212和第二圖像數(shù)據(jù)214。圖像配準(zhǔn)模塊202可經(jīng)配置以確定第一圖像數(shù)據(jù)212與第二圖像數(shù)據(jù)214的一個(gè)或一個(gè)以上偏移以實(shí)現(xiàn)圖像的正確配準(zhǔn)，以產(chǎn)生第一經(jīng)對(duì)準(zhǔn)的圖像數(shù)據(jù)218和第二經(jīng)對(duì)準(zhǔn)的圖像數(shù)據(jù)220。舉例來(lái)說(shuō)，第一圖像數(shù)據(jù)212可歸因于相機(jī)的移動(dòng)(例如，由于手抖動(dòng)或另一相機(jī)運(yùn)動(dòng)或物件在圖像內(nèi)的移動(dòng))而相對(duì)于第二圖像數(shù)據(jù)214偏移。圖像配準(zhǔn)模塊 202可適于確定對(duì)應(yīng)于圖像數(shù)據(jù)212和214的區(qū)域或像素的一個(gè)或一個(gè)以上運(yùn)動(dòng)向量。所述運(yùn)動(dòng)向量使第一圖像數(shù)據(jù)212和第二圖像數(shù)據(jù)214中的至少一者能夠經(jīng)調(diào)整以使得每一圖像的對(duì)應(yīng)部分定位于第一經(jīng)對(duì)準(zhǔn)的圖像數(shù)據(jù)218與第二經(jīng)對(duì)準(zhǔn)的圖像數(shù)據(jù)220中的每一圖像的大體相同的像素位置處。圖像按比例調(diào)整模塊204經(jīng)配置以修改經(jīng)對(duì)準(zhǔn)的圖像數(shù)據(jù)218和220中的一者或一者以上的各個(gè)像素級(jí)的強(qiáng)度以產(chǎn)生第一經(jīng)按比例調(diào)整的圖像數(shù)據(jù)222和第二經(jīng)按比例調(diào)整的圖像數(shù)據(jù)224。舉例來(lái)說(shuō)，如果第二經(jīng)對(duì)準(zhǔn)的圖像數(shù)據(jù)220具有等于第一經(jīng)對(duì)準(zhǔn)的圖像數(shù)據(jù)218的曝光時(shí)間的兩倍的曝光時(shí)間，那么對(duì)應(yīng)于第一經(jīng)對(duì)準(zhǔn)的圖像數(shù)據(jù)218的每一像素的亮度值可經(jīng)調(diào)整以補(bǔ)償所述像素原本在其已曝光歷經(jīng)與第二經(jīng)對(duì)準(zhǔn)的圖像數(shù)據(jù)220 相同的時(shí)間量的情形下將接收的近似量的光。并且，可在運(yùn)作中估計(jì)亮度值的按比例調(diào)整。 在特定實(shí)施例中，按比例調(diào)整第一經(jīng)對(duì)準(zhǔn)的圖像數(shù)據(jù)218的亮度值的一個(gè)結(jié)果為第一經(jīng)對(duì)準(zhǔn)的圖像數(shù)據(jù)218的經(jīng)按比例調(diào)整的亮度值的范圍可超過(guò)在低動(dòng)態(tài)范圍圖像數(shù)據(jù)格式下的亮度值的可用數(shù)目。因此，可針對(duì)每一像素使用比第一圖像數(shù)據(jù)212大的數(shù)目的數(shù)據(jù)位來(lái)表示第一經(jīng)按比例調(diào)整的圖像數(shù)據(jù)222。在特定實(shí)施例中，圖像按比例調(diào)整模塊204經(jīng)配置以基于第一和第二圖像的相對(duì)曝光時(shí)間而僅按比例調(diào)整第一經(jīng)對(duì)準(zhǔn)的圖像數(shù)據(jù)218或第二經(jīng)對(duì)準(zhǔn)的圖像數(shù)據(jù)220中的一者以產(chǎn)生第一經(jīng)按比例調(diào)整的圖像數(shù)據(jù)222和第二經(jīng)按比例調(diào)整的圖像數(shù)據(jù)224。然而，在其它實(shí)施例中，可調(diào)整第一經(jīng)對(duì)準(zhǔn)的圖像數(shù)據(jù)218和第二經(jīng)對(duì)準(zhǔn)的圖像數(shù)據(jù)220中的一者或兩者。
在特定實(shí)施例中，圖像組合模塊206可經(jīng)配置以從圖像按比例調(diào)整模塊204接收經(jīng)按比例調(diào)整的圖像數(shù)據(jù)222和2M并組合所接收的經(jīng)按比例調(diào)整的圖像數(shù)據(jù)以產(chǎn)生高動(dòng)態(tài)范圍圖像數(shù)據(jù)216。在特定實(shí)施例中，圖像組合模塊206可接收對(duì)應(yīng)于較短曝光時(shí)間的第一經(jīng)按比例調(diào)整的圖像數(shù)據(jù)222，例如，由圖像按比例調(diào)整模塊204按比例調(diào)整的圖像數(shù)據(jù) 212。此外，圖像組合模塊206可接收可能已由或可能尚未由圖像按比例調(diào)整模塊204按比例調(diào)整的第二經(jīng)按比例調(diào)整的圖像數(shù)據(jù)224。圖像組合模塊206可包括用以針對(duì)HDR圖像數(shù)據(jù)216的每一特定像素確定是否包括對(duì)應(yīng)于第一經(jīng)按比例調(diào)整的圖像數(shù)據(jù)222、第二經(jīng)按比例調(diào)整的圖像數(shù)據(jù)2M或兩者的組合的值的內(nèi)部邏輯或另一決策電路。在特定實(shí)施例中，圖像組合模塊206經(jīng)配置以從加權(quán)函數(shù)208接收一個(gè)或一個(gè)以上值。加權(quán)函數(shù)208可包括使圖像組合模塊206能夠選擇性地組合第一經(jīng)按比例調(diào)整的圖像數(shù)據(jù)222與第二經(jīng)按比例調(diào)整的圖像數(shù)據(jù)224以產(chǎn)生HDR圖像數(shù)據(jù)216的一個(gè)或一個(gè)以上條件或值。舉例來(lái)說(shuō)，加權(quán)函數(shù)208可包括一個(gè)或一個(gè)以上階梯函數(shù)、一個(gè)或一個(gè)以上S 形函數(shù)(sigmoid function)或者一個(gè)或一個(gè)以上其它函數(shù)的表示，以從第一經(jīng)按比例調(diào)整的圖像數(shù)據(jù)222和第二經(jīng)按比例調(diào)整的圖像數(shù)據(jù)2M混合、區(qū)分或以其它方式確定或選擇 HDR圖像數(shù)據(jù)216的像素值。舉例說(shuō)明，可從經(jīng)按比例調(diào)整的圖像數(shù)據(jù)222和/或2M確定像素的區(qū)域內(nèi)的度量(例如，亮度變化)并將其提供到加權(quán)函數(shù)208。在將第一經(jīng)按比例調(diào)整的圖像數(shù)據(jù)222中的像素的值與第二經(jīng)按比例調(diào)整的圖像數(shù)據(jù)2M中的像素的值相加以產(chǎn)生HDR圖像數(shù)據(jù)216中的像素值之前，加權(quán)函數(shù)208可傳回指示待施加到第一經(jīng)按比例調(diào)整的圖像數(shù)據(jù)222中的像素的值和/或第二經(jīng)按比例調(diào)整的圖像數(shù)據(jù)2M中的像素的值的按比例調(diào)整因數(shù)的值。參看圖3，描繪高動(dòng)態(tài)范圍(HDR)圖像組合系統(tǒng)的第二說(shuō)明性實(shí)施例且大體以300 表示所述系統(tǒng)。系統(tǒng)300包括全域映射模塊302、局域映射模塊304、變化模塊306和組合模塊308。全域映射模塊302、局域映射模塊304和變化模塊306各自對(duì)HDR圖像數(shù)據(jù)作出響應(yīng)，且各自將輸出提供到組合模塊308。在特定實(shí)施例中，組合模塊308產(chǎn)生具有高動(dòng)態(tài)范圍的輸出圖像數(shù)據(jù)328，所述高動(dòng)態(tài)范圍具有使用比輸入圖像數(shù)據(jù)少的位而表示的亮度值。在說(shuō)明性實(shí)施例中，系統(tǒng)300包括于圖1的HDR壓縮模塊118中。在特定實(shí)施例中，高動(dòng)態(tài)范圍圖像數(shù)據(jù)310被提供到全域映射模塊302。高動(dòng)態(tài)范圍圖像數(shù)據(jù)310可包括用于所述圖像的一個(gè)或一個(gè)以上像素的亮度數(shù)據(jù)，其中所述亮度數(shù)據(jù)使用比輸出圖像數(shù)據(jù)3 大的值范圍來(lái)表達(dá)。舉例來(lái)說(shuō)，HDR圖像數(shù)據(jù)310可包括每一像素的亮度值的16位描述，而輸出圖像數(shù)據(jù)3 可包括每一像素的亮度值的8位描述。全域映射模塊302可經(jīng)配置以產(chǎn)生HDR圖像數(shù)據(jù)310的像素的亮度值的一個(gè)或一個(gè)以上直方圖并將所述像素亮度值的像素分布映射到較少數(shù)目的亮度值，以產(chǎn)生經(jīng)全域映射的圖像數(shù)據(jù)314。在特定實(shí)施例中，全域映射模塊302可使用感知上受約束的直方圖且可執(zhí)行直方圖等化。全域映射模塊302可(例如)通過(guò)使用模擬眼睛解析細(xì)節(jié)的削弱的能力的低通濾波器并使用模擬眼睛在顏色中觀看的削弱的能力的顏色飽和度降低而在較暗區(qū)域處執(zhí)行感知處理。在特定實(shí)施例中，局域映射模塊304經(jīng)配置以接收對(duì)應(yīng)于HDR圖像數(shù)據(jù)310的至少一個(gè)區(qū)域312的數(shù)據(jù)并基于區(qū)域312內(nèi)的像素亮度值產(chǎn)生經(jīng)局域映射的圖像318。舉例來(lái)說(shuō)，局域映射模塊304可將與全域映射模塊302類似的映射技術(shù)應(yīng)用于HDR圖像數(shù)據(jù)310
10的對(duì)應(yīng)于區(qū)域312的子集?；蛘撸钟蛴成淠K304可應(yīng)用一個(gè)或一個(gè)以上其它映射技術(shù)以將對(duì)應(yīng)于區(qū)域312的亮度值映射到減小數(shù)目的亮度值。局域映射模塊304可產(chǎn)生經(jīng)局域映射的圖像數(shù)據(jù)318，所述經(jīng)局域映射的圖像數(shù)據(jù)318包括具有對(duì)應(yīng)于HDR圖像數(shù)據(jù)310的區(qū)域312的經(jīng)局域映射的像素亮度值的區(qū)域320。在特定實(shí)施例中，經(jīng)全域映射的圖像數(shù)據(jù)314和經(jīng)局域映射的圖像數(shù)據(jù)318可被提供到組合模塊308。組合模塊308可適于接收經(jīng)全域映射的圖像數(shù)據(jù)314和經(jīng)局域映射的圖像數(shù)據(jù)318并基于變化模塊306的輸出選擇性地組合所接收的圖像數(shù)據(jù)314與318。 舉例來(lái)說(shuō)，在特定實(shí)施例中，組合模塊308可經(jīng)配置以選擇經(jīng)全域映射的圖像數(shù)據(jù)314的亮度值或來(lái)自經(jīng)局域映射的圖像數(shù)據(jù)318的亮度值。在另一實(shí)施例中，組合模塊308可經(jīng)配置以將第一權(quán)重施加到經(jīng)全域映射的圖像數(shù)據(jù)314的像素的亮度值并將第二權(quán)重施加到經(jīng)局域映射的圖像數(shù)據(jù)318的亮度值。在所說(shuō)明實(shí)施例中，組合模塊308經(jīng)配置以確定施加到經(jīng)全域映射的圖像數(shù)據(jù)314的第一權(quán)重。所述第一權(quán)重可為0與1之間的值。組合模塊308進(jìn)一步經(jīng)配置以確定待施加到經(jīng)局域映射的圖像數(shù)據(jù)318的第二權(quán)重。所述第二權(quán)重可大體等于1減所述第一權(quán)重。因此，組合模塊308可經(jīng)配置以將經(jīng)全域映射的圖像數(shù)據(jù)314的亮度值與經(jīng)局域映射的圖像數(shù)據(jù)318的亮度值的加權(quán)總和作為輸出圖像數(shù)據(jù)3 輸出。在特定實(shí)施例中，組合模塊308經(jīng)配置以逐區(qū)域地確定權(quán)重并將其施加到經(jīng)全域映射的圖像數(shù)據(jù)314和經(jīng)局域映射的圖像數(shù)據(jù)318中的每一者。在另一實(shí)施例中，組合模塊308經(jīng)配置以逐像素地施加權(quán)重。舉例來(lái)說(shuō)，組合模塊308處所接收的變化模塊306的輸出可包括實(shí)現(xiàn)施加到經(jīng)全域映射的圖像數(shù)據(jù)314的對(duì)應(yīng)像素的第一加權(quán)和施加到經(jīng)局域映射的圖像數(shù)據(jù)318的第二加權(quán)的逐像素確定的數(shù)據(jù)。在特定實(shí)施例中，變化模塊306經(jīng)配置以針對(duì)每一特定所關(guān)注像素322確定周圍像素的鄰域324中的變化。舉例來(lái)說(shuō)，周圍像素的鄰域3M可包括在特定所關(guān)注像素322 周圍的5乘5像素區(qū)域。在特定實(shí)施例中，變化模塊306經(jīng)配置以基于在像素的鄰域3M 內(nèi)的HDR圖像數(shù)據(jù)310的亮度值的差異而確定所述變化。舉例來(lái)說(shuō)，變化模塊306可針對(duì)每一特定所關(guān)注像素322確定輸出值326，所述輸出值3 與標(biāo)準(zhǔn)偏差或除以像素的5乘5 鄰域324內(nèi)的亮度值的平均數(shù)或平均值的方差成比例?？梢砸槐壤驍?shù)(以α表示)按比例調(diào)整除以平均數(shù)的方差的輸出值。在特定實(shí)施例中，輸出圖像數(shù)據(jù)3 包括對(duì)應(yīng)于HDR圖像數(shù)據(jù)310的區(qū)域312的區(qū)域330。輸出圖像數(shù)據(jù)3 的區(qū)域330包括特定像素的亮度值(指示為L(zhǎng)u)，所述亮度值具有等于第一加權(quán)值W1乘以經(jīng)全域映射的圖像的對(duì)應(yīng)區(qū)域316的對(duì)應(yīng)像素的亮度值(GMIi, P與第二加權(quán)值《2乘以經(jīng)局域映射的圖像的區(qū)域320的對(duì)應(yīng)像素的亮度值(LMIm)相加的值。通過(guò)基于每一特定像素的區(qū)域內(nèi)的亮度變化的量來(lái)選擇性地組合經(jīng)全域映射的圖像數(shù)據(jù)314與經(jīng)局域映射的圖像數(shù)據(jù)318，與通過(guò)僅選擇所述經(jīng)全域映射的圖像或所述經(jīng)局域映射的圖像中的一者相比，輸出圖像數(shù)據(jù)3 可在所關(guān)注區(qū)域中具有改進(jìn)的動(dòng)態(tài)范圍且在較不關(guān)注的區(qū)域中具有改進(jìn)的連續(xù)性。因此，可產(chǎn)生具有至少與高動(dòng)態(tài)范圍圖像數(shù)據(jù)310相同的量的細(xì)節(jié)的輸出圖像數(shù)據(jù)328。此外，與其它技術(shù)相比，可產(chǎn)生例如以下各者等益處受控的復(fù)雜性、圖像分割的減少或消除，以及假影的減少或消除。
參看圖4，描繪高動(dòng)態(tài)范圍圖像組合系統(tǒng)的第三說(shuō)明性實(shí)施例且大體以400表示所述系統(tǒng)。系統(tǒng)400包括全域色調(diào)映射模塊402、局域色調(diào)映射模塊404、變化模塊406和組合模塊408。全域色調(diào)映射模塊402經(jīng)配置以接收高動(dòng)態(tài)范圍(HDR)圖像數(shù)據(jù)420并將經(jīng)全域色調(diào)映射的圖像數(shù)據(jù)421提供到以下各者中的每一者局域色調(diào)映射模塊404、變化模塊406和組合模塊408。組合模塊408經(jīng)配置以接收來(lái)自局域色調(diào)映射模塊404、全域色調(diào)映射模塊402和變化模塊406的輸入并提供輸出圖像數(shù)據(jù)424。在特定實(shí)施例中，系統(tǒng) 400可包括于圖1的HDR壓縮模塊118中。在特定實(shí)施例中，全域色調(diào)映射模塊402經(jīng)配置以接收HDR圖像數(shù)據(jù)420并執(zhí)行將HDR圖像數(shù)據(jù)420的像素亮度值變換成經(jīng)全域色調(diào)映射的圖像數(shù)據(jù)421中的較小亮度值集合的全域色調(diào)映射。經(jīng)全域色調(diào)映射的圖像數(shù)據(jù)421可包括具有由HDR圖像數(shù)據(jù)420內(nèi)的強(qiáng)度值的全域或圖像范圍(image-wide)分布選擇的像素亮度值的動(dòng)態(tài)范圍。在特定實(shí)施例中，局域色調(diào)映射模塊404經(jīng)配置以接收經(jīng)全域色調(diào)映射的圖像數(shù)據(jù)421并對(duì)經(jīng)全域色調(diào)映射的圖像數(shù)據(jù)421內(nèi)的一個(gè)或一個(gè)以上區(qū)域執(zhí)行局域色調(diào)映射。 舉例來(lái)說(shuō)，局域色調(diào)映射模塊404可邏輯上將經(jīng)全域色調(diào)映射的圖像數(shù)據(jù)421劃分成多個(gè)相鄰或重疊的區(qū)域并執(zhí)行色調(diào)映射以確定適于個(gè)別區(qū)域中的一者或一者以上的亮度范圍壓縮。舉例來(lái)說(shuō)，局域色調(diào)映射模塊404可經(jīng)配置以確定最左上端區(qū)域的第一適當(dāng)映射，接著確定下一區(qū)域的第二映射，且可大體上橫越全部經(jīng)全域色調(diào)映射的圖像數(shù)據(jù)421，從而確定每一區(qū)域的適當(dāng)映射。局域色調(diào)映射模塊404可進(jìn)一步經(jīng)配置以使用跨越多個(gè)區(qū)域的像素的一個(gè)或一個(gè)以上鄰近者(例如)經(jīng)由內(nèi)插技術(shù)來(lái)修改每一經(jīng)局域映射的區(qū)域。以此方式，局域色調(diào)映射模塊404可調(diào)整或補(bǔ)償逐區(qū)域地映射到經(jīng)局域映射的區(qū)域數(shù)據(jù)418中的不同位值的類似亮度值中的差異。在特定實(shí)施例中，變化模塊406可經(jīng)配置以接收經(jīng)全域色調(diào)映射的圖像數(shù)據(jù)421 并基于經(jīng)全域色調(diào)映射的圖像數(shù)據(jù)421的所確定區(qū)域內(nèi)的亮度值的變化而執(zhí)行分析并輸出結(jié)果。舉例來(lái)說(shuō)，變化模塊406可經(jīng)配置以在每一特定像素的鄰域內(nèi)逐像素地確定標(biāo)準(zhǔn)偏差、除以平均數(shù)的方差、最大亮度值與最小亮度值之間的差異或任何其它變化確定。舉例來(lái)說(shuō)，變化模塊406可確定在特定所關(guān)注像素周圍的3乘3、5乘5或另一大小的鄰域內(nèi)的變化。作為替代或除此之外，變化模塊406可確定對(duì)應(yīng)于經(jīng)全域色調(diào)映射的圖像數(shù)據(jù)421的一個(gè)或一個(gè)以上區(qū)域的變化度量的一個(gè)或一個(gè)以上值。舉例來(lái)說(shuō)，變化模塊406可確定對(duì)應(yīng)于由局域色調(diào)映射模塊404確定的經(jīng)局域映射的區(qū)域數(shù)據(jù)418的每一區(qū)域的變化度量的值。在特定實(shí)施例中，變化模塊406產(chǎn)生平直度映射410。平直度映射410可包括指示對(duì)應(yīng)于每一所關(guān)注像素或預(yù)定區(qū)域的“平直度”或亮度變化量的數(shù)據(jù)。舉例來(lái)說(shuō)，可按照特定像素的鄰域中的α ( ο 2/μ)來(lái)確定所述像素的“平直度”，如關(guān)于圖3所描述。在特定實(shí)施例中，組合模塊408包括第一加權(quán)模塊412和第二加權(quán)模塊414。第一加權(quán)模塊412對(duì)局域色調(diào)映射模塊404和平直度映射410作出響應(yīng)，以確定施加到經(jīng)局域映射的區(qū)域數(shù)據(jù)418的像素亮度值的權(quán)重。類似地，第二加權(quán)模塊414對(duì)經(jīng)全域色調(diào)映射的圖像數(shù)據(jù)421和平直度映射410作出響應(yīng)，以確定施加到經(jīng)全域色調(diào)映射的圖像數(shù)據(jù)421 的每一像素亮度值的加權(quán)。組合模塊408還包括加法電路416，其用以將由第一加權(quán)模塊 412輸出的經(jīng)加權(quán)的像素亮度值與由第二加權(quán)模塊414輸出的經(jīng)加權(quán)的像素亮度值相加。將加法電路416的輸出提供到輸出圖像數(shù)據(jù)424?？僧a(chǎn)生保持或增強(qiáng)HDR圖像數(shù)據(jù)420的細(xì)節(jié)等級(jí)的輸出圖像數(shù)據(jù)424。參看圖5，描繪選擇性地組合多個(gè)圖像的系統(tǒng)且大體以500表示所述系統(tǒng)。在特定實(shí)施例中，系統(tǒng)500可包括于圖1的HDR組合模塊116、圖2的系統(tǒng)200、圖3的系統(tǒng)300、圖 4的系統(tǒng)400、任何其它圖像處理系統(tǒng)或其任何組合中。系統(tǒng)500包括階層式配準(zhǔn)電路520， 其耦合到階層式組合電路560。階層式配準(zhǔn)電路520和階層式組合電路560耦合到專用控制電路532。專用控制電路532和階層式組合電路560還耦合到加權(quán)表534。階層式配準(zhǔn)電路520經(jīng)配置以接收對(duì)應(yīng)于第一圖像的第一圖像亮度數(shù)據(jù)502和對(duì)應(yīng)于第二圖像的第二圖像亮度數(shù)據(jù)504并使用粗略配準(zhǔn)電路522和精細(xì)配準(zhǔn)電路5M對(duì)第一圖像亮度數(shù)據(jù)502和第二圖像亮度數(shù)據(jù)504執(zhí)行配準(zhǔn)過(guò)程。階層式配準(zhǔn)電路520經(jīng)配置以產(chǎn)生指示第一圖像亮度數(shù)據(jù)502與第二圖像亮度數(shù)據(jù)504的對(duì)應(yīng)部分之間的所檢測(cè)的偏移的一組精細(xì)運(yùn)動(dòng)向量529。在特定實(shí)施例中，所述組精細(xì)運(yùn)動(dòng)向量5 包括用以對(duì)準(zhǔn)可能歸因于相機(jī)移動(dòng)、圖像移動(dòng)或兩者而未對(duì)準(zhǔn)的圖像的量值和方向數(shù)據(jù)。如所說(shuō)明，階層式配準(zhǔn)電路520對(duì)圖像亮度數(shù)據(jù)進(jìn)行操作以實(shí)現(xiàn)計(jì)算效率。然而，在其它實(shí)施例中，除亮度數(shù)據(jù)之外或替代于亮度數(shù)據(jù)，階層式配準(zhǔn)電路520可使用其它類型的圖像數(shù)據(jù)(例如，色度分量數(shù)據(jù)、紅色數(shù)據(jù)、藍(lán)色數(shù)據(jù)或綠色數(shù)據(jù)，或其任何組合)進(jìn)行操作。在特定實(shí)施例中，粗略配準(zhǔn)電路522包括運(yùn)動(dòng)向量產(chǎn)生電路526。運(yùn)動(dòng)向量產(chǎn)生電路5 可經(jīng)配置以將第一圖像亮度數(shù)據(jù)502和第二圖像亮度數(shù)據(jù)504中的每一者分割成塊以在所述塊之間執(zhí)行粗略配準(zhǔn)過(guò)程。舉例來(lái)說(shuō)，運(yùn)動(dòng)向量產(chǎn)生電路5 可邏輯上將第一圖像亮度數(shù)據(jù)502和第二圖像亮度數(shù)據(jù)504中的每一者劃分成一組3X3重疊塊且可使用所述重疊塊的投影來(lái)產(chǎn)生可應(yīng)用于使第二圖像亮度數(shù)據(jù)504的塊中的每一者與第一圖像亮度數(shù)據(jù)502的對(duì)應(yīng)塊對(duì)準(zhǔn)的一組粗略運(yùn)動(dòng)向量527。在其它實(shí)施例中，可使用任何數(shù)目的塊且所述塊中的一些或全部可為非重疊塊。精細(xì)配準(zhǔn)電路5 經(jīng)配置以接收所述組粗略運(yùn)動(dòng)向量527并產(chǎn)生一組精細(xì)運(yùn)動(dòng)向量529。在特定實(shí)施例中，精細(xì)配準(zhǔn)電路5M包括運(yùn)動(dòng)向量上取樣電路5 ，其耦合到宏塊運(yùn)動(dòng)向量精化電路530。運(yùn)動(dòng)向量上取樣電路5 可接收所述組粗略運(yùn)動(dòng)向量527并對(duì)其上取樣以產(chǎn)生具有比所述組粗略運(yùn)動(dòng)向量527精細(xì)的粒度的運(yùn)動(dòng)向量。舉例說(shuō)明，圖像亮度數(shù)據(jù)502和504可配置為MXN陣列的宏塊，其中每一宏塊對(duì)應(yīng)于圖像的16像素乘16像素區(qū)域。運(yùn)動(dòng)向量上取樣電路5 可產(chǎn)生MXN運(yùn)動(dòng)向量集合，其將所述組粗略運(yùn)動(dòng)向量527 中的對(duì)應(yīng)運(yùn)動(dòng)向量施加到每一宏塊。在特定實(shí)施例中，宏塊運(yùn)動(dòng)向量精化電路530經(jīng)耦合以接收所述組經(jīng)上取樣的運(yùn)動(dòng)向量527以及圖像亮度數(shù)據(jù)502和504并產(chǎn)生一組經(jīng)精化的運(yùn)動(dòng)向量529。舉例來(lái)說(shuō)，宏塊運(yùn)動(dòng)向量精化電路530可經(jīng)配置以將所述組經(jīng)上取樣的運(yùn)動(dòng)向量527中的每一運(yùn)動(dòng)向量施加到其在所述第二圖像數(shù)據(jù)中的對(duì)應(yīng)宏塊，以粗略地使所述第二圖像數(shù)據(jù)的宏塊與所述第一圖像數(shù)據(jù)的對(duì)應(yīng)宏塊對(duì)準(zhǔn)。宏塊運(yùn)動(dòng)向量精化電路530可搜索在所述經(jīng)粗略對(duì)準(zhǔn)的宏塊周圍的第一圖像亮度數(shù)據(jù)502的區(qū)域，以確定所述經(jīng)粗略對(duì)準(zhǔn)的宏塊與第一圖像亮度數(shù)據(jù)502的較精確對(duì)準(zhǔn)?？苫趶膶Ｓ每刂齐娐?32接收的搜索范圍控制信號(hào)535選擇所述搜索區(qū)域。所述組經(jīng)精化的運(yùn)動(dòng)向量5 可指示對(duì)應(yīng)于每一宏塊的較精確對(duì)準(zhǔn)的向量數(shù)據(jù)以實(shí)現(xiàn)第一圖像亮度數(shù)據(jù)502和第二圖像亮度數(shù)據(jù)504的逐宏塊配準(zhǔn)。
宏塊運(yùn)動(dòng)向量精化電路530可通過(guò)執(zhí)行針對(duì)每一運(yùn)動(dòng)向量選擇多個(gè)可能均方誤差(MSE)中的最低所計(jì)算MSE的算法來(lái)確定所述組經(jīng)精化的運(yùn)動(dòng)向量529。舉例來(lái)說(shuō)，對(duì)于第二圖像亮度數(shù)據(jù)504的特定宏塊，可考慮所述宏塊與第一圖像亮度數(shù)據(jù)502的多個(gè)可能對(duì)準(zhǔn)，且針對(duì)所述組經(jīng)精化的運(yùn)動(dòng)向量5 選擇導(dǎo)致最低所計(jì)算MSE的對(duì)準(zhǔn)?？蓪⑨槍?duì)每一宏塊確定的均方誤差作為運(yùn)動(dòng)向量(MV)均方差異數(shù)據(jù)531提供到階層式組合電路560。在特定實(shí)施例中，階層式組合電路560經(jīng)配置以使用粗略組合電路562和精細(xì)組合電路564來(lái)組合第一圖像數(shù)據(jù)506與第二圖像數(shù)據(jù)508。第一圖像數(shù)據(jù)506可包括所述第一圖像的第一亮度數(shù)據(jù)502且還可包括所述第一圖像的色度數(shù)據(jù)以作為YCbCr圖像數(shù)據(jù)。第二圖像數(shù)據(jù)508可包括所述第二圖像的第二亮度數(shù)據(jù)504和所述第二圖像的色度數(shù)據(jù)以作為YCbCr數(shù)據(jù)。在特定實(shí)施例中，粗略組合電路562包括宏塊圖像對(duì)準(zhǔn)電路566和塊MSE差異鑒別器電路568。宏塊圖像對(duì)準(zhǔn)電路566可經(jīng)配置以將所述組經(jīng)精化的運(yùn)動(dòng)向量5 施加到第二圖像數(shù)據(jù)508以產(chǎn)生與所述第一圖像數(shù)據(jù)對(duì)準(zhǔn)的第二圖像的圖像數(shù)據(jù)。舉例來(lái)說(shuō)，宏塊圖像對(duì)準(zhǔn)電路566可經(jīng)配置以在宏塊確定成重疊時(shí)組合第二圖像中的像素值或在宏塊經(jīng)重新對(duì)準(zhǔn)以導(dǎo)致不在任何宏塊內(nèi)的第二圖像數(shù)據(jù)的區(qū)域的情形下內(nèi)插像素值。宏塊圖像對(duì)準(zhǔn)電路566可將第一圖像數(shù)據(jù)506和所述第二圖像的經(jīng)對(duì)準(zhǔn)的圖像數(shù)據(jù)提供到塊MSE差異鑒別器電路568。在特定實(shí)施例中，塊MSE差異鑒別器電路568經(jīng)配置以對(duì)從宏塊圖像對(duì)準(zhǔn)電路566 接收的數(shù)據(jù)執(zhí)行粗略組合過(guò)程。特定來(lái)說(shuō)，塊MSE差異鑒別器電路568可消除并未與第一圖像數(shù)據(jù)506的充分匹配的所述第二圖像的經(jīng)對(duì)準(zhǔn)的圖像數(shù)據(jù)的宏塊。舉例來(lái)說(shuō)，可將每一宏塊的MV MS差數(shù)據(jù)531與閾值進(jìn)行比較。當(dāng)對(duì)于特定宏塊來(lái)說(shuō)，MS差超過(guò)閾值時(shí)，所述特定宏塊被確定成在第一圖像數(shù)據(jù)506與所述第二圖像的經(jīng)對(duì)準(zhǔn)的圖像數(shù)據(jù)之間過(guò)于不同， 且因此不應(yīng)針對(duì)所述特定宏塊組合圖像數(shù)據(jù)。舉例來(lái)說(shuō)，在移動(dòng)物件出現(xiàn)于第一圖像數(shù)據(jù)506中的第一宏塊中(但未出現(xiàn)于所述第二圖像的經(jīng)對(duì)準(zhǔn)的圖像數(shù)據(jù)中的第一宏塊中)且所述移動(dòng)物件出現(xiàn)于所述第二圖像的經(jīng)對(duì)準(zhǔn)的圖像數(shù)據(jù)中的第二宏塊中(但未出現(xiàn)于第一圖像數(shù)據(jù)506的第二宏塊中)的情形下，歸因于對(duì)應(yīng)的均方誤差差異，所述第一宏塊可被確定成在所述第一圖像與所述第二圖像之間不可組合，且所述第二宏塊可被確定成在所述第一圖像與所述第二圖像之間不可組合。塊MSE差異鑒別器電路568可經(jīng)配置以從所述經(jīng)對(duì)準(zhǔn)的第二圖像數(shù)據(jù)移除每一不可組合的宏塊，以使得僅使用來(lái)自第一圖像數(shù)據(jù)506的宏塊的像素值。舉例來(lái)說(shuō)，可從第一圖像數(shù)據(jù)506復(fù)制所述宏塊的像素值以替換所述第二圖像的經(jīng)對(duì)準(zhǔn)的圖像數(shù)據(jù)的對(duì)應(yīng)宏塊中的像素值。如所說(shuō)明，塊MSE差異鑒別器電路568對(duì)專用控制電路532作出響應(yīng)。舉例來(lái)說(shuō)， 專用控制電路532可提供閾值控制信號(hào)537，其指示待用于比較所述第一圖像數(shù)據(jù)與所述第二圖像的經(jīng)對(duì)準(zhǔn)的圖像數(shù)據(jù)的宏塊之間的MSE差異的閾值差異。在所述粗略組合過(guò)程之后，塊MSE差異鑒別器電路568可將兩組圖像數(shù)據(jù)(包括對(duì)應(yīng)于第一圖像的圖像數(shù)據(jù)和對(duì)應(yīng)于第二圖像的圖像數(shù)據(jù))輸出到精細(xì)組合電路564。精細(xì)組合電路564經(jīng)配置以接收已配準(zhǔn)且粗略對(duì)準(zhǔn)的第一和第二圖像數(shù)據(jù)并執(zhí)行精細(xì)組合過(guò)程以產(chǎn)生輸出圖像數(shù)據(jù)580。在特定實(shí)施例中，精細(xì)組合電路564包括第一濾
14波器570和第二濾波器572，其耦合到平均像素MS差異電路574。精細(xì)組合電路564還包括圖像組合電路576，其耦合到平均像素MS差異電路574并耦合到加權(quán)表534。所述第一圖像的所接收的數(shù)據(jù)可由第一濾波器570處理，且所述第一圖像的經(jīng)濾波的數(shù)據(jù)被提供到平均像素MS差異電路574。所述第二圖像的所接收的數(shù)據(jù)可由第二濾波器572處理，且第二圖像的經(jīng)濾波的數(shù)據(jù)被提供到平均像素MS差異電路574。濾波器570 和572可對(duì)專用控制電路532作出響應(yīng)。舉例來(lái)說(shuō)，濾波器570和572可從專用控制電路 532接收響應(yīng)控制信號(hào)539，其指示濾波器響應(yīng)特性，例如，低通響應(yīng)、高通響應(yīng)、帶通響應(yīng)、 任何其它濾波器響應(yīng)，或其任何組合。濾波器570和572可包括3X3核心或任何其它大小的核心。在特定實(shí)施例中，濾波器570和572具有響應(yīng)于專用控制電路532的核心大小。平均像素MS差異電路574可經(jīng)配置以接收對(duì)應(yīng)于每一圖像的經(jīng)濾波的數(shù)據(jù)并執(zhí)行逐像素的帶正負(fù)號(hào)的均方差異運(yùn)算。所述差異運(yùn)算可針對(duì)每一特定像素使用所述特定像素的亮度和色度值中的每一者來(lái)產(chǎn)生帶正負(fù)號(hào)的值，所述值指示所述第一圖像的經(jīng)濾波的數(shù)據(jù)與所述第二圖像的經(jīng)濾波的數(shù)據(jù)之間的差異。平均像素MS差異電路574可經(jīng)配置以將所述差異數(shù)據(jù)提供到圖像組合電路476。圖像組合電路576可經(jīng)配置以針對(duì)每一像素從平均像素MS差異電路574接收差異值并確定輸出圖像數(shù)據(jù)580中的每一像素的像素值。舉例來(lái)說(shuō)，特定像素的所接收的差異值可作為加權(quán)表534處的查找操作而提供。所述查找操作的結(jié)果可確定輸出圖像數(shù)據(jù) 580中的像素值具有來(lái)自從粗略組合電路562接收的第一圖像數(shù)據(jù)的值、來(lái)自從粗略組合電路562接收的第二所接收的圖像數(shù)據(jù)的值，還是其組合。加權(quán)表534可包括指示待施加到所述第一圖像數(shù)據(jù)的像素值的第一權(quán)重和待施加到所述第二圖像數(shù)據(jù)的像素值的第二權(quán)重的數(shù)據(jù)。加權(quán)表534可提供對(duì)應(yīng)于待施加到所述第一圖像數(shù)據(jù)的權(quán)重的具有約0到1的范圍的輸出值“W”和對(duì)應(yīng)于待施加到所述第二圖像數(shù)據(jù)的權(quán)重的值1-W。加權(quán)表534可對(duì)來(lái)自專用控制電路532的表控制信號(hào)533作出響應(yīng)。在操作期間，專用控制電路532可確定一個(gè)或一個(gè)以上控制參數(shù)，其用以控制系統(tǒng)500處的圖像配準(zhǔn)和組合過(guò)程。舉例來(lái)說(shuō)，專用控制電路532可選擇指示宏塊配準(zhǔn)的主動(dòng)性(aggressiveness)的搜索范圍控制信號(hào)535、指示宏塊組合的可接受差異的量的閾值控制信號(hào)537、指示待執(zhí)行的濾波的類型的響應(yīng)控制信號(hào)539，以及指示如何基于所述圖像之間的經(jīng)濾波的像素差異來(lái)組合所述圖像的表控制信號(hào)533的值。舉例來(lái)說(shuō)，專用控制電路532可經(jīng)配置以產(chǎn)生特定用于產(chǎn)生HDR圖像的控制信號(hào)。 搜索范圍控制信號(hào)535可經(jīng)設(shè)定以指示極低或零運(yùn)動(dòng)向量搜索范圍。閾值控制信號(hào)537可經(jīng)設(shè)定以指示極高閾值或停用塊差異鑒別操作，以使得所有塊均被接受。響應(yīng)控制信號(hào)539 可經(jīng)設(shè)定以使得在濾波器570和572處，高曝光圖像的亮度濾波器設(shè)定成平均值且所有其它者設(shè)定成零。表控制信號(hào)533可經(jīng)設(shè)定以指示加權(quán)函數(shù)，以使得像素接受閾值設(shè)定成適度高，以不將值遠(yuǎn)離其它像素的像素相加。雖然系統(tǒng)500被說(shuō)明為包括經(jīng)配置以執(zhí)行特定過(guò)程的硬件電路，但在其它實(shí)施例中，系統(tǒng)500的一個(gè)或一個(gè)以上組件可由執(zhí)行處理器指令的處理器來(lái)執(zhí)行。舉例來(lái)說(shuō)，由電路 520、522、524、526、528、530、532、534、560、562、564、566、568、570、574 或 576 執(zhí)行的功能中的一者或一者以上可由已編程以執(zhí)行上文描述的功能或通用算法中的一者或一者以上的圖像處理器、數(shù)字信號(hào)處理器(DSP)或通用處理器來(lái)執(zhí)行。在其它實(shí)施例中，可用包括于硬件、固件、執(zhí)行計(jì)算機(jī)可讀指令的處理器或其任何組合中的組件來(lái)替換電路520、522、 524、526、528、530、532、534、560、562、564、566、568、570、574 或 576 中的一者或一者以上。類似地，在特定實(shí)施例中，圖1到圖4的系統(tǒng)中所描繪的模塊中的一者或一者以上可實(shí)施為固件，例如，由經(jīng)配置以通過(guò)執(zhí)行用以執(zhí)行特定功能或算法的指令而作為專用控制器或處理器操作的控制器或處理器來(lái)實(shí)施。在特定實(shí)施例中，圖1到圖4的系統(tǒng)中所描繪的模塊中的一者或一者以上可實(shí)施為硬件，例如，由經(jīng)配置以操縱并處理數(shù)據(jù)以執(zhí)行特定功能或算法的電路來(lái)實(shí)施。舉例來(lái)說(shuō)，所述電路可為專用集成電路(ASIC)的一部分。在特定實(shí)施例中，圖1到圖4的系統(tǒng)中所描繪的模塊中的一者或一者以上可實(shí)施為在處理邏輯處(例如，在多核心系統(tǒng)的一個(gè)或一個(gè)以上通用處理器核心處)執(zhí)行的處理器指令。舉例來(lái)說(shuō)，所述一個(gè)或一個(gè)以上模塊可在通用計(jì)算機(jī)系統(tǒng)正執(zhí)行圖像處理軟件的同時(shí)實(shí)施于所述計(jì)算機(jī)系統(tǒng)內(nèi)。參看圖6，其描繪組合兩個(gè)低動(dòng)態(tài)范圍圖像以產(chǎn)生高動(dòng)態(tài)范圍圖像的特定實(shí)施例且大體以600表示所述實(shí)施例。第一低動(dòng)態(tài)范圍數(shù)據(jù)被表示為第一直方圖602且第二動(dòng)態(tài)范圍數(shù)據(jù)被表示為第二直方圖604。在特定實(shí)施例中，第一直方圖602表示由傳感器(例如，圖1的傳感器108)俘獲的具有第一曝光條件的圖像數(shù)據(jù)的像素亮度值，而第二直方圖 604表示具有第二曝光條件的第二圖像數(shù)據(jù)(例如，由圖1的圖像傳感器108俘獲的第二圖像數(shù)據(jù))的像素的亮度值。如圖6中所說(shuō)明，第一直方圖602展示具有低亮度值的大量像素，所述像素可對(duì)應(yīng)于使用縮短的曝光時(shí)間而曝光不足的暗區(qū)域或陰影區(qū)域。相比來(lái)說(shuō)，第二直方圖604包括具有高亮度值的大量像素，所述像素(例如)對(duì)應(yīng)于較長(zhǎng)曝光時(shí)間圖像俘獲的經(jīng)過(guò)度曝光的亮區(qū)域。在特定實(shí)施例中，第一直方圖602可對(duì)應(yīng)于圖1的第一圖像160，且第二直方圖 604可對(duì)應(yīng)于圖1的第二圖像162。在特定實(shí)施例中，第一直方圖602可按比例調(diào)整到較大范圍的亮度值以對(duì)第一圖像補(bǔ)償?shù)诙D像的增加的曝光時(shí)間量。舉例來(lái)說(shuō)，在使用第一圖像的曝光時(shí)間的k倍的曝光時(shí)間俘獲第二圖像的情形下，可按比例調(diào)整(例如，當(dāng)k為2時(shí)加倍)第一圖像的像素的亮度值，從而使第一直方圖從最低值L_low 608和最高值L_high 612移位到最低值k*L_ low 610和最高值k*L_high 614，其被說(shuō)明為經(jīng)移位的直方圖606。L_low 608可對(duì)應(yīng)于產(chǎn)生與傳感器的噪聲下限標(biāo)準(zhǔn)偏差相當(dāng)或相等的傳感器讀數(shù)的亮度級(jí)。L_high 612可對(duì)應(yīng)于導(dǎo)致傳感器的飽和的亮度級(jí)減去黑階亮度?？墒褂眉訖?quán)函數(shù)616使對(duì)應(yīng)于經(jīng)移位的直方圖606的第一圖像數(shù)據(jù)的經(jīng)按比例調(diào)整的像素值與對(duì)應(yīng)于未經(jīng)移位的第二直方圖604的第二圖像數(shù)據(jù)的像素值組合。所述加權(quán)函數(shù)616可包括在小于k*L_low 610的亮度范圍中的第一值618、在處于k*L_low 610與 L_high 612之間的第二亮度范圍中的第二值620和在大612的第三亮度范圍中的第三值622。舉例來(lái)說(shuō)，加權(quán)函數(shù)616可包括在跨越范圍邊界的值之間平滑轉(zhuǎn)變的一個(gè)或一個(gè)以上S形函數(shù)。如所說(shuō)明，對(duì)于具有小于k*L_low 610的亮度值的像素來(lái)說(shuō)，加權(quán)函數(shù)616指示權(quán)重“1”，此指示高動(dòng)態(tài)范圍圖像中的對(duì)應(yīng)像素的像素值等于第二圖像數(shù)據(jù)的像素值。對(duì)于具有大612的亮度值的像素來(lái)說(shuō)，加權(quán)函數(shù)616指示權(quán)重“0”，此指示高動(dòng)態(tài)范圍圖像中的對(duì)應(yīng)像素的像素值等于第一圖像數(shù)據(jù)的像素值。對(duì)于具有處于k*L_low 610與 L_high 612之間的亮度值的像素來(lái)說(shuō)，在經(jīng)按比例調(diào)整的第一圖像數(shù)據(jù)與第二圖像數(shù)據(jù)重疊的情形下，加權(quán)函數(shù)616指示權(quán)重“0.5”，此指示經(jīng)按比例調(diào)整的第一圖像數(shù)據(jù)和第二圖像數(shù)據(jù)中的對(duì)應(yīng)像素的平均亮度值經(jīng)平均以確定高動(dòng)態(tài)范圍輸出圖像中的像素亮度值。如所說(shuō)明，加權(quán)函數(shù)616偏離上文概述的在k*L_low 610與1^_1^811 612周圍的行為以在值之間平滑轉(zhuǎn)變。經(jīng)組合的圖像可被描述為Scomb = kST (1-C (SkT)) +SkT (C (SkT))其中S。。mb表示經(jīng)組合的圖像的亮度，k為較長(zhǎng)曝光時(shí)間與較短曝光時(shí)間的比率，St 表示短曝光時(shí)間圖像的亮度，C表示加權(quán)函數(shù)且SkT表示較長(zhǎng)曝光時(shí)間圖像的亮度。由第三直方圖6M指示所述高動(dòng)態(tài)范圍輸出圖像的像素亮度值的分布。第三直方圖6M說(shuō)明像素亮度值處于L_low到k*L_high的范圍中，其具有動(dòng)態(tài)范圍k*L_high/L_ low。在特定實(shí)施例中，圖6中說(shuō)明的HDR組合可由圖1的HDR組合模塊116、圖2的系統(tǒng)200或圖5的系統(tǒng)500執(zhí)行。HDR組合的幀配準(zhǔn)對(duì)于圖像之間的歸因于飽和度或?qū)蛹?jí)差異所致的非線性可為穩(wěn)健的。配準(zhǔn)可不依賴于較精細(xì)運(yùn)動(dòng)向量估計(jì)，可具有可用于組合的大體上所有像素，且可基于局域圖像層級(jí)而進(jìn)行組合。舉例來(lái)說(shuō)，圖5的專用控制電路532可產(chǎn)生特定用于產(chǎn)生HDR圖像的控制信號(hào)。搜索范圍控制信號(hào)535可經(jīng)設(shè)定以指示極低或零運(yùn)動(dòng)向量搜索范圍。閾值控制信號(hào)537可經(jīng)設(shè)定以指示極高閾值或停用塊差異鑒別操作。響應(yīng)控制信號(hào)539可經(jīng)設(shè)定以使得在濾波器 570和572處，高曝光圖像的亮度濾波器設(shè)定成平均值且所有其它者設(shè)定成零。表控制信號(hào) 533可經(jīng)設(shè)定以指示加權(quán)函數(shù)，例如，圖6的加權(quán)函數(shù)616。圖7為壓縮高動(dòng)態(tài)范圍圖像數(shù)據(jù)的方法的說(shuō)明性實(shí)施例的流程圖。在特定實(shí)施例中，方法700或其部分可由圖1的HDR壓縮模塊118、圖3的系統(tǒng)300、圖4的系統(tǒng)400或圖 5的系統(tǒng)500或其任何組合來(lái)執(zhí)行。方法700包括執(zhí)行以下功能在702處，使用全域色調(diào)映射壓縮動(dòng)態(tài)范圍；在718處，計(jì)算平直度映射；在7M處，產(chǎn)生經(jīng)局域映射的圖像；以及在 734處，使用平直度映射作為權(quán)重來(lái)組合所述經(jīng)局域映射的圖像與所述經(jīng)全域映射的圖像。在特定實(shí)施例中，使用全域色調(diào)映射的范圍壓縮包括在704處計(jì)算高動(dòng)態(tài)范圍圖像數(shù)據(jù)的像素亮度值的直方圖。在706處，可對(duì)所述直方圖設(shè)上限。舉例來(lái)說(shuō)，所述直方圖可設(shè)上限于2U，其中U為像素亮度值的均一分布的高度，以將對(duì)比度增加限制到2倍。在 708處，還可將下限施加到所述直方圖。舉例來(lái)說(shuō)，所述下限可為U/2以將對(duì)比度降低限制到1/2倍。在710處，可使所得直方圖標(biāo)準(zhǔn)化。舉例來(lái)說(shuō)，所述直方圖高度可減小以使得所述直方圖的總面積大體上等于1。在712處，可計(jì)算累積分布函數(shù)(CDF)。所述CDF可表示隨亮度值而變的在經(jīng)標(biāo)準(zhǔn)化的直方圖下的累積面積，以使得CDF(O) =0且CDF(X) =1，其中 X為具有非零直方圖值的最大亮度值。在714處，可使用CDF作為色調(diào)映射函數(shù)來(lái)重映射高動(dòng)態(tài)范圍圖像數(shù)據(jù)的亮度值。 舉例來(lái)說(shuō)，可使用Lnrat = L。ld*⑶F(L。ld)將每一像素L。ld的亮度值調(diào)整到值L_。在716處， 還可按比例調(diào)整像素的色度分量。舉例來(lái)說(shuō)，可以亮度比Lnew/L。ld按比例調(diào)整色度分量(例如，藍(lán)色色差色度分量(Cb)和紅色色差色度分量(Cr))。在特定實(shí)施例中，使用所述經(jīng)全域色調(diào)映射的圖像數(shù)據(jù)來(lái)執(zhí)行計(jì)算平直度映射 718。在720處，可在每一像素的區(qū)域中計(jì)算變化的度量或量度。舉例來(lái)說(shuō)，可在遠(yuǎn)離圖像的邊緣的像素的5X5像素區(qū)域中確定α (σ2/μ)的值，其中σ表示標(biāo)準(zhǔn)偏差，μ指示平均數(shù)且α可為預(yù)定恒定值。在722處，可對(duì)平直度映射設(shè)上限以使得無(wú)像素平直度值超過(guò)值1。在特定實(shí)施例中，產(chǎn)生所述經(jīng)局域映射的圖像7 包括在7 處將所述經(jīng)全域映射的圖像劃分成非重疊塊。在7 處，可針對(duì)個(gè)別塊計(jì)算直方圖并對(duì)其設(shè)上限。舉例來(lái)說(shuō)， 可使用基于感知的技術(shù)或基于對(duì)比的技術(shù)來(lái)對(duì)所述直方圖設(shè)上限。在730處，可針對(duì)個(gè)別塊產(chǎn)生局域色調(diào)映射。舉例來(lái)說(shuō)，個(gè)別塊的局域色調(diào)映射可使用與704到716處所描述的全域色調(diào)映射702類似的技術(shù)。在732處，針對(duì)個(gè)別塊內(nèi)的像素，可執(zhí)行相鄰塊之間的內(nèi)插以計(jì)算像素映射。舉例來(lái)說(shuō)，對(duì)于每一塊中的每一點(diǎn)，可在相鄰映射函數(shù)之間使用雙線性內(nèi)插以計(jì)算所述點(diǎn)的映射。在734處，可使用所述平直度映射作為權(quán)重來(lái)組合所述經(jīng)局域映射的圖像與所述全域映射的圖像。舉例來(lái)說(shuō)，所述經(jīng)壓縮的輸出圖像數(shù)據(jù)的每一像素值可為所述經(jīng)全域映射的圖像數(shù)據(jù)與所述經(jīng)局域映射的圖像數(shù)據(jù)的加權(quán)總和。所述經(jīng)局域映射的圖像數(shù)據(jù)的權(quán)重可對(duì)應(yīng)于像素的平直度映射值(例如，在位置i，j處的像素的FM(i，j))，且所述經(jīng)全域映射的圖像數(shù)據(jù)的權(quán)重可對(duì)應(yīng)于l_FM(i，j)。在特定實(shí)施方案中，方法700控制HDR壓縮的復(fù)雜性以針對(duì)移動(dòng)裝置應(yīng)用實(shí)現(xiàn)通過(guò)圖像處理電路在圖像處理管線中實(shí)施?？杀ＷC所得圖像的連續(xù)性，且可不引入假影。圖8為高動(dòng)態(tài)范圍圖像組合的方法的第一說(shuō)明性實(shí)施例的流程圖。在特定實(shí)施例中，方法800由圖1到圖5的系統(tǒng)中的任一者或其任何組合來(lái)執(zhí)行。在802處，從圖像傳感器接收第一圖像數(shù)據(jù)。所述第一圖像數(shù)據(jù)是使用第一曝光時(shí)間而產(chǎn)生。繼續(xù)到804，從所述圖像傳感器接收第二圖像數(shù)據(jù)。所述第二圖像數(shù)據(jù)是使用比所述第一曝光時(shí)間長(zhǎng)的第二曝光時(shí)間而產(chǎn)生。前進(jìn)到806，基于所述第二曝光時(shí)間與所述第一曝光時(shí)間的比率來(lái)按比例調(diào)整所述第一圖像數(shù)據(jù)的亮度值以產(chǎn)生經(jīng)按比例調(diào)整的第一圖像數(shù)據(jù)。進(jìn)行到808，基于所述經(jīng)按比例調(diào)整的第一圖像數(shù)據(jù)的第一有效動(dòng)態(tài)范圍與所述第二圖像數(shù)據(jù)的第二有效動(dòng)態(tài)范圍之間的重疊來(lái)選擇性地組合所述經(jīng)按比例調(diào)整的第一圖像數(shù)據(jù)與所述第二圖像數(shù)據(jù)以產(chǎn)生高動(dòng)態(tài)范圍(HDR)圖像?？苫谒龅谝粓D像數(shù)據(jù)的第一飽和度、第一黑暗度(dark level)和第一噪聲下限而確定所述第一有效動(dòng)態(tài)范圍?？苫谒龅诙D像數(shù)據(jù)的第二飽和度、第二黑暗度和第二噪聲下限而確定所述第二有效動(dòng)態(tài)范圍?？墒褂么篌w上居中于所述第一噪聲下限的第一 S形函數(shù)和大體上居中于所述第二飽和度減所述第二黑暗度的第二 S形函數(shù)來(lái)選擇性地組合所述經(jīng)按比例調(diào)整的第一圖像數(shù)據(jù)與所述第二圖像數(shù)據(jù)。移動(dòng)到810，產(chǎn)生色調(diào)映射以壓縮HDR圖像的動(dòng)態(tài)范圍。產(chǎn)生所述色調(diào)映射包括基于每一像素的鄰域內(nèi)的亮度變化而確定全域色調(diào)映射值和局域色調(diào)映射值的逐像素加權(quán)。 舉例來(lái)說(shuō)，所述經(jīng)壓縮的動(dòng)態(tài)范圍可為8位范圍。繼續(xù)到812，提供具有所述經(jīng)壓縮的動(dòng)態(tài)范圍的經(jīng)色調(diào)映射的圖像以顯示于顯示裝置處。圖9為高動(dòng)態(tài)范圍圖像組合的方法的第二說(shuō)明性實(shí)施例的流程圖。在特定實(shí)施例中，方法900由圖1到圖5的系統(tǒng)中的任一者或其任何組合來(lái)執(zhí)行。在902處，基于第一圖像數(shù)據(jù)的亮度分布而調(diào)整所述第一圖像數(shù)據(jù)的第一亮度值以產(chǎn)生第二圖像數(shù)據(jù)。在特定實(shí)施例中，調(diào)整所述第一亮度值包括確定所述第一圖像數(shù)據(jù)的像素亮度值的直方圖；基于均一分布程度對(duì)所述直方圖的范圍設(shè)上限；使所述經(jīng)設(shè)上限的直方圖標(biāo)準(zhǔn)化；確定所述經(jīng)標(biāo)準(zhǔn)化的直方圖的累積分布函數(shù)(CDF)；以及將CDF作為色調(diào)映射函數(shù)應(yīng)用以重映射所述第一亮度值。 繼續(xù)到904，基于所述第二圖像數(shù)據(jù)的一區(qū)域的局域亮度分布而調(diào)整所述第二圖像數(shù)據(jù)的所述區(qū)域的第二亮度值以產(chǎn)生第一經(jīng)局域調(diào)整的圖像數(shù)據(jù)。在特定實(shí)施例中，調(diào)整所述第二亮度值包括將所述第二圖像數(shù)據(jù)劃分成多個(gè)區(qū)域；計(jì)算所述多個(gè)區(qū)域中的每一者的像素亮度值的直方圖；確定對(duì)應(yīng)于所述多個(gè)區(qū)域中的每一者的局域色調(diào)映射函數(shù)； 以及在對(duì)應(yīng)于相鄰區(qū)域的局域色調(diào)映射函數(shù)之間執(zhí)行雙線性內(nèi)插以計(jì)算特定像素的色調(diào)映射。前進(jìn)到906，產(chǎn)生具有比所述第一圖像數(shù)據(jù)小的動(dòng)態(tài)范圍的第三圖像數(shù)據(jù)。對(duì)應(yīng)于所述第二圖像數(shù)據(jù)的所述區(qū)域的所述第三圖像數(shù)據(jù)的亮度值通過(guò)基于所述第二圖像數(shù)據(jù)的所述區(qū)域內(nèi)的所述第二圖像數(shù)據(jù)的亮度變化而組合所述經(jīng)局域調(diào)整的圖像數(shù)據(jù)與所述區(qū)域內(nèi)的所述第二圖像數(shù)據(jù)來(lái)確定。移動(dòng)到908，可通過(guò)針對(duì)所述區(qū)域內(nèi)的每一像素使用對(duì)應(yīng)于包括所述特定像素的像素的鄰域的所述第二圖像數(shù)據(jù)確定亮度方差與亮度平均值的比率而產(chǎn)生平直度映射。像素的鄰域可小于第二圖像數(shù)據(jù)的區(qū)域。圖10為高動(dòng)態(tài)范圍圖像組合的方法的第三說(shuō)明性實(shí)施例的流程圖。在特定實(shí)施例中，方法1000由圖1到圖5的系統(tǒng)中的任一者或其任何組合來(lái)執(zhí)行。舉例來(lái)說(shuō)，方法1000 可由執(zhí)行存儲(chǔ)于計(jì)算機(jī)可讀媒體(例如，只讀存儲(chǔ)器(ROM)、隨機(jī)存取存儲(chǔ)器(RAM)或可有形地體現(xiàn)計(jì)算機(jī)可執(zhí)行指令的其它類型的存儲(chǔ)器)處的指令的處理器來(lái)執(zhí)行。在1002處，接收第一圖像數(shù)據(jù)。進(jìn)行到1004，基于所述第一圖像數(shù)據(jù)的亮度分布而產(chǎn)生第二圖像數(shù)據(jù)。繼續(xù)到1006，基于所述第二圖像數(shù)據(jù)的區(qū)域內(nèi)的局域亮度分布而產(chǎn)生經(jīng)局域調(diào)整的圖像數(shù)據(jù)。前進(jìn)到1008，產(chǎn)生具有比所述第一圖像數(shù)據(jù)小的動(dòng)態(tài)范圍的第三圖像數(shù)據(jù)。對(duì)應(yīng)于所述第二圖像數(shù)據(jù)的所述區(qū)域的所述第三圖像數(shù)據(jù)的區(qū)域的亮度值通過(guò)基于所述第二圖像數(shù)據(jù)的所述區(qū)域內(nèi)的所述第二圖像數(shù)據(jù)的亮度變化而組合所述經(jīng)局域調(diào)整的圖像數(shù)據(jù)與所述第二圖像數(shù)據(jù)來(lái)確定。組合所述經(jīng)局域調(diào)整的圖像數(shù)據(jù)與所述第二圖像數(shù)據(jù)可包括使用所述經(jīng)局域調(diào)整的圖像數(shù)據(jù)與所述區(qū)域內(nèi)的第二圖像數(shù)據(jù)的加權(quán)總和。所述加權(quán)總和的權(quán)重可基于亮度變化。在特定實(shí)施例中，所述第三圖像數(shù)據(jù)的區(qū)域內(nèi)的特定像素的亮度值使用對(duì)應(yīng)于所述特定像素的所述第二圖像數(shù)據(jù)的第一值與對(duì)應(yīng)于所述特定像素的所述經(jīng)局域調(diào)整的圖像數(shù)據(jù)的第二值的加權(quán)總和而確定。所述加權(quán)總和可基于所述特定像素的鄰域內(nèi)的像素值而計(jì)算。所述特定像素的鄰域內(nèi)的所述像素值可從所述第二圖像數(shù)據(jù)來(lái)確定。圖11為包括高動(dòng)態(tài)范圍(HDR)組合和壓縮模塊的系統(tǒng)的特定實(shí)施例的框圖。系統(tǒng)1100包括圖像傳感器裝置1122，其耦合到透鏡1168且還耦合到便攜式多媒體裝置的應(yīng)用處理器芯片組1170。圖像傳感器裝置1122包括使用局域和全域映射的HDR模塊1164，其可實(shí)施圖1到圖5的模塊或系統(tǒng)中的一者或一者以上，可根據(jù)圖6到圖10的實(shí)施例或方法中的任一者來(lái)操作，或其任何組合。使用局域和全域映射的HDR模塊1164經(jīng)耦合以(例如)經(jīng)由模/數(shù)轉(zhuǎn)換器1126 而從圖像陣列1166接收?qǐng)D像數(shù)據(jù)，模/數(shù)轉(zhuǎn)換器1126經(jīng)耦合以接收?qǐng)D像陣列1166的輸出并將圖像數(shù)據(jù)提供到使用局域和全域映射的HDR模塊1164。使用局域和全域映射的HDR 模塊1164可從圖像陣列1166處俘獲的多個(gè)圖像中產(chǎn)生HDR圖像數(shù)據(jù)以借助普通圖像陣列 1166實(shí)現(xiàn)HDR功能性。此外，使用局域和全域映射的HDR模塊1164可使用局域和全域色調(diào)映射兩者的組合將所得圖像壓縮成與較低分辨率傳送和存儲(chǔ)機(jī)制兼容，同時(shí)保證連續(xù)性且不引入假影。 舉例來(lái)說(shuō)，使用局域和全域映射的HDR模塊1164可包括全域映射模塊，其經(jīng)配置以在圖像的區(qū)域內(nèi)產(chǎn)生第一經(jīng)全域映射的亮度值；局域映射模塊，其經(jīng)配置以在圖像的區(qū)域內(nèi)產(chǎn)生第二經(jīng)局域映射的亮度值；以及組合模塊，其經(jīng)配置以使用第一經(jīng)全域映射的亮度值和第二經(jīng)局域映射的亮度值的加權(quán)總和而確定在輸出圖像的對(duì)應(yīng)區(qū)域內(nèi)的亮度值， 分別例如，圖4的全域色調(diào)映射模塊402、局域色調(diào)映射模塊404和組合模塊408，或分別例如，圖3的全域色調(diào)映射模塊302、局域色調(diào)映射模塊304和組合模塊308。所述加權(quán)總和的權(quán)重至少部分地基于圖像的區(qū)域內(nèi)的亮度變化。舉例來(lái)說(shuō)，可逐像素地在區(qū)域內(nèi)確定權(quán)重。使用局域和全域映射的HDR模塊1164還可包括經(jīng)配置以產(chǎn)生對(duì)應(yīng)于所述圖像的一部分的平直度映射的變化模塊，例如，圖4的變化模塊406。平直度映射可指示圖像的區(qū)域內(nèi)的亮度變化。變化模塊可經(jīng)配置以確定所述區(qū)域內(nèi)的特定像素的鄰域內(nèi)的亮度方差。 對(duì)應(yīng)于所述特定像素的平直度映射的條目可同特定像素的鄰域內(nèi)的亮度方差與所述特定像素的鄰域內(nèi)的亮度平均數(shù)的比率成比例，例如，關(guān)于圖3的輸出值326所描述。圖像傳感器裝置1122還可包括處理器1110。在特定實(shí)施例中，處理器1110經(jīng)配置以實(shí)施所述使用局域和全域映射的HDR模塊1164。舉例來(lái)說(shuō)，處理器1110可經(jīng)配置以從處理器可讀媒體讀取指令并執(zhí)行所述指令以實(shí)施HDR模塊1164。在另一實(shí)施例中，所述使用局域和全域映射的HDR模塊1164實(shí)施為圖像處理電路。處理器1110還可經(jīng)配置以執(zhí)行額外圖像處理操作，例如，由圖1的模塊110到120 執(zhí)行的操作中的一者或一者以上。處理器1110可將經(jīng)處理的圖像數(shù)據(jù)提供到應(yīng)用處理器芯片組1170以用于進(jìn)一步處理、發(fā)射、存儲(chǔ)、顯示或其任何組合。圖12為包括HDR組合和壓縮模塊的系統(tǒng)的特定實(shí)施例的框圖。系統(tǒng)1200可實(shí)施于便攜式無(wú)線電子裝置中并包括耦合到存儲(chǔ)器1232的處理器1210，例如，數(shù)字信號(hào)處理器 (DSP) 0系統(tǒng)1200包括使用局域和全域映射的HDR模塊1264。在說(shuō)明性實(shí)例中，所述使用局域和全域映射的HDR模塊1264包括圖1到圖5的模塊或系統(tǒng)中的一者或一者以上，或根據(jù)圖6到圖10的實(shí)施例或方法中的任一者來(lái)操作，或其任何組合。所述使用局域和全域映射的HDR模塊1264可處于處理器1210中或可為單獨(dú)的裝置。相機(jī)接口 1268耦合到處理器1210且還耦合到例如視頻相機(jī)或靜態(tài)相機(jī)1270等相機(jī)。顯示控制器1226耦合到處理器1210且耦合到顯示裝置1228。編碼器/解碼器 (CODEC) 1234也可耦合到處理器1210。揚(yáng)聲器1236和麥克風(fēng)1238可耦合到C0DEC1234。 無(wú)線接口 1240可耦合到處理器1210且耦合到無(wú)線天線1242。
在特定實(shí)施例中，處理器1210包括所述使用局域和全域映射的HDR模塊1264且適于從由相機(jī)1270俘獲的多個(gè)圖像產(chǎn)生HDR圖像數(shù)據(jù)，以在普通相機(jī)1270的情形下實(shí)現(xiàn) HDR功能性。此外，所述使用局域和全域映射的HDR模塊1164可使用局域和全域色調(diào)映射兩者的組合將所得圖像壓縮成與較低分辨率傳送和存儲(chǔ)機(jī)制兼容，同時(shí)保證連續(xù)性且不引入假影。
處理器1210還可適于從可從各種源接收的多組圖像數(shù)據(jù)產(chǎn)生HDR圖像數(shù)據(jù)并對(duì)其進(jìn)行壓縮。舉例來(lái)說(shuō)，作為說(shuō)明性、非限制性實(shí)例，所述圖像數(shù)據(jù)可包括來(lái)自相機(jī)1270的視頻數(shù)據(jù)或靜態(tài)圖像、來(lái)自經(jīng)由無(wú)線接口 1240進(jìn)行的無(wú)線發(fā)射或來(lái)自其它源(例如，經(jīng)由通用串行總線(USB)接口(未圖示)耦合的外部裝置)的圖像數(shù)據(jù)。在特定實(shí)施例中，處理器1210經(jīng)配置以基于圖像數(shù)據(jù)的多個(gè)像素中的每一特定像素的鄰域內(nèi)的亮度變化而產(chǎn)生包括所述特定像素的經(jīng)色調(diào)映射的像素值的經(jīng)色調(diào)映射的圖像數(shù)據(jù)并提供所述經(jīng)色調(diào)映射的圖像數(shù)據(jù)以顯示于顯示裝置1228處。舉例來(lái)說(shuō)，所述經(jīng)色調(diào)映射的數(shù)據(jù)可為圖3的輸出圖像數(shù)據(jù)328或圖4的輸出圖像數(shù)據(jù)424。此外，處理器 1210可進(jìn)一步經(jīng)配置以將所述經(jīng)色調(diào)映射的圖像數(shù)據(jù)存儲(chǔ)于存儲(chǔ)器1232處或提供所述經(jīng)色調(diào)映射的圖像數(shù)據(jù)以經(jīng)由無(wú)線接口 1240傳送。所述圖像數(shù)據(jù)可為通過(guò)組合使用第一曝光時(shí)間從相機(jī)1270接收的第一組圖像數(shù)據(jù)與使用第二曝光時(shí)間從相機(jī)1270接收的第二組圖像數(shù)據(jù)而產(chǎn)生的高動(dòng)態(tài)范圍(HDR)圖像數(shù)據(jù)。第一組圖像數(shù)據(jù)和第二組圖像數(shù)據(jù)可依序地俘獲于相機(jī)1270的單一傳感器處或可使用不同曝光條件同時(shí)俘獲于相機(jī)1270的多個(gè)傳感器處。所述第一組圖像數(shù)據(jù)的亮度值可基于所述第二曝光時(shí)間與所述第一曝光時(shí)間的比率而按比例調(diào)整且基于經(jīng)按比例調(diào)整的亮度值的第一有效動(dòng)態(tài)范圍與所述第二組圖像數(shù)據(jù)的第二有效動(dòng)態(tài)范圍之間的重疊而與所述第二組圖像數(shù)據(jù)選擇性地組合，以產(chǎn)生HDR圖像數(shù)據(jù)，例如關(guān)于圖6所描述。處理器1210可進(jìn)一步經(jīng)配置以處理所述HDR圖像數(shù)據(jù)以產(chǎn)生指示特定像素的鄰域內(nèi)的亮度變化的平直度映射并使用經(jīng)全域映射的圖像數(shù)據(jù)與經(jīng)局域映射的圖像數(shù)據(jù)的加權(quán)總和來(lái)確定所述特定像素的經(jīng)色調(diào)映射的像素值。所述加權(quán)總和的權(quán)重可基于所述特定像素的鄰域內(nèi)的亮度變化而確定。舉例來(lái)說(shuō)，處理器1210可實(shí)施圖3的變化模塊306或圖4的變化模塊 406。顯示控制器1226經(jīng)配置以接收所述經(jīng)處理的圖像數(shù)據(jù)并將所述經(jīng)處理的圖像數(shù)據(jù)提供到顯示裝置1228。此外，存儲(chǔ)器1232可經(jīng)配置以接收并存儲(chǔ)所述經(jīng)處理的圖像數(shù)據(jù)，且無(wú)線接口 1240可經(jīng)配置以接收所述經(jīng)處理的圖像數(shù)據(jù)以用于經(jīng)由天線1242進(jìn)行發(fā)射。在特定實(shí)施例中，信號(hào)處理器1210、顯示控制器1226、存儲(chǔ)器1232、CODEC 1234、 無(wú)線接口 1240和相機(jī)接口 1268包括于封裝中系統(tǒng)或芯片上系統(tǒng)裝置1222中。在特定實(shí)施例中，輸入裝置1230和電源1244耦合到芯片上系統(tǒng)裝置1222。此外，在特定實(shí)施例中，如圖12中所說(shuō)明，顯示裝置1228、輸入裝置1230、揚(yáng)聲器1236、麥克風(fēng)1238、無(wú)線天線1242、 視頻相機(jī)1270和電源1244處于芯片上系統(tǒng)裝置1222的外部。然而，顯示裝置1228、輸入裝置1230、揚(yáng)聲器1236、麥克風(fēng)1238、無(wú)線天線1242、視頻相機(jī)1270和電源1244中的每一者可耦合到芯片上系統(tǒng)裝置1222的一組件，例如，接口或控制器。技術(shù)人員將進(jìn)一步了解，可將結(jié)合本文中所揭示的實(shí)施例而描述的各種說(shuō)明性邏輯塊、配置、模塊、電路和算法步驟實(shí)施為電子硬件、計(jì)算機(jī)軟件或兩者的組合。為清楚地說(shuō)明硬件與軟件的此可互換性，各種說(shuō)明性組件、塊、配置、模塊、電路和步驟已在上文大體按其功能性加以描述。將此功能性實(shí)施為硬件還是軟件取決于特定應(yīng)用和強(qiáng)加于整個(gè)系統(tǒng)上的設(shè)計(jì)約束。熟練的技術(shù)人員可以變化的方式針對(duì)每一特定應(yīng)用實(shí)施所描述的功能性，但此類實(shí)施決策不應(yīng)被解釋為導(dǎo)致脫離本發(fā)明的范圍。結(jié)合本文中所揭示的實(shí)施例而描述的方法或算法的步驟可直接以硬件、以由處理器執(zhí)行的軟件模塊或以兩者的組合來(lái)體現(xiàn)。軟件模塊可駐留于隨機(jī)存取存儲(chǔ)器(RAM)、快閃存儲(chǔ)器、只讀存儲(chǔ)器(ROM)、可編程只讀存儲(chǔ)器(PR0M)、可擦除可編程只讀存儲(chǔ)器(EPROM)、 電可擦除可編程只讀存儲(chǔ)器(EEPROM)、寄存器、硬盤、可裝卸盤、緊密光盤只讀存儲(chǔ)器 (CD-ROM)，或此項(xiàng)技術(shù)中已知的任何其它形式的存儲(chǔ)媒體中。將示范性存儲(chǔ)媒體耦合到處理器，使得所述處理器可從所述存儲(chǔ)媒體讀取信息和將信息寫入到所述存儲(chǔ)媒體。在替代方案中，存儲(chǔ)媒體可與處理器成一體式。處理器和存儲(chǔ)媒體可駐留于專用集成電路(ASIC) 中。ASIC可駐留于計(jì)算裝置或用戶終端中。在替代方案中，處理器和存儲(chǔ)媒體可作為離散組件而駐留于計(jì)算裝置或用戶終端中。提供所揭示的實(shí)施例的先前描述以使得所屬領(lǐng)域的任何技術(shù)人員能夠制造或使用所揭示的實(shí)施例。所屬領(lǐng)域的技術(shù)人員將容易了解對(duì)這些實(shí)施例的各種修改，且可在不脫離本發(fā)明的范圍的情況下將本文中所界定的原理應(yīng)用于其它實(shí)施例。因此，本發(fā)明不希望限于本文所展示的實(shí)施例，而是應(yīng)被賦予與由所附權(quán)利要求書所界定的原理和新穎特征一致的可能的最廣范圍。
權(quán)利要求
1.一種方法，其包含從圖像傳感器接收第一圖像數(shù)據(jù)，所述第一圖像數(shù)據(jù)是使用第一曝光時(shí)間而產(chǎn)生； 從所述圖像傳感器接收第二圖像數(shù)據(jù)，所述第二圖像數(shù)據(jù)是使用大于所述第一曝光時(shí)間的第二曝光時(shí)間而產(chǎn)生；基于所述第二曝光時(shí)間與所述第一曝光時(shí)間的比率而按比例調(diào)整所述第一圖像數(shù)據(jù)的亮度值以產(chǎn)生經(jīng)按比例調(diào)整的第一圖像數(shù)據(jù)；基于所述經(jīng)按比例調(diào)整的第一圖像數(shù)據(jù)的第一有效動(dòng)態(tài)范圍與所述第二圖像數(shù)據(jù)的第二有效動(dòng)態(tài)范圍之間的重疊來(lái)選擇性地組合所述經(jīng)按比例調(diào)整的第一圖像數(shù)據(jù)與所述第二圖像數(shù)據(jù)以產(chǎn)生高動(dòng)態(tài)范圍(HDR)圖像；產(chǎn)生色調(diào)映射以壓縮所述HDR圖像的動(dòng)態(tài)范圍，其中產(chǎn)生所述色調(diào)映射包括基于所述 HDR圖像的每一像素的鄰域內(nèi)的亮度變化而確定全域色調(diào)映射值與局域色調(diào)映射值的逐像素加權(quán)；以及提供具有所述HDR圖像的所述經(jīng)壓縮的動(dòng)態(tài)范圍的經(jīng)色調(diào)映射的圖像以顯示于顯示裝置處。
2.根據(jù)權(quán)利要求1所述的方法，其中基于所述第一圖像數(shù)據(jù)的第一飽和度、第一黑暗度和第一噪聲下限而確定所述第一有效動(dòng)態(tài)范圍，且其中基于所述第二圖像數(shù)據(jù)的第二飽和度、第二黑暗度和第二噪聲下限而確定所述第二有效動(dòng)態(tài)范圍。
3.根據(jù)權(quán)利要求1所述的方法，其中基于大體上居中于所述第一噪聲下限的第一S形函數(shù)和大體上居中于所述第二飽和度減所述第二黑暗度的第二 S形函數(shù)而選擇性地組合所述經(jīng)按比例調(diào)整的第一圖像數(shù)據(jù)與所述第二圖像數(shù)據(jù)。
4.一種方法，其包含基于第一圖像數(shù)據(jù)的亮度分布而調(diào)整所述第一圖像數(shù)據(jù)的第一亮度值以產(chǎn)生第二圖像數(shù)據(jù)；基于所述第二圖像數(shù)據(jù)的區(qū)域的局域亮度分布而調(diào)整所述第二圖像數(shù)據(jù)的所述區(qū)域的第二亮度值以產(chǎn)生經(jīng)局域調(diào)整的圖像數(shù)據(jù)；以及產(chǎn)生具有比所述第一圖像數(shù)據(jù)小的動(dòng)態(tài)范圍的第三圖像數(shù)據(jù)，其中對(duì)應(yīng)于所述第二圖像數(shù)據(jù)的所述區(qū)域的所述第三圖像數(shù)據(jù)的亮度值是通過(guò)基于所述第二圖像數(shù)據(jù)的所述區(qū)域內(nèi)的所述第二圖像數(shù)據(jù)的亮度變化而組合所述經(jīng)局域調(diào)整的圖像數(shù)據(jù)與所述區(qū)域內(nèi)的所述第二圖像數(shù)據(jù)來(lái)確定。
5.根據(jù)權(quán)利要求4所述的方法，其中調(diào)整所述第一亮度值包含 確定所述第一圖像數(shù)據(jù)的像素亮度值的直方圖；基于均一分布程度對(duì)所述直方圖的范圍設(shè)上限； 使所述經(jīng)設(shè)上限的直方圖標(biāo)準(zhǔn)化； 確定所述經(jīng)標(biāo)準(zhǔn)化的直方圖的累積分布函數(shù)(CDF)；以及將所述CDF作為色調(diào)映射函數(shù)應(yīng)用于所述第一圖像數(shù)據(jù)以重映射所述第一亮度值。
6.根據(jù)權(quán)利要求4所述的方法，其中調(diào)整所述第二亮度值包含 將所述第二圖像數(shù)據(jù)劃分成多個(gè)區(qū)域；計(jì)算所述多個(gè)區(qū)域中的每一者的像素亮度值的直方圖； 確定對(duì)應(yīng)于所述多個(gè)區(qū)域中的每一者的局域色調(diào)映射函數(shù)；以及在所述局域色調(diào)映射函數(shù)之間執(zhí)行雙線性內(nèi)插以計(jì)算所述多個(gè)區(qū)域中的特定區(qū)域的特定像素的色調(diào)映射，其中所述局域色調(diào)映射函數(shù)對(duì)應(yīng)于所述多個(gè)區(qū)域中的與所述特定區(qū)域相鄰的區(qū)域。
7.根據(jù)權(quán)利要求4所述的方法，其進(jìn)一步包含通過(guò)針對(duì)所述區(qū)域內(nèi)的每一特定像素使用對(duì)應(yīng)于包括所述特定像素的像素的鄰域的所述第二圖像數(shù)據(jù)確定亮度方差與亮度平均值的比率而產(chǎn)生平直度映射。
8.根據(jù)權(quán)利要求4所述的方法，其中產(chǎn)生所述第三圖像數(shù)據(jù)以具有至少與所述第一圖像數(shù)據(jù)相同量的細(xì)節(jié)。
9.一種無(wú)線裝置，其包含處理器；以及存儲(chǔ)器，其可由所述處理器存取，其中所述處理器經(jīng)配置以基于圖像數(shù)據(jù)的多個(gè)像素中的每一特定像素的鄰域內(nèi)的亮度變化而產(chǎn)生包括所述特定像素的經(jīng)色調(diào)映射的像素值的經(jīng)色調(diào)映射的圖像數(shù)據(jù)，所述圖像數(shù)據(jù)對(duì)應(yīng)于相機(jī)處所俘獲的圖像，且其中所述處理器經(jīng)配置以提供所述經(jīng)色調(diào)映射的圖像數(shù)據(jù)以用于顯示。
10.根據(jù)權(quán)利要求9所述的無(wú)線裝置，其中所述處理器進(jìn)一步經(jīng)配置以將所述經(jīng)色調(diào)映射的圖像數(shù)據(jù)存儲(chǔ)于所述存儲(chǔ)器處。
11.根據(jù)權(quán)利要求9所述的無(wú)線裝置，其進(jìn)一步包含耦合到所述處理器的無(wú)線接口，且其中所述處理器進(jìn)一步經(jīng)配置以提供所述經(jīng)色調(diào)映射的圖像數(shù)據(jù)以經(jīng)由所述無(wú)線接口傳送。
12.根據(jù)權(quán)利要求9所述的無(wú)線裝置，其中所述圖像數(shù)據(jù)包括高動(dòng)態(tài)范圍(HDR)圖像數(shù)據(jù)，所述高動(dòng)態(tài)范圍圖像數(shù)據(jù)是通過(guò)組合使用第一曝光時(shí)間從所述相機(jī)接收的第一組圖像數(shù)據(jù)與使用第二曝光時(shí)間從所述相機(jī)接收的第二組圖像數(shù)據(jù)而產(chǎn)生。
13.根據(jù)權(quán)利要求12所述的無(wú)線裝置，其中所述第一組圖像數(shù)據(jù)的亮度值基于所述第二曝光時(shí)間與所述第一曝光時(shí)間的比率而按比例調(diào)整且基于所述經(jīng)按比例調(diào)整的亮度值的第一有效動(dòng)態(tài)范圍與所述第二組圖像數(shù)據(jù)的第二有效動(dòng)態(tài)范圍之間的重疊而與所述第二組圖像數(shù)據(jù)選擇性地組合，以產(chǎn)生所述HDR圖像數(shù)據(jù)。
14.根據(jù)權(quán)利要求13所述的無(wú)線裝置，其中所述處理器進(jìn)一步經(jīng)配置以處理所述HDR圖像數(shù)據(jù)以產(chǎn)生指示所述特定像素的所述鄰域內(nèi)的亮度變化的平直度映射；以及使用經(jīng)全域映射的圖像數(shù)據(jù)與經(jīng)局域映射的圖像數(shù)據(jù)的加權(quán)總和來(lái)確定所述特定像素的所述經(jīng)色調(diào)映射的像素值，其中所述加權(quán)總和的權(quán)重是基于所述特定像素的所述鄰域內(nèi)的所述亮度變化而確定。
15.根據(jù)權(quán)利要求9所述的無(wú)線裝置，其進(jìn)一步包含所述相機(jī)。
16.根據(jù)權(quán)利要求9所述的無(wú)線裝置，其進(jìn)一步包含顯示裝置。
17.一種設(shè)備，其包含用于基于圖像數(shù)據(jù)的多個(gè)像素中的每一特定像素的鄰域內(nèi)的亮度變化而產(chǎn)生包括所述特定像素的經(jīng)色調(diào)映射的像素值的經(jīng)色調(diào)映射的圖像數(shù)據(jù)的裝置，所述圖像數(shù)據(jù)對(duì)應(yīng)于相機(jī)處所俘獲的圖像，以及用于提供所述經(jīng)色調(diào)映射的圖像數(shù)據(jù)以用于顯示的裝置。
18.根據(jù)權(quán)利要求17所述的設(shè)備，其進(jìn)一步包含用于以無(wú)線方式傳送所述經(jīng)色調(diào)映射的圖像數(shù)據(jù)的裝置。
19.根據(jù)權(quán)利要求17所述的設(shè)備，其中所述圖像數(shù)據(jù)包括高動(dòng)態(tài)范圍(HDR)圖像數(shù)據(jù)， 所述高動(dòng)態(tài)范圍圖像數(shù)據(jù)是通過(guò)組合使用第一曝光時(shí)間從所述相機(jī)接收的第一組圖像數(shù)據(jù)與使用第二曝光時(shí)間從所述相機(jī)接收的第二組圖像數(shù)據(jù)而產(chǎn)生。
20.一種計(jì)算機(jī)可讀媒體，其包含在執(zhí)行時(shí)致使處理器執(zhí)行以下步驟的可執(zhí)行指令接收第一圖像數(shù)據(jù)；基于所述第一圖像數(shù)據(jù)的亮度分布而產(chǎn)生第二圖像數(shù)據(jù)；基于所述第二圖像數(shù)據(jù)的區(qū)域內(nèi)的局域亮度分布而產(chǎn)生經(jīng)局域調(diào)整的圖像數(shù)據(jù)；以及產(chǎn)生具有比所述第一圖像數(shù)據(jù)小的動(dòng)態(tài)范圍的第三圖像數(shù)據(jù)，其中對(duì)應(yīng)于所述第二圖像數(shù)據(jù)的所述區(qū)域的所述第三圖像數(shù)據(jù)的區(qū)域的亮度值是通過(guò)基于所述第二圖像數(shù)據(jù)的所述區(qū)域內(nèi)的所述第二圖像數(shù)據(jù)的亮度變化而組合所述經(jīng)局域調(diào)整的圖像數(shù)據(jù)與所述第二圖像數(shù)據(jù)來(lái)確定。
21.根據(jù)權(quán)利要求20所述的計(jì)算機(jī)可讀媒體，其中組合所述經(jīng)局域調(diào)整的圖像數(shù)據(jù)與所述第二圖像數(shù)據(jù)包括使用所述經(jīng)局域調(diào)整的圖像數(shù)據(jù)與所述區(qū)域內(nèi)的所述第二圖像數(shù)據(jù)的加權(quán)總和，且其中所述加權(quán)總和的權(quán)重是基于所述亮度變化。
22.根據(jù)權(quán)利要求20所述的計(jì)算機(jī)可讀媒體，其中所述第三圖像數(shù)據(jù)的所述區(qū)域內(nèi)的特定像素的亮度值是使用對(duì)應(yīng)于所述特定像素的所述第二圖像數(shù)據(jù)的第一值與對(duì)應(yīng)于所述特定像素的所述經(jīng)局域調(diào)整的圖像數(shù)據(jù)的第二值的加權(quán)總和而確定。
23.一種裝置，其包含全域映射模塊，其經(jīng)配置以在圖像的區(qū)域內(nèi)產(chǎn)生第一經(jīng)全域映射的亮度值；局域映射模塊，其經(jīng)配置以在所述圖像的所述區(qū)域內(nèi)產(chǎn)生第二經(jīng)局域映射的亮度值；以及組合模塊，其經(jīng)配置以使用所述第一經(jīng)全域映射的亮度值與所述第二經(jīng)局域映射的亮度值的加權(quán)總和來(lái)確定在輸出圖像的對(duì)應(yīng)區(qū)域內(nèi)的亮度值，其中所述加權(quán)總和的權(quán)重至少部分地基于所述圖像的所述區(qū)域內(nèi)的亮度變化。
24.根據(jù)權(quán)利要求23所述的裝置，其進(jìn)一步包含經(jīng)配置以產(chǎn)生對(duì)應(yīng)于所述圖像的一部分的平直度映射的變化模塊，其中所述平直度映射指示所述圖像的所述區(qū)域內(nèi)的所述亮度變化。
25.根據(jù)權(quán)利要求M所述的裝置，其中對(duì)應(yīng)于特定像素的所述平直度映射的條目同所述特定像素的鄰域內(nèi)的亮度方差與所述特定像素的所述鄰域內(nèi)的亮度平均數(shù)的比率成比例。
全文摘要
本發(fā)明揭示高動(dòng)態(tài)范圍圖像組合的系統(tǒng)和方法。在特定實(shí)施例中，一種裝置包括全域映射模塊，其經(jīng)配置以在圖像的區(qū)域內(nèi)產(chǎn)生第一經(jīng)全域映射的亮度值；局域映射模塊，其經(jīng)配置以在所述圖像的所述區(qū)域內(nèi)產(chǎn)生第二經(jīng)局域映射的亮度值；以及組合模塊，其經(jīng)配置以使用所述第一經(jīng)全域映射的亮度值和所述第二經(jīng)局域映射的亮度值的加權(quán)總和來(lái)確定輸出圖像的對(duì)應(yīng)區(qū)域內(nèi)的亮度值。所述加權(quán)總和的權(quán)重至少部分地基于所述圖像的所述區(qū)域內(nèi)的亮度變化。
文檔編號(hào)G06T5/50GK102257531SQ200980151306
公開(kāi)日2011年11月23日 申請(qǐng)日期2009年12月18日 優(yōu)先權(quán)日2008年12月19日
發(fā)明者卡林·M·阿塔納索夫, 李向川, 魯賓·M·貝拉爾德, 黃豪 申請(qǐng)人:高通股份有限公司