用于生成高動(dòng)態(tài)范圍圖像的圖像處理系統(tǒng)和圖像處理方法
【專利摘要】一種圖像處理系統(tǒng)用于從第一圖像和第二圖像生成高動(dòng)態(tài)范圍圖像的目的。所述系統(tǒng)包括第一位移估計(jì)器(22)，用于估計(jì)來源于所述第一圖像的參考圖像與來源于所述第二圖像的待扭曲圖像之間的圖像內(nèi)容的位移。此外，所述系統(tǒng)包括第一扭曲單元(23)，用于通過扭曲所述待扭曲圖像來補(bǔ)償所述估計(jì)位移從而得到第一扭曲圖像。此外，所述系統(tǒng)包括：第一誤差檢測(cè)器(24)，用于檢測(cè)所述第一扭曲圖像內(nèi)的幾何扭曲誤差；以及第一誤差補(bǔ)償器(25)，用于補(bǔ)償所述第一扭曲圖像內(nèi)的所述估計(jì)幾何扭曲誤差從而得到第一誤差校正圖像。所述系統(tǒng)還包括高動(dòng)態(tài)范圍計(jì)算器，用于基于所述第一誤差校正圖像和所述參考圖像計(jì)算所述高動(dòng)態(tài)范圍圖像。
【專利說明】
用于生成高動(dòng)態(tài)范圍圖像的圖像處理系統(tǒng)和圖像處理方法
技術(shù)領(lǐng)域
[0001]本發(fā)明涉及一種用于從至少兩個(gè)輸入圖像生成高動(dòng)態(tài)范圍圖像的圖像處理系統(tǒng)和圖像處理方法。
[0002]具體來說，本發(fā)明涉及一種在執(zhí)行高動(dòng)態(tài)范圍圖像計(jì)算之前處理輸入圖像的系統(tǒng)和方法。
【背景技術(shù)】
[0003]在與計(jì)算機(jī)視覺和計(jì)算攝影相關(guān)的許多應(yīng)用中，圖像配準(zhǔn)的主題發(fā)揮中心作用，確切地說，當(dāng)需要使一個(gè)圖像的像素與另一圖像中的對(duì)應(yīng)像素(描繪所捕獲場(chǎng)景中的同一點(diǎn)的像素)關(guān)聯(lián)時(shí)使用所述技術(shù)。
[0004]匹配不同圖像中的像素的問題在基于從多個(gè)圖像提取信息以便提高其質(zhì)量或檢測(cè)場(chǎng)景的幾何形狀的計(jì)算機(jī)視覺應(yīng)用中相當(dāng)常見。關(guān)于這點(diǎn)，通過圖像配準(zhǔn)解決的典型挑戰(zhàn)是:消除在立體圖像中觀測(cè)到的透視差；操縱動(dòng)態(tài)場(chǎng)景，其中可觀測(cè)所捕獲圖像的集合(例如，捕獲移動(dòng)對(duì)象的兩個(gè)順序圖像)中的運(yùn)動(dòng)；以及補(bǔ)償相機(jī)移動(dòng)，其中以手持式相機(jī)捕獲順序圖像。
[0005]因此，圖像配準(zhǔn)在高動(dòng)態(tài)范圍成像(high dynamic range imaging，HDRI)等屬于計(jì)算攝影的范圍內(nèi)的操縱情形中起到重要作用。HDRI使得能夠在計(jì)算上增加使用數(shù)碼相機(jī)捕獲的圖像的動(dòng)態(tài)范圍，所述數(shù)碼相機(jī)主要由于硬件局限性而不能還原現(xiàn)實(shí)世界場(chǎng)景的整個(gè)動(dòng)態(tài)范圍。用于HDRI的示范性方法依賴于以不同曝光(包圍曝光)捕獲若干圖像(以立體/多個(gè)相機(jī)循序或同時(shí)捕獲)，且隨后將所述圖像合并為高動(dòng)態(tài)范圍圖像。
[0006]基于從不同曝光的輸入圖像獲得的信息，估計(jì)逆相機(jī)響應(yīng)函數(shù)(camera responsefunct1n，CRF)，其使得能夠以增加的動(dòng)態(tài)范圍重構(gòu)場(chǎng)景光亮度映射圖(由相機(jī)傳感器作為輸入而接收的原始光能的估計(jì))。隨后使用色調(diào)映射操作將延伸后的動(dòng)態(tài)范圍重新映射為可由常用顯示器顯示的低動(dòng)態(tài)范圍格式。通常根據(jù)原始圖像的曝光水平指派不同權(quán)重，通過來自輸入圖像的對(duì)應(yīng)像素的加權(quán)和來計(jì)算光亮度映射圖。
[0007]本發(fā)明可應(yīng)用于用于CRF估計(jì)、色調(diào)映射和用于場(chǎng)景光亮度映射圖計(jì)算的加權(quán)的任何方法。
[0008]在循序地取得兩個(gè)或兩個(gè)以上圖像且假定所描繪的場(chǎng)景和相機(jī)是靜態(tài)的(在捕獲過程期間無運(yùn)動(dòng))情況下，高動(dòng)態(tài)范圍(high dynamic range，HDR)計(jì)算不存在特定問題。這是因?yàn)榧俣ㄝ斎雸D像完美地在幾何上對(duì)準(zhǔn)，這又意味著全部圖像內(nèi)容在所有輸入圖像中具有相同位置。然而，實(shí)際上這是極不常見的情況:通常，在以不同曝光設(shè)定捕獲輸入圖像所需要的時(shí)間期間，會(huì)發(fā)生捕獲裝置或場(chǎng)景中的對(duì)象的移動(dòng)。因此，所捕獲圖像不再完美地對(duì)準(zhǔn)。當(dāng)通過立體/多相機(jī)情況捕獲圖像時(shí)，同時(shí)的圖像捕獲不存在如順序捕獲中發(fā)生的移動(dòng)對(duì)象的問題。然而，相機(jī)之間的基線差異造成需要補(bǔ)償?shù)恼趽鹾屯敢暿д妗?br>[0009]在未正確地實(shí)行運(yùn)動(dòng)或視差補(bǔ)償?shù)那闆r下，通過加權(quán)錯(cuò)誤像素而計(jì)算圖像的某些區(qū)域中的光亮度映射圖，因此導(dǎo)致嚴(yán)重且明顯的鬼影假象。通過動(dòng)態(tài)改變或遮擋造成的具有失真的區(qū)域也將被稱作“鬼影區(qū)域”。
[0010]因此，HDRI和基于同一場(chǎng)景的多個(gè)圖像的其它應(yīng)用的質(zhì)量明顯取決于不同圖像之間的運(yùn)動(dòng)(或立體/多相機(jī)情境中的視差)補(bǔ)償操作以產(chǎn)生一致結(jié)果。
[0011]因移動(dòng)的相機(jī)或場(chǎng)景中的對(duì)象所致的運(yùn)動(dòng)或者立體/多相機(jī)基線的視差的補(bǔ)償表示一個(gè)重要研究領(lǐng)域，其目標(biāo)是減少鬼影區(qū)域中可觀測(cè)到的假象。對(duì)于開發(fā)了若干方法的2D(順序圖像)尤其如此。
[0012]用于運(yùn)動(dòng)和視差補(bǔ)償?shù)默F(xiàn)有方法可分類為主要兩組:第一組的運(yùn)動(dòng)補(bǔ)償技術(shù)旨在減少鬼影區(qū)域中的可見假象，僅基于一個(gè)圖像計(jì)算那些區(qū)域中的光亮度值。因此，這需要對(duì)鬼影區(qū)域的檢測(cè)。
[0013]最近，提出了用于檢測(cè)因在捕捉過程期間的相機(jī)運(yùn)動(dòng)所致的未對(duì)準(zhǔn)的方法。平移未對(duì)準(zhǔn)的檢測(cè)開始于應(yīng)用曝光不變的變換，因此檢測(cè)實(shí)現(xiàn)變換映射圖之間的最大相似性的平移。
[0014]基于此方法，提出了用于檢測(cè)因相機(jī)運(yùn)動(dòng)所致的平移未對(duì)準(zhǔn)和旋轉(zhuǎn)未對(duì)準(zhǔn)以及因在捕捉期間移動(dòng)對(duì)象所致的模糊區(qū)的另外的技術(shù)。
[0015]第二組的運(yùn)動(dòng)/視差補(bǔ)償技術(shù)是基于圖像配準(zhǔn)，以使得不要求相機(jī)設(shè)定(例如，曝光時(shí)間、逆CRF...)的先驗(yàn)知識(shí)且不需要鬼影區(qū)域的檢測(cè)。示范性方法使用基于能量的光流方法計(jì)算密集運(yùn)動(dòng)場(chǎng)，其對(duì)輸入圖像之間的照明差異是不變的。計(jì)算得出的運(yùn)動(dòng)向量用于圖像配準(zhǔn)并且因此用于運(yùn)動(dòng)補(bǔ)償?；谶@些已配準(zhǔn)圖像計(jì)算HDR圖像。
[0016]用于運(yùn)動(dòng)和視差補(bǔ)償?shù)纳鲜龇桨复嬖谌舾删窒扌裕浯蟛糠峙c實(shí)現(xiàn)算法的性能相關(guān)。舉例來說，第一組的方法以不同于圖像的其余部分的方式處理鬼影區(qū)域(即使用僅一個(gè)圖像用于HDR計(jì)算)，導(dǎo)致可見假象，可用所提出的發(fā)明來減少所述可見假象。
[0017]類似地，屬于通過運(yùn)動(dòng)估計(jì)的圖像配準(zhǔn)的范圍內(nèi)的方法可減小對(duì)相機(jī)設(shè)定的相依性，但它們明顯依賴于光流等運(yùn)動(dòng)/視差技術(shù)的性能。另外，如果未執(zhí)行旨在減少輸入圖像之間的明度差異的恰當(dāng)預(yù)處理，那么運(yùn)動(dòng)估計(jì)步驟的結(jié)果將不準(zhǔn)確。
[0018]舉例來說，歐洲專利申請(qǐng)EP2 395 748A2示出了用于生成高動(dòng)態(tài)范圍圖像的常規(guī)系統(tǒng)和方法。其中示出的系統(tǒng)和方法存在缺點(diǎn)，因?yàn)樗玫腍DRI圖像包括剩余誤差。

【發(fā)明內(nèi)容】

[0019]因此，本發(fā)明的目的是提供一種用于生成高動(dòng)態(tài)范圍圖像的系統(tǒng)和方法，其實(shí)現(xiàn)圖像配準(zhǔn)階段中的極高精度，因此得到高質(zhì)量HDR圖像。上述目標(biāo)通過所附獨(dú)立權(quán)利要求中提供的方案來實(shí)現(xiàn)。在相應(yīng)的從屬權(quán)利要求中界定有利的實(shí)施方案。
[0020]本發(fā)明的第一方面提供一種用于從第一圖像和第二圖像生成高動(dòng)態(tài)范圍圖像的圖像處理系統(tǒng)。所述系統(tǒng)包括第一位移估計(jì)器，用于估計(jì)從第一圖像來自的參考圖像與從第二圖像來自的待扭曲圖像之間的圖像內(nèi)容的位移。位移可表示為參考圖像與在像素、像素塊或子像素精度上待扭曲的圖像的不同部分之間的局部映射。此外所述系統(tǒng)包括第一扭曲單元，用于通過扭曲待扭曲圖像來補(bǔ)償估計(jì)位移從而得到第一扭曲圖像。此外，所述系統(tǒng)包括:第一誤差檢測(cè)器，用于檢測(cè)第一扭曲圖像內(nèi)的幾何扭曲誤差；以及第一誤差補(bǔ)償器，用于補(bǔ)償?shù)谝慌で鷪D像內(nèi)的估計(jì)幾何扭曲誤差從而得到第一誤差校正圖像。所述系統(tǒng)還包括高動(dòng)態(tài)范圍計(jì)算器，用于基于第一誤差校正圖像和參考圖像計(jì)算高動(dòng)態(tài)范圍圖像。通過執(zhí)行誤差補(bǔ)償，有可能大大減少在由高動(dòng)態(tài)范圍計(jì)算器使用的位移估計(jì)階段期間發(fā)生的誤差的數(shù)目。進(jìn)而實(shí)現(xiàn)具有減少的視覺假象的所得高動(dòng)態(tài)范圍圖像。
[0021]在根據(jù)本發(fā)明的第一方面的第一實(shí)施形式中，第一位移估計(jì)器用于通過估計(jì)光流和/或通過執(zhí)行基于塊的搜索和/或通過執(zhí)行塊匹配來估計(jì)圖像內(nèi)容的位移。進(jìn)而，用于運(yùn)動(dòng)/視差估計(jì)的全部現(xiàn)有方法可應(yīng)用于本發(fā)明。
[0022]根據(jù)本發(fā)明的第一方面的第二實(shí)施形式，第一誤差檢測(cè)器包括差單元，用于計(jì)算第一扭曲圖像的每個(gè)像素與參考圖像的對(duì)應(yīng)像素的強(qiáng)度差。第一誤差檢測(cè)器還包括直方圖單元，用于計(jì)算所確定的強(qiáng)度差的直方圖。此外，第一誤差檢測(cè)器包括:閾值確定單元，用于根據(jù)直方圖確定誤差閾值；以及誤差決定單元，用于通過比較強(qiáng)度差與閾值從而得到幾何扭曲誤差像素的二進(jìn)制映射圖來確定幾何扭曲誤差。進(jìn)而可達(dá)到檢測(cè)誤差的極高準(zhǔn)確性。
[0023]根據(jù)本發(fā)明的第一方面的第三實(shí)施形式，閾值確定單元用于確定誤差閾值以使得低于誤差閾值的差值指示光度誤差且高于誤差閾值的值指示幾何誤差。通過執(zhí)行光度誤差與幾何扭曲誤差之間的此準(zhǔn)確辨別，可實(shí)現(xiàn)進(jìn)一步提高所得HDR圖像質(zhì)量，因?yàn)樵试S在圖像獲取鏈的非靜止組件發(fā)源的誤差(光度誤差)與在配準(zhǔn)階段期間發(fā)生的誤差(幾何扭曲誤差)之間進(jìn)行區(qū)分。
[0024]通過分析直方圖的連續(xù)值的梯度且將閾值置于梯度最大的點(diǎn)中可自適應(yīng)地確定實(shí)現(xiàn)光度誤差與幾何扭曲誤差之間的更好分類或區(qū)別的誤差閾值。
[0025]根據(jù)本發(fā)明的第一方面的第四實(shí)施形式，差單元用于針對(duì)不同顏色通道獨(dú)立地計(jì)算強(qiáng)度差。誤差決定單元隨后用于比較顏色通道的強(qiáng)度差與誤差閾值，且在顏色通道的強(qiáng)度差中的至少一個(gè)強(qiáng)度差高于誤差閾值的情況下或在全部顏色通道的強(qiáng)度差高于誤差閾值的情況下確定像素的幾何扭曲誤差。進(jìn)而可實(shí)現(xiàn)進(jìn)一步提高所得HDR圖像質(zhì)量。
[0026]根據(jù)本發(fā)明的第一方面的第五實(shí)施形式，差單元用于針對(duì)不同顏色通道獨(dú)立地計(jì)算強(qiáng)度差。直方圖單元用于針對(duì)不同顏色通道計(jì)算獨(dú)立直方圖。閾值確定單元用于針對(duì)每個(gè)顏色通道確定獨(dú)立誤差閾值。誤差決定單元在此情況下用于比較顏色通道的強(qiáng)度差與相應(yīng)誤差閾值，且在顏色通道的強(qiáng)度差中的至少一個(gè)強(qiáng)度差高于相應(yīng)誤差閾值的情況下或在全部顏色通道的強(qiáng)度差高于相應(yīng)誤差閾值的情況下確定像素的幾何扭曲誤差。以略微更高的計(jì)算復(fù)雜性為代價(jià)，進(jìn)而可實(shí)現(xiàn)進(jìn)一步提高所得高動(dòng)態(tài)范圍圖像的質(zhì)量。
[0027]根據(jù)本發(fā)明的第一方面的第六實(shí)施形式，第一誤差補(bǔ)償器包括搜索窗設(shè)定單元，用于在檢測(cè)到幾何扭曲誤差的第一扭曲圖像的每個(gè)像素周圍設(shè)定預(yù)定的或用戶定義的大小的搜索窗。誤差補(bǔ)償器還包括有效像素檢測(cè)單元，用于確定在每個(gè)搜索窗內(nèi)的哪些像素處未檢測(cè)到幾何扭曲誤差從而得到每個(gè)搜索窗的有效像素。誤差補(bǔ)償器還包括校正值確定單元，用于將檢測(cè)到幾何扭曲誤差的第一扭曲圖像的像素的校正值各自計(jì)算為相應(yīng)搜索窗的有效像素中的至少一些的強(qiáng)度的平均值。此外，誤差補(bǔ)償器包括校正值替換單元，用于通過相應(yīng)計(jì)算得出的校正值替換檢測(cè)到幾何扭曲誤差的第一扭曲圖像的像素從而得到第一誤差校正圖像。進(jìn)而實(shí)現(xiàn)所得高質(zhì)量高動(dòng)態(tài)范圍圖像，同時(shí)僅需要低計(jì)算復(fù)雜性。
[0028]根據(jù)按照本發(fā)明的第一方面的第七實(shí)施形式，校正值確定單元用于將校正值各自計(jì)算為僅有效像素的強(qiáng)度的平均值，有效像素與當(dāng)前校正像素的強(qiáng)度值的強(qiáng)度值差低于預(yù)定的或用戶可選的校正閾值。進(jìn)而可防止使用例如因存在邊界的邊緣而致的與待校正像素不相關(guān)的區(qū)的像素值從而導(dǎo)致不完全的誤差校正。
[0029]根據(jù)本發(fā)明的第一方面的第八實(shí)施形式，第一誤差補(bǔ)償器包括加權(quán)單元，用于基于第一扭曲圖像的強(qiáng)度梯度執(zhí)行搜索窗內(nèi)的有效像素的加權(quán)，其中將較低權(quán)重分配給邊緣和邊界等高梯度值的像素，且其中將較高權(quán)重分配給低梯度值的像素，從而得到加權(quán)映射圖。
[0030]可從幾何扭曲誤差的二進(jìn)制映射圖確定有效像素。校正值確定單元用于在計(jì)算校正值之前對(duì)搜索窗的值像素進(jìn)行加權(quán)。進(jìn)而可實(shí)現(xiàn)進(jìn)一步提高所得HDR圖像質(zhì)量。
[0031]根據(jù)本發(fā)明的第一方面的第九實(shí)施形式，圖像處理系統(tǒng)進(jìn)一步包括第一曝光補(bǔ)償單元，用于通過改變第一圖像的和/或第二圖像的亮度和/或飽和度來補(bǔ)償由于不同曝光時(shí)間所致的第一圖像和第二圖像中的顏色和明度差異從而得到參考圖像和待扭曲圖像。這得到圖像扭曲的甚至更高的質(zhì)量。替代地，第一圖像可直接用作參考圖像且第二圖像可直接作為待扭曲圖像。這使得降低計(jì)算復(fù)雜性。
[0032]根據(jù)本發(fā)明的第一方面的第十實(shí)施形式，圖像處理系統(tǒng)進(jìn)一步包括:第二位移估計(jì)器，用于估計(jì)參考圖像與從第三圖像來自的又一待扭曲圖像之間的圖像內(nèi)容的位移；以及第二扭曲單元，用于通過扭曲又一待扭曲圖像來補(bǔ)償檢測(cè)到的位移從而得到第二扭曲圖像。此外，圖像處理系統(tǒng)包括:第二誤差檢測(cè)器，用于檢測(cè)第二扭曲圖像內(nèi)的幾何扭曲誤差；以及第二誤差補(bǔ)償器，用于補(bǔ)償?shù)诙で鷪D像中的檢測(cè)到的幾何扭曲誤差從而得到第二誤差校正圖像。高動(dòng)態(tài)范圍計(jì)算器用于基于第一誤差校正圖像、第二誤差校正圖像和參考圖像計(jì)算高動(dòng)態(tài)范圍圖像。通過使用兩個(gè)以上圖像，可實(shí)現(xiàn)進(jìn)一步提高所得HDR圖像質(zhì)量。
[0033]包含三個(gè)以上圖像的系統(tǒng)的擴(kuò)展采取此實(shí)施形式中論述的同一方法，其中添加用于補(bǔ)償檢測(cè)到的位移的多個(gè)扭曲單元、多個(gè)誤差檢測(cè)和多個(gè)誤差補(bǔ)償以補(bǔ)償多個(gè)扭曲圖像中的檢測(cè)到的幾何扭曲誤差。
[0034]根據(jù)本發(fā)明的第二方面，提供一種用于從第一圖像和第二圖像生成高動(dòng)態(tài)范圍圖像的方法。估計(jì)從第一圖像來自的參考圖像與從第二圖像來自的待扭曲圖像之間的圖像內(nèi)容的位移。通過扭曲待扭曲圖像來補(bǔ)償估計(jì)位移從而得到第一扭曲圖像。檢測(cè)且補(bǔ)償此第一扭曲圖像內(nèi)的幾何扭曲誤差從而得到第一誤差校正圖像?；诘谝徽`差校正圖像和參考圖像計(jì)算高動(dòng)態(tài)范圍圖像。因此，所得HDR圖像的高質(zhì)量是可能的。
[0035]根據(jù)本發(fā)明的第二方面的第一實(shí)施形式，通過計(jì)算光流和/或通過執(zhí)行基于塊的搜索和/或通過執(zhí)行塊匹配來估計(jì)圖像內(nèi)容的位移。進(jìn)而以低計(jì)算成本實(shí)現(xiàn)位移估計(jì)的高準(zhǔn)確性。
[0036]根據(jù)本發(fā)明的第二方面的第二實(shí)施形式，計(jì)算第一扭曲圖像的每個(gè)像素與參考圖像的對(duì)應(yīng)像素的強(qiáng)度差。根據(jù)這些強(qiáng)度差計(jì)算直方圖。根據(jù)直方圖計(jì)算誤差閾值。通過比較強(qiáng)度差與閾值從而得到幾何扭曲誤差像素的二進(jìn)制映射圖來確定幾何扭曲誤差。進(jìn)而可實(shí)現(xiàn)檢測(cè)到的幾何扭曲誤差的高準(zhǔn)確性。可根據(jù)強(qiáng)度差的直方圖的統(tǒng)計(jì)數(shù)據(jù)自適應(yīng)地選擇閾值。
[0037]根據(jù)本發(fā)明的第二方面的第三實(shí)施形式，確定閾值以使得低于閾值的差值指示光度誤差且高于誤差閾值的值指示幾何誤差。通過執(zhí)行光度誤差與幾何誤差之間的此辨別，可防止通過意外地校正光度差而引入額外誤差。
[0038]根據(jù)本發(fā)明的第二方面的第四實(shí)施形式，針對(duì)不同顏色通道獨(dú)立地計(jì)算強(qiáng)度差。將顏色通道的強(qiáng)度差與誤差閾值進(jìn)行比較。在顏色通道的強(qiáng)度差中的至少一個(gè)強(qiáng)度差或一個(gè)個(gè)別像素的全部顏色通道的強(qiáng)度差高于誤差閾值的情況下檢測(cè)到像素的幾何扭曲誤差。進(jìn)而可實(shí)現(xiàn)進(jìn)一步提高所得HDR圖像的圖像質(zhì)量。
[0039]根據(jù)本發(fā)明的第二方面的第五實(shí)施形式，針對(duì)不同顏色通道獨(dú)立地計(jì)算強(qiáng)度差。并且，針對(duì)不同顏色通道計(jì)算獨(dú)立直方圖。還針對(duì)每個(gè)顏色通道獨(dú)立地確定誤差閾值。將顏色通道的強(qiáng)度差與相應(yīng)誤差閾值進(jìn)行比較。在顏色通道的強(qiáng)度差中的至少一個(gè)強(qiáng)度差高于相應(yīng)誤差閾值的情況下或在全部顏色通道的強(qiáng)度差高于相應(yīng)誤差閾值的情況下檢測(cè)到像素的扭曲誤差。以略微增加的計(jì)算復(fù)雜性為代價(jià)，進(jìn)而可實(shí)現(xiàn)進(jìn)一步提高所得HDR圖像質(zhì)量。
[0040]根據(jù)本發(fā)明的第二方面的第六實(shí)施形式，在檢測(cè)到幾何扭曲誤差的第一扭曲圖像的每個(gè)像素周圍設(shè)定預(yù)定的或用戶定義的大小的搜索窗。檢測(cè)在每個(gè)搜索窗內(nèi)的哪些像素處未檢測(cè)到幾何扭曲誤差，從而得到每個(gè)搜索窗的有效像素。將檢測(cè)到幾何扭曲誤差的第一扭曲圖像的像素的校正值各自計(jì)算為相應(yīng)搜索窗的有效像素中的至少一些的強(qiáng)度的平均值。通過相應(yīng)計(jì)算得出的校正值替換檢測(cè)到幾何扭曲誤差的第一扭曲圖像的像素從而得到第一誤差校正圖像。以低計(jì)算復(fù)雜性為代價(jià)，實(shí)現(xiàn)大大提高所得高動(dòng)態(tài)范圍圖像的質(zhì)量。
[0041]根據(jù)本發(fā)明的第二方面的第七實(shí)施形式，將校正值各自計(jì)算為僅有效像素的強(qiáng)度的平均值，有效像素與當(dāng)前校正像素的強(qiáng)度值的強(qiáng)度值差低于預(yù)定的或用戶可選的校正閾值。進(jìn)而防止引入額外誤差，從而得到高輸出圖像質(zhì)量。
[0042]根據(jù)本發(fā)明的第二方面的第八實(shí)施形式，基于第一扭曲圖像的強(qiáng)度梯度和幾何扭曲誤差的二進(jìn)制映射圖計(jì)算加權(quán)映射圖。將較低權(quán)重分配給邊緣和邊界等高梯度值的像素，且將較高權(quán)重分配給低梯度值的像素，從而得到加權(quán)映射圖。僅在已經(jīng)使用加權(quán)映射圖對(duì)搜索窗的有效像素進(jìn)行加權(quán)之后計(jì)算像素的校正值。進(jìn)而實(shí)現(xiàn)進(jìn)一步提高所得高動(dòng)態(tài)范圍圖像質(zhì)量。
[0043]根據(jù)本發(fā)明的第二方面的第九實(shí)施形式，通過改變第一圖像或第二圖像的亮度和/或飽和度來補(bǔ)償?shù)谝粓D像和第二圖像的不同曝光時(shí)間從而得到參考圖像和待扭曲圖像。以略微增加的計(jì)算復(fù)雜性為代價(jià)，可達(dá)到進(jìn)一步提高所得HDR圖像質(zhì)量。替代地，第一圖像和第二圖像可直接用作參考圖像和待扭曲圖像。這得到較低的計(jì)算復(fù)雜性和略微降低所得高動(dòng)態(tài)范圍圖像質(zhì)量。
[0044]根據(jù)本發(fā)明的第二方面的第十實(shí)施形式，計(jì)算參考圖像與從第三圖像來自的又一待扭曲圖像之間的圖像內(nèi)容的位移。通過扭曲又一待扭曲圖像來補(bǔ)償估計(jì)位移從而得到第二扭曲圖像。檢測(cè)并補(bǔ)償?shù)诙で鷪D像內(nèi)的幾何扭曲誤差從而得到第二誤差校正圖像。根據(jù)第一誤差校正圖像、第二誤差校正圖像和參考圖像計(jì)算高動(dòng)態(tài)范圍圖像。進(jìn)而可實(shí)現(xiàn)甚至更高的輸出圖像質(zhì)量。
[0045]根據(jù)本發(fā)明的第三方面，提供一種計(jì)算機(jī)程序，其具有程序代碼工具，所述程序代碼工具用于在所述程序在計(jì)算機(jī)或數(shù)字信號(hào)處理器上執(zhí)行的情況下執(zhí)行一些或全部先前所示步驟或執(zhí)行根據(jù)第二方面或其實(shí)施形式中的任一實(shí)施形式的方法。
[0046]根據(jù)本發(fā)明的第四方面，提供一種計(jì)算機(jī)程序產(chǎn)品，其具有存儲(chǔ)有程序代碼工具的計(jì)算機(jī)可讀媒體，所述程序代碼工具用于在所述程序在計(jì)算機(jī)或數(shù)字信號(hào)處理器上執(zhí)行的情況下執(zhí)行一些或全部先前所示步驟或執(zhí)行根據(jù)第二方面或其實(shí)施形式中的任一實(shí)施形式的方法。
[0047]通常，必須注意，在本申請(qǐng)案中所描述的所有布置、裝置、元件、單元和工具等可以通過任何種類的軟件或硬件元件或其組合來實(shí)施。通過本申請(qǐng)案中所描述的各種實(shí)體執(zhí)行的所有步驟以及描述成將通過各種實(shí)體執(zhí)行的功能性意指對(duì)應(yīng)的實(shí)體適于或用于執(zhí)行對(duì)應(yīng)的步驟和功能性。即使在以下描述或具體實(shí)施例中，將由一般實(shí)體執(zhí)行的具體功能性或步驟并未反映在執(zhí)行所述具體步驟或功能性的所述實(shí)體的元件的描述中或具體針對(duì)所述元件，熟練技術(shù)人員也應(yīng)該清楚，這些方法和功能性可以用相應(yīng)的軟件或硬件元件或其任何組合實(shí)施。
【附圖說明】
[0048]下文相對(duì)于本發(fā)明的實(shí)施例且參考附圖詳細(xì)闡述本發(fā)明，在附圖中
[0049]圖1示出了創(chuàng)造性系統(tǒng)的實(shí)施例，
[0050]圖2示出了創(chuàng)造性系統(tǒng)的實(shí)施例的第一細(xì)節(jié)，
[0051]圖3示出了創(chuàng)造性系統(tǒng)的實(shí)施例的第二細(xì)節(jié)，
[0052]圖4示出了創(chuàng)造性系統(tǒng)的實(shí)施例的第三細(xì)節(jié)，以及
[0053]圖5示出了創(chuàng)造性方法的實(shí)施例。
【具體實(shí)施方式】
[0054]在圖1中示出了創(chuàng)造性圖像處理系統(tǒng)I的實(shí)施例。圖像處理系統(tǒng)I包括圖像輸入單元10，所述圖像輸入單元又包括用于同時(shí)捕獲第一圖像和第二圖像的第一相機(jī)11和第二相機(jī)12。替代地，圖像輸入單元10可包括僅單個(gè)相機(jī)以用于連續(xù)捕獲第一圖像和第二圖像以及可能另外的圖像。此外，圖像處理系統(tǒng)完全無須包括任何相機(jī)。在此情況下圖像輸入單元10僅是用于輸入預(yù)記錄圖像的界面。連接到圖像輸入單元的是圖像處理單元20，且連接到圖像單元處理單元20的是高動(dòng)態(tài)范圍計(jì)算器80。由圖像輸入單元10提供的圖像由圖像處理單元20處理。圖2到圖4中示出關(guān)于圖像處理單元20的細(xì)節(jié)。所得參考圖像和至少一個(gè)所得誤差校正圖像被傳遞到高動(dòng)態(tài)范圍計(jì)算器80，所述高動(dòng)態(tài)范圍計(jì)算器基于這些圖像計(jì)算高動(dòng)態(tài)范圍圖像。
[0055]在圖2中，描繪圖1中所示的創(chuàng)造性圖像處理系統(tǒng)的實(shí)施例的第一細(xì)節(jié)。尤其在圖2中，詳細(xì)示出圖1的圖像處理單元20的內(nèi)部工作。圖像處理單元20任選地包括曝光補(bǔ)償單元21，所述曝光補(bǔ)償單元用于通過改變第一圖像的和/或第二圖像的亮度和/或飽和度來補(bǔ)償由圖像輸入單元10提供的第一圖像和第二圖像的不同曝光時(shí)間從而得到參考圖像和待扭曲圖像。
[0056]此外，圖像處理單元20包括位移估計(jì)器22，所述位移估計(jì)器連接到圖像輸入單元1和曝光補(bǔ)償21。圖像處理單元20還包括扭曲單元23，所述扭曲單元連接到位移估計(jì)器22、曝光補(bǔ)償單元21和圖1的圖像輸入單元10。此外，圖像處理單元20包括誤差檢測(cè)器24，所述誤差檢測(cè)器連接到扭曲單元23和曝光補(bǔ)償單元21。圖像處理單元20還包括誤差補(bǔ)償器25，所述誤差補(bǔ)償器還連接到誤差檢測(cè)器24、扭曲單元23和曝光補(bǔ)償單元21。在圖像處理單元20不包括曝光補(bǔ)償單元21的情況下，位移估計(jì)器22、誤差檢測(cè)器24和誤差補(bǔ)償器25直接連接到圖像輸入單元10而不是曝光補(bǔ)償單元21。
[0057]通過圖像輸入單元10將第一圖像和第二圖像提供到圖像處理單元20。任選地，曝光補(bǔ)償單元21通過修正第一圖像的強(qiáng)度和/或飽和度和/或亮度以更接近地匹配第二圖像的強(qiáng)度、飽和度和亮度來對(duì)第一圖像進(jìn)行曝光補(bǔ)償。將所得參考圖像和第二圖像提供到位移估計(jì)器22，所述位移估計(jì)器估計(jì)從第一圖像來自的參考圖像與從第二圖像來自的待扭曲圖像之間的圖像內(nèi)容的位移。在執(zhí)行曝光補(bǔ)償?shù)那闆r下，參考圖像是經(jīng)曝光補(bǔ)償?shù)牡谝粓D像。在未執(zhí)行曝光補(bǔ)償?shù)那闆r下，參考圖像是第一圖像。在此實(shí)例中，待扭曲圖像是第二圖像。替代地，第二圖像也可經(jīng)曝光補(bǔ)償以獲得待扭曲圖像。
[0058]第一位移估計(jì)器22有利地用于通過估計(jì)光流和/或通過執(zhí)行基于塊的搜索和/或通過執(zhí)行塊匹配來估計(jì)圖像內(nèi)容的位移。
[0059]將圖像內(nèi)容的估計(jì)位移傳遞到扭曲單元23。此外，將待扭曲圖像提供到扭曲單元23。所述扭曲單元用于通過扭曲待扭曲圖像來補(bǔ)償估計(jì)位移從而得到第一扭曲圖像。將此第一扭曲圖像傳遞到誤差檢測(cè)器24。而且對(duì)誤差檢測(cè)器24提供參考圖像。誤差檢測(cè)器檢測(cè)第一扭曲圖像內(nèi)的幾何扭曲誤差。關(guān)于誤差檢測(cè)器的功能，參考關(guān)于圖3的稍后詳細(xì)闡述。
[0060]將第一扭曲圖像內(nèi)的所得的檢測(cè)到的幾何扭曲誤差傳遞到誤差補(bǔ)償器25。而且通過扭曲單元23為誤差補(bǔ)償器提供第一扭曲圖像。誤差補(bǔ)償器25用于補(bǔ)償?shù)谝慌で鷪D像中的檢測(cè)到的幾何扭曲誤差，從而得到第一誤差校正圖像。關(guān)于誤差補(bǔ)償器25的功能，參考關(guān)于圖4的稍后詳細(xì)闡述。將所得第一誤差校正圖像和參考圖像傳遞到圖1的高動(dòng)態(tài)范圍計(jì)算器80，所述高動(dòng)態(tài)范圍計(jì)算器基于第一誤差校正圖像和參考圖像來計(jì)算高動(dòng)態(tài)范圍圖像。
[0061]在圖3中，示出創(chuàng)造性圖像處理系統(tǒng)的實(shí)施例的另一細(xì)節(jié)。在圖3中，示出圖2的誤差檢測(cè)器24的內(nèi)部工作。誤差檢測(cè)器24包括差單元30，所述差單元連接到圖2的曝光補(bǔ)償單元21和圖2的扭曲單元23。在無圖2中的曝光補(bǔ)償單元21的情況下，誤差檢測(cè)器直接連接到圖1的圖像輸入單元10。此外，誤差檢測(cè)器24包括連接到差單元30的直方圖單元31。其還包括連接到直方圖單元31的閾值確定單元32。此外，其包括連接到閾值確定單元32的誤差決定單元33。
[0062]為差單元30提供參考圖像和第一扭曲圖像。差單元30用于計(jì)算第一扭曲圖像的每個(gè)像素與參考圖像的對(duì)應(yīng)像素的強(qiáng)度差。將所得強(qiáng)度差傳遞到直方圖單元31，所述直方圖單元用于計(jì)算所確定的強(qiáng)度差的直方圖。將所述直方圖傳遞到閾值確定單元32，所述閾值確定單元用于根據(jù)直方圖確定誤差閾值。選擇此誤差閾值以使得低于閾值的強(qiáng)度差被視為光度誤差且高于閾值的強(qiáng)度差被視為幾何誤差。將所確定的誤差閾值傳遞到誤差決定單元33，所述誤差決定單元針對(duì)每個(gè)計(jì)算得出的強(qiáng)度差決定光度誤差或幾何誤差是否存在。誤差決定單元33隨后允許識(shí)別幾何扭曲誤差像素，例如創(chuàng)建二進(jìn)制映射圖，其中將不同值分配給幾何扭曲誤差像素或光度誤差。為了限制存儲(chǔ)器消耗，可創(chuàng)建索引表或查找表，指示已檢測(cè)到幾何扭曲誤差的像素位置的索引。
[0063]可以不同方式確定誤差閾值，例如計(jì)算直方圖的不同值之間的梯度且將閾值置于梯度最大的點(diǎn)中。然而，可應(yīng)用用于計(jì)算此閾值的任何其它方法。
[0064]有利地，如果第一圖像和第二圖像以及因此還有參考圖像和待扭曲圖像是彩色圖像，那么差單元30用于針對(duì)每個(gè)顏色通道獨(dú)立地計(jì)算強(qiáng)度差。直方圖單元31隨后也用于針對(duì)每個(gè)不同顏色通道計(jì)算獨(dú)立強(qiáng)度差直方圖。閾值確定單元33用于基于全部不同強(qiáng)度差直方圖計(jì)算單個(gè)誤差閾值，或基于不同顏色通道強(qiáng)度差直方圖計(jì)算不同顏色通道的不同誤差閾值。誤差決定單元33接著用于通過將個(gè)別顏色通道的強(qiáng)度差與相應(yīng)誤差閾值進(jìn)行比較而在光度誤差與幾何誤差之間做出決定。如果強(qiáng)度差中的至少一個(gè)強(qiáng)度差大于相應(yīng)閾值，那么決定幾何誤差。替代地，為了防止意外的幾何扭曲誤差檢測(cè)，誤差決定單元33還可用于僅在不同顏色通道的全部強(qiáng)度差均高于相應(yīng)閾值的情況下才決定幾何扭曲誤差。
[0065]在圖4中，示出創(chuàng)造性圖像處理系統(tǒng)的實(shí)施例的第三細(xì)節(jié)。在圖4中，以框圖示出圖2的誤差補(bǔ)償器25的內(nèi)部工作。誤差補(bǔ)償器25任選地包括加權(quán)單元40，所述加權(quán)單元連接到搜索窗設(shè)定單元41，所述搜索窗設(shè)定單元又連接到有效像素檢測(cè)單元42。有效像素檢測(cè)單元42還連接到校正值確定單元43，所述校正值確定單元又連接到校正值替換單元44。加權(quán)單元40此外還連接到校正值確定單元43。此外，為加權(quán)單元30、搜索窗設(shè)定單元41、校正值確定單元43和校正單元替換單元44提供第一扭曲圖像。
[0066]通過圖2的誤差檢測(cè)器24為加權(quán)單元40提供幾何扭曲誤差像素的二進(jìn)制映射圖。加權(quán)單元40隨后任選地基于幾何扭曲誤差的二進(jìn)制映射圖和第一扭曲圖像的強(qiáng)度梯度來執(zhí)行由搜索窗設(shè)定單元41選擇的像素的加權(quán)。將較低權(quán)重分配給邊緣和邊界等高梯度值的像素。將較高權(quán)重分配給低梯度值的像素，從而得到加權(quán)映射圖。因此，與例如位于平坦區(qū)中的像素相比，沿著邊界和邊緣的像素在重要性上降低。
[0067]搜索窗設(shè)定單元41用于圍繞檢測(cè)到幾何扭曲誤差的第一扭曲圖像的每個(gè)像素設(shè)定預(yù)定的或用戶定義的大小的搜索窗。將關(guān)于這些搜索窗的信息傳遞到有效像素檢測(cè)單元42，所述有效像素檢測(cè)單元使用二進(jìn)制映射圖的信息確定在每個(gè)搜索窗內(nèi)的哪些像素處未檢測(cè)到幾何扭曲誤差，從而得到每個(gè)搜索窗的有效像素。將關(guān)于有效像素的信息傳遞到校正值確定單元43，所述校正值確定單元通過計(jì)算搜索窗的有效像素中的至少一些的強(qiáng)度的平均值來計(jì)算檢測(cè)到幾何扭曲誤差的第一扭曲圖像的像素的校正值。由加權(quán)單元40提供的加權(quán)映射圖用于在計(jì)算校正值之前對(duì)搜索窗的有效像素進(jìn)行加權(quán)。
[0068]將所得校正值傳遞到校正值替換單元44，所述校正值替換單元通過相應(yīng)計(jì)算得出的校正值替換檢測(cè)到幾何扭曲誤差的第一扭曲圖像的像素，從而得到第一誤差校正圖像。
[0069]還相應(yīng)地更新二進(jìn)制映射圖，從而將檢測(cè)到幾何扭曲誤差的像素的值設(shè)定為有效像素。
[0070]將此誤差校正圖像傳遞到圖1的高動(dòng)態(tài)范圍計(jì)算器80以用于計(jì)算高動(dòng)態(tài)范圍圖像。
[0071]替代地，不僅兩個(gè)圖像，而且可使用三個(gè)或三個(gè)以上圖像以用于計(jì)算高動(dòng)態(tài)范圍圖像。在此情況下，圖像之一如上文所描述用作參考圖像。恰如上文所示描述中處理第二圖像那樣處理其它兩個(gè)圖像。因此，第二圖像和第三圖像用作待扭曲圖像和又一待扭曲圖像。為了處理所述又一待扭曲圖像，使用第二位移估計(jì)器、第二扭曲單元、第二誤差檢測(cè)器和第二誤差補(bǔ)償器。隨后將所得第二誤差校正圖像傳遞到圖1的高動(dòng)態(tài)范圍計(jì)算器80。圖1的高動(dòng)態(tài)范圍計(jì)算器80根據(jù)參考圖像、第一誤差校正圖像和第二校正圖像計(jì)算高動(dòng)態(tài)范圍圖像。
[0072]在圖5中，示出創(chuàng)造性方法的實(shí)施例。在第一步驟100中，例如通過以相機(jī)記錄第一圖像和第二圖像或僅輸入第一圖像和第二圖像來生成第一圖像和第二圖像。在第二步驟101中，通過修正所述圖像中的至少一個(gè)圖像的強(qiáng)度、飽和度或亮度來執(zhí)行曝光補(bǔ)償。步驟101的曝光補(bǔ)償是任選的步驟。在第三步驟102中，計(jì)算從第一圖像來自的參考圖像與從第二圖像來自的待扭曲圖像的圖像內(nèi)容的位移。
[0073]在第四步驟103中，基于步驟102的計(jì)算得出的位移來扭曲從第二圖像來自的待扭曲圖像。執(zhí)行所述扭曲以使得所述位移得到補(bǔ)償。在第五步驟104中，計(jì)算扭曲圖像與參考圖像之間的強(qiáng)度差?；谙袼貋碛?jì)算所述差。僅基于個(gè)別像素的強(qiáng)度來計(jì)算這些差，但替代地也可針對(duì)不同顏色通道獨(dú)立地計(jì)算這些差。
[0074]在第六步驟105中，基于步驟104的所確定的強(qiáng)度差計(jì)算差直方圖。計(jì)算僅一個(gè)差直方圖，或針對(duì)不同顏色通道計(jì)算若干差直方圖。在第七步驟106中，基于差直方圖計(jì)算至少一個(gè)誤差閾值。計(jì)算一個(gè)誤差閾值或針對(duì)每個(gè)顏色通道的一個(gè)誤差閾值。選擇誤差閾值以使得低于閾值的強(qiáng)度差值指示光度誤差，而高于閾值的強(qiáng)度差值指示幾何扭曲誤差。
[0075]在第八步驟107中，基于閾值決定幾何扭曲誤差。第八步驟107得到幾何扭曲誤差的二進(jìn)制映射圖。在第九步驟108中，計(jì)算基于幾何扭曲誤差的二進(jìn)制映射圖和第一扭曲圖像的強(qiáng)度的梯度的加權(quán)映射圖。將較低權(quán)重分配給邊緣和邊界等高梯度值的像素，且將較高權(quán)重分配給低梯度值的像素，從而得到加權(quán)映射圖。第九步驟108也是任選的步驟。
[0076]在第十步驟109中，圍繞檢測(cè)到幾何扭曲誤差的第一扭曲圖像的每個(gè)像素設(shè)定搜索窗。所述搜索窗具有預(yù)定義或用戶定義的大小。在第十一步驟110中，通過確定搜索窗內(nèi)哪些像素未檢測(cè)到幾何扭曲誤差來檢測(cè)搜索窗內(nèi)的有效像素。在第十二步驟111中，針對(duì)檢測(cè)到幾何扭曲誤差的第一扭曲圖像的全部像素確定校正值。通過計(jì)算搜索窗的有效像素中的至少一些的強(qiáng)度的平均值來確定所述校正值。在計(jì)算此平均值時(shí)，在步驟108中創(chuàng)建的加權(quán)映射圖用于相應(yīng)地對(duì)搜索窗內(nèi)的個(gè)別像素進(jìn)行加權(quán)。
[0077]在第十三步驟112中，通過相應(yīng)計(jì)算得出的校正值替換檢測(cè)到幾何扭曲誤差的第一扭曲圖像的值，從而得到第一誤差校正圖像，且相應(yīng)地更新二進(jìn)制映射圖。在第十四步驟113中，根據(jù)參考圖像和第一誤差校正圖像計(jì)算高動(dòng)態(tài)范圍圖像。
[0078]任選地，此外還對(duì)第三圖像執(zhí)行上述步驟從而得到又一待扭曲圖像。第二誤差校正圖像是此處理的結(jié)果。隨后在步驟113中基于參考圖像、第一誤差校正圖像和第二誤差校正圖像計(jì)算高動(dòng)態(tài)范圍圖像。
[0079]本發(fā)明不限于所示的實(shí)例?？梢匀魏斡欣慕M合使用示范性實(shí)施例的特性。
【主權(quán)項(xiàng)】
1.一種用于從第一圖像和第二圖像生成高動(dòng)態(tài)范圍圖像的圖像處理系統(tǒng)，其特征在于，所述圖像處理系統(tǒng)包括: 第一位移估計(jì)器(22)，用于估計(jì)來源于所述第一圖像的參考圖像與來源于所述第二圖像的待扭曲圖像之間的圖像內(nèi)容的位移， 第一扭曲單元(23)，用于通過扭曲所述待扭曲圖像來補(bǔ)償所述估計(jì)位移，從而得到第一扭曲圖像， 第一誤差檢測(cè)器(24)，用于檢測(cè)所述第一扭曲圖像中的幾何扭曲誤差， 第一誤差補(bǔ)償器(25)，用于補(bǔ)償所述第一扭曲圖像中的檢測(cè)到的所述幾何扭曲誤差從而得到第一誤差校正圖像；以及 高動(dòng)態(tài)范圍計(jì)算器(80)，用于基于所述第一誤差校正圖像和所述參考圖像計(jì)算所述高動(dòng)態(tài)范圍圖像。2.根據(jù)權(quán)利要求1所述的圖像處理系統(tǒng)，其特征在于， 所述第一位移估計(jì)器(22)用于通過估計(jì)光流，和/或通過執(zhí)行基于塊的搜索和/或通過執(zhí)行塊匹配來估計(jì)所述圖像內(nèi)容的所述位移。3.根據(jù)權(quán)利要求1或2所述的圖像處理系統(tǒng)，其特征在于， 所述第一誤差檢測(cè)器(24)包括 差單元(30)，用于計(jì)算所述第一扭曲圖像的每個(gè)像素與所述參考圖像的對(duì)應(yīng)像素的強(qiáng)度差， 直方圖單元(31)，用于計(jì)算確定的所述強(qiáng)度差的直方圖， 閾值確定單元(32)，用于根據(jù)所述直方圖確定誤差閾值，以及 誤差決定單元(33)，用于通過比較所述強(qiáng)度差與所述閾值從而得到幾何扭曲誤差像素的二進(jìn)制映射圖，來確定幾何扭曲誤差。4.根據(jù)權(quán)利要求3所述的圖像處理系統(tǒng)，其特征在于， 所述閾值確定單元(32)用于確定所述誤差閾值以使得低于所述誤差閾值的差值指示光度扭曲誤差且高于所述誤差閾值的值指示幾何扭曲誤差。5.根據(jù)權(quán)利要求3或4所述的圖像處理系統(tǒng)，其特征在于， 所述閾值確定單元用于通過分析所述直方圖的連續(xù)值的梯度且將梯度最大處的值選擇為所述閾值，來自適應(yīng)地確定所述誤差閾值。6.根據(jù)權(quán)利要求3到5中任一權(quán)利要求所述的圖像處理系統(tǒng)，其特征在于， 所述差單元(30)用于針對(duì)不同顏色通道獨(dú)立地計(jì)算所述強(qiáng)度差， 其中所述誤差決定單元(33)用于 比較所述顏色通道的所述強(qiáng)度差與所述誤差閾值，且 在所述顏色通道的所述強(qiáng)度差中的至少一個(gè)強(qiáng)度差高于所述誤差閾值的情況下或在全部顏色通道的所述強(qiáng)度差高于所述誤差閾值的情況下，確定像素的幾何扭曲誤差。7.根據(jù)權(quán)利要求3到5中任一權(quán)利要求所述的圖像處理系統(tǒng)，其特征在于， 所述差單元(30)用于針對(duì)不同顏色通道獨(dú)立地計(jì)算所述強(qiáng)度差， 其中，所述直方圖單元(31)用于針對(duì)所述不同顏色通道計(jì)算獨(dú)立的直方圖， 且所述閾值確定單元(32)用于針對(duì)每個(gè)顏色通道確定獨(dú)立的誤差閾值， 其中，所述誤差決定單元(33)用于 比較所述顏色通道的所述強(qiáng)度差與相應(yīng)的誤差閾值，且 在所述顏色通道的所述強(qiáng)度差中的至少一個(gè)強(qiáng)度差高于相應(yīng)的誤差閾值的情況下或在全部顏色通道的所述強(qiáng)度差高于相應(yīng)的誤差閾值的情況下，確定像素的扭曲誤差。8.根據(jù)權(quán)利要求1到7中任一權(quán)利要求所述的圖像處理系統(tǒng)，其特征在于， 所述第一誤差補(bǔ)償器(25)包括: 搜索窗設(shè)定單元(41)，用于在檢測(cè)到幾何扭曲誤差的所述第一扭曲圖像的每個(gè)像素周圍設(shè)定預(yù)定的或用戶定義的大小的搜索窗， 有效像素檢測(cè)單元(42)，用于確定在每個(gè)搜索窗內(nèi)的所在位置未檢測(cè)到幾何扭曲誤差的像素，從而得到每個(gè)搜索窗的有效像素， 校正值確定單元(43)，用于計(jì)算檢測(cè)到幾何扭曲誤差的所述第一扭曲圖像的所述像素的校正值，所述校正值各自計(jì)算為所述搜索窗的所述有效像素中的至少一些的強(qiáng)度的平均值， 校正值替換單元(44)，其用于通過所述相應(yīng)計(jì)算得出的校正值替換檢測(cè)到幾何扭曲誤差的所述第一扭曲圖像的所述像素從而得到所述第一誤差校正圖像。9.根據(jù)權(quán)利要求8所述的圖像處理系統(tǒng)，其特征在于， 所述校正值確定單元(43)用于將所述校正值各自計(jì)算為僅包括有效像素的像素所述強(qiáng)度的平均值，所述有效像素與當(dāng)前校正的像素的所述強(qiáng)度值的強(qiáng)度值差低于預(yù)定的或用戶可選的校正閾值。10.根據(jù)權(quán)利要求8或9所述的圖像處理系統(tǒng)，其特征在于， 所述第一誤差補(bǔ)償器(25)包括加權(quán)單元(40)，所述加權(quán)單元用于基于幾何扭曲誤差的所述二進(jìn)制映射圖和所述第一扭曲圖像的所述強(qiáng)度的梯度計(jì)算加權(quán)映射圖，其中將較低權(quán)重分配給邊緣和邊界等高梯度值的像素，其中將較高權(quán)重分配給低梯度值的像素，從而得到加權(quán)映射圖，且 其中所述校正值確定單元(25)用于在計(jì)算所述校正值之前使用所述加權(quán)映射圖對(duì)所述搜索窗的所述有效像素進(jìn)行加權(quán)。11.根據(jù)權(quán)利要求1到10中任一權(quán)利要求所述的圖像處理系統(tǒng)，其特征在于， 所述圖像處理系統(tǒng)(I)進(jìn)一步包括第一曝光補(bǔ)償單元(21)，所述第一曝光補(bǔ)償單元用于通過改變所述第一圖像的或所述第二圖像的亮度和/或飽和度來補(bǔ)償所述第一圖像和所述第二圖像的不同曝光時(shí)間從而得到所述參考圖像和所述待扭曲圖像。12.根據(jù)權(quán)利要求1或11中任一權(quán)利要求所述的圖像處理系統(tǒng)，其特征在于， 所述圖像處理系統(tǒng)進(jìn)一步包括 第二位移估計(jì)器，用于估計(jì)所述參考圖像與來源于第三圖像的又一待扭曲圖像之間的圖像內(nèi)容的位移， 第二扭曲單元，用于通過扭曲所述又一待扭曲圖像來補(bǔ)償所述檢測(cè)到的位移，從而得到第二扭曲圖像， 第二誤差檢測(cè)器，用于檢測(cè)所述第二扭曲圖像中的幾何扭曲誤差， 第二誤差補(bǔ)償器，用于補(bǔ)償所述第二扭曲圖像中的檢測(cè)到的所述幾何扭曲誤差從而得到第二誤差校正圖像， 且所述高動(dòng)態(tài)范圍計(jì)算器用于基于所述第一誤差校正圖像、所述第二誤差校正圖像和所述參考圖像計(jì)算所述高動(dòng)態(tài)范圍圖像。13.—種用于從第一圖像和第二圖像生成高動(dòng)態(tài)范圍圖像的方法，其特征在于， 估計(jì)來源于所述第一圖像的參考圖像與來源于所述第二圖像的待扭曲圖像之間的圖像內(nèi)容的位移(102)， 其中通過扭曲所述待扭曲圖像來補(bǔ)償所述估計(jì)位移從而得到第一扭曲圖像(103)， 其中檢測(cè)所述第一扭曲圖像中的幾何扭曲誤差(104，105，106，107)， 其中補(bǔ)償所述第一扭曲圖像中的檢測(cè)到的所述幾何扭曲誤差從而得到第一誤差校正圖像(108，109，110，111，112)，且 其中基于所述第一誤差校正圖像和所述參考圖像計(jì)算所述高動(dòng)態(tài)范圍圖像(113)。14.一種計(jì)算機(jī)程序，其特征在于，所述計(jì)算機(jī)程序具有程序代碼，所述程序代碼用于在所述程序在計(jì)算機(jī)或數(shù)字信號(hào)處理器上執(zhí)行的情況下執(zhí)行根據(jù)權(quán)利要求13所述的全部步驟。15.—種計(jì)算機(jī)程序產(chǎn)品，其特征在于，所述計(jì)算機(jī)程序產(chǎn)品具有存儲(chǔ)有程序代碼的計(jì)算機(jī)可讀媒體，所述程序代碼用于在所述程序在計(jì)算機(jī)或數(shù)字信號(hào)處理器上執(zhí)行的情況下執(zhí)行根據(jù)權(quán)利要求13所述的全部步驟。
【文檔編號(hào)】G06T5/50GK106030653SQ201480076068
【公開日】2016年10月12日
【申請(qǐng)日】2014年2月24日
【發(fā)明人】法赫德·博薩拉, 基奧萬尼·科達(dá)拉, 奧納伊·優(yōu)厄法利歐格路
【申請(qǐng)人】華為技術(shù)有限公司