本發(fā)明涉及圖像處理技術(shù)領(lǐng)域，尤其涉及一種圖像處理的方法、裝置和系統(tǒng)。

背景技術(shù)：

隨著相機(jī)、手機(jī)、平板電腦等電子拍攝設(shè)備的升級換代，人們對其拍攝的圖像質(zhì)量要求隨之升高。為了改善所拍攝圖像的質(zhì)量，人們常用HDR(High-Dynamic Range，高動態(tài)范圍)圖像技術(shù)來獲取更多的動態(tài)范圍和圖像細(xì)節(jié)。其中，HDR技術(shù)是將不同的曝光度的LDR(Low-Dynamic Range，低動態(tài)范圍)圖像合成為HDR圖像，從而保留每個曝光度相對應(yīng)最佳細(xì)節(jié)，如此可以更好的反映真實(shí)環(huán)境中的視覺效果。

由于HDR技術(shù)需要對同一場景進(jìn)行不同曝光程度的多次拍照，如果在拍照過程中受到電子拍攝設(shè)備的運(yùn)動或者拍攝場景中物體運(yùn)動的影響，同一物體在多張LDR圖像中的位置可能會發(fā)生變化，例如拍照時的手抖，或者場景中出現(xiàn)運(yùn)動的物體，都會造成合成的圖像中存在“鬼影”。

目前，存在基于SIFT(Scale-invariant feature transform，尺度不變特征變換)、SURF(蒙娜麗莎的圖像匹配)的圖像扭曲技術(shù)，以及基于塊匹配的圖像扭曲等技術(shù)用來減輕“鬼影”。但是這些技術(shù)要么效果不夠好，要么復(fù)雜度太高，不適合實(shí)際應(yīng)用。因此，如何消除“鬼影”成了HDR技術(shù)中的難點(diǎn)之一，現(xiàn)有技術(shù)中尚無較好的消除HDR圖像中的“鬼影”的方法。

技術(shù)實(shí)現(xiàn)要素：

為了較好的減少圖像中的“鬼影”，本發(fā)明實(shí)施例提供了一種圖像處理的方法、裝置和系統(tǒng)。

一方面，本發(fā)明實(shí)施例提供了一種圖像處理的方法，該方法包括：

從針對同一對象的曝光度不同的至少三張?jiān)紙D像中分離出分別與至少三張?jiān)紙D像對應(yīng)的至少三張亮度圖和至少三張色度圖；

基于至少三張亮度圖和至少三張色度圖計(jì)算包含有亮度信息和色度信息的第一綜合差值圖和第二綜合差值圖；

基于第一綜合差值圖和第二綜合差值圖，生成第一去鬼影權(quán)值圖和第二去鬼影權(quán)值圖；

基于第一去鬼影權(quán)值圖和第二去鬼影權(quán)值圖分別對至少三張亮度圖和至少三張色度圖進(jìn)行融合，生成融合亮度圖和融合色度圖；以及

將融合亮度圖和融合色度圖進(jìn)行合成，生成對象的高動態(tài)范圍圖像。

另一方面，本發(fā)明實(shí)施例提供了一種圖像處理的裝置，該裝置包括：

亮度和色度分離單元，用于從針對同一對象的曝光度不同的至少三張?jiān)紙D像中分離出分別與至少三張?jiān)紙D像對應(yīng)的至少三張亮度圖和至少三張色度圖；

差值圖計(jì)算單元，用于基于至少三張亮度圖和至少三張色度圖計(jì)算包含有亮度信息和色度信息的第一綜合差值圖和第二綜合差值圖；

去鬼影權(quán)值圖生成單元，基于第一綜合差值圖和第二綜合差值圖，生成第一去鬼影權(quán)值圖和第二去鬼影權(quán)值圖；

亮度色度融合單元，基于第一去鬼影權(quán)值圖和第二去鬼影權(quán)值圖分別對至少三張亮度圖和至少三張色度圖進(jìn)行融合，生成融合亮度圖和融合色度圖；以及

圖像合成單元，用于將融合亮度圖和融合色度圖進(jìn)行合成，生成拍攝對象的高動態(tài)范圍圖像。

又一方面，本發(fā)明實(shí)施例提供了一種圖像處理的裝置，該裝置包括：

存儲器，用于存放程序；

處理器，用于執(zhí)行存儲器存儲的程序，程序使得處理器執(zhí)行以下操作：

從針對同一對象的曝光度不同的至少三張?jiān)紙D像中分離出分別與至少三張?jiān)紙D像對應(yīng)的至少三張亮度圖和至少三張色度圖；

基于至少三張亮度圖和至少三張色度圖計(jì)算包含有亮度信息和色度信息的第一綜合差值圖和第二綜合差值圖；

基于第一綜合差值圖和第二綜合差值圖，生成第一去鬼影權(quán)值圖和第二去鬼影權(quán)值圖；

基于第一去鬼影權(quán)值圖和第二去鬼影權(quán)值圖分別對至少三張亮度圖和至少三張色度圖進(jìn)行融合，生成融合亮度圖和融合色度圖；以及

將融合亮度圖和融合色度圖進(jìn)行合成，生成對象的高動態(tài)范圍圖像；

顯示器，用于顯示對象的高動態(tài)范圍圖像。

又一方面，本發(fā)明實(shí)施例提供了一種圖像處理的系統(tǒng)，該系統(tǒng)包括：攝像裝置以及上述的圖像處理的裝置。

本發(fā)明實(shí)施例通過獲取第一去鬼影權(quán)值圖和第二去鬼影權(quán)值圖，并對由原始圖像分離出的亮度圖和色度圖進(jìn)行融合，可以大幅度提升去“鬼影”的效果，具有較佳的穩(wěn)定性。此外，本圖像處理的算法復(fù)雜度較低，運(yùn)行效率高，特別適合大批量的工程拍攝場景應(yīng)用，可以很好的去除運(yùn)動圖像中人工痕跡，使得所拍的圖像更加自然。

附圖說明

為了更清楚地說明本發(fā)明實(shí)施例的技術(shù)方案，下面將對本發(fā)明實(shí)施例中所需要使用的附圖作簡單地介紹，顯而易見地，下面所描述的附圖僅僅是本發(fā)明的一些實(shí)施例，對于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動的前提下，還可以根據(jù)這些附圖獲得其他的附圖。

圖1是根據(jù)本發(fā)明一實(shí)施例的圖像處理的方法的示意性流程圖；

圖2是圖1中計(jì)算第一綜合差值圖和第二綜合差值圖的示意性流程圖；

圖3是圖1中生成融合亮度圖的示意性流程圖；

圖4是圖1中生成融合色度圖的示意性流程圖；

圖5是根據(jù)本發(fā)明一實(shí)施例的圖像處理的裝置的功能結(jié)構(gòu)示意圖；

圖6是本發(fā)明的圖像處理的裝置的第一實(shí)施例的框架結(jié)構(gòu)示意圖；

圖7是本發(fā)明的圖像處理的裝置的第二實(shí)施例的框架結(jié)構(gòu)示意圖；

圖8是根據(jù)本發(fā)明一實(shí)施例的圖像處理的系統(tǒng)的功能結(jié)構(gòu)示意圖。

具體實(shí)施方式

為使本發(fā)明實(shí)施例的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚，下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例?；诒景l(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒有作出創(chuàng)造性勞動前提下所獲得的所有其他實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。

下面將詳細(xì)描述本發(fā)明的各個方面的特征和示例性實(shí)施例。在下面的詳細(xì)描述中，提出了許多具體細(xì)節(jié)，以便對本發(fā)明進(jìn)行全面理解。但是，對于本領(lǐng)域技術(shù)人員來說，本發(fā)明可以在不需要這些具體細(xì)節(jié)的情況下實(shí)施。下面對實(shí)施例的描述僅僅是為了通過示出本發(fā)明的示例來提供對本發(fā)明的更好的理解。本發(fā)明決不限于下面所提出的任何具體配置和算法，而是在不脫離本發(fā)明的精神的前提下覆蓋了單元、模塊、部件和算法的任何修改、替換和改進(jìn)。在附圖和下面的描述中，沒有示出公知的結(jié)構(gòu)和技術(shù)，以便避免對本發(fā)明造成不必要的模糊。

現(xiàn)在將參考附圖來全面地描述各個示例實(shí)施方式。然而，各個示例實(shí)施方式能夠以多種形式實(shí)施，且不應(yīng)被理解為限于在此闡述的實(shí)施方式；相反，提供這些實(shí)施方式使得本發(fā)明更全面和完整，并將示例實(shí)施方式的構(gòu)思全面地傳達(dá)給本領(lǐng)域的技術(shù)人員。

本領(lǐng)域技術(shù)人員應(yīng)能理解，上述實(shí)施例均是示例性而非限制性的。在不同實(shí)施例中出現(xiàn)的不同技術(shù)特征可以進(jìn)行組合，以取得有益效果。本領(lǐng)域技術(shù)人員在研究附圖、說明書及權(quán)利要求書的基礎(chǔ)上，應(yīng)能理解并實(shí)現(xiàn)所揭示的實(shí)施例的其他變化的實(shí)施例。在權(quán)利要求書中，術(shù)語“包括”并不排除其他裝置或步驟；不定冠詞“一個”不排除多個；術(shù)語“第一”、“第二”用于標(biāo)示名稱而非用于表示任何特定的順序。權(quán)利要求中的任何附圖標(biāo)記均不應(yīng)被理解為對保護(hù)范圍的限制。權(quán)利要求中出現(xiàn)的多個部分的功能可以由一個單獨(dú)的硬件或軟件模塊來實(shí)現(xiàn)。某些技術(shù)特征出現(xiàn)在不同的從屬權(quán)利要求中并不意味著不能將這些技術(shù)特征進(jìn)行組合以取得有益效果。

此外，所描述的特征、結(jié)構(gòu)或特性可以以任何合適的方式結(jié)合在一個或更多實(shí)施例中。在下面的描述中，提供許多具體細(xì)節(jié)從而給出對本發(fā)明的實(shí)施例的充分理解。然而，本領(lǐng)域技術(shù)人員將意識到，可以實(shí)踐本發(fā)明的技術(shù)方案而沒有所述特定細(xì)節(jié)中的一個或更多，或者可以采用其它的方法、單元、模塊、材料等。

需要說明的是，在不沖突的情況下，本申請中的實(shí)施例及實(shí)施例中的特征可以調(diào)整順序或者相互組合。下面將參考附圖并結(jié)合實(shí)施例來詳細(xì)說明本申請。

圖1是根據(jù)本發(fā)明一實(shí)施例的圖像處理的方法的示意性流程圖100。

在步驟S101中，從針對同一對象的曝光度不同的至少三張?jiān)紙D像中分離出分別與至少三張?jiān)紙D像對應(yīng)的至少三張亮度圖和至少三張色度圖。

在本實(shí)施例中，曝光度不同的至少三張?jiān)紙D像可以是針對同一對象連續(xù)拍攝的圖像，也可以是從針對同一對象連續(xù)拍攝的圖像中任意選取的至少三張?jiān)紙D像，還可以是直接從現(xiàn)有的圖像庫中獲取的圖像。

具體的，曝光度不同的至少三張?jiān)紙D像可以由生成HDR圖像的電子拍攝裝置上的圖像采集裝置獲得。獲取至少三張?jiān)紙D像的實(shí)現(xiàn)方式可以是：首先，電子拍攝裝置上的攝像頭中設(shè)置的CCD(Charge-coupled Device，電荷耦合元件)、CMOS(Complementary Metal OxIle Semiconductor，互補(bǔ)金屬氧化物半導(dǎo)體)等感光元件獲得圖像信號。這些電子拍攝裝置包括但不限于相機(jī)、個人電腦、智能手機(jī)、平板電腦、個人數(shù)字助理、服務(wù)器等。接著，將這些圖像信號傳輸給ISP(Image SI3nal Processor，圖像信號處理器)，由ISP對圖像信號進(jìn)行預(yù)處理，生成至少三張?jiān)紙D像。

在本實(shí)施例中，上述至少三張?jiān)紙D像是針對同一圖像采集區(qū)域的曝光度不同的至少三張圖像。即，電子拍攝裝置的取景框?qū)?zhǔn)同一個區(qū)域，在操作者按下快門之后，在很短的時間內(nèi)，如0.1s～0.5s內(nèi)，控制快門快速開關(guān)至少三次以上，每次快門的通光量不同，可以獲得不同曝光度的多張圖像。在具體實(shí)施過程中，具體曝光值，可以根據(jù)電子拍攝裝置根據(jù)實(shí)際的拍攝模式和/或用戶設(shè)定的曝光值來確定。該部分內(nèi)容不作限制。

在一些實(shí)施例中，可以通過將至少三張?jiān)紙D像從RGB色彩空間轉(zhuǎn)換至YUV色彩空間、或者從RGB色彩空間轉(zhuǎn)換至LAB色彩空間，分離出至少三張亮度圖和至少三張色度圖。

在一些實(shí)施例中，為了減少圖像處理后期的復(fù)雜度，取得更好的去“鬼影”效果，可以在從針對同一對象的曝光度不同的至少三張?jiān)紙D像進(jìn)行物理對齊。

在本實(shí)施例中，上述物理對齊的方法可以包括：中閾值位圖對齊、特征點(diǎn)對齊、光流法對齊、塊對齊和基于分層模型的對齊的方法。下面逐一描述各種物理對齊方法的實(shí)現(xiàn)方式。

首先介紹中閾值位圖對齊的方式。該對齊方式的算法是用遞歸的方式來實(shí)現(xiàn)，具體可以每次都把圖像縮小成源圖像一半大小，從圖層的底層(最小層)開始，往{(-1，-1)，(-1，0)，(-1，1)，(0，-1)，(0，0)，(0，1)，(1，-1)，(1，0)，(1，1)}這九個坐標(biāo)點(diǎn)方向移動。從中找出最“適合”的一個移動方向進(jìn)行對齊調(diào)整，待調(diào)整結(jié)束后傳回上一圖層。其中，每移動一個方向，將參考圖與基準(zhǔn)圖求差值和，差值和最小的方向即為最合適的方向。

接著介紹特征點(diǎn)對齊的方式。特征點(diǎn)又稱興趣點(diǎn)、關(guān)鍵點(diǎn)，它是在圖像中突出且具有代表意義的一些點(diǎn)，通過這些點(diǎn)我們可以用來識別圖像、進(jìn)行圖像配準(zhǔn)、進(jìn)行3D重建等。特征點(diǎn)對齊是指先檢測出圖像中的特征點(diǎn)，然后利用相對應(yīng)的特征點(diǎn)在不同圖像中的位置進(jìn)行對齊?，F(xiàn)今比較流行的算法有SIFT和SURF等。

繼而介紹光流法對齊的方式。其中，光流法用來描述相對于觀察者的運(yùn)動所造成的觀測目標(biāo)、表面或邊緣的運(yùn)動，實(shí)際是通過檢測圖像像素點(diǎn)的強(qiáng)度隨時間的變化進(jìn)而推斷出物體移動速度及方向的方法，然后利用檢測出來的移動信息進(jìn)行對齊。

再介紹塊匹配對齊的方式。其中，塊匹配的基本思想是將目標(biāo)圖像分割成固定大小的塊，然后在參考圖像中尋找匹配最好的塊。利用匹配塊的位移信息進(jìn)行圖像對齊。

最后介紹基于分層模型的對齊的方式。其中，分層模型是一種用于開發(fā)網(wǎng)絡(luò)的設(shè)計(jì)方法，其描述了將通信問題劃分為幾個小的問題(或者層次)，每個問題對應(yīng)一個層次。先從最簡單的層次對齊，再往復(fù)雜的層次遞進(jìn)。

在一些實(shí)施例中，可以單獨(dú)采用上述的一種物理對齊的方式，也可以將上述各物理對齊的方式進(jìn)行組合使用，此方面不作限制。

需要說明的是，獲取的至少三張?jiān)紙D像的具體數(shù)量可以按拍攝圖像精度的需求或者ISP的處理能力等情況進(jìn)行自定義設(shè)計(jì)，為了計(jì)算簡單、描述清晰和不必要的模糊本發(fā)明的更為相關(guān)的內(nèi)容，在下面的各實(shí)施例的計(jì)算中，僅以三張曝光不同的圖像進(jìn)行說明。根據(jù)曝光度的不同，三張?jiān)紙D像包括低曝光度圖像I1、中曝光度圖像12以及高曝光度圖像I3。

在本實(shí)施例中，可以通過從RGB色彩空間轉(zhuǎn)換至YUV色彩空間的方法，從低曝光度圖像I1中分離出第一亮度圖Y1和第一色度圖U1、V1。也可以從中曝光度圖像I2中分離出第二亮度圖Y2和第二色度圖U2、V2。還可以從高曝光度圖像I3中分離出第三亮度圖Y3和第三色度圖U3、V3。

在其它的可選實(shí)施例中，也可以通過從RGB色彩空間轉(zhuǎn)換至LAB色彩空間的方法，從低曝光度圖像I1中分離出第一亮度圖L1和第一色度圖A1、B1。可以從中曝光度圖像I2中分離出第二亮度圖L2和第二色度圖A2、B2?？梢詮母咂毓舛葓D像I3中分離出第三亮度圖L3和第三色度圖A3、B3。本領(lǐng)域的技術(shù)人員可以理解，其它色彩表示方法也可以做相應(yīng)的轉(zhuǎn)換，為了表述簡潔，此方面的內(nèi)容不再贅述。

參見圖1，在步驟S102中，基于至少三張亮度圖和至少三張色度圖計(jì)算包含有亮度信息和色度信息的第一綜合差值圖Diff1和第二綜合差值圖Diff2。該步驟的實(shí)現(xiàn)方式可以參見圖2所示實(shí)施例。

圖2示出了圖1的S102步驟中計(jì)算第一綜合差值圖和第二綜合差值圖的示意性流程圖200。

在步驟S1021中，通過將第一亮度圖Y1與第二亮度圖Y2進(jìn)行直方圖匹配，獲取第一匹配亮度圖Y1’。通過將第三亮度圖Y3與第二亮度圖Y2進(jìn)行直方圖匹配，獲取第二匹配亮度圖Y2’。

其中，直方圖匹配可以將圖像的直方圖以標(biāo)準(zhǔn)圖像(例如中曝光度圖的第二亮度圖Y2)的直方圖為標(biāo)準(zhǔn)作變換，使兩圖像的直方圖相同或者近似，從而使兩幅圖像具有類似的色調(diào)和反差。

因?yàn)槿龔垐D片因?yàn)槠毓舛炔煌鴮?dǎo)致它們的亮度差異比較大，而本方案的目的是通過對比找到因?yàn)榕臄z的對象運(yùn)動而導(dǎo)致的亮度的差異，因此，本實(shí)施例利用直方圖匹配的方式使得三張圖整體亮度接近，從而可以減少曝光度不同帶來的亮度誤差。由此，本實(shí)施例通過直方圖匹配的方法使得第一匹配亮度圖Y1’和第二匹配亮度圖Y2’與第二亮度圖Y2的亮度分布比較接近，使得后面匹配亮度差值圖的誤差減少，進(jìn)一步可以提高合成的HDR圖像的去“鬼影”的效果。

在步驟S1022中，獲取第一匹配亮度圖Y1’與第二亮度圖Y2之間的第一匹配亮度差值圖。獲取第二匹配亮度圖Y2’與第二亮度圖Y2之間的第二匹配亮度差值圖。該差值圖的具體計(jì)算方式可以如下所示：

diff(Y2，Y1’)＝abs(Y2-Y1’) (1)

diff(Y2，Y2’)＝abs(Y2-Y2’) (2)

在上述公式(1)和(2)中，diff是表示差值的意思，abs函數(shù)是用于求絕對值的函數(shù)。

在步驟S1023中，獲取第一色度圖U1、V1與第二色度圖U2、V2之間的第一色度差值。獲取第三色度圖U3、V3與第二色度圖U2、V2之間的第二色度差值。其具體計(jì)算方式可以如下所示：

diff(U2，U1)＝abs(U2-U1) (3)

diff(U2，U3)＝abs(U2-U3) (4)

diff(V2，V1)＝abs(V2-V1) (5)

diff(V2，V3)＝abs(V2-V3) (6)

在上述公式(3)、(4)、(5)和(6)中，diff是表示差值的意思，abs函數(shù)是用于求絕對值的函數(shù)。

在步驟S1024中，通過對第一匹配亮度差值圖和第一色度差值圖進(jìn)行加權(quán)求和，獲取第一綜合差值圖Diff1。

在步驟S1025中，通過對第二匹配亮度差值圖和第二色度差值圖進(jìn)行加權(quán)求和，獲取第二綜合差值圖Diff2。

再參見圖1，在步驟S103中，基于第一綜合差值圖Diff1和第二綜合差值圖和Diff2，生成第一去鬼影權(quán)值圖mask1和第二去鬼影權(quán)值圖mask2。

在本實(shí)施例中，通過對第一綜合差值圖Diff1和第二綜合差值圖Diff2進(jìn)行二值化處理，獲取第一去鬼影權(quán)值圖mask1和第二去鬼影權(quán)值圖mask2。

其中，對圖像進(jìn)行二值化處理就是將圖像上的像素點(diǎn)的灰度值設(shè)置為0或255，也就是將整個圖像呈現(xiàn)出明顯的黑白效果。

具體的，對第一綜合差值圖Diff1和第二綜合差值圖Diff2進(jìn)行二值化處理可以包括：

按照灰度值從大到小的次序逐項(xiàng)累加任意一個綜合差值圖中的像素點(diǎn)的灰度值。

當(dāng)累加的像素點(diǎn)的個數(shù)占任意一個綜合差值圖中的總像素點(diǎn)的個數(shù)的比例達(dá)到預(yù)設(shè)比例時，將累加的像素點(diǎn)的灰度值作為灰度閾值。

利用灰度閾值對任意一個綜合差值圖進(jìn)行二值化。

在本實(shí)施例中，通過大量的試驗(yàn)數(shù)據(jù)表明，預(yù)設(shè)比例在50％至70％之間時，最終獲取的高動態(tài)范圍圖像去“鬼影”的效果最好。較佳的該預(yù)設(shè)比例為60％。

在一些可選的實(shí)施例中，在通過基于第一去鬼影權(quán)值圖mask1和第二去鬼影權(quán)值圖mask2對至少三張亮度映射圖進(jìn)行加權(quán)求和之后，圖像處理的方法還包括：將融合亮度圖進(jìn)行色調(diào)映射處理后與融合亮度圖進(jìn)行合成，生成對象的高動態(tài)范圍圖像。

其中，色調(diào)映射處理是將亮度圖(radiance)映射到0到255的灰度值之間，形成一張正常的圖像。具體可以使用線性和非線性以及兩者相結(jié)合的方法。線性方法可以通過設(shè)計(jì)一條映射曲線，將亮度圖的值從小到大映射到0到255的灰度值上。非線性的方法可以是直方圖均衡等。在一些可選的實(shí)施例中，也可以用加權(quán)求和的方式將這兩個方案結(jié)合起來。

由此，通過色調(diào)映射處理，可以進(jìn)一步減少“鬼影”現(xiàn)象，改善圖像處理的質(zhì)量。

再參見圖1，在步驟S104中，基于第一去鬼影權(quán)值圖mask1和第二去鬼影權(quán)值圖mask2對至少三張亮度圖進(jìn)行融合生成融合亮度圖?；诘谝蝗ス碛皺?quán)值圖mask1和第二去鬼影權(quán)值圖mask2對至少三張色度圖進(jìn)行融合生成融合色度圖。該步驟的具體實(shí)現(xiàn)方式可以參考下面圖3和圖4所示的內(nèi)容。

圖3示出了圖1的S104步驟中生成融合亮度圖的示意性流程圖300。

在步驟S104-11中，基于計(jì)算相機(jī)反映函數(shù)對至少三張亮度圖進(jìn)行映射處理，生成分別與至少三張亮度圖對應(yīng)的至少三張亮度映射圖。

在步驟S104-12中，基于第一去鬼影權(quán)值圖和第二去鬼影權(quán)值圖對至少三張亮度映射圖進(jìn)行加權(quán)求和，生成融合亮度圖。其計(jì)算公式如下：

radiance＝Y(jié)2+mask1×Y1’+mask2×Y2’ (7)

在上述公式(7)中，radiance為融合亮度圖。Y1’為第一匹配亮度圖，是通過將第一亮度圖Y1與第二亮度圖Y2進(jìn)行直方圖匹配所獲取的。Y2’為第二匹配亮度圖，是通過將第三亮度圖Y3與第二亮度圖Y2進(jìn)行直方圖匹配所獲取的。mask1為第一去鬼影權(quán)值圖，mask2為第二去鬼影權(quán)值圖。

在本實(shí)施例中，可以利用CRF(camera response function，相機(jī)反映函數(shù))進(jìn)行圖像映射處理。具體的，可以從圖像中取出若干個點(diǎn)，通過如下公式求出CRF值：

在上述公式(7)中，為整體的誤差大小，i為圖像像素坐標(biāo)，N為圖像像素總數(shù)，j為第幾張圖片，P為圖片數(shù)量。函數(shù)g為CRF的反函數(shù)的對數(shù)，Z為圖像像素值，t為曝光時間，E為HDR圖。

在本實(shí)施例中，由于函數(shù)g和E都是未知變量，因此要用最小二乘法來解這個方程，在最小二乘求解算法中，指的是整體的誤差大小，當(dāng)最小的時候，即為最優(yōu)解。

CRF是標(biāo)定的工具，通過CRF求出Y通道映射圖的過程可以看成標(biāo)定的過程。radiance圖可以看成是進(jìn)行標(biāo)定且融合之后的圖。

本實(shí)施例通過函數(shù)映射處理獲取亮度映射圖，可以提高后期圖像去“鬼影”的效果，提高圖像的質(zhì)量。

圖4示出了圖1的S104步驟中生成融合色度圖的示意性流程圖400。

在步驟S104-21中，將第二色度圖、第一色度差值和第二色度差值分別與預(yù)設(shè)的色度閾值進(jìn)行比較。

在本實(shí)施例中，通過大量的實(shí)驗(yàn)，當(dāng)設(shè)置閾值T1＝5，T2＝128，T3＝250時，去“鬼影”的效果較佳。

在步驟S104-22中，基于比較的結(jié)果，將第一去鬼影權(quán)值圖與第一色度圖相乘，或者將第二去鬼影權(quán)值圖與第三色度圖相乘，生成融合色度圖。

其具體實(shí)現(xiàn)方式可以如下所示：

可以將低曝光圖I1和高曝光圖I3的U通道和V通道分別與中間曝光圖I2進(jìn)行求差值，得到：

diff(I1，I2，U)＝abs(I1(U)-I2(U)) (9)

diff(I3，I2，U)＝abs(I3(U)-I2(U)) (10)

diff(I1，I2，V)＝abs(I1(U)-I2(V)) (11)

diff(I3，I2，V)＝abs(I3(U)-I2(V)) (12)

設(shè)置閾值T1＝5，T2＝128，T3＝250，

當(dāng)I2(U)＜＝T1且diff(I1，I2，U)＞T2時，I2(U)＝I1(U)*mask1 (13)

當(dāng)I2(V)＜＝T1且diff(I1，I2，V)＞T2時，I2(V)＝I1(V)*mask1 (14)

當(dāng)I2(U)＞＝T3且diff(I3，I2，U)＞T2時，I2(U)＝I3(U)*mask2 (15)

當(dāng)I2(V)＞＝T3且diff(I3，I2，V)＞T2時，I2(V)＝I3(V)*mask2 (16)

在上述公式(9)至(16)中，diff是表示差值的意思，abs函數(shù)是一種用于求絕對值的函數(shù)，T1、T2、T3表示預(yù)設(shè)的灰度閾值。

本實(shí)施例中對色彩進(jìn)行融合處理的過程中，沒有通過函數(shù)映射處理，如此設(shè)計(jì)可以在確保圖像處理效果的基礎(chǔ)上，大幅度減少數(shù)據(jù)運(yùn)算量，提高運(yùn)算效率，減少對硬件設(shè)備的配置要求，可以減少硬件成本。

再參考圖1，在步驟S105中，將融合亮度圖和融合色度圖進(jìn)行合成，生成對象的高動態(tài)范圍圖像。

在本實(shí)施例中，圖像合成的方法例如但不限于通過各種色彩空間逆轉(zhuǎn)換的方法進(jìn)行合成，得到是將高動態(tài)范圍的圖像。

本領(lǐng)域的技術(shù)人員可以理解，上述各實(shí)施例中的步驟的順序可以相互調(diào)換，各實(shí)施例或者其內(nèi)的各步驟可以相互組合形成新的實(shí)施例，為了描述簡潔，此方面內(nèi)容不再贅述。

本發(fā)明實(shí)施例通過獲取第一去鬼影權(quán)值圖和第二去鬼影權(quán)值圖，并對由原始圖像分離出的亮度圖和色度圖進(jìn)行融合，可以大幅度提升了去“鬼影”的效果，具有較佳的穩(wěn)定性。此外，本圖像處理的算法復(fù)雜度較低，運(yùn)行效率高，特別適合大批量的工程拍攝場景應(yīng)用，可以很好的去除運(yùn)動圖像中人工痕跡，使得所拍的圖像更加自然。

圖5是根據(jù)本發(fā)明一實(shí)施例的圖像處理的裝置的功能結(jié)構(gòu)示意圖500。如圖5所示，圖像處理的裝置可以包括：亮度和色度分離單元、差值圖計(jì)算單元、去鬼影權(quán)值圖生成單元、亮度色度融合單元和圖像合成單元。

其中：亮度和色度分離單元可以用于從針對同一對象的曝光度不同的至少三張?jiān)紙D像中分離出分別與至少三張?jiān)紙D像對應(yīng)的至少三張亮度圖和至少三張色度圖。

差值圖計(jì)算單元可以用于計(jì)算至少三張亮度圖之間的第一綜合差值圖和第二綜合差值圖。

去鬼影權(quán)值圖生成單元可以基于第一綜合差值圖和第二綜合差值圖，生成第一去鬼影權(quán)值圖和第二去鬼影權(quán)值圖。

亮度色度融合單元可以基于第一去鬼影權(quán)值圖和第二去鬼影權(quán)值圖對至少三張亮度圖進(jìn)行融合，生成融合亮度圖，以及基于第一去鬼影權(quán)值圖和第二去鬼影權(quán)值圖對至少三張色度圖進(jìn)行融合，生成融合色度圖。

圖像合成單元可以用于將融合亮度圖和融合色度圖進(jìn)行合成，生成對象的高動態(tài)范圍圖像。

本發(fā)明實(shí)施例通過獲取第一去鬼影權(quán)值圖和第二去鬼影權(quán)值圖，并對由原始圖像分離出的亮度圖和色度圖進(jìn)行融合，可以大幅度提升了去“鬼影”的效果，具有較佳的穩(wěn)定性。此外，本圖像處理的算法復(fù)雜度較低，運(yùn)行效率高，特別適合大批量的工程拍攝場景應(yīng)用，可以很好的去除運(yùn)動圖像中人工痕跡，使得所拍的圖像更加自然。

在本實(shí)施例中，亮度和色度分離單元通過將至少三張?jiān)紙D像從RGB色彩空間轉(zhuǎn)換至YUV色彩空間、或者從RGB色彩空間轉(zhuǎn)換至LAB色彩空間，分離出至少三張亮度圖和至少三張色度圖。

需要說明的是，獲取的圖像數(shù)量可以按拍攝圖像精度的需求或者ISP的處理能力等進(jìn)行自定義設(shè)計(jì)，為了簡明和不必要的模糊本發(fā)明的更為相關(guān)的內(nèi)容，在下面的各實(shí)施例中，僅以三張曝光不同的圖像進(jìn)行說明。根據(jù)曝光度的不同，三張圖像可以包括低曝光度圖像I1、中曝光度圖像I2以及高曝光度圖像I3。

在本實(shí)施例中，可以通過從RGB色彩空間轉(zhuǎn)換至YUV色彩空間的方法，從低曝光度圖像I1中分離出第一亮度圖Y1和第一色度圖U1、V1。也可以從中曝光度圖像I2中分離出第二亮度圖Y2和第二色度圖U2、V2。還可以從高曝光度圖像I3中分離出第三亮度圖Y3和第三色度圖U3、V3。

在其它的可選實(shí)施例中，也可以通過從RGB色彩空間轉(zhuǎn)換至LAB色彩空間的方法，從低曝光度圖像I1中分離出第一亮度圖L1和第一色度圖A1、B1?？梢詮闹衅毓舛葓D像I2中分離出第二亮度圖L2和第二色度圖A2、B2?？梢詮母咂毓舛葓D像I3中分離出第三亮度圖L3和第三色度圖A3、B3。本領(lǐng)域的技術(shù)人員可以理解，其它色彩表示方法也可以做相應(yīng)的轉(zhuǎn)換，為了表述簡潔，此方面的內(nèi)容不再贅述。

繼續(xù)參見圖5，在本實(shí)施例中，差值圖計(jì)算單元可以包括：直方圖匹配模塊、亮度差值圖獲取模塊、色度差值圖獲取模塊、亮度加權(quán)求和模塊和色度加權(quán)求和模塊。其中：

直方圖匹配模塊可以用于通過將第一亮度圖與第二亮度圖進(jìn)行直方圖匹配，獲取第一匹配亮度圖，通過將第三亮度圖與第二亮度圖進(jìn)行直方圖匹配，獲取第二匹配亮度圖。

亮度差值圖獲取模塊可以用于獲取第一匹配亮度圖與第二亮度圖之間的第一匹配亮度差值圖，獲取第二匹配亮度圖與第二亮度圖之間的第二匹配亮度差值圖。

色度差值圖獲取模塊可以用于獲取第一色度圖與第二色度圖之間的第一色度差值圖，獲取第三色度圖與第二色度圖之間的第二色度差值圖。

亮度加權(quán)求和模塊可以用于通過對第一匹配亮度差值圖和第一色度差值圖進(jìn)行加權(quán)求和，獲取第一綜合差值圖。

色度加權(quán)求和模塊可以用于通過對第二匹配亮度差值圖和第二色度差值圖進(jìn)行加權(quán)求和，獲取第二綜合差值圖。

在本實(shí)施例中，去鬼影權(quán)值圖生成單元可以通過對第一綜合差值圖和第二綜合差值圖進(jìn)行二值化處理，獲取第一去鬼影權(quán)值圖和第二去鬼影權(quán)值圖。

在本實(shí)施例中，去鬼影權(quán)值圖生成單元包括：灰度值累加模塊、灰度閾值獲取模塊和圖像二值化模塊。其中：

灰度值累加模塊可以用于按照灰度值從大到小的次序逐項(xiàng)累加任意一個綜合差值圖中的像素點(diǎn)的灰度值。

灰度閾值獲取模塊可以用于當(dāng)累加的像素點(diǎn)的個數(shù)占任意一個綜合差值圖中的總像素點(diǎn)的個數(shù)的比例達(dá)到預(yù)設(shè)比例時，將累加的像素點(diǎn)的灰度值作為灰度閾值。

圖像二值化模塊可以利用灰度閾值對任意一個綜合差值圖進(jìn)行二值化。

在本實(shí)施例中，預(yù)設(shè)比例在50％至70％之間。

在本實(shí)施例中，亮度色度融合單元可以包括：亮度映射圖生成模塊和鬼影加權(quán)求和模塊。其中：

亮度映射圖生成模塊可以基于計(jì)算相機(jī)反映函數(shù)對至少三張亮度圖進(jìn)行映射處理，生成分別與至少三張亮度圖對應(yīng)的至少三張亮度映射圖。

鬼影加權(quán)求和模塊可以基于第一去鬼影權(quán)值圖和第二去鬼影權(quán)值圖對至少三張亮度映射圖進(jìn)行加權(quán)求和，生成融合亮度圖。

在本實(shí)施例中，亮度色度融合單元還可以包括閾值比較模塊和乘法處理模塊。其中：

閾值比較模塊可以用于將第二色度圖、第一色度差值圖和第二色度差值圖分別與預(yù)設(shè)的色度閾值進(jìn)行比較。

乘法處理模塊可以基于比較的結(jié)果，將第一去鬼影權(quán)值圖與第一色度圖進(jìn)行乘法處理，或者將第二去鬼影權(quán)值圖與第三色度圖進(jìn)行乘法處理，生成融合色度圖。

其中，可以比較方法和計(jì)算公式等相關(guān)內(nèi)容可以參見圖像處理方法中相對應(yīng)的內(nèi)容，此方面的內(nèi)容不再贅述。

在一些可選的實(shí)施例中，圖像處理裝置還可以包括色調(diào)映射單元。該單元用于先將融合亮度圖進(jìn)行色調(diào)映射處理，然后再將其與融合亮度圖進(jìn)行合成，生成對象的高動態(tài)范圍圖像。在一些可選的實(shí)施例中，圖像處理的裝置還可以包括物理對齊單元。該物理對齊單元用于將至少三張?jiān)紙D像進(jìn)行物理對齊。具體的對齊相關(guān)內(nèi)容可以參見圖像處理方法中相應(yīng)的內(nèi)容，此方面內(nèi)容不再贅述。

本發(fā)明各實(shí)施例中可以通過硬件處理器(hardware processor)來實(shí)現(xiàn)相關(guān)功能模塊。由于圖像處理裝置中的各個功能單元或者功能模塊來實(shí)現(xiàn)各種功能，所以，各個功能單元或者功能模塊的連接位置關(guān)系不做限制，只要能實(shí)現(xiàn)相應(yīng)的功能，就可以將上述的各個單元和模塊進(jìn)行靈活布置。

圖6為本發(fā)明圖像處理的裝置的第一實(shí)施例的框架結(jié)構(gòu)示意圖600。如圖6所示，圖像處理的裝置可以包括：存儲器、處理器和顯示器。其中：

存儲器可以用于存放程序。

處理器可以用于執(zhí)行存儲器存儲的程序，程序使得處理器執(zhí)行以下操作：

從針對同一對象的曝光度不同的至少三張?jiān)紙D像中分離出分別與至少三張?jiān)紙D像對應(yīng)的至少三張亮度圖和至少三張色度圖；基于至少三張亮度圖和至少三張色度圖計(jì)算包含有亮度信息和色度信息的第一綜合差值圖和第二綜合差值圖；基于第一綜合差值圖和第二綜合差值圖，生成第一去鬼影權(quán)值圖和第二去鬼影權(quán)值圖；基于第一去鬼影權(quán)值圖和第二去鬼影權(quán)值圖分別對至少三張亮度圖和至少三張色度圖進(jìn)行融合，生成融合亮度圖和融合色度圖；以及將融合亮度圖和融合色度圖進(jìn)行合成，生成對象的高動態(tài)范圍圖像。

顯示器可以用于顯示對象的高動態(tài)范圍圖像。

圖7為本發(fā)明圖像處理的裝置的第二實(shí)施例的框架結(jié)構(gòu)示意圖700。

如圖7所示，該裝置可以包括中央處理單元(CPU)，其可以根據(jù)存儲在只讀存儲器(ROM)中的程序或者從存儲部分加載到隨機(jī)訪問存儲器(RAM)中的程序而執(zhí)行各種適當(dāng)?shù)膭幼骱吞幚?。在RAM中，還存儲有系統(tǒng)操作所需的各種程序和數(shù)據(jù)。CPU、ROM以及RAM通過通信總線彼此相連。輸入/輸出(I/O)接口也連接至總線。

以下部件連接至I/O接口：包括鍵盤、鼠標(biāo)等的輸入部分；包括諸如陰極射線管(CRT)、液晶顯示器(LCD)等以及揚(yáng)聲器等的輸出部分；包括硬盤等的存儲部分；以及包括諸如LAN卡、調(diào)制解調(diào)器等的網(wǎng)絡(luò)接口卡的通信部分。通信部分經(jīng)由諸如因特網(wǎng)的網(wǎng)絡(luò)執(zhí)行通信處理。驅(qū)動器也根據(jù)需要連接至I/O接口?？刹鹦督橘|(zhì)，諸如磁盤、光盤、磁光盤、半導(dǎo)體存儲器等等，根據(jù)需要安裝在驅(qū)動器上，以便于從其上讀出的計(jì)算機(jī)程序根據(jù)需要被安裝入存儲部分。

但是，需要明確，本發(fā)明并不局限于上文所描述并在圖中示出的特定配置和處理。并且，為了簡明起見，這里省略對已知方法技術(shù)的詳細(xì)描述。在上述實(shí)施例中，描述和示出了若干具體的步驟作為示例。但是，本發(fā)明的方法過程并不限于所描述和示出的具體步驟，本領(lǐng)域的技術(shù)人員可以在領(lǐng)會本發(fā)明的精神之后，作出各種改變、修改和添加，或者改變步驟之間的順序。

以上所述的結(jié)構(gòu)框圖中所示的功能塊可以實(shí)現(xiàn)為硬件、軟件、固件或者它們的組合。當(dāng)以硬件方式實(shí)現(xiàn)時，其可以例如是電子電路、專用集成電路(ASIC)、適當(dāng)?shù)墓碳?、插件、功能卡等等。?dāng)以軟件方式實(shí)現(xiàn)時，本發(fā)明的元素是被用于執(zhí)行所需任務(wù)的程序或者代碼段。程序或者代碼段可以存儲在機(jī)器可讀介質(zhì)中，或者通過載波中攜帶的數(shù)據(jù)信號在傳輸介質(zhì)或者通信鏈路上傳送?！皺C(jī)器可讀介質(zhì)”可以包括能夠存儲或傳輸信息的任何介質(zhì)。機(jī)器可讀介質(zhì)的例子包括電子電路、半導(dǎo)體存儲器設(shè)備、ROM、閃存、可擦除ROM(EROM)、軟盤、CD-ROM、光盤、硬盤、光纖介質(zhì)、射頻(RF)鏈路，等等。代碼段可以經(jīng)由諸如因特網(wǎng)、內(nèi)聯(lián)網(wǎng)等的計(jì)算機(jī)網(wǎng)絡(luò)被下載。

圖8為本發(fā)明一實(shí)施例的圖像處理的系統(tǒng)的框架結(jié)構(gòu)示意圖800。如圖8所示，圖像處理的系統(tǒng)可以包括：攝像裝置和上述各實(shí)施例中的圖像處理的裝置。

需要說明的是：上述各實(shí)施例中的圖像處理的裝置和系統(tǒng)可以是圖像處理的方法中的執(zhí)行主體，且圖像處理的裝置和系統(tǒng)中的各個功能單元和功能模塊分別是為了實(shí)現(xiàn)各個方法的相應(yīng)流程。由于上述實(shí)施例的圖像處理的裝置和系統(tǒng)與圖像處理的方法的內(nèi)容相對應(yīng)，所屬領(lǐng)域的技術(shù)人員可以清楚地了解到，為了描述的方便和簡潔，上述描述的各個功能單元和模塊的具體工作過程以及可以達(dá)到的技術(shù)效果可以參考上述方法實(shí)施例中的對應(yīng)內(nèi)容，此方面內(nèi)容不再贅述。

在本申請所提供的幾個實(shí)施例中，應(yīng)該理解到，所揭露的系統(tǒng)和方法，可以通過其它的方式實(shí)現(xiàn)。例如，以上所描述的裝置實(shí)施例僅僅是示意性的，例如，所述單元或者模塊的劃分，僅僅為一種邏輯功能劃分，實(shí)際實(shí)現(xiàn)時可以有另外的劃分方式，例如多個單元或組件可以結(jié)合或者可以集成到另一個系統(tǒng)，或一些特征可以忽略，或不執(zhí)行。另外，所顯示或討論的相互之間的耦合或直接耦合或通信連接可以是通過一些接口、裝置或單元的間接耦合或通信連接，也可以是電的，機(jī)械的或其它的形式連接。

所述作為分離部件說明的單元可以是或者也可以不是物理上分開的，作為單元顯示的部件可以是或者也可以不是物理單元，即可以位于一個地方，或者也可以分布到多個網(wǎng)絡(luò)單元上?？梢愿鶕?jù)實(shí)際的需要選擇其中的部分或者全部單元來實(shí)現(xiàn)本發(fā)明實(shí)施例方案的目的。

另外，在本發(fā)明各個實(shí)施例中的各功能單元可以集成在一個處理單元中，也可以是各個單元單獨(dú)物理存在，也可以是兩個或兩個以上單元集成在一個單元中。上述集成的單元既可以采用硬件的形式實(shí)現(xiàn)，也可以采用軟件功能單元的形式實(shí)現(xiàn)。

本領(lǐng)域普通技術(shù)人員可以意識到，結(jié)合本文中所公開的實(shí)施例描述的各示例的單元及算法步驟，能夠以電子硬件、計(jì)算機(jī)軟件或者二者的結(jié)合來實(shí)現(xiàn)，為了清楚地說明硬件和軟件的可互換性，在上述說明中已經(jīng)按照功能一般性地描述了各示例的組成及步驟。這些功能究竟以硬件還是軟件方式來執(zhí)行，取決于技術(shù)方案的特定應(yīng)用和設(shè)計(jì)約束條件。專業(yè)技術(shù)人員可以對每個特定的應(yīng)用來使用不同方法來實(shí)現(xiàn)所描述的功能，但是這種實(shí)現(xiàn)不應(yīng)認(rèn)為超出本發(fā)明的范圍。

以上所述，僅為本發(fā)明的具體實(shí)施例，但本發(fā)明的保護(hù)范圍并不局限于此，任何熟悉本技術(shù)領(lǐng)域的技術(shù)人員在本發(fā)明揭露的技術(shù)范圍內(nèi)，可輕易想到各種等效的修改或替換，這些修改或替換都應(yīng)涵蓋在本發(fā)明的保護(hù)范圍之內(nèi)。因此，本發(fā)明的保護(hù)范圍應(yīng)以權(quán)利要求的保護(hù)范圍為準(zhǔn)。