專利名稱：彩色圖像增強(qiáng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明的一個(gè)方面涉及一種可以改進(jìn)彩色圖像的感知質(zhì)量的圖像增強(qiáng)方法。本發(fā) 明的其他方面涉及一種圖像增強(qiáng)器、一種圖像再現(xiàn)(rendering)系統(tǒng)和一種用于可編程處 理器的計(jì)算機(jī)程序產(chǎn)品。
背景技術(shù)：
與亮度(luminance)信息相比，顏色信息通常用較低的分辨率表示。例如，所謂的 色度采樣(chromatic sampling)可以根據(jù)特定方案應(yīng)用于彩色圖像，例如4:1 1或4:22 子采樣方案。彼此鄰近的若干像素共享相同的色度分量，而這些像素中的每一個(gè)都具有唯 一的亮度分量。這一般不會(huì)影響感知的圖像質(zhì)量。典型的人類觀察者一般將會(huì)把其中色度 信息具有比亮度信息稍低分辨率的圖像視為等同于其中色度信息具有與亮度信息相同的 分辨率的相似圖像。美國專利號(hào)5，982，926描述到，已經(jīng)開發(fā)了各種圖像增強(qiáng)過程來改進(jìn)圖像的感知 的清晰度、可理解性(intelligibility)和/或質(zhì)量。這些圖像增強(qiáng)過程試圖令人養(yǎng)眼地 再現(xiàn)圖像，而不管這些圖像是否被精確地復(fù)制(!^produce)。時(shí)常地，失真的圖像比原始圖 像的完美復(fù)制的復(fù)制品更令人養(yǎng)眼。例如，如果過沖(overshoot)或下沖(undershoot)被 并入到圖像的邊緣，則所得的圖像典型地被感知為比沒有這種下沖或過沖的圖像更令人愉 悅。

發(fā)明內(nèi)容
需要改進(jìn)彩色圖像的感知質(zhì)量。已經(jīng)考慮下述觀點(diǎn)以便更好地滿足該需要。已經(jīng)觀察到，彩色圖像在其中存在相對(duì)較高的色飽和度的區(qū)域中顯現(xiàn)出一點(diǎn)模 糊。該彩色圖像在所關(guān)注的區(qū)域包括相對(duì)較多的細(xì)節(jié)的情況下顯得特別模糊。而且，所關(guān) 注的區(qū)域可以顯現(xiàn)為色飽和度不足。這些現(xiàn)象特別地發(fā)生在其中顏色信息以比亮度信息低 的分辨率表示的圖像中。這種表面上的分辨率的局部損失或飽和度的局部損失或二者影響 所關(guān)注的彩色圖像的感知質(zhì)量。根據(jù)本發(fā)明的一個(gè)方面，以下述方式增強(qiáng)彩色圖像。一種飽和度檢測器檢測圖像 區(qū)中存在的色飽和度。濾波器裝置以依賴于色飽和度的程度對(duì)圖像區(qū)中至少一個(gè)空間細(xì)節(jié) 進(jìn)行濾波(filter)。因此，在其中存在相對(duì)較高的色飽和度的圖像區(qū)中，空間細(xì)節(jié)可以被以相對(duì)較高 的程度強(qiáng)調(diào)。相反地，在其中色飽和度相對(duì)較低的圖像區(qū)中，空間細(xì)節(jié)可被以相對(duì)適中的程 度強(qiáng)調(diào)或者甚至留下來不被改變。這種作為色飽和度的函數(shù)的細(xì)節(jié)強(qiáng)調(diào)補(bǔ)償了所關(guān)注圖像 區(qū)中分辨率的表面上的損失或飽和度的表面上的損失或二者。這允許彩色圖像具有更好的 感知質(zhì)量。實(shí)驗(yàn)已經(jīng)證實(shí)了這一點(diǎn)。各種不同的彩色圖像已經(jīng)根據(jù)本發(fā)明而被增強(qiáng)。各種 觀察者已經(jīng)將這些彩色圖像中的每一個(gè)與其增強(qiáng)的版本進(jìn)行了比較。增強(qiáng)的版本被清楚地 感知為更好的。
本發(fā)明的實(shí)現(xiàn)方式有利地包括下列附加特征的一個(gè)或多個(gè)，這些附加特征在與各 個(gè)從屬權(quán)利要求對(duì)應(yīng)的單獨(dú)段落中被描述。當(dāng)所述色飽和度較高時(shí)，所述濾波器裝置優(yōu)選地將圖像區(qū)中令人感興趣的像素與 鄰近像素之間的值差以較大的程度放大。這允許低成本的實(shí)現(xiàn)。被放大的值差可以包括亮度值。被放大的值差可以包括色度值。被放大的值差優(yōu)選地包括亮度值和色度值。這對(duì)實(shí)現(xiàn)相對(duì)較高的感知質(zhì)量有貢 獻(xiàn)。色度值的差被放大的程度優(yōu)選地大于亮度值的差被放大的程度。這對(duì)實(shí)現(xiàn)相對(duì)較 高的感知質(zhì)量有貢獻(xiàn)。被檢測的色飽和度優(yōu)選地是令人感興趣的像素的色飽和度。這實(shí)現(xiàn)了低成本的實(shí) 現(xiàn)方式。所述飽和度檢測器優(yōu)選地確定屬于令人感興趣的像素的色度值與對(duì)應(yīng)于無關(guān)緊 要的飽和度的中心值之間的絕對(duì)差?？刂浦悼梢曰谠摻^對(duì)差而被生成，該控制值確定令 人感興趣的像素與鄰近像素之間的值差被放大的程度。這實(shí)現(xiàn)了低成本的實(shí)現(xiàn)方式。所述濾波器裝置優(yōu)選地確定鄰近像素的典型值。然后可以將該典型值從屬于令人 感興趣的像素的值中減去，從而獲得差值。當(dāng)色飽和度較高時(shí)，該差值與較高的系數(shù)相乘， 從而獲得放大的差值。然后，該典型值被加到所述放大的差值，從而獲得令人感興趣的像素 的修改的值。這實(shí)現(xiàn)了低成本實(shí)現(xiàn)方式。定序器(sequencer)可以接連地將彩色圖像中的各個(gè)像素逐個(gè)地指定為令人感 興趣的像素。前述值差優(yōu)選地基于根據(jù)預(yù)定的孔(aperture)形成的像素組而被創(chuàng)建，所述像 素組包括令人感興趣的像素。參照附圖的詳細(xì)描述闡明了上文中概括的本發(fā)明以及附加的特征。


圖1是示出圖像再現(xiàn)系統(tǒng)的框圖。圖2是示出形成圖像再現(xiàn)系統(tǒng)的一部分的圖像增強(qiáng)器的框圖。圖3是示出令人感興趣的像素的指定和用于定義包括令人感興趣的像素的像素 組的孔的框圖。圖4是示出形成圖像增強(qiáng)器的一部分的飽和度檢測器的框圖。圖5是示出形成圖像增強(qiáng)器的一部分的細(xì)節(jié)增強(qiáng)模塊的框圖。圖6是示出圖像增強(qiáng)器的軟件實(shí)現(xiàn)方式的計(jì)算機(jī)代碼圖。
具體實(shí)施例方式圖1示出耦合到網(wǎng)絡(luò)NW的圖像再現(xiàn)系統(tǒng)IRS，該網(wǎng)絡(luò)NW可以是例如有線電視網(wǎng) 或因特網(wǎng)。視覺數(shù)據(jù)服務(wù)器SV也耦合到網(wǎng)絡(luò)NW。該圖像再現(xiàn)系統(tǒng)IRS包括數(shù)據(jù)處理設(shè)備 DPR、顯示設(shè)備DPL和遙控設(shè)備RCD。該數(shù)據(jù)處理設(shè)備DTO可以是例如個(gè)人計(jì)算機(jī)或所謂的 機(jī)頂盒的形式。該數(shù)據(jù)處理設(shè)備DI5R和顯示設(shè)備DPL可以共同形成電視機(jī)的一部分。該數(shù)據(jù)處理設(shè)備DI3R包括輸入模塊1匪、圖像增強(qiáng)器ENH、輸出模塊OUM和控制器CTRL。所述圖像再現(xiàn)系統(tǒng)IRS基本上如下操作。用戶可以借助于遙控設(shè)備RCD選擇在視 覺數(shù)據(jù)服務(wù)器SV上存在的特定的視覺項(xiàng)目。所述數(shù)據(jù)處理設(shè)備Dra將指示該所選視覺項(xiàng) 目的請(qǐng)求提交給視覺數(shù)據(jù)服務(wù)器SV。作為響應(yīng)，視覺數(shù)據(jù)服務(wù)器SV提供傳送所選視覺項(xiàng)目 的傳輸流TS。所選視覺項(xiàng)目可以是例如視頻標(biāo)題或靜態(tài)圖片。該傳輸流TS可以例如依照 JPEG或MPEG編碼標(biāo)準(zhǔn)(JPEG是聯(lián)合圖像專家組的首字母縮寫；MPEG是運(yùn)動(dòng)圖片專家組的 首字母縮寫)。所述數(shù)據(jù)處理設(shè)備DI5R經(jīng)由網(wǎng)絡(luò)NW接收傳輸流TS。數(shù)據(jù)處理設(shè)備Dra的輸入模塊I NM從傳輸流TS中提取表示所選視覺項(xiàng)目的視覺 數(shù)據(jù)VD。如前文所述，所選視覺項(xiàng)目可以是包括彩色圖像的序列的視頻標(biāo)題(video title) 或包括單個(gè)彩色圖像的靜態(tài)圖片。在任何情況下，圖像增強(qiáng)器ENH都增強(qiáng)視覺數(shù)據(jù)VD中所 包含的彩色圖像，從而獲得增強(qiáng)的視覺數(shù)據(jù)VE。輸出模塊OUM基于增強(qiáng)的視覺數(shù)據(jù)VE提供 顯示驅(qū)動(dòng)器信號(hào)DD。顯示驅(qū)動(dòng)器信號(hào)DD使得顯示設(shè)備DPL顯示選定的視覺項(xiàng)目。期望的 是，用戶將由顯示設(shè)備DPL顯示的彩色圖像感知為質(zhì)量相對(duì)較好。圖像增強(qiáng)器ENH使得感 知的圖像質(zhì)量好于在圖像再現(xiàn)系統(tǒng)IRS中不存在圖像增強(qiáng)器ENH的情況下所獲得的圖像質(zhì) 量。圖2示出圖像增強(qiáng)器ENH，其形成數(shù)據(jù)處理設(shè)備DI5R的一部分。該圖像增強(qiáng)器ENH 包括各種功能實(shí)體輸入緩沖器IB、像素選擇器和路由器PSR、飽和度檢測器SDT、三個(gè)細(xì)節(jié) 強(qiáng)調(diào)模塊DE1、DE2、DE3以及輸出緩沖器0B。前述功能實(shí)體形成圖像數(shù)據(jù)處理路徑。這三 個(gè)細(xì)節(jié)強(qiáng)調(diào)模塊DE1、DE2、DE3構(gòu)成針對(duì)彩色圖像的高通濾波器裝置。該圖像增強(qiáng)器ENH進(jìn) 一步包括可被認(rèn)為是專用于圖像數(shù)據(jù)處理路徑的定序器(sequencer) SQ。圖像增強(qiáng)器ENH可以借助于加載到可編程處理器中的軟件程序(即一組指令)來 實(shí)現(xiàn)。在這種基于軟件的實(shí)現(xiàn)方式中，該軟件程序使得可編程處理器執(zhí)行下文參照?qǐng)D2所 描述的各種操作。因此，圖2可以被看作表示一種方法，由此功能實(shí)體或一組功能實(shí)體可以 被認(rèn)為是該方法的處理步驟或一系列處理步驟。例如，飽和度檢測器SDT可以表示飽和度 檢測步驟。圖像增強(qiáng)器ENH也可以借助于專用電路實(shí)現(xiàn)，該專用電路具有定義下文參照?qǐng)D2 所描述的操作的特定拓?fù)浣Y(jié)構(gòu)。在這種硬件實(shí)現(xiàn)方式中，圖2中所示的功能實(shí)體可以與子 電路對(duì)應(yīng)。因此，圖2同樣可以被看作以塊級(jí)(block level)表示電路圖。圖像增強(qiáng)器ENH 的實(shí)現(xiàn)方式在其包括至少一個(gè)專用電路和至少一個(gè)具有一組適當(dāng)指令的可編程電路的意 義下也可以是混合的。圖像增強(qiáng)器ENH基本上如下操作。輸入緩沖器IB臨時(shí)存儲(chǔ)由圖1中所示的輸入 模塊I匪提供的視覺數(shù)據(jù)VD。因此，在給定的瞬間，輸入緩沖器IB可以包括視覺數(shù)據(jù)VD 中所包含的彩色圖像。該彩色圖像可以被認(rèn)為是像素的矩陣。該彩色圖像可以是例如所謂 的YUV顏色格式(color format)。在該格式中，像素具有亮度分量，其唯一地屬于所關(guān)注 的像素。像素可以進(jìn)一步具有色度分量對(duì)，其包括第一色度分量和第二色度分量。若干鄰 近像素可以共享相同的色度分量對(duì)。在這種情況下，色度分量已經(jīng)關(guān)于亮度分量而被子采 樣。例如，在所謂的4:2:2的子采樣方案中情況就是這樣，其中色度分量的水平分辨率是亮 度分量的水平分辨率的一半。定序器SQ提供指定彩色圖像中特定像素的像素選擇數(shù)據(jù)LN、PN0像素選擇數(shù)據(jù)
6LN、PN可以包括例如行號(hào)LN和像素號(hào)PN。被指定的特定像素將在下文中被稱為令人感興 趣的像素PI。定序器SQ更新像素選擇數(shù)據(jù)LN、PN，使得彩色圖像中的所有像素除了邊界區(qū) 域中的之外都接連構(gòu)成令人感興趣的像素PI。即，如同除了邊界區(qū)域中存在的像素之外定 序器SQ逐個(gè)像素地掃描彩色圖像。像素選擇器和路由器PSR基于像素選擇數(shù)據(jù)LN、PN從輸入緩沖器IB讀取像素組 SP。像素組SP包括令人感興趣的像素PI和各種鄰近像素。有效地，像素選擇器和路由器 PSR限定了確定形成所述像素組SP的一部分的鄰近像素的孔。該孔可以被視為窗，定序器 SQ使該窗在彩色圖像上滑動(dòng)。令人感興趣的像素PI將典型地處在該窗的中央，但是這不是 必要的。在某種意義上講，所述窗在彩色圖像上滑動(dòng)，直到它碰到彩色圖像的邊界為止。因 此，上述不需要從中選擇像素的邊界區(qū)域依賴于所述孔。所述孔可以適當(dāng)?shù)卦诓噬珗D像的 邊界處被調(diào)適。在這種情況下，彩色圖像的所有像素可以接連被選擇。圖3示出所述像素選擇器和路由器PSR可以定義的矩形孔APE的實(shí)例。借助于相 對(duì)較小的圓圈表示像素。這些像素被設(shè)置在分別沿著水平軸X和垂直軸y的行和列中。來 自定序器SQ的像素選擇數(shù)據(jù)LN、PN可以定義行號(hào)LN和像素號(hào)PN，其分別由虛線與向下指 向和向右指向的相對(duì)較小的矩形表示。構(gòu)成令人感興趣的像素PI的像素具有黑色填充。矩 形孔APE內(nèi)的其他像素具有灰色填充。這些像素以及令人感興趣的像素PI構(gòu)成所述像素 選擇器和路由器PSR基于像素選擇數(shù)據(jù)LN、PN構(gòu)成的所述像素組SP。飽和度檢測器SDT從像素選擇器和路由器PSR接收色度分量對(duì)V-PI、U_PI。該色 度分量對(duì)V-PI、U-PI屬于令人感興趣的像素PI。飽和度檢測器SDT基于色度分量對(duì)V-PI、 U-PI創(chuàng)建亮度控制值LC和色度控制值CC。亮度控制值LC確定應(yīng)用于令人感興趣的像素 PI的亮度分量的空間細(xì)節(jié)強(qiáng)調(diào)的程度。相似地，色度控制值CC確定應(yīng)用于令人感興趣的像 素PI的色度分量對(duì)的空間細(xì)節(jié)強(qiáng)調(diào)程度。優(yōu)選地，如果令人感興趣的像素PI展示出相對(duì) 較高的色飽和度，則空間細(xì)節(jié)強(qiáng)調(diào)的程度相對(duì)較高。亮度控制值LC和色度控制值CC反映 色飽和度，其可以從令人感興趣的像素的色度分量對(duì)V-PI、U-PI導(dǎo)出。這將在下文中更詳 細(xì)地進(jìn)行描述。細(xì)節(jié)強(qiáng)調(diào)模塊DEl從像素選擇器和路由器PSR接收亮度分量組Y-SP。亮度分量組 Y-SP包括屬于像素選擇器和路由器PSR已經(jīng)形成的所述像素組SP的相應(yīng)的亮度分量。因 此，所述亮度分量組Y-SP包括令人感興趣的像素PI的亮度分量。該亮度分量在下文中將 被稱為令人感興趣的亮度分量。所述亮度分量組Y-SP進(jìn)一步包括各個(gè)鄰近像素的各個(gè)亮 度分量，這些鄰近像素也在像素選擇器和路由器PSR已經(jīng)形成的所述像素組SP中。這些后 一種亮度分量將在下文中被稱為鄰近亮度分量。細(xì)節(jié)強(qiáng)調(diào)模塊DEl進(jìn)一步接收飽和度檢測 器SDT已經(jīng)創(chuàng)建的亮度控制值LC。細(xì)節(jié)強(qiáng)調(diào)模塊DEl為在輸出緩沖器OB中形成的增強(qiáng)的彩色圖像提供輸出亮度分 量Yo。該輸出亮度分量Yo被分配給增強(qiáng)的彩色圖像的特定像素。依照行號(hào)LN和像素號(hào) ΡΝ，該特定像素具有與所述彩色圖像中令人感興趣的像素PI的位置相似的位置。該輸出亮 度分量Yo可以視為令人感興趣的亮度分量的修改的版本。更特別地，令人感興趣的亮度分 量具有可以由細(xì)節(jié)強(qiáng)調(diào)模塊DEl修改的給定值。該亮度值修改依賴于關(guān)于各個(gè)鄰近亮度分 量的各個(gè)值的令人感興趣的亮度分量值。重要地，亮度值修改進(jìn)一步依賴于反映色飽和度 的亮度控制值LC。
例如，假設(shè)令人感興趣的亮度分量與鄰近亮度分量的值相比具有相對(duì)較低的值。 在這種情況下，細(xì)節(jié)強(qiáng)調(diào)模塊DEl進(jìn)一步減小令人感興趣的亮度分量的值。相反地，在令人 感興趣的亮度分量具有相對(duì)較高的值的情況下，細(xì)節(jié)強(qiáng)調(diào)模塊DEl進(jìn)一步增大令人感興趣 的亮度分量的值。在這兩種情況下，令人感興趣的亮度分量與鄰近的亮度分量之間的值差 被放大。被放大的值差可以通過多種不同的方式表達(dá)。例如，該差可以是令人感興趣的亮 度分量的值與鄰近亮度分量的平均值之間的差。作為另一個(gè)實(shí)例，鄰近亮度分量的中值可 以用于表達(dá)該差。令人感興趣的亮度分量也可以被包含以建立平均值或中值。重要的是，所 述差表示以依賴于亮度控制值LC的程度被放大的空間細(xì)節(jié)，其反映飽和度。飽和度越高， 所述差所經(jīng)受的放大程度越高。細(xì)節(jié)強(qiáng)調(diào)模塊DE2、DE3以相似的方式操作。細(xì)節(jié)強(qiáng)調(diào)模塊DE2、DE3從像素選擇器 和路由器PSR分別接收第一色度分量組U-SP和第二色度分量組V-SP。所述第一色度分量 組U-SP包括令人感興趣的第一色度分量(其是令人感興趣的像素PI的第一色度分量)和 鄰近的第一色度分量。相似地，所述第二色度分量組V-SP包括令人感興趣的第二色度，以 及鄰近的第二色度分量。在每一種情況下，細(xì)節(jié)強(qiáng)調(diào)模塊DE2、DE3所接收的色度分量都是 屬于像素選擇器和路由器PSR已經(jīng)形成的所述像素組SP的色度分量。差異在于，細(xì)節(jié)強(qiáng)調(diào)模塊DE2、DE3接收色度控制值CC，而亮度控制值LC被應(yīng)用于 細(xì)節(jié)強(qiáng)調(diào)模塊DE1。該差異是優(yōu)選的而不是必要的。應(yīng)用不同的控制值允許對(duì)亮度和色度 進(jìn)行不同程度的細(xì)節(jié)放大，這可以對(duì)提高感知的圖像質(zhì)量有貢獻(xiàn)。在任何情況下，細(xì)節(jié)強(qiáng)調(diào) 模塊DE2以依賴于色度控制值CC所反映的色飽和度的程度放大令人感興趣的第一色度分 量與鄰近的第一色度分量之間的值差。細(xì)節(jié)強(qiáng)調(diào)模塊DE3以相似的程度放大令人感興趣的 第二色度分量與鄰近的第二色度分量之間的值差。細(xì)節(jié)強(qiáng)調(diào)模塊DE2、DE3為所述增強(qiáng)的彩色圖像分別提供第一輸出色度分量Uo和 第二輸出色度分量Vo，所述增強(qiáng)的彩色圖像形成在輸出緩沖器OB中。該輸出色度分量對(duì) Uo、Vo被分配給與如前所述的細(xì)節(jié)強(qiáng)調(diào)模塊DEl為其建立輸出亮度分量Yo的相同像素。 即，第一輸出色度分量Uo和第二輸出色度分量Vo可以分別被視為令人感興趣的第一色度 分量和令人感興趣的第二色度分量的修改的版本。定序器SQ使得輸入緩沖器IB中的彩色圖像的所有亮度分量和所有色度分量經(jīng)受 細(xì)節(jié)放大，如前所述，所述細(xì)節(jié)放大依賴于色飽和度，除了在邊界區(qū)域中的分量之外所。后 一種分量可以簡單地如同從彩色圖像被映射到輸出緩沖器OB中的增強(qiáng)的彩色圖像?？商?代地，這些分量可以經(jīng)受適合的細(xì)節(jié)放大或另一種類型的適當(dāng)?shù)奶幚?。?yīng)當(dāng)注意，細(xì)節(jié)強(qiáng)調(diào)模塊DE2、DE3可以以低于細(xì)節(jié)強(qiáng)調(diào)模塊DEl的速率操作。這 是因?yàn)?，輸入緩沖器IB中存在的彩色圖像包括的色度分量對(duì)比亮度分量少。如前所述，彼 此鄰近的若干個(gè)像素可以共享相同的色度分量對(duì)，而這些像素的每一個(gè)具有唯一的亮度分 量。因此，細(xì)節(jié)強(qiáng)調(diào)模塊DE2、DE3只處理與這些像素中一個(gè)相關(guān)的所述色度分量對(duì)就足夠 了。這將產(chǎn)生輸出色度分量對(duì)Uo、Vo，其適用于這些像素中的每一個(gè)。相反地，細(xì)節(jié)強(qiáng)調(diào)模 塊DEl將需要單獨(dú)地處理所關(guān)注的各個(gè)像素的各個(gè)亮度分量。—旦輸入圖像的所有相關(guān)分量都被處理了，則輸出緩沖器OB將整體上包括增強(qiáng) 的彩色圖像。該增強(qiáng)的彩色圖像包含在增強(qiáng)的視覺數(shù)據(jù)VE中，如圖1所示圖像增強(qiáng)器ENH將該增強(qiáng)的視覺數(shù)據(jù)VE應(yīng)用到輸出模塊0UM。圖4示出飽和度檢測器SDT，或更確切地說，示出了其實(shí)例。飽和度檢測器SDT接 收色度分量對(duì)V-PI、U-PI，其包括令人感興趣的第一色度分量V-PI和令人感興趣的第二色 度分量U-PI。飽和度檢測器SDT包括各種功能實(shí)體兩個(gè)中心偏離檢測器⑶Dl、⑶D2、加法 器ADl和兩個(gè)歸一化器(normalizer)匪1、匪2。上文中關(guān)于(可以是基于軟件或基于硬件 的)圖像增強(qiáng)器ENH的各種可能的實(shí)現(xiàn)方式所作出的評(píng)述(remark)同樣適用于飽和度檢 測器SDT。圖4因此可以被看作表示一種方法，由此功能實(shí)體或功能實(shí)體組可以被認(rèn)為是該 方法的處理步驟或一系列的處理步驟。中心偏離檢測器⑶Dl建立令人感興趣的第一色度分量的值V-PI與中心值CV之 間的絕對(duì)差。中心值CV與無關(guān)緊要的(insignificant)的飽和度相對(duì)應(yīng)，即中心值CV相 當(dāng)于根本沒有飽和度。例如，假設(shè)色度分量的值包含在0到255之間的范圍中，如果這些值 借助于8位來表示，則這是典型的情況。在這種情況下，中心值CV可以是例如128。中心偏 離檢測器CDDl可以將中心值CV從令人感興趣的第一色度分量的值V-PI中減去并且取該 減法的結(jié)果的絕對(duì)值，從而獲得前述值之間的絕對(duì)差。中心偏離檢測器CDDl提供第一色度 偏離值DV-PI，其與該絕對(duì)差對(duì)應(yīng)。通過相似的方式，中心偏離檢測器CDD2提供第二色度偏 離值DU-PI，其與令人感興趣的第二色度分量U-PI的值與中心值CV之間的絕對(duì)差對(duì)應(yīng)。加法器ADl使第一色度偏離值DV-PI與第二色度偏離值DU-PI相加，這產(chǎn)生總的 色度偏離值DUV-PI?？偵绕x值DUV-PI表示令人感興趣的像素PI的飽和度。該總色度 偏離值DUV-PI越高，飽和度越高。相反地，如果令人感興趣的像素PI展示出相對(duì)較低的飽 和度，該總色度偏離值DUV-PI將相對(duì)接近于零(0)。歸一化器匪1將總色度偏離值DUV-PI除以中心值CV。此外，歸一化器匪1將一個(gè) 單位的值(1)加到該除法的結(jié)果，從而獲得亮度控制值LC。因此，亮度控制值LC可以包含 在1到2之間的范圍內(nèi)。如果令人感興趣的像素PI展示出相對(duì)較低的飽和度，則亮度控制 值LC將相對(duì)接近于1，并且如果令人感興趣的像素PI展示出相對(duì)較高的飽和度，則亮度控 制值LC將相對(duì)接近于2。歸一化器匪2將總色度偏離值DUV-PI除以中心值CV的一半。此外，歸一化器匪2 將一個(gè)單位的值(1)加到該除法的結(jié)果，從而獲得亮度控制值LC。因此，色度控制值CC可 以包含在1到3之間的范圍內(nèi)。即色度控制值CC可以在比亮度控制值LC寬的范圍上變化。 如果令人感興趣的像素PI展示出相對(duì)較高的飽和度，則色度控制值CC將相對(duì)接近于3。結(jié) 果，與亮度分量相比，對(duì)色度分量的細(xì)節(jié)放大程度將會(huì)更高。圖5示出細(xì)節(jié)強(qiáng)調(diào)模塊DE1，或更確切地說示出其實(shí)例。細(xì)節(jié)強(qiáng)調(diào)模塊DEl包括 各種功能實(shí)體選擇器SEL、典型值計(jì)算器TVC、減法器SU、乘法器MUL、加法器AD2和限幅器 (clipper)CLP。上文中關(guān)于(可以是基于軟件或基于硬件的)圖像增強(qiáng)器ENH的各種可能 的實(shí)現(xiàn)方式所作出的評(píng)述(remark)同樣適用于飽和度檢測器SDT。圖5因此可以被視為表 示一種方法，由此功能實(shí)體或功能實(shí)體組可以被認(rèn)為是該方法的處理步驟或一系列的處理 步驟。選擇器SEL選擇在所述亮度分量組Y-SP中的令人感興趣的亮度分量Y-PI。如前 文所述，像素選擇數(shù)據(jù)LN、PN標(biāo)識(shí)令人感興趣的像素PI，并且因此標(biāo)識(shí)令人感興趣的亮度 分量Y-PI。典型值計(jì)算器TVC基于所述亮度分量組Y-SP計(jì)算典型的亮度值Y-TV。該典型
9的亮度值Y-TV可以是例如包含在所述組中的鄰近亮度分量的相應(yīng)值的平均值。作為另一 個(gè)實(shí)例，典型的亮度值Y-TV可以是中值。減法器SU將典型的亮度值Y-TV從令人感興趣的亮度分量Y-PI中減去。因此，減 法器SU提供了令人感興趣的像素PI的亮度差值dY-PI，其表達(dá)了令人感興趣的亮度分量 Y-PI與鄰近亮度分量之間的值差。乘法器MUL將亮度差值dY-PI與圖4中所示的飽和度檢測器SDT提供的亮度控制 值LC相乘。該乘法的結(jié)果是放大的亮度差值A(chǔ)dY-PI。亮度控制值LC構(gòu)成放大系數(shù)，即令 人感興趣的亮度分量Y-PI與鄰近亮度分量之間的值差的增益值。加法器AD2將典型的亮 度值Y-TV加到放大的亮度差值A(chǔ)dY-PI，從而獲得無界的(unbounded)輸出亮度值YV。限幅器CLP基于無界的輸出亮度值YV將值分配給輸出亮度分量Yo。在無界輸出 亮度值YV處于期望的范圍內(nèi)的情況下，輸出亮度分量Yo的值等于該無界輸出亮度值YV。 所述期望的范圍可以包含在例如O到255之間，O和255分別表示下限和上限。在無界的輸 出亮度值YV低于下限的情況下，輸出亮度分量Yo的值等于下限。相反地，在無界的輸出亮 度值YV高于上限的情況下，輸出亮度分量Yo的值等于上限。因此，限幅器CLP確保了輸出 亮度分量Yo的值處于期望的范圍內(nèi)。假設(shè)令人感興趣的像素PI展示出無關(guān)緊要的色飽和度。結(jié)果，亮度控制值LC將 等于1，或僅僅稍大于1。在這種情況下，令人感興趣的亮度分量Y-PI與鄰近的亮度分量之 間的值差不被放大，或僅僅以無關(guān)緊要的程度放大。增益值為1，或僅僅稍大于1。輸出亮 度分量Yo將基本等于令人感興趣的亮度分量Y-PI。沒有對(duì)任何細(xì)節(jié)進(jìn)行強(qiáng)調(diào)，因?yàn)榇嬖跓o 關(guān)緊要的色飽和度。相反地，現(xiàn)在假設(shè)令人感興趣的像素PI展示出相對(duì)較高的色飽和度。結(jié)果，亮度 控制值LC將顯著大于1。在這種情況下，令人感興趣的亮度分量Y-PI與鄰近的亮度分量 之間的值差以依賴于色飽和度的程度被放大。增益值顯著大于1。在令人感興趣的亮度分 量Y-PI的值與鄰近亮度分量的值相比相對(duì)較低的情況下，輸出亮度分量Yo的值將甚至低 于令人感興趣的亮度分量Y-PI的值。相反地，在令人感興趣的亮度分量Y-PI的值與鄰近 亮度分量相比相對(duì)較高的情況下，輸出亮度分量Yo的值將甚至高于令人感興趣的亮度分 量Y-PI的值。色飽和度越高，令人感興趣的亮度分量Y-PI的值分別被有效地減小或增大 的程度越高。因此，在色飽和度高的區(qū)域中，空間亮度細(xì)節(jié)得到增強(qiáng)(boost)。細(xì)節(jié)強(qiáng)調(diào)模塊DE2、DE3與圖5中所示的細(xì)節(jié)強(qiáng)調(diào)模塊DEl相似并以相似方式操 作。差異在于，細(xì)節(jié)強(qiáng)調(diào)模塊DE2將包括可與圖5中所示的乘法器MUL相比的乘法器，其接 收色度控制值CC而不是亮度控制值LC。相同的情況適用于細(xì)節(jié)強(qiáng)調(diào)模塊DE3。由于色度 控制值CC具有比亮度控制值LC的上限(其為2)更高的上限(即3)，在色飽和度高的區(qū)域 中空間色度細(xì)節(jié)以甚至比空間亮度細(xì)節(jié)增強(qiáng)的程度更高的程度被增強(qiáng)。圖6示出圖2中所示的圖像增強(qiáng)器ENH的基于軟件的實(shí)現(xiàn)方式。圖6是示出以c 代碼書寫的一組指令的計(jì)算機(jī)代碼圖，該組指令可以使處理器執(zhí)行前文結(jié)合圖2所述的操 作以及結(jié)合圖3-5所述的操作。這組指令包括與前述附圖中示出的和前文所述的各個(gè)功能 實(shí)體相關(guān)的各個(gè)代碼部分CP1-CP4。圖6借助于附圖標(biāo)記指示了這些關(guān)系與圖2-5中任 一個(gè)中示出的功能實(shí)體對(duì)應(yīng)的代碼部分被提供有對(duì)應(yīng)于所關(guān)注的功能實(shí)體的附圖標(biāo)記的 附圖標(biāo)記。
結(jié)論前文參照附圖的詳細(xì)描述僅僅是對(duì)權(quán)利要求中限定的本發(fā)明和附加特征的說明。 本發(fā)明可以通過多種不同的方式實(shí)現(xiàn)。為了說明這一點(diǎn)，簡要地示出一些可替代方案。本發(fā)明可以在涉及彩色圖像的多種類型的產(chǎn)品和方法中有利地應(yīng)用。例如，本發(fā) 明可以在設(shè)有彩色顯示器的便攜式通信裝置(例如蜂窩電話或個(gè)人數(shù)字助理(PDA))中應(yīng) 用。要被增強(qiáng)的彩色圖像可以通過多種不同的方式被接收。圖2示出其中經(jīng)由網(wǎng)絡(luò)從服務(wù) 器接收彩色圖像的實(shí)例。在其他應(yīng)用中，可以從讀取數(shù)據(jù)載體的讀取模塊接收彩色圖像，數(shù) 據(jù)載體例如光盤、硬盤或固態(tài)存儲(chǔ)器。這種讀取模塊可以形成本發(fā)明應(yīng)用于其中的圖像再 現(xiàn)裝置的一部分。根據(jù)本發(fā)明而被增強(qiáng)的彩色圖像不必是特定的格式。詳細(xì)的說明提供了 一個(gè)實(shí)例，其中彩色圖像是所謂的YUV格式。作為其他實(shí)例，所謂的YCrCb格式或所謂的 HSV格式的彩色圖像也可以根據(jù)本發(fā)明而被增強(qiáng)。存在各種以依賴于色飽和度的程度對(duì)圖像區(qū)中空間細(xì)節(jié)進(jìn)行濾波的方式。所述 的詳細(xì)的說明提供了一個(gè)實(shí)例，其中當(dāng)色飽和度較高時(shí)圖像區(qū)中的空間細(xì)節(jié)以較大程度 被強(qiáng)調(diào)。強(qiáng)調(diào)空間細(xì)節(jié)相當(dāng)于高通濾波。作為另一個(gè)實(shí)例，當(dāng)色飽和度較高時(shí)，空間細(xì)節(jié) 可能以較大的程度經(jīng)受低通濾波。即，當(dāng)色飽和度較高時(shí)，空間細(xì)節(jié)以較大的程度被削弱 (deemphasize)。這種濾波技術(shù)可能對(duì)于處理例如通過讀取VHS類型的錄像帶獲得的視頻 信號(hào)是有利的。在這種錄像帶上，借助于調(diào)制技術(shù)存儲(chǔ)顏色信息，該調(diào)制技術(shù)造成飽和的彩 色平面中相對(duì)較強(qiáng)的噪聲。當(dāng)所關(guān)注的平面中的色飽和度較大時(shí)，可以通過應(yīng)用較大程度 的低通濾波來減少該噪聲。感知的圖像質(zhì)量將得到改進(jìn)。當(dāng)所關(guān)注的平面中的色飽和度較 低時(shí)，這也可以通過應(yīng)用較大程度的高通濾波來獲得。在這種應(yīng)用中，僅僅在色飽和度相對(duì) 較低的圖像區(qū)中強(qiáng)調(diào)細(xì)節(jié)，這避免了對(duì)否則會(huì)不利地影響感知的圖像質(zhì)量的顏色噪聲的強(qiáng) 調(diào)。存在多種對(duì)圖像中空間細(xì)節(jié)進(jìn)行濾波的方式。所述詳細(xì)的說明提供了一個(gè)實(shí)例， 其中令人感興趣的像素與鄰近像素之間的值差基于逐個(gè)像素而被放大。作為另一個(gè)實(shí)例， 濾波裝置可以檢測表示細(xì)節(jié)的特定組的像素，例如對(duì)象邊界周圍的一組像素。然后濾波裝 置可以放大這樣的組的像素中存在的高頻分量。例如，高通濾波可以選擇性地被應(yīng)用到圖 像中包括相對(duì)較多細(xì)節(jié)的并且其中顏色以相對(duì)較高程度飽和的區(qū)域。頻率分析技術(shù)可以用 于識(shí)別包括相對(duì)較多細(xì)節(jié)的區(qū)域。存在多種檢測色飽和度的方式。所述詳細(xì)的說明提供了一個(gè)實(shí)例，其中確定了屬 于令人感興趣的像素的色度值與中心值之間的絕對(duì)差。作為另一個(gè)實(shí)例，可以分析特定圖 像區(qū)中各個(gè)像素的各個(gè)色度值，從而確定色飽和度。色度值對(duì)可以以具有給定長度的向量 形式表示。所述飽和度可以從這種向量的長度導(dǎo)出。存在多種基于一個(gè)或多個(gè)色度值生成 反映色飽和度的控制值的方式。首先，生成控制值的適當(dāng)方式將依賴于彩色圖像的顏色格 式。而且，控制值可以以非線性方式隨飽和度變化。細(xì)節(jié)強(qiáng)調(diào)的程度不必與飽和度成比例。術(shù)語“圖像”應(yīng)當(dāng)被廣義地理解。該術(shù)語包括可被視覺地再現(xiàn)的任意元素，例如圖 片、幀或畫面(field)。術(shù)語“濾波”應(yīng)當(dāng)被廣義地理解。該術(shù)語包括任何類型的處理，借助 于該處理，或者在空間上或者在時(shí)間上或二者皆有地依賴具有鄰近位置的其他像素修改令 人感興趣的像素(或令人感興趣的像素組)的一個(gè)屬性。廣義地說，存在多種借助于硬件或軟件或二者的組合實(shí)現(xiàn)功能實(shí)體的方式。在這方面，附圖是非常示意性的。盡管附圖將不同的功能實(shí)體示出為不同的塊(block)，但是這 絕不排除其中單個(gè)實(shí)體執(zhí)行若干個(gè)功能或其中若干個(gè)實(shí)體執(zhí)行單個(gè)功能的實(shí)現(xiàn)方式。例 如，參照?qǐng)D2，細(xì)節(jié)強(qiáng)調(diào)模塊DE2、DE3可以借助于單個(gè)軟件模塊來實(shí)現(xiàn)。存在多種存儲(chǔ)并分發(fā)為允許可編程電路根據(jù)本發(fā)明操作的軟件的指令組的方式。 例如，軟件可以存儲(chǔ)在適當(dāng)?shù)慕橘|(zhì)中，例如光盤或存儲(chǔ)器電路。其中存儲(chǔ)了軟件的介質(zhì)可以 作為單獨(dú)的產(chǎn)品或與另一個(gè)可以執(zhí)行軟件的產(chǎn)品一起被提供。這種介質(zhì)也可以是使軟件能 夠被執(zhí)行的產(chǎn)品的一部分。軟件業(yè)可以經(jīng)由通信網(wǎng)絡(luò)而被分發(fā)，通信網(wǎng)絡(luò)可以是有線、無線 或混合的。例如，軟件可以經(jīng)由因特網(wǎng)分發(fā)?？梢越柚诜?wù)器使軟件可用于下載。下載 可能需要付費(fèi)。上文中作出的評(píng)述表明，參照附圖的所述詳細(xì)的說明說明而非限制本發(fā)明。存在 落入所附權(quán)利要求的范圍內(nèi)的多種可替代方案。權(quán)利要求中的附圖標(biāo)記不應(yīng)當(dāng)被解釋為限 制權(quán)利要求。文字“包括”不排除權(quán)利要求中沒有列出的其他元件或步驟的存在。元件或 步驟前面的文字“一”不排除多個(gè)這樣的元件或步驟的存在。各個(gè)從屬權(quán)利要求限定各個(gè) 附加特征這個(gè)起碼的事實(shí)并不排除對(duì)應(yīng)于從屬權(quán)利要求的組合的附加特征的組合。
權(quán)利要求
1. 一種圖像增強(qiáng)方法，包括-飽和度檢測步驟(SDT)，其中檢測在圖像區(qū)(SP)中存在的色飽和度(LC，CC)；以及-濾波步驟(DE1，DE2，DE3)，其中以依賴于所述色飽和度的程度對(duì)所述圖像區(qū)中的至 少一個(gè)空間細(xì)節(jié)進(jìn)行濾波。
2.根據(jù)權(quán)利要求1的方法，其中，在濾波步驟(DE1，DE2，DE3)中，當(dāng)色飽和度(LC,CC) 較高時(shí)，圖像區(qū)(SP)中令人感興趣的像素(PI)與鄰近像素之間的值差以較大程度被放大。
3.根據(jù)權(quán)利要求2的方法，其中，在濾波步驟(DE1，DE2，DE3)中，被放大的值差包括亮 度值。
4.根據(jù)權(quán)利要求2的方法，其中，在濾波步驟(DE1，DE2，DE3)中，被放大的值差包括色度值。
5.根據(jù)權(quán)利要求2的方法，其中，在濾波步驟(DE1，DE2，DE3)中，被放大的值差包括亮 度值和色度值。
6.根據(jù)權(quán)利要求5的方法，其中，在濾波步驟(DE1，DE2，DE3)中，色度值的差被放大的 程度大于亮度值的差被放大的程度。
7.根據(jù)權(quán)利要求2的方法，其中，在飽和度檢測步驟(SDT)中，被檢測的色飽和度(LC， CC)是令人感興趣的像素(PI)的色飽和度。
8.根據(jù)權(quán)利要求7的方法，所述飽和度檢測步驟(SDT)包括下列子步驟-中心偏離檢測子步驟(CCDl)，其中確定屬于令人感興趣的像素的色度值與對(duì)應(yīng)于無 關(guān)緊要的飽和度的中心值之間的絕對(duì)差；以及-控制值生成子步驟(AD1，匪1，匪2)，其中基于所述絕對(duì)差生成控制值，該控制值確定 令人感興趣的像素(PI)與鄰近像素之間的值差被放大的程度。
9.根據(jù)權(quán)利要求2的方法，所述濾波步驟(DEl)包括下列子步驟-典型值計(jì)算子步驟(TVC)，其中確定所述鄰近像素的典型值(Y-TV)；-減法子步驟(SU)，其中所述典型值被從屬于令人感興趣的像素(PI)的值(Y-PI)中 減去，從而獲得差值；-乘法子步驟(MUL)，其中所述差值在色飽和度(LC，CC)較高時(shí)與較高的系數(shù)相乘，從 而獲得放大的差值(AdY-PI)；以及-加法子步驟(AD2)，其中所述典型值被加到所述被放大的差值，從而獲得令人感興趣 的像素(PI)的修改的值(YV)。
10.根據(jù)權(quán)利要求2的方法，包括-定序步驟(SQ)，其中接連逐個(gè)地將彩色圖像中各個(gè)像素指定為令人感興趣的像素 (PI)。
11.根據(jù)權(quán)利要求2的方法，包括_像素選擇步驟(PSR)，其中基于預(yù)定的孔(APE)形成包括令人感興趣的像素(PI)的 像素組(SP)，所述差值基于所述像素組而被建立。
12. —種圖像增強(qiáng)器(ENH)，包括-飽和度檢測器(SDT)，其被設(shè)置為檢測在圖像區(qū)中存在的色飽和度(LC，CC)；以及-濾波裝置(DE1，DE2，DE3)，其被設(shè)置為以依賴于所述色飽和度較高的程度對(duì)所述圖 像區(qū)中至少一個(gè)空間細(xì)節(jié)進(jìn)行濾波。
13.一種圖像再現(xiàn)系統(tǒng)(IRS)，其包括根據(jù)權(quán)利要求12的用于處理彩色圖像以獲得增 強(qiáng)的彩色圖像的圖像增強(qiáng)器(ENH)和用于顯示所述增強(qiáng)的彩色圖像的顯示設(shè)備(DPL)。
14.一種用于可編程處理器的計(jì)算機(jī)程序產(chǎn)品，該計(jì)算機(jī)程序產(chǎn)品包括一組指令，當(dāng)這 組指令被加載到可編程處理器中時(shí)使可編程處理器執(zhí)行根據(jù)權(quán)利要求1的方法。
全文摘要
以下述方式增強(qiáng)彩色圖像。一種飽和度檢測器(SDT)檢測圖像區(qū)(SP)中存在的色飽和度(LC，CC)。濾波器裝置(DE1，DE2，DE3)以依賴于所述色飽和度的程度對(duì)圖像區(qū)中的至少一個(gè)空間細(xì)節(jié)進(jìn)行濾波。這允許改進(jìn)彩色圖像的感知質(zhì)量。
文檔編號(hào)G06T5/00GK101999137SQ200980108775
公開日2011年3月30日 申請(qǐng)日期2009年3月10日 優(yōu)先權(quán)日2008年3月13日
發(fā)明者G·德哈恩 申請(qǐng)人:皇家飛利浦電子股份有限公司;Nxp有限公司