專利名稱：用于通過使用基于色彩頻率的顯著圖來修改圖像的方法和裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像修改的領(lǐng)域，并且更具體地涉及使用基于色彩頻率的顯著圖來修改畫面的方法和裝置。還公開了用于應(yīng)用該方法的計(jì)算機(jī)軟件產(chǎn)品和電視機(jī)。
背景技術(shù)：
顯示技術(shù)領(lǐng)域中最近的進(jìn)展在顯示器大小上展現(xiàn)了很大的多樣性，并且相同的內(nèi)容需要針對(duì)不同的設(shè)備以不同的尺寸和寬高比來顯示。典型地，為舊的4 3比例的CRT電視記錄的視頻現(xiàn)在顯示在16 9寬屏幕電視上。因此，需要可以針對(duì)不同于原始預(yù)期的顯示器來調(diào)適圖像的算法。基本圖像調(diào)整大小(resizing)技術(shù)是線性縮放或者剪裁。然而，這些技術(shù)由于丟失細(xì)節(jié)、各向異性的壓扁或拉長、抑制剪裁窗口外的區(qū)域等而導(dǎo)致圖像質(zhì)量降級(jí)。因此，需要考慮圖像內(nèi)容的圖像的有效調(diào)適。這種智能調(diào)適在本領(lǐng)域中被稱作“圖像重定目標(biāo)(retargeting)”或在考慮視頻的情況下被稱作“視頻重定目標(biāo)”。為了“智能地”修改圖像，許多方法使用定義每個(gè)像素的信息值的顯著圖。例如，文獻(xiàn)EP 1968008公開了一種被稱為“接縫雕刻”的用于基于內(nèi)容的 (content-aware)圖像重定目標(biāo)的方法。根據(jù)能量函數(shù)(通常是亮度梯度函數(shù))來生成來自源圖像的顯著圖，也稱為能量圖像。根據(jù)能量圖像，根據(jù)最小化函數(shù)來確定一個(gè)或者多個(gè)接縫，使得每個(gè)接縫具有最小的能量。通過抑制或者復(fù)制接縫來將每個(gè)接縫應(yīng)用于源圖像，以獲得保留內(nèi)容、但具有不同的寬高比的目標(biāo)圖像。在本文獻(xiàn)中，接縫是從一側(cè)到相對(duì)側(cè)通過圖像的像素的連續(xù)路徑。通過在3D視頻空間-時(shí)間立方體中定義2D接縫表面來將此技術(shù)擴(kuò)展到視頻重定目標(biāo)。表面與每個(gè)幀的交叉定義本文獻(xiàn)意義上的接縫。多種接縫表面允許接縫隨時(shí)間自適應(yīng)地改變，從而維持時(shí)間相干性。

發(fā)明內(nèi)容
盡管接縫雕刻在圖像上給出總體良好的結(jié)果，但是存在一些其中接縫雕刻失敗、 從而給出不期望的結(jié)果的圖像類別。例如，當(dāng)多個(gè)感興趣的區(qū)域被高頻率紋理區(qū)域分開時(shí)， 接縫雕刻將紋理誤解為感興趣的區(qū)域，并且在應(yīng)當(dāng)被保留的區(qū)域中接縫被錯(cuò)誤地選擇。因此，將有利的是實(shí)現(xiàn)一種修改圖像的方法，其改進(jìn)接縫雕刻以在不同圖像類別的情況下獲得更好的結(jié)果。為了更好地處理一個(gè)或者多個(gè)所關(guān)心的問題，在本發(fā)明的第一方面中，一種用于修改由像素矩陣定義的圖像的方法包括
計(jì)算像素矩陣的色彩頻率分布；
針對(duì)每個(gè)像素將能量值定義為像素的色彩頻率的加權(quán)函數(shù)，以便定義圖像顯著圖； 變換圖像，該變換基于像素能量值。
因此，能量函數(shù)基于以下假設(shè)人更加留意地觀看包括不常見色彩的區(qū)域。在具體實(shí)施例中，該變換是將圖像重定目標(biāo)修改為具有不同的寬高比的重定目標(biāo)圖像。為了保留具有吸引人的注視的罕見的色彩的圖像的部分，色彩直方圖用于分析色彩的分布。色彩通道被離散為多個(gè)倉(bin)，并且像素按照與像素所屬的直方圖倉成反比進(jìn)行加權(quán)。由于感興趣的圖像或者區(qū)域的聚焦在大多數(shù)圖像中通常在中心周圍，并且對(duì)象朝著圖像邊界的變形與中心周圍的變形相比較不令人反感，因此每個(gè)像素相對(duì)于其空間位置的能量被加權(quán)，以便對(duì)于在中心中視覺上顯著的特征賦予更大的重要性。具體地，對(duì)像素能量值通過像素距圖像中心的距離的倒數(shù)加權(quán)。其它參數(shù)可被用作能量函數(shù)的一部分。例如，通過將低通濾波器應(yīng)用于圖像來計(jì)算平滑處理后的圖像，并且通過應(yīng)用于平滑處理后的圖像的對(duì)應(yīng)像素的梯度函數(shù)來加權(quán)像素能量值。具體地，低通濾波器可以是2D高斯平滑處理函數(shù)，其具有可以包括在4與6之間的平滑處理。并且，梯度函數(shù)可以基于像素亮度或者像素色度?？梢酝ㄟ^在接縫組中選擇最小能量值的接縫并且抑制或者復(fù)制圖像中所選擇的接縫以修改其寬高比來將能量函數(shù)用于接縫雕刻中，在所述接縫組中，接縫是從圖像的一側(cè)到相對(duì)側(cè)的像素的連續(xù)路徑，并且其能量值等于其像素的能量值的和。取決于圖像的類型，由于更容易調(diào)適或者給出更好的結(jié)果，一個(gè)具體地實(shí)施例可能是優(yōu)選的。然而，這些具體實(shí)施例的各方面可如適當(dāng)?shù)幕蛘咚谕哪菢颖唤M合或者修改。在本發(fā)明的第二方面中，存儲(chǔ)在記錄介質(zhì)上的計(jì)算機(jī)軟件產(chǎn)品包括一組指令，其用于在計(jì)算機(jī)執(zhí)行該組指令時(shí)使得計(jì)算機(jī)能夠?qū)嵤┻@里上面所述的方法。在本發(fā)明的第三方面中，一種用于修改由像素矩陣定義的圖像的裝置包括 圖像的色彩頻率分布的第一計(jì)算器；其連接到
每個(gè)像素的能量值的第二計(jì)算器，所述能量值是像素的色彩頻率的加權(quán)函數(shù)，以便定義圖像顯著圖；其連接到
用于變換圖像的圖像修改器，該變換基于像素能量值。在本發(fā)明的第四方面中，電視機(jī)包括具有第一寬高比的顯示器以及用于至少接收源圖像的輸入設(shè)備。該電視還包括這里如上所述的用于將源圖像修改為要顯示的具有第一寬高比的目標(biāo)圖像的裝置。


根據(jù)下文描述并且僅作為示例給出的實(shí)施例，本發(fā)明的這些和其它方面將是清楚明白的并且將參照所述實(shí)施例來闡述，其中
-圖1A、1B、1C是具有其能量圖及其累積能量圖的畫面的圖示； -圖2是根據(jù)本發(fā)明的一個(gè)實(shí)施例的方法的流程圖；以及 -圖3是實(shí)現(xiàn)根據(jù)本發(fā)明的另一個(gè)實(shí)施例的系統(tǒng)的電視機(jī)的示意圖。
具體實(shí)施方式
在下面的描述中，圖像修改將針對(duì)重定目標(biāo)，然而，可以在其它圖像變換中使用所公開的能量函數(shù)，在所述其它圖像變換中，重要的是將包含高價(jià)值信息的區(qū)域與充當(dāng)背景的其它區(qū)域區(qū)分開。例如，圖像修改可以包括使背景模糊，以便強(qiáng)調(diào)主要對(duì)象，或者作為圖像識(shí)別方法中第一步驟。描述將使用接縫雕刻作為典型的重定目標(biāo)方法，但其它使用顯著圖的重定目標(biāo)方法對(duì)于本領(lǐng)域技術(shù)人員是眾所周知的。例如，文獻(xiàn)EP 1936566公開了用于創(chuàng)建縮略圖像的高等級(jí)顯著圖。典型地，在圖1中，一種用于修改由像素矩陣定義的圖像的方法包括 步驟1，計(jì)算像素矩陣的色彩頻率分布；
步驟3，對(duì)于每個(gè)像素將能量值定義為像素的色彩頻率的加權(quán)函數(shù)，以便定義所述圖像的顯著 步驟5，變換圖像，所述變換基于像素能量值。實(shí)際上，人場(chǎng)景分類表明人依賴局部的基于區(qū)域的信息與依賴全局的配置信息一樣多。另外，人似乎結(jié)合這兩種類型的信息以用于原封不動(dòng)的場(chǎng)景分類。對(duì)象取決于它們出現(xiàn)的周圍背景來尋求關(guān)注。在圖像中罕見的色彩突出以吸引人的注視。為了保留具有罕見色彩的圖像部分，使用用于分析圖像中色彩分布的色彩直方圖。例如，Cr和Cb通道中的每一個(gè)被離散為10個(gè)倉。產(chǎn)生圖像的二維(2D)歸一化的CbCr 直方圖，以對(duì)每個(gè)倉中的圖像像素的數(shù)量進(jìn)行計(jì)數(shù)。然后，與圖像中的像素所屬的直方圖倉成反比地加權(quán)所述像素。更具體地，如果(x，y)處的像素落在其直方圖值由H給出的倉中， 則由于CbCr直方圖分析，能量由下式給出
權(quán)利要求
1.一種用于修改圖像的方法，所述圖像由像素矩陣來定義，所述方法包括 計(jì)算(1)所述像素矩陣的色彩頻率分布； 針對(duì)每個(gè)像素將能量值定義(3)為所述像素的色彩頻率的加權(quán)函數(shù)，以便定義所述圖像的顯著圖； 變換(5)所述圖像，所述變換基于所述像素能量值。
2.根據(jù)權(quán)利要求1的方法，其中所述變換將所述圖像變換為具有不同的寬高比的重定目標(biāo)的圖像。
3.根據(jù)權(quán)利要求1的方法，其中與所述像素的色彩頻率成反比地加權(quán)每個(gè)像素能量值。
4.根據(jù)權(quán)利要求3的方法，其中在色彩頻率低于預(yù)定閾值時(shí)，像素能量值由預(yù)定參數(shù)加權(quán)。
5.根據(jù)權(quán)利要求1的方法，其中針對(duì)所述像素在所述圖像中的空間位置來加權(quán)像素能量值。
6.根據(jù)權(quán)利要求5的方法，其中通過像素距圖像中心的距離的倒數(shù)來加權(quán)像素能量值。
7.根據(jù)權(quán)利要求1的方法，其中通過將低通濾波器應(yīng)用于所述圖像來計(jì)算平滑處理后的圖像，并且通過被應(yīng)用于平滑處理后的圖像的對(duì)應(yīng)像素的梯度函數(shù)來加權(quán)像素能量值。
8.根據(jù)權(quán)利要求7的方法，其中所述低通濾波器是2D高斯平滑處理函數(shù)。
9.根據(jù)權(quán)利要求8的方法，其中所述平滑處理包括在4和6之間。
10.根據(jù)權(quán)利要求7的方法，其中每個(gè)像素至少包括亮度值和色度值，梯度函數(shù)基于所述像素亮度。
11.根據(jù)權(quán)利要求7的方法，其中每個(gè)像素至少包括亮度值和色度值，梯度函數(shù)基于所述像素色度。
12.根據(jù)權(quán)利要求2的方法，其中將所述圖像變換為重定目標(biāo)的圖像包括 從一組接縫中選擇最小能量值的接縫，其中接縫是從圖像的一側(cè)到相對(duì)側(cè)的像素的連續(xù)路徑，并且其能量值等于其像素的能量值的和； 抑制或者復(fù)制所述圖像中所述選擇的接縫以修改其寬高比。
13.一種計(jì)算機(jī)軟件產(chǎn)品，其存儲(chǔ)在記錄介質(zhì)上并且包括一組指令，當(dāng)計(jì)算機(jī)執(zhí)行所述的一組指令時(shí)，所述一組指令使得計(jì)算機(jī)能夠?qū)嵤└鶕?jù)權(quán)利要求1的方法。
14.一種用于修改圖像的裝置，所述圖像由像素矩陣定義，所述裝置包括 所述圖像的色彩頻率分布的第一計(jì)算器(26)；其連接到 用于每個(gè)像素的能量值的第二計(jì)算器(28)，所述能量值是所述像素的色彩頻率的加權(quán)函數(shù)，以便定義所述圖像的顯著圖；其連接到 用于變換所述圖像的圖像修改器(30)，所述變換基于所述像素能量值。
15.一種電視機(jī)，其包括具有第一寬高比的顯示器以及用于至少接收源圖像的輸入設(shè)備，其中所述電視還包括根據(jù)權(quán)利要求13的、用于將所述源圖像修改為要顯示的具有第一寬高比的目標(biāo)圖像的裝置。
全文摘要
一種用于修改由像素矩陣定義的圖像的方法包括·計(jì)算(1)像素矩陣的色彩頻率分布；·針對(duì)每個(gè)像素將能量值定義(3)為所述像素的色彩頻率的加權(quán)函數(shù)，以便定義圖像顯著圖；·變換(5)所述圖像，所述變換基于像素能量值。還公開了一種應(yīng)用所述方法的計(jì)算機(jī)軟件產(chǎn)品、一種裝置以及一種電視機(jī)。
文檔編號(hào)G06T3/00GK102365651SQ201080013785
公開日2012年2月29日 申請(qǐng)日期2010年3月24日 優(yōu)先權(quán)日2009年3月26日
發(fā)明者達(dá)姆卡特 C., 卡帕迪亞 D., 德 哈恩 G., M. 霍夫曼 P. 申請(qǐng)人:皇家飛利浦電子股份有限公司