專利名稱：通過(guò)受指導(dǎo)內(nèi)插的圖像混和的制作方法
技術(shù)領(lǐng)域：
本發(fā)明一般涉及圖像編輯，尤其涉及混和圖像。
背景技術(shù)：
編輯數(shù)字圖像，尤其是數(shù)字照片，是家庭和專業(yè)環(huán)境中常見(jiàn)的活動(dòng)。一種常見(jiàn)的任務(wù)包括將一塊圖像貼到另一圖像中，或者貼到同一圖像的其它位置。此操作用于修復(fù)、修正和修改數(shù)字圖像。
例如，在

圖1中，用戶希望將來(lái)自源圖像102的太陽(yáng)100插入到目標(biāo)圖像104中。在簡(jiǎn)單的復(fù)制粘貼操作中，用戶將在源圖像102中沿著太陽(yáng)100的圓周進(jìn)行選擇或裁剪、復(fù)制所裁剪的區(qū)域、并將所裁剪的區(qū)域貼到目標(biāo)圖像104內(nèi)的期望位置?；蛘撸梢杂妙愃品绞绞褂煤?jiǎn)單的拖放操作。然而，在這兩種方法中，插入的所裁剪區(qū)域和目標(biāo)圖像104的剩余部分之間的邊界(或稱“接縫”)會(huì)顯得很不連貫并反映裁剪操作中的任何不規(guī)則。此外，當(dāng)插入到由灰蒙蒙的背景表示天空的目標(biāo)圖像104時(shí)，在裁剪操作中所捕捉的源圖像102中太陽(yáng)的背景的任何部分(即，彩色圖像中純淺藍(lán)色)將表現(xiàn)為生硬的不連續(xù)。換言之，所插入的裁剪部分不會(huì)混和到目標(biāo)圖像104中。
一種稱作“克隆”的替換方法涉及在源圖像內(nèi)定義的定位點(diǎn)。在目標(biāo)圖像上使用畫筆控制來(lái)定義目標(biāo)圖像中應(yīng)將源圖像數(shù)據(jù)復(fù)制到其中的區(qū)域。結(jié)果類似于復(fù)制粘貼或拖放替換方法。
此外，其它圖像編輯操作也可涉及改變圖像中選中區(qū)域的外觀。例如，可以平化圖像某區(qū)域的紋理、可以使背景或前景脫色、或者可以在圖像的某區(qū)域上進(jìn)行照明變化。然而，此類編輯操作也會(huì)引入所編輯區(qū)域和原始圖像其余部分間接縫的問(wèn)題。
為了改進(jìn)這些現(xiàn)有方法的結(jié)果，可以進(jìn)行局部“羽化”操作來(lái)隱藏所插入的裁剪部分和目標(biāo)圖像背景間的接縫。這樣的羽化方法通常涉及在接縫處對(duì)圖像數(shù)據(jù)進(jìn)行模糊或涂抹，以逼近所插入的裁剪部分和目標(biāo)圖像背景間的平化過(guò)渡。然而，羽化操作可能產(chǎn)生不能令人滿意的結(jié)果，因?yàn)榻涌p只不過(guò)是被模糊的圖像數(shù)據(jù)取代。此外，現(xiàn)有方法不能提供各種混和模式以允許用戶將所插入的圖像部分最好地集成到目標(biāo)圖像中。
因此，在許多普通情形中，現(xiàn)有的裁剪和克隆方法不能令人滿意地提供靈活和無(wú)縫的圖像插入與編輯。
發(fā)明概述本發(fā)明的各實(shí)施例通過(guò)使用受指導(dǎo)的內(nèi)插改變目標(biāo)域內(nèi)的圖像數(shù)據(jù)來(lái)提供混和的結(jié)果圖像，從而解決了所討論的問(wèn)題?？梢曰谝蕾嚮颡?dú)立于源圖像的受指導(dǎo)的內(nèi)插器來(lái)改變目標(biāo)域?？梢允褂酶鞣N內(nèi)插指導(dǎo)在混和的結(jié)果圖像中產(chǎn)生不同的效果。
在本發(fā)明的實(shí)現(xiàn)中，提供了制造物品作為計(jì)算機(jī)程序產(chǎn)品。計(jì)算機(jī)程序產(chǎn)品的一實(shí)施例提供了計(jì)算機(jī)程序存儲(chǔ)介質(zhì)，它是計(jì)算機(jī)系統(tǒng)可讀的，并編碼了從目標(biāo)圖像計(jì)算混和的結(jié)果圖像的計(jì)算機(jī)程序。可以用計(jì)算機(jī)數(shù)據(jù)信號(hào)的形式提供計(jì)算機(jī)程序產(chǎn)品的另一實(shí)施例，該計(jì)算機(jī)數(shù)據(jù)信號(hào)由計(jì)算系統(tǒng)在載波中具體化，并編碼了從目標(biāo)圖像計(jì)算混和的結(jié)果圖像的計(jì)算機(jī)程序。
該計(jì)算機(jī)程序產(chǎn)品編碼了在計(jì)算機(jī)系統(tǒng)上執(zhí)行、用于從目標(biāo)圖像計(jì)算混和的結(jié)果圖像的計(jì)算機(jī)過(guò)程的計(jì)算機(jī)程序。在目標(biāo)圖像中定義了具有邊界的目標(biāo)域。提供了包括內(nèi)插指導(dǎo)和與目標(biāo)域的邊界相關(guān)聯(lián)的邊界條件的受指導(dǎo)的內(nèi)插器。基于受指導(dǎo)的內(nèi)插器計(jì)算混和的結(jié)果圖像，以滿足目標(biāo)域邊界處的邊界條件，并將內(nèi)插指導(dǎo)和混和的結(jié)果圖像的梯度間跨越目標(biāo)域的差值最小化。
在本發(fā)明的另一實(shí)現(xiàn)中，提供了一種從目標(biāo)圖像計(jì)算混和的結(jié)果圖像的方法。在目標(biāo)圖像中定義具有邊界的目標(biāo)域。提供了包括內(nèi)插指導(dǎo)和與目標(biāo)域的邊界相關(guān)聯(lián)的邊界條件的受指導(dǎo)的內(nèi)插器?；谑苤笇?dǎo)的內(nèi)插器計(jì)算混和的結(jié)果圖像，以滿足目標(biāo)域邊界處的邊界條件，并將內(nèi)插指導(dǎo)和混和的結(jié)果圖像的梯度間跨越目標(biāo)域的差值最小化。
在本發(fā)明又一實(shí)施例中，提供了一種用于從目標(biāo)圖像計(jì)算混和的結(jié)果圖像的系統(tǒng)。域定義模塊在目標(biāo)圖像中定義具有邊界的目標(biāo)域。內(nèi)插指導(dǎo)數(shù)據(jù)存儲(chǔ)提供了包括內(nèi)插指導(dǎo)和與目標(biāo)域的邊界相關(guān)聯(lián)的邊界條件的受指導(dǎo)的內(nèi)插器?；旌陀?jì)算模塊基于受指導(dǎo)的內(nèi)插器來(lái)計(jì)算混和的結(jié)果圖像，以滿足目標(biāo)域邊界處的邊界條件，并將內(nèi)插指導(dǎo)和混和的結(jié)果圖像的梯度間跨越目標(biāo)域的差值最小化。
在閱讀以下詳細(xì)描述并查看相關(guān)附圖后，表現(xiàn)本發(fā)明特性的這些及各種其它特征，連同其它優(yōu)勢(shì)，將會(huì)變得顯而易見(jiàn)。
附圖簡(jiǎn)述圖1描繪了本發(fā)明的一個(gè)實(shí)施例中源圖像、目標(biāo)圖像、以及混和的結(jié)果圖像的示意性表示。
圖2描繪了本發(fā)明的一個(gè)實(shí)施例中兩個(gè)一維函數(shù)的概念上的混和。
圖3示出了本發(fā)明的一個(gè)實(shí)施例中兩個(gè)二維圖像區(qū)域的混和。
圖4描繪了本發(fā)明的一個(gè)實(shí)施例中的源圖像、目標(biāo)圖像、和結(jié)果圖像。
圖5描繪了本發(fā)明的一個(gè)實(shí)施例中的混和系統(tǒng)。
圖6描繪了本發(fā)明的一個(gè)實(shí)施例中用于混和的操作。
圖7描繪了本發(fā)明的一個(gè)實(shí)施例中源自透明內(nèi)插指導(dǎo)的混和結(jié)果。
圖8描繪了本發(fā)明的一個(gè)實(shí)施例中源自掩模內(nèi)插指導(dǎo)的混和結(jié)果。
圖9示出了本發(fā)明的一個(gè)實(shí)施例中混和到目標(biāo)圖像中。
圖10示出了用于實(shí)施本發(fā)明的一個(gè)實(shí)施例的示例性系統(tǒng)。
較佳實(shí)施例的詳述本發(fā)明的各實(shí)施例使用受指導(dǎo)的內(nèi)插改變目標(biāo)中圖像數(shù)據(jù)，從而提供了混和的結(jié)果圖像。可以基于依賴或獨(dú)立于源圖像的受指導(dǎo)的內(nèi)插器來(lái)改變目標(biāo)域。當(dāng)將源區(qū)域混和到圖像的目標(biāo)域中時(shí)，受指導(dǎo)的內(nèi)插能夠消除或最小化所插入?yún)^(qū)域和圖像的其余部分間的明顯接縫。此外，可以使用各種內(nèi)插指導(dǎo)以在混和的結(jié)果圖像中產(chǎn)生不同效果。此類內(nèi)插指導(dǎo)可包括，但不限于，恒等指導(dǎo)、平滑指導(dǎo)、過(guò)濾指導(dǎo)、透明指導(dǎo)、掩模指導(dǎo)、以及各種指導(dǎo)的加權(quán)平均組合。
圖1描繪了本發(fā)明的一個(gè)實(shí)施例中的源圖像、目標(biāo)圖像和混和的結(jié)果圖像。源圖像102包括含有太陽(yáng)的源區(qū)域100。用戶希望將源區(qū)域100插入并混和到目標(biāo)圖像104中，后者最初在位置108處不包括所插入的太陽(yáng)。在第一操作中，用戶通過(guò)諸如在源區(qū)域100周圍拖曳出輪廓，來(lái)定義源區(qū)域100。可以使用定義源區(qū)域100的替換方法，包括但不限于，為克隆畫筆設(shè)置定位點(diǎn)、在圖像中選擇元素、指定源區(qū)域的色彩特性、或在源圖像102中指定坐標(biāo)等。
一般而言，數(shù)字圖像由像素值表示。例如，黑白的數(shù)字圖像可由像素亮度值矢量來(lái)表示，其中每個(gè)矢量元素對(duì)應(yīng)于單個(gè)像素。相反，彩色圖像的數(shù)字圖像數(shù)據(jù)可以用每個(gè)像素的多個(gè)值來(lái)表示。例如，在RGB(紅、綠、藍(lán))色彩空間中，每個(gè)像素由3個(gè)色彩通道中的每一個(gè)的亮度值來(lái)呈現(xiàn)。還構(gòu)想了其它色彩空間，包括但不限于LC1C2和CIE-lab空間。
應(yīng)當(dāng)理解，僅將源區(qū)域100復(fù)制粘貼到目標(biāo)圖像104中通常會(huì)導(dǎo)致圍繞太陽(yáng)的不規(guī)則藍(lán)天色的邊界或接縫110，它覆蓋目標(biāo)圖像104的較暗的夜空背景112。與目標(biāo)圖像相比，接縫通常表現(xiàn)為色彩、亮度、特征、紋理等等中的突變。如此，要產(chǎn)生較逼真的結(jié)果圖像，所插入源區(qū)域104的混和可以模糊或消除結(jié)果圖像106中的接縫110的可見(jiàn)性。因此，如結(jié)果圖像106中所示，源區(qū)域100被插入并混和到目標(biāo)圖像104中，以產(chǎn)生逼真的效果。
圖2描繪了本發(fā)明的一個(gè)實(shí)施例中兩個(gè)一維函數(shù)的概念上的混和。關(guān)于圖2的該描述提供了涉及一維“圖像”的混和操作的概念性演示。但是，應(yīng)當(dāng)理解，在本發(fā)明的范疇內(nèi)構(gòu)想了各種混和操作，包括但不限于，相對(duì)于本文中其它附圖所描述的二維混和操作。
在目標(biāo)曲線圖200中示出了表示一維目標(biāo)“圖像”的第一亮度函數(shù)A。在源曲線圖202中示出了表示要插入到曲線圖200的目標(biāo)圖像中的一維源“圖像”的第二亮度函數(shù)B。結(jié)果曲線圖204中示出了表示一維混和結(jié)果“圖像”的混和的結(jié)果函數(shù)。
虛線206表示源區(qū)域和目標(biāo)區(qū)域的邊界。在本發(fā)明的另一個(gè)實(shí)施例中，源區(qū)域和目標(biāo)域可以具有完全不同的尺寸和形狀(例如，矩形、圓形、不規(guī)則形)，兩者都可由系統(tǒng)改變，從而對(duì)于混和更為相容。
在本發(fā)明的一個(gè)實(shí)施例中，用戶希望使用混和操作將源區(qū)域合并到目標(biāo)域中，從而目標(biāo)域邊界處的圖像數(shù)據(jù)被混和以表現(xiàn)逼真。在所示出的實(shí)施例中，這通過(guò)把第一亮度函數(shù)A的源區(qū)域連到第二亮度函數(shù)B的邊界點(diǎn)來(lái)概念性地示出。如此，混和的結(jié)果函數(shù)示出了兩個(gè)亮度函數(shù)的組合。為了消除、最小化、或減少接縫的出現(xiàn)，各組成函數(shù)的邊界條件被混和，從而當(dāng)各函數(shù)逼近邊界點(diǎn)208和210時(shí)，每個(gè)組成函數(shù)的值相等。
圖3示出了在本發(fā)明的一個(gè)實(shí)施例中兩個(gè)二維圖像區(qū)域的混和。為了擴(kuò)展圖2的一維混和的概念性描述，圖3中提供了二維混和的示例。目標(biāo)圖像300示出黑暗的水面。二維亮度曲線圖202中示出了與目標(biāo)圖像300相關(guān)聯(lián)的對(duì)應(yīng)亮度數(shù)據(jù)，其中亮度可包括單色亮度(諸如黑白圖像中的白色，或者彩色圖像中的單個(gè)色彩通道)，或者某種其它外觀信號(hào)(例如，LC1C2的分量或聚合值)。例如，注意當(dāng)目標(biāo)圖像300在接近頂部處變得較淺時(shí)，亮度曲線圖302中所示的白色的亮度增加了。
在中間圖像304中，包含在不同水面上太陽(yáng)的倒影的源區(qū)域312被插入到該圖像中。在所示的實(shí)施例中，將目標(biāo)區(qū)域定義為被源區(qū)域312重疊的圖像的區(qū)域。在混和之前，至少部分因?yàn)樗念伾牟町?，源區(qū)域和目標(biāo)圖像的其余部分間的接縫非常明顯，如中間圖像304中所示。這在非混和的亮度曲線圖306中也可看出來(lái)，其中涉及源區(qū)域312的亮度數(shù)據(jù)在314處是不連貫地可見(jiàn)的。
在混和的結(jié)果圖像308中，源區(qū)域被混和到目標(biāo)區(qū)域中，以提供太陽(yáng)在水面上倒影的逼真圖像。在混和的結(jié)果亮度曲線圖310中明顯可見(jiàn)源區(qū)域中圖像數(shù)據(jù)亮度的變化，其中所插入的源區(qū)域的亮度數(shù)據(jù)被混和，以在此第一區(qū)域的邊界處匹配目標(biāo)圖像的亮度數(shù)據(jù)，從而降低了源區(qū)域的總“亮度”。
圖4描繪了本發(fā)明的一個(gè)實(shí)施例中的源圖像、目標(biāo)圖像和混和的結(jié)果圖像。目標(biāo)圖像400(以彩色圖像)示出海灘處淺綠的海面。源圖像402(以彩色圖像)示出水顯得淺藍(lán)的游泳池中的兩個(gè)孩子。出于此討論的目的，并為了將圖像特征映射到本文中所描述的算法，目標(biāo)圖像400被稱作“f*”，目標(biāo)圖像400中的目標(biāo)區(qū)域404被稱作“Ω”。目標(biāo)區(qū)域404的邊界412被稱作“Ω”。類似地，源圖像402被稱作“g*”，源區(qū)域416的圖像數(shù)據(jù)被稱作g。在混和的結(jié)果圖像410中，源區(qū)域416被混和到目標(biāo)區(qū)域404中，以產(chǎn)生包含圖像區(qū)域418和420(Ω內(nèi)部的混和圖像數(shù)據(jù)f，和f*的其余部分，即目標(biāo)圖像在目標(biāo)區(qū)域外的部分)的合成結(jié)果圖像。注意混和的結(jié)果圖像是通過(guò)按順序?qū)總€(gè)孩子的源區(qū)域插入到目標(biāo)圖像中來(lái)生成的。
在本發(fā)明的一個(gè)實(shí)施例中，混和操作是使用以下函數(shù)最小化作為受指導(dǎo)的內(nèi)插器(或“最小化器”)來(lái)實(shí)現(xiàn)的minf∫∫Ω|f-g|2，它具有邊界條件f|Ω＝f*|Ω，其中▿.=[∂.∂x,∂.∂y]]]>是梯度算子。此外，可以使用其它內(nèi)插器，諸如最大化函數(shù)和最優(yōu)化成給定目標(biāo)、閾值或范圍的函數(shù)。
相關(guān)聯(lián)的歐拉-拉格朗日(Euler-Lagrange)方程，即受指導(dǎo)的內(nèi)插器所滿足的條件，被認(rèn)為是具有狄利克雷(Dirichlet)邊界條件的泊松(Poisson)方程Ω上的Δf＝Δg，其f|Ω＝f*|Ω，其中▿.=[∂.∂x,∂.∂y]]]>是拉普拉斯(Laplacian)算子。
受指導(dǎo)的內(nèi)插方法可由以下函數(shù)最小化更概括地表示為受指導(dǎo)的內(nèi)插器minf∫∫Ω|f-v|2，它具有邊界條件f|Ω＝f*|Ω其中v表示內(nèi)插指導(dǎo)，f表示“內(nèi)插式”。積分示意該函數(shù)最小化是以下泊松方程的唯一解Ω上的△f＝div v，其f|Ω＝f*|Ω，其中divv=[∂u∂x+∂v∂y]]]>是v＝[u，v]的散度。
v的各種選擇允許以各種方法進(jìn)行混和，如以下示例內(nèi)插指導(dǎo)表中所示，盡管在本發(fā)明的范疇內(nèi)還構(gòu)想了其它內(nèi)插指導(dǎo)。


例如，恒等內(nèi)插指導(dǎo)I導(dǎo)致目標(biāo)圖像內(nèi)無(wú)變化(因此，f＝f*)。替換地，平滑內(nèi)插指導(dǎo)S改變目標(biāo)圖像。與平滑內(nèi)插指導(dǎo)S相關(guān)聯(lián)的歐拉-拉格朗日方程是Ω上的f＝0，其f|Ω＝f*|Ω，并且被認(rèn)為是具有狄利克雷邊界條件的拉普拉斯方程。具有狄利克雷邊界條件的拉普拉斯方程的唯一解常被稱作“膜內(nèi)插式(membrane interpolant)”。在每個(gè)色彩通道中解決此問(wèn)題的離散化形式導(dǎo)致域Ω中非常平滑或模糊的圖像區(qū)域。平滑內(nèi)插指導(dǎo)S將該域內(nèi)部的梯度最小化(“空指導(dǎo)”)，并導(dǎo)致位于域邊界上的色彩的非常平滑的內(nèi)插。平滑內(nèi)插指導(dǎo)S可由計(jì)算機(jī)圖形區(qū)域填充算法使用，包括多邊形或任意形狀的填充算法。
透明和掩模內(nèi)插指導(dǎo)的示例性效果分別相對(duì)于圖7和8示出并討論。
圖5描繪了本發(fā)明的一個(gè)實(shí)施例中的混和系統(tǒng)。圖像編輯系統(tǒng)500接收諸如目標(biāo)圖像的圖像數(shù)據(jù)等的目標(biāo)504。目標(biāo)選擇模塊508接收對(duì)目標(biāo)504內(nèi)的目標(biāo)區(qū)域的選擇。如前所述，目標(biāo)區(qū)域可通過(guò)粘貼操作、克隆操作、畫輪廓操作、或者選擇目標(biāo)圖像的區(qū)域的其它方法來(lái)定義。
在至少一個(gè)實(shí)施例中，圖像編輯系統(tǒng)500還接收諸如源圖像等源502。源選擇模塊506接收對(duì)源504內(nèi)的源區(qū)域的選擇。但是，應(yīng)當(dāng)理解，諸如那些涉及平滑內(nèi)插指導(dǎo)或掩模內(nèi)插指導(dǎo)的實(shí)施例等替換實(shí)施例不需要源或源選擇模塊，因?yàn)樵搩?nèi)插指導(dǎo)獨(dú)立于任何源。
域定義模塊510接收一個(gè)或多個(gè)選擇，并定義目標(biāo)域(可能還有源域)。在一個(gè)實(shí)施例中，域定義可以是圖像上X和Y坐標(biāo)的范圍的形式，盡管在本發(fā)明的范疇內(nèi)構(gòu)想了定義域的其它方法，包括但不限于圖像位置的數(shù)組以及區(qū)域定義算法。
圖像數(shù)據(jù)收集器511收集輸入圖像中在本文中分別由函數(shù)f*、Ω上的f*和g表示的目標(biāo)圖像、目標(biāo)域、可能還有源域內(nèi)所包含的圖像數(shù)據(jù)?；旌陀?jì)算模塊512接收目標(biāo)域定義、目標(biāo)圖像數(shù)據(jù)、可能還有源區(qū)域信息。此外，混和計(jì)算模塊512使用這些輸入，基于源自或取自存儲(chǔ)在內(nèi)插指導(dǎo)數(shù)據(jù)存儲(chǔ)515中的信息的內(nèi)插指導(dǎo)，來(lái)計(jì)算混和的結(jié)果圖像516的圖像數(shù)據(jù)。輸出模塊514接收混和的結(jié)果圖像516的圖像數(shù)據(jù)，該模塊在顯示器上呈現(xiàn)混和的結(jié)果圖像516，或者將該圖像輸出到存儲(chǔ)設(shè)備或另一個(gè)應(yīng)用程序。
圖6描繪了本發(fā)明的一個(gè)實(shí)施例中混和的操作。接收操作600接收對(duì)源(例如，源區(qū)域)的選擇。另一個(gè)接收操作602接收目標(biāo)(例如，目標(biāo)區(qū)域)的選擇。定義操作604基于對(duì)源的選擇來(lái)定義源域。另一個(gè)定義操作606基于對(duì)目標(biāo)的選擇來(lái)定義目標(biāo)域。
收集操作608收集在本文中分別由函數(shù)f*、Ω上的f*和g表示的目標(biāo)圖像、目標(biāo)域、可能還有源域內(nèi)所包含的圖像數(shù)據(jù)。提供操作610通過(guò)諸如訪問(wèn)數(shù)據(jù)存儲(chǔ)或提供硬編碼的算法，提供受指導(dǎo)的內(nèi)插器。計(jì)算操作612從所收集的圖像數(shù)據(jù)和受指導(dǎo)的內(nèi)插器計(jì)算混和的結(jié)果圖像。輸出操作614將混和的結(jié)果圖像輸出到顯示器或其它輸出設(shè)備。
圖7描繪了本發(fā)明的一個(gè)實(shí)施例中源自透明內(nèi)插指導(dǎo)的混和結(jié)果。使用過(guò)濾內(nèi)插指導(dǎo)F將源圖像700混和到目標(biāo)圖像702中，以產(chǎn)生混和的結(jié)果圖像704。然而，從結(jié)果圖像704中顯而易見(jiàn)的是，單詞“BLEND”的各個(gè)字母之間以及內(nèi)部的間隔未被實(shí)際地呈現(xiàn)。相反，應(yīng)用了稱作透明的第二內(nèi)插指導(dǎo)，來(lái)產(chǎn)生混和的結(jié)果圖像706。透明的算法在上表中給出。
透明算法的替換表示是 透明內(nèi)插指導(dǎo)T在目標(biāo)區(qū)域中的每個(gè)位置選擇最大的圖像梯度(從源圖像數(shù)據(jù)或者從目標(biāo)圖像數(shù)據(jù)中選擇)。以此方式，混和的結(jié)果圖像包含了與目標(biāo)域中給定位置的源區(qū)域或者目標(biāo)區(qū)域最明顯的特征最匹配的圖像數(shù)據(jù)。
圖8描繪了本發(fā)明的一個(gè)實(shí)施例中源自掩模內(nèi)插指導(dǎo)M的混和結(jié)果。在掩模內(nèi)插指導(dǎo)中，將梯度最優(yōu)化以滿足預(yù)定標(biāo)準(zhǔn)，包括但不限于，低于閾值、高于閾值、在給定范圍內(nèi)、以及滿足給定目標(biāo)。
如上所示，掩模內(nèi)插指導(dǎo)M過(guò)濾目標(biāo)圖像數(shù)據(jù)，從而在混和的結(jié)果圖像的目標(biāo)區(qū)域中僅生成最顯著的特征。例如，使用如前表中所示的掩模內(nèi)插指導(dǎo)M，對(duì)低(或者，替換地，高)梯度區(qū)域減弱源圖像800的源區(qū)域804中的圖像數(shù)據(jù)亮度，以產(chǎn)生混和的結(jié)果圖像802中所示的類似卡通的效果。
替換地，可修改掩模內(nèi)插指導(dǎo)M來(lái)提供帶通過(guò)濾器范圍 圖9示出了本發(fā)明的一個(gè)實(shí)施例中混和到源域維度以外的目標(biāo)圖像中。示出了具有被目標(biāo)邊界Ω902界定的目標(biāo)區(qū)域的目標(biāo)圖像900?；旌蛥^(qū)域T 906在內(nèi)部由混和邊界T 904界定，在外部由目標(biāo)邊界Ω 902界定?？商峁┦苤笇?dǎo)的內(nèi)插器，以在目標(biāo)邊界Ω 902和混和邊界T 904之間的區(qū)域T中提供一定量的混和minf∫∫Ω|f-v|2+α∫∫T|f-f*|2，它具有邊界條件f|Ω＝f*|Ω。此區(qū)域中混和效果的大小可由加權(quán)參數(shù)α控制。
用于實(shí)現(xiàn)本發(fā)明的圖10的示例性硬件和操作環(huán)境包括計(jì)算機(jī)20形式的通用計(jì)算設(shè)備，包括處理單元21、系統(tǒng)存儲(chǔ)器22、和用于將包括系統(tǒng)存儲(chǔ)器在內(nèi)的各種系統(tǒng)組件耦合到處理單元21的系統(tǒng)總線23?？梢詢H有一個(gè)或有一個(gè)以上處理單元21，從而計(jì)算機(jī)20的處理器包含單個(gè)中央處理單元(CPU)，或通常稱作并行處理環(huán)境的多個(gè)處理單元。計(jì)算機(jī)20可以是常規(guī)計(jì)算機(jī)、分布式計(jì)算機(jī)、或者任何其它類型的計(jì)算機(jī)；本發(fā)明不受此類限制。
系統(tǒng)總線23可以是各種總線結(jié)構(gòu)中的任意一種，包括存儲(chǔ)器總線或存儲(chǔ)器控制器、外圍總線、以及使用各種總線體系結(jié)構(gòu)的任一種的局部總線。系統(tǒng)存儲(chǔ)器也可簡(jiǎn)稱為存儲(chǔ)器，并且包括只讀存儲(chǔ)器(ROM)24和隨機(jī)存取存儲(chǔ)器(RAM)25。包含諸如在啟動(dòng)時(shí)幫助在個(gè)人計(jì)算機(jī)20內(nèi)部各元件間傳遞信息的基本例程的基本輸入/輸出系統(tǒng)(BIOS)26儲(chǔ)存在ROM 24中。計(jì)算機(jī)20還包括用來(lái)讀或?qū)懹脖P(未示出)的硬盤驅(qū)動(dòng)器27、用來(lái)讀或?qū)懣梢苿?dòng)磁盤29的磁盤驅(qū)動(dòng)器28、和用來(lái)讀或?qū)懼T如CD ROM或其它光介質(zhì)等可移動(dòng)光盤31的光盤驅(qū)動(dòng)器30。
硬盤驅(qū)動(dòng)器27、磁盤驅(qū)動(dòng)器28和光盤驅(qū)動(dòng)器30分別由硬盤驅(qū)動(dòng)器接口32、磁盤驅(qū)動(dòng)器接口33和光盤驅(qū)動(dòng)器接口34連到系統(tǒng)總線23。這些驅(qū)動(dòng)器及其相關(guān)聯(lián)的計(jì)算機(jī)可讀介質(zhì)為計(jì)算機(jī)20提供計(jì)算機(jī)可讀指令、數(shù)據(jù)結(jié)構(gòu)、程序模塊及其它數(shù)據(jù)的非易失性存儲(chǔ)。本領(lǐng)域技術(shù)人員應(yīng)當(dāng)理解，諸如磁帶盒、閃存卡、數(shù)字視頻盤、貝努利盒式磁帶、隨機(jī)存取存儲(chǔ)器(RAM)、只讀存儲(chǔ)器(ROM)等任何可儲(chǔ)存能由計(jì)算機(jī)訪問(wèn)的數(shù)據(jù)的其它類型的計(jì)算機(jī)可讀介質(zhì)也可用于該示例性操作環(huán)境中。
包括操作系統(tǒng)35、一個(gè)或多個(gè)應(yīng)用程序36、其它程序模塊37及程序數(shù)據(jù)38在內(nèi)的若干程序模塊可儲(chǔ)存在硬盤、磁盤29、光盤31、ROM 24或RAM 25上。用戶可通過(guò)諸如鍵盤40和定位設(shè)備42等輸入設(shè)備來(lái)輸入命令和信息到個(gè)人計(jì)算機(jī)20中。其它輸入設(shè)備(未示出)可包括話筒、操縱桿、游戲墊、圓盤式衛(wèi)星天線、掃描儀等等。這些及其它輸入設(shè)備常通過(guò)耦合到系統(tǒng)總線的串行端口接口46連到處理單元21，但也可用諸如并行端口、游戲端口或通用串行總線(USB)等其它接口連接。監(jiān)視器47或其它類型的顯示設(shè)備也經(jīng)由諸如視頻適配器48等接口連到系統(tǒng)總線23。除監(jiān)視器之外，計(jì)算機(jī)通常包括諸如揚(yáng)聲器及打印機(jī)等其它外圍輸出設(shè)備(未示出)。
個(gè)人計(jì)算機(jī)20可用到諸如遠(yuǎn)程計(jì)算機(jī)49等一個(gè)或多個(gè)遠(yuǎn)程計(jì)算機(jī)的邏輯連接在聯(lián)網(wǎng)環(huán)境中運(yùn)行。這些邏輯連接是由耦合到計(jì)算機(jī)20或是作為其一部分的通信設(shè)備實(shí)現(xiàn)的。遠(yuǎn)程計(jì)算機(jī)49可以是另一計(jì)算機(jī)、服務(wù)器、路由器、網(wǎng)絡(luò)PC、客戶機(jī)、對(duì)等設(shè)備或其它普通網(wǎng)絡(luò)節(jié)點(diǎn)，且通常包括上述相對(duì)于個(gè)人計(jì)算機(jī)20所描述的許多或全部元件，盡管在圖10中只示出了記憶存儲(chǔ)設(shè)備50。圖10中描繪的邏輯連接包括局域網(wǎng)(LAN)51及廣域網(wǎng)(WAN)52。此類網(wǎng)絡(luò)環(huán)境常見(jiàn)于辦公室、企業(yè)范圍計(jì)算機(jī)網(wǎng)絡(luò)、內(nèi)聯(lián)網(wǎng)及因特網(wǎng)，它們均為網(wǎng)絡(luò)的類型。
當(dāng)用于LAN網(wǎng)絡(luò)環(huán)境中時(shí)，計(jì)算機(jī)20通過(guò)屬于一類通信設(shè)備的網(wǎng)絡(luò)接口或適配器53連到局域網(wǎng)51。當(dāng)用于WAN網(wǎng)絡(luò)環(huán)境中時(shí)，計(jì)算機(jī)20通常包括屬于一類通信設(shè)備的調(diào)制解調(diào)器54或用于通過(guò)廣域網(wǎng)52建立通信的任何其它裝置。調(diào)制解調(diào)器54可以是內(nèi)置或外置的，它經(jīng)由串行端口接口46連到系統(tǒng)總線23。在聯(lián)網(wǎng)環(huán)境中，相對(duì)于個(gè)人計(jì)算機(jī)20所描繪的程序模塊或其部分可儲(chǔ)存在遠(yuǎn)程記憶存儲(chǔ)設(shè)備中。應(yīng)當(dāng)理解，示出的網(wǎng)絡(luò)連接是示例性的，也可使用在計(jì)算機(jī)間建立通信鏈路的其它裝置和通信設(shè)備。
在本發(fā)明的一個(gè)實(shí)施例中，選擇模塊、域定義模塊、混和計(jì)算模塊、和輸出模塊可被合并為操作系統(tǒng)35、應(yīng)用程序36、或者其它程序模塊37的部分。內(nèi)插指導(dǎo)數(shù)據(jù)存儲(chǔ)和圖像數(shù)據(jù)可存儲(chǔ)為程序數(shù)據(jù)38。
本文中所描述的本發(fā)明的各個(gè)實(shí)施例被實(shí)現(xiàn)為一個(gè)或多個(gè)計(jì)算機(jī)系統(tǒng)中的邏輯步驟。本發(fā)明的邏輯操作被實(shí)現(xiàn)為(1)在一個(gè)或多個(gè)計(jì)算機(jī)系統(tǒng)中執(zhí)行的處理器實(shí)現(xiàn)的步驟序列，以及(2)一個(gè)或多個(gè)計(jì)算機(jī)系統(tǒng)內(nèi)部互連的機(jī)器模塊。該實(shí)現(xiàn)是取決于實(shí)現(xiàn)本發(fā)明的計(jì)算機(jī)系統(tǒng)的性能要求的選擇問(wèn)題。因此，組成本文中所描述的本發(fā)明各實(shí)施例的邏輯操作在不同場(chǎng)合下被稱作操作、步驟、對(duì)象或模塊。
以上的說(shuō)明書、示例和數(shù)據(jù)提供了本發(fā)明示例性實(shí)施例的結(jié)構(gòu)和使用的完整描述。因?yàn)榭梢宰鞒鲈S多本發(fā)明的實(shí)施例而不會(huì)偏離本發(fā)明的精神和范疇，因此本發(fā)明駐留于所附的權(quán)利要求書中。
權(quán)利要求
1.一種從目標(biāo)圖像計(jì)算混和的結(jié)果圖像的方法，所述方法包括在所述目標(biāo)圖像中定義具有邊界的目標(biāo)域，提供一受指導(dǎo)的內(nèi)插器，它包括內(nèi)插指導(dǎo)和與所述目標(biāo)域的邊界相關(guān)聯(lián)的邊界條件；以及基于所述受指導(dǎo)的內(nèi)插器計(jì)算所述混和的結(jié)果圖像，以滿足所述目標(biāo)域的邊界處的邊界條件，并將所述內(nèi)插指導(dǎo)和所述混和的結(jié)果圖像的梯度間跨越所述目標(biāo)域的差值最小化。
2.如權(quán)利要求1所述的方法，其特征在于，所述提供操作包含提供一掩模內(nèi)插指導(dǎo)作為內(nèi)插指導(dǎo)，所述掩模內(nèi)插指導(dǎo)包括所述目標(biāo)域內(nèi)的目標(biāo)圖像的梯度，其中所述目標(biāo)圖像的梯度滿足一預(yù)定標(biāo)準(zhǔn)。
3.如權(quán)利要求1所述的方法，其特征在于，源圖像的至少一部分被混和到所述目標(biāo)圖像中，以生成所述混和的結(jié)果圖像，所述內(nèi)插指導(dǎo)是所述源圖像的函數(shù)。
4.如權(quán)利要求1所述的方法，其特征在于，源圖像的至少一部分被混和到所述目標(biāo)圖像中，以生成所述混和的結(jié)果圖像，并且所述方法還包含在所述源圖像中定義具有邊界的源域。
5.如權(quán)利要求4所述的方法，其特征在于，所述提供操作包含提供一過(guò)濾內(nèi)插指導(dǎo)作為內(nèi)插指導(dǎo)，所述過(guò)濾內(nèi)插指導(dǎo)包括所述源域內(nèi)的源圖像的梯度。
6.如權(quán)利要求4所述的方法，其特征在于，所述提供操作包含提供一透明內(nèi)插指導(dǎo)作為內(nèi)插指導(dǎo)，所述透明內(nèi)插指導(dǎo)包括所述源域內(nèi)的源圖像的梯度和所述目標(biāo)域內(nèi)的目標(biāo)圖像的梯度之間的較大者。
7.如權(quán)利要求1所述的方法，其特征在于，所述邊界條件要求所述混和的結(jié)果圖像中的圖像數(shù)據(jù)在所述目標(biāo)域的邊界處的每個(gè)值等于所述目標(biāo)圖像中圖像數(shù)據(jù)在所述邊界處的對(duì)應(yīng)值。
8.如權(quán)利要求1所述的方法，其特征在于，所述受指導(dǎo)的內(nèi)插器由以下函數(shù)最小化表示minf∫∫Ω|▿f-v|2,]]>它具有邊界條件f|Ω＝f*|Ω，其中v表示內(nèi)插指導(dǎo)，f表示所述目標(biāo)域內(nèi)的混和的結(jié)果圖像，f*表示所述目標(biāo)域外的混和的結(jié)果圖像。
9.一種編碼了計(jì)算機(jī)程序的計(jì)算機(jī)程序產(chǎn)品，所述計(jì)算機(jī)程序在計(jì)算機(jī)系統(tǒng)上執(zhí)行一種用于從目標(biāo)圖像計(jì)算混和的結(jié)果圖像的計(jì)算機(jī)過(guò)程，所述計(jì)算機(jī)過(guò)程包含在所述目標(biāo)圖像中定義具有邊界的目標(biāo)域，提供一受指導(dǎo)的內(nèi)插器，它包括內(nèi)插指導(dǎo)和與所述目標(biāo)域的邊界相關(guān)聯(lián)的邊界條件；以及基于所述受指導(dǎo)的內(nèi)插器計(jì)算所述混和的結(jié)果圖像，以滿足所述目標(biāo)域的邊界處的邊界條件，并將所述內(nèi)插指導(dǎo)和所述混和的結(jié)果圖像的梯度間跨越所述目標(biāo)域的差值最小化。
10.如權(quán)利要求9所述的計(jì)算機(jī)程序產(chǎn)品，其特征在于，所述提供操作包含提供一掩模內(nèi)插指導(dǎo)作為內(nèi)插指導(dǎo)，所述掩模內(nèi)插指導(dǎo)包括所述目標(biāo)域內(nèi)的目標(biāo)圖像的梯度，其中所述目標(biāo)圖像的梯度滿足一預(yù)定標(biāo)準(zhǔn)。
11.如權(quán)利要求9所述的計(jì)算機(jī)程序產(chǎn)品，其特征在于，源圖像的至少一部分被混和到所述目標(biāo)圖像中，以生成所述混和的結(jié)果圖像，所述內(nèi)插指導(dǎo)是所述源圖像的函數(shù)。
12.如權(quán)利要求9所述的計(jì)算機(jī)程序產(chǎn)品，其特征在于，源圖像的至少一部分被混和到所述目標(biāo)圖像中，以生成所述混和的結(jié)果圖像，并且所述計(jì)算機(jī)過(guò)程還包含在所述源圖像中定義具有邊界的源域。
13.如權(quán)利要求12所述的計(jì)算機(jī)程序產(chǎn)品，其特征在于，所述提供操作包含提供一過(guò)濾內(nèi)插指導(dǎo)作為內(nèi)插指導(dǎo)，所述過(guò)濾內(nèi)插指導(dǎo)包括所述源域內(nèi)的源圖像的梯度。
14.如權(quán)利要求12所述的計(jì)算機(jī)程序產(chǎn)品，其特征在于，所述提供操作包括提供一透明內(nèi)插指導(dǎo)作為內(nèi)插指導(dǎo)，所述透明內(nèi)插指導(dǎo)包括所述源域內(nèi)的源圖像的梯度和所述目標(biāo)域內(nèi)的目標(biāo)圖像的梯度之間的較大者。
15.如權(quán)利要求9所述的計(jì)算機(jī)程序產(chǎn)品，其特征在于，所述邊界條件要求所述混和的結(jié)果圖像中的圖像數(shù)據(jù)在所述目標(biāo)域的邊界處的每個(gè)值等于所述目標(biāo)圖像中圖像數(shù)據(jù)在所述邊界處的對(duì)應(yīng)值。
16.如權(quán)利要求9所述的計(jì)算機(jī)程序產(chǎn)品，其特征在于，所述受指導(dǎo)的內(nèi)插器由以下函數(shù)最小化表示minf∫∫Ω|▿f-v|2,]]>它具有邊界條件f|Ω＝f*|Ω，其中v表示內(nèi)插指導(dǎo)，f表示所述目標(biāo)域內(nèi)的混和的結(jié)果圖像，f*表示所述目標(biāo)域外的混和的結(jié)果圖像。
17.一種用于從目標(biāo)圖像計(jì)算混和的結(jié)果圖像的系統(tǒng)，所述系統(tǒng)包含域定義模塊，它在所述目標(biāo)圖像中定義具有邊界的目標(biāo)域，內(nèi)插指導(dǎo)數(shù)據(jù)存儲(chǔ)，它存儲(chǔ)一受指導(dǎo)的內(nèi)插器，所述內(nèi)插器包括內(nèi)插指導(dǎo)和與所述目標(biāo)域的邊界相關(guān)聯(lián)的邊界條件；以及混和計(jì)算模塊，它基于所述受指導(dǎo)的內(nèi)插器計(jì)算所述混和的結(jié)果圖像，以滿足所述目標(biāo)域的邊界處的邊界條件，并將所述內(nèi)插指導(dǎo)和所述混和的結(jié)果圖像的梯度間跨越所述目標(biāo)域的差值最小化。
18.如權(quán)利要求17所述的系統(tǒng)，其特征在于，所述內(nèi)插指導(dǎo)包括所述目標(biāo)域內(nèi)的目標(biāo)圖像的梯度。
19.如權(quán)利要求17所述的系統(tǒng)，其特征在于，所述內(nèi)插指導(dǎo)等于0。
20.如權(quán)利要求17所述的系統(tǒng)，其特征在于，所述內(nèi)插指導(dǎo)包括所述目標(biāo)域內(nèi)的目標(biāo)圖像的梯度，其中，所述目標(biāo)圖像的梯度滿足一預(yù)定標(biāo)準(zhǔn)。
21.如權(quán)利要求17所述的系統(tǒng)，其特征在于，源圖像的至少一部分被混和到所述目標(biāo)圖像中，以生成所述混和的結(jié)果圖像，所述內(nèi)插指導(dǎo)是所述源圖像的函數(shù)。
22.如權(quán)利要求17所述的系統(tǒng)，其特征在于，源圖像的至少一部分被混和到所述目標(biāo)圖像中，以生成所述混和的結(jié)果圖像，并且所述系統(tǒng)還包含在所述源圖像中定義具有邊界的源域。
23.如權(quán)利要求22所述的系統(tǒng)，其特征在于，所述內(nèi)插指導(dǎo)包括所述源域內(nèi)的源圖像的梯度。
24.如權(quán)利要求22所述的系統(tǒng)，其特征在于，所述內(nèi)插指導(dǎo)包括所述源域內(nèi)的源圖像的梯度和所述目標(biāo)域內(nèi)的目標(biāo)圖像的梯度之間的較大者。
25.如權(quán)利要求17所述的系統(tǒng)，其特征在于，所述邊界條件要求所述混和的結(jié)果圖像中的圖像數(shù)據(jù)在所述目標(biāo)域的邊界處的每個(gè)值等于所述目標(biāo)圖像中的圖像數(shù)據(jù)在所述邊界處的對(duì)應(yīng)值。
26.如權(quán)利要求17所述的系統(tǒng)，其特征在于，所述受指導(dǎo)的內(nèi)插器由以下函數(shù)最小化表示minf∫∫Ω|▿f-v|2,]]>它具有邊界條件f|Ω＝f*|Ω，其中v表示內(nèi)插指導(dǎo)，f表示所述目標(biāo)域內(nèi)的混和的結(jié)果圖像，f*表示所述目標(biāo)域外的混和的結(jié)果圖像。
全文摘要
利用受指導(dǎo)的的內(nèi)插計(jì)算混和的結(jié)果圖像，以改變目標(biāo)域內(nèi)的圖像數(shù)據(jù)。可基于依賴于或不依賴于源圖像的受指導(dǎo)的內(nèi)插來(lái)改變目標(biāo)域。在將源區(qū)域混和到圖像的目標(biāo)區(qū)域時(shí)，受指導(dǎo)的的內(nèi)插消除或最小化插入的區(qū)域和圖像其余部分間的明顯接縫?？墒褂酶鞣N內(nèi)插指導(dǎo)，以在混和的結(jié)果圖像中產(chǎn)生不同的效果。此類內(nèi)插指導(dǎo)可包括，但不限于，恒等指導(dǎo)、平滑指導(dǎo)、過(guò)濾指導(dǎo)、透明指導(dǎo)、掩模指導(dǎo)、以及各種指導(dǎo)的加權(quán)平均組合。
文檔編號(hào)G06K9/36GK1745386SQ200480003010
公開(kāi)日2006年3月8日 申請(qǐng)日期2004年1月7日 優(yōu)先權(quán)日2003年2月25日
發(fā)明者P·佩雷斯, M·岡根特, A·布雷克 申請(qǐng)人:微軟公司