專利名稱：對象級圖像編輯的制作方法
技術(shù)領(lǐng)域：
本描述一般涉及圖像編輯，尤其涉及但決不限于使用有關(guān)那些圖像中對象 的信息來編輯數(shù)字圖像的系統(tǒng)和方法。
背景
諸如微軟的Digital Image Suite (商標(biāo))、Adobe Photoshop (商標(biāo))和 Illustrator (商標(biāo))以及Google Picasa (商標(biāo))的圖像處理工具是已知的。在國 內(nèi)市場和專業(yè)市場中對這種工具有越來越多的需求。需要簡化用戶操作圖像處 理工具所需的動作，以及需要提供快速并有效地操作的工具。此外，需要在工 具內(nèi)提供增加的功能，以使得用戶能對數(shù)字圖像執(zhí)行更多類型的操作，以及需 要改進(jìn)現(xiàn)有的功能，以使得操作的結(jié)果更為逼真和美觀。
需要提供一種克服或至少減輕了本文中所提及問題的一個或多個的圖像 編輯或圖像處理的經(jīng)改進(jìn)系統(tǒng)和方法。
概述
下面提供本揭示的簡化概要以便為讀者提供基本的理解。本概要不是本 揭示的詳盡概觀，并且既不標(biāo)識本發(fā)明的關(guān)鍵/本質(zhì)元素也不描繪本發(fā)明的范 圍。其唯一 目的是以簡化形式提供在此揭示一些概念作為稍后提供的更詳細(xì)描 述的序言。
描述使用有關(guān)數(shù)字圖像中對象的信息來編輯這些圖像的系統(tǒng)和方法。例 如，有關(guān)對象的信息包括深度排序信息和/或有關(guān)各對象是其成員的類的信息。 類的示例包括天空、建筑物、飛機(jī)、草和人。該對象級信息被用來提供新的和 /或經(jīng)改進(jìn)的編輯功能，諸如剪切和粘貼、使用小塊或拼縫物填入圖像區(qū)域、數(shù) 字織錦、a消光生成、超分辨率、自動修剪、自動色彩平衡、對象選擇、景深 操縱、以及對象置換。此外，描述使用對象級信息對用于圖像編輯系統(tǒng)的用戶
界面的改進(jìn)。
本示例提供一種包括以下步驟的編輯源數(shù)字圖像的方法- 訪問自動生成的有關(guān)該源數(shù)字圖像的對象級信息，該信息包括將圖像分 成一個或多個對象的分割，以及針對各個對象的該對象是其成員的類的細(xì)節(jié)；
以及
基于對象級信息自動處理源數(shù)字圖像以形成輸出數(shù)字圖像。 在另一示例中，提供了一種用于編輯源數(shù)字圖像的相應(yīng)裝置，包括- 接口，安排成訪問自動生成的有關(guān)該源數(shù)字圖像的對象級信息，該信息 包括將圖像分成一個或多個對象的分割，以及針對各個對象的該對象是其成員
的類的細(xì)節(jié)；以及
處理器，安排成基于對象級信息自動處理源數(shù)字圖像以形成輸出數(shù)字圖像。
優(yōu)選地，對象級信息包括以下的任一個有關(guān)至少一部分對象的深度排序 的信息；對象屬性；以及有關(guān)對象部分的位置的信息。
在某些示例中，該方法還包括組合源數(shù)字圖像的至少一部分與一個或多 個基準(zhǔn)數(shù)字圖像以形成輸出數(shù)字圖像，且其中該方法包括訪問自動生成的有 關(guān)基準(zhǔn)數(shù)字圖像的對象級信息，該信息包括將基準(zhǔn)圖像分成一個或多個對象的 分割，以及針對各個對象的該對象是其成員的類的細(xì)節(jié)。
在某些示例中，針對多個源數(shù)字圖像實現(xiàn)該方法以創(chuàng)建單個輸出圖像，且 該輸出圖像基于有關(guān)各個源圖像的對象級信息自動形成。例如，在數(shù)字織錦、 照片-組合或其它圖像混合技術(shù)中。優(yōu)選地，那些方法包括基于對象級信息選 擇源圖像的多個部分以包括在輸出圖像中。例如，基于對象級信息在輸出圖像 中選擇位置以定位源圖像的多個部分。
在其它示例中，與輸出圖像相比，源圖像具有低分辨率。例如，處理源圖 像的步驟包括訪問分辨率比源圖像高的圖像的數(shù)據(jù)庫，以及基于對象級信息 從該數(shù)據(jù)庫中選擇圖像以在形成輸出圖像時使用。
在一些實施例中，從源圖像裁剪輸出圖像，并且處理源圖像的步驟包括 基于對象級信息自動裁剪源圖像。優(yōu)選地，該方法進(jìn)一步包括基于從多個指定 模板、規(guī)則或標(biāo)準(zhǔn)中選擇的模板、規(guī)則或標(biāo)準(zhǔn)自動裁剪源圖像。在一些示例中，
處理源圖像的步驟包括基于對象級信息調(diào)節(jié)該源圖像的色彩平衡。
優(yōu)選地，所述處理源圖像的步驟包括僅接收單個用戶輸入以選擇源圖像
中的對象，并經(jīng)由用戶界面向用戶呈現(xiàn)關(guān)于作為該單個用戶輸入的結(jié)果選擇源
圖像中的哪個對象的指示，該選擇已由用戶用單個動作作出。
優(yōu)選地，該方法還包括安排用戶界面以使經(jīng)由界面呈現(xiàn)給用戶的編輯選
項基于與所選對象相關(guān)聯(lián)的對象級信息選擇。
在一些示例中，該方法還包括修改所選對象的色彩、焦點或深度次序的任—個。
優(yōu)選地，處理源圖像的所述步驟包括用來自數(shù)據(jù)庫的選定對象或?qū)ο蟛?分的圖像替換源圖像中對象或?qū)ο蟮囊徊糠?，且其中該對象或?qū)ο蟛糠值倪x擇 基于對象級信息作出。
上述裝置可具有用以執(zhí)行上述方法的任何適當(dāng)功能部件。
另一示例提供了一種包括計算機(jī)程序代碼裝置的計算機(jī)程序，當(dāng)所述程序 在計算機(jī)上運行時適于執(zhí)行任何方法的所有步驟。
例如，該計算機(jī)程序在計算機(jī)可讀介質(zhì)上具體實現(xiàn)。
本方法可由存儲介質(zhì)上具備機(jī)器可讀形式的軟件執(zhí)行。軟件能夠適于在并 行處理器或串行處理器上執(zhí)行，使得本方法的各步驟可以按任何合適的次序或 同時執(zhí)行。
這里承認(rèn)軟件能夠是有價值的、可以單獨交易的商品。它旨在包含運行于 或者控制"啞"或者標(biāo)準(zhǔn)的硬件以實現(xiàn)期望的功能的軟件，(因此，軟件本質(zhì) 上定義了寄存器的功能，并且可以被叫做寄存器，即使是在它與其標(biāo)準(zhǔn)硬件結(jié) 合之前)。出于類似的理由，還旨在包含"描述"或者定義硬件配置的軟件， 例如HDL (硬件描述語言)軟件，用于設(shè)計硅芯片，或者用于配置通用可編
程芯片以實現(xiàn)期望的功能。
許多伴隨特征將隨著參考下面的詳細(xì)描述并結(jié)合附圖進(jìn)行理解而得到更 好的認(rèn)識。


從結(jié)合附圖的下列詳細(xì)描述將更好地理解本描述，在附圖中
圖1是對對象級圖像編輯系統(tǒng)的輸入的示意性圖示；
圖2是對象級圖像編輯系統(tǒng)的更詳細(xì)的示意性圖示；
圖3是使用對象級圖像編輯系統(tǒng)編輯圖像的方法的高級流程圖4是使用由對象級信息引導(dǎo)的平鋪來編輯圖像的方法的流程圖5示出對象級圖像編輯系統(tǒng)的用于語義對象移除的兩個示例用戶界面
顯示；
圖6是智能復(fù)制和粘貼以及智能剪切和粘貼的方法的流程圖7a和7b是指示智能復(fù)制和粘貼的示意性圖示；
圖8是使用智能數(shù)字織錦產(chǎn)生的輸出圖像的示例；
圖9是使用對象級信息引導(dǎo)的數(shù)字織錦的方法的流程圖IO是使用對象級信息的超分辨率的方法的流程圖11是使用對象級信息自動裁剪圖像的方法的流程圖12是使用對象級信息自動調(diào)節(jié)源圖像色彩的方法的流程圖13是選擇對象的單個用戶動作方法的流程圖14示出源圖像和使用對象級信息從該源圖像中將前景對象選擇成一組 四頭奶牛的結(jié)果。圖15示出使用圖像編輯系統(tǒng)說明對象替換的示例用戶界面顯示；
圖16是使用對象級信息的對象替換的方法的流程圖17示出使用對象級信息說明景深操縱的兩個用戶界面顯示；
圖18是提供使用對象級信息的圖像編輯系統(tǒng)的用戶界面的方法的流程
相同的標(biāo)號用于指示附圖中相同的部分。
詳細(xì)描述
下面結(jié)合附圖提供的詳細(xì)說明旨在作為本發(fā)明的例子的描述，但是并不旨 在表示可以構(gòu)造或者使用本例子的僅有的形式。該描述闡述本示例的功能以及 用于構(gòu)造和操作本示例的步驟序列。然而，相同或等價的功能與序列可由不同
的示例來完成。
圖1是對對象級圖像編輯系統(tǒng)的輸入的示意性圖示。數(shù)字形式的任何適當(dāng)
類型的源圖像IO被提供給對象識別系統(tǒng)11。本示例中的源圖像IO示出停在建
筑物前草坪上的輕型飛機(jī)。在建筑物之上可看到多云天空。對象識別系統(tǒng)產(chǎn)生
對源圖像的分析。分析結(jié)果在圖1中被示為圖像12，盡管并非必需如此。可使 用任何適當(dāng)形式的表示。源圖像的分析包括將該源圖像分成一個或多個對象的 分割。在所示示例中，圖像被分成由圖1的圖像12中的陰影區(qū)域指示的四個 主要區(qū)域。對象識別系統(tǒng)還將每個分割區(qū)域標(biāo)為屬于特定類型的對象類。在該 示例中，四個區(qū)域被標(biāo)識為屬于對象類天空14、草地16、建筑物15和飛機(jī)17。 由對象識別系統(tǒng)產(chǎn)生的信息在本文中被稱為對象級信息，并且連同源圖像10 本身可被本發(fā)明的圖像編輯系統(tǒng)13訪問。
可使用任何適當(dāng)類型的能分割源圖像并識別該源圖像的分割區(qū)域的適當(dāng) 對象類的對象識別系統(tǒng)11。至少多個可能的對象類被用來標(biāo)注分割圖像區(qū)域 (在優(yōu)選示例中約有20個對象類)，并且增加系統(tǒng)的規(guī)模并使用數(shù)量多得多 的對象類是可能的。對象類的示例包括天空、草地、人、建筑物、馬、飛機(jī)、 奶牛、羊、水、船、樹、路和花。在一些實施例中，對象識別系統(tǒng)11優(yōu)選地
還能提供所標(biāo)識對象的深度排序信息，盡管這并非是必需的。此外，對象識別 系統(tǒng)優(yōu)選地(但不是必需的)能標(biāo)識對象的特定實例(例如將人的圖像識別為 屬于具體指定的人)，并且能標(biāo)識有關(guān)對象的信息，諸如其方向、對象屬性、
對象部分的存在和位置(例如，人臉、樹葉、建筑物、屋頂)。對象識別系統(tǒng) 任選地可包括與對象類相關(guān)聯(lián)的語義信息，諸如有關(guān)類人和建筑物的對象的相 對大小的信息，或者有關(guān)對象的一般位置的信息，諸如圖像中的天空。
圖2是圖1的對象級圖像編輯系統(tǒng)13的更詳細(xì)的示意性圖示。 一個或 多個源圖像10和任選地一個或多個基準(zhǔn)圖像9被輸入如上所述的對象識別系 統(tǒng)11。例如，源圖像可包括人靠在墻面背景的照片?；鶞?zhǔn)圖像可包括花園景觀。 在人物的圖像被粘貼到花園景觀上的情形中，輸出圖像將包括以花園景觀為背 景的人物的圖像。對象識別系統(tǒng)優(yōu)選地用來分析源圖像和基準(zhǔn)圖像兩者。識別 結(jié)果以及源圖像10和基準(zhǔn)圖像9變得對對象級圖像編輯系統(tǒng)13可用。該系統(tǒng) 包括對象級信息接口 8，其通過接口與對象識別系統(tǒng)11相連或以任何適當(dāng)方式
訪問該對象識別系統(tǒng)的結(jié)果。還提供處理器7和任選的用戶界面6。處理器具
有任何適當(dāng)類型，諸如個人計算機(jī)、操作系統(tǒng)、專用處理器或分布式系統(tǒng)。對
象級圖像編輯系統(tǒng)基于各個輸入產(chǎn)生輸出圖像5。
通過使用由對象識別系統(tǒng)提供的對象級信息，能提供自動編輯圖像的新方 法并改進(jìn)自動編輯圖像的現(xiàn)有方法?，F(xiàn)在給出編輯圖像的方法的高級概要，然 后闡述特定方法的示例。
在本文中所述的任一實施例中，對用戶而言在將對象級信息用于圖像編輯 之前任選地修改或校正該信息也是可能的。用戶可手動地或以任何其它適當(dāng)方 式作出這些修改或校正。
圖3是使用對象級圖像編輯系統(tǒng)編輯圖像的方法的高級流程圖。訪問有關(guān) 一個或多個源圖像的對象級信息、以及任選的一個或多個基準(zhǔn)圖像(參見框 35)。這是使用圖2的接口 8來實現(xiàn)的?；趯ο蠹壭畔?參見框36)和所形 成的輸出圖像(參見框37)來處理源圖像和任何基準(zhǔn)圖像。
現(xiàn)在給出使用對象級信息編輯圖像的特定方法的示例
智能平鋪
在我們的于2004年8月26日公布的公開號為US2004-0165787A1的題為 "Image region filling by example-based tiling"(通過基于示例平鋪進(jìn)行圖像區(qū) 域填充)的較早美國專利申請中，描述了使用圖像數(shù)據(jù)的平鋪來執(zhí)行各種任務(wù)， 包括但不限于修復(fù)(例如，隱藏裂縫、擦痕、銹斑、和其它損害)、校正(例 如，去除紅眼和其它不合需要的特征)、以及修改(例如去除圖像的特征)數(shù) 字圖像。在許多這種動作中，任務(wù)可通過用其它圖像數(shù)據(jù)"填充"圖像中的區(qū) 域來完成。在該較早專利申請中，描述了借用因近似目標(biāo)圖像區(qū)域或某其它源 而產(chǎn)生的示例圖像數(shù)據(jù)塊來生成新圖像數(shù)據(jù)以供填充該區(qū)域。所述的基于示例 填充系統(tǒng)標(biāo)識適當(dāng)?shù)奶畛洳牧弦蕴鎿Q圖像中的目標(biāo)區(qū)域并使用該材料填充目 標(biāo)區(qū)域，從而減輕或最小化填充圖像中區(qū)域所需的手動編輯的量。目標(biāo)區(qū)域可 通過用戶輸入(例如由用戶選擇圖像區(qū)域)或其它手段(例如指定要替換的色 彩或特征)指定。
在本申請中，我們通過允許使用對象級信息引導(dǎo)適當(dāng)填充材料的選擇來基
于先前的工作進(jìn)行擴(kuò)展和構(gòu)建。此外，我們通過使用對象級信息使目標(biāo)區(qū)域的 指定能自動實現(xiàn)。術(shù)語"小塊"在本文中用來指適于填充數(shù)字圖像的目標(biāo)區(qū)域 的圖像數(shù)據(jù)區(qū)或碎片。小塊可由一組或一網(wǎng)格像素表示，或者能以任何其它適 當(dāng)方式表示。
圖4是在本申請的對象級圖像編輯系統(tǒng)中使用小塊的方法的流程圖。該圖 與圖3相同，其不同之處在于圖像數(shù)據(jù)小塊是在處理階段使用的(參見框39)。 例如，圖像數(shù)據(jù)小塊是像素碎片或像素網(wǎng)格。圖像數(shù)據(jù)小塊可例如用于填充圖 像的其中對象己被刪除的區(qū)域。優(yōu)選地，基于對象級信息選擇圖像數(shù)據(jù)小塊(參 見框38)。例如，它們是從與需要填充的對象/部分相同的類(或相同對象部 分)的對象選擇的。小塊可從以下的任一個中選擇源圖像和基準(zhǔn)圖像、源圖 像和基準(zhǔn)圖像中同一類的其它對象、以及同一類(與正在填充的對象相同)的 其它對象的庫。
此外，深度排序信息可被用來引導(dǎo)供填充圖像區(qū)域的小塊的選擇。例如， 所選小塊僅需與要移除對象后面的對象相一致?，F(xiàn)在參照圖5中的示例進(jìn)行討 論。圖5給出對象級圖像編輯系統(tǒng)的用于語義對象移除的兩個示例用戶界面顯 示35、 36。顯示35包括人31站在草地中，且小徑消失在樹木和天空可見的背 景30中的圖像。每個顯示35、 36都具有諸如分層選擇結(jié)構(gòu)34和操作條33的 圖形用戶界面設(shè)備。在顯示35中，操作條33指示圖像焦點所在之處，呈現(xiàn)用 以調(diào)節(jié)圖像中的模糊度的滑動條33，并提供選擇框以使圖像成為例如灰度而非 彩色。還提供了施加設(shè)置或取消它們的按鈕。在顯示35的示例中，用戶已經(jīng) 以任何適當(dāng)方式選擇了人31，諸如通過將鼠標(biāo)指針置于人31上，并呈現(xiàn)可用 動作的菜單32，在本示例中包括擦除、聚焦、修復(fù)紅眼和色彩電平。假設(shè)用戶 從菜單32中選擇擦除功能。人31的圖像被"在語義上"擦除，從而給出了顯 示36中示出的結(jié)果。
在顯示36中，可看到背景30被保留，人31的圖像被刪去，并且先前被 人31的圖像所占據(jù)的圖像區(qū)域以適于該圖像的其余部分的方式填充。
先前被人所占據(jù)的圖像區(qū)域由圖5中的參考標(biāo)號40和41指示。深度排序 和形狀信息被用來推斷該人后面的區(qū)域要使用區(qū)域41中的"類似草地"小塊 和區(qū)域40中的"類似樹木"小塊來填充。沒有這種深度排序信息，"類似草
地"小塊會被用來填充人31的圖像先前所在的整個區(qū)域。此外，如果在所擦 除的人前面存在物體，則深度信息將使它們能在填充期間被忽略。另外，將圖 像分成草地、樹木、人物對象和天空的分割信息被用來推斷要使用哪類小塊。
智能復(fù)制和粘貼(以及智能剪切和粘貼)
復(fù)制和剪切圖像區(qū)域的過程優(yōu)選地是相同的，除了剪切的過程還涉及填充 源圖像的從中剪切了一區(qū)域的空地。優(yōu)選地，填充過程是智能地使用對象級信 息實現(xiàn)的。
圖6是將對象級信息用于智能復(fù)制和粘貼或智能剪切和粘貼的方法的流
程圖。假設(shè)源圖像包括要剪切或復(fù)制的對象，并且提供了在此情形中被稱為目 標(biāo)圖像的基準(zhǔn)圖像以將所剪切復(fù)制的對象貼入。該方法包括訪問有關(guān)如上所述
的源圖像和目標(biāo)圖像的對象級信息(參見圖6的框60)。該對象級信息被用來 從源圖像中復(fù)制或剪切對象(參見框61)。例如，分割信息被用來標(biāo)識對象， 且其中之一被自動地選擇(例如使用深度排序信息以挑選前景對象、或使用預(yù) 先指定規(guī)則連同對象類信息)或作為用戶輸入的結(jié)果而被選擇。 一旦選擇了對 象，就使用本領(lǐng)域中所公知的任何適當(dāng)?shù)募羟谢驈?fù)制該對象的方法。在剪切的 情形中，優(yōu)選地還填充源圖像的從中剪切掉一區(qū)域的空地。該填充是智能地使 用對象級信息實現(xiàn)的。
然后關(guān)于是否有剪切/復(fù)制對象的任何區(qū)域被遮擋在源圖像之外作出評 估。深度排序信息和/或其它對象級信息被用來作此評估。如果存在被遮擋區(qū)域， 則使用用對象級信息從源圖像中選擇的小塊(如上所述)來填充這些區(qū)域(參 見框63)。此外，在需要時填充源圖像中因為任何剪切操作而留白的區(qū)域。這 是使用用對象級信息進(jìn)行的小塊選擇實現(xiàn)的。
下一階段包括將有關(guān)剪切/復(fù)制對象的對象級信息與目標(biāo)圖像作比較，并 判定所剪切/復(fù)制的對象是否需要進(jìn)行編輯(參見框64)。例如，所剪切/復(fù)制 的對象的大小可能需要改變以對應(yīng)于目標(biāo)圖像中對象的比例。對象類信息可包 括有關(guān)不同類的對象的相對大小的信息。例如，類建筑物的對象可被指定為比 類人物的對象大一特定倍數(shù)。使用該信息連同深度排序信息，有可能自動確定 要貼入目標(biāo)圖像的對象的適當(dāng)大小。在另一示例中，要粘貼對象的焦點可能需
要改變以匹配目標(biāo)圖像中的焦點。再一次，深度排序信息可與有關(guān)目標(biāo)圖像中 景深信息的信息一起使用以決定要對要粘貼對象應(yīng)用什么焦點。在另一實施例 中，要粘貼對象的色彩可根據(jù)目標(biāo)圖像的色彩細(xì)節(jié)改變。其它選項包括改變要 粘貼對象的照明或方向，改變?nèi)宋飯D像的面部表情以匹配目標(biāo)圖像中的對象和 其它。
如果確定以特定方式編輯要粘貼對象，則該對象被自動地按需編輯(參見
框65)，然后粘貼到目標(biāo)圖像(框66)中。注意，該方法的步驟的任一個可 并行或以不同順序執(zhí)行以實現(xiàn)等同的結(jié)果。
圖7a和7b示出使用智能復(fù)制和粘貼的示例。圖7a示意性地示出人物71 站在柱子70后面的圖像。該人物的圖像要被復(fù)制和粘貼到基準(zhǔn)圖像——在本 示例中稱為目標(biāo)圖像74(參見圖7b)。復(fù)制該人物圖像的結(jié)果在圖7a中示出， 并且可看到存在柱子70先前遮擋人物圖像的一部分的空白區(qū)域72。在復(fù)制過 程期間，使用有關(guān)人物的對象級信息，其提供人物的分割和有關(guān)柱子和人物的 深度排序信息。
所遮擋的區(qū)域72使用小塊來填充以產(chǎn)生完整圖像73 (參見圖7b)。該完 整圖像73要被粘貼到示出房子的目標(biāo)圖像74中。有關(guān)目標(biāo)圖像的對象級信息 指示房子和人物的相對大小使得完整圖像73需要調(diào)節(jié)大小。在適當(dāng)?shù)卣{(diào)整大 小、以及諸如重新調(diào)焦或重新著色的任何其它確定編輯之后，人物75的圖像 被粘貼到基準(zhǔn)圖像內(nèi)。
經(jīng)改進(jìn)的數(shù)字織錦
圖8是在執(zhí)行經(jīng)改進(jìn)的數(shù)字織錦之后從對象級圖像編輯系統(tǒng)產(chǎn)生的輸出 圖像的示例。術(shù)語"數(shù)字織錦"在本文中被用來指使用多個源圖像的各個部分 并將那些部分混合在一起來形成單個輸出圖像。在圖8中所示的示例中，12 個源圖像被用來形成單個數(shù)字織錦輸出圖像。
可使用將多個圖像部分混合在一起的任何適當(dāng)方法。例如，我們的于2005 年7月28日提交的題為"ImageBlending"(圖像混合)的早先歐洲專利申請 No. 05254745.2描述了一種數(shù)字織錦的適當(dāng)方法。Carsten Rother、Sanjiv Kumar、 Vladimir Kolmogorov和Andrew Blake在2005年美國圣地亞哥的CVPR會議上
發(fā)表的題為"Digital Tapestry"(數(shù)字織錦)的文章也描述了一種數(shù)字織錦的 適當(dāng)方法。在本申請中，數(shù)字織錦通過允許從源圖像選擇多個圖像部分使用有 關(guān)源圖像的對象級信息引導(dǎo)來改進(jìn)。此外，選擇輸出圖像中的位置以放置那些 圖像部分是使用對象級信息來引導(dǎo)的。
圖9是經(jīng)改進(jìn)數(shù)字織錦或圖像混合的方法的流程圖。它包括使用上述方 法訪問有關(guān)多個源圖像的每一個的對象級信息(參見框90)。該對象級信息被 用來選擇要使用的源圖像區(qū)域(參見框91)。例如，對象類信息可結(jié)合指定標(biāo) 準(zhǔn)或規(guī)則使用以選擇有關(guān)圖像區(qū)域。如果例如存在許多人物圖像，則可指定僅 選擇閾值數(shù)量的圖像以包括在內(nèi)?？芍付?biāo)準(zhǔn)或規(guī)則以使某些類的對象優(yōu)于其 它類的對象，例如，草地或道路被給予比動物或人物低的優(yōu)先級。給予在源圖 像中例如僅存在一個或兩個的稀有類對象優(yōu)先級也是可能的。
對象級信息也可用來針對所選源圖像區(qū)域自動選擇輸出圖像中的位置 (參見框92)。例如，源圖像區(qū)域可被放置成使類天空的對象被置于靠近輸出 圖像的頂部。然后源圖像區(qū)域被混合以形成如上所述的數(shù)字織錦(參見框93)。 例如，在圖8中可看到包含天空的源圖像區(qū)域都被放置成使天空處于合成輸出 圖像的頂部。此外，人物圖像被選擇成使不同人物顯示，或者同一人物被顯示 一次以上，給出了該人物的不同姿勢。
使用對象級信息的超分辨率
超分辨率是從低分辨率圖像制作高分辨率圖像的過程。現(xiàn)有的超分辨率方 法在創(chuàng)建高分辨率圖像時忽略對象的類型，并因此常常填充不當(dāng)?shù)募?xì)節(jié)?，F(xiàn)有 的超分辨率方法的一個示例在William T.Freeman、 Thouis R. Jones和EgonC. Pasztor在IEEE計算機(jī)圖形學(xué)和應(yīng)用(2002年3/4月)中的文章"Example-based super-resolution"(基于示例的超分辨率)中給出。
圖IO是使用對象級信息改進(jìn)超分辨率的方法的流程圖。源圖像具有比 輸出圖像低的分辨率。訪問有關(guān)如上所述源圖像的對象級信息(參見框IIO)。 然后訪問分辨率比源圖像高的圖像的碎片或小塊的數(shù)據(jù)庫(參見框110)。圖 像編輯系統(tǒng)選擇同一對象類或?qū)ο蟛糠值乃槠蛐K作為源圖像中的對象(參 見框112)，并使用所選的碎片或小塊來構(gòu)建高分辨率圖像(參見框113)。
小塊和使用那些小塊填充的方法可如上在標(biāo)題為"智能小塊平鋪"的小節(jié)中所 述，或者可使用任何其它適當(dāng)方法。
使用對象級信息的自動裁剪
圖像編輯中共同需要的是裁剪圖像以創(chuàng)建美觀的圖像的能力，其中所述各 個所示對象的比例以及對象的相對位置和色彩是協(xié)調(diào)和悅目的。還需要的是能 裁剪圖像以符合特定要求，諸如護(hù)照照片，并以最為清楚和最可理解的方式示 出對象或場景。以前，藝術(shù)家和圖片設(shè)計者都手工裁剪數(shù)字圖像以實現(xiàn)這些目 的和類似的目的。然而，存在使非熟練用戶能有效地裁剪圖像并提供自動裁剪 圖像而無需人工干預(yù)的系統(tǒng)的需要。
圖ll是使用對象級信息自動裁剪源圖像的方法的流程圖。訪問有關(guān)如
上所述源圖像的對象級信息(參見框120)。然后圖像編輯系統(tǒng)訪問用于圖像
裁剪的規(guī)則、標(biāo)準(zhǔn)和/或模板(可以是或然的)。這些規(guī)則、標(biāo)準(zhǔn)和/或模板是 預(yù)先指定的。例如，它們基于有關(guān)專業(yè)藝術(shù)家和圖像裁剪者如何將給定數(shù)字圖 像變換成經(jīng)裁剪圖像的經(jīng)驗數(shù)據(jù)來創(chuàng)建。這些規(guī)則、標(biāo)準(zhǔn)和/或模板可與特定情 形相關(guān)聯(lián)，諸如護(hù)照圖片的模板、橫向照片的模板、縱向照片的模板、靜物對 象圖像的規(guī)則、移動對象圖像的規(guī)則等等。規(guī)則的一個示例是可在景觀場景的
圖像中保留1/3天空到2/3地面的比值。
然后選擇規(guī)則、標(biāo)準(zhǔn)和/或模板的適當(dāng)之一 (參見框122)。該選擇可基 于用戶輸入或自動地基于源圖像中的對象級信息作出。例如，如果對象級信息 指示圖像包括前景中的人物和背景中的草地，則可選擇肖像照片模板。
然后使用所選規(guī)則、標(biāo)準(zhǔn)或模板裁剪源圖像(參見框123)。
使用對象級信息的自動色彩平衡
常常會是這樣的情形由于偽像和其它處理，給定數(shù)字圖像的色彩分布不 真實、不美觀或不準(zhǔn)確。在這些情形中，通過反復(fù)試驗手動或半自動地改變色 彩分布是已知的。我們通過允許使用對象級信息來引導(dǎo)和改進(jìn)色彩平衡來對此 作出改進(jìn)。
圖12是使用對象級信息自動使圖像色彩平衡的方法的流程圖。訪問有關(guān)
如上所述源圖像的對象級信息(參見框130)。然后對源圖像中對象的色彩細(xì)
節(jié)與有關(guān)同類對象的預(yù)先指定的色彩細(xì)節(jié)作出比較(參見框131)。例如，假 設(shè)圖像包括類草地的對象。實際圖像中該對象的色彩分布可能會偏向一特定 值，其與類草地對象的已知的、預(yù)先指定的色彩分布顯著不同。這兩個色彩分 布之間的差異提供關(guān)于應(yīng)當(dāng)如何調(diào)節(jié)整個源圖像的色彩分布以提供更為真實 和/或悅目的結(jié)果的指示。所比較的色彩細(xì)節(jié)可以是色彩分布、色彩值、特定色 彩統(tǒng)計數(shù)據(jù)或任何其它適當(dāng)?shù)纳市畔?。然后基于該比較調(diào)節(jié)源圖像的色彩成 為可能(參見框132)?？蓛H改變該對象的色彩或改變整個圖像的色彩。
觸摸剪切(TouchCut)
如在本文中所述的對象級信息在圖像編輯系統(tǒng)中的使用是特別有利的， 因為它允許單擊(或單個用戶動作)對象選擇。此能力對通常需要單獨編輯圖 像中的給定對象、或獨立于該圖像的其余部分對其進(jìn)行編輯的圖像編輯者而言 特別有用。以前，使用套索工具、繪畫工具等來手動圈出所需對象來選擇它們 是必要的。這是耗時的，并且需要精細(xì)的手工技巧和專門技能。本申請的單擊 對象選擇避免了這些問題，并且在本文中還被稱為觸摸剪切。
圖B是這種方法的流程圖。訪問有關(guān)如上所述源圖像的對象級信息(參 見框140)。然后圖像編輯系統(tǒng)接收選擇源圖像中對象的用戶輸入。該用戶輸 入可以是任何適當(dāng)類型的，諸如鼠標(biāo)點擊、觸摸屏事件、按鍵按壓、聲音或其 它用戶輸入。為了選擇該對象，用戶輸入只需要作出單個用戶動作(參見框 141)。這是優(yōu)于對象一般必須通過圈出其邊界來選擇的現(xiàn)有技術(shù)的極大改進(jìn)。 然后圖像編輯系統(tǒng)選擇對象(框142)并且可以或可以不通過用戶界面來作出 此指示，例如通過突出顯示所選對象、在所選對象周圍呈現(xiàn)閃爍邊界或以其它 方式。
圖14示出與草地背景形成對照的一群四頭奶牛的源圖像20。觸摸剪切被 用來選擇前景對象，即一群四頭奶牛22。這以在源圖像20的包括奶牛的區(qū)域 內(nèi)的任何地方單擊鼠標(biāo)來實現(xiàn)。
一旦觸摸剪切被用來選擇對象，該對象就可以任何方式進(jìn)行操縱，例如通 過改變其色彩、焦距或大小，通過對該對象添加邊界，添加陰影，改變該對象
相對圖像中的其它對象的深度排序，或以任何其它適當(dāng)方式來強(qiáng)調(diào)該對象?；?者，這種動作或操縱可對源圖像的未選部分作出。
現(xiàn)在討論其中所選對象被另一圖像所替換的特定實施例。
智能替換(SmartReplace)
圖15示出圖像編輯系統(tǒng)的使用智能替換的示例用戶界面顯示。第一用戶 界面顯示50包括停在其上面可看到天空的建筑物之前的草地上的飛機(jī)的圖像。 在該第一用戶界面顯示50中，可看到已使用觸摸剪切或以任何其它適當(dāng)方式 選擇了天空對象54。在該示例中，選擇由天空對象54周圍的虛線邊界指示。 此外，呈現(xiàn)了要對該天空對象執(zhí)行的可能動作的菜單53。在本示例中該菜單包 括選項替換和色彩電平。
假設(shè)用戶選擇了替換選項，則呈現(xiàn)顯示51。命令條呈現(xiàn)以指示替換功 能現(xiàn)在可用，并提供兩個示例天空對象實例55以用來替換現(xiàn)有天空。用戶選 擇這些對象實例之一并點擊應(yīng)用。第一顯示50的天空對象然后被如第二顯示 51中所示的所選天空對象實例替換。
假設(shè)用戶接著擦除建筑物對象和草地對象并用天空來填充這些圖像區(qū) 域，則在第三顯示52中指示僅示出結(jié)果為以天空為背景的飛機(jī)。已使用天空 來填充先前被建筑物和草地占據(jù)的區(qū)域。在該顯示中，命令條現(xiàn)在示出擦除飛 機(jī)對象或再次填充的選項56，并且這可在需要時忽略對象標(biāo)簽57來實現(xiàn)。
因而，智能替換涉及使用有關(guān)所選對象的對象級信息來選擇用其替換所選 對象的適當(dāng)材料。圖16是智能替換方法的流程圖。
對于源圖像中的所選對象，圖像編輯系統(tǒng)訪問有關(guān)該對象和/或整個源 圖像的對象級信息(參見框170)。然后從數(shù)據(jù)庫中選擇基準(zhǔn)對象(參見框171)。 基準(zhǔn)對象優(yōu)選地屬于與所選對象相同的類或相關(guān)的類。例如，晴空可被多云天 空所替換?；蛘?，不清晰的奶牛的圖像可被馬的圖像所替換。該選擇還可基于 有關(guān)整個源圖像的對象級信息作出。例如，該信息可指出該源圖像是景觀照片 以使不適于包括在該景觀中的對象實例不被選擇。下一階段涉及用基準(zhǔn)對象替 換所選對象(參見框172)。這以本領(lǐng)域技術(shù)人員所知的任何適當(dāng)方式來實現(xiàn)。 在特定實施例中，智能替換過程包括對象合成。例如，假設(shè)需要通過替換人物
的特定實例的頭發(fā)來改變該人物的圖像。在該情形中，對象級信息被用來標(biāo)識 和定位人物圖像的頭發(fā)對象部分。從數(shù)據(jù)庫中挑選小塊以使這些小塊來自頭發(fā) 對象部分的另一實例。然后使用那些所選小塊來替換圖像中的現(xiàn)有頭發(fā)。這樣， 特定類的新對象實例被創(chuàng)建；該新對象實例還不是該數(shù)據(jù)庫的一部分。
智能景深操縱
對象級信息還可用于智能景深操縱。例如，圖17示出來自圖像編輯系 統(tǒng)的兩個用戶界面顯示180、 181。第一用戶界面顯示180示出人物31站在前 景，而草地區(qū)域延伸到背景的源圖像。觸摸剪切或任何其它適當(dāng)方法被用來如 上所述地選擇人物31 。菜單32呈現(xiàn)以指示可能的相關(guān)于人物31的圖像的動作。 這些包括例如擦除、聚焦、修復(fù)紅眼和色彩電平。假設(shè)選擇聚焦。這在第二用 戶界面顯示181中的命令條中指示。提供設(shè)置了用于調(diào)節(jié)模糊度的滑動條33， 并且在模糊度值被選擇為高時，結(jié)果在顯示181中示出。可看出人物31的圖 像被保留在焦距處，而模糊被應(yīng)用于圖像的其余部分。然而，這不是必須的。 景深可考慮對象級信息以任何適當(dāng)方式進(jìn)行調(diào)節(jié)。
用戶界面改進(jìn)
還改進(jìn)了使用對象級信息的圖像編輯系統(tǒng)的用戶界面。這通過安排用戶界 面以使經(jīng)由界面呈現(xiàn)給用戶的編輯選項基于與所選對象相關(guān)聯(lián)的對象級信息 選擇來實現(xiàn)。例如，在圖5中，與人物31的所選圖像相關(guān)聯(lián)的菜單32包括適 于對人物圖像進(jìn)行操作的選項。這些包括擦除、聚焦、修復(fù)紅眼、色彩/電平。 作為對比，圖15示出與對象、天空相關(guān)聯(lián)的菜單53。該菜單僅呈現(xiàn)替換和色 彩/電平的選項。這是因為諸如修復(fù)紅眼和聚焦的操作對類天空對象不適用。為 了實現(xiàn)該類，特定編輯選項被指定并且可被圖像編輯系統(tǒng)訪問。菜單選項可取 決于對象類的屬性，例如，它是否被結(jié)構(gòu)化或者它是否屬于例如車輛的更大類。 圖18是提供使用對象級信息的圖像編輯系統(tǒng)的用戶界面的方法的流程 圖。訪問有關(guān)在用戶界面上顯示的圖像的對象級信息(參見框190)。然后選 擇圖像中的對象(參見框191)。例如，這是使用用戶輸入實現(xiàn)的或者是由編 輯系統(tǒng)自動執(zhí)行的。然后訪問來自指定類特定編輯選項庫的類特定編輯選項。
適于所選對象類的編輯選項被訪問(參見框192)并通過用戶界面呈現(xiàn)(參見 框193)。
本領(lǐng)域的技術(shù)人員將認(rèn)識到用于存儲程序指令的存儲設(shè)備可分布在網(wǎng) 絡(luò)上。例如，遠(yuǎn)程計算機(jī)可存儲描述為軟件的該過程的示例。本地或終端計算 機(jī)可訪問遠(yuǎn)程計算機(jī)并下載該軟件的一部分或全部以運行該程序?？商鎿Q地， 本地計算機(jī)可按需下載軟件的片斷，或者可以在本地終端上執(zhí)行一些軟件指令 而在遠(yuǎn)程計算機(jī)(或計算機(jī)網(wǎng)絡(luò))上執(zhí)行一些軟件指令。本領(lǐng)域的技術(shù)人員將 認(rèn)識到，通過使用本領(lǐng)域技術(shù)人員已知的常規(guī)技術(shù)，軟件指令的全部或部分可 由專用電路如DSP、可編程邏輯陣列等來執(zhí)行。
如對于本領(lǐng)域的技術(shù)人員而言，顯然此處給出的任何范圍或者設(shè)備值可以 被擴(kuò)展或者改變而不失去所尋求的效果。
文本中描述的各方法步驟可以在需要時按任何合適的次序或同時執(zhí)行。 可以理解，上面對于較佳實施例的描述僅僅是作為例子給出的，而本領(lǐng)
域的技術(shù)人員可以做出多種改變。
盡管本示例在本文中被描述和例示為在針對數(shù)字靜止圖像的圖像編輯
系統(tǒng)中實現(xiàn)，但所述系統(tǒng)作為示例而非限制提供。如本領(lǐng)域技術(shù)人員將理解地， 本示例適于在各種不同類型的圖像處理系統(tǒng)中應(yīng)用，諸如視頻處理、醫(yī)療圖像 操縱系統(tǒng)、虛擬現(xiàn)實系統(tǒng)、計算機(jī)游戲演示系統(tǒng)、以及嵌入相機(jī)的編輯工具。
權(quán)利要求
1. 一種編輯源數(shù)字圖像的方法，包括以下步驟(i)訪問自動生成的有關(guān)所述源數(shù)字圖像的對象級信息，該信息包括將所述圖像分成一個或多個對象的分割，以及針對各個對象的所述對象是其成員的類的細(xì)節(jié)。(ii)基于所述對象級信息自動處理所述源數(shù)字圖像以形成輸出數(shù)字圖像。
2. 如權(quán)利要求1所述的方法，其特征在于，所述對象級信息包括以下的任 一個有關(guān)至少一部分所述對象的深度排序的信息；對象屬性；以及有關(guān)所 述對象部分的位置的信息。
3. 如權(quán)利要求1或2所述的方法，其特征在于，還包括組合所述源數(shù)字 圖像的至少一部分與一個或多個基準(zhǔn)數(shù)字圖像以形成所述輸出數(shù)字圖像，且其 中所述方法包括訪問自動生成的有關(guān)所述基準(zhǔn)數(shù)字圖像的對象級信息，該信 息包括將所述基準(zhǔn)圖像分成一個或多個對象的分割，以及針對各個對象的所述 對象是其成員的類的細(xì)節(jié)。
4. 如權(quán)利要求1所述的方法，其特征在于，所述方法針對多個源數(shù)字圖像 實現(xiàn)以創(chuàng)建單個輸出圖像，且其中所述輸出圖像基于有關(guān)各個源圖像的對象級 信息自動形成。
5. 如權(quán)利要求4所述的方法，其特征在于，包括基于所述對象級信息選擇 所述源圖像的多個部分以包括在所述輸出圖像中。
6. 如權(quán)利要求4或5所述的方法，其特征在于，包括基于所述對象級信息 選擇所述輸出圖像中的位置以定位所述源圖像的多個部分。
7. 如權(quán)利要求1所述的方法，其特征在于，所述源圖像與所述輸出圖像相 比具有低分辨率。
8. 如權(quán)利要求7所述的方法，其特征在于，所述處理所述源圖像的步驟 (ii)包括訪問分辨率比所述源圖像高的圖像的數(shù)據(jù)庫，以及基于所述對象級信 息從所述數(shù)據(jù)庫中選擇圖像以在形成所述輸出圖像時使用。
9. 如權(quán)利要求1所述的方法，其特征在于，所述輸出圖像從源圖像裁剪， 并且其中所述處理所述源圖像的步驟(ii)包括基于所述對象級信息自動裁剪所 述源圖像。
10. 如權(quán)利要求9所述的方法，其特征在于，進(jìn)一步包括基于從多個指 定模板、規(guī)則或標(biāo)準(zhǔn)中選擇的模板、規(guī)則或標(biāo)準(zhǔn)自動裁剪所述源圖像。
11. 如權(quán)利要求1或2所述的方法，其特征在于，所述處理源圖像的步驟(ii)包括基于所述對象級信息調(diào)節(jié)所述源圖像的色彩平衡。
12. 如權(quán)利要求1或2所述的方法，其特征在于，所述處理源圖像的步 驟(ii)包括僅接收單個用戶輸入以選擇所述源圖像中的對象，并經(jīng)由用戶界面向用戶呈現(xiàn)關(guān)于作為所述單個用戶輸入的結(jié)果選擇所述源圖像中的哪個對象 的指示，所述選擇已由用戶用單個動作作出。
13. 如權(quán)利要求12所述的方法，其特征在于，還包括安排所述用戶界面以使經(jīng)由所述界面呈現(xiàn)給用戶的編輯選項基于與所選對象相關(guān)聯(lián)的所述 對象級信息選擇。
14. 如權(quán)利要求12或13所述的方法，其特征在于，還包括修改所選對象的色彩、焦距或深度次序的任一個。
15. 如權(quán)利要求1或2所述的方法，其特征在于，所述處理源圖像的步 驟(ii)包括用來自數(shù)據(jù)庫的選定對象或?qū)ο蟛糠值膱D像替換所述源圖像中對象 或?qū)ο蟮囊徊糠郑移渲兴鰧ο蠡驅(qū)ο蟛糠值倪x擇基于所述對象級信息作 出。
16. —種編輯源數(shù)字圖像的裝置，包括(i) 接口，安排成訪問自動生成的有關(guān)所述源數(shù)字圖像的對象級信息，該 信息包括將所述圖像分成一個或多個對象的分割，以及針對各個對象的所述對 象是其成員的類的細(xì)節(jié)。(ii) 處理器，安排成基于所述對象級信息自動處理所述源數(shù)字圖像以形成 輸出數(shù)字圖像。
17. 如權(quán)利要求16所述的裝置，其特征在于，所述對象級信息包括以 下的任一個有關(guān)至少一部分所述對象的深度排序的信息；對象屬性；以及 有關(guān)所述對象部分的位置的信息。
18. 如權(quán)利要求16或17所述的裝置，其特征在于，所述處理器被安排 成組合所述源數(shù)字圖像的至少一部分與一個或多個基準(zhǔn)數(shù)字圖像以形成所述 輸出數(shù)字圖像，且其中所述接口被安排成訪問自動生成的有關(guān)所述基準(zhǔn)數(shù)字圖 像的對象級信息，該信息包括將所述基準(zhǔn)圖像分成一個或多個對象的分割，以 及針對各個對象的所述對象是其成員的類的細(xì)節(jié)。
19. 一種包括計算機(jī)程序代碼裝置的計算機(jī)程序，當(dāng)所述程序在計算機(jī) 上運行時適于執(zhí)行權(quán)利要求1至15中任一項的所有步驟。
20. 如權(quán)利要求19所述的計算機(jī)程序在計算機(jī)可讀介質(zhì)上具體化。
全文摘要
描述使用有關(guān)數(shù)字圖像中對象的信息來編輯這些圖像的系統(tǒng)和方法。例如，有關(guān)對象的信息包括深度排序信息和/或有關(guān)各對象是其成員的類的信息。類的示例包括天空、建筑物、飛機(jī)、草和人物。該對象級信息被用來提供新的和/或經(jīng)改進(jìn)的編輯功能，諸如剪切和粘貼、使用小塊或拼縫物填入圖像區(qū)域、數(shù)字織錦、消光生成、超分辨率、自動修剪、自動色彩平衡、對象選擇、景深操縱、以及對象置換。此外，描述使用對象級信息對用于圖像編輯系統(tǒng)的用戶界面的改進(jìn)。
文檔編號G06F17/24GK101390090SQ200780006769
公開日2009年3月18日 申請日期2007年2月8日 優(yōu)先權(quán)日2006年2月28日
發(fā)明者C·羅瑟, J·溫 申請人:微軟公司