專利名稱：利用遮擋成本計(jì)算的拼貼生成的制作方法
技術(shù)領(lǐng)域：
本發(fā)明的實(shí)施例涉及生成圖像的拼貼(collage)。更具體地， 本發(fā)明的實(shí)施例涉及在圖像拼貼的生成中使用遮擋成本(occlusion cost )信息。
背景技術(shù)：
數(shù)十年來，模擬圖像內(nèi)容呈現(xiàn)的最流行的格式之一是拼貼。照片 在拼貼中的藝術(shù)性并置創(chuàng)建了去除眼睛可以容易檢測的重復(fù)結(jié)構(gòu)的
視覺上有吸引力的布局(layout)。拼貼代表脫離其它更結(jié)構(gòu)化的可 視顯示圖像的代替品的某種無序。然而，好的拼貼部分依賴于對內(nèi)容 本身的分析。例如，重疊圖像是重要的，但是并不要重疊那么多而使 層疊導(dǎo)致遮蓋住了臉或圖像中感興趣的一些其它對象。
模擬圖像的好的拼貼的手動(dòng)創(chuàng)建是一個(gè)勞動(dòng)量非常大的過程，需 要大量的圖像再排列和再排序。同樣地，數(shù)字圖像的好的拼貼的手動(dòng) 創(chuàng)建也是一個(gè)勞動(dòng)量非常大的過程，需要例如利用圖像編輯計(jì)算機(jī)程 序，消耗大量的時(shí)間來操縱數(shù)字圖像的布置和位置。
當(dāng)前存在一些用于創(chuàng)建數(shù)字圖像拼貼的自動(dòng)化方法，然而它們也 受困于很多缺陷。這些已有的自動(dòng)化方法趨于分為兩類安全拼貼創(chuàng) 建方法和侵略性(aggressive)拼貼創(chuàng)建方法。
在安全拼貼創(chuàng)建方法中，僅用圖像間的小量重疊創(chuàng)建拼貼。使用 安全方法創(chuàng)建的拼貼通?？雌饋砀愃朴趫D像的平鋪而不是巧妙創(chuàng) 建的拼貼。這種最小重疊有助于防止遮擋臉和其它重要圖像細(xì)節(jié)，但 是它通常導(dǎo)致令人視覺不太愉快的無聊拼貼。
在侵略性拼貼創(chuàng)建方法中，通過一個(gè)圖像在另 一個(gè)圖像上的侵略 性重疊來創(chuàng)建拼貼。使用侵略性方法創(chuàng)建的拼貼有效地將圖像壓擠 (pack)到觀看區(qū)(viewing region)中，但是通常模糊了圖像中最 感興趣的內(nèi)容。盡管有可能通過這種方式創(chuàng)建好的拼貼，但是更有可 能的是臉或圖像的感興趣區(qū)域被隨意遮擋，從而導(dǎo)致令人視覺不愉快 的拼貼。隨著數(shù)字照相機(jī)和強(qiáng)大的觀看裝置(比如個(gè)人計(jì)算機(jī))的快速崛 起，以有吸引力的方式顯示多媒體內(nèi)容的需求變得日益普遍。拼貼是 一種顯示圖像的令人愉悅的且流行的方法。然而，如上所述，當(dāng)前用 于創(chuàng)建數(shù)字圖像的好拼貼的方法要么是勞動(dòng)量太大，要么受困于導(dǎo)致 令人不愉快的拼貼的自動(dòng)創(chuàng)建的缺陷。


合并在此并作為說明書一部分的

了遮擋成本生成技術(shù) 的實(shí)施例，并且與文字描述共同用于解釋以下討論的原理，其中
圖1是根據(jù)本發(fā)明的實(shí)施例使用的示例性計(jì)算機(jī)系統(tǒng)的示圖； 圖2是根據(jù)本發(fā)明的拼貼生成的示例性系統(tǒng)的框圖； 圖3示出了根據(jù)本發(fā)明的一個(gè)實(shí)施例的布置在觀看區(qū)中的多個(gè)示 例性圖像；
圖4是根據(jù)本發(fā)明的一個(gè)實(shí)施例的示例性圖像數(shù)據(jù)裝載器 (loader)的框圖5示出了根據(jù)本發(fā)明的一個(gè)實(shí)施例的在圖像裝載過程期間執(zhí)行 的示例性圖像操縱；
圖6示出了根據(jù)本發(fā)明的一個(gè)實(shí)施例的示例性加性(additive) 拼貼生成器的框圖7是根據(jù)本發(fā)明的 一個(gè)實(shí)施例的加性生成圖像拼貼的方法的流
程圖8示出了根據(jù)本發(fā)明的一個(gè)實(shí)施例的被種植(seed)到觀看區(qū)
中的示例性圖像；
圖9示出了根據(jù)本發(fā)明一個(gè)實(shí)施例的被添加到拼貼布局(layout )
中的示例性圖像；
圖10示出了根據(jù)本發(fā)明的一個(gè)實(shí)施例創(chuàng)建的示例性拼貼； 圖11是根據(jù)本發(fā)明一個(gè)實(shí)施例的迭代拼貼生成器的框圖； 圖12是根據(jù)本發(fā)明一個(gè)實(shí)施例的迭代地生成圖像拼貼的方法的
流程圖13示出了根據(jù)本發(fā)明一個(gè)實(shí)施例的多個(gè)圖像的示例性初始拼 貼布局；
圖14示出了根據(jù)本發(fā)明一個(gè)實(shí)施例的示例性的圖像z-排序(z-ordering ) ^L最小4b4并貝占布局的i4^當(dāng)
圖15示出了根據(jù)本發(fā)明一個(gè)實(shí)施例的用于示例性圖像的示例性 二維輕推(nudging)可能性；
圖16示出了根據(jù)本發(fā)明一個(gè)實(shí)施例的示例性圖像輕推以最小化 4并貼布局的遮擋成本；
圖17示出了根據(jù)本發(fā)明一個(gè)實(shí)施例創(chuàng)建的示例性拼貼。
在本文中涉及的附圖應(yīng)當(dāng)被理解為除非其特別說明，其都沒有按 比例繪制。
具體實(shí)施例方式
現(xiàn)在將詳細(xì)參考本發(fā)明的實(shí)施例，其示例在相應(yīng)附圖中示出。對 于本發(fā)明，應(yīng)當(dāng)理解所述示例不打算將本發(fā)明限于這些實(shí)施例。相反， 所述技術(shù)的打算覆蓋包括在由所附權(quán)利要求書定義的各個(gè)實(shí)施例的 精神和范圍內(nèi)的替代物、修改和等同物。此外，在以下詳細(xì)描述中， 闡述了很多具體細(xì)節(jié)，以便提供對本發(fā)明的透徹理解。然而，可以實(shí) 踐本發(fā)明，而不需要這些具體細(xì)節(jié)。在其它情況中，為了避免不必要 地模糊本發(fā)明的各方面，眾所周知的方法、程序、部件和電路都沒有
i羊細(xì)4苗述。
除非另外具體指出，如從以下討論中顯見的，可以理解在整個(gè)詳 細(xì)描述中，使用了比如"種植"、"提供，，、"生成，，、"添加"、 "合并，，、"重復(fù)，，、"縮放(scaling )，，、"賦予(attributing )"、 "優(yōu)化"、"放置"、"選擇"、"調(diào)整"、"顯示，，、"計(jì)算"、 "更新"、"顯示"、"最小化"、"獲取"、"旋轉(zhuǎn)"和"接收" 等術(shù)語的討論，參考計(jì)算機(jī)系統(tǒng)(比如圖1的計(jì)算機(jī)100)或類似的 電子計(jì)算設(shè)備的動(dòng)作和過程。該計(jì)算機(jī)系統(tǒng)或類似的電子計(jì)算設(shè)備將 計(jì)算機(jī)系統(tǒng)的寄存器和存儲(chǔ)器中的被表示為物理(電子)量的數(shù)據(jù)處 理和變換為被類似地表示為計(jì)算機(jī)系統(tǒng)存儲(chǔ)器或寄存器或其它這種 信息存儲(chǔ)、傳輸或顯示設(shè)備中的物理量的其它數(shù)據(jù)。本發(fā)明也適用于 其它計(jì)算機(jī)系統(tǒng)的使用，比如光學(xué)、虛擬和機(jī)械計(jì)算機(jī)。此外，還應(yīng) 當(dāng)理解在本發(fā)明的實(shí)施例中， 一個(gè)或多個(gè)步驟可手動(dòng)執(zhí)行。
示例計(jì)算機(jī)系統(tǒng)環(huán)境
6現(xiàn)參考圖1，本發(fā)明的各部分由駐留在例如計(jì)算機(jī)系統(tǒng)的計(jì)算機(jī) 可用介質(zhì)中的計(jì)算機(jī)可讀且計(jì)算機(jī)可執(zhí)行指令組成。也就是說，圖1 示出了可用于實(shí)施以下討論的本發(fā)明實(shí)施例的計(jì)算機(jī)類型的一個(gè)示 例。圖1示出了可根據(jù)本發(fā)明的實(shí)施例使用的示例性計(jì)算機(jī)系統(tǒng)100。
可以理解圖1的系統(tǒng)IOO僅是示例性的并且本發(fā)明可在許多不同的計(jì)
算機(jī)系統(tǒng)上或其中操作，包括通用連網(wǎng)的計(jì)算機(jī)系統(tǒng)、嵌入式計(jì)算機(jī) 系統(tǒng)、路由器、交換機(jī)、服務(wù)器設(shè)備、客戶端設(shè)備、各種中間設(shè)備/ 節(jié)點(diǎn)、獨(dú)立計(jì)算機(jī)系統(tǒng)、數(shù)字照相機(jī)、手持設(shè)備等等。如圖l所示，
圖1的計(jì)算機(jī)系統(tǒng)IOO被很好地適配為具有外圍計(jì)算機(jī)可讀介質(zhì)102, 比如軟盤、緊致盤以及與其耦合的類似裝置。
圖1的系統(tǒng)100包括用于傳送信息的地址/數(shù)據(jù)總線104,以及耦 合到總線104用于處理信息和指令的處理器106A。如圖1所述，系統(tǒng) 100也4艮好地適用于其中存在多個(gè)處理器106A、 106B和106C的多處 理器環(huán)境。相反，系統(tǒng)IOO也很好地適用于單處理器比如處理器106A。 處理器106A、 106B和106C可以是任意種類的孩i處理器。系統(tǒng)100還 包括數(shù)據(jù)存儲(chǔ)元件，比如耦合到總線104用于為處理器106A、 106B 和106C存儲(chǔ)信息和指令的計(jì)算機(jī)可用的易失性存儲(chǔ)器108,例如隨機(jī) 存取存儲(chǔ)器(RAM)。系統(tǒng)100還包括耦合到總線104用于為處理器 106A、 106B和106C存儲(chǔ)靜態(tài)信息和指令的計(jì)算機(jī)可用的非易失性存 儲(chǔ)器110,例如只讀存儲(chǔ)器(ROM)。系統(tǒng)100中還存在耦合到總線 104用于存儲(chǔ)信息和指令的數(shù)據(jù)存儲(chǔ)單元112 (例如磁盤或光盤和盤 驅(qū)動(dòng)器)。系統(tǒng)100還包括可選的字母數(shù)字輸入設(shè)備114,其包括耦 合到總線104用于傳送信息和命令選擇到處理器106A或處理器106A、 106B和106C的字母數(shù)字和功能4建。系統(tǒng)100還包括可選的光標(biāo) (cursor)控制設(shè)備116,其耦合到總線104用于傳送用戶輸入信息 和命令選4奪到處理器106A或處理器106A、 106B和106C。本實(shí)施例 的系統(tǒng)100還包括耦合到總線104的用于顯示信息的可選顯示設(shè)備 118。
仍參考圖1,圖1的可選顯示設(shè)備118可以是液晶設(shè)備、陰極射 線管、等離子體顯示設(shè)備或其它適于創(chuàng)建用戶可識(shí)別的圖形圖像和字 母數(shù)字字符的其它顯示設(shè)備?？蛇x的光標(biāo)控制設(shè)備116允許計(jì)算機(jī)用 戶動(dòng)態(tài)地用信號(hào)指示可視符號(hào)(光標(biāo))在顯示設(shè)備118的顯示屏上的移動(dòng)。光標(biāo)控制設(shè)備116的很多實(shí)施方式在本領(lǐng)域中是公知的，包括 跟蹤球、鼠標(biāo)、觸摸板、搖桿或能夠用信號(hào)指示給定位移方向或方式
的移動(dòng)的字母數(shù)字輸入設(shè)備114上的特殊鍵?？商鎿Q地，應(yīng)理解光標(biāo) 可使用特殊鍵和鍵序列命令通過來自字母數(shù)字輸入設(shè)備114的輸入來 引導(dǎo)和/或激活。系統(tǒng)100還很好地適用于具有由其它方式(例如語 音命令)引導(dǎo)的光標(biāo)。系統(tǒng)IOO還包括用于將系統(tǒng)100與外部實(shí)體耦 合的1/0設(shè)備120。例如，在一個(gè)實(shí)施例中，I/O設(shè)備120是用于在 系統(tǒng)100和外部網(wǎng)絡(luò)(比如但是不限于因特網(wǎng))之間實(shí)現(xiàn)有線或無線 通信的調(diào)制解調(diào)器。
仍參考圖l.,描述了系統(tǒng)100的其它各個(gè)部件。具體地，當(dāng)存在 時(shí)，操作系統(tǒng)122、應(yīng)用124、模塊126和數(shù)據(jù)128被示為通常駐留 在例如隨機(jī)存取存儲(chǔ)器(RAM)的計(jì)算機(jī)可用的易失性存儲(chǔ)器108和 數(shù)據(jù)存儲(chǔ)單元112的其中之一或某種組合中。在一個(gè)實(shí)施例中，本發(fā) 明例如可作為應(yīng)用124或模塊126存儲(chǔ)在RAM108內(nèi)的存儲(chǔ)位置和存 儲(chǔ)單元112內(nèi)的存儲(chǔ)區(qū)域中。
遮擋成本計(jì)算
遮擋成本計(jì)算是一種確定與在觀看區(qū)中要顯示的一個(gè)或多個(gè)圖 像的相對位置和該一個(gè)或多個(gè)圖像之間的任意可能重疊相關(guān)的定量 遮擋成本的方式。用于得到圖像的遮擋成本的方法的一個(gè)示例由表1 所示的成本等式表示。
表l的等式依賴于顯著性(saliency)信息的使用，比如顯著性 圖(saliency map)。如以下進(jìn)一步所述，顯著性圖和^艮多用于確定 圖像顯著性的其它技術(shù)都是公知的。例如顯著性圖通常為特定圖像提 供顯著區(qū)(salient region)的對應(yīng)映射。典型地，圖像區(qū)的顯著性 在顯著性圖/數(shù)據(jù)中具有對應(yīng)的分?jǐn)?shù)(score)，該圖像區(qū)域可以與圖 像的像素同樣大小。例如圖像的顯著性圖可由圖像的灰度級(jí)圖組成。 在這種顯著性圖中，可在一定尺度上分配顯著性值，例如從0到255 ， 其中最高顯著性由白像素和255的值表示，最低顯著性由黑像素和0 的值表示。在表1-5和7中顯示的等式是用于將這些對應(yīng)的顯著性值 相加來確定觀看區(qū)內(nèi)的圖像、布局或部分布局的特定遮擋成本的技 術(shù)。表1-用于計(jì)算布局的遮擋成本的示例等式
成本-s所有圖像(遮擋的總顯著性/總圖像顯著性)
表1中的等式計(jì)算圖像中的被遮擋區(qū)域的顯著性等級(jí)并且將其除
以整個(gè)圖像中的顯著性總和。該結(jié)果是在布局方位(layout or ienta t ion)上覆蓋或遮擋圖{象區(qū)的遮擋成本。例如在 一 個(gè)實(shí)施例 中，表1中的等式用于確定單獨(dú)在觀看區(qū)顯示的單個(gè)圖像的布局方位 的遮擋成本。其還可用于通過求和來計(jì)算同時(shí)在觀看區(qū)中顯示的多個(gè) 圖像的布局的遮擋成本。產(chǎn)生的成本值的范圍從零到一，并且可被認(rèn) 為是百分比。越接近一的成本等于幾乎全部遮擋，而越接近零的成本 意味著非常少的遮擋。
如果為觀看區(qū)內(nèi)顯示的圖像的單個(gè)布局計(jì)算遮擋成本，那么該計(jì) 算利用圖像的顯著性數(shù)據(jù)來確定該圖像的布局的遮擋成本。如果在圖 像中存在多于一個(gè)的布局，那么可為每個(gè)圖像布局確定遮擋成本。如 果多于一個(gè)的圖像被處理用于在觀看區(qū)中同時(shí)顯示，可對該多個(gè)圖像 的每一個(gè)計(jì)算遮擋成本以確定用于在觀看區(qū)內(nèi)同時(shí)呈現(xiàn)該多個(gè)圖像 的布局的遮擋成本。如果存在多于一個(gè)的布局用于在觀看區(qū)內(nèi)同時(shí)呈 現(xiàn)多個(gè)圖像，那么可為該多個(gè)圖像的每個(gè)布局確定遮擋成本。
在 一 些實(shí)施例中，附加的用戶指定值可被作為合并到遮擋成本確 定中的非線性直接添加到遮擋成本計(jì)算中。在其它實(shí)施例中，附加的
用戶指定參數(shù)可被直接添加到用于遮擋成本計(jì)算的顯著性數(shù)據(jù)(比如 圖像顯著性圖)中。例如，如果某個(gè)人臉(或特定圖像區(qū)域)不被遮 擋是重要的，那么可以通過設(shè)置用戶定義參數(shù)用圖像顯著性數(shù)據(jù)/圖 中的高顯著性來標(biāo)記該人臉。例如，可將人臉標(biāo)記為包含高顯著性特 征。這保證了在大多數(shù)情況下，如果這種預(yù)先標(biāo)記的人臉被遮擋的話， 將從遮擋成本確定中產(chǎn)生高遮擋成本(為一或接近一)。
附加變量也可以被包括在表1所示的遮擋成本函數(shù)中，從而使得 關(guān)于每個(gè)圖像的尺度(scale)的項(xiàng)被添加到該函數(shù)中。因此如果圖 像在尺度上放大(enlarge in scale)，那么關(guān)于其尺度的成本將減 小，因?yàn)槌叨鹊脑黾訉?dǎo)致圖像被遮擋或造成另 一個(gè)圖像遮擋的情況 的增加。表2示出了添加了縮放(scaling)信息的遮擋成本函數(shù)的樣
口口 O
9在表2所示的遮擋成本函數(shù)的示例中，"n"和"m"可被設(shè)置為 限定值。"n"和"m"的大值或小值將導(dǎo)致圖像的侵略性更大或更小 的縮放。"n"和"m"的值還可作為用戶指定參數(shù)輸入到布局方位限 制控制器325和圖像顯著性生成器控制器315，導(dǎo)致根據(jù)一個(gè)或多個(gè) 圖像的尺度調(diào)整的布局方位生成和圖像顯著性生成。
表2 -在遮擋成本計(jì)算中包括圖像尺度的示例等式
成本
g自.,(遮擋的總顯著性/總圖像顯著性)]
在本發(fā)明的 一 些實(shí)施例中，還可以進(jìn)一 步改進(jìn)遮擋成本的計(jì)算，
以基于布局中圖^f象的遮^當(dāng)?shù)拿娣e才卜寸嘗(area compensation)而更好 地計(jì)算遮擋成本。例如在接收顯著性數(shù)據(jù)以及接收用于觀看區(qū)中圖像 的顯示(或多個(gè)圖像的同時(shí)顯示)的布局方位數(shù)據(jù)之后，與顯著性和 特定布局有關(guān)的數(shù)據(jù)可被用于最佳地確定布局中特定圖像的遮擋成 本?？苫诿總€(gè)圖像的位置以及每個(gè)圖像如何與另一個(gè)圖像或觀看區(qū) 的邊緣重疊來確定遮擋成本。隨后可基于三個(gè)互相依賴 (co-dependent )的分量來計(jì)算遮擋成本觀看區(qū)的總顯著性密度、 可見的部分顯著性(fractional saliency)以及基于其總信息量的 圖像的縮放。
表3中示出了面積補(bǔ)償?shù)恼趽醭杀居?jì)算的特定例示。表3中的非 簡化版本的等式(等號(hào)左邊)包含三個(gè)分量，其分別與所述三個(gè)互相 依賴的分量有關(guān)觀看區(qū)的總顯著性密度、可見的部分顯著性以及基 于其總信息量的圖像的縮放。
表3-圖像的面積補(bǔ)償?shù)恼趽醭杀镜氖纠仁?br> <formula>formula see original document page 10</formula>其中
Ci是與圖像i相關(guān)的成本Sv,i是可見的圖像i的顯著性部分(fraction)
ST,i是圖像i的總顯著性
Aj是圖像i的面積 Af是框架(窗口 )的面積
在表3中，在計(jì)算的觀看區(qū)部分中的總顯著性密度力圖最大化在 該觀看區(qū)內(nèi)捕獲的可見顯著性的量。通過將一個(gè)圖像重疊在另一個(gè)之 上，或者通過用觀看區(qū)的邊緣剪切一部分圖像，計(jì)算的部分顯著性可 見部分試圖最小化布局中被遮擋的顯著性的量。致力于基于圖像內(nèi)容 對圖像進(jìn)行縮放的計(jì)算部分設(shè)法通過對圖像成本進(jìn)行加權(quán)來創(chuàng)建顯 著性在觀看區(qū)上的均勻分布，所述加權(quán)增加具有高信息量的圖像(例 如風(fēng)景、屋頂、樹木等等)的尺度并降低具有較低信息量的圖像(例 如單個(gè)臉)的尺度。計(jì)算的框架分量的面積是觀看區(qū)的面積。
在一個(gè)實(shí)施例中，如果為包括多于一個(gè)的在觀看區(qū)內(nèi)同時(shí)顯示的 圖像的布局計(jì)算面積補(bǔ)償?shù)恼趽醭杀荆@包括為布局中的每個(gè)圖像計(jì) 算面積補(bǔ)償?shù)恼趽醭杀?，并且然后為整個(gè)布局計(jì)算面積補(bǔ)償?shù)恼趽醭?本。通過計(jì)算每個(gè)獨(dú)立圖像的成本的幾何平均，可產(chǎn)生整個(gè)布局的面 積補(bǔ)償?shù)恼趽醭杀?。?中顯示具有在共享觀看區(qū)中同時(shí)顯示的多個(gè) 圖像的布局的面積補(bǔ)償?shù)恼趽醭杀居?jì)算函數(shù)的示例。
_表4-布局的面積補(bǔ)償?shù)恼趽醭杀镜氖纠仁絖
其中
C (L)是在共享觀看區(qū)中同時(shí)顯示的圖像的整個(gè)布局的面積補(bǔ)償 的遮擋成本
n是布局的數(shù)量，其中n>=l
Ci是與圖像I相關(guān)的面積補(bǔ)償?shù)恼趽醭杀?參見表3的等式)利用遮擋成本計(jì)算的拼貼生成的本技術(shù)的概述利用遮擋成本計(jì)算的拼貼生成的本技術(shù)提供用于產(chǎn)生圖像拼貼 的方法和系統(tǒng)。該方法和系統(tǒng)應(yīng)用遮擋成本計(jì)算的技術(shù)來生成4并貼。 通過這些技術(shù)的應(yīng)用，本發(fā)明的實(shí)施例生成提供圖像區(qū)域的顯著重 疊、但卻最小化拼貼圖像的顯著性區(qū)域(比如人臉和其它感興趣的區(qū) 域)的遮擋的拼貼。本發(fā)明的一些實(shí)施例利用諸如顯著性圖的顯著性 信息來識(shí)別圖像中存在的顯著性區(qū)域，比如人臉和其它感興趣的對 象。通過使用這種顯著性數(shù)據(jù)，本發(fā)明的實(shí)施例計(jì)算布局的遮擋成本 并且生成將被識(shí)別為顯著的圖像區(qū)域的遮擋最小化的拼貼。本發(fā)明的 一些實(shí)施例還利用賦予觀看區(qū)的顯著性，其中拼貼正在該觀看區(qū)中顯 示。這允許本發(fā)明計(jì)算一平衡圖像顯著性的遮擋和觀看區(qū)顯著性的遮 擋的遮擋成本。這允許本發(fā)明的一些實(shí)施例生成平衡圖像的重疊與觀 看區(qū)的有效利用的拼貼。在將遮擋成本計(jì)算應(yīng)用到拼貼生成時(shí)，成百幅(或者更多)圖像 的拼貼可被自動(dòng)生成。當(dāng)生成這些拼貼時(shí)，并且允許圖像在所有維度(位置、尺度、旋轉(zhuǎn)和z次序(z-order))自由移動(dòng)，用于生成拼 貼的解集實(shí)際上是無窮的。因此本發(fā)明的實(shí)施例設(shè)法簡化該解集。例如，在一個(gè)實(shí)施例中，每個(gè)圖像的尺度和旋轉(zhuǎn)是固定的。限制 這些自由度也就限制了解集并且允許應(yīng)用傳統(tǒng)的優(yōu)化技術(shù)。因?yàn)榻嵌?多樣性(angular divers i ty)是拼貼的關(guān)鍵特征，所以本發(fā)明的一個(gè) 實(shí)施例在拼貼布局之前強(qiáng)制進(jìn)行方位分布。此外，本發(fā)明的一個(gè)實(shí)施 例在布局之前設(shè)定圖像尺寸。在布局之前施加這些限制的優(yōu)勢是圖像 旋轉(zhuǎn)和縮放都是計(jì)算成本很高的。因此，在拼貼生成期間通過不重復(fù) 地重新執(zhí)行這些操作來明顯縮短拼貼生成時(shí)間。在本發(fā)明的一個(gè)實(shí)施例中，在拼貼生成之前也固定拼貼布局的 "效率"。在本文中，"效率"被定義為圖像面積總和與布局的總面 積之間的比值。低效率表明圖像具有相當(dāng)大的空間來移動(dòng)，并且如果 重疊的話在拼貼生成期間僅稍稍重疊。高效率強(qiáng)制圖像之間的相當(dāng)大 的重疊，并且增加了顯著區(qū)域(比如人臉)的令人不快的遮擋的風(fēng)險(xiǎn)。 在拼貼生成之前固定布局的效率限制了另一個(gè)自由度并且使得生成 拼貼的解集變得更易處理。12利用遮擋成本計(jì)算的拼貼生成的示例性系統(tǒng)圖2是根據(jù)本發(fā)明的用于拼貼生成的示例性系統(tǒng)200的框圖。系 統(tǒng)200根據(jù)從數(shù)字圖像的圖像數(shù)據(jù)自動(dòng)地生成圖像的拼貼。系統(tǒng)200 由圖像裝載器205、生成器選擇器210、加性(additive)拼貼生成 器215和迭代拼貼生成器220組成。圖像裝載器205用于接收和處理圖像數(shù)據(jù)，并且在一個(gè)實(shí)施例中 耦合到提供該圖像數(shù)據(jù)的計(jì)算機(jī)系統(tǒng)，比如計(jì)算機(jī)系統(tǒng)100。如圖2 所示，圖像裝載器205也耦合到生成器選擇器210。圖像裝載器205 還通過生成器選擇器21Q耦合到加性拼貼生成器215和迭代拼貼生成 器220。加性拼貼生成器215和迭代拼貼生成器220都耦合到用于輸 出生成的拼貼到例如顯示設(shè)備或計(jì)算機(jī)系統(tǒng)100的一部分的輸出端。 圖像裝載器205的功能將在以下結(jié)合圖4和5進(jìn)一步描述。生成器選擇器210被配置為耦合到圖像裝載器205,并且在一個(gè) 實(shí)施例中是圖像裝載器205的一部分。生成器選擇器210選擇拼貼布 局生成器用于生成所述拼貼。在一個(gè)實(shí)施例中，生成器選擇器210基 于在觀看區(qū)中被拼貼的圖像數(shù)量來做出該選擇。通過舉例而不是限制 的方式，在一個(gè)實(shí)施例中，當(dāng)十五個(gè)或更少的圖像在觀看區(qū)中被拼貼 時(shí)生成器選擇器210選擇加性拼貼生成器215。同樣，在這種實(shí)施例 中，當(dāng)多于十五個(gè)的圖像在觀看區(qū)中被拼貼時(shí)生成器選擇器210選擇 迭代拼貼生成器220。這種選擇機(jī)制是有利的，因?yàn)楫?dāng)拼貼較少數(shù)量 的圖像時(shí)加性拼貼生成器215是比較有效的，而當(dāng)拼貼較大數(shù)量的圖 像時(shí)迭代拼貼生成器220是比較有效的。應(yīng)當(dāng)理解在其它實(shí)施例中可以使用其它分界點(diǎn)來選擇拼貼生成 器。還應(yīng)當(dāng)理解在一些實(shí)施例中，基于用戶輸入的分界點(diǎn)數(shù)或比如期 望的拼貼效率或期望的拼貼生成速度之類的其它選擇標(biāo)準(zhǔn)，生成器選 擇器210在加性拼貼生成器215和迭代拼貼生成器220之間選擇。還 應(yīng)當(dāng)理解在一些實(shí)施例中，不使用生成器選擇器215和其中一個(gè)拼貼 生成器(215或220 )。加性拼貼生成器215被配置為耦合到圖像裝載器205,用于按照 生成器選擇器210的指示來接收圖像數(shù)據(jù)。加性拼貼生成器215通過以設(shè)計(jì)為最小化圖像和觀看區(qū)的遮擋的方式順序地添加圖像到觀看區(qū)中來生成拼貼。將結(jié)合圖6-10進(jìn)一步描述加性拼貼生成器215。迭代拼貼生成器220被配置為耦合到圖像裝載器205,用于按照 生成器選擇器210的指示來接收圖像數(shù)據(jù)。迭代拼貼生成器220通過 迭代地最小化觀看區(qū)內(nèi)的多個(gè)圖像的初始布局的遮擋成本來生成拼 貼。將結(jié)合圖11-17進(jìn)一步描述迭代拼貼生成器220。在本發(fā)明的一些實(shí)施例中，順序地使用系統(tǒng)200的拼貼生成單元 (215和220 )。例如，在一個(gè)這樣的實(shí)施例中，加性拼貼生成器215 被生成器選擇器210選擇，以通過使用加性拼貼生成過程(如下所述) 來生成多個(gè)圖像的初始拼貼布局。隨后該加性生成的拼貼被作為初始 拼貼布局耦合到迭代拼貼生成器220。迭代拼貼生成器220通過選擇 性地z排序和/或輕推圖像以最小化遮擋成本，來執(zhí)行該初始拼貼的 迭代優(yōu)化(如下所述)。示例性圖像圖3示出了根據(jù)本發(fā)明的一個(gè)實(shí)施例的排列在觀看區(qū)300中的多 個(gè)示例圖像(305, 310, 315 ， 320， 325和330 )。圖3所示的布置 是觀看區(qū)中多個(gè)圖像的初始結(jié)構(gòu)化布局的示例。結(jié)構(gòu)化布局還包括分 片的(tiled)邊到邊布局、輕微重疊的圖像布局以及其它根據(jù)模式 或計(jì)劃生成的布局。多個(gè)圖像的這種初始布局用于迭代拼貼生成器 220的一個(gè)實(shí)施例中。用于識(shí)別對象和確定圖像的顯著(或感興趣的)部分的技術(shù)是已 知的，并且在以下作品中有所描述，比如A Model of Saliency—Based Visual Attention for Rapid Scene Analysis, Laurent ltti， Christof Koch, and Ernst Niebur， IEEE Transactions on Pattern Analysis and Machine Intelligence, 1998 年 11 月；和Robust Real—Time Object Detection, Paul Viola and Michael Jones, Second International Workshop on Statistical and Conputational Theories of Vision — Modeling, Learning, Computing, and Sampling, 7月13日，3001.每個(gè)圖像(305, 31 0， 315, 320, 325和330 )包含顯著和非顯著區(qū)域。在圖像305中，兩個(gè)戴著棒球帽的人被認(rèn)為是顯著區(qū)域。在 圖像310中帆船和太陽是顯著區(qū)域。在圖像315中房子是顯著區(qū)域。 在圖像320中飛機(jī)是顯著區(qū)域。在圖像325中，伸出胳膊的人是顯著 區(qū)域。在圖像330中，自行車是顯著區(qū)域。這些圖像中(305， 310， 315, 320, 325和330 )的每一個(gè)也包含非顯著區(qū)域，比如空白空間。 本發(fā)明尋求根據(jù)圖像(比如這些示例圖像)產(chǎn)生拼貼，所述拼貼改善 了圖像的重疊并且使得顯著區(qū)域的遮擋最小化。本發(fā)明利用本領(lǐng)域公 知的比如圖像顯著性圖之類的技術(shù)來識(shí)別圖像的顯著區(qū)域。在一個(gè)實(shí) 施例中，圖像數(shù)據(jù)裝載器205根據(jù)圖像數(shù)據(jù)(比如圖像位圖)生成這 種顯著性圖。示例性圖像數(shù)據(jù)裝載器圖4是根據(jù)本發(fā)明一個(gè)實(shí)施例的示例性圖像數(shù)據(jù)裝載器205的框 圖。圖像裝載器205包括圖像數(shù)據(jù)接收器405、圖像顯著性生成器410、 圖像縮放器415和圖像旋轉(zhuǎn)器420。如圖4所示，圖像數(shù)據(jù)接收器405、 圖像顯著性生成器410、圖像縮放器415和圖像旋轉(zhuǎn)器420都彼此耦 合并且耦合到公共輸出端。這允許根據(jù)需要在圖像數(shù)據(jù)裝載器205的 單元之間交換信息。這還允許圖像數(shù)據(jù)裝載器205輸出圖像數(shù)據(jù)，比 如圖像位圖、縮放和/或旋轉(zhuǎn)的圖像位圖、圖像顯著性圖、縮放和/或 旋轉(zhuǎn)的圖像顯著性圖和其它圖像數(shù)據(jù)到系統(tǒng)200的其它單元。在一個(gè) 實(shí)施例中，圖像數(shù)據(jù)裝載器以圖像分片(Ule )(圖5的510和510A) 的形式輸出這種圖像數(shù)據(jù)，所迷圖像分片被用于產(chǎn)生拼貼。圖像數(shù)據(jù)接收器405從比如計(jì)算機(jī)系統(tǒng)100的圖像數(shù)據(jù)源接收或 獲得圖像數(shù)據(jù)，比如圖像位圖和顯著性圖。該圖像數(shù)據(jù)根據(jù)需要被耦 合到圖像顯著性生成器410、圖像縮放器415和圖像旋轉(zhuǎn)器420。圖像顯著性生成器405生成圖像顯著性數(shù)據(jù)，其識(shí)別圖像中的重 要或感興趣的區(qū)域。在一些實(shí)施例中采用顯著性圖的形式的圖像顯著 性數(shù)據(jù)是根據(jù)比如圖像位圖的圖像數(shù)據(jù)生成的。圖像的圖像顯著性數(shù) 據(jù)包括比如顯著性圖、面部識(shí)別信息和其它圖像分析信息之類的信 息。圖像顯著性生成器410基于已知的和創(chuàng)建的圖像處理技術(shù)來生成 顯著性數(shù)據(jù)所述圖像處理技術(shù)比如用于確定顯著性和識(shí)別比如人臉的對象的技術(shù)。在一些實(shí)施例中，基于用戶指定的參數(shù)或限制，比如 圖像的特別顯著區(qū)域的用戶標(biāo)記，來生成圖像顯著性信息。隨后圖像顯著性生成器405以諸如圖像顯著區(qū)域的分級(jí)(ranking)或繪圖的形式輸出每個(gè)圖像的顯著性數(shù)據(jù)。例如，在本 發(fā)明的一些實(shí)施例中，圖像顯著性數(shù)據(jù)可由灰度級(jí)圖像來表示，其中 每個(gè)像素的值是該像素的顯著性分?jǐn)?shù)。在本發(fā)明的其它實(shí)施例中，每 個(gè)圖像具有以圖的形式傳遞的顯著性數(shù)據(jù)，其可以包含指示圖中每個(gè) 部分的相對顯著性的分?jǐn)?shù)。顯著性數(shù)據(jù)表示圖像中"興趣的"特定分 布，并且因此表示圖像的哪些區(qū)域應(yīng)當(dāng)保持可見，并且哪些區(qū)域可被 安全地遮擋。圖像縮放器415縮放圖像和/或圖像的顯著性數(shù)據(jù)。例如在一個(gè) 實(shí)施例中，圖像和顯著性數(shù)據(jù)被縮放到某個(gè)恒定面積(constant area)。在一個(gè)實(shí)施例中，該恒定面積在整個(gè)拼貼生成過程中始終保 持固定以減小自由度(圖像尺度)，并且因此簡化了用于根據(jù)多個(gè)圖 像生成拼貼的解集。在一個(gè)這樣的實(shí)施例中，像素區(qū)域被設(shè)置為恒定 面積而不是恒定的線性尺寸。這減小或消除了補(bǔ)償圖像高寬比的多樣 性的需要。例如，在一個(gè)實(shí)施例中，圖像縮放器415將圖像和/或顯 著性圖縮放到30， OOO像素的設(shè)定區(qū)域。圖像旋轉(zhuǎn)器420旋轉(zhuǎn)圖像數(shù)據(jù)和/或圖像顯著性數(shù)據(jù)。在本發(fā)明 的 一 個(gè)實(shí)施例中，每個(gè)圖像的圖像數(shù)據(jù)和/或顯著性數(shù)據(jù)被隨機(jī)旋轉(zhuǎn) 一定角度(在可允許的范圍內(nèi))。在另一個(gè)實(shí)施例中，根據(jù)預(yù)設(shè)模式 旋轉(zhuǎn)每個(gè)圖像的圖像數(shù)據(jù)和/或顯著性數(shù)據(jù)。例如，第一圖像的數(shù)據(jù) 不被旋轉(zhuǎn)，第二圖像的數(shù)據(jù)被向右旋轉(zhuǎn)十度，第三圖像的數(shù)據(jù)向左旋 轉(zhuǎn)十度，并且隨后對于隨后的圖像重復(fù)該模式。在一個(gè)實(shí)施例中，圖 像旋轉(zhuǎn)器4 2 0輸出旋轉(zhuǎn)的和縮放的圖像以及顯著性數(shù)據(jù)作為拼貼生成 中使用的圖像分片(510和510A)。在一個(gè)實(shí)施例中，此旋轉(zhuǎn)在整個(gè) 拼貼生成過程中保持固定以減小自由度(圖像旋轉(zhuǎn))，并且因此簡化 了 一系列用于從多個(gè)圖像中生成拼貼的解集。圖5示出了根據(jù)本發(fā)明一個(gè)實(shí)施例的在圖像裝載過程期間執(zhí)行的 示例性圖像操縱。通過舉例的方式，在一個(gè)實(shí)施例中，圖像數(shù)據(jù)接收 器405接收或獲得圖像(比如圖像305 )的諸如位圖的圖像數(shù)據(jù)。圖 像數(shù)據(jù)接收器405將該圖像數(shù)據(jù)傳遞到圖像顯著性生成器410，其中根據(jù)圖像數(shù)據(jù)生成顯著性圖505。顯著性圖505的形式為灰度級(jí)圖像， 該灰度級(jí)圖像將較顯著的區(qū)域示出為較亮的區(qū)域，并且將較不顯著的 區(qū)域示出為較暗的區(qū)域。在這樣的顯著性圖中，可在一定尺度上(例 如從0到255 )分配顯著性值，其中最高顯著性由白像素和255的值 表示，而最低顯著性由黑像素和0的值表示。在顯著性圖505中，區(qū) 域506和507 (其由圖像305中的兩個(gè)人占據(jù))由較淺的陰影表示來 指示高顯著性。顯著性圖505的剩余部分相對較暗，因而指示除了區(qū) 域506和507之外的低或無顯著性。圖像顯著性生成器410將圖像數(shù)據(jù)和顯著性數(shù)據(jù)傳遞到圖像縮放 器415。圖像縮放器415將顯著性圖505和圖像305縮放到統(tǒng)一區(qū)域 (在該情況下為較小的區(qū)域)。圖像縮放器415將縮放的圖像圖和縮 放的圖像傳遞到圖像旋轉(zhuǎn)器420。圖像旋轉(zhuǎn)器420將縮放的顯著性圖 和縮放的圖像向右旋轉(zhuǎn)大約十度并且輸出縮放的和旋轉(zhuǎn)的圖像顯著 性分片510以及縮放的和旋轉(zhuǎn)的圖像分片510A。圖像數(shù)據(jù)裝載器205 提供這些分片(510， 510A)的一個(gè)或兩個(gè)作為輸出。比如加性拼貼 生成器215以及迭代拼貼生成器220的拼貼生成器利用這種圖像分片 (510和510A)來生成拼貼。圖像分片510包括縮放的和旋轉(zhuǎn)的圖像顯著性圖505A,圖像顯著 性圖505A包括縮減的顯著性區(qū)506A和507A。示出的圖像分片510具 有可視邊界(用于說明的目的)，其封閉圍繞顯著性圖507A的透明 區(qū)域511。實(shí)際上，邊界也是透明的。該透明邊界和透明區(qū)域511允 許觀看圖像或者觀看直接位于拼貼中分片510之下的區(qū)域空間。圖像分片510A包括縮放和旋轉(zhuǎn)的圖像305A。示出的圖像分片 510A也具有可視邊界(用于說明的目的)，其封閉圍繞圖像305A的 透明區(qū)域511A。實(shí)際上，分片510A的邊界也是透明的。該透明邊界 和透明區(qū)域511A允許觀看圖像或者觀看直接位于拼貼中分片510A之 下的區(qū)域空間。用于圖3的剩余圖像的附加圖像分片也通過用于生成分片510A 的相同過程來生成。這產(chǎn)生了縮;改和旋轉(zhuǎn)的圖像310A、 315A、 320A、 325A和330A，其在例如圖9、圖IO、圖13、圖14、圖16和圖17中 不同地示出。示例性操作方法以下討論通過具體實(shí)施例的描述詳細(xì)闡述了本發(fā)明的操作。參考圖7和12,流程圖700和1200的每一個(gè)說明了本發(fā)明各個(gè)實(shí)施例使 用的示例步驟。流程圖700和1200包括在不同實(shí)施例中由處理器在計(jì)算機(jī)可讀和計(jì)算機(jī)可執(zhí)行指令的控制下執(zhí)行的過程。所述計(jì)算機(jī)可 讀和計(jì)算機(jī)可執(zhí)行指令例如駐留在數(shù)據(jù)存儲(chǔ)元件中，比如圖1的計(jì)算機(jī)可用易失性存儲(chǔ)器108、計(jì)算機(jī)可用非易失性存儲(chǔ)器110和/或數(shù)據(jù) 存儲(chǔ)單元112中。所述計(jì)算機(jī)可讀和計(jì)算機(jī)可執(zhí)行指令被用于結(jié)合例 如圖1的處理器106A和/或處理器106A、106B和106C來控制或4乘作。 盡管在流程圖700和1200中公開了特定步驟，但是這些步驟都是示 例性的。即實(shí)施例也適于執(zhí)行各種其它步驟或者在流程圖700和1200 中描述的步驟的變形。應(yīng)當(dāng)理解流程圖700和1200中的步驟可以以 不同于所示的順序來執(zhí)行，并且并不是流程圖700和1200中的所有 步驟都要被執(zhí)行。利用遮擋成本計(jì)算的加性拼貼生成圖6示出了根據(jù)本發(fā)明一個(gè)實(shí)施例的示例性加性拼貼生成器215 的框圖。如圖所示，加性拼貼生成器215由彼此耦合以允許根據(jù)需要 交換信息的圖像播種器(seeder ) 605、試驗(yàn)布局提供器610、遮擋成 本生成器615以及圖像添加器620組成。圖像播種器605被配置為例 如以圖像分片510和510A的形式接收圖像數(shù)據(jù)和圖像顯著性數(shù)據(jù)作 為輸入。圖像添加器620被配置為輸出信息，比如通過加性拼貼生成 器215從多個(gè)圖像中生成的拼貼。應(yīng)當(dāng)理解加性拼貼生成器215的單 元可以以完成同樣功能的不同于所示配置的其它配置來耦合或布置。 結(jié)合圖7的流程圖700的適當(dāng)單元以及圖8、圖9和圖10所示的圖像 來描述加性拼貼生成器215的單元的操作。圖7是根據(jù)本發(fā)明 一 個(gè)實(shí)施例的加性地生成圖像拼貼的方法的流 程圖700。在一個(gè)實(shí)施例中，在流程圖700中的710,第一圖像被種 植到觀看區(qū)中以開始拼貼。加性拼貼生成器215采用圖像播種器605 來種植初始圖像(比如圖像分片510或510A)到觀看區(qū)中來開始拼貼 的布局。圖像播種器605可將圖像種植到觀看區(qū)中的任意部分。18在本發(fā)明的一個(gè)實(shí)施例中，觀看區(qū)的尺寸由圖像播種器605設(shè)定 在預(yù)定面積，比如比在觀看區(qū)中拼貼的所有圖像的面積大10%的面積。 而在本發(fā)明的另一個(gè)實(shí)施例中，觀看區(qū)的尺寸(以及面積)由圖像播種器605改變。例如，在本發(fā)明的一個(gè)實(shí)施例中，圖像播種器605從 預(yù)定面積將觀看區(qū)的尺寸(和面積)與在觀看區(qū)中拼貼的圖像的總面 積成比例地放大或縮小。在另一個(gè)示例中，圖像播種器605根據(jù)用戶 輸入來設(shè)置觀看區(qū)的尺寸。在該生成拼貼的加性方法中，設(shè)置觀看區(qū)的面積和尺寸并不是為 了強(qiáng)制特定的拼貼效率，，但是確實(shí)起到一定的輔助作用。反之，進(jìn) 行設(shè)置是為了增加或減小拼貼的觀看區(qū)的尺寸并且選擇拼貼的寬高 比。相反拼貼效率主要由賦予觀看區(qū)背景的顯著性來控制，其中拼貼 在該背景上加性地生成。圖像播種器605設(shè)置的拼貼尺寸和面積有助于生成的拼貼的結(jié) 果。例如，預(yù)定義比將要拼貼的圖像面積稍大的觀看區(qū)面積允許拼貼 創(chuàng)建的充分空間。此外，加性拼貼生成器215生成具有與觀看區(qū)的尺 寸大體一致的寬高比的拼貼。沒有預(yù)定的尺寸，該加性方法仍然可行， 但是會(huì)生成具有不常見的和變化的寬高比的拼貼。此外，因?yàn)閳D像播 種器605設(shè)置觀看區(qū)的尺寸，所以圖像可以被有意地種植到定義的觀 看區(qū)中的特定位置。例如在一個(gè)實(shí)施例中，圖像播種器605將初始圖 像種植到觀看區(qū)的中心。這迫使拼貼從該初始圖像向外生成到觀看區(qū) 的邊緣。圖8示出了根據(jù)本發(fā)明一個(gè)實(shí)施例的被種植到觀看區(qū)中的示例圖 像。圖像播種器605定義矩形觀看區(qū)300的尺寸。在一些實(shí)施例中， 這些尺寸可以以除了矩形之外的其它形狀來定義，比如正方形、橢 圓形或圓形等等。在圖8中，圖像播種器605已經(jīng)將圖像305A種植 到觀看區(qū)300的中心以形成拼貼800的初始圖像。圖像305A是與圖 像分片510 (圖5)相同的縮放和旋轉(zhuǎn)的圖像。然而，圖像分片510A 的透明邊界和透明區(qū)域511不是可見的，因此說明了在添加性生成的 過渡步驟中拼貼實(shí)際上將如何向觀看者呈現(xiàn)。在一個(gè)實(shí)施例中，在流程圖700的720，提供了多個(gè)試驗(yàn)布局布 置。在每個(gè)試驗(yàn)布局布置中，附加圖像被添加到拼貼布局。試驗(yàn)布局 提供器610生成并提供該多個(gè)試驗(yàn)布局布置。試驗(yàn)布局布置器610順序地接收該附加圖像，或者從被一起拼貼到觀看區(qū)300中的多個(gè)圖像 中選擇附加圖像。例如，在本發(fā)明的一個(gè)實(shí)施例中，試驗(yàn)布局提供器 610從被拼貼的該多個(gè)圖像中選擇一個(gè)圖像并且用其來生成特定的多 個(gè)試驗(yàn)布局布置。在該示例之后，該特定的多個(gè)試驗(yàn)布置然后被傳遞 到遮擋成本生成器615。圖9示出了根據(jù)本發(fā)明一個(gè)實(shí)施例的被添加到拼貼布局的示例圖 像。圖9是由試驗(yàn)布局提供器610生成的特定多個(gè)試驗(yàn)布局布置中的 一個(gè)試驗(yàn)布局布置的示例。圖9所示的試驗(yàn)布局布置包括添加到觀看 區(qū)300中的拼貼800的附加圖像310A。注意圖像305A保持在如圖8 中先前所示的相同的二維位置。在該特定多個(gè)試驗(yàn)布局的其他試驗(yàn)布 局中，圖像305A的二維位置保持固定，而附加圖像(在該情況下是 310A)的二維仿置和z次序位置將改變。隨后在一實(shí)施例中，該多個(gè) 試驗(yàn)布局布置的 一 些將包括z排序在已存在拼貼之上的附加圖像的多 個(gè)二維位置，以及多個(gè)試驗(yàn)布局布置的一些將包括z排序在已存在拼 貼之下的附加圖像的多個(gè)二維位置。在 一 個(gè)實(shí)施例中該多個(gè)試驗(yàn)布局的總數(shù)是預(yù)定的。而在另 一 個(gè)實(shí) 施例中，試驗(yàn)布局的數(shù)量是可變的，例如，響應(yīng)于用戶輸入以縮短拼 貼生成時(shí)間(timeline)。同樣，在具有減少的計(jì)算能力的一些實(shí)施 例中，比如數(shù)字照相機(jī)中，生成較少的試驗(yàn)布局布置來加速拼貼生成。在一個(gè)實(shí)施例中，在流程圖700的730，為該多個(gè)試驗(yàn)布局布置 中的試驗(yàn)布局布置生成遮擋成本。該遮擋成本表示被該試驗(yàn)布局布置 遮擋的圖像顯著性以及觀看區(qū)顯著性。遮擋成本生成器615為該試驗(yàn) 布局布置生成遮擋成本。在一個(gè)實(shí)施例中，遮擋成本生成器為某個(gè)部 分(比如特定多個(gè)試驗(yàn)布局布置的百分之十或百分之百)計(jì)算遮擋成 本。遮擋成本生成器將顯著性賦予在其中生成拼貼的觀看區(qū)(比如觀 看區(qū)300 )的內(nèi)部區(qū)域。在一個(gè)實(shí)施例中，該〗見看區(qū)的顯著是預(yù)定的， 而在另 一個(gè)實(shí)施例中，該觀看區(qū)的顯著經(jīng)由用戶輸入通過遮擋成本生 成器615來控制。例如在一個(gè)實(shí)施例中，遮擋成本生成器615將統(tǒng)一 (uniform)的預(yù)定顯著賦予觀看區(qū)所包括的整個(gè)區(qū)域中的每個(gè)像素。 觀看區(qū)顯著性的精確像素值給出了拼貼重疊的侵略性的精確控制，以 及得到的效率。例如在一個(gè)實(shí)施例中，圖像顯著性圖中的顯著性從0(無顯著性)到255 (最高顯著性)之間變化，遮擋成本生成器615 可將觀看區(qū)中的每個(gè)像素的顯著性設(shè)置為值10 (低顯著性)。將較高 的統(tǒng)一顯著性賦予觀看區(qū)中的像素將導(dǎo)致更具侵略性的重疊和覆蓋 較少觀看區(qū)的更有效的拼貼。類似地，將較低的統(tǒng)一顯著性賦予觀看 區(qū)中的像素將導(dǎo)致更不具侵略性的重疊和覆蓋較多觀看區(qū)的不那么 有效的拼貼。表1 (先前所示)示出了遮擋成本生成器615可用來生 成表示遮擋的圖像顯著性并且也表示遮擋的觀看區(qū)顯著性的遮擋成 本的等式。
遮擋成本是在特定布局中可見的部分(fractional)顯著性的倒 數(shù)。表5示出了遮擋成本生成器615可用來生成在觀看區(qū)中的特定試 驗(yàn)布局布置中可見的部分顯著性的一個(gè)等式。部分顯著性在零和一之 間變化，數(shù)目越大表示可見的顯著性越多。基于該部分可見顯著性的 計(jì)算，遮擋成本生成器615生成與由表1所示的等式計(jì)算的遮擋成本 一致的遮擋成本。
表5 —用于試驗(yàn)布局布置的部分可見顯著性計(jì)算的示例等式
所有B像 背素
《
、.V
1>2
所有圖像
Fs-在試驗(yàn)布局布置中的可見顯著性的部分 S^可見像素的總和
St-在試驗(yàn)布局布置中所有可見像素的總和
表1和5所示的等式是示例性的，并且應(yīng)當(dāng)理解為試驗(yàn)布局布置 計(jì)算遮擋成本的其它計(jì)算也可使用，其中遮擋成本表示被試驗(yàn)布局布 置遮擋的圖像顯著性和觀看區(qū)顯著性。遮擋成本生成器615將為試驗(yàn) 布局布置生成的遮擋成本傳遞到圖像添加器620。
在一個(gè)實(shí)施例中，在流程圖700的740中，圖像被添加到拼貼。 在一個(gè)實(shí)施例中，當(dāng)圖像被添加到拼貼時(shí)，該拼貼被更新以反映為其計(jì)算遮擋成本的其中一個(gè)試驗(yàn)布局布置。圖像添加器620添加新的圖 像到該拼貼。在一個(gè)實(shí)施例中，圖像添加器620比較其為每個(gè)都接收 遮擋成本的每個(gè)試驗(yàn)布局布置的遮擋成本?；谠摫容^，圖像添加器 620選擇具有最低遮擋成本的試驗(yàn)布局布置。隨后圖像添加器620從 最低成本的試驗(yàn)布局布置中向該拼貼添加附加圖像。該新圖像(附加 圖像)在該附加圖像出現(xiàn)在最低成本的試驗(yàn)布局布置中的相同的z排 序位置和二維位置上^皮添加到該-汫貼。
在一個(gè)實(shí)施例中，在流程圖700的750中，通過重復(fù)塊720、 730 和740將要拼貼的多個(gè)圖像的剩余圖像加性地合并到該拼貼中，直到 來自該多個(gè)圖像的所有圖像都被依次添加到該拼貼中。
圖10示出了根據(jù)本發(fā)明一個(gè)實(shí)施例創(chuàng)建的示例性拼貼800。圖 10示出了從圖3所示的該多個(gè)圖像(305、 310、 315、 320、 325和330 ) 中加性地生成的示例性結(jié)果拼貼。每個(gè)圖像通過先前所述的過程被轉(zhuǎn) 換為圖像分片。然后該圖像分片被加性地拼貼到觀看區(qū)300中。該拼 貼包括作為先前描述的圖像分片的 一 部分的縮放旋轉(zhuǎn)的圖像3 0 5 A 、 310A、 315A、 320A、 325A和330A。注意在圖10中，存在相當(dāng)侵略性 的圖像重疊。這是由于為觀看區(qū)300的顯著性設(shè)置了高值。選擇較低 的觀看區(qū)顯著性值將會(huì)導(dǎo)致在觀看區(qū)300周圍間隔更寬的圖像。選擇 較小尺寸的觀看區(qū)將導(dǎo)致在觀看區(qū)300中圍繞拼貼800的更少的空白 空間。
利用遮擋成本計(jì)算的迭代拼貼生成
圖11示出了根據(jù)本發(fā)明一個(gè)實(shí)施例的迭代拼貼生成器220的框 圖。如圖所示，迭代拼貼生成器220由彼此耦合以允許根據(jù)需要交換 信息的初始布局生成器1105、布局調(diào)整器111G、遮擋成本生成器1115 和布局優(yōu)化器1120組成。初始布局生成器1105被配置為接收例如以 圖像分片510和51 OA為形式的圖像數(shù)據(jù)和圖像顯著性數(shù)據(jù)作為輸入。 布局優(yōu)化器1120被配置為輸出信息，比如通過迭代拼貼生成器220 從多個(gè)圖像中生成的拼貼。應(yīng)當(dāng)理解迭代拼貼生成器220的單元可以 以完成同樣動(dòng)作的不同于所示配置的其它配置來耦合或布置。
在一個(gè)實(shí)施例中，初始布局生成器1105用于根據(jù)多個(gè)圖像生成
22初始拼貼布局。在提供初始拼貼布局作為輸入的一些實(shí)施例中，不使 用初始布局生成器105。在一個(gè)實(shí)施例中，布局調(diào)整器1110用于遞增
地調(diào)整拼貼布局。在一個(gè)實(shí)施例中，遮擋成本生成器1115用于為拼
貼布局(比如遞增調(diào)整的拼貼布局)計(jì)算遮擋成本。在一個(gè)實(shí)施例中，
布局優(yōu)化器1120用于選擇具有最低遮擋成本的遞增調(diào)整的布局。迭 代拼貼生成器220的這些單元的進(jìn)一步操作將結(jié)合圖12的流程圖 1200的適當(dāng)單元以及圖13、圖14、圖15、圖16和圖17中所示圖像 來描述。
圖12是根據(jù)本發(fā)明一個(gè)實(shí)施例的迭代地生成圖像的拼貼的方法 的流程圖1200。在一個(gè)實(shí)施例中，在流程圖700中的1210,接收將 被拼貼到觀看區(qū)中的多個(gè)圖像的圖像顯著性數(shù)據(jù)。迭代拼貼生成器 220采用初始布局生成器1105來接收該圖像顯著性數(shù)據(jù)。在本發(fā)明的 一些實(shí)施例中，初始布局生成器1105接收包括圖像數(shù)據(jù)的各種圖像 信息，所述圖像數(shù)據(jù)諸如圖像位圖、圖像顯著性數(shù)據(jù)和圖像分片(比 如圖像分片510和510A (圖5 ))。
在一個(gè)實(shí)施例中，在流程圖1200的1220中，在觀看區(qū)中根據(jù)該 多個(gè)接收的圖像生成初始拼貼布局。在一個(gè)實(shí)施例中，初始布局生成 器1105根據(jù)多個(gè)接收的圖像分片(比如圖像分片510或510A)通過 將該圖像分片置于定義的觀看區(qū)中而生成該初始拼貼布局。初始布局 生成器1105通過使用預(yù)定義或用戶選擇的寬高比和拼貼效率的值來 確定觀看區(qū)的尺寸(其在整個(gè)迭代拼貼生成過程中保持恒定)。例如 在一個(gè)實(shí)施例中，響應(yīng)于用戶輸入，初始布局生成器1105生成具有 寬高比為1.33: 1和效率為1.15的矩形觀看區(qū)。這意味著生成的觀 看區(qū)中所有拼貼的圖像的總面積將比拼貼的總區(qū)域的面積大15%。
在一個(gè)實(shí)施例中，初始布局生成器1105根據(jù)圖案、柵格或一些 其它結(jié)構(gòu)化方式來安排諸如圖像分片的圖像。圖3是根據(jù)圖案生成的 多個(gè)圖像(305、 310、 315、 320、 325和330 )的初始拼貼布局的示 例。初始布局生成器1105通過根據(jù)圖案將圖像置于觀看區(qū)300中而 生成圖13所示的初始拼貼布局。在另一個(gè)實(shí)施例中，初始布局生成 器將比如圖像分片的圖像以隨機(jī)或偽隨機(jī)的方式置于觀看區(qū)中來產(chǎn) 生初始^f貼布局。
圖13示出了根據(jù)本發(fā)明一個(gè)實(shí)施例的多個(gè)圖像的初始拼貼布局的示例。在圖13中，初始拼貼生成器1105具有在觀看區(qū)300中隨機(jī) 放置的圖像305A、 310A、 315A、 320A、 325A和330A來生成這多個(gè)圖 像的初始拼貼布局1300。如前所述，每個(gè)圖像(305A、 310A、 315A、 320A、 325A和330A)是圖像分片(比如分片510A)的一部分，并且 因此具有在拼貼生成過程中保持不變的預(yù)設(shè)的圖像尺度和旋轉(zhuǎn)。不管 作為迭代拼貼生成過程的一部分而施加到拼貼1 300上的圖像x-y位 置或z排序有任何變化，該預(yù)設(shè)尺度和旋轉(zhuǎn)都保持不變。
在一個(gè)實(shí)施例中，在流程圖1200的1220中，初始拼貼布局被優(yōu) 化。所述優(yōu)化包括通過選擇最小化的遮擋成本來迭代地調(diào)整初始布 局。在本發(fā)明的一個(gè)實(shí)施例中，繼續(xù)該迭代調(diào)整和選擇，直到為拼貼 布局達(dá)到預(yù)定效率。在本發(fā)明的一個(gè)實(shí)施例中，該迭代調(diào)整和選擇一 直持續(xù)到達(dá)到預(yù)定數(shù)量的調(diào)整迭代，比如100次迭代。布局調(diào)整器 1110、遮擋成本生成器115和布局優(yōu)化器1120合作來執(zhí)行初始拼貼 布局的這種優(yōu)化。表6示出了描述用于執(zhí)行初始拼貼布局的迭代優(yōu)化 的方法的示例偽代碼結(jié)構(gòu)。
表6:用于迭代地優(yōu)化初始拼貼布局的偽代碼結(jié)構(gòu)
創(chuàng)建"預(yù)分?jǐn)?shù)(pre-score)"和"后分?jǐn)?shù)(pos t-score)"變量 創(chuàng)建初始布局
當(dāng)(while)預(yù)分?jǐn)?shù)大于后分?jǐn)?shù)
優(yōu)化Z-排序 使布局平坦化
將預(yù)分?jǐn)?shù)設(shè)為等于布局分?jǐn)?shù) 對于布局中的所有圖像
使布局平坦化
對布局打分(無移動(dòng)) 對于所有四個(gè)方向(下，上，左，右)
將圖像移動(dòng)設(shè)定距離
24使布局平坦化 對布局打分
選擇具有最佳分?jǐn)?shù)的布局 完成圖像運(yùn)動(dòng)
使布局平坦化
將后分?jǐn)?shù)設(shè)為等于布局分?jǐn)?shù) 輸出拼貼
在一個(gè)實(shí)施例中，遮擋成本生成器1115根據(jù)存在于所有分片中
的總顯著性與在初始拼貼布局中可見的部分顯著性的比率為初始拼 貼布局計(jì)算遮擋成本。該第二部分，即"在初始拼貼布局中可見的部 分顯著性，，，從拼貼的"平坦化，，布局中計(jì)算。使拼貼布局平坦化可 被認(rèn)為是在拼貼展現(xiàn)給觀看者時(shí)對拼貼進(jìn)行快照(snap shot)。然 而，快照是使用拼貼中每個(gè)圖像的對應(yīng)顯著性圖來表現(xiàn)的，而不是使 用每個(gè)圖像的全色圖像數(shù)據(jù)(例如關(guān)于分片510A的圖像數(shù)據(jù))，例 如使用圖像分片510的顯著性數(shù)據(jù)而不是圖像分片510A的圖像數(shù)據(jù)。 然后通過將快照中可見的顯著性(Sv)累加起來來計(jì)算該平坦化拼貼 布局的顯著性。
表7示出了被遮擋成本生成器1115用于計(jì)算拼貼布局的遮擋成 本的示例等式。隨后該初始布局的遮擋成本被布局優(yōu)化器1120保存 為"預(yù)分?jǐn)?shù)，，。該預(yù)分?jǐn)?shù)被用于估計(jì)將來的拼貼布局是比初始布局更 好還是更差。
表7 —用于在拼貼布局迭代中的部分可見顯著性的計(jì)算的示例等
式rr* 所有分片 =='t-
其中
7"
所有分片
可見像素
以及
全部像素
如前所述，遮擋成本是拼貼布局中可見顯著性的部分的倒數(shù)函
數(shù)。表7的等式中的相關(guān)變量是可見顯著性Sv和總顯著性ST。 St是在 所有圖像上(比如圖5的圖像分片510和510A)加起來的總顯著性。 在執(zhí)行平坦化過程以后通過將所有圖像分片上可見的總顯著性加起 來為同一拼貼布局獲得Sv。因?yàn)槠教够ǔ?dǎo)致在一些圖像分片中 遮擋一些顯著性，Sv通常比St小，并且對應(yīng)的遮擋成本將小于一。
在遮擋成本生成器1115計(jì)算初始拼貼布局的遮擋成本"預(yù)分?jǐn)?shù)" 之后，執(zhí)行初始布局的z排序優(yōu)化。在大多數(shù)通常情況下，這包括計(jì) 算z排序中的每個(gè)圖像排列的遮擋成本。然而，為了減小計(jì)算復(fù)雜度 和/或計(jì)算時(shí)間，在一些實(shí)施例中，僅為z排序排列的子集計(jì)算遮擋 成本。
例如，在本發(fā)明的一個(gè)實(shí)施例中，計(jì)算布局遮擋成本，用于將圖 像分片中的圖像z排序在拼貼中該多個(gè)圖像的所有其它圖像之上或之 下。該z排序優(yōu)化是簡單的過程。布局調(diào)整器1110依次添加每個(gè)圖 像(比如圖像分片)到拼貼中兩個(gè)位置之一在z排序頂部(在任何 其它圖像前面)或在z排序底部(在任何其它圖像下面)。然后遮擋 成本生成器1120以前述的方式為圖像分片的每個(gè)位置計(jì)算遮擋成本。 布局優(yōu)化器1120選擇具有最低成本的布局作為圖像分片的最優(yōu)z排 序位置。然后基于計(jì)算的遮擋成本更新拼貼布局以反映最低的布局遮 擋成本。隨后對于該拼貼中所述多個(gè)圖像分片中的每個(gè)圖像重復(fù)該z 排序、計(jì)算和更新。當(dāng)已經(jīng)用這種方式對所有圖像分片排序時(shí)，z排 序完成。同樣，在本發(fā)明的為觀看區(qū)中z排序圖像排列的更大集合來計(jì)算遮擋成本的實(shí)施例中，接著是類似的優(yōu)化過程或Z排序、計(jì)算和 更新。
圖14示出了根據(jù)本發(fā)明一個(gè)實(shí)施例的最小化拼貼布局的遮擋成
本的圖像的示例性z排序。在圖14中示出的拼貼布局1300的所有單 元與圖13中所示的拼貼布局1 300是相同的，除了已經(jīng)以消除在圖13 中發(fā)生的圖像顯著性遮擋(圖像305A的右邊的人的下半部分)的方 式而將圖像305A最優(yōu)地z排序在圖像330A之上。
在執(zhí)行完z排序之后，遮擋成本生成器1115將拼貼布局平坦化， 并且確定該布局的遮擋成本。如表6中的偽代碼所示，隨后該z排序 布局的遮擋成本代替先前存儲(chǔ)的預(yù)分?jǐn)?shù)。
隨后緊跟著類似的迭代過程來優(yōu)化觀看區(qū)中每個(gè)圖像(比如圖像 分片)的二維x-y位置并且選擇具有最低的二維調(diào)整的布局遮擋成本 的拼貼布局。而且，布局調(diào)整器1110、遮擋成本生成器1115和布局 優(yōu)化器1120合作以在二維上稍微輕推每個(gè)圖像，并且迭代地從在每 次輕推操作之后計(jì)算的遮擋成本中選擇每個(gè)圖像的最優(yōu)二維位置。在 一個(gè)實(shí)施例中，從原始位置向四個(gè)方向(上、下、左和右)稍稍輕推 每個(gè)圖像分片。
例如，布局調(diào)整器IIO對于單個(gè)圖像的x-y位置做出輕微調(diào)整。 隨后遮擋成本生成器1115使調(diào)整的布局平坦化并且為該稍微二維調(diào) 整的布局計(jì)算遮擋成本。隨后布局優(yōu)化器1120將該稍微調(diào)整的布局 的遮擋成本與存儲(chǔ)的布局的分?jǐn)?shù)進(jìn)行比較。如果調(diào)整的布局具有較小 的遮擋成本，布局優(yōu)化器1120更新存儲(chǔ)的布局來反映該調(diào)整的布局。 隨后該更新的布局成為布局調(diào)整器做出下 一 個(gè)稍微輕推調(diào)整的操作 布局。迭代的輕推、平坦化、計(jì)算和更新一直持續(xù)直到所述多個(gè)拼貼 圖像分片中的每個(gè)圖像分片已經(jīng)被最優(yōu)地輕推。
圖15示出了根據(jù)本發(fā)明一個(gè)實(shí)施例的示例圖像的示例二維輕推 可能性。在圖15中，圖像分片510A再次被可見地顯示在透明區(qū)域511 和圖像305A周圍。位置1501表示圖像分片510A的左上角的原始位 置。位置1 502 、 1503、 1504和1505表示圖像調(diào)整器1110可在輕推 過程中輕推圖像分片510A的微小距離。例如在一個(gè)實(shí)施例中，位置 1502在原始位置1501之上的微小距離1520，比如十個(gè)像素。接著該 示例，位置1503在原始位置1501的右邊十個(gè)像素的孩i小距離1522;位置1504在原始位置1501的下面十個(gè)像素的微小距離1521;以及位 置1505在原始位置1501的左邊十個(gè)像素的微小距離1523。遮擋成本 生成器1115為原始位置和每個(gè)可能的輕推位置1502、 1503、 1504和 1505來生成遮擋成本。布局優(yōu)化器1120執(zhí)行比較并且選擇表示最低 遮擋成本的輕推位置。應(yīng)當(dāng)理解在一些實(shí)施例中，布局可在比圖15 所示的更少方向或更多方向或者更大或更小距離來輕推。
圖16示出了根據(jù)本發(fā)明一個(gè)實(shí)施例的最小化拼貼布局的遮擋成 本的示例圖像輕推。圖16所示的拼貼1 300的所有單元與圖14所示 的拼貼布局1 300都相同，除了圖像305A被輕推到稍稍位于在圖像分 片330A之上的其先前位置的左邊的二維位置。
在一個(gè)實(shí)施例中，上述的z排序和輕推的選擇性調(diào)整操作被重復(fù) 直到迭代選擇的拼貼達(dá)到了預(yù)定或最優(yōu)的遮擋成本。在另 一 個(gè)實(shí)施例 中，上述z排序和輕推的選擇性調(diào)整操作被重復(fù)直到達(dá)到預(yù)定數(shù)量的 這種調(diào)整迭代。這種迭代的預(yù)定數(shù)量的一個(gè)示例是100。這對于限制 花費(fèi)在迭代地生成拼貼上的時(shí)間量和/或計(jì)算資源是有用的。在用戶 選擇的拼貼效率等級(jí)對于特定多個(gè)圖像不可實(shí)現(xiàn)的情況下，這作為故 障保護(hù)(failsafe)退出標(biāo)準(zhǔn)也是有用的。在另一個(gè)實(shí)施例中，z排 序和輕推的選擇性調(diào)整操作持續(xù)，直到在任何方向輕推圖像或改變?nèi)?何圖像的z排序位置，總的遮擋成本不能被進(jìn)一步降低。
圖17示出了根據(jù)本發(fā)明一個(gè)實(shí)施例創(chuàng)建的示例拼貼。圖17示出 了從圖3所示的該多個(gè)圖像(305、 310、 315、 320、 325和330 )中 迭代地生成的示例結(jié)果拼貼。圖17所示的拼貼是上述的z排序和輕 推的選擇性調(diào)整操作的多次迭代的結(jié)果。通過先前描述的過程將每個(gè) 圖像轉(zhuǎn)換為圖像分片。圖像分片隨后被迭代地拼貼到觀看區(qū)300中。 該拼貼包括作為先前描述的圖像分片的 一部分的縮放旋轉(zhuǎn)的圖像 305A、 310A、 315A、 320A、 325A和330A。注意在圖17中，存在相當(dāng) 侵略性的圖像重疊。這是由于為拼貼1 300的迭代生成設(shè)置的高效率。 選擇較低的效率將會(huì)導(dǎo)致圖像被較少侵略性地重疊并且在觀看區(qū)300 周圍更寬地間隔。
28
權(quán)利要求
1. 一種加性地生成圖像的拼貼的計(jì)算機(jī)實(shí)施方法700，所述方法包括種植710第一圖像到觀看區(qū)中來開始所述拼貼；提供720多個(gè)試驗(yàn)布局布置，其中附加圖像被添加到所述拼貼；為所述多個(gè)試驗(yàn)布局布置中的試驗(yàn)布局布置生成730遮擋成本，其中所述遮擋成本表示被所述試驗(yàn)布置遮擋的觀看區(qū)顯著性和遮擋的圖像顯著性；以及添加740圖像到所述拼貼，其中所述拼貼被更新以反映為其生成所述遮擋成本的所述試驗(yàn)布局布置之一。
2. 如權(quán)利要求1所述的計(jì)算機(jī)實(shí)施方法700,進(jìn)一步包括 將所述多個(gè)圖像順序地合并750到所述拼貼中，其中所述合并包括重復(fù)所述提供、所述生成以及所述添加直到所述多個(gè)圖像被合并到 所述拼貼中。
3. 如權(quán)利要求1所述的計(jì)算機(jī)實(shí)施方法700,其中所述種植710第 一圖像到觀看區(qū)中來開始所述拼貼包括種植第 一 圖像到觀看區(qū)中來開始所述拼貼，其中所述觀看區(qū)具有 預(yù)定面積。
4. 如權(quán)利要求3所述的計(jì)算機(jī)實(shí)施方法700,其中所述種植710第 一圖像到觀看區(qū)中來開始所述拼貼，其中所述觀看區(qū)具有預(yù)定面積進(jìn) 一步包括種植第 一 圖像到觀看區(qū)中來開始所述拼貼，其中所述觀看區(qū)具有 與被拼貼的圖像的組合圖像面積成t匕例地自動(dòng)縮放的預(yù)定面積。
5. 如權(quán)利要求1所述的計(jì)算機(jī)實(shí)施方法700，其中所述種植710第 一圖像到觀看區(qū)中來開始所述拼貼包括種植第 一 圖像到觀看區(qū)中來開始所述拼貼，其中所述第 一 圖像被 種植到所述觀看區(qū)的中心位置。
6. 如權(quán)利要求1所述的計(jì)算機(jī)實(shí)施方法700,其中所述提供720多 個(gè)試驗(yàn)布局布置，其中附加圖像被添加到所述拼貼包括生成多個(gè)試驗(yàn)布局，所述試驗(yàn)布局包括所述觀看區(qū)內(nèi)的所述附加 圖像的多個(gè)二維位置，其中所述附加圖像被z排序在所述拼貼之上； 以及生成多個(gè)試驗(yàn)布局，所述試驗(yàn)布局包括所述觀看區(qū)內(nèi)的所述附加 圖像的多個(gè)二維位置，其中所述附加圖像被Z排序在所述拼貼之下。
7. 如權(quán)利要求l所述的計(jì)算機(jī)實(shí)施方法，其中所述為試驗(yàn)布局布置生成7 30遮擋成本進(jìn)一步包括4巴統(tǒng)一的顯著性賦予所述觀看區(qū)；以及為所述多個(gè)試驗(yàn)布局布置的每個(gè)生成所述遮擋成本。
8. 如權(quán)利要求1所述的計(jì)算機(jī)實(shí)施方法700,其中所述添加740圖所述試驗(yàn)布局布置之一，包括添加圖像到所述拼貼，其中所述拼貼被更新以反映為其生成所述 遮擋成本的所述試驗(yàn)布局布置中的最低遮擋成本的布局布置。
9. 一種迭代地生成圖像的拼貼的計(jì)算機(jī)實(shí)施方法1200,所述方法 包括接收l210多個(gè)圖像的圖像顯著性數(shù)據(jù)，所述多個(gè)圖像要被拼貼到 觀看區(qū)中；在所述觀看區(qū)內(nèi)生成122 0所述多個(gè)圖像的初始拼貼布局；以及 優(yōu)化12 30所述初始拼貼布局，其中所述優(yōu)化包括通過選擇最小化 的布局遮擋成本來迭代地調(diào)整所述初始布局。
10. 如權(quán)利要求9所述的計(jì)算機(jī)實(shí)施方法1200，其中所述優(yōu)化1230 所述初始拼貼布局，其中所述優(yōu)化包括通過選擇最小化的布局遮擋成 本來迭代地調(diào)整所述初始布局進(jìn)一步包括從多個(gè)z排序的布局中選擇最低z排序布局遮擋成本；以及 從多個(gè)二維調(diào)整的布局中選擇最低的二維調(diào)整的布局遮擋成本。
全文摘要
在一種創(chuàng)建圖像拼貼的計(jì)算機(jī)實(shí)施方法700中，第一圖像被種植710到觀看區(qū)來開始該拼貼。提供多個(gè)試驗(yàn)布局布置720，附加圖像添加到所述拼貼。為試驗(yàn)布局布置生成730遮擋成本。該遮擋成本表示試驗(yàn)布置遮擋的圖像的顯著性以及遮擋的觀看區(qū)顯著性。通過更新拼貼來反映為其生成遮擋成本的試驗(yàn)布局布置之一，從而將圖像添加740到該拼貼。
文檔編號(hào)G06T11/60GK101536038SQ200780024677
公開日2009年9月16日 申請日期2007年4月20日 優(yōu)先權(quán)日2006年4月28日
發(fā)明者S·維道森 申請人:惠普開發(fā)有限公司