專利名稱：用于產(chǎn)生圖像拼貼畫的方法和電子裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及產(chǎn)生圖像拼貼畫(image collage)的方法。 本發(fā)明進一步涉及用于產(chǎn)生圖像拼貼畫的電子裝置，該電子裝置 包括電子電路。
本發(fā)明還涉及用于使得可編程裝置執(zhí)行產(chǎn)生圖像拼貼畫的方法的 計算機程序。
背景技術(shù)：
產(chǎn)生圖像拼貼畫的方法的例子在US2005/0220345中見諸描述。在 US2005/0220345中描述的該方法中，多幅圖^f象的感興趣區(qū)域被確定， 該多幅圖像被裁剪以除去不提供信息的部分，即，僅感興趣區(qū)域保留， 且該多幅經(jīng)裁剪的圖像相鄰地布置在一幅圖像內(nèi)以形成拼貼畫。 US2005/0220345中描述的該方法的缺點為，拼貼畫沒有充分地傳達某 一組特定圖像的意境(mood)。

發(fā)明內(nèi)容
本發(fā)明的第一目的是提供一種開篇段落中所述類型的方法，該方 法產(chǎn)生更好地傳達一組圖像的意境的圖像拼貼畫。
本發(fā)明的第二目的是提供一種開篇段落中所述類型的系統(tǒng)，該系 統(tǒng)產(chǎn)生更好地傳達一組圖像的意境的圖像拼貼畫。
根據(jù)本發(fā)明，該第一目的是通過下述方法來實現(xiàn)，該方法包括以 下步驟確定背景圖像中的感興趣區(qū)域；以及在該感興趣區(qū)域外的該 背景圖像上顯示至少一幅前景圖像。背景圖像傳達一組圖畫的意境并 為前景圖像提供環(huán)境背景。背景圖像的感興趣區(qū)域需要不被阻擋，從 而有效地傳達該意境。背景圖像例如可以代表從遠距離拍攝的海灘。 前景圖像例如可以代表被拍攝的人和/或紀念性建筑物。
在該方法的實施例中，顯示至少一幅前景圖像的步驟包括顯示多 幅前景圖像，該背景圖像在該前景圖像之間是可見的。在顯示多幅前 景圖像時，可以傳達更多的信息，不過該背景圖像在前景圖像之間應(yīng)
3是可見的，從而保持傳達該組圖像的意境。
確定該感興趣區(qū)域的步驟可包括在該背景圖像中尋找高對比度部 分和/或面部。高對比度部分和/或面部通常被觀察者認為是重要的，且 優(yōu)選地在背景圖像中不應(yīng)被前景圖像阻擋。
該方法還可包括通過尋找下述圖像來選擇背景圖像的步驟，該圖 像的感興趣區(qū)域較小和/或不具有不規(guī)則形狀。滿足這些標準之一或二 者的背景圖像具有相對多的、前景圖像可顯示于其上的區(qū)域。
該方法還可包括裁剪該前景圖像以除去不提供信息的部分的步 驟。這使得前景圖像足夠小以形成部分拼貼畫。另外或備選地，該方 法還可包括調(diào)整該前景圖像的尺寸，以使得前景圖像足夠小以形成部 分拼貼畫。如果前景圖像包括多個分離的感興趣區(qū)域，裁剪該前景圖 像可得到多幅圖像。這些多個分離的感興趣區(qū)域中每一個感興趣區(qū)域 可以獨立地顯示在背景圖像上。
該方法還可包括以某一速度使用另一前景圖像替換該前景圖像的 步驟，該速度高于使用另一背景圖像替換該背景圖像的速度。這形成 動態(tài)的圖像拼貼畫，其中人或紀念性建筑物例如可以依序顯示在代表 該人或紀念性建筑物的照片被拍攝的位置的背景圖像上。
該前景圖像顯示的持續(xù)時間取決于該前景圖像的等級。按照這種 方式，最重要的主題和對象在該動態(tài)圖像拼貼畫中變得最顯目。
例如通過鼠標點擊或者觸摸使得用戶能夠選擇前景對象，可以使 該動態(tài)拼貼畫為交互式的。前景對象所屬的內(nèi)容項于是被放大地顯示 或者選擇成為背景圖像。按照這種方式，動態(tài)拼貼畫不僅可以用作內(nèi) 容集合的視覺上吸引人的表現(xiàn)，也可以用作瀏覽工具。
根據(jù)本發(fā)明，該第二目的是通過下述電子裝置來實現(xiàn)，該電子裝 置的電子電路可工作以確定背景圖像中的感興趣區(qū)域，并且在該感興 趣區(qū)域外的該背景圖像上顯示至少一幅前景圖像。該電子裝置可以是
便攜裝置，諸如具有照片功能的MP3播放器、移動電話、數(shù)字靜態(tài)照 相機或者PDA，或者是固定裝置，諸如個人計算機、HDD記錄器或者 電視機。該電子裝置可以是家用計算機或者服務(wù)器計算機，例如，用 于在諸如照片/視頻分享和備份服務(wù)的在線服務(wù)、視頻點播和媒體在線 店鋪中提供內(nèi)容集合的總覽。


本發(fā)明的這些和其他方面將會顯而易見，并且將會參考附圖以示
例性方式予以進一步解釋說明，其中 圖1為本發(fā)明的方法的流程圖； 圖2為本發(fā)明的方法的實施例的流程圖； 圖3示出基于對比度的感興趣區(qū)域的探測的四個示例； 圖4示出在背景圖像中的探測到的感興趣區(qū)域的第五示例； 圖5示出圖4的背景圖像中潛在地將前景圖像置于其中的區(qū)域； 圖6為本發(fā)明的電子裝置的框圖。 附圖中的相應(yīng)要素使用相同參考符號表示。
具體實施例方式
本發(fā)明的方法包括在背景圖像中確定感興趣區(qū)域的步驟1，以 及在該感興趣區(qū)域外的背景圖像上顯示至少一幅前景圖像的步驟3，見 圖1。
在該方法的實施例中，見圖2,多幅圖像ll用作輸入。該多幅圖 像11例如可以是圖片的內(nèi)容集合的目錄，或者是從視頻提取的關(guān)鍵幀。
步驟13包括確定多幅圖像11中的感興趣區(qū)域。靜態(tài)圖像中的對 象和元素可以劃分為兩種類別(l)感興趣部分，其通常為圖像的主 題，諸如面部、人和紀念性建筑物，(2)無趣或不感興趣的部分，其 通常作為圖像的背景，諸如天空、建筑空間的墻壁以及草地。第一類 別定義為感興趣區(qū)域。人的注意力被圖像的高對比度部分以及面部所 吸引(此外，動作對于視頻起著重要作用)。在步驟15中，通過尋找 圖像中的高對比度區(qū)域來選擇這些區(qū)域。這個過程的示例示于圖3。可 選地，也可以執(zhí)行面部探測以確保面部包括在感興趣區(qū)域內(nèi)。
步驟17包括確定合適的背景圖像。為了在圖像拼貼畫中傳達盡可 能多的信息，該拼貼畫由具有內(nèi)嵌前景圖像的背景圖像組成。然而， 圖像的區(qū)域不應(yīng)交疊或者遮擋。因此，在先前步驟中探測到的感興趣 區(qū)域被分析以確定其尺寸和形狀。當感興趣區(qū)域相對于原始形狀而言 大，或者當感興趣區(qū)域具有不規(guī)則形狀時，相應(yīng)圖像不是非常適合作 為背景圖像。區(qū)域的尺寸可以通過對屬于感興趣區(qū)域的像素的數(shù)目執(zhí) 行求和來計算。備選地，包括整個感興趣區(qū)域的最小矩形的尺寸可被確定。這兩種方法的比例為感興趣區(qū)域的不規(guī)則性的可能度量之一。 在尋找合適背景圖像時也可以考慮該比例。按照這種方式，圖像分為
前景圖像21和背景圖像23。此外，其他視覺特征(例如，邊緣數(shù)目、 圖像復(fù)雜性、紋理)可在考慮之列。
步驟19包括裁剪前景圖像。前景圖像只應(yīng)是有用且提供信息的對 象或要素。因此，前景圖像必須裁剪以除去不提供信息的部分。該裁 剪基于感興趣區(qū)域完成。包括整個感興趣區(qū)域的最小矩形可以用于此 目的。此外，可將感興趣區(qū)域視為由多個連接的子區(qū)域組成，這些子 區(qū)域從尺寸和形狀方面被單獨分析。隨后，在裁剪前景圖像的過程中， 這些子區(qū)域可被合并或忽略。
步驟25包括構(gòu)成拼貼畫。從先前步驟得到兩組(裁剪)圖像前 景圖像21和背景圖像23。在構(gòu)成圖像拼貼畫時，前景圖像靈活地置于 背景圖像中。這意味著它們不相互交疊且不遮擋感興趣背景區(qū)域。發(fā) 現(xiàn)每幅前景圖像的位置和尺寸的問題可以映射到約束優(yōu)化問題(二維 裝箱問題)，其中利用分離軸定理(separating axis theorem )-在計算 機游戲中使用的一種已知技術(shù)-來模擬不交疊和不遮擋條件。該問題 的變量為每幅前景圖像的位置和尺寸。尺寸變量是以取決于前景圖像 內(nèi)容的最小尺寸為下限。約束為前景圖像之間沒有交疊且背景不被 遮擋。另外的約束為將背景圖像的足夠部分留為空閑(例如，通過添 加圍繞前景圖像的空白邊界)。待最大化的目標函數(shù)為前景圖像的數(shù)目 以及其以像素數(shù)目計的面積。二維裝箱問題隨后使用標準方法求解。 當二維裝箱問題未發(fā)現(xiàn)可行解時，某些條件可以放寬以允許部分交疊/ 遮擋。"最佳"解(具有最小交疊的解)隨后可被接受。圖4和5示出 這樣的情形，其中感興趣區(qū)域使用其邊界盒來模擬(包括該盒的最小 矩形)。圖4示出原始圖像41及探測到的感興趣區(qū)域43。圖5示出將 前景圖像置于其中的區(qū)域區(qū)域51-54和56-59以及禁止區(qū)域55。
上述步驟詳細描述了如何自動地構(gòu)造靜態(tài)拼貼畫。然而，靜態(tài)拼 貼畫只能顯示數(shù)目非常有限的圖像，這給出對集合的非常有限的總覽。 通過動態(tài)地及時改變前景圖像和背景圖像使得拼貼畫栩栩如生則可以 解決該問題。為了視覺上連續(xù)，前景圖像變化快于背景圖像。拼貼畫 及時的變化使前景圖像的定位復(fù)雜化。二維裝箱問題從二維問題轉(zhuǎn)變 為三維問題(有關(guān)背景圖像的2個空間維度和1個時間維度)。由于感興趣區(qū)域不是在每幅背景圖像中都相同，可用空間的尺寸變化，因此 組成動態(tài)邊界條件。分離軸定理也可以應(yīng)用于三維裝箱問題，且同樣 可以使用標準方法求出解。如果該問題約束過多(不存在無交疊的解)， 則交疊量最小(和最短)的解可被選擇。另外，在優(yōu)化過程中可考慮 內(nèi)容項的相對重要性(等級)，從而與次重要的前景圖像相比更快和/
或更長時間地顯示重要圖像。重要性/等級例如可以基于ROI的尺寸、 注釋、手動分級、圖像已被看到的次數(shù)來確定。
圖6的電子裝置71為用于產(chǎn)生圖像拼貼畫的電子裝置。電子裝置 71的電子電路73可工作以確定背景圖像中的感興趣區(qū)域，并在該感興 趣區(qū)域外的背景圖像上顯示至少一幅前景圖像。電子裝置71可進一步 包括存儲裝置75、再現(xiàn)裝置77、輸入79和/或輸出81。電子裝置71 可以是固定或便攜裝置。電子裝置71可以是消費類裝置或者專業(yè)裝置。 電子電路73可以是通用或?qū)Ｓ锰幚砥?。電子電?3能夠執(zhí)行計算機 程序。
存儲裝置75例如可包括硬盤、固態(tài)存儲器、光盤讀取器或者全息 存儲裝置。存儲裝置75可存儲前景和/或背景圖像和/或圖像拼貼畫。 再現(xiàn)裝置77例如可包括顯示器和/或揚聲器。再現(xiàn)裝置77可用于顯示 圖像拼貼畫。備選地，輸出81可用于在外部顯示器(未示出)上顯示 圖像拼貼畫。電子裝置71可包括輸入裝置(未示出)，例如觸摸屏或 觸摸板。備選地，輸入79可用于接收來自外部輸入裝置(未示出)的 用戶輸入。該外部輸入裝置例如可以是鼠標、跟蹤球或者數(shù)碼筆。輸 入79和輸出81例如可包括網(wǎng)絡(luò)連接器，諸如USB連接器或以太網(wǎng) 連接器；模擬音頻和/或視頻連接器，諸如cinch連接器或SCART連接 器；或者數(shù)字音頻和/或視頻連接器，諸如HDMI或SPDIF連接器。輸 入79和輸出81可包括無線接收器和/或發(fā)送器。
盡管已經(jīng)結(jié)合優(yōu)選實施例對本發(fā)明進行了描述，應(yīng)當理解對于本 領(lǐng)域技術(shù)人員來說在上述原理范圍內(nèi)的更改是顯而易見的，且因而本 發(fā)明不限于這些優(yōu)選實施例，而是要包括這些更改。本發(fā)明在于各個 和每個新穎的特性特征和特性特征的各個和每個組合。權(quán)利要求中的 參考符號不是對其保護范圍的限制。動詞"包括"及其變形的使用不排 除那些未在權(quán)利要求列出的部件的存在。部件之前使用的冠詞"一"或 "一個"并不排除多個這樣的部件的存在。
7如本領(lǐng)域技術(shù)人員顯而易見的，"裝置"的含義包括任何硬件(諸 如分立或集成的電路或電子元件)或軟件(諸如程序或程序部件)，其 單獨或與其他功能結(jié)合，隔離或與其他部件協(xié)作地在操作中運行或被 設(shè)計為執(zhí)行特定功能。本發(fā)明可以通過包括若干不同部件的硬件以及 通過合適編程的計算機來實施。在列舉若干裝置的裝置權(quán)利要求中， 這些裝置中的若干個可以由一個相同的硬件來實施。"計算機程序"應(yīng) 被理解為存儲在諸如軟盤的計算機可讀取介質(zhì)上、通過諸如互聯(lián)網(wǎng)的 網(wǎng)絡(luò)可下載的、或者通過任何其他方式可購得的任何軟件產(chǎn)品。
權(quán)利要求
1. 一種用于產(chǎn)生圖像拼貼畫的方法，該方法包括以下步驟確定(1)背景圖像(41)中的感興趣區(qū)域(43)；以及在所述感興趣區(qū)域(43)外的所述背景圖像(41)上顯示(3)至少一幅前景圖像。
2. 如權(quán)利要求1所述的方法，其中顯示(3)至少一幅前景圖像的 步驟包括顯示多幅前景圖像，所述背景圖像(41)在所述前景圖像之間 是可見的。
3. 如權(quán)利要求l所述的方法，其中確定(1)所述感興趣區(qū)域(43) 的步驟包括在所述背景圖像(41)中尋找高對比度部分和/或面部。
4. 如權(quán)利要求l所述的方法，還包括通過尋找下述圖像來選擇所述 背景圖像(41)的步驟，所述圖像的感興趣區(qū)域(43)較小和/或不具有 不規(guī)則形狀。
5. 如權(quán)利要求l所述的方法，還包括裁剪所述前景圖像以除去不提 供信息的部分的步驟。
6. 如權(quán)利要求l所述的方法，還包括調(diào)整所述前景圖像的尺寸的步遞
7. 如權(quán)利要求l所述的方法，還包括以某一速度使用另一前景圖像 替換所述前景圖像的步驟，該速度高于使用另 一背景圖像替換所述背景 圖像(41)的速度。
8. 如權(quán)利要求7所述的方法，其中所述前景圖像顯示的持續(xù)時間取 決于所述前景圖^(象的等級。
9. 一種計算機程序，用于使得可編程裝置執(zhí)行如權(quán)利要求1所述的 方法。
10. —種用于產(chǎn)生周像拼貼畫的電子裝置(71 )，其包括電子電樹73 ), 該電子電路(73)可工作以確定背景圖像(41)中的感興趣區(qū)域(43);以及 在所述感興趣區(qū)域(43)外的所述背景圖像(41)上顯示至少一幅 前景圖像。
全文摘要
本發(fā)明的產(chǎn)生圖像拼貼畫的方法包括以下步驟確定背景圖像(41)中的感興趣區(qū)域(43)；以及在該感興趣區(qū)域(43)外的該背景圖像(41)上顯示至少一幅前景圖像。本發(fā)明的電子裝置可工作以執(zhí)行本發(fā)明的方法。本發(fā)明的計算機程序可工作以使得可編程裝置執(zhí)行本發(fā)明的方法。
文檔編號H04N1/387GK101513034SQ200780033639
公開日2009年8月19日 申請日期2007年9月7日 優(yōu)先權(quán)日2006年9月11日
發(fā)明者G·加洛, J·韋達, M·巴比里 申請人:皇家飛利浦電子股份有限公司