專利名稱：圖像布局約束生成的制作方法
技術(shù)領(lǐng)域：
本技術(shù)涉及圖像分析和顯示。更具體地，本技術(shù)的實(shí)施例涉及圖像
布局約束(layout constraint )生成。
背景技術(shù)：
當(dāng)前，存在眾多用于生成比如幻燈片放映(slide show)之類的圖像呈現(xiàn)的系統(tǒng)。這種系統(tǒng)一般分成兩大種類。第一種類可以被描述為完全或基本自動(dòng)型。第二種類最好可以被描述為人工密集型(manuallyintens ive )。
在自動(dòng)型種類中，可用的系統(tǒng)一般獲取圖像集合作為輸入并且呈現(xiàn)幻燈片放映(或某種其他圖像顯示)作為輸出。 一些自動(dòng)系統(tǒng)試圖以某種方式分析大量的試驗(yàn)性圖像布局并設(shè)法選擇這些試驗(yàn)性布局中的"最佳"布局作為最優(yōu)的圖像顯示呈現(xiàn)在觀看區(qū)域中。然而，許多這種自動(dòng)解決方案無需多個(gè)圖像的布局而是筒單地每次呈現(xiàn)單個(gè)圖像。這種自動(dòng)生成的幻燈片放映一般是很基礎(chǔ)的且重復(fù)的，僅偶爾添加一些很基礎(chǔ)的圖像操縱，比如平移(panning)或放大縮小或移動(dòng)圖像。除了生成幻燈片放映的決定之外，通常不要求(或往往不允許)真正的用戶輸入。來自這種自動(dòng)系統(tǒng)的輸出一般是可預(yù)測的且程式化的，如此，最后所得到的呈現(xiàn)風(fēng)格可能在觀眾僅觀看數(shù)次幻燈片放映之后(有時(shí)在僅觀看單次幻燈片放映中的兒個(gè)幻燈片之后)就使觀眾覺得無聊、重復(fù)和乏味。另外，雖然如此，變化往往傾向于使注意力從圖像內(nèi)容轉(zhuǎn)移開，而不是對其進(jìn)行補(bǔ)充或強(qiáng)調(diào)。
在人工密集型種類中，用戶從對圖像呈現(xiàn)沒有控制(或幾乎沒有控制)變成對圖像呈現(xiàn)的每個(gè)方面幾乎具有100%的控制。例如，在這種人工密集型系統(tǒng)中，用戶一般將需要對呈現(xiàn)的每個(gè)圖像布局的以下所有或幾乎所有方面進(jìn)行控制圖像選擇、圖像定位(x-定位、y-定位和z排序(ordering))、圖像移動(dòng)、圖像呈現(xiàn)次序、圖像縮放、圖像比例伸縮(scale)、圖像平移(pan)、呈現(xiàn)速度以及其他這種細(xì)節(jié)。 一般不存在由用來生成幻燈片放映的計(jì)算機(jī)系統(tǒng)或程序提供的自動(dòng)化或智能輔助。這意味著對于使用這種系統(tǒng)而言通常存在很陡的學(xué)習(xí)曲線。因此，初學(xué)者用戶一般將只生成很基礎(chǔ)的、往往重復(fù)的幻燈片放映。為了生成更高級的幻燈片放映，用戶必須花費(fèi)相當(dāng)大量的時(shí)間進(jìn)行訓(xùn)練、實(shí)踐或者這兩者，而且用戶的能力對呈現(xiàn)輸出而言甚至更是決定性的。也就是說，用戶在使用圖像呈現(xiàn)系統(tǒng)或程序方面的技能確定了幻燈片放映或其他圖像呈現(xiàn)輸出的質(zhì)量。因此，在人工密集型系統(tǒng)中，常見的是熟練的用戶要花數(shù)小時(shí)(或更長時(shí)間)來從一組圖像或視頻剪輯中創(chuàng)建幻燈片放映或其他呈現(xiàn)。
隨著使用數(shù)字照相機(jī)和功能強(qiáng)大的觀看設(shè)備(比如個(gè)人計(jì)算機(jī)、媒體中心和數(shù)字投影儀)的迅速增加，對以引人注目的方式顯示圖像內(nèi)容的需要變得日益普遍。然而，如所述的，用于生成比如幻燈片放映的圖像呈現(xiàn)的當(dāng)前系統(tǒng)在被自動(dòng)化時(shí)一般產(chǎn)生乏味的結(jié)果，不然就要求用戶方面的相當(dāng)大的精力和時(shí)間。


被并入本說明書且作為其一部分的附解說明了本發(fā)明的實(shí)施
例，并且連同詳細(xì)描述一起用來解釋以下討論的原理
圖1是依照本發(fā)明的實(shí)施例使用的示例性計(jì)算機(jī)系統(tǒng)的圖示。
圖2是根據(jù)本發(fā)明的一個(gè)實(shí)施例的用于生成圖像呈現(xiàn)的示例性系統(tǒng)
的框圖。
圖3是根據(jù)本發(fā)明的一個(gè)實(shí)施例的示例性布局約束生成器(generator )的框圖。
圖4是根據(jù)本發(fā)明的一個(gè)實(shí)施例的用于生成維度上易處理的圖像布局約束集的示例性方法的流程圖。
圖5是根據(jù)本發(fā)明的 一個(gè)實(shí)施例的示例性用戶風(fēng)格輸入控制面板的表示。
圖6示出了在其上可實(shí)踐本發(fā)明的實(shí)施例的示例性圖像。圖7是根據(jù)本發(fā)明的 一 個(gè)實(shí)施例的用于生成圖像布局約束的示例性方法的流程圖。
除非明確指出，本描述中所涉及的附圖不應(yīng)當(dāng)被理解為是按比例繪制的。
具體實(shí)施例方式
現(xiàn)在詳細(xì)參照本發(fā)明的實(shí)施例，其示例被示于附圖中。雖然本發(fā)明 是結(jié)合各個(gè)實(shí)施例描述的，但是要理解它們不打算把本發(fā)明限制為這些 實(shí)施例。相反，所介紹的技術(shù)旨在覆蓋可包含于如所附權(quán)利要求書限定 的各個(gè)實(shí)施例的精神和范圍之內(nèi)的可選方案、修改和等價(jià)物。而且，在 以下詳細(xì)描述中，闡迷了眾多具體細(xì)節(jié)以便提供對本發(fā)明的徹底理解。 然而，可在沒有這些具體細(xì)節(jié)的情況下實(shí)踐本發(fā)明。在其他情況下，沒 有詳細(xì)描述眾所周知的方法、過程、部件和電路以便不會不必要地使本 發(fā)明的各個(gè)方面不清楚。
除非另外明確指出，如從以下討論中顯而易見的，要明白在整個(gè)本 詳細(xì)描述中，利用比如"應(yīng)用"、"識別"、"基于"、"生成"、"利 用"、"采用"、"確定，，、"提供"等術(shù)語的討論涉及計(jì)算機(jī)系統(tǒng)(比
如圖1的計(jì)算機(jī)100)或者類似電子計(jì)算設(shè)備的動(dòng)作和過程。該計(jì)算機(jī)
系統(tǒng)或類似電子計(jì)算設(shè)備操縱計(jì)算機(jī)系統(tǒng)寄存器和存儲器內(nèi)的表示為 物理(電子)量的數(shù)據(jù)并將其轉(zhuǎn)換為計(jì)算機(jī)系統(tǒng)存儲器或寄存器或者其 他信息存儲、發(fā)送或顯示設(shè)備內(nèi)的類似表示為物理量的其他數(shù)據(jù)。本發(fā) 明還很適合于使用其他計(jì)算機(jī)系統(tǒng)，比如光學(xué)、虛擬和機(jī)械計(jì)算機(jī)。另 外，應(yīng)當(dāng)理解在本發(fā)明的實(shí)施例中，能夠人工執(zhí)行一個(gè)或多個(gè)步驟。 示例性計(jì)算機(jī)系統(tǒng)環(huán)境
現(xiàn)在參照圖1,本發(fā)明的部分由計(jì)算機(jī)可讀且計(jì)算機(jī)可執(zhí)行的指令 組成，所述指令例如駐留在計(jì)算機(jī)系統(tǒng)的計(jì)算機(jī)可用介質(zhì)中。也就是說， 圖1圖解說明了能夠用來實(shí)施本發(fā)明的實(shí)施例(其在下文進(jìn)行討論)的 一種類型的計(jì)算機(jī)的一個(gè)示例。圖1圖解說明了依照本發(fā)明的實(shí)施例使
用的示例性計(jì)算機(jī)系統(tǒng)100。要明白，圖1的系統(tǒng)IOO僅僅是示例性的
并且本發(fā)明能夠在很多不同的計(jì)算機(jī)系統(tǒng)上或在其內(nèi)操作，這些計(jì)算機(jī) 系統(tǒng)包括通用連網(wǎng)計(jì)算機(jī)系統(tǒng)、嵌入式計(jì)算機(jī)系統(tǒng)、路由器、交換機(jī)、 服務(wù)器設(shè)備、客戶端設(shè)備、各種中間設(shè)備/節(jié)點(diǎn)、獨(dú)立計(jì)算機(jī)系統(tǒng)、多 媒體設(shè)備、圖像顯示設(shè)備、數(shù)字照相機(jī)、手持式電子設(shè)備等等。如圖1
所示，圖1的計(jì)算機(jī)系統(tǒng)100很適于具有外圍計(jì)算機(jī)可讀介質(zhì)102,比 如耦合到其上的軟盤、緊湊盤(compact disc)、數(shù)字多功能盤等。
圖1的系統(tǒng)100包括傳送信息的地址/數(shù)據(jù)總線104以及耦合到總 線104的用于處理信息和指令的處理器106A。如圖1所描繪的，系統(tǒng)100還很適合于多處理器環(huán)境，在該多處理器環(huán)境中存在多個(gè)處理器 106A、 106B和106C。相反地，系統(tǒng)100還;f艮適合于具有單個(gè)處理器， 比如處理器106A。處理器106A、 106B和106C可為各種類型微處理器中 的任何一種。系統(tǒng)100還包括數(shù)據(jù)存儲部件(feature)，比如計(jì)算機(jī) 可用的易失性存儲器108，例如隨機(jī)存取存儲器(RAM),其耦合到總線 104用于存儲用于處理器106A、 106B和106C的信息和指令。系統(tǒng)100 還包括計(jì)算機(jī)可用的非易失性存儲器110，例如只讀存儲器(ROM),其 耦合到總線104用于存儲用于處理器106A、 106B和106C的靜態(tài)信息和 指令。系統(tǒng)100中還存在數(shù)據(jù)存儲單元112 (例如，磁盤或光盤及盤驅(qū) 動(dòng)器)，其耦合到總線104用于存儲信息和指令。系統(tǒng)100還包括任選 的字母數(shù)字輸入設(shè)備114，該輸入設(shè)備包括字母數(shù)字鍵和功能鍵并且耦 合到總線104用于向處理器106A或者處理器106A、 106B和106C傳送 信息和命令選擇。系統(tǒng)IOO還包括任選的光標(biāo)控制設(shè)備116,其耦合到 總線104用于向處理器106A或者處理器106A、 106B和106C傳送用戶 輸入信息和命令選擇。本實(shí)施例的系統(tǒng)IOO還包括任選的顯示設(shè)備118, 其耦合到總線104用于顯示信息。
仍參照圖l,任選的顯示設(shè)備118可為液晶設(shè)備、陰極射線管、等 離子體顯示設(shè)備或者其他適合于創(chuàng)建用戶可辨認(rèn)的圖形圖像和字母數(shù) 字字符的顯示設(shè)備。任選的光標(biāo)控制設(shè)備116允許計(jì)算機(jī)用戶動(dòng)態(tài)地用 信號通知(signal )可視符號(光標(biāo))在顯示設(shè)備118的顯示屏上的移 動(dòng)。光標(biāo)控制設(shè)備116的許多實(shí)施方式在本領(lǐng)域中是已知的，包括跟蹤 球、鼠標(biāo)、觸控板、操縱桿或字母數(shù)字輸入設(shè)備114上的能夠用信號通 知給定方向的移動(dòng)或位移方式的特殊鍵?？蛇x地，要明白，光標(biāo)能夠經(jīng) 由來自字母數(shù)字輸入設(shè)備114的輸入利用特殊鍵和鍵序列命令來指引和 /或激活。系統(tǒng)IOO還很適合于接收輸入(比如字母數(shù)字輸入)和/或讓 鼠標(biāo)由其他手段(比如語音命令)來指引。另外，在一些實(shí)施例中，字 母數(shù)字輸入114被配置成用于輸入非字母的語言字符，比如日本漢字 (Kanji)字符。系統(tǒng)100還包括用于耦合系統(tǒng)100和外部實(shí)體的I/O 設(shè)備120。例如，在一個(gè)實(shí)施例中，I/O設(shè)備120是用于實(shí)現(xiàn)系統(tǒng)100 和外部網(wǎng)絡(luò)(比如但不限于互聯(lián)網(wǎng))之間的有線或無線通信的調(diào)制解調(diào) 器。
仍參照圖1,描繪了系統(tǒng)100的各種其他部件。具體而言，當(dāng)存在操作系統(tǒng)112、應(yīng)用程序124、模塊126和數(shù)據(jù)128時(shí)，它們被示為一 般駐留在計(jì)算機(jī)可用的易失性存儲器18 (例如隨機(jī)存取存儲器(RAM)) 和數(shù)據(jù)存儲單元112中的一個(gè)或某種組合內(nèi)。在一個(gè)實(shí)施例中，本發(fā)明 例如被存儲為RAM 108內(nèi)的存儲位置和/或數(shù)據(jù)存儲單元112內(nèi)的存儲 區(qū)域中的應(yīng)用程序124或模塊126。
用于圖像布局約束生成的本技術(shù)的概述
用于圖像布局約束生成的本技術(shù)提供了用于生成圖像布局約束以 應(yīng)用于圖像、圖像組、視頻剪輯或者圖像及視頻的組合的圖像數(shù)據(jù)的方 法和系統(tǒng)，所述圖像、圖像組、視頻剪輯或者圖像及視頻的組合被布置 為呈現(xiàn)在比如幻燈片放映的顯示中。這是有用的，因?yàn)橛糜谶@種呈現(xiàn)的 圖像布局的無約束解集在許多情況下可能幾乎是無窮的。通過選擇性地 和/或隨機(jī)地增加約束，本發(fā)明的實(shí)施例與無約束解集相比縮減了用于 計(jì)算布局和評估布局所需的計(jì)算資源和時(shí)間。
例如，如將變得顯而易見的，本發(fā)明的一個(gè)實(shí)施例提供了用于基于 對圖像內(nèi)容的分析而自動(dòng)選擇某些約束的裝置。這種"智能"的約束選 擇用于通過識別圖像中的重要特征因此它們不會變模糊或被最小化而 相反在可能的時(shí)候被加強(qiáng)來增強(qiáng)圖像的呈現(xiàn)。同樣，本發(fā)明的實(shí)施例還 允許用戶提供一些圖像分析輸入，這些輸入用來生成約束。在一個(gè)實(shí)施 例中，簡單的用戶輸入還用來管理約束的生成，所述約束塑造該呈現(xiàn)的
風(fēng)格外觀。另外，在一個(gè)實(shí)施例中，圖像布局的一個(gè)或多個(gè)隨機(jī)要素 (element )被約束。其中，這種隨機(jī)約束能夠用來把解集縮減到對于 計(jì)算設(shè)備或程序易處理的大小，所述計(jì)算設(shè)備或程序?qū)⑸稍囼?yàn)性 (trial )布局或評估試驗(yàn)性布局。此外，這種隨機(jī)約束還有助于確保 用本發(fā)明的方法和系統(tǒng)生成的呈現(xiàn)無論是在單個(gè)呈現(xiàn)內(nèi)還是在多個(gè)呈 現(xiàn)之間都不會是陳舊的、重復(fù)的。
在一個(gè)實(shí)施例中，然后使這些布局約束可用，以從圖像數(shù)據(jù)中生成 若干試驗(yàn)性布局。在這種實(shí)施例中，然后可以分析該試驗(yàn)性布局以輸出 最優(yōu)布局或布局集從而把圖像、若干圖像、視頻或者其某種組合視覺地 呈現(xiàn)在例如幻燈片放映式的呈現(xiàn)中。因而，本技術(shù)提供了允許創(chuàng)建自動(dòng) 或半自動(dòng)圖像呈現(xiàn)的方法和系統(tǒng)，所述圖像呈現(xiàn)由圖像布局組成，所述 圖像布局一般加強(qiáng)正顯示的內(nèi)容并且本質(zhì)上不會重復(fù)或乏味。此外，本 技術(shù)允許用戶借助于簡單的控制裝置輸入到圖像布局的約束生成中，這些簡單的控制裝置易于操作并且就用戶而言不要求培訓(xùn)、實(shí)踐或特定技能。
討論和無述
圖2示出了示例性系統(tǒng)200的部件的框圖，該系統(tǒng)能夠用來生成優(yōu) 化的圖像呈現(xiàn)。作為示例而非限制，在一個(gè)實(shí)施例中系統(tǒng)200用來根據(jù) 圖像、圖像組、視頻或者其某種組合的圖像數(shù)據(jù)生成優(yōu)化的幻燈片放映 式呈現(xiàn)。系統(tǒng)200被圖解說明且提供示出示例性布局約束生成器220的 一個(gè)使用的框架。以下討論將始于簡單描述系統(tǒng)2 00的結(jié)構(gòu)和總體操作。 討論將接著描述布局約束生成器220的結(jié)構(gòu)。然后討論將轉(zhuǎn)向描述在用 于生成維度上易處理的圖像布局約束集的示例性方法中使用的布局約 束生成器220的部件。然后討論繼續(xù)描迷在用于生成圖像布局約束的示 例性方法中使用的布局約束生成器220的部件。雖然線條圖與本文所示 的示例結(jié)合使用，但是應(yīng)當(dāng)明白這些線條圖(例如，圖6所示的圖像) 表示本文所描述的技術(shù)打算在其上操作或與其結(jié)合操作的示例性數(shù)字 圖像和/或照片。
用于生成優(yōu)化的圖像呈現(xiàn)的示例性系統(tǒng)
關(guān)于該結(jié)構(gòu)，系統(tǒng)200由圖像分析器205、布局優(yōu)化器210、試驗(yàn) 性布局生成器215和布局約束生成器220組成。如圖2所示，圖像分析 器205和試驗(yàn)性布局生成器215兩者都接收圖像數(shù)據(jù)(比如圖像的數(shù)字 表示)作為輸入。
圖像分析器2 0 5接收圖像數(shù)椐作為輸入并且利用本領(lǐng)域已知的多種 圖像分析技術(shù)中的 一種或多種來執(zhí)行圖像數(shù)據(jù)的分析以在圖像內(nèi)定位 對象和/或識別顯著區(qū)域和特征。作為示例，在一個(gè)實(shí)施例中，圖像分 析器205分析每個(gè)圖像或視頻幀圖像的圖像數(shù)據(jù)的內(nèi)容以在該圖像內(nèi)定 位較顯著和不大顯著的區(qū)域或?qū)ο蟆Ｔ谝粋€(gè)這種實(shí)施例中，圖像分析器 205以所分析的圖像的顯著性圖(saliency map)的形式輸出圖像分析 數(shù)據(jù)。
用于辨認(rèn)對象并確定圖像的顯著(或感興趣)部分的技術(shù)是已知的 并且在諸如以下作品中進(jìn)行了描述1998年11月的IEEE Transactions on Pattern Analysis and Machine Intel 1 igence上的Laurent Itti、 Chr istof Koch和Ernst Niebur的 "A Model of Sal iency-Based Visual Attention for Rapid Scene Analysis,';和3001年7月13曰的SecondInternational Workshop on Statistical and Computational Theories of Vi s ion—modeling， Learning, Computing, and Sampl ing上的Paul Viola和Michael Jones的"Robust Real-Time Object Detection,'。
顯著性圖一般提供特定圖像的顯著區(qū)域的對應(yīng)映射。 一般地圖像區(qū) 域(其可能小至圖像的像素)的顯著性在顯著性圖/數(shù)據(jù)中具有對應(yīng)的 分?jǐn)?shù)。例如，圖像的顯著性圖可由相關(guān)圖像的灰度圖組成。在這種顯著 性圖中，顯著性值可在例如從O到255的尺度上進(jìn)行分配，其中最高顯 著性由白色像素表示且值為255,而最低顯著性由黑色像素表示且值為 0。因而，在這種方式下，圖像分析器205標(biāo)記顯著特征，比如對象、 面部以及好像是圖像的感興趣區(qū)域的那些部位。顯著性圖和其他圖像分 析數(shù)據(jù)從圖像分析器205輸出并且耦合到布局優(yōu)化器210和布局約束生 成器220作為輸入。
布局約束生成器220用來生成布局約束，這些布局約束用來確定圖 像的布局。布局約束生成器220生成可應(yīng)用于圖像或多個(gè)圖像的布局的 約束，所述布局打算為固定的(stationary )(例如， 一個(gè)圖像或共 享觀看區(qū)域的多個(gè)圖像的單一投影或打印的顯示)。布局約束生成器220 還生成可應(yīng)用于圖像、多個(gè)圖像、視頻或其組合的圖像布局的約束，所 述圖像布局打算用于時(shí)變顯示(例如，幻燈片放映式呈現(xiàn)，其循環(huán)經(jīng)過 各種布局且其中特定布局中的圖像或多個(gè)圖像可在呈現(xiàn)觀看區(qū)域內(nèi)移 動(dòng)或者在呈現(xiàn)觀看區(qū)域上平移)。布局約束包括對圖像大小、x-y位置、 z排序、移動(dòng)、移動(dòng)速度、纟#放、平移、圖像顏色、顯示速度、淡入、 淡出、旋轉(zhuǎn)、圖像間的重疊、被標(biāo)記用于突出顯示的圖像區(qū)域、圖像剪 裁、呈現(xiàn)主題等等的約束。
如將進(jìn)一步描述的，在各個(gè)實(shí)施例中，布局約束生成器220基于自 動(dòng)圖像分析、用戶輸入、默認(rèn)設(shè)置和隨機(jī)選擇來生成約束。布局約束生 成器220經(jīng)由耦合到試驗(yàn)性布局生成器215的輸出227輸出生成的布局 約束集，所述布局約束定義維度上縮減的解集。這些約束限制能夠從來 自圖像、圖像組、視頻或其組合的圖像數(shù)據(jù)中生成的布局?jǐn)?shù)量及類型的 解空間。為了簡化本發(fā)明的描述，特別是簡化布局約束生成器220的操 作，接下來的示例和描述將針對布局約束生成器220與一個(gè)圖像或閨像 組的4吏用。
試驗(yàn)性布局生成器215接收生成的布局約束以及圖像數(shù)據(jù)作為輸入，所述布局約束定義維度上縮減的解集。試驗(yàn)性布局生成器215采用 經(jīng)由耦合(coupling) 227接收的布局約束來從同樣作為輸入接收的圖 像數(shù)椐中生成圖像的 一 個(gè)或多個(gè)試驗(yàn)性布局。對布局進(jìn)行約束減少了能 夠布置任何圖像組的自由度，并且因而通過減小要求試驗(yàn)性布局生成器 生成的可能試驗(yàn)性布局的排列(permutation)數(shù)量，縮減了解集。這 還縮減了生成試驗(yàn)性布局所需的時(shí)間量，因而加快了呈現(xiàn)的創(chuàng)建。試驗(yàn) 性布局生成器215把生成的試驗(yàn)性布局輸出給布局優(yōu)化器210。
布局優(yōu)化器210接收圖像分析數(shù)據(jù)和試驗(yàn)性布局作為輸入。布局優(yōu) 化器210釆用圖像分析數(shù)據(jù)來給特定圖像組的每個(gè)接收的圖像布局打分 并且然后選擇得到最好分?jǐn)?shù)的最優(yōu)布局。為了執(zhí)行這種打分和選擇，布 局優(yōu)化器210使用各種布局優(yōu)化技術(shù)中的一種或多種。例如，在一個(gè)實(shí) 施例中布局優(yōu)化器210計(jì)算在布局中圖像的任何遮蔽、剪裁或以其他方 式不可見的區(qū)域的成本。在其他實(shí)施例中，布局優(yōu)化器210還為最大化 該顯示的試驗(yàn)性布局選擇圖像的較顯著部分，同時(shí)最小化圖像的不大顯 著部分的顯示。然后從一組試驗(yàn)性布局中把被認(rèn)為最優(yōu)的布局例如輸出 到顯示器或者作為比如幻燈片放映式呈現(xiàn)之類的呈現(xiàn)的一部分。
示例性布局約束生成器
圖3是根椐本發(fā)明的一個(gè)實(shí)施例的示例性布局約束生成器220的框 圖。布局約束生成器220由圖像分析約束選擇器321、風(fēng)格約束選擇器 323和隨機(jī)約束器325組成。如圖3所示，圖像分析約束選擇器321、 風(fēng)格約束選擇器323和隨機(jī)約束器325都彼此耦合并耦合到公共輸出 227。該耦合允許按照需要在布局約束生成器220的單元之間交換信息。 這種耦合還允許布局約束生成器220輸出布局約束以供例如系統(tǒng)200 (圖2)的其他單元(比如試驗(yàn)性布局生成器215)使用，所述布局約
束定義了維度上縮減的布局解集。
在一個(gè)實(shí)施例中，圖像分析約束選擇器321被配置成基于對一個(gè)或 多個(gè)圖像或其對應(yīng)的圖像分析數(shù)據(jù)的分析來生成一個(gè)或多個(gè)布局約束。 例如，在一個(gè)實(shí)施例中，該分析是自動(dòng)的并且通過檢查和解釋作為輸入 提供的圖像分析數(shù)據(jù)來執(zhí)行。這種分析包括例如自動(dòng)確定圖像的較顯 著和不大顯著部分，自動(dòng)定位圖像中的面部，自動(dòng)確定圖像中的主線， 自動(dòng)確定圖像亮度，自動(dòng)確定圖像中的顏色變化，以及自動(dòng)確定圖像的 分辨率。這種自動(dòng)分析允許圖像分析約束選擇器321生成圖像分析約束，所 述圖像分析約束例如管理應(yīng)當(dāng)顯示每個(gè)圖像的哪些部分(比如通過縮 放、平移、剪裁，或當(dāng)被另一圖像部分重疊時(shí)的可見性)。這種約束還 管理基于例如圖像的顯著區(qū)域的分辨率是否要允許縮放或比例縮放以 及縮放或比例縮放多少。在可能的時(shí)候，這些約束還指定在顯示中應(yīng)當(dāng) 剪裁、覆蓋或以其他方式最小化圖像的哪些部分。圖像分析約束選擇器 321還基于例如圖像的主線(如果存在的話)生成對圖像移動(dòng)和圖像平 移的約束。因而，在一個(gè)實(shí)施例中，例如，如果檢測到主線，則圖像分 析約束選擇器321生成允許圖像平移或移動(dòng)的約束；同樣如果沒有檢測 到主線，則生成不允許平移或移動(dòng)的約束。在這種實(shí)施例中，圖像分析 約束選擇器321被配置為基于圖像的自動(dòng)圖像內(nèi)容分析的圖像分析約 束，所述圖像分析約束縮減了要不然會在缺少這種約束時(shí)產(chǎn)生并評估的 次最優(yōu)和不希望的試驗(yàn)性圖像布局?；趫D像內(nèi)容分析的這些約束還促 進(jìn)了試驗(yàn)性布局的生成，所述試驗(yàn)性布局加強(qiáng)了通過圖像分析所檢測的 圖像的希望特性(比如顯著區(qū)域)并且類似地最小化了不希望的特性(比 如圖像中顯著性低的區(qū)域)。
在一個(gè)實(shí)施例中，圖像分析約束選擇器321通過用戶圖像分析輸入 來補(bǔ)充自動(dòng)分析。在這種實(shí)施例中，圖像分析約束選擇器321被配置成 全部或部分基于圖像的用戶圖像內(nèi)容分析或圖像的圖像分析數(shù)據(jù)來生 成一個(gè)或多個(gè)圖像分析布局約束。例如，在一個(gè)實(shí)施例中，允許用戶對 下列項(xiàng)進(jìn)行簡單選擇圖像的哪些部分應(yīng)當(dāng)被給予高優(yōu)先級進(jìn)行顯示和 /或圖像的哪些部分應(yīng)當(dāng)被給予低優(yōu)先級進(jìn)行顯示。在一個(gè)實(shí)施例中， 用戶還標(biāo)記或確認(rèn)具有高顯著性的面部和其他對象的位置。同樣，在一 些實(shí)施例中用戶標(biāo)記或確認(rèn)所分析的一個(gè)或多個(gè)圖像的剪裁選擇和主 線方向。圖像分析約束選擇器321使用這些及其他類似用戶輸入連同自 動(dòng)輸入一起作為生成約束的基礎(chǔ)，例如以執(zhí)行對圖像的特定剪裁、顯示 圖像的特定部分、不顯示圖像的特定部分，允許對圖像的特定部分進(jìn)行 縮放，允許特定圖像的平移或移動(dòng)等等。
在一個(gè)實(shí)施例中，風(fēng)格約束選擇器323被配置成基于圖像或多個(gè)圖 像的所選擇的呈現(xiàn)風(fēng)格(比如時(shí)變幻燈片放映式呈現(xiàn)風(fēng)格)來生成一個(gè) 或多個(gè)布局約束。這種風(fēng)格約束可根據(jù)自動(dòng)選擇的或用戶定義的默認(rèn)設(shè) 置來生成或者是基于簡單的用戶輸入，該用戶輸入控制風(fēng)格約束的自動(dòng)生成，所述風(fēng)格約束塑造用于顯示一個(gè)或多個(gè)圖像的呈現(xiàn)風(fēng)格。這種風(fēng) 格布局約束例如是根據(jù)包括下列項(xiàng)的呈現(xiàn)風(fēng)格的自動(dòng)和/或用戶選擇的
輸入以及其他風(fēng)格呈現(xiàn)的風(fēng)格輸入來生成的圖像呈現(xiàn)速度(運(yùn)動(dòng)速率、 平移速率、顯示圖像的時(shí)間量、布局間的變化突然性，等等)；每個(gè)布 局的圖像數(shù)量(例如， 一個(gè)圖像， 一個(gè)以上圖像，可變數(shù)量的圖像，等 等)；圖像主題(例如，呈現(xiàn)的顏色飽和度和/或諧調(diào)性，等等)。
在一個(gè)實(shí)施例中，隨機(jī)約束器325被配置成用于隨機(jī)地生成維度解 空間(dimensional solution space)的零個(gè)或多個(gè)布局約束，該維度 解空間與圖像或多個(gè)圖像的呈現(xiàn)(比如時(shí)變幻燈片放映式呈現(xiàn))相關(guān)聯(lián)。 在一個(gè)實(shí)施例中，隨機(jī)約束器325生成的這種隨機(jī)約束足以把解空間的 維數(shù)限制為易處理的水平，該易處理的水平對于特定計(jì)算資源(比如圖 像呈現(xiàn)軟件)或負(fù)責(zé)處理根椐圖像布局約束生成的布局或呈現(xiàn)的特定處 理器或計(jì)算資源而言是計(jì)算上最優(yōu)可行的。在一個(gè)實(shí)施例中，生成隨機(jī) 約束以僅對解空間的否則無約束的維度進(jìn)行約束。因而，隨機(jī)約束器325 分析來自圖像分析約束選擇器321和風(fēng)格約束選擇器323的布局約束、 解空間的剩余的無約束維度以及計(jì)算資源的能力。
在一個(gè)實(shí)施例中，基于該分析，隨機(jī)約束器325可確定解空間還不 是易處理的。作為響應(yīng)，隨機(jī)約束器325然后隨機(jī)地約束解集的足夠維 度以使得該集解集進(jìn)入(bring into)對計(jì)算資源而言最優(yōu)易處理的范 圍。在一個(gè)實(shí)施例中，對于特定圖像或圖像組的布局而言，隨機(jī)約束器 325通過生成布局約束來實(shí)現(xiàn)此，所述布局約束對先前還未受圖像分析 約束或風(fēng)格約束所約束的維度加以約束。這可以包括生成剛好足以使得 解集易處理的布局約束或者多于足以使得解集易處理的布局約束。
類似地，在一個(gè)實(shí)施例中，基于這一分析，隨機(jī)約束器325可確定 因?yàn)樽銐虻募s束或過約束解空間對于計(jì)算資源而言已經(jīng)易處理。作為響 應(yīng)，隨機(jī)約束器325然后要么不隨機(jī)地生成布局約束要么隨機(jī)地生成一 個(gè)或多個(gè)附加布局約束。通過隨機(jī)地生成附加布局約束，隨機(jī)約束器325 或者加快試驗(yàn)性布局生成過程和呈現(xiàn)生成過程，或者提供根據(jù)這些約束 生成的最后得到的試驗(yàn)性布局的變化，或者這兩者。
同樣，在一個(gè)實(shí)施例中，基于這一分析，隨機(jī)約束器325可確定因 為約束不足解空間對于計(jì)算資源而言不易處理。作為響應(yīng)，隨機(jī)約束器 325然后要么不隨機(jī)地生成布局約束，要么生成比使得解集達(dá)到對計(jì)算資源而言的最優(yōu)易處理所需的更少的約束。通過偶然地(例如隨機(jī)地)
不生成約束或生成比最優(yōu)所要求的更少的約束，隨機(jī)約束器325產(chǎn)生計(jì) 算資源可能略微過載的情形。計(jì)算資源將不能執(zhí)行解空間的窮舉性搜 索，因此在某個(gè)點(diǎn)上將不得不提供"目前所能達(dá)到的最佳"型解。這就 迫使計(jì)算資源在其允許的時(shí)間內(nèi)竭盡全力。在這種情況下，隨機(jī)約束器 325通過在諸如試驗(yàn)性布局生成和呈現(xiàn)最優(yōu)化的過程期間留下額外的無 約束維度起作用，增加最后得到的布局的變化。
在一個(gè)實(shí)施例中，隨機(jī)約束器325還把由圖像分析約束選擇器321 和風(fēng)格約束選擇器323所選擇的約束連同由隨機(jī)約束器325生成的任何 隨機(jī)約束一起合并。所合并的約束然后耦合到輸出227作為 一組約束集， 其定義了圖像布局的維度上縮減的解集。在其他實(shí)施例中，合并功能性 還可以位于布局約束生成器220或其他元件或布局約束生成器220中。
示例性操作方法
通過描述示例性實(shí)施例，以下討論詳細(xì)闡述本發(fā)明的操作。參照圖 4和7，流程圖400和700每個(gè)都圖解說明了由本發(fā)明的各個(gè)實(shí)施例所 使用的示例性步驟。流程圖400和700包括在各個(gè)實(shí)施例中由處理器在 計(jì)算機(jī)可讀且計(jì)算機(jī)可執(zhí)行指令的控制下執(zhí)行的過程。計(jì)算機(jī)可讀且計(jì)
算機(jī)可執(zhí)行指令例如駐留在外圍計(jì)算機(jī)可讀介質(zhì)102中或者駐留在數(shù)據(jù) 存儲部件中，所述數(shù)據(jù)存儲部件比如圖1的計(jì)算機(jī)可用的易失性存儲器 108、計(jì)算機(jī)可用的非易失性存儲器110和/或數(shù)椐存儲單元112。該計(jì) 算機(jī)可讀且計(jì)算機(jī)可執(zhí)行指令用來控制例如圖1的處理器106A和/或處 理器106A、 106B和106C或者與其結(jié)合操作。雖然在流程圖400和700 中公開了具體步驟，但是這些步驟是示例性的。也就是說，這些實(shí)施例 很適合于執(zhí)行各種其他步驟或流程圖400和700中所述的步驟的變型。 要明白，流程圖400和700中的步驟可以與所給出的不同的次序來執(zhí)行， 并且不是流程圖400和700中的所有步驟都要被執(zhí)行。 生成維度上易處理的布局約束集
圖4是根椐本發(fā)明的一個(gè)實(shí)施例的用于生成維度上易處理的圖像布 局約束集的方法的流程圖400。
在流程圖400的410,在一個(gè)實(shí)施例中，應(yīng)用所選擇的約束以限制 高維度解空間的維度。所選擇的限制是通過圖像分析約束選擇器321或 通過風(fēng)格約束選擇器32 3應(yīng)用的，并且可以是圖像分析約束或風(fēng)格約束 類似地，在一個(gè)實(shí)施例中，多個(gè)這種圖像分析約束、風(fēng)格約束或其組合 被應(yīng)用以限制高維度解空間的多個(gè)維度。
風(fēng)格約束選擇器323選擇并應(yīng)用風(fēng)格約束，所述風(fēng)格約束基于預(yù)定 風(fēng)格默認(rèn)、基于用戶定義的風(fēng)格輸入或基于其組合。圖5 (下面討論) 圖解說明了 一組簡化的風(fēng)格輸入控制的一個(gè)實(shí)施例，用戶采用這組輸入 控制來生成到風(fēng)格約束選擇器323的用戶風(fēng)格輸入，或者其可以包括風(fēng) 格約束選擇器323的默認(rèn)設(shè)置。
圖像分析約束選擇器321選擇并應(yīng)用圖像分析約束，所述圖像分析 約束基于對圖像或圖像組的圖像內(nèi)容的自動(dòng)分析(其采用圖像分析數(shù) 據(jù))、基于對圖像或圖像組的圖像內(nèi)容的用戶分析或基于其組合。圖6 (下面討論)顯示了自動(dòng)和用戶提供的圖像分析輸入的一些示例。
在流程圖400的420,在一個(gè)實(shí)施例中，通過隨機(jī)選擇來識別高維 度解空間的一個(gè)或多個(gè)無約束維度。當(dāng)被約束時(shí)，這些隨機(jī)選擇的約束 把高維度解空間進(jìn)一步限制到維度上易處理的解空間，其中該維度上易 處理的解空間的易處理與計(jì)算機(jī)資源的能力相關(guān)聯(lián)。因而在一個(gè)實(shí)施例 中，隨機(jī)約束器325接收并分析由圖像分析約束選擇器321和/或風(fēng)格 約束選擇器323應(yīng)用的任何約束或多個(gè)約束。圖像分析約束選擇器325
確定對于特定的圖像或圖像組還存在圖像布局的多少維度自由度 (dimensional degrees of freedom)。圖像分析約束選擇器325還確 定(例如，經(jīng)由默認(rèn)設(shè)置或輪詢請求)諸如處理器或圖像分析程序的特 定計(jì)算資源能夠?qū)Χ嗌贌o約束的維度自由度進(jìn)行有效求解。
在一個(gè)實(shí)施例中，隨機(jī)約束器325然后隨機(jī)地選擇并約束足夠的無 約束維度以把無約束維度(自由度)縮減到對計(jì)算資源而言易處理的水 平。因而，例如，對于嵌入式設(shè)備，維度自由度可被縮減到一個(gè)或兩個(gè) 維度；或者對于高功率個(gè)人計(jì)算機(jī)，維度自由度可被縮減到四個(gè)或五個(gè) 維度。例如，考慮其中隨機(jī)約束器325確定對于特定圖像組的布局還存 在十個(gè)無約束維度的實(shí)施例。在這個(gè)示例中，隨機(jī)約束器325還確定當(dāng) 存在五個(gè)或更少無約束自由維度時(shí)，比如試驗(yàn)性布局生成器215中的處 理器的計(jì)算資源最優(yōu)能夠生成這組圖像的布局。作為響應(yīng)，隨機(jī)約束器
約束布局維度的數(shù)量為五個(gè)或更少。、因此，在這種'^況下^隨機(jī)約束器 325可通過選擇并應(yīng)用布局約束來隨機(jī)地生成對剩余的無約束維度的五個(gè)約束。在另一這種情況下，隨機(jī)約束器325相反可以隨機(jī)地約束剩余 的十個(gè)無約束維度中的五個(gè)以上維度，以加快試驗(yàn)性布局生成和最優(yōu)化 的過程，或者對最終呈現(xiàn)增加變化，或者這兩者。
在另一實(shí)施例中，隨機(jī)約束器325隨機(jī)地決定生成比獲得對特定計(jì) 算資源而言最優(yōu)易處理的解空間所需的約束更少的約束。例如，考慮如 下實(shí)施例其中隨機(jī)約束器325確定還存在十個(gè)無約束維度并且當(dāng)存在 五個(gè)或更少無約束維度時(shí)計(jì)算資源最優(yōu)地操作。作為響應(yīng)，隨機(jī)約束器 325隨機(jī)地約束四個(gè)或更少的無約束維度使得解空間仍然在該計(jì)算資源 的最優(yōu)易處理之外。因此，在一個(gè)這樣的情況下，隨機(jī)約束器325可以 生成零布局約束以約束無約束維度。而在另一這樣的情況下，隨機(jī)約束 器325可生成布局約束以約束兩個(gè)、三個(gè)或四個(gè)維度。
在流程圖400的430，在一個(gè)實(shí)施例中，提供圖像布局約束集以用 于生成試驗(yàn)性圖像布局，其中該布局約束集定義了維度上易處理的解空 間。在一個(gè)實(shí)施例中，隨機(jī)約束器325累積由圖像分析約束選擇器321 和風(fēng)格約束選擇器323所生成的應(yīng)用的布局約束。在把任何隨機(jī)應(yīng)用的 約束添加到其他累積的約束之后，隨機(jī)約束器325把所有這些布局約束 作為定義了對特定計(jì)算資源而言維度上易處理的解空間的布局約束集 在輸出227上輸出.在另一實(shí)施例中，替代(或除了 )輸出整個(gè)布局約 束集，隨機(jī)約束器325以如下方式輸出從該約束集中導(dǎo)出的布局約束的 排列每個(gè)排列能夠用來生成落入該維度上易處理的解空間的試驗(yàn)性布 局。
圖5是根據(jù)本發(fā)明的一個(gè)實(shí)施例的示例性用戶風(fēng)格輸入控制面板 500的表示?？刂泼姘?00由下列項(xiàng)組成速度控制510和伴隨的速度 選擇器511;每布局圖像控制520和伴隨的每布局圖像選擇器521;主 題1控制530和伴隨的主題1選擇器531;以及主題2控制540和伴隨 的主題2選擇器541。每個(gè)控制(510、 520、 530和540 )被示出配置為 滑動(dòng)控制，其中通過把相關(guān)選擇器(511、 521、 531和541)定位到其 滑板上的適當(dāng)位置來選擇輸入。在一個(gè)實(shí)施例中，控制500被配置為顯 示設(shè)備(比如顯示設(shè)備118 (圖1 ))上的可選擇區(qū)域并且經(jīng)由光標(biāo)控 制(比如計(jì)算機(jī)系統(tǒng)100的光標(biāo)控制116 (都見圖1 ))的使用來操縱。 要明白，包括旋轉(zhuǎn)控制、可選擇框、下拉菜單等等的其他控制裝置容易 替換圖5所示的那些控制，并且因此落入本發(fā)明的范圍。還要明白，風(fēng)格輸入控制面板50G中所示的這些控制僅僅是示例性的，并且類似的控 制面板的其他實(shí)施例配備有不同的或附加的用戶可選擇輸入。
速度控制510為用戶輸入控制圖像或圖像組的呈現(xiàn)速度的各個(gè)要素 (element)提供了簡化裝置。例如，用戶通過沿速度控制510的長度 定位滑塊511以提供對應(yīng)于慢512、中513、或快514的輸入來選擇速 度輸入。經(jīng)由來自控制510的輸入選擇，風(fēng)格約束選擇器323選擇并應(yīng) 用一個(gè)或多個(gè)速度約束以限制高維度解集的維度。例如，(如所示的) 慢512、中513、或快514的輸入選擇被用來選擇和應(yīng)用各種速度相關(guān) 的約束。作為示例而非限制，在一個(gè)實(shí)施例中，快514的選擇對應(yīng)于每 圖像布局五秒顯示時(shí)間的約束、 一秒淡入的約束、 一秒淡出的約束以及 在適當(dāng)?shù)臅r(shí)候快縮放速率的約束和快平移速率的約束。
每布局圖像控制520為用戶輸入控制放置在為呈現(xiàn)生成的每個(gè)試驗(yàn) 性布局中的圖像數(shù)量提供了簡化裝置。例如，用戶通過沿每布局圖像控 制520的長度定位滑塊521以提供對應(yīng)于每布局一個(gè)圖像522、每布局 一個(gè)以上圖像523或每布局可變數(shù)量圖像524的輸入來選擇"每布局圖 像"輸入。經(jīng)由來自控制520的輸入選擇，風(fēng)格約束選擇器323通過約 束將在每個(gè)試驗(yàn)性布局中使用的圖像數(shù)量來選擇并應(yīng)用約束以限制高 維度解集的維度。例如，在一種情況下，"一個(gè)"522的輸入選擇將導(dǎo) 致使得所生成的布局具有單個(gè)圖像的約束。同樣，在一種情況下，"一 個(gè)以上"523的輸入將導(dǎo)致使得生成在每個(gè)布局中具有一個(gè)以上圖像的 布局的約束。類似地，在一種情況下，(所示的)"可變"524的輸入 將導(dǎo)致使得生成在每個(gè)布局中具有一個(gè)或一個(gè)以上圖像的布局的約束。 要明白，在其他實(shí)施例中，可為用戶提供每布局附加的和/或不同的圖 像選擇。
主題1控制530為用戶輸入控制圖像或圖像組的呈現(xiàn)主題的各個(gè)要 素提供了簡化裝置。例如，用戶通過沿主題1控制530的長度定位滑塊 531以提供對應(yīng)于一致(harmony) 532或不一致533的輸入來選擇主題 1輸入。經(jīng)由來自控制530的輸入選擇，風(fēng)格約束選擇器323選擇并應(yīng) 用一個(gè)或多個(gè)主題約束以限制高維度解集的維度。例如，(如所示的) 一致532的輸入選擇被用來選擇并應(yīng)用這樣的主題約束，所迷主題約束 將平移限制到具有主線的圖像，并且進(jìn)一步將平移約束到與所平移的圖 像的主線平行(一致)的方向。類似地，不一致533的輸入將平移限制到具有主線的圖像，并且進(jìn)一步將平移約束到與所平移的圖像的主線垂 直(對立)的方向。
主題2控制5 4 0為用戶輸入控制圖像或圖像組的呈現(xiàn)主題的各個(gè)要 素提供了第二簡化裝置。例如，用戶通過沿主題2控制540的長度定位 滑塊541以提供對應(yīng)于淺色542、混合色543或深色544的輸入來選擇 主題2輸入。經(jīng)由來自控制540的輸入選擇，風(fēng)格約束選擇器323選擇 并應(yīng)用 一個(gè)或多個(gè)主題約束以限制高維度解集的維度。作為示例而非限 制，(如所示的)深色544的輸入選擇被用來選擇并應(yīng)用把具有相似顏 色或互補(bǔ)顏色的圖像分組成含有多個(gè)圖像的布局或分組成一 系列布局 的主題約束。同樣，深色544的選擇應(yīng)用阻止或減少沒有鮮明顏色的圖 像的顯示的主題約束。類似地，在適當(dāng)?shù)那闆r下，深色544的選擇還應(yīng) 用在布局內(nèi)促進(jìn)縮放到顏色鮮明的圖像部分或從其縮放以及在所述顏 色鮮明的圖像部分上平移的主題約束。
在一個(gè)實(shí)施例中，控制510、 520、 530和540 (以及可能使用的其 他控制)配備有用于呈現(xiàn)風(fēng)格的自動(dòng)或用戶定義的默認(rèn)風(fēng)格約束設(shè)置， 所述設(shè)置由風(fēng)格約束選擇器323用作輸入以便在不存在用戶改變默認(rèn)設(shè) 置的情況下選擇并應(yīng)用約束。例如，在一個(gè)實(shí)施例中默認(rèn)呈現(xiàn)風(fēng)格由默 認(rèn)設(shè)置為中513的速度控制510、默認(rèn)設(shè)置為"一個(gè)"522的每布局圖 像控制520、默認(rèn)設(shè)置為一致532的主題1控制以及具有默認(rèn)設(shè)置為混 合色543的主題2控制組成。
圖6示出了在其上可實(shí)踐本發(fā)明的實(shí)施例的示例性圖像610和620。
參照圖像610,飛機(jī)611表示圖像分析約束選擇器321經(jīng)由作為輸 入接收的圖像分析數(shù)據(jù)而自動(dòng)識別的顯著對象(感興趣對象)。同樣， 區(qū)域615是具有很少顯著性或沒有顯著性的圖像610的自動(dòng)識別的區(qū) 域。在一個(gè)實(shí)施例中，響應(yīng)于這種對象和區(qū)域的自動(dòng)識別，圖像分析約 束選擇器321選擇并應(yīng)用一個(gè)或多個(gè)圖像分析約束。作為示例，在一個(gè) 實(shí)施例中，圖像分析約束選擇器321選擇并應(yīng)用使得對象611被顯示在 含有圖像610的任何布局中的約束。同樣，在一個(gè)實(shí)施例中，圖像分析 約束選擇器321選擇并應(yīng)用使得區(qū)域615在含有圖像610的任何布局中 被剪裁、重疊、最小化或不顯示的約束。
在圖6中，線條613表示與飛機(jī)6U的長度對應(yīng)的圖像610的主線 的方向。在一個(gè)實(shí)施例中，已經(jīng)經(jīng)由輸入到圖像分析約束選擇器321的用戶圖像分析輸入識別了主線613。響應(yīng)于主線613的用戶識別(或一 些其他用戶輸入)，圖像分析約束選擇器321選擇并應(yīng)用一個(gè)或多個(gè)圖 像分析約束。作為示例而非限制，在一個(gè)實(shí)施例中，圖像分析約束選擇 器321選擇并應(yīng)用允許圖像610在平行于主線613的方向上一致平移的 約束以及允許圖像610在垂直于主線613的方向上不一致平移的約束。
參照圖像620,人622表示圖像分析約束選擇器321經(jīng)由作為輸入 接收的圖像分析數(shù)據(jù)而自動(dòng)識別的顯著對象(感興趣對象)。同樣，區(qū) 域626是具有很少顯著性或沒有顯著性的圖像620的自動(dòng)識別的區(qū)域。 在一個(gè)實(shí)施例中，響應(yīng)于對象和區(qū)域的自動(dòng)識別，圖像分析約束選擇器 321選擇并應(yīng)用一個(gè)或多個(gè)圖像分析約束。作為示例，在一個(gè)實(shí)施例中， 圖像分析約束選擇器321選擇并應(yīng)用使得對象622被顯示在含有圖像 620的任何布局中的約束。同樣，在一個(gè)實(shí)施例中，圖像分析約束選擇 器321選擇并應(yīng)用使得區(qū)域626在含有圖像620的任何布局中被剪裁、 重疊、最小化或不顯示的約束。
虛線圓圈624表示在圖像620中識別的具有很高顯著性的區(qū)域(面 部)。在一個(gè)實(shí)施例中，已經(jīng)由圖像分析約束選擇器321根據(jù)作為輸入 接收的圖像分析數(shù)據(jù)自動(dòng)識別了區(qū)域624。此外，在一個(gè)這種實(shí)施例中， 用戶圖像分析輸入已被圖像分析約束選擇器321接收以確認(rèn)將區(qū)域624 正確識別為具有很高顯著性的區(qū)域。響應(yīng)于區(qū)域624或者其他具有很高 顯著性的類似區(qū)域的識別，圖像分析約束選擇器321選擇并應(yīng)用一個(gè)或 多個(gè)圖像分析約束。作為示例而非限制，在一個(gè)實(shí)施例中，圖像分析約 束選擇器321選擇并應(yīng)用允許縮放到圖像620的區(qū)域624以及從該區(qū)域 縮放和/或允許放大該區(qū)域的約束。
生成圖像布局約束
圖7是根據(jù)本發(fā)明的一個(gè)實(shí)施例的用于生成圖像布局約束的方法的 流程圖700。
在流程圖700的705,在一個(gè)實(shí)施例中，利用所選擇的布局約束來 把布局維度集縮小到有限的布局維度集。在一個(gè)這種實(shí)施例中，所利用 的約束是為縮小先前的無約束的布局維度集而由圖像分析約束選擇器 321或風(fēng)格約束選擇器323選擇并應(yīng)用的布局約束。
例如，在一種情況下，這包含利用自動(dòng)選擇的布局約束來縮小布局 維度集。在一個(gè)實(shí)施例中，自動(dòng)選擇的布局約束由圖像分析約束選擇器321選擇并應(yīng)用，并且基于圖像內(nèi)容的自動(dòng)分析、圖像內(nèi)容的用戶分析 或其組合。圖6的描述詳細(xì)說明了圖像分析約束選擇器如何基于用戶輸 入和自動(dòng)圖像分析輸入來選擇并應(yīng)用圖像分析布局約束的示例。
在另一情況下，這包含利用基于風(fēng)格輸入的所選擇的布局約束來縮 小布局維度集以創(chuàng)建有限的布局維度集。所述風(fēng)格輸入基于用戶風(fēng)格輸 入、默認(rèn)風(fēng)格輸入設(shè)置或其組合。在一個(gè)這種實(shí)施例中，風(fēng)格約束選擇 器323被用來選擇并應(yīng)用基于風(fēng)格輸入的所利用的約束。圖5的描述詳 細(xì)說明了默認(rèn)風(fēng)格輸入設(shè)置和用戶選擇的風(fēng)格輸入兩者如何被風(fēng)格約 束選擇器32 3用來選擇并應(yīng)用風(fēng)格布局約束的示例。
要明白，在利用 一 個(gè)以上選擇的約束來把布局維度集縮小到有限的 布局維度集的實(shí)施例中，所選擇的約束是由圖像分析約束選擇器321、 風(fēng)格約束選擇器323或這兩者選擇并應(yīng)用的。
在流程圖700的715,在一個(gè)實(shí)施例中，利用至少一個(gè)隨機(jī)布局約 束來把有限的布局維度集縮小到縮減的布局維度集。與有限的布局維度 集相比，縮減的布局維度集對于圖像布局具有更多的約束和更少的維度 自由度。隨機(jī)約束器325隨機(jī)地選擇并應(yīng)用所利用的約束。在一個(gè)實(shí)施 例中，隨機(jī)約束器325分析有限的布局維度集，其包含在應(yīng)用由圖像分 析約束選擇器321、風(fēng)格約束選擇器323或兩者選擇并應(yīng)用的約束之后 剩余的無約束維度。通過該分析，隨機(jī)約束器325確定有限的布局維度 集中的哪些維度仍然是無約束的。隨機(jī)約束器325對有限的布局維度集 中的一個(gè)或多個(gè)無約束的維度隨機(jī)地選擇并應(yīng)用 一個(gè)或多個(gè)約束(如先 前所述)。在一個(gè)實(shí)施例中，隨機(jī)約束器325還對已約束的維度隨機(jī)地 選擇并應(yīng)用進(jìn)一步的約束。
在一個(gè)實(shí)施例中，應(yīng)用隨機(jī)約束的目的是要把有限的布局維度集縮 減到縮減集。在一個(gè)這種實(shí)施例中，隨機(jī)約束器325通過對無約束維度 應(yīng)用足夠的(或多于足夠的)隨機(jī)約束以把有限的布局維度集縮減到與 計(jì)算資源(比如試驗(yàn)性布局生成器或布局優(yōu)化器中的處理器或成像程 序)相關(guān)聯(lián)的易處理維度來實(shí)現(xiàn)這個(gè)過程。因而，例如，如果有限的布 局維度集具有十個(gè)維度自由度而縮減的布局維度集需要有五個(gè)或更少 自由度以便易處理，則隨機(jī)約束器325隨機(jī)地選擇并應(yīng)用布局約束以對 無約束自由度中的至少五個(gè)進(jìn)行約束。
在另一實(shí)施例中，如果有限的布局維度集已是易處理的解集，則隨機(jī)約束器325仍對有限的布局維度集中的約束的或無約束維度隨機(jī)地選 擇并應(yīng)用一個(gè)或多個(gè)約束。這就給縮減的布局維度集引入了隨機(jī)性，使 得從縮減的布局維度集中生成的最后得到的試驗(yàn)性圖像布局和呈現(xiàn)對 用戶而言不會顯得乏味和高度重復(fù)。
隨機(jī)約束器32 5隨機(jī)地應(yīng)用比使解集進(jìn)入對計(jì)算資源而言最優(yōu)易處 理的范圍內(nèi)所需的約束數(shù)量更少的約束?？紤]先前的示例，其中仍然存 在十個(gè)維度自由度并且用五個(gè)或更少自由度就會獲得最優(yōu)易處理。在這 個(gè)實(shí)施例中，隨機(jī)約束器325將隨機(jī)地選擇并應(yīng)用四個(gè)或更少的約束。 因而，與對計(jì)算資源最優(yōu)易處理的相比，更大數(shù)量的無約束維度將留在 解集中。通過偶然地創(chuàng)建會迫使計(jì)算資源提供"目前能夠達(dá)到的最佳" 型解的維度集，這給縮減的布局維度集引入了隨機(jī)性。
在流程圖700的725,在一個(gè)實(shí)施例中，采用縮減的布局維度集來 為時(shí)變的圖像顯示指定圖像布局約束集。在一個(gè)實(shí)施例中，隨機(jī)約束器 325合并來自已被用來限制和縮減布局維度集的約束的布局約束集。隨 機(jī)約束器325把該合并的約束集和縮減的布局維度集的剩余的無約束維 度進(jìn)行組合以為圖像或圖像組的時(shí)變顯示(比如幻燈片放映式呈現(xiàn))指 定圖像布局約束集。
在另一實(shí)施例中，隨機(jī)約束器325根據(jù)指定的布局約束集進(jìn)一步確 定多個(gè)約束排列。每個(gè)約束排列在例如被試驗(yàn)性布局生成器應(yīng)用于圖像 組時(shí)導(dǎo)致獨(dú)特的圖像布局。現(xiàn)在參照圖6的圖像610和620,這種排列 的一個(gè)示例可規(guī)定只顯示圖像620的布局。接著這個(gè)示例，該排列還可 進(jìn)一步要求以去除區(qū)域626的方式剪裁圖像620;所剪裁的圖像被靜 止顯示在觀看區(qū)域的中央長達(dá)特定的時(shí)間量，直到接著顯示新的布局； 以及非常顯著的區(qū)域624以緩慢的縮放速率被放大同時(shí)顯示所剪裁的圖 像。
在流程圖700的735,在一個(gè)實(shí)施例中，提供圖像布局約束集用于 為時(shí)變的圖像顯示生成試驗(yàn)性布局集。在一個(gè)這種實(shí)施例中，隨機(jī)約束 器325把所選擇的圖像布局約束集(先前結(jié)合方框725描述的)作為輸 出提供到輸出線227上。輸出線227耦合到試驗(yàn)性布局生成器215 (圖 2)或一些類似元件上，用于生成一個(gè)或多個(gè)試驗(yàn)性布局以供評估或者 用于圖像或圖像組的時(shí)變顯示，比如幻燈片放映式呈現(xiàn)。
雖然以結(jié)構(gòu)特征和/或方法動(dòng)作特有的語言描述了本發(fā)明的主題，係迷的具體特
征或動(dòng)作。相反，上面描述的具體特征或動(dòng)作是作為實(shí)施權(quán)利要求的示 例形式公開的。
權(quán)利要求
1. 一種用于生成維度上易處理的圖像布局約束集的方法(400)，所述方法包含應(yīng)用選擇的約束以限制高維度解空間的維度(410)；和通過隨機(jī)選擇來識別所述高維度解空間中的一個(gè)或多個(gè)無約束維度，所述無約束維度當(dāng)被約束時(shí)將把所述高維度解空間進(jìn)一步限制為維度上易處理的解空間，其中所述維度上易處理的解空間的易處理與計(jì)算資源的能力相關(guān)聯(lián)(420)。
2. 如權(quán)利要求1所述的方法(400 )，進(jìn)一步包含提供圖像布局約束集以用于生成試驗(yàn)性圖像布局，其中所述布局約 束集定義所述維度上易處理的解空間(430 )。
3. 如權(quán)利要求1所述的方法，其中所述應(yīng)用選擇的約束以限制高維 度解空間的維度(410)包含使所述選擇的約束基于用戶定義的風(fēng)格輸入。
4. 如權(quán)利要求1所述的方法(400 ),其中所述應(yīng)用選擇的約束以 限制高維度解空間的維度(410)包含使所述選擇的約束基于圖像內(nèi)容的自動(dòng)分析。
5. 如權(quán)利要求1所述的方法(400 ),其中所述應(yīng)用選擇的約束以 限制高維度解空間的維度(410)包含使所述選擇的約束基于預(yù)定默認(rèn)值。
6. —種用于為時(shí)變的圖像顯示生成布局約束的系統(tǒng)(220 ),所述 系統(tǒng)包含圖像分析約束選擇器(321),其被配置為基于對所述圖像的分析 來生成布局約束；風(fēng)格約束選擇器(323 )，其被配置為基于所述時(shí)變的圖像顯示的 所選擇的呈現(xiàn)風(fēng)格來生成布局約束；和隨機(jī)約束器(325 ),其被配置為隨機(jī)地生成與所述時(shí)變的圖像顯 示相關(guān)聯(lián)的維度解空間的布局約束
7. 如權(quán)利要求6所述的系統(tǒng)(220 )，進(jìn)一步包含 到布局生成器(215)的耦合(227 ),所述耦合被配置成為所述布局生成器提供所述生成的布局約束以用于生成所述圖像的多個(gè)試驗(yàn)性 布局。
8. 如權(quán)利要求6所迷的系統(tǒng)(220 )，其中所述圖像分析約束選擇 器(321)被配置為生成布局約束，該布局約束縮減次最優(yōu)的試驗(yàn)性圖 像布局并且基于對所述圖像的自動(dòng)圖像內(nèi)容分析。
9. 如權(quán)利要求6所述的系統(tǒng)(220 ),其中所述圖像分析約束選擇 器(321 )被配置為基于所述圖像的用戶圖像內(nèi)容分析來生成布局約束。
10. 如權(quán)利要求6所述的系統(tǒng)(220 )，其中所述呈現(xiàn)風(fēng)格從由下列 項(xiàng)組成的組中選擇用戶可選擇的圖像呈現(xiàn)速度，默認(rèn)呈現(xiàn)風(fēng)格，和用戶可選擇的圖像 主題。
11. 如權(quán)利要求6所述的系統(tǒng)(220 )，其中所述隨機(jī)約束器(325 )被配置成隨機(jī)地生成足夠的所述隨機(jī)布局約束以把所述維度解空間縮 減到與計(jì)算資源相關(guān)聯(lián)的易處理維數(shù)。
全文摘要
在一種用于生成維度上易處理的圖像布局約束集的方法(400)中，應(yīng)用選擇的約束以限制高維度解空間的維度(410)。通過隨機(jī)選擇，識別高維度解空間中的一個(gè)或多個(gè)無約束維度，所述無約束維度當(dāng)被約束時(shí)將把高維度解空間進(jìn)一步限制為維度上易處理的解空間(420)。維度上易處理的解空間的易處理與計(jì)算機(jī)資源的能力相關(guān)聯(lián)(430)。
文檔編號G06F9/44GK101523346SQ200780036692
公開日2009年9月2日 申請日期2007年7月25日 優(yōu)先權(quán)日2006年7月31日
發(fā)明者E·奧布賴恩-斯特賴恩, S·維道森 申請人:惠普開發(fā)有限公司