專利名稱：將視頻圖像適配到小屏幕尺寸的方法
技術(shù)領(lǐng)域：
本申請涉及的發(fā)明是一種將視頻圖像適配到小屏幕尺寸，尤其是適配到便攜手持 終端的小屏幕尺寸的方法。
背景技術(shù)：
移動TV(移動電視)是一個正在成長且顯然具有前景的市場。它允許在小便攜式 設(shè)備，例如手機、智能手機或者PDA(個人數(shù)字助理)上接收電視信號。這些小便攜設(shè)備屏 幕上的顯示不提供例如如同所知的來自家庭固定電視機(當前的SDTV，標準清晰度電視) 的詳細圖像。不管這樣的觀看條件的重要區(qū)別，在移動和固定電視系統(tǒng)的屏幕上主要顯示 相同的內(nèi)容。然而，制作單獨的用于移動電視的節(jié)目將導(dǎo)致人力資源的巨大開銷，以及廣播 公司幾乎不能支持的成本的增加。為克服這種令人不適的情況，提出了一些建議以通過將部分視頻剪出(crop)來 將具有高圖像分辨率的視頻內(nèi)容適配到更小的顯示器。這些建議通過普通視頻分析方法基 于特征提取來處理感興趣區(qū)域(ROI)的自動檢測。視頻信號中檢測到的感興趣區(qū)域用于找 到足夠的剪出(剪切)區(qū)域并且組成包含適于手特設(shè)備顯示器的所有相關(guān)信息的新圖像。然而，這種已知剪出系統(tǒng)不足以處理更廣范圍的內(nèi)容，因為其缺少語義知識和通 用的定義方法。

發(fā)明內(nèi)容
本發(fā)明的一個目的是通過獲取用于手持設(shè)備的小尺寸顯示器的更廣范圍內(nèi)容的 覆蓋以改進剪出系統(tǒng)。以上目的通過一種方法實現(xiàn)，該方法開始于元數(shù)據(jù)聚合和相應(yīng)視頻，例如在后期 制作、節(jié)目交換和歸檔中，其中(a)使視頻經(jīng)過視頻分析以傳輸視頻，例如通過使用運動檢測、形態(tài)學(xué)濾波、邊緣 檢測等，(b)獨立的視頻和元數(shù)據(jù)被組合以提取上下文中的重要特征，其中來自元數(shù)據(jù)的 重要信息被分類并用于初始化適于傳輸?shù)囊曨l內(nèi)容的特征提取步驟的動態(tài)適應(yīng)序列，(c)提取出的重要特征被組合以定義感興趣區(qū)域(ROI)，所述感興趣區(qū)域通過目 標跟蹤在連續(xù)視頻幀中進行搜索，所述目標跟蹤在連續(xù)視頻幀中識別每個初始化的ROI的 新位置和變形并且將該信息返回到特征提取，從而獲得所述特征提取和所述目標跟蹤之間 的持久通信，(d) 一個或數(shù)個ROI被提取出來，并且一個視頻幀接一個視頻幀地輸入到剪出步 驟，(e)基于權(quán)重信息，通過以重要性歸類所述提供的R0I，構(gòu)成良好的圖像部分被剪 出，以及(f)所述剪出圖像區(qū)域被縮放到期望的小屏幕尺寸。
有利地，本發(fā)明借助于可用元數(shù)據(jù)以剪出重要圖像區(qū)域并將它們適配到具有低分 辨率的顯示器上，來提供視頻信號中的特征提取。


現(xiàn)在將參考附圖描述本發(fā)明的特定實施例，其中圖1示出了執(zhí)行本發(fā)明方法的整個系統(tǒng)的示意框圖；圖2到5示出了附圖1中系統(tǒng)的各種框圖；附圖6示出用來檢測感興趣區(qū)域(ROI)的初始化特征提取方法的例子；以及圖7是原始圖像和剪出圖像的比較。
具體實施例方式本發(fā)明的目的在于基于文件的制作格式(基于從磁帶記錄到非磁帶記錄的轉(zhuǎn) 移)，其允許將各種元數(shù)據(jù)用于后期制作、節(jié)目交換和歸檔。這些元數(shù)據(jù)包含在包括視頻數(shù) 據(jù)和元數(shù)據(jù)的容器格式中。這種元數(shù)據(jù)包括內(nèi)容相關(guān)的信息，其描述了風格的類型以及關(guān) 于制作過程細節(jié)的特定信息。使得生成的元數(shù)據(jù)在包括視頻和元數(shù)據(jù)的容器格式中可用。 該容器格式允許以同步方式的不同數(shù)據(jù)的多路傳輸，或者作為文件或流。元數(shù)據(jù)信息和已 知特征提取方法的組合形成創(chuàng)造性的方法，其單獨地可適于大范圍的內(nèi)容。根據(jù)附圖1的整個系統(tǒng)示出了包括三個塊1、2和3的框圖。視頻和元數(shù)據(jù)被輸入 塊1。元數(shù)據(jù)可以從一個或數(shù)個源聚合。在下一步中，數(shù)據(jù)集合被解析且重要信息通過有用 的結(jié)構(gòu)分類。結(jié)果數(shù)據(jù)發(fā)送到塊2，部分發(fā)送到塊3。視頻內(nèi)容經(jīng)由“視頻”輸出線傳輸?shù)?塊2。塊2是執(zhí)行鏡頭檢測步驟和特征提取以及隨后目標跟蹤步驟的特征提取模塊，如參考 附圖3詳細描述的那樣。塊2執(zhí)行的特征提取導(dǎo)致η個提取出的R0I，其被送入塊3。塊3 是產(chǎn)生在手持設(shè)備的較小尺寸顯示器上顯示的剪出區(qū)域的剪出模塊。這個模塊可置于制作 側(cè)或終端設(shè)備中。如附圖2中詳細示出，塊1執(zhí)行元數(shù)據(jù)的聚合和解析。視頻被傳輸?shù)揭曨l分析(參 見附圖1)，同時元數(shù)據(jù)被解析(分析)且重要信息以有用的結(jié)構(gòu)分類。元數(shù)據(jù)是使用簡單 文件結(jié)構(gòu)，例如XML(擴展標記語言)的關(guān)于內(nèi)容的描述。這里，其粗略地區(qū)分于描述性數(shù) 據(jù)、技術(shù)數(shù)據(jù)和可選數(shù)據(jù)。描述性數(shù)據(jù)是關(guān)于內(nèi)容的描述。該信息可以是靜態(tài)或動態(tài)的。動 態(tài)意味著隨時間變化的數(shù)據(jù)同步于視頻內(nèi)容，例如視頻中出現(xiàn)的人的描述。靜態(tài)數(shù)據(jù)是對 整個視頻有效的描述，例如風格類型。另一方面，技術(shù)數(shù)據(jù)涉及基本的格式，且也可以是靜 態(tài)或動態(tài)的。它描述嵌入視頻的格式?？蛇x元數(shù)據(jù)不描述特定制作的技術(shù)或描述性元數(shù)據(jù) 而是能夠給出用于適配過程的必要信息，例如在何處執(zhí)行剪出(在制作側(cè)或終端設(shè)備)或 最終視頻的特性(分辨率幀率等)。所有三種元數(shù)據(jù)類型，也就是技術(shù)、描述性和可選數(shù)據(jù) 被提供給特征提取模塊(塊2)。模塊2是特征提取模塊，在附圖3中詳細示出。通過多路分解模塊(塊1)傳輸?shù)?視頻和元數(shù)據(jù)在上下文中被組合以提取重要特征。由此，分類的元數(shù)據(jù)用于初始化適配到 傳輸視頻內(nèi)容的特征提取的動態(tài)適應(yīng)序列。這些可以是運動檢測(如塊匹配)，形態(tài)學(xué)濾波 (如腐蝕)，邊緣檢測(如索貝爾算子)等。作為附加的特征提取，實現(xiàn)并使用視覺關(guān)注模 型。該視覺關(guān)注系統(tǒng)模仿人的視覺系統(tǒng)。它檢測顯著的低等級特征(倒置特征)，如主要方向、顏色或強度并將它們以人眼過程相似的組合。每個風格類型具有特征提取方法和不同參數(shù)的不同組合，其可由元數(shù)據(jù)或通過提 取特征獲得的其他信息動態(tài)地控制。這在塊2中通過為風格類型分配特定特征提取方法的 矩陣描述。接下來，檢測出的特征依據(jù)重要性加權(quán)，例如通過它們的上下文位置或尺寸。相 關(guān)和有關(guān)的特征然后被組合到ROI并傳輸?shù)礁櫣ぞ?。跟蹤工具識別連續(xù)幀中每個初始化 的ROI的新位置和變形并將該信息返回到特征提取。由此，保證了特征提取和跟蹤工具之 間的持久通信。這可以用來抑制已經(jīng)被跟蹤的特征提取的區(qū)域。最后，提取出一個或數(shù)個 R0L·每個特征的權(quán)重依賴于當前視頻內(nèi)容的上下文。它用于通過算法聚合和處理所有可 用特征提取數(shù)據(jù)和元數(shù)據(jù)進行決定。該分配傳輸決定準則，什么應(yīng)當稱為完整的部分和它 在新組合圖像中應(yīng)當如何排列。為了更詳細地解釋塊2執(zhí)行的特征提取，附圖5示出的處理障礙馬術(shù)比賽場景的 簡短例子描述了不同特征提取方法的可能組合。如已經(jīng)提到的，所用的方法通過可用元數(shù) 據(jù)初始化并組合。最重要的元數(shù)據(jù)信息是呈現(xiàn)的哪個風格類型。這里，該信息用于應(yīng)用特 殊視頻分析方法來檢測馬的位置。附圖5粗略地解釋了獲取馬和騎手位置和尺寸的可能過 程。這里的基本先決條件是障礙馬術(shù)比賽由靜態(tài)前景(馬)和移動背景產(chǎn)生。這產(chǎn)生了計 算兩個連續(xù)幀之間移動背景偏移(在附圖2中以f^和&描述)的方法。知道了偏移，它后 面的幀能夠被重定位并從前面的幀中減去。結(jié)果是背景匹配的暗區(qū)和像素不同于背景的亮 區(qū)。在應(yīng)用一些濾波器放大明暗之間差異之后，清楚地產(chǎn)生出馬和騎手的粗略形狀(附圖 5下部示出)。一旦檢測到，期望保持該ROI只要在隨后的幀中可見。由此，跟蹤應(yīng)用被初 始化接收初始化檢測的馬并在連續(xù)幀中匹配它。隨后幀中的更新跟蹤位置從跟蹤模塊返回 到特征提取模塊(塊2)。塊3和4(附圖4和5)更詳細地描述了剪出模塊的細節(jié)。剪出模塊主要具有剪出 構(gòu)成良好的圖像部分的功能。由此，所有接收的R0I，通過重要性分類，用于幫助定位剪出區(qū) 域的決定。除了簡單地選擇用于剪出的區(qū)域，還應(yīng)當考慮是否變形的視頻被呈現(xiàn)(16 9 縱橫比水平地扭曲為4 3)以及方形或非方形像素構(gòu)成了圖像。依賴于目標顯示器的圖 像格式，應(yīng)當考慮并適配這些可能性以避免圖像失真。剪出處理在發(fā)送器側(cè)(塊幻或接收 設(shè)備自身(塊4)完成。兩種可能使用相同的過程。唯一的不同是饋送關(guān)于終端設(shè)備要求 的信息的方式。在發(fā)送側(cè)，這通過可選元數(shù)據(jù)完成，其也為分發(fā)描述視頻格式的要求。在終 端設(shè)備，該信息通過設(shè)備自身是可用的。這具有優(yōu)點整個原始視頻加上ROI信息是可用的 因此適配可以獨立地完成。相比在發(fā)送側(cè)執(zhí)行處理的選項，剪出區(qū)域被定義一次并提供給 所有終端設(shè)備。除上面提到的剪出參數(shù)外，不同顯示器的觀看條件應(yīng)當被考慮。由此，基準定義了 相比原始圖像，剪出區(qū)域應(yīng)當具有多大尺寸。這種基準可以通過兩個顯示分辨率的觀看距 離的比較來確定。這些考慮可能再次改變剪出區(qū)域的尺寸和形狀并且再次被適配。在考慮 所有關(guān)于內(nèi)容和技術(shù)問題，產(chǎn)生合適剪出區(qū)域的決定后，圖像應(yīng)當被縮放到目標顯示器的 尺寸。如上所示，用于障礙馬術(shù)比賽的特征提取的例子(附圖6)是特殊剪裁的方法并且 對其他類型的內(nèi)容，如足球可能無法正常工作。由此，示出的方法需要元數(shù)據(jù)為當前風格類 型選擇正確的提取方法。最后，期望適配如附圖7所描述的視頻內(nèi)容。
提出的方法描述了通過元數(shù)據(jù)控制的工作流。由此，能夠應(yīng)用特殊剪裁特征提取 和剪出方法以增加合成圖像的視頻分析和美學(xué)的可靠性。上面解釋的障礙馬術(shù)比賽的視頻分析和剪出的例子僅是為了詳細闡述一個可能 的工作流的目的。它們不是專利申請的一部分。此外，申請的范圍不限于電視產(chǎn)品。本發(fā) 明能夠通用于需要視頻剪出并且已知結(jié)構(gòu)中的元數(shù)據(jù)可用的地方，例如，用于網(wǎng)絡(luò)數(shù)據(jù)流 或本地存儲的視頻。
權(quán)利要求
1.一種將視頻圖像適配到小屏幕尺寸，特別是便攜手持終端的小屏幕尺寸的方法，所 述方法開始于元數(shù)據(jù)聚合和相應(yīng)的視頻，例如在后期制作、節(jié)目交換和歸檔中，其中(a)使視頻經(jīng)過視頻分析以傳輸視頻，例如通過使用運動檢測、形態(tài)學(xué)濾波、邊緣檢測寸，(b)獨立的視頻和元數(shù)據(jù)被組合以提取上下文中的重要特征，其中來自元數(shù)據(jù)的重要 信息被分類并用于初始化適于傳輸?shù)囊曨l內(nèi)容的特征提取步驟的動態(tài)適應(yīng)序列，(c)提取出的重要特征被組合以定義感興趣區(qū)域R0I，所述感興趣區(qū)域通過目標跟蹤 在連續(xù)視頻幀中進行搜索，所述目標跟蹤在連續(xù)視頻幀中識別每個初始化的ROI的新位置 和變形并且將該信息返回到特征提取，從而獲得所述特征提取和所述目標跟蹤之間的持久fflfn，(d)一個或數(shù)個ROI被提取出來，并且被一個視頻幀接一個視頻幀地輸入到剪出步驟，(e)基于權(quán)重信息，通過以重要性歸類所述提供的R0I，剪出構(gòu)成良好的圖像部分，以及(f)所述剪出圖像區(qū)域被縮放到期望的小屏幕尺寸。
2.根據(jù)權(quán)利要求1所述的方法，其中所述元數(shù)據(jù)被粗略地區(qū)分為描述性數(shù)據(jù)、技術(shù)數(shù) 據(jù)和可選數(shù)據(jù)。
3.根據(jù)權(quán)利要求2所述的方法，其中所述描述性數(shù)據(jù)是關(guān)于內(nèi)容的描述，其可以是靜態(tài)或動態(tài)數(shù)據(jù)，所述動態(tài)數(shù)據(jù)是隨時 間變化且同步于視頻內(nèi)容的數(shù)據(jù)，并且所述靜態(tài)數(shù)據(jù)是對整個視頻有效的描述，例如風格 類型；以及所述技術(shù)數(shù)據(jù)涉及也可以是靜態(tài)或動態(tài)的嵌入視頻的格式。
4.根據(jù)權(quán)利要求2或3所述的方法，其中所述技術(shù)數(shù)據(jù)用于檢測視頻圖像中的場景變 化(鏡頭)。
5.根據(jù)權(quán)利要求1到4之一所述的方法，其中所述特征提取步驟和所述目標跟蹤步驟 之間的所述持久通信用于抑制已經(jīng)被跟蹤的用于特征提取的區(qū)域。
6.根據(jù)權(quán)利要求1到5之一所述的方法，其中提取出的重要特征按重要性加權(quán)，例如按 它們的位置或尺寸，其中相關(guān)和有關(guān)的特征被組合到加權(quán)的感興趣區(qū)域R0I。
7.根據(jù)權(quán)利要求1到6之一所述的方法，其中所述剪出步驟中對所述提供ROI的所述 歸類檢查是否呈現(xiàn)變形的視頻(16 9縱橫比水平地扭曲為4 3)以及是由方形還是非 方形像素構(gòu)成圖像，并且其中在將圖像格式縮放到目標小屏幕尺寸中，檢查的參數(shù)被考慮 并適配以避免圖像失真。
8.根據(jù)權(quán)利要求1到7之一所述的方法，其中所述剪出步驟中對所述提供ROI的所述 分類檢查對于不同顯示器的觀看條件，從而確定相比于原始圖像剪出區(qū)域應(yīng)當具有多大尺 寸的基準，這種確定通過對于兩個顯示分辨率的觀看距離的比較來作出。
全文摘要
為了通過獲得用于手持設(shè)備的較小尺寸顯示器的大范圍內(nèi)容覆蓋來改進剪出系統(tǒng)，本發(fā)明提出一種方法，所述方法開始于元數(shù)據(jù)聚合和相應(yīng)視頻，例如在后期制作、節(jié)目交換和歸檔中，其中(a)使視頻經(jīng)過視頻分析以傳輸視頻，例如通過使用運動檢測、形態(tài)學(xué)濾波、邊緣檢測等；(b)獨立的視頻和元數(shù)據(jù)被組合以提取上下文中的重要特征，其中來自元數(shù)據(jù)的重要信息被分類并用于初始化適于傳輸?shù)囊曨l內(nèi)容的特征提取步驟的動態(tài)適應(yīng)序列；(c)提取出的重要特征被組合以定義感興趣區(qū)域(ROI)，該感興趣區(qū)域通過目標跟蹤在連續(xù)視頻幀中進行搜索，所述目標跟蹤在連續(xù)視頻幀中識別每個初始化的ROI的新位置和變形并且將該信息返回到特征提取，從而獲得所述特征提取和所述目標跟蹤之間的持久通信；(d)一個或數(shù)個ROI被提取出來，并且一個視頻幀接一個視頻幀地輸入到剪出步驟；(e)基于權(quán)重信息，通過以重要性歸類所述提供的ROI，剪出構(gòu)成良好的圖像部分；以及(f)所述剪出圖像區(qū)域被縮放到期望的小屏幕尺寸。
文檔編號G06K9/32GK102124727SQ200880128199
公開日2011年7月13日 申請日期2008年3月20日 優(yōu)先權(quán)日2008年3月20日
發(fā)明者A·克里克鮑姆, B·于埃特, B·梅里亞爾多, F·J·O·德卡瓦霍, G·施脫爾, H·諾伊施米德, J·B·D·S·卡多索, J·戴戈默勒, R·S·德阿萊姆, R·特里謝 申請人:無線電技術(shù)研究學(xué)院有限公司, 約阿內(nèi)研究院信息系統(tǒng)學(xué)院, 葡萄牙電信創(chuàng)新股份有限公司