亚洲成年人黄色一级片,日本香港三级亚洲三级,黄色成人小视频,国产青草视频,国产一区二区久久精品,91在线免费公开视频,成年轻人网站色直接看

三維視頻格式自動檢測方法及裝置與流程

文檔序號:12009904閱讀:390來源:國知局
三維視頻格式自動檢測方法及裝置與流程
本發(fā)明涉及視頻顯示領域,特別是涉及一種基于多特征融合的空間域特征格式判別和時間域格式判別的三維視頻格式自動檢測方法及裝置。

背景技術:
隨著視頻影像技術的發(fā)展,越來越多的二維(2D)和三維(3D)視頻的視頻影片上傳到視頻網(wǎng)站共享,以及隨著越來越多的三維(3D)電影在電影院的放映和三維(3D)數(shù)字電視節(jié)目的開播,三維(3D)視頻數(shù)量呈海量增長之勢。目前可以通過現(xiàn)有寬帶傳送的三維(3D)的視頻格式有左右格式(即,圖像的左半部分是左眼圖像,右半部分是右眼圖像)、上下格式(即,圖像的上半部分是左眼圖像,下半部分是右眼圖像),三維視頻的數(shù)量呈海量增長之勢,如何把三維視頻帶回家已成為迫在眉睫的事情,但是仍然存在著許多的挑戰(zhàn)。由于現(xiàn)有的視頻中仍然存在著大量的二維(2D)視頻,因此最需要解決的技術重要問題之一,就是針對電視上播放的各種片源進行自動檢測出所播放的視頻圖像格式,控制電視正常播放片源,以實現(xiàn)電視智能化自動識別播放的片源是哪種格式的片源,這就需要提供一種自動檢測視頻格式是二維(2D)還是三維(3D)的技術手段,如果是三維(3D)視頻格式,還需要檢測是三維(3D)視頻格式中的具體哪種三維格式(左右格式、上下格式中的哪種格式)。一個完整的三維(3D)電視系統(tǒng)如圖1所示,其主要模塊包括視頻信號接受端口、電源系統(tǒng)、音頻處理器、揚聲器、視頻處理器、圖形控制器、三維顯示面板,而用于檢測三維視頻格式的模塊則是圖形控制器中的三維格式檢測模塊。公開號為CN101980545A的中國專利提供“一種自動檢測三維TV視頻節(jié)目格式的方法”,其通過先進行圖像熵閾值判別,然后進行圖像塊像素的協(xié)方差相似性特征閾值征判別方法來判別視頻格式。其存在如下缺點:1、具有較高的計算復雜度;2、視頻格式檢測的準確率不高。

技術實現(xiàn)要素:
為克服上述現(xiàn)有技術存在的不足,本發(fā)明之目的在于提供一種三維視頻格式自動檢測方法及裝置,其不僅大量的減少視頻格式檢測的計算復雜度,而且能夠很大的提高視頻格式檢測的準確率。為達上述及其它目的,本發(fā)明提出一種三維視頻格式自動檢測方法,包括如下步驟:步驟一,對輸入的一幀視頻圖像進行圖像分塊進行維數(shù)縮減以減少特征向量維數(shù);步驟二,將經維數(shù)縮減后的圖像塊進行多特征提取,獲得第一類格式子特征值、第二類格式子特征值、第三類格式子特征值,該多特征包含塊梯度模特征,塊直方圖特征,幀直方圖特征,投影特征,中間線邊界特征;步驟三,對獲得的第一類格式子特征值、第二類格式子特征值、第三類格式子特征值利用3D格式特征的空間域上的多特征融合方法進行多特征融合獲得第一類3D格式特征值、第二類3D格式特征值以及第三類3D格式特征值;步驟四,根據(jù)融合后的特征進行空間域上的格式判別以及時間域上的模糊特征格式判別,判斷當前幀視頻圖像的圖像格式;步驟五,輸出當前幀的視頻格式,控制播放裝置按照自動檢測出的視頻圖像格式進行播放。進一步地,于步驟二中,對于輸入的未知格式的視頻圖像f(x,y),按照如下方式進行統(tǒng)計3類格式子特征值:取圖像f(x,y)的左半部分圖像為可能的左眼圖像,圖像f(x,y)的右半部分圖像為可能的右眼圖像,則根據(jù)3D格式子特征值計算方法計算得到第一類格式子特征值,符號記為取圖像f(x,y)的上半部分圖像為可能的左眼圖像,圖像f(x,y)的下半部分圖像為可能的右眼圖像,則根據(jù)3D格式子特征值計算方法計算得到第二類格式子特征值,符號記為取圖像f(x,y)的頂場圖像為可能的左眼圖像,圖像f(x,y)的底場圖像為可能的右眼圖像,則根據(jù)3D格式子特征值計算方法計算得到第三類格式子特征值,符號記為進一步地,該3D格式子特征值計算方法如下:分別計算左眼圖像和右眼圖像的像素幀直方圖向量、塊直方圖向量、梯度模向量、水平投影向量,對其計算相應的特征值,4種特征向量對應的歸一化后特征值符號分別記為dhist、dblk_hist、dmag、dprj;通過檢測帶狀區(qū)域的梯度模和亮度信息檢測視頻圖像中有沒有邊界線,其歸一化后的邊界線特征值符號記為dbry;其中,dhist、dblk_hist、dmag、dprj、dbry稱為3D格式子特征值。進一步地,于步驟三中,對該第一類格式子特征值采用如下計算公式進行多特征融合得到第一類3D格式特征值:其中,whist、wblk_hist、wprj、wbry、wmag分別為第一類格式子特征預先設定的權重比例系數(shù),權重比例系數(shù)定義域為[0,1]且滿足等式條件1=whist+wblk_hist+wprj+wbry+wmag,dlr∈[0,1]表示第一類3D格式特征值。進一步地,于步驟三中,對該第二類格式子特征值采用如下計算公式進行多特征融合得到第二類3D格式特征值:其中,whist、wblk_hist、wprj、wbry、wmag為預先設定的權重比例系數(shù),與該第一類格式子特征權重比例系數(shù)相同,dtb∈[0,1]表示第二類3D格式特征值。進一步地,于步驟三中,對第三類格式子特征值采用如下計算公式進行多特征融合得到第三類3D格式特征值:其中,w′hist、w′blk_hist、w′prj、w′mag為預先設定的權重比例系數(shù),權重比例系數(shù)定義域為[0,1]且滿足等式條件1=w′hist+w′blk_hist+w′prj+w′mag;dit∈[0,1]表示第三類3D格式特征值。進一步地,于步驟四中,根據(jù)如下表達式進行空間域上的視頻格式判別:其中,fmt表示圖像f(x,y)判別的視頻格式,d表示圖像f(x,y)的格式特征值,d=min(dtb,dlr,dit),dlr表示圖像f(x,y)的第一類3D格式特征值,dtb表示圖像f(x,y)的第二類3D格式特征值,dit表示圖像f(x,y)的第三類3D格式特征值;當fmt=0時,圖像f(x,y)表示判別為一個2D圖像,當fmt=1時,圖像f(x,y)表示判別為一個左右格式的3D圖像,當fmt=2時,圖像f(x,y)表示判別為一個上下格式的3D圖像,當fmt=3時,圖像f(x,y)表示判別為一個交錯格式的3D圖像。進一步地,于步驟四中,根據(jù)如下表達式進行時間域上的視頻格式判別:其中,fmt表示當前幀圖像f(x,y)在空間域上的格式判別得到的視頻格式,fmtn-1表示前一幀圖像的視頻格式,以空間域上的格式fmt作為起始第一幀的前一幀格式fmtn-1的初始化格式,fmtn表示當前幀圖像經過時域信息融合后得到的視頻格式,dlow為3D格式特征值d的下門限閾值,dhigh為3D格式特征值d的下門限閾值。為達到上述目的,本發(fā)明還提供一種三維視頻格式自動檢測裝置,至少包括:圖像分塊模塊,對輸入的一幀視頻圖像進行圖像分塊進行維數(shù)縮減以減少特征向量維數(shù);多特征提取模塊,將經維數(shù)縮減后的圖像塊送入塊梯度模特征提取子模塊、塊直方圖特征提取子模塊、幀直方圖特征提取子模塊、投影特征提取子模塊以及中間線邊界特征提取子模塊分別進行多特征提取,獲得第一類格式子特征值、第二類格式子特征值、第三類格式子特征值;多特征融合模塊,對該多特征提取模塊中的各子模塊提取的特征通過3D格式特征的空間域上的多特征融合方法進行特征融合獲得第一類3D格式特征值、第二類3D格式特征值以及第三類3D格式特征值;格式判斷模塊,將融合后的特征送入空間域格式判斷模塊及時間域格式判斷模塊進行空間域上的格式判別以及時間域上的模糊特征格式判別,判斷當前幀視頻圖像的圖像格式。進一步地,該多特征融合模塊對各子模塊提取的第一類格式子特征值采用如下計算公式進行多特征融合得到第一類3D格式特征值:其中,whist、wblk_hist、wprj、wbry、wmag分別為第一類格式子特征值預先設定的權重比例系數(shù),權重比例系數(shù)定義域為[0,1]且滿足等式條件1=whist+wblk_hist+wprj+wbry+wmag,dlr∈[0,1]表示第一類3D格式特征值。對各子模塊提取的第二類格式子特征值采用如下計算公式進行多特征融合得到第二類3D格式特征值其中,whist、wblk_hist、wprj、wbry、wmag為預先設定的權重比例系數(shù),與該第一類格式子特征權重比例系數(shù)相同,dtb∈[0,1]表示第二類3D格式特征值。對各子模塊提取的第三類格式子特征值采用如下計算公式進行多特征融合得到第三類3D格式特征值:其中,w′hist、w′blk_hist、w′prj、w′mag為預先設定的權重比例系數(shù),權重比例系數(shù)定義域為[0,1]且滿足等式條件1=w′hist+w′blk_hist+w′prj+w′mag;dit∈[0,1]表示第三類3D格式特征值。與現(xiàn)有技術相比,本發(fā)明一種三維視頻格式自動檢測方法及裝置通過先對輸入的一幀視頻圖像進行圖像分塊進行維數(shù)縮減以減少特征向量維素,降低計算復雜度,其次將其送入5個特征提取子模塊分別進行多特征提取,然后對這些特征送入特征融合模塊進行特征融合,再次將融合后的特征送入格式判斷模塊進行空間域和時間域上的模糊特征格式,判別當前幀視頻圖像f(x,y)的圖像格式,最后輸出當前幀的視頻格式,控制播放裝置按照自動檢測出的視頻圖像格式進行播放片源,不僅可以減少視頻格式檢測的計算復雜度,而且能夠很大的提高視頻格式檢測的準確率。附圖說明圖1為一個完整的3D電視系統(tǒng)的系統(tǒng)架構圖;圖2為本發(fā)明一種三維視頻格式自動檢測方法的步驟流程圖;圖3為本發(fā)明較佳實施例中多特征融合計算流程圖;圖4為本發(fā)明較佳實施例中空間域上的視頻格式判別計算流程圖;圖5為本發(fā)明較佳實施例中時間域上的視頻格式判別計算流程圖;圖6為本發(fā)明一種三維視頻格式自動檢測裝置的系統(tǒng)架構圖。具體實施方式以下通過特定的具體實例并結合附圖說明本發(fā)明的實施方式,本領域技術人員可由本說明書所揭示的內容輕易地了解本發(fā)明的其它優(yōu)點與功效。本發(fā)明亦可通過其它不同的具體實例加以施行或應用,本說明書中的各項細節(jié)亦可基于不同觀點與應用,在不背離本發(fā)明的精神下進行各種修飾與變更。因為三維(3D)視頻圖像由左右眼圖像合并而成的,如果是左右格式的三維(3D)圖像,則左眼圖像為三維(3D)視頻圖像的左半部分,右眼圖像為三維(3D)視頻圖像的右半部分;如果是上下格式的三維(3D)圖像,則左眼圖像為三維(3D)視頻圖像的上半部分,右眼圖像為三維(3D)視頻圖像的下半部分;如果是交錯格式的三維(3D)圖像,則左眼圖像為三維(3D)視頻圖像的頂場圖像,右眼圖像為三維(3D)視頻圖像的底場圖像。不論三維(3D)視頻圖像是左右格式、上下格式還是交錯格式,單幀圖像都是由左眼圖像和右眼圖像組成的,即使左右眼圖像有視差,但左眼圖像和右眼圖像看起來都是十分相似的,這都是二維(2D)不具有的對稱性特點。對稱特點主要包括:直方圖,梯度模向量,投影向量等。針對以上三維(3D)視頻圖像的特點,本發(fā)明提出了一種簡單有效自動視頻格式檢測方法,即空間域上的多特征融合技術方法進行提取3D格式特征以及空間域和時間域上的模糊特征格式判別的自動視頻格式檢測方法。圖2為本發(fā)明一種三維視頻格式自動檢測方法的步驟流程圖。如圖2所示,本發(fā)明一種三維視頻格式自動檢測方法,包括如下步驟:步驟201,對輸入的一幀視頻圖像進行圖像分塊進行維數(shù)縮減以減少特征向量維數(shù),降低計算復雜度。由于三維(3D)視頻圖像分辨率往往很高,如果直接以像素點進行單點提取特征向量,計算復雜度太高,成本太大,因此需要對特征向量進行維數(shù)縮減。又因為3D視頻圖像的左右眼圖像有視差,所以左眼圖像像素與右眼圖像像素在空間位置上是有偏移的。本發(fā)明通過對左眼圖像和右眼圖像以像素分辨率大小為Bh×Bw圖像塊進行圖像塊劃分,以像素塊為單位進行特征提取可以有效減少左右眼圖像視差的負面影響,對左右眼圖像的特征向量可以實現(xiàn)維數(shù)縮減,增加特征向量的魯棒性,同時可以大量的減少視頻格式檢測方法的計算復雜度。步驟202,將經維數(shù)縮減后的圖像塊進行多特征提取,這里的多特征主要包含:塊梯度模特征,塊直方圖特征,幀直方圖特征,投影特征,中間線邊界特征。由于三維(3D)視頻圖像的左眼圖像和右眼圖像具有很強的相似性(3D視頻圖像的對稱性),分別計算左眼圖像和右眼圖像的像素幀直方圖向量、塊直方圖(分辨率Bh×Bw像素塊)向量、梯度模向量、水平投影向量,則左眼圖像和右眼圖像的這4種特征向量應該具有相似性,可以對其計算相應的向量距離d∈[0,1](向量距離簡稱特征值),如果特征值等于0,則左眼圖像和右眼圖像的特征向量幾乎相同,如果距離等于1,則左眼圖像和右眼圖像的特征向量完全不同。4種特征向量對應的歸一化后特征值符號分別記為dhist、dblk_hist、dmag、dprj。由于3D視頻圖像由左右眼圖像合并而成的,如果是左右格式的3D圖像,則通常在中間列的水平方向有一條明顯的邊界線或者暗區(qū)域帶,如果是上下格式的3D圖像,則通常在中間行的垂直方向有一條明顯的邊界線或者暗區(qū)域帶。則可通過檢測中帶狀區(qū)域的梯度模和亮度信息檢測視頻圖像中有沒有邊界線,其歸一化后的邊界線特征值符號記為dbry∈[0,1]。對于交錯格式的3D圖像,由于沒有明顯的左右眼圖像的邊界線,所以交錯格式的3D格式特征中沒有邊界線特征。這里將dhist、dblk_hist、dmag、dprj、dbry稱為3D格式子特征值。對于輸入的未知格式的視頻圖像f(x,y),按照如下方式進行統(tǒng)計3類格式子特征值:第一類格式子特征值:取圖像f(x,y)的左半部分圖像為可能的左眼圖像,圖像f(x,y)的右半部分圖像為可能的右眼圖像,則根據(jù)3D格式子特征值計算方法可以計算得到第一類格式子特征值,符號記為第二類格式子特征值:取圖像f(x,y)的上半部分圖像為可能的左眼圖像,圖像f(x,y)的下半部分圖像為可能的右眼圖像,則根據(jù)3D格式子特征值計算方法可以計算得到第二類格式子特征值,符號記為第三類格式子特征值:取圖像f(x,y)的頂場圖像為可能的左眼圖像,圖像f(x,y)的底場圖像為可能的右眼圖像,則根據(jù)3D格式子特征值計算方法可以計算得到第三類格式子特征值,符號記為步驟203,對提取的特征利用3D格式特征的空間域上的多特征融合方法進行特征融合。圖像內容往往復雜多變,尤其是一些難以區(qū)分特殊情形下的2D圖像也具有對稱性特點比較強(例如:純白場景,純黑場景),視差比較大的3D圖像對稱性特點比較弱,如果僅僅通過單一特征判斷視頻圖像格式,很容易產生視頻格式誤判。本發(fā)明提出了通過3D格式特征的空間域上的多特征融合進行3D格式特征方法,即將多個3D格式子特征進行加權融合方法,通過該方法可以提取一個非常穩(wěn)定的3D格式特征,能夠很大的提高視頻格式檢測的準確率。多特征融合的計算流程圖見圖3。若圖像f(x,y)是左右格式的3D圖像,顯然左半部分圖像(左眼圖像)和右半部分圖像(右眼圖像)的各特征向量的距離比較小,則有第一類格式子特征值也都會同時等于0或者比較小。如果圖像f(x,y)的5個子特征值中僅僅有某幾個子特征值比較小,但并不能肯定判別圖像f(x,y)是一個3D圖像,因為有不少的2D圖像也滿足個別子特征值小,比如:純白的2D場景圖像,它的子特征值都等于0。因此判斷圖像f(x,y)的格式,需要同時考慮所有子特征值的特點才能真實的反映視頻格式特點,否則僅僅依賴個別單個子特征基判別視頻格式容易導致格式誤判?;诖嗽瓌t,本發(fā)明提出了多特征融合方法提取3D格式特征,可以進一步提高3D格式特征的表達準確度和穩(wěn)定性。首先,第一類格式子特征值的多特征融合方法計算公式如下:其式中,whist、wblk_hist、wprj、wbry、wmag分別為第一類格式子特征值預先設定的權重比例系數(shù),權重比例系數(shù)定義域為[0,1]且滿足等式條件1=whist+wblk_hist+wprj+wbry+wmag;dlr∈[0,1]表示第一類3D格式特征值。其次,類似的方法,對于第二類格式子特征值進行多特征融合可以得到第二類3D格式特征值,計算公式如下:其中,whist、wblk_hist、wprj、wbry、wmag預先設定的權重比例系數(shù),與第一類格式子特征權重比例系數(shù)相同,dtb∈[0,1]表示第二類3D格式特征值。再次,對于第三類格式子特征值進行多特征融合可以得到第三類3D格式特征值,計算公式如下:其式中,w′hist、w′blk_hist、w′prj、w′mag預先設定的權重比例系數(shù),權重比例系數(shù)定義域為[0,1]且滿足等式條件1=w′hist+w′blk_hist+w′prj+w′mag;dit∈[0,1]表示第三類3D格式特征值。步驟204,根據(jù)融合后的特征進行空間域的格式判別以及時間域上的模糊特征格式判別,判斷當前幀視頻圖像f(x,y)的圖像格式(判斷是2D格式、上下格式、左右格式,交錯格式)。1、空間域上的格式判別3D視頻圖像只可能是左右格式、上下格式、交錯格式中的一種,不可能同時屬于2種3D格式。如果輸入的視頻圖像是左右格式圖像,則顯然有第一類3D格式特征值小于第二、三類3D格式特征值;如果輸入的視頻圖像是上下格式圖像,則顯然有第二類3D格式特征值小于第一、三類3D格式特征值;如果輸入的視頻圖像是交錯格式圖像,則顯然有第三類3D格式特征值小于第一、二類3D格式特征值;所以第一、二和三類3D格式特征值中的最小特征值最能表達輸入圖像的3D格式特征值,則可得數(shù)學計算表達式:d=min(dtb,dlr,dit)其中,d表示圖像f(x,y)的3D格式特征值;由于dtb∈[0,1],dlr∈[0,1],dit∈[0,1],則可知格式特征值d∈[0,1]。從視頻圖像格式特征值d定義可知,d描述了圖像f(x,y)的左眼圖像和右眼圖像的距離度量,也就是說若格式特征值d的值越小,3D格式特征越強,圖像f(x,y)越可能是3D圖像;反之,格式特征值d的值越大,3D格式特征越弱,即2D視頻格式特征越強,圖像f(x,y)越可能是2D圖像。為了更好的描述,本發(fā)明引進符號fmt進行量化圖像f(x,y)的視頻格式,如果fmt的值等于0,則表示圖像f(x,y)是2D視頻格式圖像;如果fmt的值等于1,則表示圖像f(x,y)是左右格式圖像;如果fmt的值等于2,則表示圖像f(x,y)是上下格式;如果fmt的值等于3,則表示圖像f(x,y)是交錯格式。對于判別輸入圖像是2D圖像還是3D圖像,這里對3D格式特征設定一個閾值dth∈(0,1),例如閾值可以設為dth=0.5,如果格式特征值d≥dth,說明圖像f(x,y)的2D視頻格式特征偏強,f(x,y)的3D格式特征偏弱,則將圖像f(x,y)格式判別為2D視頻格式,fmt的值記為0;如果格式特征值d<dth,說明圖像f(x,y)的2D視頻格式特征偏弱,即圖像f(x,y)的3D格式特征偏強,則將圖像f(x,y)格式判別為3D格式。如果格式特征值d<dthIdlr=d,說明圖像f(x,y)的3D格式特征偏強且第一類3D格式特征強于第二、三類3D格式特征,即圖像f(x,y)的左右格式特征最強,我們則將圖像f(x,y)格式判別為左右格式,fmt的值記為1;如果格式特征值d<dthIdtb=d,說明圖像f(x,y)的3D格式特征偏強且第二類3D格式特征強于第一、三類3D格式特征,即圖像f(x,y)的上下格式特征最強,則將圖像f(x,y)格式判別為上下格式,fmt的值記為2;如果格式特征值d<dthIdit=d,說明圖像f(x,y)的3D格式特征偏強且第三類3D格式特征強于第一、二3D格式特征,即圖像f(x,y)的交錯格式特征最強,則將圖像f(x,y)格式判別為交錯格式,fmt的值記為3;最后則可得空間域上的視頻格式fmt判別表達式如下:其中,fmt表示圖像f(x,y)判別的視頻格式,d表示圖像f(x,y)的格式特征值,dlr表示圖像f(x,y)的第一類3D格式特征值,dtb表示圖像f(x,y)的第二類3D格式特征值,dit表示圖像f(x,y)的第三類3D格式特征值;當fmt=0時,圖像f(x,y)表示判別為一個2D圖像,當fmt=1時,圖像f(x,y)表示判別為一個左右格式的3D圖像,當fmt=2時,圖像f(x,y)表示判別為一個上下格式的3D圖像,當fmt=3時,圖像f(x,y)表示判別為一個交錯格式的3D圖像??臻g域上的格式判別計算流程圖見圖4。具體如下:計算第一、二和三類3D格式特征值中的最小特征值作為輸入圖像的3D格式特征值d;判斷該3D格式特征值d是否小于3D格式特征值閾值dth,若是,則判斷視頻格式為三維,并繼續(xù)后續(xù)判斷,若否,則判斷視頻格式為二維;判斷該3D格式特征值d是否等于第一類3D格式特征值dlr,若等于,則判斷視頻格式左右格式,否則判斷該3D格式特征值d是否等于第二類3D格式特征值dtb;若等于,則判斷視頻格式為上下格式,否則判斷為交錯格式。2、時間域上的格式判別通常對于對稱性比較強的2D圖像和信息量比較少的暗場景或梯度較弱的3D圖像,計算出來的格式特征值d會落在3D格式特征值閾值dth附近,所以當3D格式特征值d落在dth附近,圖像f(x,y)的3D或2D視頻格式特征不明顯,很難區(qū)分圖像f(x,y)是2D還是3D圖像格式;如果直接以dth作為視頻格式判斷標準,會容易導致視頻格式誤判。因此,本發(fā)明提出了3D格式模糊特征值判別方法進行判別視頻格式,首先,這里引入3D格式特征值d的下門限閾值dlow(或稱3D格式強特征閾值)和上門限閾值dhigh(或稱2D格式強特征閾值),其中dlow和dhigh定義域為0<dlow<dth<dhigh<1。顯然,當3D格式特征值d>dhigh,則圖像的2D視頻格式特征強烈,經過空間域上的格式判別得到的視頻格式fmt(值為0)可信度高;當3D格式特征值d<dlow,則圖像的3D格式特征強烈,經過空間域上的格式判別得到的視頻格式fmt(值為1、2或3)可信度高;當格式特征值dlow≤d≤dhigh,圖像的2D視頻格式特征或3D格式特征不強烈,經過空間域上的格式判別得到的視頻格式fmt(值為0、1、2或3)可信度比較低,因此稱3D格式特征值區(qū)間[dlow,dhigh]為格式判別模糊特征區(qū),稱3D格式特征值d∈[dlow,dhigh]為格式模糊特征值,稱3D格式特征值區(qū)間[0,dlow)U(dhigh,1]為格式判別強特征區(qū),稱3D格式特征值d∈[0,dlow)U(dhigh,1]為格式強特征值。由于視頻圖像往往都是連續(xù)多幀的,前幾幀的視頻格式相對于通過空間域上的格式模糊特征判別得到的視頻格式可信度高,為了減少模糊特征區(qū)的格式誤判對算法檢測準確度的影響,本發(fā)明引入視頻格式的時域信息,由于視頻圖像往往都是連續(xù)多幀的,因此當前幀圖像格式fmtn往往和前一幀圖像格式fmtn-1有一定的相關性,當格式特征值d∈[dlow,dhigh],由于單幀格式判斷出來的fmt可信度低,時域信息中前幾幀圖像格式fmtn-1相對于當前幀計算出的fmt可信度更高,因此當前幀圖像的視頻格式判斷成與前一幀圖像的視頻格式相同比當前幀在空間域上通過格式模糊特征值判別得到的視頻格式的可信度更高。當格式特征值d∈[0,dlow)U(dhigh,1],由于圖像的視頻格式特征較強,通過空間域上的格式判別得到的視頻格式fmt(值為1、2或3)比較可靠,因此在空間域上通過格式強特征值判別得到的視頻格式作為當前幀的視頻格式。時間域上當前幀圖像f(x,y)的格式fmtn的數(shù)學表達式如下:其中,fmt表示當前幀圖像f(x,y)在空間域上的格式判別得到的視頻格式,fmtn-1表示前一幀圖像的視頻格式,以空間域上的格式fmt作為起始第一幀的前一幀格式fmtn-1的初始化格式,fmtn表示當前幀圖像經過時域信息融合后得到的視頻格式。時間域上的格式判別計算流程圖見圖5。具體如下:判斷3D格式特征值d是否屬于處于格式判別模糊特征區(qū)[dlow,dhigh];若處于該模糊特征區(qū),則將視頻格式判斷為前一幀的視頻格式,若不處于該模糊特征區(qū),則將在空間域上通過格式強特征值判別得到的視頻格式作為當前幀的視頻格式。步驟205,輸出當前幀的視頻格式,控制播放裝置按照自動檢測出的視頻圖像格式進行播放片源。圖6為本發(fā)明一種三維視頻格式自動檢測裝置的系統(tǒng)架構圖。如圖6所示,本發(fā)明一種三維視頻格式自動檢測裝置,至少包括:圖像分塊模塊61、多特征提取模塊62、多特征融合模塊63以及格式判斷模塊64。圖像分塊模塊61,對輸入的一幀視頻圖像進行圖像分塊進行維數(shù)縮減以減少特征向量維數(shù),降低計算復雜度。在本發(fā)明較佳實施例中,通過對左眼圖像和右眼圖像以像素分辨率大小為Bh×Bw圖像塊進行圖像塊劃分,以像素塊為單位進行特征提取可以有效減少左右眼圖像視差的負面影響,對左右眼圖像的特征向量可以實現(xiàn)維數(shù)縮減,增加特征向量的魯棒性,同時可以大量的減少視頻格式檢測方法的計算復雜度。多特征提取模塊62,將經維數(shù)縮減后的圖像塊送入塊梯度模特征提取子模塊621、塊直方圖特征提取子模塊622、幀直方圖特征提取子模塊623、投影特征提取子模塊624以及中間線邊界特征提取子模塊625分別進行多特征提取,這里的特征主要包含:塊梯度模特征,塊直方圖特征,幀直方圖特征,投影特征,中間線邊界特征。具體地說,由于三維(3D)視頻圖像的左眼圖像和右眼圖像具有很強的相似性(3D視頻圖像的對稱性),分別計算左眼圖像和右眼圖像的像素幀直方圖向量、塊直方圖(分辨率Bh×Bw像素塊)向量、梯度模向量、水平投影向量,則左眼圖像和右眼圖像的這4種特征向量應該具有相似性,可以對其計算相應的向量距離d∈[0,1](向量距離簡稱特征值),如果特征值等于0,則左眼圖像和右眼圖像的特征向量幾乎相同,如果距離等于1,則左眼圖像和右眼圖像的特征向量完全不同。4種特征向量對應的歸一化后特征值符號分別記為dhist、dblk_hist、dmag、dprj。由于3D視頻圖像由左右眼圖像合并而成的,如果是左右格式的3D圖像,則通常在中間列的水平方向有一條明顯的邊界線或者暗區(qū)域帶,如果是上下格式的3D圖像,則通常在中間行的垂直方向有一條明顯的邊界線或者暗區(qū)域帶。則可通過檢測中帶狀區(qū)域的梯度模和亮度信息檢測視頻圖像中有沒有邊界線,其歸一化后的邊界線特征值符號記為dbry∈[0,1]。對于交錯格式的3D圖像,由于沒有明顯的左右眼圖像的邊界線,所以交錯格式的3D格式特征中沒有邊界線特征。這里將dhist、dblk_hist、dmag、dprj、dbry稱為3D格式子特征值。對于輸入的未知格式的視頻圖像f(x,y),按照如下方式進行統(tǒng)計3類格式子特征值:第一類格式子特征值:取圖像f(x,y)的左半部分圖像為可能的左眼圖像,圖像f(x,y)的右半部分圖像為可能的右眼圖像,則根據(jù)3D格式子特征值計算方法可以計算得到第一類格式子特征值,符號記為第二類格式子特征值:取圖像f(x,y)的上半部分圖像為可能的左眼圖像,圖像f(x,y)的下半部分圖像為可能的右眼圖像,則根據(jù)3D格式子特征值計算方法可以計算得到第二類格式子特征值,符號記為第三類格式子特征值:取圖像f(x,y)的頂場圖像為可能的左眼圖像,圖像f(x,y)的底場圖像為可能的右眼圖像,則根據(jù)3D格式子特征值計算方法可以計算得到第三類格式子特征值,符號記為多特征融合模塊63,對多特征提取模塊62中的各子模塊提取的特征通過3D格式特征的空間域上的多特征融合方法進行特征融合。圖像內容往往復雜多變,尤其是一些難以區(qū)分特殊情形下的2D圖像也具有對稱性特點比較強(例如:純白場景,純黑場景),視差比較大的3D圖像對稱性特點比較弱,如果僅僅通過單一特征判斷視頻圖像格式,很容易產生視頻格式誤判。本發(fā)明提出了通過3D格式特征的空間域上的多特征融合方法進行3D格式特征融合,即將多個3D格式子特征進行加權融合方法,通過該方法可以提取一個非常穩(wěn)定的3D格式特征,能夠很大的提高視頻格式檢測的準確率。若圖像f(x,y)是左右格式的3D圖像,顯然左半部分圖像(左眼圖像)和右半部分圖像(右眼圖像)的各特征向量的距離比較小,則有第一類格式子特征值也都會同時等于0或者比較小。如果圖像f(x,y)的5個子特征值中僅僅有某幾個子特征值比較小,但并不能肯定判別圖像f(x,y)是一個3D圖像,因為有不少的2D圖像也滿足個別子特征值小,比如:純白的2D場景圖像,它的子特征值都等于0。因此判斷圖像f(x,y)的格式,需要同時考慮所有子特征值的特點才能真實的反映視頻格式特點,否則僅僅依賴個別單個子特征基判別視頻格式容易導致格式誤判?;诖嗽瓌t,本發(fā)明提出了多特征融合方法提取3D格式特征,可以進一步提高3D格式特征的表達準確度和穩(wěn)定性。首先,第一類格式子特征值的多特征融合方法計算公式如下:其式中,whist、wblk_hist、wprj、wbry、wmag分別為第一類格式子特征值預先設定的權重比例系數(shù),權重比例系數(shù)定義域為[0,1]且滿足等式條件1=whist+wblk_hist+wprj+wbry+wmag;dlr∈[0,1]表示第一類3D格式特征值。其次,類似的方法,對于第二類格式子特征值進行多特征融合可以得到第二類3D格式特征值,計算公式如下:其中,whist、wblk_hist、wprj、wbry、wmag預先設定的權重比例系數(shù),與第一類格式子特征權重比例系數(shù)相同,dtb∈[0,1]表示第二類3D格式特征值。再次,對于第三類格式子特征值進行多特征融合可以得到第三類3D格式特征值,計算公式如下:其式中,w′hist、w′blk_hist、w′prj、w′mag預先設定的權重比例系數(shù),權重比例系數(shù)定義域為[0,1]且滿足等式條件1=w′hist+w′blk_hist+w′prj+w′mag;dit∈[0,1]表示第三類3D格式特征值。格式判斷模塊64,將融合后的特征送入空間域格式判斷模塊641及時間域格式判斷模塊642進行空間域上的格式判別以及時間域上的模糊特征格式判別,判斷當前幀視頻圖像f(x,y)的圖像格式(判斷是2D格式、上下格式、左右格式,交錯格式)。1、空間域格式判斷模塊6413D視頻圖像只可能是左右格式、上下格式、交錯格式中的一種,不可能同時屬于2種3D格式。如果輸入的視頻圖像是左右格式圖像,則顯然有第一類3D格式特征值小于第二、三類3D格式特征值;如果輸入的視頻圖像是上下格式圖像,則顯然有第二類3D格式特征值小于第一、三類3D格式特征值;如果輸入的視頻圖像是交錯格式圖像,則顯然有第三類3D格式特征值小于第一、二類3D格式特征值;所以第一、二和三類3D格式特征值中的最小特征值最能表達輸入圖像的3D格式特征值,則可得數(shù)學計算表達式:d=min(dtb,dlr,dit)其中,d表示圖像f(x,y)的3D格式特征值;由于dtb∈[0,1],dlr∈[0,1],dit∈[0,1],則可知格式特征值d∈[0,1]。從視頻圖像格式特征值d定義可知,d描述了圖像f(x,y)的左眼圖像和右眼圖像的距離度量,也就是說若格式特征值d的值越小,3D格式特征越強,圖像f(x,y)越可能是3D圖像;反之,格式特征值d的值越大,3D格式特征越弱,即2D視頻格式特征越強,圖像f(x,y)越可能是2D圖像。為了更好的描述,本發(fā)明引進符號fmt進行量化圖像f(x,y)的視頻格式,如果fmt的值等于0,則表示圖像f(x,y)是2D視頻格式圖像;如果fmt的值等于1,則表示圖像f(x,y)是左右格式圖像;如果fmt的值等于2,則表示圖像f(x,y)是上下格式;如果fmt的值等于3,則表示圖像f(x,y)是交錯格式。對于判別輸入圖像是2D圖像還是3D圖像,這里對3D格式特征設定一個閾值dth∈(0,1),例如閾值可以設為dth=0.5,如果格式特征值d≥dth,說明圖像f(x,y)的2D視頻格式特征偏強,f(x,y)的3D格式特征偏弱,則將圖像f(x,y)格式判別為2D視頻格式,fmt的值記為0;如果格式特征值d<dth,說明圖像f(x,y)的2D視頻格式特征偏弱,即圖像f(x,y)的3D格式特征偏強,則將圖像f(x,y)格式判別為3D格式。如果格式特征值d<dthIdlr=d,說明圖像f(x,y)的3D格式特征偏強且第一類3D格式特征強于第二、三類3D格式特征,即圖像f(x,y)的左右格式特征最強,我們則將圖像f(x,y)格式判別為左右格式,fmt的值記為1;如果格式特征值d<dthIdtb=d,說明圖像f(x,y)的3D格式特征偏強且第二類3D格式特征強于第一、三類3D格式特征,即圖像f(x,y)的上下格式特征最強,則將圖像f(x,y)格式判別為上下格式,fmt的值記為2;如果格式特征值d<dthIdit=d,說明圖像f(x,y)的3D格式特征偏強且第三類3D格式特征強于第一、二3D格式特征,即圖像f(x,y)的交錯格式特征最強,則將圖像f(x,y)格式判別為交錯格式,fmt的值記為3;最后則可得空間域上的視頻格式fmt判別表達式如下:其中,fmt表示圖像f(x,y)判別的視頻格式,d表示圖像f(x,y)的格式特征值,dlr表示圖像f(x,y)的第一類3D格式特征值,dtb表示圖像f(x,y)的第二類3D格式特征值,dit表示圖像f(x,y)的第三類3D格式特征值;當fmt=0時,圖像f(x,y)表示判別為一個2D圖像,當fmt=1時,圖像f(x,y)表示判別為一個左右格式的3D圖像,當fmt=2時,圖像f(x,y)表示判別為一個上下格式的3D圖像,當fmt=3時,圖像f(x,y)表示判別為一個交錯格式的3D圖像。2、時間域格式判斷模塊641通常對于對稱性比較強的2D圖像和信息量比較少的暗場景或梯度較弱的3D圖像,計算出來的格式特征值d會落在3D格式特征值閾值dth附近,所以當3D格式特征值d落在dth附近,圖像f(x,y)的3D或2D視頻格式特征不明顯,很難區(qū)分圖像f(x,y)是2D還是3D圖像格式;如果直接以dth作為視頻格式判斷標準,會容易導致視頻格式誤判。因此,本發(fā)明提出了3D格式模糊特征值判別方法進行判別視頻格式,首先,這里引入3D格式特征值d的下門限閾值dlow(或稱3D格式強特征閾值)和上門限閾值dhigh(或稱2D格式強特征閾值),其中dlow和dhigh定義域為0<dlow<dth<dhigh<1。顯然,當3D格式特征值d>dhigh,則圖像的2D視頻格式特征強烈,經過空間域上的格式判別得到的視頻格式fmt(值為0)可信度高;當3D格式特征值d<dlow,則圖像的3D格式特征強烈,經過空間域上的格式判別得到的視頻格式fmt(值為1、2或3)可信度高;當格式特征值dlow≤d≤dhigh,圖像的2D視頻格式特征或3D格式特征不強烈,經過空間域上的格式判別得到的視頻格式fmt(值為0、1、2或3)可信度比較低,因此稱3D格式特征值區(qū)間[dlow,dhigh]為格式判別模糊特征區(qū),稱3D格式特征值d∈[dlow,dhigh]為格式模糊特征值,稱3D格式特征值區(qū)間[0,dlow)U(dhigh,1]為格式判別強特征區(qū),稱3D格式特征值d∈[0,dlow)U(dhigh,1]為格式強特征值。由于視頻圖像往往都是連續(xù)多幀的,前幾幀的視頻格式相對于通過空間域上的格式模糊特征判別得到的視頻格式可信度高,為了減少模糊特征區(qū)的格式誤判對算法檢測準確度的影響,本發(fā)明引入視頻格式的時域信息,由于視頻圖像往往都是連續(xù)多幀的,因此當前幀圖像格式fmtn往往和前一幀圖像格式fmtn-1有一定的相關性,當格式特征值d∈[dlow,dhigh],由于單幀格式判斷出來的fmt可信度低,時域信息中前幾幀圖像格式fmtn-1相對于當前幀計算出的fmt可信度更高,因此當前幀圖像的視頻格式判斷成與前一幀圖像的視頻格式相同比當前幀在空間域上通過格式模糊特征值判別得到的視頻格式的可信度更高。當格式特征值d∈[0,dlow)U(dhigh,1],由于圖像的視頻格式特征較強,通過空間域上的格式判別得到的視頻格式fmt(值為1、2或3)比較可靠,因此在空間域上通過格式強特征值判別得到的視頻格式作為當前幀的視頻格式。因此,時間域上當前幀圖像f(x,y)的格式fmtn的數(shù)學表達式如下:其中,fmt表示當前幀圖像f(x,y)在空間域上的格式判別得到的視頻格式,fmtn-1表示前一幀圖像的視頻格式,以空間域上的格式fmt作為起始第一幀的前一幀格式fmtn-1的初始化格式,fmtn表示當前幀圖像經過時域信息融合后得到的視頻格式。綜上所述,本發(fā)明一種三維視頻格式自動檢測方法及裝置通過先對輸入的一幀視頻圖像進行圖像分塊進行維數(shù)縮減以減少特征向量維素,降低計算復雜度,其次將其送入5個特征提取子模塊分別進行多特征提取,然后對這些特征送入特征融合模塊進行特征融合,再次是將融合后的特征送入格式判斷模塊進行空間域和時間域上的模糊特征格式,判別當前幀視頻圖像f(x,y)的圖像格式,最后輸出當前幀的視頻格式,控制播放裝置按照自動檢測出的視頻圖像格式進行播放片源,不僅可以減少視頻格式檢測的計算復雜度,而且能夠很大的提高視頻格式檢測的準確率。上述實施例僅例示性說明本發(fā)明的原理及其功效,而非用于限制本發(fā)明。任何本領域技術人員均可在不違背本發(fā)明的精神及范疇下,對上述實施例進行修飾與改變。因此,本發(fā)明的權利保護范圍,應如權利要求書所列。
當前第1頁1 2 3 
網(wǎng)友詢問留言 已有0條留言
  • 還沒有人留言評論。精彩留言會獲得點贊!
1