專利名稱：檢測(cè)均勻色片段的方法和系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及用于基于顏色信息來(lái)分割視頻序列并為其加索引。具體而言，采用顏色直方圖，利用顏色相似度來(lái)將節(jié)目片段歸類為場(chǎng)景。
數(shù)字圖像和視頻在計(jì)算機(jī)系統(tǒng)和網(wǎng)絡(luò)上的應(yīng)用呈爆炸性增長(zhǎng)，這大大增加了對(duì)可基于內(nèi)容有效地為之加索引、存儲(chǔ)及檢索圖像和視頻數(shù)據(jù)的多媒體數(shù)據(jù)庫(kù)系統(tǒng)的需求。為更好地支持這種日益增加的需求，已開(kāi)發(fā)了多種不同的技術(shù)。已經(jīng)開(kāi)發(fā)出基于內(nèi)容的圖像檢索技術(shù)，以使用戶可以基于內(nèi)容的可視相似度檢索圖像，同時(shí)還開(kāi)發(fā)出視頻鏡頭邊界檢測(cè)技術(shù)，旨在將連續(xù)視頻序列分割成視覺(jué)上一致的單元，以便可以有效地為該序列添加索引并加以檢索。
一般通過(guò)編輯不同的視頻片段來(lái)形成視頻節(jié)目。這些片段通常被分類成鏡頭或場(chǎng)景。例如，場(chǎng)景是發(fā)生動(dòng)作的地方或背景。場(chǎng)景可以由描述連續(xù)動(dòng)作或事件的一個(gè)或多個(gè)鏡頭構(gòu)成。鏡頭是通過(guò)一個(gè)攝像機(jī)無(wú)間斷地拍攝的視圖。每個(gè)鏡頭是一次拍攝。當(dāng)根據(jù)相同的設(shè)置拍攝同一個(gè)動(dòng)作的附加鏡頭時(shí)，得到的鏡頭是“重拍”。因此，每個(gè)鏡頭由一系列連續(xù)幀，即由一個(gè)攝像機(jī)在連續(xù)且不間斷的工作時(shí)間間隔內(nèi)生成的圖像組成。例如，在動(dòng)畫(huà)圖片中，鏡頭是一個(gè)攝像機(jī)從開(kāi)始錄制起到停拍為止所生成的錄制在膠片上的連續(xù)幀序列。在實(shí)況電視廣播中，一個(gè)鏡頭由從一個(gè)攝像機(jī)以無(wú)線電方式廣播起到被另一個(gè)攝像機(jī)替換為止，屏幕上可看到的那些圖像。多個(gè)鏡頭可以明確定義了兩個(gè)連續(xù)鏡頭(也稱為“剪輯”)之間邊界的突變方式(例如銜接或切換方式)銜接在一起，或者通過(guò)許多種其他編輯模式中的一種，例如使一個(gè)鏡頭逐漸過(guò)渡到下一個(gè)鏡頭的淡入淡出模式來(lái)銜接在一起。一般由導(dǎo)演選擇采用某種特定的過(guò)渡模式來(lái)提供用于幫助觀眾跟上事件進(jìn)度的有關(guān)時(shí)間和場(chǎng)所變更的線索。
已知道多種檢測(cè)不同鏡頭之間的突變過(guò)渡的自動(dòng)視頻索引方法。例如，美國(guó)專利No.6055025就描述了這樣一種方法。
“場(chǎng)景”通常視為攜帶基本相似信息的密切相關(guān)內(nèi)容的幀序列。在一些情況中，攝像機(jī)是固定的，由此提供“靜態(tài)鏡頭”。但是，一般來(lái)說(shuō)，視頻節(jié)目不只包括靜態(tài)鏡頭，而且還包括“運(yùn)動(dòng)鏡頭”(即攝像機(jī)經(jīng)歷諸如搖攝、傾斜和縮放等操作的鏡頭)。由于攝像機(jī)移動(dòng)，單個(gè)鏡頭的一系列幀的內(nèi)容可能有相當(dāng)大的變化，從而導(dǎo)致給定場(chǎng)景中存在一個(gè)以上的鏡頭。因此，雖然不同鏡頭之間的邊界是場(chǎng)景邊界，但這種邊界可以是出現(xiàn)在視頻節(jié)目中的所有場(chǎng)景邊界的子集，因?yàn)閿z像機(jī)移動(dòng)可以產(chǎn)生鏡頭之間的場(chǎng)景變化。因此，可以將場(chǎng)景定義為鏡頭集合，其中一個(gè)鏡頭是無(wú)編輯效果的一組連續(xù)幀?，F(xiàn)有技術(shù)還定義具有相同主題的多個(gè)鏡頭的場(chǎng)景，例如，互換地顯示對(duì)話中的兩個(gè)演員的對(duì)話場(chǎng)景。但是，這種定義有例外的情況，因?yàn)橛行╇娪暗拈_(kāi)幕是一個(gè)含多個(gè)場(chǎng)景的長(zhǎng)鏡頭。就本發(fā)明目的而言，一個(gè)場(chǎng)景通常由多個(gè)鏡頭組成。
雖然現(xiàn)有技術(shù)公開(kāi)了在視頻節(jié)目中查找鏡頭邊界的不同方法，但這些方法均不夠精確而足以用于視頻索引目的。其原因之一是，鏡頭很多時(shí)候是假的，即它們是非自然信號(hào)，如不指示場(chǎng)景信息中的真實(shí)變化的攝像機(jī)閃光生成的。將視頻分割成場(chǎng)景更接近于視頻捕捉的真實(shí)信息。
為了本發(fā)明的目的，術(shù)語(yǔ)“均勻視頻片段”描述的是，一組連續(xù)的給定視覺(jué)特性在一段時(shí)間內(nèi)均勻或近似恒定的視頻幀。具體而言，本發(fā)明涉及基于顏色的均勻性。
顏色信息是用于視頻索引的一項(xiàng)非常有用的可視線索。通常，視頻的均勻色(uniform color)片段是一組連續(xù)的具有“均勻”顏色分布的幀。例如，在戶外體育活動(dòng)(如足球或高爾夫球運(yùn)動(dòng))中，因?yàn)橐曨l中存在草和天空，因此“綠色”和“藍(lán)色”成為主色調(diào)。如果計(jì)算這些戶外場(chǎng)景的顏色直方圖，則“綠色”和“藍(lán)色”區(qū)間(bin)將是突出的，即每區(qū)間以這兩種顏色為主。
顏色超直方圖是通過(guò)順序更新顏色直方圖生成的。產(chǎn)生這些直方圖的一種方法如下。在視頻例如MPEG-1/2/4視頻中，連續(xù)幀組織成I-/-P/-B幀，這些幀成組出現(xiàn)，如重復(fù)的IBBBPBBBPBBBPBBB。為所有幀或選定幀生成顏色直方圖。從處理速度的觀點(diǎn)來(lái)看，可以在時(shí)域上對(duì)幀執(zhí)行二次抽樣。以某種抽樣速度提取I幀或B幀。顏色超直方圖是通過(guò)組合多個(gè)連續(xù)顏色直方圖的信息生成的。這使顏色超直方圖成為一種檢測(cè)均勻色片段的重要工具和功能，因?yàn)樗且曨l的既穩(wěn)健又連續(xù)的顏色表示。通常，顏色信息是對(duì)均勻色片段進(jìn)行視頻索引十分重要。因此，超直方圖通常用于表征視頻。超直方圖可用于識(shí)別類屬、查找節(jié)目邊界以及產(chǎn)生視覺(jué)摘要信息。例如，利用節(jié)目邊界檢測(cè)，可以將“宋飛正傳(episode of Seinfeld)”的情節(jié)與新聞節(jié)目區(qū)分開(kāi)。但是，本發(fā)明均勻色片段邊界檢測(cè)允許將新聞節(jié)目的片段分割成單獨(dú)的故事片段。
因此，需要有一種既有效又精確的方法和系統(tǒng)來(lái)檢測(cè)視頻節(jié)目中均勻色片段的邊界。
本發(fā)明的目的和優(yōu)點(diǎn)通過(guò)如下說(shuō)明來(lái)加以闡明，并且可通過(guò)實(shí)施而得以了解。本發(fā)明的附加優(yōu)點(diǎn)可通過(guò)本說(shuō)明書(shū)和權(quán)利要求書(shū)以及附圖中具體指出的方法和系統(tǒng)來(lái)加以認(rèn)識(shí)并實(shí)現(xiàn)。
為了實(shí)現(xiàn)這些和其他優(yōu)點(diǎn)，根據(jù)本發(fā)明目的，如所具體化并描述的那樣，本發(fā)明包括檢測(cè)視頻序列中一系列連續(xù)幀的片段邊界的方法。該方法包括如下步驟從每幀獲取顏色信息，確定每幀的顏色直方圖，以及利用所述顏色直方圖應(yīng)用邊界檢測(cè)技術(shù)。最后，該方法包括將視頻序列幀分割成均勻色片段。
本發(fā)明還包括用于在視頻序列中檢測(cè)一系列連續(xù)幀的片段邊界的系統(tǒng)。該系統(tǒng)包括用于從每幀獲取顏色信息的裝置、用于確定每幀的顏色直方圖的裝置以及利用所述顏色直方圖應(yīng)用邊界檢測(cè)技術(shù)的裝置。最后，本系統(tǒng)包括用于將視頻序列幀分割成均勻色片段的裝置。所述邊界檢測(cè)技術(shù)包括系列顏色(family color)直方圖方法、加權(quán)平均顏色直方圖方法、連續(xù)顏色直方圖方法、隨機(jī)方法、基于鏡頭的顏色直方圖方法、馬賽克顏色直方圖方法以及可計(jì)算宏片段邊界方法。
顯然，以上概述和如下詳細(xì)說(shuō)明均是示范性的，旨在對(duì)要求權(quán)利的本發(fā)明作進(jìn)一步解釋。
附圖是本發(fā)明的組成部分，用于圖示并進(jìn)一步說(shuō)明本發(fā)明的方法和系統(tǒng)。附圖與如下說(shuō)明一起用于解釋本發(fā)明的原理。


圖1是可借以實(shí)施本發(fā)明實(shí)施例的通用計(jì)算機(jī)的示意框圖；圖2是說(shuō)明根據(jù)本發(fā)明實(shí)施例的通用方法的流程圖；圖3說(shuō)明本發(fā)明的一個(gè)實(shí)施例；圖4以流程圖形式說(shuō)明根據(jù)本發(fā)明另一個(gè)實(shí)施例的系列顏色直方圖方法；圖5說(shuō)明根據(jù)本發(fā)明實(shí)施例，用于對(duì)話宏片段的基于累計(jì)直方圖的宏邊界確定方法的一個(gè)示例；圖6說(shuō)明根據(jù)本發(fā)明實(shí)施例，基于累計(jì)直方圖的宏邊界確定方法的一個(gè)示例；提供如下說(shuō)明以使本領(lǐng)域技術(shù)人員能夠?qū)嵤┎⒗帽景l(fā)明。本領(lǐng)域技術(shù)人員顯然容易想到針對(duì)優(yōu)選實(shí)施例的各種修改，并且在不背離本發(fā)明精神和范圍以及所附權(quán)利要求的前提下，所提出的公開(kāi)還可適用于其他實(shí)施例和應(yīng)用。因此，本發(fā)明并不局限于所述實(shí)施例，而是具有與所提出的公開(kāi)一致的寬廣范圍。
系統(tǒng)最好利用如圖1所示的常規(guī)通用計(jì)算機(jī)系統(tǒng)100實(shí)施在視頻序列中檢測(cè)均勻色片段邊界的方法，其中，圖2的進(jìn)程可以實(shí)現(xiàn)為軟件，如在計(jì)算機(jī)系統(tǒng)100內(nèi)執(zhí)行的應(yīng)用程序。具體而言，檢測(cè)顏色片段邊界的方法的步驟通過(guò)計(jì)算機(jī)執(zhí)行的編碼為軟件的指令來(lái)實(shí)施。該軟件可以分成兩個(gè)部分一部分用于執(zhí)行視頻均勻色片段檢測(cè)方法；另一部分用于管理后者與用戶之間的用戶界面。該軟件可以存儲(chǔ)在計(jì)算機(jī)可讀介質(zhì)中，包括存儲(chǔ)在例如下文所述的存儲(chǔ)設(shè)備中。該軟件從計(jì)算機(jī)可讀介質(zhì)加載到計(jì)算機(jī)上，然后由計(jì)算機(jī)執(zhí)行。記錄有這種軟件或計(jì)算機(jī)程序的計(jì)算機(jī)可讀介質(zhì)是計(jì)算機(jī)程序產(chǎn)品。在計(jì)算機(jī)中使用所述計(jì)算機(jī)程序產(chǎn)品最好構(gòu)成根據(jù)本發(fā)明實(shí)施例的用于檢測(cè)視頻的均勻色片段邊界的裝置。
計(jì)算機(jī)系統(tǒng)100包括計(jì)算機(jī)模塊105、輸入設(shè)備如鍵盤110和鼠標(biāo)115以及包括打印機(jī)120和顯示設(shè)備125的輸出設(shè)備。計(jì)算機(jī)模塊105可以利用模塊化解調(diào)器(Modem)收發(fā)器形式的通信設(shè)備130來(lái)與通信網(wǎng)絡(luò)135通信，例如可通過(guò)電話線路140或其他功能介質(zhì)連接。通信設(shè)備130可以用于獲得對(duì)因特網(wǎng)和其他網(wǎng)絡(luò)系統(tǒng)如局域網(wǎng)(LAN)或廣域網(wǎng)(WAN)的訪問(wèn)權(quán)。
計(jì)算機(jī)模塊105通常包括至少一個(gè)處理器單元145(CPU-中央處理單元)、存儲(chǔ)裝置150(例如由半導(dǎo)體隨機(jī)存取存儲(chǔ)器(RAM)和只讀存儲(chǔ)器(ROM)構(gòu)成)、輸入/輸出(I/O)接口(包括視頻接口155、用于鍵盤110和鼠標(biāo)115(可選的)以及可選的游戲桿(未顯示)的I/O接口以及用于通信設(shè)備130的接口165。設(shè)有存儲(chǔ)設(shè)備170，它通常包括硬盤驅(qū)動(dòng)器175和軟盤驅(qū)動(dòng)器180。還可以采用磁帶驅(qū)動(dòng)器(未顯示)或智能介質(zhì)型驅(qū)動(dòng)器。CD-ROM驅(qū)動(dòng)器或DVD驅(qū)動(dòng)器185通常作為非易失性數(shù)據(jù)源提供。計(jì)算機(jī)模塊105的上述組件145至160通常通過(guò)互連總線190或其他適合于數(shù)據(jù)傳輸?shù)难b置(如紅外線和藍(lán)牙技術(shù))，以導(dǎo)致本領(lǐng)域技術(shù)人員知道的計(jì)算機(jī)系統(tǒng)100的常規(guī)操作模式的方式進(jìn)行通信。可實(shí)施本發(fā)明實(shí)施例的計(jì)算機(jī)示例包括IBM-PC及其兼容機(jī)，Sun公司的Sparcstations、Apple公司的Macintosh計(jì)算機(jī)以及由它們發(fā)展出來(lái)的類似計(jì)算機(jī)系統(tǒng)。
通常，優(yōu)選實(shí)施例的應(yīng)用程序駐留在硬盤驅(qū)動(dòng)器175上，并由處理器145在執(zhí)行時(shí)讀取和控制它們。利用半導(dǎo)體存儲(chǔ)器150(可能要配合硬盤驅(qū)動(dòng)器175)可以實(shí)現(xiàn)對(duì)從網(wǎng)絡(luò)135獲取的該程序和任何數(shù)據(jù)的中間存儲(chǔ)。在一些情況下，該應(yīng)用程序可以這樣提供給用戶先編碼在CD-ROM或軟盤上，然后分別通過(guò)對(duì)應(yīng)驅(qū)動(dòng)器185或180讀取，或者可以由用戶通過(guò)調(diào)制解調(diào)器通信設(shè)備130從網(wǎng)絡(luò)135上讀取。再者，該軟件還可以從其他計(jì)算機(jī)可讀介質(zhì)加載到計(jì)算機(jī)系統(tǒng)100中，所述其他計(jì)算機(jī)可讀介質(zhì)包括磁帶、ROM集成電路、磁光盤、計(jì)算機(jī)模決105與其他設(shè)備之間的無(wú)線電或紅外線傳輸信道、計(jì)算機(jī)可讀卡如PCMCIA卡以及含電子郵件傳輸和網(wǎng)站記錄的信息等的因特網(wǎng)和企業(yè)內(nèi)部網(wǎng)。上述只是相關(guān)計(jì)算機(jī)可讀介質(zhì)的示例。在不背離本發(fā)明的精神或范圍的前提下還可以采用其他計(jì)算機(jī)可讀介質(zhì)。
計(jì)算機(jī)系統(tǒng)100可以存儲(chǔ)大量視頻數(shù)據(jù)，以作為所述均勻色片段邊界檢測(cè)方法的輸入。該視頻數(shù)據(jù)可以通過(guò)DVD-ROM驅(qū)動(dòng)器185或直接通過(guò)攝像放像機(jī)(未顯示)經(jīng)輸入165輸入到計(jì)算機(jī)系統(tǒng)100。
在視頻序列中檢測(cè)均勻色片段邊界的方法也可以用專用硬件，如執(zhí)行圖2所示的功能或子功能的一個(gè)或多個(gè)集成電路來(lái)實(shí)現(xiàn)。此類專用硬件可以集成到攝像放像機(jī)或VCR等設(shè)備上，并且可包括圖形處理器、數(shù)字信號(hào)處理器或一個(gè)或多個(gè)微處理器和相關(guān)存儲(chǔ)器。
通用方法參考圖2，圖示的一種在視頻序列中檢測(cè)均勻色片段邊界的方法。該方法利用一組邊界檢測(cè)技術(shù)來(lái)對(duì)視頻序列進(jìn)行分割并加索引。根據(jù)本發(fā)明的優(yōu)選實(shí)施例，每種技術(shù)基于從視頻序列獲得的顏色信息來(lái)實(shí)現(xiàn)。顏色是用于對(duì)通用視頻序列進(jìn)行分割并加索引的有效視覺(jué)屬性。這包括根據(jù)“均勻”色間隔進(jìn)行視頻分割。
視頻的均勻色片段是一組連續(xù)的具有“恒定”顏色或主色的連續(xù)幀。為了捕獲這些主色，在本發(fā)明中采用了顏色直方圖。顏色直方圖是圖像中不同顏色的計(jì)數(shù)。最好將顏色信息用于將節(jié)目片段分類成均勻色片段。
“均勻色片段”可以定義為顏色屬性均勻，即在一段時(shí)間內(nèi)基于顏色直方圖信息恒定或近似恒定的片段。
因此，圖2所示的在視頻序列中檢測(cè)均勻色片段邊界的方法包括獲取視頻序列200中每幀的顏色信息205的步驟。基于所獲得的顏色信息，在步驟210確定每幀的顏色直方圖。從視頻幀導(dǎo)出顏色直方圖是本領(lǐng)域熟知的技術(shù)。一般來(lái)說(shuō)，每個(gè)圖像通過(guò)多種顏色(稱為調(diào)色板)來(lái)描述。調(diào)色板中顏色的數(shù)量可以根據(jù)應(yīng)用來(lái)選擇。顏色直方圖統(tǒng)計(jì)具有給定顏色范圍的圖像中的像素的數(shù)量。每個(gè)顏色直方圖與一個(gè)幀編號(hào)相關(guān)聯(lián)。如上所述以及本領(lǐng)域所熟知的，圖像的顏色分布可以用直方圖來(lái)表示，每個(gè)區(qū)間(bin)對(duì)應(yīng)于每個(gè)顏色分量的一個(gè)值范圍。例如，對(duì)于8位的圖像，顏色分量的取值范圍在0到255之間。通常，有兩種量化方法定制(或非均勻)和均勻量化。在定制方法中，為本發(fā)明目的，最好選擇一個(gè)顏色比窮舉少的調(diào)色板。最好不要選擇在所有幀中都可能出現(xiàn)的顏色(如黑色、白色或膚色色調(diào))或者為其指配低權(quán)值?？梢詾闇\灰色、中灰色和深灰色設(shè)缺省區(qū)間，以便說(shuō)明黑和白的色調(diào)。也可以為它們指配較其他區(qū)間低的權(quán)值。
或者，可以采用其他均勻量化方案。顏色量化通常是計(jì)算視頻直方圖的第一步。存在用于顏色量化的不同方法，在本領(lǐng)域中這些方法都是熟知的。所涉及的因素有要使用哪種彩色空間(HSV、YUV、RGB)，要選擇多少種顏色和如何進(jìn)一步劃分彩色空間(例如9、30、90、900)。例如，可以將128個(gè)區(qū)間用于Y(亮度)或?qū)⒖偣?88個(gè)區(qū)間用于按比例縮小的Y、Cr(紅色色度)、Qb(藍(lán)色色度)。有許多可用的選擇。為了舉例，且因?yàn)镸PEG在Y、Cr、Qb彩色空間操作，本說(shuō)明書(shū)全部采用此彩色空間進(jìn)行描述?；蛘?，可以將HSB(色調(diào)、飽和度、亮度)彩色空間用于定義基本顏色區(qū)間。
在步驟210為每幀定義了直方圖之后，在步驟215應(yīng)用以下將詳細(xì)討論的邊界檢測(cè)技術(shù)之一。在應(yīng)用邊界檢測(cè)技術(shù)之后，在步驟220將視頻流分割成均勻色片段。
應(yīng)用特定的邊界檢測(cè)技術(shù)目前，視頻流是由一組連續(xù)幀或交織場(chǎng)組成的。可以根據(jù)MPEG(1，2，4)視頻流中I幀的位置或通過(guò)提取的視頻鏡頭來(lái)為幀加索引。MPEG是一種視頻壓縮標(biāo)準(zhǔn)，它表示運(yùn)動(dòng)圖像專家組。也可以基于其他方法來(lái)提取視頻鏡頭，例如本領(lǐng)域中為人熟知的基于DCT(離散余弦變換)的方法。例如，Peter D.Symes所著的《揭開(kāi)視頻壓縮的神秘面紗)》(Demystified by Peter D.Symes，McGraw-HillProfessional Publishing；ISBN0071363246；1st edition(December 20，2000))中公開(kāi)了此類技術(shù)，該論著通過(guò)引用全部結(jié)合于本文中。
參考圖3，其中顯示了含有N幀的視頻序列的典型I幀集合。每個(gè)I幀對(duì)應(yīng)于一個(gè)9區(qū)間顏色直方圖CH[i][j]，其中索引號(hào)i表示區(qū)間位置，索引號(hào)j表示視頻序列中幀的位置。下文將描述基于顏色“均勻性“在視頻序列中檢測(cè)邊界的不同技術(shù)?！熬鶆蛐浴钡母拍顚?duì)所述的每種方法而言都是不同的。此外，在視頻壓縮的MPEG領(lǐng)域中，可以將任何類型的幀，例如I、P或B類型的幀與如下所述的任何技術(shù)一起使用。最好采用I幀，因?yàn)镻和B幀存在喪失分辨率的問(wèn)題。
1.系列顏色直方圖在此方法中，“系列“顏色直方圖CHF[i][j]按如下步驟生成對(duì)于1≤j≤N(其中j是幀索引號(hào)，i是區(qū)間索引號(hào))參考圖4，通過(guò)計(jì)算如下差值度量將第j幀的顏色直方圖CH[i][j]與“系列”顏色直方圖CHF[i][j]的對(duì)應(yīng)直方圖作比較(步驟400)DCHF[j]=Σi=19||CH[i][j]-CHF[i][j-1]||]]>公式(1)其中度量‖.‖可以是L1、L2等，如下將對(duì)此予以討論。為舉例而非限制，采用9個(gè)區(qū)間。DCHF[j]表達(dá)式中的“系列”顏色直方圖幀索引號(hào)是j-1。
(a)如果第j幀的DCHF[j]小于閾值τDCHF，則CH[i][j]與CHF[i][j-1]“合并”(步驟415)，從而生成CHF[i][j]。所述“合并”可以通過(guò)執(zhí)行簡(jiǎn)單的加權(quán)平均或采用如下所述的卡爾曼濾波來(lái)執(zhí)行。
(b)如果第j幀的DCHF[j]大于閾值τDCHF，則CH[i][j]將開(kāi)始新的“系列”顏色直方圖(步驟410)，并將第j幀視為下一個(gè)視頻“均勻色片段”的第一幀。
(c)最好重復(fù)步驟(a)和(b)，直到j(luò)＝N為止。在此過(guò)程結(jié)束時(shí)，就確定了具有“均勻的”顏色調(diào)色板的連續(xù)視頻“均勻色”片段集合。每個(gè)“系列”顏色直方圖中可以有多個(gè)主區(qū)間。
如上所述，計(jì)算每幀的顏色直方圖，并搜索先前計(jì)算的系列直方圖，以查找最接近的系列直方圖匹配?？梢圆捎酶鞣N直方圖比較方法來(lái)計(jì)算當(dāng)前直方圖CHC(等效于CH[i][j])和先前序列直方圖CHP(等效于CHF[i][j-1])之間的比較結(jié)果。根據(jù)本發(fā)明的另一個(gè)實(shí)施例，可以采用如下方法來(lái)計(jì)算直方圖差D(1)可以使用如下公式計(jì)算利用L1距離測(cè)量的直方圖差值D=Σi=1N|CHc(i)-CHP(i)|]]>這里，N是所采用的顏色區(qū)間的總數(shù)(例如可以采用9個(gè)區(qū)間)。利用此公式獲得的值范圍在0到各圖像中最大像素?cái)?shù)的兩倍之間。因?yàn)樽詈媚軌颢@得相似度的百分比，所以通過(guò)除以該總像素?cái)?shù)來(lái)將該值歸一化。歸一化值在0與1之間，其中接近0的值表示圖像相似，而接近1的值表示圖像不相似。
(2)或者，使用如下公式來(lái)計(jì)算利用L2距離度量的直方圖差D=Σi=1N(CHC(i)-CHP(i))2]]>類似于情況(1)，最好將D的值歸一化。L2范數(shù)是平方值。但是，為了將其用作距離函數(shù)，取平方根(例如歐幾里德距離)是必要的。
(3)可以使用如下公式來(lái)計(jì)算直方圖相交I=Σi=1Nmin(CHC(i),CHP(i))Σi=1NCHC(i)]]>利用此公式獲得的值范圍在0到1之間。接近0的值表示圖像不相似，接近1的值表示圖像相似。為了比較使用相同的相似度解釋的直方圖，將公式D＝1-I用作距離度量。
(4)使用如下公式來(lái)計(jì)算兩個(gè)圖像直方圖的卡方檢驗(yàn)x2=Σi=1N(CHC(i)-CHP(i))2(CHC(i)+CHP(i))2]]>在此情況下，值范圍在0到顏色區(qū)間數(shù)N之間。利用N將這些值歸一化，即D＝x2/N。
(5)使用如下公式計(jì)算按區(qū)間(Bin-wise)的直方圖相交B=Σi=1Nmin(CHC(i),CHP(i))max(CHC(i),CHP(i))]]>與直方圖相交類似，較低的值表示不相似，較高的值表示圖像相似。為了與先前的測(cè)量一致，距離計(jì)算為D＝1-B/N。
以上五種方法允許測(cè)量直方圖之間的距離。本領(lǐng)域技術(shù)人員會(huì)理解，可以將以上五種距離度量中的任何一種用于本發(fā)明的實(shí)際應(yīng)用中。此外，現(xiàn)有技術(shù)公開(kāi)了可以采用的其他替代性距離度量(例如馬哈拉諾比斯距離)。
2.加權(quán)平均顏色直方圖或者，根據(jù)本發(fā)明的另一個(gè)實(shí)施例，一種實(shí)施上述方法的途徑涉及計(jì)算加權(quán)平均顏色直方圖高度、加權(quán)平均顏色直方圖高度方差以及加權(quán)平均顏色直方圖方差的方差。這三種平均定義如下(a)第j幀的第i區(qū)間的加權(quán)平均顏色直方圖高度<h>i，j⟨h⟩j=Σi=1#binshi,je(hi,j-⟨h⟩j-1)2/2·σh2σh·2·π]]>公式(2)其中 表示在時(shí)刻j-1定義的取決于平均直方圖高度<h>j-1的高斯加權(quán)函數(shù)，而σh是高度方差參數(shù)。
(b)加權(quán)平均顏色直方圖高度方差<v>i⟨v⟩j=Σi=1#binsvi,je(vi,j-⟨v⟩j-1)2/2·σv2σv·2·π]]>公式(3)其中vi，j≡hi，j-<h>j和 是高斯方差加權(quán)值，σv是方差參數(shù)。
(c)加權(quán)平均顏色直方圖高度方差的方差<a>i⟨a⟩j=Σi=1#binsai,je(ai,j-⟨a⟩j-1)2/2·σa2σa·2·π]]>公式(4)
其中，ai，j≡vi，j-<v>j以及 是高斯加權(quán)，σa是加速方差參數(shù)。
在連續(xù)瞬間比較這三個(gè)平均值，即I幀或視頻抽樣的幀，以檢查指示出現(xiàn)新“顏色”的銳變(sharp variation)，由此檢查到新的均勻色片段。然后將這些平均值歸一化，得到例如范圍在0至1之間的值。
存在可能的平均值變化趨勢(shì)。例如，連續(xù)且一致的較高方差對(duì)應(yīng)于搖攝的均勻色片段。最后，當(dāng)出現(xiàn)新的顏色時(shí)，平均值會(huì)包含更多的信息，因此被指配比先前存在的區(qū)間更大的權(quán)值。如果<v>j和<a>j超過(guò)預(yù)定閾值，則找到新的均勻色片段，否則存在與時(shí)刻j-1一樣的均勻色片段。
3.連續(xù)顏色直方圖在本技術(shù)中，根據(jù)本發(fā)明的另一個(gè)實(shí)施例，通過(guò)比較連續(xù)幀之間的顏色直方圖來(lái)檢測(cè)視頻邊界。因此，如果CH[i][j]與CH[i][j-1]是在幀j和幀j-1上定義的對(duì)應(yīng)于第i區(qū)間的兩個(gè)顏色直方圖，則按如下公式計(jì)算差值度量DCHS[j]=Σi=19||CH[i][j]-CH[i][j-1]||]]>公式(5)這里采用9個(gè)區(qū)間。
如果DCHS[j]大于閾值τDCHS，則第j幀確定為顏色邊界，并將其視為新的“均勻”色視頻片段的第一幀。
4.隨機(jī)方法根據(jù)本發(fā)明的另一個(gè)實(shí)施例，隨機(jī)方法是基于卡爾曼濾波技術(shù)來(lái)實(shí)施的?？柭鼮V波器本質(zhì)上是一組實(shí)現(xiàn)預(yù)測(cè)校正型估計(jì)器的數(shù)學(xué)公式，它在當(dāng)假定的條件得到滿足時(shí)使估計(jì)的誤差協(xié)方差最小的意義上最優(yōu)的。卡爾曼濾波器解決的問(wèn)題是給定給定時(shí)刻特征矢量例如圖像像素的位置和速度的估計(jì)，求時(shí)刻t+1的估計(jì)矢量值。這利用了狀態(tài)公式行為的知識(shí)以及給定的測(cè)量公式。
卡爾曼濾波技術(shù)在本領(lǐng)域是眾所周知的。
根據(jù)本發(fā)明的技術(shù)的一般思想是，“跟蹤”這樣的視頻間隔其中，按i索引的N個(gè)區(qū)間的顏色直方圖CH[i][j]是“均勻的”。對(duì)于每個(gè)時(shí)刻j，CH[i][j]表示N個(gè)分量的矢量。在卡爾曼濾波技術(shù)用語(yǔ)中，這稱為狀態(tài)矢量。
有兩個(gè)描述卡爾曼濾波方法的公式狀態(tài)公式和測(cè)量公式。
在描述每個(gè)公式之前，定義下列項(xiàng)顏色直方圖矢量CH[j]＝(CH[1][j]，...，CH[9][j])T，公式(6)在第j幀定義9個(gè)分量，每個(gè)顏色區(qū)間對(duì)應(yīng)一個(gè)。顏色直方圖差矢量DCH[j]定義為DCH[j]≡(DCH[1][j]，...，DCH[9][j])T≡‖CH[j]-CH[j-1]‖，公式(7)其中‖·‖表示度量算子。
對(duì)于第i個(gè)顏色直方圖矢量和和顏色直方圖差值矢量，我們得到時(shí)刻j上的如下?tīng)顟B(tài)公式CH[i][j+1]＝CH[i][j]+DCH[i][j]+0.5wCH[i][j]，公式(8.1)DCH[i][j+1]＝DCH[i][j]+wDCH[i][j]， 公式(8.2)其中wCH[·][j]和wDCH[·][j]分別表示顏色直方圖和顏色直方圖差值的狀態(tài)噪聲函數(shù)。類似地，兩個(gè)測(cè)量公式為MCH[i][j]＝CH[i][j]+nCH[i][j]， 公式(9.1)MDCH[i][j]＝DCH[i][j]+nDCH[i][j]， 公式(9.2)其中nCH[·][j]和nDCH[·][j]分別是顏色直方圖和顏色直方圖差值的測(cè)量噪聲函數(shù)。
這四個(gè)公式可以組合起來(lái)形成一個(gè)狀態(tài)和測(cè)量公式。利用CH[j]和DCH[j]，離散狀態(tài)矢量S[j]定義為S[j]≡(CH[j]，DCH[j])T，公式(10)S[j]的時(shí)間演化狀態(tài)模型為S[j+1]＝FjS[j]+DW[j]，公式(11)其中Fj=F1,jF2,jF3,jF4,j]]>公式(12)其中F1，j、...、F4，j是9×9的矩陣，F(xiàn)3，j＝0，且0是9×9的零矩陣；以及D=(0.5×1‾‾,0.5×1‾‾,1‾‾,1‾‾)T]]>公式(13)其中 是1×9的單位矢量。具體而言，為重現(xiàn)(8.1)和(8.2)Fj=1101]]>公式(14)矢量w[j]是零平均值的離散高斯隨機(jī)變量(RV)，即E[w[j]]＝0，E[w[j]w[k]]＝Qδjk，其中E[.]表示RV的期望值，以及如果j＝k，則δjk＝1；否則δjk＝0。
測(cè)量模型M[j]為M[j]＝HjS[j]+n[j]， 公式(15)其中Hj=H1,jH2,jH3,jH4,j]]>公式(16)H1，j、...、H4，j是9×9矩陣，n[j]是w[j]的具有模擬特性的噪聲，即E[n[j]]＝0，E[n[j]n[k]]＝Rδjk。具體而言，為重現(xiàn)(9.1)和(9.2)，我們有
Fj=1001]]>公式(17)給定狀態(tài)和測(cè)量模型，可以證明卡爾曼濾波器預(yù)測(cè)和濾波更新公式為預(yù)測(cè)S^j|j-1=FjS^j-1|j-1,]]>公式(18.1)Σj|j-1=FjΣj-1|j-1FjT+DjQjDjT,]]>公式(18.2)濾波S^j|j=S^j|j-1+Σj|j-1HjT(HjΣj|j-1HjT+Rj)-1(Mj-HjS^j|j-1),]]>公式(19.1)Σj|j=Σj|j-1-Σj|j-1Hj(HjTΣj|j-1Hj+Rj)-1HjTΣj|j-1,]]>公式(19.2)其中S^j|j-1=E[S[j]|M[1],...,M[j-1]],]]>公式(20)S^j|j=E[S[j]|M[1],...,M[j]],]]>公式(21)Σj|j-1=E[S[j]-S^j|j-1][S[j]-S^j|j-1]T|M[1],...,M[j-1]],]]>公式(22)Σj|j=E[S[j]-S^j|j][S[j]-S^j|j]T|M[1],...,M[j]]]]>公式(23) 表示給定直到時(shí)刻j-1的測(cè)量值時(shí)，時(shí)刻j的狀態(tài)矢量 的估計(jì)。 與 相似，不同之處在于它表示時(shí)刻j-1估計(jì)的狀態(tài)矢量?！苆|j-1表示給定直到時(shí)刻j-1的測(cè)量值時(shí)，時(shí)刻j上估計(jì)的協(xié)方差矩陣；而∑j-1|j-1表示給定直到時(shí)刻j-1的測(cè)量值時(shí)，時(shí)刻j-1上估計(jì)的協(xié)方差矩陣。
隨著時(shí)間的推移，CH[i][j]得到更新。在卡爾曼濾波方法中，確定CH[i][j]的演化。最好還確定誤差，即CH[i][j]與其“平均”矢量之差。在時(shí)間上連續(xù)的色直方圖之間，顏色直方圖差值矢量按DCH[i][j]＝CH[i][j-1]-CH[i][j]定義。使用DCH[i][j]是為了確定CH[i][j]何時(shí)變化，即它是“速度”。如果CH[i][j]恒定，則DCH[i][j]為零。
獲得的樣本越多，此聯(lián)合狀態(tài)矢量的“預(yù)測(cè)結(jié)果”就會(huì)越好。在給定視頻均勻色片段，例如具有固定背景和前景色調(diào)色板的新聞播報(bào)中，用于確定顏色直方圖矢量的I幀越多，則預(yù)測(cè)結(jié)果越好。
測(cè)量模型M[j]＝HjS[j]+n[j]對(duì)應(yīng)于顏色直方圖的實(shí)際測(cè)量值及其差值。在卡爾曼濾波方法中，有兩組公式預(yù)測(cè)公式和濾波公式。預(yù)測(cè)部分在給定相同數(shù)量幀的條件下，確定估計(jì)狀態(tài)矢量和方差矩陣從一個(gè)時(shí)刻到其相繼時(shí)刻如何演化，而濾波部分通過(guò)添加“新的”幀信息確定該狀態(tài)矢量和方差矩陣如何演化。
卡爾曼濾波的基本概念是隨著幀數(shù)量增加，方差矩陣的元素趨于零，而狀態(tài)矢量的元素變成“常量”。當(dāng)CH元素變成常量時(shí)，DCH元素通常趨于零。
因此，如果存在均勻色片段變化，則預(yù)計(jì)顏色調(diào)色板將改變，由此將不再滿足預(yù)測(cè)和濾波條件。因此，最好采用確定新的均勻色片段何時(shí)開(kāi)始的度量。為此，可以將測(cè)得的差矢量MDCH[j]與(根據(jù)卡爾曼濾波方法)估計(jì)的差矢量進(jìn)行比較。如果該矢量比預(yù)定閾值大，例如大于20％的估計(jì)差，則有一個(gè)新的均勻色片段開(kāi)始。這樣就檢測(cè)到了均勻色片段邊界。
卡爾曼濾波通常旨在確定變量的時(shí)間演化，以便它們的方差漸進(jìn)地趨于零，即方差變?yōu)樵跁r(shí)間上恒定。但是，如果變量發(fā)生突變，例如對(duì)象的方向和/或速度發(fā)生突變，則該卡爾曼濾波方法將不適用。通常通過(guò)以加權(quán)平均顏色直方圖方法計(jì)算的方差值中的峰值來(lái)檢測(cè)這種突變。根據(jù)本發(fā)明，突變發(fā)生在有鏡頭或場(chǎng)景變更時(shí)。
5.基于鏡頭的顏色直方圖根據(jù)本發(fā)明的另一個(gè)實(shí)施例，應(yīng)用基于鏡頭的顏色直方圖技術(shù)。運(yùn)用此技術(shù)，基于鏡頭來(lái)檢測(cè)視頻邊界。
設(shè)有含N幀的視頻序列的M個(gè)鏡頭的集合{Sh1，...，ShM}。每個(gè)鏡頭對(duì)應(yīng)于例如一個(gè)9區(qū)間顏色直方圖CH[i][j]，其中索引號(hào)i表示區(qū)間位置，索引號(hào)j表示視頻序列中幀的位置。取決于具體的應(yīng)用，可以采用任何數(shù)量的區(qū)間。鏡頭Sh1的代表性顏色直方圖CH[Sh1]確定為給定鏡頭內(nèi)的“平均”顏色直方圖。最好，利用如上所述的卡爾曼濾波方法來(lái)將此技術(shù)公式化。例如，在給定一組顏色直方圖{CH[Sh1]，...，CH[ShM]}的情況下，可以確定視頻均勻色片段的邊界。
6.馬賽克顏色直方圖根據(jù)本發(fā)明的另一個(gè)實(shí)施例，馬賽克顏色直方圖技術(shù)假定計(jì)算3維均勻色片段靜止部分，即圖像背景部分的馬賽克部分。計(jì)算馬賽克顏色直方圖方法是本領(lǐng)域熟知的。例如，L.Theodosio，W.Bender所著的《突出的視頻靜止圖像保留的內(nèi)容和上下文》(Salient VideoStillsContent and Context Preserved，Proceedings of ACM MultimediaConference，ACM Press(1993))中公開(kāi)了此類技術(shù)之一，此文獻(xiàn)通過(guò)引用全部結(jié)合于本文中。可以利用攝像機(jī)運(yùn)動(dòng)檢測(cè)方法以及圖像合成方法導(dǎo)出馬賽克圖像或全景概貌圖。對(duì)于視頻鏡頭，馬賽克表示法是一種較好的視覺(jué)、空時(shí)合成表示法。馬賽克提取法通常包括兩個(gè)步驟運(yùn)動(dòng)估計(jì)和運(yùn)動(dòng)增長(zhǎng)(motion accretion)。在生成過(guò)程的給定時(shí)刻，將輸入幀與由先前幀組成的當(dāng)前馬賽克合并。為了合并輸入的幀，采用全局運(yùn)動(dòng)估計(jì)算法來(lái)查找移動(dòng)參數(shù)。運(yùn)動(dòng)估計(jì)法是本領(lǐng)域技術(shù)人員熟知的方法。例如，一種經(jīng)典方法是光流計(jì)算法。但這種方法是技術(shù)密集型的，且隨照明條件變化穩(wěn)健性不足?；蛘?，可以采用豪斯多夫距離法來(lái)執(zhí)行運(yùn)動(dòng)估計(jì)。在運(yùn)動(dòng)估計(jì)之后，利用加權(quán)函數(shù)計(jì)算當(dāng)前馬賽克，以拒絕圖像中不屬于背景的部分，然后混和當(dāng)前馬賽克和變形的輸入幀。
根據(jù)本發(fā)明的實(shí)施例，用于構(gòu)造全景馬賽克的典型方法包括從每個(gè)圖像收集稱為條帶(strip)的部分，并將這些條帶彼此粘貼形成馬賽克。在搖攝(水平移動(dòng))的簡(jiǎn)單情況中，從每個(gè)圖像提取垂直條帶，并將其并排粘貼。此過(guò)程還可以視為以垂直掃描來(lái)掃描場(chǎng)景。垂直掃描與水平光流垂直。在將這些條帶縫合在全景圖像中之后，光流指向生成全景圖像的方向?？梢愿鶕?jù)攝像機(jī)的移動(dòng)選擇不同的掃描方法。例如，可以選擇垂直掃描法來(lái)實(shí)現(xiàn)搖攝，可以選擇水平掃描法來(lái)實(shí)現(xiàn)傾斜，可以選擇圓形掃描法來(lái)實(shí)現(xiàn)縮放和向前移動(dòng)。
根據(jù)本發(fā)明的另一個(gè)實(shí)施例，對(duì)于每個(gè)馬賽克圖像，計(jì)算顏色直方圖以表示從鏡頭開(kāi)始直到當(dāng)前幀的視頻片段。幀編號(hào)0與幀編號(hào)j之間的均勻色片段馬賽克的顏色直方圖CHiMosaic是單個(gè)圖像的顏色直方圖。通過(guò)計(jì)算如下差值度量將第j幀馬賽克的顏色直方圖CHM[i][j]與“系列馬賽克”顏色直方圖CHFM[i][j]的對(duì)應(yīng)直方圖作比較DCHFM[j]=Σi=19wi||CHM[i][j]-CHFM[i][j-1]||]]>公式(24)最好，在為每個(gè)新馬賽克化圖像的片段構(gòu)建馬賽克時(shí)，針對(duì)每個(gè)新輸入的馬賽克計(jì)算歸一化的顏色直方圖。因?yàn)轳R賽克圖像往往比原圖像大，所以最好將該顏色直方圖歸一化。同樣地，當(dāng)計(jì)算了新的顏色直方圖且新顏色區(qū)間得到新顏色(即新顏色出現(xiàn))時(shí)，馬賽克的直方圖包含更多的信息。因此，為新顏色區(qū)間指配比現(xiàn)有區(qū)間更高的重要性，即為該顏色區(qū)間指配更高的權(quán)值wi。可以利用如上所述的L1度量來(lái)指配權(quán)值。或者，本領(lǐng)域技術(shù)人員會(huì)理解，可以采用如上所述的其他度量，例如L2、直方圖相交、直方圖卡方或逐區(qū)間進(jìn)行的直方圖相交。
根據(jù)本發(fā)明的實(shí)施例，該馬賽克顏色直方圖方法可按上述第一節(jié)有關(guān)系列顏色直方圖的討論進(jìn)行。
7.可計(jì)算宏片段邊界可計(jì)算場(chǎng)景通常定義為彼此相關(guān)的均勻時(shí)間片段序列。例如，對(duì)話場(chǎng)景是顯示對(duì)話雙方的時(shí)間片段序列。
根據(jù)本發(fā)明的實(shí)施例，宏片段邊界檢測(cè)法包括將系列(累積)直方圖列表{P1，...，Pz}中的每個(gè)系列直方圖Pi與后續(xù)的系列直方圖Pi+j(其中1＜j，z≥j)。最好，超前窗口(look ahead window)不必跨越所有直方圖直到節(jié)目結(jié)束為止(如TV表演或消費(fèi)家庭視頻)。
最好，假定跨越不應(yīng)超前半小時(shí)，因?yàn)榇蠖鄶?shù)連續(xù)劇的長(zhǎng)度都在半小時(shí)。同樣地，在電影或較長(zhǎng)的節(jié)目中，一般以連續(xù)的方式展開(kāi)視覺(jué)內(nèi)容，即基于先前的場(chǎng)景構(gòu)建場(chǎng)景或重復(fù)場(chǎng)景。
因此，根據(jù)本發(fā)明實(shí)施例，宏片段邊界檢測(cè)方法包括如下步驟a)如第1、2或6節(jié)所述執(zhí)行均勻分割；b)為整個(gè)TV節(jié)目的每個(gè)均勻片段創(chuàng)建累積直方圖；c)對(duì)于一個(gè)片段的每個(gè)直方圖，創(chuàng)建相似度曲線yi(x)，此曲線描繪與其余的直到節(jié)目結(jié)束(或超前窗口結(jié)束)為止的直方圖的相似度。x軸是幀編號(hào)(或時(shí)間)，y軸是當(dāng)前片段的當(dāng)前累積直方圖與所有將來(lái)的累積直方圖之間的相似度度量。因此，將相似度曲線公式化為yj(x)=00≤x<j-11-DCH[j]x>j]]>公式(25)d)生成所有相似度曲線的加性相似度曲線，以表示時(shí)間片段與將來(lái)時(shí)間片段之間的相似度。該加性相似度曲線可以公式化為Y(x)=Σj=1Nyj(x)]]>公式(26)e)最后，如果無(wú)法確定一系列直方圖Pk、...、Pj和Pj+m、...、Pt之間的相似度，即這些連接(相似)節(jié)點(diǎn)之間存在明顯的不連續(xù)，則存在節(jié)目邊界。對(duì)于加性相似度曲線，這意味著每次存在邊界時(shí)，該曲線就穿越x軸。此外，對(duì)于零片段，有兩種選擇1)取整個(gè)零片段作為一個(gè)宏片段；或2)在每個(gè)新宏片段編號(hào)處設(shè)置邊界。
在表演節(jié)目中，通常會(huì)有散布有廣告的直方圖的重復(fù)系列直方圖，如圖5所示。例如，從插播的直方圖導(dǎo)出累積直方圖P14和P35。直方圖P2和P6是中斷性直方圖，因此它們可能屬于插播的廣告。在前5個(gè)直方圖之間存在相似度；以及在第7和第8個(gè)直方圖之間存在相似度，這表示P6和P77之間存在邊界。
圖6說(shuō)明對(duì)話宏片段之后的宏邊界的示例和對(duì)應(yīng)的相似度函數(shù)。圖中顯示了構(gòu)成對(duì)話宏片段的前6個(gè)均勻時(shí)間片段的相似度函數(shù)y1(x)，...，y6(x)。加性相似度函數(shù)說(shuō)明前6個(gè)片段P1和P6的集合內(nèi)的相似性。
對(duì)本領(lǐng)域技術(shù)人員而言，顯然可以在不背離本發(fā)明范圍的前提下，就本發(fā)明的方法和系統(tǒng)進(jìn)行各種修改和變化。因此，意圖是本發(fā)明涵蓋在所附權(quán)利要求及其等同物范圍內(nèi)的所有修改和變化。
權(quán)利要求
1.在視頻序列中檢測(cè)一系列連續(xù)幀的片段邊界的方法，它包括從每個(gè)幀獲取顏色信息；確定每個(gè)幀的顏色直方圖；利用所述顏色直方圖應(yīng)用邊界檢測(cè)技術(shù)；以及將所述視頻序列幀分割成均勻色片段。
2.如權(quán)利要求1所述的方法，其特征在于所應(yīng)用的邊界檢測(cè)技術(shù)是系列顏色直方圖方法，它包括如下步驟基于連續(xù)幀的顏色直方圖計(jì)算比較度量，并基于所述比較度量生成系列直方圖。
3.如權(quán)利要求2所述的方法，其特征在于所述比較度量基于如下公式DCHF[j]=Σi=1n||CH[i][j]-CHF[i][j-1]||]]>其中DCH[j]是幀j和幀j-1之間的顏色直方圖差值，CH[i][j]是在幀j上定義的第i區(qū)間的顏色直方圖，n是區(qū)間數(shù)。
4.如權(quán)利要求2所述的方法，其特征在于還包括如下步驟當(dāng)所述比較度量小于閾值時(shí)，將連續(xù)幀的顏色直方圖與第一個(gè)系列直方圖合并。
5.如權(quán)利要求2所述的方法，其特征在于還包括如下步驟當(dāng)所述比較度量大于所述閾值時(shí)生成新的系列直方圖，以表示新的均勻色片段的第一幀。
6.如權(quán)利要求1所述的方法，其特征在于所應(yīng)用的邊界檢測(cè)技術(shù)是加權(quán)平均顏色直方圖方法，它包括如下步驟計(jì)算加權(quán)平均顏色直方圖高度和加權(quán)平均顏色直方圖高度方差。
7.如權(quán)利要求6所述的方法，其特征在于還包括如下步驟計(jì)算所述方差的加權(quán)平均顏色直方圖高度方差。
8.如權(quán)利要求6所述的方法，其特征在于所述加權(quán)平均顏色直方圖高度基于如下公式<h>j=Σi=1#binshi,je(hi,j-<h>j-1)22·σh2σh·2·π]]>
9.如權(quán)利要求6所述的方法，其特征在于所述加權(quán)平均顏色直方圖高度方差基于如下公式<v>j=Σi=1#binsvi,je(vi,j-<v>j-1)22·σv2σv·2·π]]>
10.如權(quán)利要求7所述的方法，其特征在于所述方差的所述加權(quán)平均顏色直方圖高度方差基于如下公式<a>j=Σi=1#binsai,je(ai,j-<a>j-1)22·σa2σa·2·π]]>
11.如權(quán)利要求7所述的方法，其特征在于還包括將所述加權(quán)平均值<v>j和<a>j與預(yù)定閾值比較，并在所述加權(quán)平均值超過(guò)所述預(yù)定閾值時(shí)確定新的均勻色片段。
12.如權(quán)利要求1所述的方法，其特征在于所應(yīng)用的邊界檢測(cè)技術(shù)是連續(xù)顏色直方圖方法，此方法包括如下步驟利用比較度量比較連續(xù)幀之間的顏色直方圖。
13.如權(quán)利要求12所述的方法，其特征在于所述比較度量基于如下公式DCHS[j]=Σi=1n||CH[i][j]-CH[i][j-1]||]]>其中DCH是幀j和j-1之間的顏色直方圖差值，CH[i][j]是在幀j上定義的第i區(qū)間的顏色直方圖，n是區(qū)間數(shù)。
14.如權(quán)利要求12所述的方法，其特征在于還包括如下步驟當(dāng)所述比較度量大于閾值時(shí)，確定標(biāo)識(shí)新的均勻色片段的第一幀。
15.如權(quán)利要求1所述的方法，其特征在于所應(yīng)用的邊界檢測(cè)技術(shù)是基于卡爾曼濾波技術(shù)的隨機(jī)方法。
16.如權(quán)利要求15所述的方法，其特征在于還包括如下步驟定義顏色直方圖i的幀j上的狀態(tài)和測(cè)量公式。
17.如權(quán)利要求15所述的方法，其特征在于還包括如下步驟從所述視頻序列的第一幀開(kāi)始利用卡爾曼濾波方法處理所述視頻序列，所述卡爾曼濾波方法利用狀態(tài)和協(xié)方差函數(shù)估計(jì)顏色直方圖矢量和顏色直方圖差值矢量；以及當(dāng)所述協(xié)方差矩陣的卡爾曼濾波估計(jì)值大于閾值時(shí)，確定有新的均勻色片段。
18.如權(quán)利要求16所述的方法，其特征在于所述狀態(tài)公式基于CH[i][j+1]＝CH[i][j]+DCH[i][j]+0.5wCH[i][j]，DCH[i][j+1]＝DCH[i][j]+wDCH[i][j]，其中wCH[·][j]和wDCH[·][j]是顏色直方圖和顏色直方圖差值的狀態(tài)噪聲函數(shù)。
19.如權(quán)利要求16所述的方法，其特征在于所述測(cè)量公式基于MCH[i][j]＝CH[i][j]+nCH[i][j]，MDCH[i][j]＝DCH[i][j]+nDCH[i][j]，其中nCH[·][j]和nDCH[·][j]是顏色直方圖和顏色直方圖差值的測(cè)量噪聲函數(shù)。
20.如權(quán)利要求1所述的方法，其特征在于所應(yīng)用的邊界檢測(cè)技術(shù)是基于鏡頭的顏色直方圖方法。
21.如權(quán)利要求20所述的方法，其特征在于所述基于鏡頭的顏色直方圖方法包括如下步驟為所述視頻序列中的多個(gè)鏡頭添加索引；為每個(gè)鏡頭計(jì)算顏色直方圖；比較每個(gè)鏡頭的顏色直方圖；以及基于每個(gè)鏡頭的顏色直方圖的比較確定均勻色片段邊界。
22.如權(quán)利要求1所述的方法，其特征在于所應(yīng)用的邊界檢測(cè)技術(shù)是馬賽克顏色直方圖方法。
23.如權(quán)利要求22所述的方法，其特征在于所述馬賽克顏色直方圖方法包括如下步驟計(jì)算一系列幀的馬賽克；確定所述馬賽克的顏色直方圖；將幀的顏色直方圖與所述馬賽克的顏色直方圖比較；當(dāng)一個(gè)馬賽克的顏色直方圖與一幀的顏色直方圖等效時(shí)，確定均勻色片段邊界。
24.一種用于在視頻序列中檢測(cè)一系列連續(xù)幀的片段邊界的系統(tǒng)，它包括用于從每幀獲取顏色信息的裝置；用于確定每幀的顏色直方圖的裝置；利用所述顏色直方圖應(yīng)用邊界檢測(cè)技術(shù)的裝置；以及用于將所述視頻序列幀分割成均勻色片段的裝置。
25.如權(quán)利要求24所述的系統(tǒng)，其特征在于所述邊界檢測(cè)技術(shù)是系列顏色直方圖方法。
26.如權(quán)利要求24所述的系統(tǒng)，其特征在于所述邊界檢測(cè)技術(shù)是加權(quán)平均顏色直方圖方法。
27.如權(quán)利要求24所述的系統(tǒng)，其特征在于所述邊界檢測(cè)技術(shù)是連續(xù)顏色直方圖方法。
28.如權(quán)利要求24所述的系統(tǒng)，其特征在于所述邊界檢測(cè)技術(shù)是隨機(jī)方法。
29.如權(quán)利要求24所述的系統(tǒng)，其特征在于所述邊界檢測(cè)技術(shù)是基于鏡頭的顏色直方圖方法。
30.如權(quán)利要求24所述的系統(tǒng)，其特征在于所述邊界檢測(cè)技術(shù)是馬賽克顏色直方圖方法。
31.一種可被所述系統(tǒng)讀取的存儲(chǔ)介質(zhì)設(shè)備，其中包含根據(jù)如下步驟生成的視頻數(shù)據(jù)的特征描述從每幀獲取顏色信息；確定每幀的顏色直方圖；利用所述顏色直方圖應(yīng)用邊界檢測(cè)技術(shù)；將所述視頻序列幀分割成均勻色片段；以及將所述分割數(shù)據(jù)存儲(chǔ)在所述存儲(chǔ)介質(zhì)中。
32.一種在視頻節(jié)目中檢測(cè)宏片段的宏邊界的方法，所述方法包括對(duì)視頻節(jié)目執(zhí)行均勻分割；為每個(gè)均勻片段創(chuàng)建累積顏色直方圖；為所述均勻片段的每個(gè)累積顏色直方圖創(chuàng)建相似度曲線，所述相似度曲線描繪與其余直方圖的相似度，直到所述視頻節(jié)目結(jié)束為止；生成包括所有表示瞬間片段與未來(lái)瞬間片段之間相似度的相似度曲線的加性相似度曲線；如果所述加性相似度曲線上的連接節(jié)點(diǎn)之間存在不連續(xù)性，則檢測(cè)到所述宏邊界，以便不在一系列累積顏色直方圖之間建立相似度。
全文摘要
本發(fā)明提出一種在視頻序列中檢測(cè)一系列連續(xù)幀的片段邊界的方法，它包括如下步驟從每個(gè)幀獲取顏色信息；確定每個(gè)幀的顏色直方圖；利用所述顏色直方圖應(yīng)用邊界檢測(cè)技術(shù)。所述方法包括將視頻序列的幀分割成均勻色片段。此外，還提出一種用于在視頻序列中檢測(cè)一系列連續(xù)幀的片段邊界的系統(tǒng)。該系統(tǒng)包括用于從每個(gè)幀獲取顏色信息的裝置；用于確定每個(gè)幀的顏色直方圖的裝置；利用所述顏色直方圖應(yīng)用邊界檢測(cè)技術(shù)的裝置。該系統(tǒng)還包括用于將視頻序列幀分割成均勻色片段的裝置。邊界檢測(cè)技術(shù)包括系列顏色直方圖方法、加權(quán)平均顏色直方圖方法、連續(xù)顏色直方圖方法、隨機(jī)方法、基于鏡頭的顏色直方圖方法、馬賽克顏色直方圖方法以及可計(jì)算宏片段邊界方法。
文檔編號(hào)H04N17/02GK1711556SQ200380102740
公開(kāi)日2005年12月21日 申請(qǐng)日期2003年10月30日 優(yōu)先權(quán)日2002年11月13日
發(fā)明者R·S·賈辛斯奇, N·蒂米特羅瓦, L·阿格尼霍特里 申請(qǐng)人:皇家飛利浦電子股份有限公司