專(zhuān)利名稱(chēng)：圖像處理裝置、圖像處理方法，圖像處理程序及集成電路的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及多媒體處理及圖像處理，特別涉及從多個(gè)內(nèi)容中提取具有類(lèi)似的部分的內(nèi)容并連結(jié)的技木。
背景技術(shù)：
隨著個(gè)人用數(shù)字設(shè)備(例如，數(shù)字?jǐn)z像機(jī)、數(shù)字視頻攝像機(jī)等)的受歡迎程度提高，攝影出的家庭用的數(shù)字視頻的數(shù)量爆發(fā)性地増加。這是因?yàn)椋?I)存儲(chǔ)攝影出的視頻(視頻片斷)的存儲(chǔ)裝置的存儲(chǔ)容量變大；(2)攝影出的視頻僅包含單鏡頭(single shot)的影像，其攝影時(shí)間(再現(xiàn)時(shí)間)非常短；(3)對(duì)多種多祥的題材或事件進(jìn)行攝影等。因此，用戶(hù)需要將在不同的場(chǎng)所及時(shí)間攝影的自己的視頻集頻繁地維護(hù)、管理，如果其數(shù)量變得龐大，則難以管理或操作。例如，用戶(hù)從自己攝影的大量存在的視頻中閱覽希望的視頻并不容易。
以往，為了能夠?qū)⑦@樣的大量的視頻高效率地閱覽，有將視頻摘要的技術(shù)。在視頻的摘要技術(shù)中，在應(yīng)在摘要中使用的特征是與視頻的故事無(wú)關(guān)的特征的情況下丟失了原來(lái)的視頻的詳細(xì)數(shù)據(jù)，或者在應(yīng)在摘要中使用的特征包含于視頻的幾乎全部圖像中的情況下不能進(jìn)行摘要等。在這樣的情況下，摘要自身有可能變得不正確。此外，作為與上述技術(shù)不同的技術(shù)，有將視頻合成(連結(jié))的技術(shù)(參照非專(zhuān)利文獻(xiàn)I 3)。例如，非專(zhuān)利文獻(xiàn)I公開(kāi)了在存在與視頻段建立了關(guān)聯(lián)的域(domain)固有元數(shù)據(jù)的情況下自動(dòng)地合成為有ー貫性的視頻的技木。此外，非專(zhuān)利文獻(xiàn)2中公開(kāi)的系統(tǒng)是選擇家庭視頻段、并通過(guò)將其沿著音樂(lè)排列來(lái)制作編輯視頻段的系統(tǒng)。這里，所謂鏡頭(shot)，是視頻的最基本的物理的實(shí)體，表示用一臺(tái)攝像機(jī)記錄的不包含中斷的視頻片斷。上述單鏡頭(也稱(chēng)作短鏡頭)，是指持續(xù)時(shí)間比較短的不包含中斷的視頻片斷?，F(xiàn)有技術(shù)文獻(xiàn)非專(zhuān)利文獻(xiàn)非專(zhuān)利又獻(xiàn) I :Automatic composition techniques for video production.Knowledge and Data Engineering, 1998, G. Ahanger非專(zhuān)利文獻(xiàn)2 :0ptimization_Based Automated Home Video EditingSystem.IEEE Transactions on Circuits and Systems for Video Technology,2004, X. S. Huaj L.Lu，and H. J. Zhang非專(zhuān)利文獻(xiàn)3 Systematic evaluation of logical story unit segmentation.IEEE Transactions on Multimedia, 2002, J. Vendrig and M. Worring
發(fā)明概要發(fā)明要解決的問(wèn)題但是，在上述各非專(zhuān)利文獻(xiàn)所公開(kāi)的技術(shù)中，如果將ー個(gè)視頻與其他視頻結(jié)合而再現(xiàn)，則當(dāng)再現(xiàn)對(duì)象從ー個(gè)視頻向其他視頻切換時(shí)，場(chǎng)面急劇變化的可能性較高。在這樣的情況下，如果從視聽(tīng)的ー側(cè)看，則會(huì)對(duì)一個(gè)視頻與其他視頻的連接感到不適感。

發(fā)明內(nèi)容
所以，本發(fā)明鑒于上述問(wèn)題，目的是提供一種能夠在再現(xiàn)時(shí)從視聽(tīng)側(cè)減少不適感、并且從多個(gè)內(nèi)容(例如視頻)盡可能維持各內(nèi)容的故事性而將內(nèi)容結(jié)合的圖像處理裝置、圖像處理方法、圖像處理程序及集成電路。用于解決問(wèn)題的手段為了達(dá)到上述目的，本發(fā)明是ー種圖像處理裝置，其特征在于，具備第一處理單元，針對(duì)有關(guān)動(dòng)態(tài)圖像的多個(gè)內(nèi)容的各個(gè)內(nèi)容，分別檢測(cè)下述類(lèi)似度，該類(lèi)似度是在時(shí)間上后續(xù)于該內(nèi)容所包含的第一部分內(nèi)容的第二部分內(nèi)容、與構(gòu)成上述多個(gè)內(nèi)容中的與該內(nèi)容不同的檢測(cè)對(duì)象內(nèi)容的一部分且在時(shí)間上連續(xù)的多個(gè)部分內(nèi)容之間的類(lèi)似度，并且檢測(cè)該多個(gè)部分內(nèi)容中的與上述第二部分內(nèi)容的類(lèi)似度高的第三部分內(nèi)容；第二處理單元，使用由上述第一處理單元檢測(cè)到的上述第二部分內(nèi)容與上述第三部分內(nèi)容的類(lèi)似度，生成下述·信息，該信息表不用于將上述第一部分內(nèi)容、上述第二部分內(nèi)容及上述第三部分內(nèi)容連結(jié)的關(guān)系。發(fā)明效果根據(jù)該結(jié)構(gòu)，圖像處理裝置通過(guò)使用生成的信息，能夠進(jìn)行第二部分內(nèi)容與多個(gè)部分內(nèi)容中的類(lèi)似度最高的第三部分內(nèi)容的結(jié)合。因此，如果將結(jié)合后的內(nèi)容再現(xiàn)，則由于在類(lèi)似的部分處連接，所以視聽(tīng)側(cè)能夠沒(méi)有不適感而視聽(tīng)。此外，在結(jié)合時(shí)由于還包含第一部分內(nèi)容，所以維持了包括第一部分內(nèi)容在內(nèi)的內(nèi)容的故事性。


圖I是表示圖像處理裝置I的結(jié)構(gòu)的模塊圖。圖2是使用偏好系數(shù)說(shuō)明幀序列對(duì)應(yīng)性的計(jì)算方法的圖。圖3是表示在人物檢測(cè)處理中使用的模型及檢測(cè)結(jié)果的一例的圖。圖4是表示面部檢測(cè)處理中的匹配的例子的圖。圖5是表示生成的視頻類(lèi)似圖表GlOO及路徑搜索結(jié)果的一例的圖。圖6是表示將自動(dòng)路徑搜索的檢測(cè)結(jié)果提示給用戶(hù)的界面的一例的圖。圖7是表示將由用戶(hù)固定了視頻片斷的情況下的捜索的檢測(cè)結(jié)果提示給用戶(hù)的界面的一例的圖。圖8是表示將由用戶(hù)固定了對(duì)象的情況下的捜索的檢測(cè)結(jié)果提示給用戶(hù)的界面的一例的圖。圖9是說(shuō)明將視頻Vi與視頻Ni連結(jié)時(shí)的順序的圖。圖10是表示將本實(shí)施方式的過(guò)渡與基于其他方法的過(guò)渡進(jìn)行比較的一例的圖。圖11是表示圖像處理裝置I的處理概要的流程圖。圖12是表示檢測(cè)類(lèi)似的視頻對(duì)的處理的流程圖。圖13是表示連結(jié)視頻生成處理的流程圖。圖14是使用具體例說(shuō)明圖像處理裝置I的處理的圖。圖15是說(shuō)明圖像處理裝置I的處理例的圖。
具體實(shí)施例方式I.實(shí)施方式以下，參照附圖對(duì)本發(fā)明的實(shí)施方式進(jìn)行說(shuō)明。I. I 概要有關(guān)本發(fā)明的圖像處理 裝置是從類(lèi)似的多個(gè)視頻(由動(dòng)態(tài)圖像構(gòu)成的內(nèi)容)自動(dòng)地生成虛擬的單鏡頭演示(presentation) (I個(gè)內(nèi)容)的裝置。另外，以下將單鏡頭演示也稱(chēng)作單鏡頭視頻、連結(jié)視頻。這里，將構(gòu)成虛擬的單鏡頭演示的各內(nèi)容的再現(xiàn)順序(再現(xiàn)路徑)稱(chēng)作“視頻拼圖(VideoPuzzle)”。本發(fā)明的圖像處理裝置從多個(gè)視頻中提取具有類(lèi)似的主要的主題的視頻的集合。作為主題，人物、物體或場(chǎng)景可以作為其對(duì)象。主題由用戶(hù)指定，或者通過(guò)自動(dòng)發(fā)現(xiàn)法找出。并且，使用以下說(shuō)明的粗細(xì)法(coarse-to-fine method)取得視頻間的開(kāi)始、末端幀的對(duì)應(yīng)，將它們無(wú)縫地合成(連結(jié))，生成長(zhǎng)時(shí)間的單鏡頭演示。因而，本發(fā)明提供ー種使用戶(hù)對(duì)于多個(gè)視頻中的故事能夠得到更深的印象的視頻內(nèi)容的新的演示法。I. 2 結(jié)構(gòu)參照?qǐng)DI對(duì)有關(guān)本發(fā)明的圖像處理裝置I的結(jié)構(gòu)進(jìn)行說(shuō)明。圖像處理裝置I如圖I所示，由視頻存儲(chǔ)部10、檢測(cè)處理部11、圖表生成部12及連結(jié)視頻生成部13構(gòu)成。另外，圖像處理裝置I包括處理器及存儲(chǔ)器而構(gòu)成，檢測(cè)處理部11、圖表生成部12及連結(jié)視頻生成部13各自的功能通過(guò)由處理器執(zhí)行存儲(chǔ)在存儲(chǔ)器中的程序來(lái)實(shí)現(xiàn)。檢測(cè)處理部11針對(duì)多個(gè)視頻(內(nèi)容)的各個(gè)視頻，從構(gòu)成其他視頻的一部分、且在時(shí)間上連續(xù)的多個(gè)部分(部分內(nèi)容)中檢測(cè)與作為該視頻的一部分、且在時(shí)間上連續(xù)的兩個(gè)部分(第一部分內(nèi)容及第二部分內(nèi)容)中的第二部分內(nèi)容的類(lèi)似度高的部分(第三部分內(nèi)容)。此外，圖表生成部12針對(duì)上述多個(gè)視頻，將與該視頻連結(jié)的視頻的關(guān)系圖表化。連結(jié)視頻生成部13以第一部分內(nèi)容、第二部分內(nèi)容、第三部分內(nèi)容、以及包含在上述其他視頻中且在時(shí)間上后續(xù)于上述第三部分內(nèi)容的部分(第四部分內(nèi)容)的順序進(jìn)行連結(jié)。以下，對(duì)各構(gòu)成要素詳細(xì)地說(shuō)明。(I)視頻存儲(chǔ)部10視頻存儲(chǔ)部10是用來(lái)將多個(gè)視頻(有關(guān)動(dòng)態(tài)圖像的內(nèi)容)存儲(chǔ)的存儲(chǔ)區(qū)域。另外，將存儲(chǔ)在視頻存儲(chǔ)部10中的視頻分別也稱(chēng)作視頻片斷。(2)檢測(cè)處理部11檢測(cè)處理部11為了針對(duì)存儲(chǔ)在視頻存儲(chǔ)部10中的多個(gè)視頻生成匹配圖表，以存儲(chǔ)在視頻存儲(chǔ)部10中的各視頻為輸入，生成具有類(lèi)似的主要的主題的視頻的集合并輸出。檢測(cè)處理部11如圖I所示，由第一檢測(cè)部100、第二檢測(cè)部101及匹配處理部102構(gòu)成。(2-1)第一檢測(cè)部 100第一檢測(cè)部100使用基于規(guī)定的特征變換法計(jì)算的類(lèi)似度，在存儲(chǔ)在視頻存儲(chǔ)部10中的全部的視頻的對(duì)中計(jì)算巾貞的部分類(lèi)似性。第一檢測(cè)部100例如使用PartitionMin-Hashing (PmH :分區(qū)最小哈希)算法作為規(guī)定的特征變換法。并且,第一檢測(cè)部100使用計(jì)算出的巾貞的部分類(lèi)似性，從視頻的對(duì)中選擇在概括水平(summary-level)上類(lèi)似性高的視頻的對(duì)作為候選對(duì)，并基于選擇結(jié)果生成視頻類(lèi)似性的組。具體而言，第一檢測(cè)部100將類(lèi)似度為規(guī)定的閾值以下的類(lèi)似性低的視頻的對(duì)排除，選擇最多4個(gè)視頻的對(duì)作為各視頻的匹配候選。由此，不是使用例如圖像特征量那樣的指標(biāo)來(lái)檢測(cè)嚴(yán)格一致的幀，而能夠檢測(cè)在概括水平上一致的幀，所以進(jìn)行視頻匹配エ序時(shí)的計(jì)算成本大幅削減。通常，一般的min-hash (最小哈希)是用于發(fā)現(xiàn)幾乎重復(fù)的文本文件或網(wǎng)頁(yè)的方法。近年來(lái)，min-hash及其變種被用于幾乎重復(fù)的圖像的檢測(cè)、圖像聚類(lèi)、圖像的取得及對(duì)象的檢測(cè)。這里,所謂對(duì)象,是包括人物及物體的概念。在min-hash算法中，將哈希函數(shù)適用于圖像中的全部的VisualWord，忽視它們的位置。并且，選擇具有最小哈希值的VisualWord作為該圖像的全局描述符。但是，與通常利用詞的集合(bag-of-words)表現(xiàn)的文本文件不同，圖像被由2D構(gòu)成的對(duì)象較大地賦予特征，它們多數(shù)情況下在圖像內(nèi)在空間上局部存在。并且，PmH是利用該局部存在性的哈希方法。利用PmH的第一檢測(cè)部100的基本的處理如以下這樣。另外，關(guān)于VisualWord，由于是已知的技術(shù)，所以這里的說(shuō)明省略。a)取得構(gòu)成視頻的各幀?！)對(duì)于所取得的各幀，分別將該幀劃分為相同尺寸的p個(gè)矩形區(qū)域。c)按照各部分區(qū)域?qū)嵤┫嗤墓：瘮?shù),提取最小哈希素描(min-hashsketch),保存到哈希表中。這里，哈希表是將哈希函數(shù)能夠取的變域按照規(guī)定的范圍劃分的表。并且，最小哈希素描被保存在該最小哈希素描表示的值所屬的范圍中。d)針對(duì)視頻的各對(duì)，根據(jù)哈希表，基于最小哈希素描所沖突的個(gè)數(shù)計(jì)算視頻間的類(lèi)似度。具體而言，通過(guò)以下的數(shù)式I計(jì)算。e)選擇視頻的各對(duì)中的、計(jì)算出的值大的(視頻間的類(lèi)似度高的)上位4個(gè)作為候選對(duì)。[數(shù)I ]
r 5( V 丨,m ,Vin)WiJ = II ~~ (數(shù)式 I)
1=1 n=1 I Vi j ■ I Vj I這里，Vi,m表示視頻Vi的第m個(gè)幀，表示視頻Vj的第n個(gè)幀。8 (V^，VjJ在視頻Vi的第m個(gè)幀中的部分區(qū)域的ー個(gè)最小哈希素描與視頻 ' 的第n個(gè)幀中的多個(gè)部分區(qū)域各自的最小哈希素描的某個(gè)沖突的情況下定義為“1”，在不沖突的情況下定義為“O”。此外，IviI及IvjI分別表示視頻Vi及Vj各自的幀數(shù)。(2-2)第二檢測(cè)部 101第二檢測(cè)部101以由第一檢測(cè)部100選擇的候選對(duì)為輸入，檢測(cè)分別包含在所輸入的候選對(duì)的視頻中的子序列(以下，也稱(chēng)作幀序列)的類(lèi)似性。以下，對(duì)第二檢測(cè)部101的功能的詳細(xì)情況進(jìn)行說(shuō)明。第二檢測(cè)部101針對(duì)由第一檢測(cè)部100選擇的候選對(duì)(例如視頻Vi和Vp的各視頻，提取由視頻Vi的結(jié)束部分構(gòu)成的視頻結(jié)束部分、由視頻 ' 的開(kāi)始部分構(gòu)成的視頻開(kāi)始部分，檢測(cè)序列對(duì)應(yīng)性Sm。這里，例如視頻結(jié)束部分是將視頻的再現(xiàn)時(shí)間劃分為兩份的情況下的后半部分，視頻開(kāi)始部分是將視頻的再現(xiàn)時(shí)間劃分為兩份的情況下的前半部分。第二檢測(cè)部101為了計(jì)算序列對(duì)應(yīng)性Si,p首先在視頻Vi的視頻結(jié)束部分、視頻'的視頻開(kāi)始部分中劃分為由相同的長(zhǎng)度(再現(xiàn)時(shí)間)構(gòu)成的子序列(幀序列)。這里，視頻Vi的視頻結(jié)束部分被劃分為Seqia, Seqij2,，Seqi^,視頻Vj的視頻開(kāi)始部分被劃分為Seqj,i Seqjj2, Seq」、。這里，Seqia, SeqiJ,…，Seq^p 及 Seqja, Seqj,2，…，Seqj^ 的長(zhǎng)度(再現(xiàn)時(shí)間)相同。此外，Seqia, Seqij2,，Seqijp是位于視頻Vi的結(jié)束部分的子序列，Seqja,Seqjj2,，Seqj,q是位于視頻Vj的開(kāi)始部分的子序列。第二檢測(cè)部101基于預(yù)先設(shè)定的固定比率，針對(duì)視頻結(jié)束部分Seqi,s (s是I以上且P以下的整數(shù))檢測(cè)與視頻開(kāi)始部分Seqj^SeqjW…，Seqj,,各自的類(lèi)似性。例如，第二檢測(cè)部101基于預(yù)先設(shè)定的固定比率，針對(duì)幀序列Seqi, s檢測(cè)與幀序列Sec^ t的幀的類(lèi)似性(t是I以上且q以下的整數(shù))。這里，所謂固定比率，表示用來(lái)基于視頻的幀速率檢測(cè)(采樣)類(lèi)似性的采樣率。例如，當(dāng)視頻的幀速率是30幀/秒?yún)?，如果設(shè)固定比率為30，則第二檢測(cè)部101每一秒對(duì)ー個(gè)幀檢測(cè)類(lèi)似性。此外，在與上述相同的幀速率的情況下，當(dāng)固定比率是15時(shí)每一秒對(duì)兩個(gè)幀檢測(cè)類(lèi)似性，當(dāng)固定比率是6時(shí)每一秒對(duì)5個(gè)幀檢測(cè)類(lèi)似性。例如，在設(shè)再現(xiàn)時(shí)間為5秒、幀速率為30幀/秒、以及固定比率為30的情況下，在幀序列Seqi, s和幀序列Seqj, t中分別包含150 (30幀/秒X 5秒)個(gè)幀。第二檢測(cè)部101在幀序列Seqi, s中將開(kāi)頭幀和在該開(kāi)頭幀后每一秒存在的各幀作為檢測(cè)對(duì)象幀，針對(duì)這些檢測(cè)對(duì)象幀分別檢測(cè)與包含在幀序列Seqp中的各幀的類(lèi)似性。另外，在將固定比率設(shè)為I的情況下，包含在幀序列Seqiis中的全部的幀成為類(lèi)似性的檢測(cè)對(duì)象。第二檢測(cè)部101根據(jù)基于固定比率成為檢測(cè)對(duì)象的各幀和包含在幀序列Seqy中的幀，使用以下所示的數(shù)式2計(jì)算序列類(lèi)似性VSi,パ[數(shù)式2]
權(quán)利要求
1.ー種圖像處理裝置，其特征在于，具備 第一處理單元，針對(duì)有關(guān)動(dòng)態(tài)圖像的多個(gè)內(nèi)容的各個(gè)內(nèi)容，檢測(cè)下述類(lèi)似度，該類(lèi)似度是在時(shí)間上后續(xù)于該內(nèi)容所包含的第一部分內(nèi)容的第二部分內(nèi)容、與構(gòu)成上述多個(gè)內(nèi)容中的與該內(nèi)容不同的檢測(cè)對(duì)象內(nèi)容的一部分且在時(shí)間上連續(xù)的多個(gè)部分內(nèi)容之間的類(lèi)似度，并且檢測(cè)該多個(gè)部分內(nèi)容中的與上述第二部分內(nèi)容之間的類(lèi)似度高的第三部分內(nèi)容；以及 第二處理單元，使用由上述第一處理單元檢測(cè)到的上述第二部分內(nèi)容與上述第三部分內(nèi)容之間的類(lèi)似度，生成下述信息，該信息表示用于連結(jié)上述第一部分內(nèi)容、上述第二部分內(nèi)容及上述第三部分內(nèi)容的關(guān)系。
2.如權(quán)利要求1所述的圖像處理裝置，其特征在干， 上述第一處理單元針對(duì)上述多個(gè)內(nèi)容的各個(gè)內(nèi)容，通過(guò)規(guī)定的特征變換法計(jì)算該內(nèi)容與包含在上述多個(gè)內(nèi)容中的其他內(nèi)容之間的幀類(lèi)似度，并基于該幀類(lèi)似度，確定在概括水平上與該內(nèi)容類(lèi)似的上述檢測(cè)對(duì)象內(nèi)容。
3.如權(quán)利要求2所述的圖像處理裝置，其特征在干， 上述規(guī)定的特征變換法是分區(qū)最小哈希方法即Partition Min-Hashing方法； 上述第一處理單元針對(duì)上述多個(gè)內(nèi)容的各個(gè)內(nèi)容，對(duì)包含在該內(nèi)容中的全部的幀實(shí)施Partition Min-Hashing算法,計(jì)算上述全部的巾貞各自的哈希值，并根據(jù)針對(duì)該內(nèi)容計(jì)算出的各哈希值與針對(duì)包含在上述多個(gè)內(nèi)容中的其余的內(nèi)容分別計(jì)算出的各哈希值的一致數(shù)量,從上述其余的內(nèi)容中確定與該內(nèi)容類(lèi)似的上述檢測(cè)對(duì)象內(nèi)容。
4.如權(quán)利要求1所述的圖像處理裝置，其特征在干， 上述第二部分內(nèi)容包含于該內(nèi)容的結(jié)束部位； 上述檢測(cè)對(duì)象內(nèi)容的上述多個(gè)部分內(nèi)容構(gòu)成該檢測(cè)對(duì)象內(nèi)容的開(kāi)始部位。
5.如權(quán)利要求1所述的圖像處理裝置，其特征在干， 上述第二部分內(nèi)容的再現(xiàn)時(shí)間和上述多個(gè)部分內(nèi)容各自的再現(xiàn)時(shí)間是相同的時(shí)間長(zhǎng)度； 上述第一處理單元針對(duì)包含在上述第二部分內(nèi)容中的規(guī)定個(gè)數(shù)的幀的各個(gè)幀，計(jì)算與包含在上述多個(gè)部分內(nèi)容各自中的各幀之間的幀類(lèi)似度，使用上述幀類(lèi)似度來(lái)檢測(cè)與上述第二部分內(nèi)容之間的類(lèi)似度高的第三部分內(nèi)容。
6.如權(quán)利要求5所述的圖像處理裝置，其特征在干， 上述第二部分內(nèi)容中的上述規(guī)定個(gè)數(shù)的幀相對(duì)于上述第二部分內(nèi)容的開(kāi)始位置以等間隔存在。
7.如權(quán)利要求1所述的圖像處理裝置，其特征在干， 上述第二處理單元生成的上述信息是針對(duì)上述多個(gè)內(nèi)容的各個(gè)內(nèi)容表示該內(nèi)容與作為該內(nèi)容的連結(jié)目的地的內(nèi)容的關(guān)系的圖表。
8.如權(quán)利要求7所述的圖像處理裝置，其特征在干， 上述第二處理單元生成有向加權(quán)圖表，該有向加權(quán)圖表是針對(duì)上述多個(gè)內(nèi)容的各個(gè)內(nèi)容，將該內(nèi)容和包含與該內(nèi)容的第二部分內(nèi)容類(lèi)似的上述第三部分內(nèi)容在內(nèi)的內(nèi)容通過(guò)邊緣建立關(guān)聯(lián)、并對(duì)該邊緣附加相應(yīng)于上述第二部分內(nèi)容與上述第三部分內(nèi)容之間的類(lèi)似度的權(quán)重而得到的； 上述第二處理單元基于對(duì)各個(gè)上述邊緣附加的上述權(quán)重，從上述有向加權(quán)圖表中檢測(cè)從包含在上述多個(gè)內(nèi)容中的第一內(nèi)容到第二內(nèi)容的路徑，針對(duì)存在于檢測(cè)到的上述路徑上的各內(nèi)容中的相鄰的內(nèi)容的組，分別將該組中的作為邊緣的派生源的內(nèi)容所包含的上述第一部分內(nèi)容及上述第二部分內(nèi)容與作為邊緣的派生目的地的內(nèi)容所包含的上述第三部分內(nèi)容連結(jié)。
9.如權(quán)利要求8所述的圖像處理裝置，其特征在干， 上述第二處理單元還在檢測(cè)到上述路徑時(shí)，針對(duì)與存在于檢測(cè)到的上述路徑上的各邊緣對(duì)應(yīng)的權(quán)重，修正該權(quán)重的值，以使得在其他的路徑檢測(cè)時(shí)，存在于該路徑上的各內(nèi)容成為檢測(cè)対象外； 上述第二處理單元重復(fù)上述路徑檢測(cè)及上述修正，直到檢測(cè)到的路徑上的邊緣的權(quán)重的合計(jì)值成為規(guī)定值以下。
10.如權(quán)利要求8所述的圖像處理裝置，其特征在干， 上述第二處理單元以由用戶(hù)指定的ー個(gè)內(nèi)容存在于開(kāi)始位置、結(jié)束位置及路徑中途的方式檢測(cè)上述路徑。
11.如權(quán)利要求8所述的圖像處理裝置，其特征在干， 在用戶(hù)指定了由兩個(gè)以上的內(nèi)容構(gòu)成的內(nèi)容組的情況下，上述第二處理單元檢測(cè)包含上述內(nèi)容組的將上述兩個(gè)以上的內(nèi)容全部通過(guò)的上述路徑。
12.如權(quán)利要求8所述的圖像處理裝置，其特征在干， 在用戶(hù)指定了對(duì)象的情況下，上述第二處理單元確定包含被指定的上述對(duì)象的兩個(gè)內(nèi)容，將所確定的ー個(gè)內(nèi)容作為上述第一內(nèi)容，將所確定的另ー個(gè)內(nèi)容作為上述第二內(nèi)容，來(lái)確定上述路徑。
13.如權(quán)利要求1所述的圖像處理裝置，其特征在干， 上述第二處理單元以上述第一部分內(nèi)容、上述第二部分內(nèi)容、上述第三部分內(nèi)容、以及包含在上述檢測(cè)對(duì)象內(nèi)容中且在時(shí)間上后續(xù)于上述第三部分內(nèi)容的第四部分內(nèi)容的順序連結(jié)而生成一個(gè)連結(jié)內(nèi)容。
14.如權(quán)利要求13所述的圖像處理裝置，其特征在干， 上述第一處理單元還從上述內(nèi)容的上述第二部分內(nèi)容和上述第三部分內(nèi)容中檢測(cè)存在一致的對(duì)象的幀； 上述第二處理單元進(jìn)行如下處理 在存在上述對(duì)象的上述第二部分內(nèi)容的第一幀和上述第三部分內(nèi)容的第二幀中，檢測(cè)存在該對(duì)象的一致區(qū)域； 針對(duì)由上述第一幀及在上述第一幀的前方連續(xù)存在的規(guī)定個(gè)數(shù)的幀構(gòu)成的第一幀群，對(duì)包含在上述一致區(qū)域中的上述對(duì)象實(shí)施基于移近方法的圖像處理，針對(duì)由上述第二幀及在上述第二幀的后方連續(xù)存在的規(guī)定個(gè)數(shù)的幀構(gòu)成的第二幀群，對(duì)包含在上述一致區(qū)域中的上述對(duì)象實(shí)施基于移離方法的圖像處理； 在上述第一幀與上述第二幀之間，實(shí)施變形處理而生成ー個(gè)以上的中間幀； 針對(duì)上述第一幀群、上述第二幀群及上述ー個(gè)以上的中間幀，對(duì)除了包含上述對(duì)象的區(qū)域以外的其余的區(qū)域?qū)嵤┯鸹幚恚? 在實(shí)施各處理后，在上述第一幀與上述第二幀之間配置實(shí)施羽化處理后的上述ー個(gè)以上的中間幀并連結(jié)，從而生成上述連結(jié)內(nèi)容。
15.如權(quán)利要求14所述的圖像處理裝置，其特征在干， 上述第一處理單元對(duì)上述第二部分內(nèi)容及上述第三部分內(nèi)容實(shí)施共同圖案檢測(cè)處理、面部檢測(cè)處理、人體檢測(cè)處理及它們的組合的處理的某ー種，來(lái)檢測(cè)上述一致的對(duì)象。
16.ー種圖像處理方法，在圖像處理裝置中使用，其特征在于，包括 第一處理步驟，針對(duì)有關(guān)動(dòng)態(tài)圖像的多個(gè)內(nèi)容的各個(gè)內(nèi)容，檢測(cè)下述類(lèi)似度，該類(lèi)似度是在時(shí)間上后續(xù)于該內(nèi)容所包含的第一部分內(nèi)容的第二部分內(nèi)容、與構(gòu)成上述多個(gè)內(nèi)容中的與該內(nèi)容不同的檢測(cè)對(duì)象內(nèi)容的一部分且在時(shí)間上連續(xù)的多個(gè)部分內(nèi)容之間的類(lèi)似度，并且檢測(cè)該多個(gè)部分內(nèi)容中的與上述第二部分內(nèi)容之間的類(lèi)似度高的第三部分內(nèi)容；以及 第二處理步驟，使用由上述第一處理步驟檢測(cè)到的上述第二部分內(nèi)容與上述第三部分內(nèi)容之間的類(lèi)似度，生成下述信息，該信息表示用于連結(jié)上述第一部分內(nèi)容、上述第二部分內(nèi)容及上述第三部分內(nèi)容的關(guān)系。
17.一種圖像處理程序，在圖像處理裝置中使用，其特征在于，包括 第一處理步驟，針對(duì)有關(guān)動(dòng)態(tài)圖像的多個(gè)內(nèi)容的各個(gè)內(nèi)容，檢測(cè)下述類(lèi)似度，該類(lèi)似度是在時(shí)間上后續(xù)于該內(nèi)容所包含的第一部分內(nèi)容的第二部分內(nèi)容、與構(gòu)成上述多個(gè)內(nèi)容中的與該內(nèi)容不同的檢測(cè)對(duì)象內(nèi)容的一部分且在時(shí)間上連續(xù)的多個(gè)部分內(nèi)容之間的類(lèi)似度，并且檢測(cè)該多個(gè)部分內(nèi)容中的與上述第二部分內(nèi)容之間的類(lèi)似度高的第三部分內(nèi)容；以及 第二處理步驟，使用由上述第一處理步驟檢測(cè)到的上述第二部分內(nèi)容與上述第三部分內(nèi)容之間的類(lèi)似度，生成下述信息，該信息表示用于連結(jié)上述第一部分內(nèi)容、上述第二部分內(nèi)容及上述第三部分內(nèi)容的關(guān)系。
18.ー種集成電路，在圖像處理裝置中使用，其特征在于，包括 第一處理單元，針對(duì)有關(guān)動(dòng)態(tài)圖像的多個(gè)內(nèi)容的各個(gè)內(nèi)容，檢測(cè)下述類(lèi)似度，該類(lèi)似度是在時(shí)間上后續(xù)于該內(nèi)容所包含的第一部分內(nèi)容的第二部分內(nèi)容、與構(gòu)成上述多個(gè)內(nèi)容中的與該內(nèi)容不同的檢測(cè)對(duì)象內(nèi)容的一部分且在時(shí)間上連續(xù)的多個(gè)部分內(nèi)容之間的類(lèi)似度，并且檢測(cè)該多個(gè)部分內(nèi)容中的與上述第二部分內(nèi)容之間的類(lèi)似度高的第三部分內(nèi)容；以及 第二處理單元，使用由上述第一處理單元檢測(cè)到的上述第二部分內(nèi)容與上述第三部分內(nèi)容之間的類(lèi)似度，生成下述信息，該信息表示用于連結(jié)上述第一部分內(nèi)容、上述第二部分內(nèi)容及上述第三部分內(nèi)容的關(guān)系。
全文摘要
本發(fā)明提供一種在再現(xiàn)時(shí)減少?gòu)囊暵?tīng)側(cè)的不適感、并且能夠從多個(gè)內(nèi)容(例如視頻)盡可能維持各內(nèi)容的故事性而將內(nèi)容結(jié)合的圖像處理裝置。圖像處理裝置針對(duì)多個(gè)內(nèi)容的各個(gè)內(nèi)容，檢測(cè)在時(shí)間上后續(xù)于該內(nèi)容所包含的第一部分內(nèi)容的第二部分內(nèi)容、以及包含在上述多個(gè)內(nèi)容中的與該內(nèi)容不同的內(nèi)容中且在時(shí)間上連續(xù)的多個(gè)部分內(nèi)容中的與上述第二部分內(nèi)容之間的類(lèi)似度高的第三部分內(nèi)容，使用由上述第一處理單元檢測(cè)出的類(lèi)似度，生成表示用來(lái)將上述第一部分內(nèi)容、上述第二部分內(nèi)容及上述第三部分內(nèi)容連結(jié)的關(guān)系的信息。
文檔編號(hào)H04N5/91GK102959951SQ201280001593
公開(kāi)日2013年3月6日 申請(qǐng)日期2012年4月4日 優(yōu)先權(quán)日2011年4月7日
發(fā)明者黃仲陽(yáng), 華揚(yáng), 顏水成, 陳強(qiáng), 川西亮一 申請(qǐng)人:松下電器產(chǎn)業(yè)株式會(huì)社