專利名稱：特征影像檢測方法及裝置、影像差異檢測方法及裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及用于對滿足規(guī)定條件的特征影像進行修正的技術(shù)。本發(fā)明還包括檢測供修正用的特殊影像的技術(shù)。此外，在特殊影像中也包括有可能對人體帶來危害的危險性影像。為此，本發(fā)明便涉及到危險性影像檢測方法、影像差異檢測方法與裝置，特別是涉及到通過檢測兩個影像的場景結(jié)構(gòu)的差異來檢測影像差異的危險性影像檢測方法、影像差異檢測方法與裝置。另外，在危險性影像中包含有閃爍影像(flash)、快速場景變化(速變圖像序列rapidly changing imagesequences)、閾下影像(subliminal image)等。
背景技術(shù)：
在影像編輯中，需要對特征影像進行刪除或修正等編輯。尤其是關(guān)于危險性圖像，基于下述理由更有這種需要。一般地說，已知動畫等影像中所包含的在短時間反覆亮滅的閃爍(flicker)影像以及插入了人們不可能識別程度的短時間的圖像的閾下影像等影像是有可能對人體帶來危害的。這類影像對人體的影響程度存在著個體差異，即使是視聽相同的影像，有的人會受到影響而有的人則不受影響。另外，這種影響可以說會因影像的視聽環(huán)境而變化，也與視聽者與影像監(jiān)視器的位置關(guān)系以及視聽場所的亮度狀態(tài)有關(guān)。
當在電視播放等無特定人數(shù)的多人視聽的影像中混入前述那種影像后，它的影響范圍將非常大，可能要追究影像提供方的社會責(zé)任。為此，廣播臺等向人數(shù)不定的多名觀眾提供影像的影像提供者應(yīng)在提供影像前事先檢查、檢測其中是否有這樣的危險性影像混入。此外，以廣播工作者為會員的日本民間廣播聯(lián)盟正計劃制定這樣的危險性影像的準則。
在危險性影像的一個例子中，由于在短時間(數(shù)幀～數(shù)秒)期間影像變化，因此難以通過目視進行充分檢查，而在由目視進行檢查時又會存在加入檢查人的主觀意見的風(fēng)險。由于危險性影像的影響也依賴于視聽方的環(huán)境，因此在于檢查的環(huán)境下判定為為沒有問題的圖像的情況下，也有可能會因?qū)嶋H的視聽條件而帶來影響。
因此，與機械地檢查危險性影像的方法有關(guān)的已有技術(shù)例如已被記載在USP 6,937,674中。該已有技術(shù)檢測影像閃爍場面，并提示出檢測時的特征量(features)和檢測部位的靜止圖像作為檢測結(jié)果。
上述的已有技術(shù)只能對危險性影像機械地進行檢測，缺乏對檢測出的危險性影像如何進行修正的準則，因而也就存在不能判定可以對所檢測出的危險性影像進行哪種修正的問題。由此就不能將檢查結(jié)果很好地傳達給影像制作者，而存在由影像制作者修正的影像再次作為危險性影像被檢測出的情況。特別是在電視播放的情形下，為了使危險性影像的檢查者是電視臺，影像的修正者是影像制片人而檢查與修正是不同組織、由人來進行的情況較多，這就會較多出現(xiàn)前述那種問題。

發(fā)明內(nèi)容
為了解決前述這類問題，作為危險性影像修正準則，可以考慮靈活運用因與過去相同的理由進行修正，并被判定為無問題的修正方法。此時，為了存儲影像的修正方法就必須掌握已被修正了的影像的修正方法。但是，不論是在影像修正者僅傳送修正后的影像的情形，還是在修正者傳送修正方法的情形中，因為沒有確保所傳送的修正方法是正確的方法的辦法，因而產(chǎn)生了不能正確掌握影像修正方法的問題。
鑒于上述問題，本發(fā)明的目的在于由于掌握被正確修正后的影像的修正方法作為包含危險性影像的特征影像的修正準則，因此可從修正影像中檢測出影像的修正方法，由于將特征影像修正準則向修正者表示，因此可提示出應(yīng)用了過去的修正方法的影像的修正案上述目的可通過以下結(jié)構(gòu)實現(xiàn)。預(yù)先將特征影像(或是包含它的影像)和對其進行編輯后所得的編輯影像相對應(yīng)地存儲在數(shù)據(jù)庫中，在檢測得知當前編輯對象(或檢查對象)的影像為特征影像時，從數(shù)據(jù)庫中檢索“類似于”當前編輯對象的特征影像，并確定與所檢索出的特征影像相對應(yīng)的編輯影像的編輯內(nèi)容，將其提示給利用者。在此，編輯內(nèi)容也可以通過將檢索出的特征影像和與之相對應(yīng)的編輯影像相比較來特定。此外，也可將特征影像和編輯內(nèi)容對應(yīng)起來存儲在數(shù)據(jù)庫中，并對應(yīng)于所檢索出的特征影像來確定所存儲的編輯內(nèi)容。
另外，所謂“類似”是指相互間具有規(guī)定關(guān)系的意思，至于規(guī)定關(guān)系的具體內(nèi)容則包括實施方式中所記述的內(nèi)容。此外，作為本發(fā)明的一種方式，以危險性影像作為對象有以下內(nèi)容。根據(jù)本發(fā)明，前述目的是通過檢測危險性影像并提示檢測結(jié)果的危險性影像檢測方法來實現(xiàn)的，該方法具有下述步驟具有存儲了與過去的危險性影像相對應(yīng)的修正事例的數(shù)據(jù)庫，檢測被輸入的檢查對象影像中是否含有危險性影像，在含有危險性影像的情況下，以檢測出的危險性影像的危險性理由為關(guān)鍵字檢索上述數(shù)據(jù)庫并取得修正事例，然后將修正事例應(yīng)用于影像的危險性部位作成修正案，輸出上述被檢測出的危險性影像的危險性理由、危險性部位以及修正案，以修正上述危險性影像。
此外，上述目的是通過檢測危險性影像并提示檢測結(jié)果的危險性影像檢測方法來實現(xiàn)的，該方法具有下述步驟具有存儲了與過去的危險性影像相對應(yīng)的修正事例的數(shù)據(jù)庫以及影像差異檢測單元，其中把對危險性影像進行修正后的影像作為檢查對象影像輸入，并檢測此影像中是否含有危險性影像，在未含危險性影像時，上述影像差異檢測單元針對修正前的影像與修正后的影像計算出以場景內(nèi)的幀圖像的特征量為基礎(chǔ)的場景特征量，并比較兩個影像各自的場景特征量按時間順序的排列，根據(jù)場景特征量的排列的不同檢測出兩個影像的場景結(jié)構(gòu)的差異，并檢測出修正方法，將其存儲在上述數(shù)據(jù)庫中。
另外，上述目的是通過檢測分別由多個場景構(gòu)成的兩個影像的差異的影像差異檢測方法來實現(xiàn)的，該方法具有下述步驟計算以兩個影像的場景內(nèi)的幀圖像的特征量為基礎(chǔ)的場景特征量；比較兩個影像各自的場景特征量按時間順序的排列，并根據(jù)場景特征量的排列的不同檢測出兩個影像的場景結(jié)構(gòu)的差異。
根據(jù)本發(fā)明的一種方式，能夠從修正影像和修正前的影像中檢測出影像的修正方法，可以提示出在與危險性影像的檢測中所檢測出的危險性影像相對應(yīng)的修正案。


圖1是表示應(yīng)用由本發(fā)明的一實施方式的影像差異檢測裝置得到的過去的修正方法，提示出危險性影像修正案的危險性影像檢測系統(tǒng)的功能結(jié)構(gòu)與處理的框圖。
圖2是表示在已修正的影像再檢查中，由本發(fā)明一實施方式的影像差異檢測裝置來檢測修正方法，并作為事例進行存儲的危險性影像檢測系統(tǒng)的功能結(jié)構(gòu)與處理的框圖。
圖3是表示影像差異檢測部的功能結(jié)構(gòu)與處理的框圖。
圖4是說明對修正方法進行檢測的處理中影像特征量與場景特征量之間的關(guān)系圖。
圖5表示修正方法檢測的匹配處理中比較源場景特征量列與比較目標場景特征量列之間的關(guān)系圖。
圖6是說明在圖1中修正案生成部上的處理概要的圖。
圖7是表示圖1、圖2中所示的危險性影像檢測終端硬件結(jié)構(gòu)的框圖。
具體實施例方式
下面根據(jù)附圖詳細說明將本發(fā)明應(yīng)用于危險性影像的危險性影像檢測方法、影像差異檢測方法以及裝置的實施方式。
圖1是表示應(yīng)用由本發(fā)明一實施方式的影像差異檢測裝置得到的過去的修正方法，提出危險性影像修正案的危險性影像檢測系統(tǒng)的功能結(jié)構(gòu)與處理的框圖。在圖1中，1000為閃爍/閾下影像檢測部、1010為修正事例檢索部、1020為修正案生成部、1030為檢測結(jié)果提示部、1100為檢測結(jié)果數(shù)據(jù)、1110為危險性影像數(shù)據(jù)、1120為修正方法、1130為修正候補影像、1160為危險性部位、1170為危險性理由、1200為影像制作者、1210為檢查對象影像、2000為危險性影像檢測終端、2200為修正事例DB，在此，危險性影像檢測終端2000由所謂計算機來實現(xiàn)。然后，作為結(jié)構(gòu)要件的閃爍/閾下影像檢測部1000、修正事例檢索部1010、修正案生成部1020以及檢測結(jié)果提示部1030則可由作為依據(jù)程序進行處理的處理器(CPU)來實現(xiàn)。此外，危險性影像檢測終端2000也可由上述的處理器或未圖示的存儲有程序的存儲裝置、存儲器等構(gòu)成。
圖1所示的危險性影像檢測終端2000表示具有從由影像制作者1200制作的檢查對象影像1210中檢測危險性影像，并根據(jù)過去的修正事例制成修正案，直至返回給影像制作者1200為止的處理所必須的功能的裝置。此危險性影像檢測終端2000以具有閃爍/閾下影像檢測部1000、修正事例檢索部1010、修正案生成部1020、檢測結(jié)果提示部1030、影像數(shù)據(jù)暫存區(qū)、修正事例DB2200的方式而被構(gòu)成的。
由影像制作者1200制作并被輸入到危險性影像檢測終端2000的檢查對象影像1210既可以被記錄在VTR磁帶等介質(zhì)中，也可以MPEG等文件格式來表現(xiàn)。在是VTR磁帶的情況下，檢查對象影像1210在VTR走動機構(gòu)上再生磁帶，并被輸入到危險性影像檢測終端2000中。此外，檢查對象影像1210既可以是以文件格式構(gòu)成，也可以是檢查對象影像1210以其原有格式輸入到危險性影像檢測終端2000的方式構(gòu)成。
危險性影像檢測終端2000的閃爍/閾下影像檢測部1000對被輸入的檢查對象影像，檢測出影像在短時間內(nèi)對反復(fù)閃爍的插入或在人們無法意識到的短時間中對影像的插入。這種檢測可以預(yù)先存儲閃爍等的基準，將檢查對象影像與此基準比較，在符合基準時則判定有插入。此外，也可使用前述的已有技術(shù)進行檢測。這些是有可能對人體帶來不利影響的影像。閃爍/閾下影像檢測部1000輸出組合影像的危險性部位1160與危險性理由1170所得的檢測結(jié)果數(shù)據(jù)1100作為檢測結(jié)果。
危險性部位1160是表示影像位置的時間數(shù)據(jù)(時間戳)。這種時間數(shù)據(jù)在將時間代碼信息賦給影像的記錄介質(zhì)或影像文件時，便成為該時間代碼值，另外，在沒有時間代碼信息時，則成為自影像開頭起的經(jīng)過時間。例如在表示從影像開頭起經(jīng)過10分鐘后的部位時，即成為“00:10:00:00”這樣的值。這是可唯一表示影像位置的值。
危險性理由1170是表示檢測為危險性影像的要素的數(shù)據(jù)。在該數(shù)據(jù)中，危險性影像若為閃爍影像時則包括“閃爍區(qū)間的時間長度、亮度(luminance)變化的比例(％)、亮度變化的次數(shù)、顏色成分、發(fā)生閃爍的畫面部位”等各種信息。此外，危險性影像若為閾下影像時，則包括“閾下圖像插入的時間長度、閾下圖像在畫面上的部位”各種信息(要素)。
在此，當各要素中的全部都與修正事例DB200中所存儲的危險性理由的各要素“類似”或者有一定個數(shù)或者一定個數(shù)以上的要素為“類似”時，可以判定為作為影像是相“類似”的。
另外，既可將各要素的“類似”在檢查對象影像1210與修正事例DB2200中所存儲的危險性理由的各要素的差分位于一定范圍內(nèi)時判定“類似”，也可如以下那樣判定為各要素的“類似”。
·閃爍區(qū)間的時間長度檢查對象影像1210一方在一定范圍內(nèi)時間長度長(包括相等時間)；·亮度變化的比例(％)檢查對象影像1210一方在一定范圍內(nèi)變化的比例大(包括相同比例)；·亮度變化的次數(shù)檢查對象影像1210一方在一定范圍內(nèi)次數(shù)多(包括相同次數(shù))；·顏色成分檢查對象影像1210一方色調(diào)更接近危險性顏色(包括相同色調(diào))；·發(fā)生閃爍的畫面部位在畫面上，檢查對象影像1210一方更接近中心部位(包括相同部位)。
進而，關(guān)于各種要素也可以分別與存儲在修正事例DB2200中的危險性理由的各要素相比較來進行檢索。另外，也可如以下所示進行比較。其針對第1要素檢索“類似”的危險性理由(的危險性影像)，在所檢索出的危險性理由之中檢索第2要素相“類似”的危險性理由。通過對它與第3要素等反復(fù)進行這樣的篩選處理，可以確定所有要素為“類似”或規(guī)定要素為“類似”的影像。
閃爍/閾下影像檢測部1000將檢測結(jié)果數(shù)據(jù)1100記錄在影像數(shù)據(jù)暫存區(qū)中，并且傳送給修正事例檢索部1010。此外，在危險性影像的檢測處理中，將檢測出檢測用輸入影像中的危險性而得到的危險性影像數(shù)據(jù)1110記錄在影像數(shù)據(jù)暫存區(qū)中。該影像數(shù)據(jù)1110是作為縮小了影像分辨率/位速率的代理(プロキシProxy)影像來生成并被記錄的。
修正事例檢索部1010接收檢測結(jié)果數(shù)據(jù)1100后，以檢測結(jié)果數(shù)據(jù)1100的危險性理由1170作為檢索關(guān)鍵字，從修正事例DB2200中檢索在過去有無基于類似危險性理由的修正事例。當存在類似危險性理由的修正事例時，修正事例檢索部1010取得與之相對應(yīng)的修正方法1120。修正方法1120中包含有場景結(jié)構(gòu)的變更、與場景相對應(yīng)的編輯效果(edit effect)的變更的信息。有關(guān)修正方法1120的數(shù)據(jù)結(jié)構(gòu)的詳細內(nèi)容將在以后進行說明，過去的修正方法1120既可以是只取得1件與最類似于所檢測出的危險性理由1170的理由相對應(yīng)的修正方法，也可以是取出多件與基于危險性理由的類似度而在某個閾值內(nèi)具有類似性的理由相對應(yīng)的修正方法。修正事例檢索部1010將檢測結(jié)果數(shù)據(jù)1100與修正方法1120發(fā)送給修正案生成部1020。
修正案生成部1020從影像數(shù)據(jù)暫存區(qū)取得影像數(shù)據(jù)1110，然后針對在危險性部位1160示出的影像的部位，按照修正方法1120對所示的內(nèi)容實施場景結(jié)構(gòu)的變更或?qū)鼍暗木庉嬓Ч淖兏⑸尚拚蜓a影像1130。此處理的詳細內(nèi)容將在以后進行說明。修正案生成部1020將檢測結(jié)果數(shù)據(jù)1100與修正候補影像1130傳送給檢測結(jié)果提示部1030。
檢測結(jié)果提示部1030將危險性部位1160、危險性理由1170、修正候補影像1130作為危險性影像的檢測結(jié)果顯示在危險性影像檢測終端2000的監(jiān)視器上。此外，將這些數(shù)據(jù)作為數(shù)據(jù)文件進行輸出。
在所輸入的檢查對象影像1210中，在閃爍/閾下影像檢測部1000未檢測出危險性影像時，不進行修正事例檢索部1010、修正案生成部1020中的處理，而由檢測結(jié)果提示部1030顯示未檢測出的意思。通過了檢查的檢查對象影像1210不加修正原樣地進行利用。如果是播放用影像則被用于播放。
在從所輸入的檢查對象影像1210中檢測出危險性影像時，檢查者將由檢測結(jié)果提示部1030輸出的檢測結(jié)果數(shù)據(jù)1100、修正候補影像1130傳送給影像制作者1200。另外，在傳送給影像制作者1200的處理中，除手工傳送存儲有該內(nèi)容的介質(zhì)之外，也可構(gòu)成為經(jīng)由網(wǎng)絡(luò)將該檢測結(jié)果數(shù)據(jù)1100發(fā)送給影像制作者1200所用的處理裝置。影像制作者1200根據(jù)發(fā)送來的內(nèi)容進行影像的修正操作。影像的修正可通過進行場景結(jié)構(gòu)的變換、場景的插入/刪除、場景長度的變更、閃爍亮度的變更、閃爍次數(shù)的變更等影像編輯處理來實施。修正后的影像將再次進行有無危險性影像的檢查。
圖2是表示在已修正的影像的再檢查中，根據(jù)本發(fā)明一實施方式的影像差異檢測裝置來檢測修正方法并作為事例進行存儲的危險性影像檢測系統(tǒng)的功能結(jié)構(gòu)與處理的框圖。在圖2中，1040為影像差異檢測部、1140為修正版影像數(shù)據(jù)、1150為修正方法，其他標號與圖1中的相同。另外，圖2所示的影像差異檢測部1040是被包含在圖1所示的危險性影像檢測終端2000中，為便于說明，圖2中只表示了影像差異檢測中必要的結(jié)構(gòu)。此外，與在圖1中所說明的相同，危險性影像檢測終端2000由具有處理器等計算機構(gòu)成，按照程序進行各種處理。
根據(jù)按圖1所示的處理而提示的檢測結(jié)果數(shù)據(jù)1100與修正候補影像1130進行修正后的影像1220再次由閃爍/閾下影像檢測部1000檢查有無危險性影像。在該檢查中，在再次檢測出危險性部位時，再次進行圖1所示的已說明過的處理，并將檢測結(jié)果數(shù)據(jù)通知給影像制作者1200，請求對影像進行再修正。
當閃爍/閾下影像檢測部1000沒有檢測出危險性部位時，也即已順利地進行了修正時，閃爍/閾下影像檢測部1000與圖1所示的處理同樣地，將檢測用輸入影像作為修正版影像數(shù)據(jù)1140記錄在影像數(shù)據(jù)暫存區(qū)中。所記錄的影像數(shù)據(jù)1140是縮小了影像分辨率/位速率后的代理影像。然后轉(zhuǎn)移到影像差異檢測部1040進行處理。
影像差異檢測部1040通過比較作為修正后的影像數(shù)據(jù)的修正版影像數(shù)據(jù)1140與修正前的影像數(shù)據(jù)1110，檢測出其修正方法。所檢測出的修正方法作為影像的修正方法1150而被輸出。修正方法1150與危險性理由相對應(yīng)地被存儲在修正事例DB2200中。
圖3是表示影像差異檢測部1040的功能結(jié)構(gòu)以及處理的框圖，圖4是說明檢測修正方法的處理中的影像特征量和場景特征量之間的關(guān)系圖，然后參照圖3和圖4說明在影像差異檢測部1040中的處理的詳細內(nèi)容。在圖3和圖4中，1300是影像特征量計算部、1310是場景特征量計算部、1320是場景特征量比較部。
影像差異檢測部1040被構(gòu)成為具有影像特征量計算部1300、場景特征量計算部1310、場景特征量比較部1320。當影像差異檢測部1040輸入修正版(后)影像數(shù)據(jù)1140和修正前影像數(shù)據(jù)1110時，首先影像特征量計算部1300分別針對修正前影像數(shù)據(jù)1110和修正后影像數(shù)據(jù)1140計算并輸出作為各幀圖像的特征量的修正后影像特征量1410、修正前影像特征量1400。該特征量如圖4所示，與每一個幀圖像1450相對應(yīng)地被計算成為1個特征量1460。將該特征量按時間順序的排列稱為影像特征量，這樣的影像特征量與修正前影像數(shù)據(jù)1110和修正后影像數(shù)據(jù)1140相對應(yīng)，從影像特征量計算部1300中被輸出。幀圖像的特征量是表示圖像亮度(1uminance histogram)、顏色的直方圖(color histogram)等圖像特征的值。
場景特征量計算部1310以從影像特征量計算部1300輸出的修正前后的影像特征量1400、1410為輸入，針對這些特征量計算每個場景的特征量。場景是在按照時間系列順序觀看幀圖像的特征量時，根據(jù)其相似性進行幀圖像的分組后所得的。例如，在圖4中，關(guān)于影像特征量1400的幀圖像特征量A1～C6，當在“A1～A5”、“B1～B4”、“C1～C6”各組中所包含的幀圖像的相似度高的情況下，將與“A1～A5”相對應(yīng)的幀圖像組當作場景A1470，將“B1～B4”的組當作場景B1480，將“C1～C6”的組當作場景C1490。作為該場景的影像是表示通過1次拍攝所拍攝出來的一系列影像，一般稱之為“cut(カツト，切)”。
所謂場景特征量是代表場景場面的特征的值，在本發(fā)明實施方式中，設(shè)定使用構(gòu)成場景的幀圖像的特征量平均值，但是既可以使用場景的起始幀的特征量，也可以使用構(gòu)成場景的幀圖像的特征量的中間值。另外，還使場景特征量中包含有場景長度的信息。例如，圖4的場景A1470的場景長度為5幀。場景A1470的場景特征量1440的值“A-5”中的“5”是表示場景長度為5幀的意思，“A-5”的“A”是表示幀圖像的特征量“A1～A5”的平均值。
將場景特征量按時間順序的排列稱之為“場景特征量列”。場景特征量列1420包含有場景A1470的場景特征量1440、場景B1480的場景特征量1500、場景C1490的場景特征量1510的排列。
場景特征量計算部1310針對影像特征量1400、1410計算并輸出場景特征量列1420、1430。
場景特征量比較部1320對由場景特征量計算部1310計算出的2個場景特征量列1420、1430進行比較，檢測出影像的修正方法。參照圖5來說明由該場景特征量比較部1320進行的影像修正方法檢測處理的詳細內(nèi)容。
圖5是表示修正方法的檢測匹配處理中的比較源場景特征量列和比較目標特征量列之間的關(guān)系圖。
影像修正方法的檢測處理按照以下說明順序來進行。
(1)從修正前影像的場景特征量列1420中以包含有以危險性部位1160表示的部位的場景為中心提取出前后各n個場景的場景特征量。提取出的場景特征量作為比較源場景特征量列1600。在圖5中所示的例子中，將n設(shè)為4。
(2)針對以修正后影像的場景特征量列1430的危險性部位1160所示的部位，進行和比較源場景特征量列1600的匹配。匹配是通過相對在修正后影像的場景特征量列1430的危險性部位1160中所表示的位置，一邊在其前后m個場景內(nèi)移動，一邊針對與從修正前影像的場景特征量列1420提取出的比較源場景特征量列1600和從修正后影像的場景特征量列1430提取出的場景特征量列1600相對應(yīng)的場景執(zhí)行匹配計算來實施的。匹配計算是求得場景特征量的差的總和值，將成為最低值的位置當作匹配位置的計算。在圖5所示的例子中，將m設(shè)為1，一邊從匹配開始位置1610各移動1個場景位置設(shè)為1620、1630，一邊進行匹配計算。在該例中，匹配位置被確定為1620。然后，將與匹配位置相對應(yīng)的修正后影像的場景特征量列1430的部位設(shè)定為比較目標場景特征量列1640。
(3)針對每個場景對比較源場景特征量列1600和比較目標場景特征量列1640的各個場景進行比較，檢測出場景特征量的不同。針對比較目標場景特征量列1640的比較源場景特征量列1600而檢測出的場景特征量的差異按照進行了如下的影像修正來處理。
·在所檢測出的場景特征量的差異是根據(jù)場景長度的變更而被檢測出的情況下，進行使場景的長度變長或者使場景的長度變短的修正。
·在所檢測出的場景特征量的差異是根據(jù)場景特征量的順序的變更而被檢測出的情況下，進行替換場景順序的修正。例如將場景A、B、C變?yōu)閳鼍癇、A、C的順序等。
·在所檢測出的場景特征量的差異是根據(jù)存在新的場景而被檢測出的情況下，進行追加新場景的修正。例如將場景X插入場景A、B、C，成為場景A、X、B、C。
·在所檢測出的場景特征量的差異是根據(jù)場景特征量消失而被檢測出的情況下，進行刪除場景的修正。例如從場景A、B、C中刪除場景B，成為場景A、C等。
·在所檢測出的場景特征量的差異是根據(jù)特征量相似而被檢測出的情況下，進行變更場景的影像效果的修正。根據(jù)在場景特征量中所用的影像特征量的種類改變可檢測的影像效果。例如，如果使用亮度直方圖作為特征量，則可檢測亮度的變化。作為影像編輯的例子有降低場景A、B、C中場景B的亮度，變?yōu)閳鼍癇′，從而成為場景A、B′、C等的例子。另外，在特征量相似度偏離達某個閾值或該閾值以上時，作為插入新場景來處理。
如上所述的變更既可以僅進行1種也可以同時進行多種。
圖3所示的影像差異檢測部1040的場景特征量比較部1320進行上述處理，檢測出影像的修正方法，并生成修正方法1150。修正方法1150由“變更前的場景結(jié)構(gòu)、變更后的場景結(jié)構(gòu)、成為危險性部位的場景”構(gòu)成。在場景結(jié)構(gòu)中包含有場景長度、場景特征量的信息。
由圖3所示的影像特征量計算部1300執(zhí)行的對各幀圖像的特征量的計算也可以僅將危險性部位1160周圍的幀圖像當作對象。這種情況下，僅針對危險性部位1160周圍的場景計算場景特征量列。幀圖像的特征量的計算范圍可以僅是為了進行比較源特征量列1600和比較目標場景特征量列1640的匹配運算所需要的范圍。
圖6是說明由圖1中的修正案生成部1020執(zhí)行的處理概要的圖，然后參照圖6說明將修正方法應(yīng)用于危險性部位來生成修正候補影像的處理。
修正案生成部1020針對檢測出危險性部位所得到的危險性影像數(shù)據(jù)1110，應(yīng)用以危險性理由為關(guān)鍵字從事例DB中檢索得到的修正方法1120，按照修正方法1120的內(nèi)容，對包含有危險性影像數(shù)據(jù)1110表示的危險性部位的場景B1700進行影像修正。在圖6所示的例子中，修正方法1120中記載了將包含有危險性部位的場景的場景長度設(shè)為2倍，將場景的影像亮度降低50％。修正案生成部1020按照該內(nèi)容施行將場景B1700的場景長度設(shè)為2倍長度，將亮度降低50％的處理，生成場景B′1710。具體地，以將場景B1700的各幀圖像各增加1張、各幀圖像的亮度降低50％的方式實施圖像濾波處理。通過這樣的處理來生成作為修正案的修正候補影像1130。
圖7是表示圖2所示的危險性影像檢測終端2000的硬件結(jié)構(gòu)的框圖。在圖7中，2010、2020、2030是輔助存儲裝置，2040是CPU、2050是存儲器，2060是總線、2070是OS、2100是影像捕獲裝置，其他的符號和圖1、圖2、圖3所示的情況相同。另外，關(guān)于各結(jié)構(gòu)要件(硬件)按照在圖1、2中所說明的那樣。
危險性影像檢測終端2000具有輔助存儲裝置2010、2020與2030，用于輸入影像信號的影像捕獲裝置2100，CPU2040與存儲器2050，它們通過總線2060連接構(gòu)成。
輔助存儲裝置2010中存儲有閃爍/閾下影像檢測部1000、修正事例檢索部1010、修正案生成部1020、檢測結(jié)果提示部1030、影像差異檢測部1040、OS2070。影像差異檢測部1040如圖3所述構(gòu)成為包括影像特征量計算部1300、場景特征量計算部1310與場景特征量比較部1320。閃爍/閾下影像檢測部1000操作影像捕獲裝置2100，從影像信號中取得幀圖像的數(shù)據(jù)。
存儲在輔助存儲裝置2010中的閃爍/閾下影像檢測部1000、修正事例檢索部1010、修正案生成部1020、檢測結(jié)果提示部1030與影像差異檢測部1040可構(gòu)成為程序并由計算機所具有的CPU來執(zhí)行，此外，這些程序可存儲在FD、CDROM、DVD等記錄介質(zhì)中來提供，還可經(jīng)網(wǎng)絡(luò)利用數(shù)字信息來提供。
輔助存儲裝置2020可用作暫存區(qū)，其中在該輔助存儲裝置2020中存儲有閃爍/閾下影像檢測部1000輸出的檢測結(jié)果數(shù)據(jù)1100、危險性影像數(shù)據(jù)1110、修正影像數(shù)據(jù)1140。輔助存儲裝置2030中存儲有修正事例DB2200。
輔助存儲裝置2010、2020、2030的結(jié)構(gòu)概要被表示在圖1與2的危險性影像檢測終端2000中。另外，輔助存儲裝置2020、2030可以是與輔助存儲裝置2010相同的裝置。
在上述的本發(fā)明實施方式中說明了檢測危險性影像，根據(jù)修正事例DB來指示其修正方法，并且影像差異檢測部通過對修正后的影像與修正前的影像進行比較來提取修正方法，并使該修正方法反映到修正事例DB中，但是影像差異檢測部所比較的影像并不局限于危險性影像及其修正影像，也可用來比較有某種關(guān)聯(lián)的兩種影像。例如在制成播放等用的影像后，在根據(jù)由導(dǎo)演等指示要進行影像修正的情況下，可以用來比較兩種影像，提取修正方法并保存在數(shù)據(jù)庫中，以在其后的影像制作時參考數(shù)據(jù)庫內(nèi)的修正方法等。
權(quán)利要求
1.一種檢測特征影像并提示檢測結(jié)果的特征影像檢測方法，其特征在于將與特征影像對應(yīng)的修正事例存儲在數(shù)據(jù)庫中；檢測在所輸入的檢查對象影像中是否包含特征影像；在包含有特征影像時，以所檢測出的特征影像的特征理由作為關(guān)鍵字，檢索上述數(shù)據(jù)庫，來取得修正事例；將修正事例應(yīng)用于影像的特征部位而作成修正案；將上述檢測出的特征影像的特征理由、特征部位及修正案進行輸出，用以修正上述特征影像。
2.一種檢測特征影像并提示檢測結(jié)果的特征影像檢測方法，其特征在于，具有存儲與過去特征影像對應(yīng)的修正事例的數(shù)據(jù)庫；以及影像差異檢測單元，其中，把對特征影像進行修正后的影像作為檢查對象影像而輸入，并檢測該影像中是否包含特征影像，在未包含特征影像的情況下，上述影像差異檢測單元針對修正前的影像與修正后的影像計算出根據(jù)場景內(nèi)的幀圖像的特征量的場景特征量，并比較兩個影像各自的場景特征量按時間順序的排列，根據(jù)場景特征量的排列的不同檢測出兩個影像的場景結(jié)構(gòu)的差異，并檢測出修正方法，將其存儲在上述數(shù)據(jù)庫中。
3.如權(quán)利要求2所述的特征影像檢測方法，其特征在于上述場景特征量是根據(jù)與影像的編輯效果有關(guān)的特征量而計算出的，并通過比較場景特征量的排列，根據(jù)兩個影像的場景特征量值之差檢測出施加于場景上的編輯效果的差異，由此檢測出上述場景結(jié)構(gòu)的差異。
4.如權(quán)利要求2所述的特征影像檢測方法，其特征在于上述場景特征量是場景內(nèi)的幀圖像的特征量的平均值。
5.一種檢測特征影像并提示檢測結(jié)果的特征影像檢測裝置，其特征在于，具有存儲有與特征影像對應(yīng)的修正事例的數(shù)據(jù)庫；檢測被輸入的檢查對象影像中是否包含有特征影像的單元；在不包含特征影像時，以檢測出的特征影像的特征理由為關(guān)鍵字檢索上述數(shù)據(jù)庫，并取得修正事例的單元；將修正事例應(yīng)用于影像的特征部位而作成修正案的單元；將上述檢測出的特征影像的特征理由、特征部位及修正案進行輸出，用以修正上述特征影像的單元。
6.一種檢測特征影像并提示檢測結(jié)果的特征影像檢測裝置，其特征在于，具有存儲有與特征影像對應(yīng)的修正事例數(shù)據(jù)庫；影像差異檢測單元；以及將對特征影像進行修正后的影像作為檢查對象影像并檢測該影像中是否包含有特征影像的單元，其中，在未包含有特征影像的情形下，上述影像差異檢測單元針對修正前的影像與修正后的影像計算出基于場景內(nèi)的幀圖像的特征量的場景特征量，并比較兩個影像各自的場景特征量按時間順序的排列，根據(jù)場景特征量的排列的不同檢測出兩個影像的場景結(jié)構(gòu)的差異，并檢測出修正方法，將其存儲在上述數(shù)據(jù)庫中。
7.如權(quán)利要求6所述的特征影像檢測裝置，其特征在于上述場景特征量是基于與影像的編輯效果有關(guān)的特征量計算出的，并通過比較場景特征量的排列，根據(jù)兩個影像的場景特征量值之差檢測出施加于場景上的編輯效果的差異，由此檢測出上述場景結(jié)構(gòu)的差異。
8.如權(quán)利要求6所述的特征影像檢測裝置，其特征在于上述場景特征量是場景內(nèi)的幀圖像的特征量的平均值。
9.一種檢測分別由多個場景構(gòu)成的兩個影像的差異的影像差異檢測方法，其特征在于計算以兩個影像的場景內(nèi)的幀圖像的特征量為基礎(chǔ)的場景特征量；比較兩個影像各自的場景特征量按時間順序的排列，并根據(jù)場景特征量的排列的不同檢測出兩個影像的場景結(jié)構(gòu)的差異。
10.一種檢測分別由多個場景構(gòu)成的兩個影像的差異的影像差異檢測裝置，其特征在于，具有計算出以兩個影像的場景內(nèi)的幀圖像的特征量為基礎(chǔ)的場景特征量的單元；比較兩個影像各自的場景特征量按時間順序的排列，并根據(jù)場景特征量的排列的不同檢測出兩個影像的場景結(jié)構(gòu)的差異的單元。
全文摘要
本發(fā)明的目的在于提供一種特征影像檢測方法，為了將正確修改后的影像的修正方法當作危險性影像修正的準則來掌握，而從修正影像中檢測出影像的修正方法，為了向修正者表示危險性影像修正的準則而提示應(yīng)用了過去的修正方法的影像的修正案。為了實現(xiàn)上述目的，本發(fā)明具有下述結(jié)構(gòu)針對于修正前的危險性影像數(shù)據(jù)(1110)與修正后影像數(shù)據(jù)(1140)，對每個影像場景計算出表示場景特征的場景特征量，通過比較各個影像場景特征量按時間順序的排列(1420、1430)來檢測出場景結(jié)構(gòu)的修正方法(1150)。
文檔編號H04N17/00GK1980331SQ20061010912
公開日2007年6月13日 申請日期2006年8月2日 優(yōu)先權(quán)日2005年12月5日
發(fā)明者白石匡央, 大木康幸, 井川勝 申請人:株式會社日立制作所