專利名稱：圖像處理裝置及其方法和介質(zhì)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種圖像處理裝置及其方法和介質(zhì)，并特別涉及一種用于使用場差分信息、幀差分信息、水平邊緣信息和特征圖像信息執(zhí)行運動檢測的圖像處理裝置及其方法和介質(zhì)。
在相關(guān)技術(shù)中，使用場之間差分的方法，以及使用幀之間差分的方法通常被用于檢測所輸入圖像數(shù)據(jù)的運動，這是因為這些方法可以以簡單的電路結(jié)構(gòu)實現(xiàn)。
在隔行圖像數(shù)據(jù)輸入期間當僅使用場差分時在兩個連續(xù)場之間出現(xiàn)等于一行的垂直偏差或偏移。因此為計算該差分，通過進行內(nèi)插和偏移(補償)，然后計算與另一個場的差分來計算位于一個場中的相臨行之間的像素。在以這種方式使用從一個場內(nèi)插而得的像素數(shù)據(jù)計算場差分值時，由于內(nèi)插使圖像變得模糊，出現(xiàn)運動檢測準確度下降的問題。
在運動檢測中使用幀差分方法時，在檢測到其差分的圖像之間出現(xiàn)兩個場的間隔。因此，甚至在兩個圖像之間的幀差分匹配的情況下，這兩個圖像之間的圖像也不一直是匹配的并且使得在計算運動檢測期間出現(xiàn)遺漏。
故障檢測常常傾向于特別出現(xiàn)在邊緣的水平部分。相比之下該邊緣具有較大差分值，因此，由于運動檢測電路產(chǎn)生較大作用在目標對象僅出現(xiàn)輕微的振動或輕微的抖動，并且即使被確定為靜止的圖像也可能出現(xiàn)由于運動檢測所導致的令人發(fā)暈的快速變化。
考慮到相關(guān)技術(shù)中的上述問題，本發(fā)明目的為通過使用場差分信息，幀差分信息以及圖像的特征信息來提高運動檢測準確度。
根據(jù)本發(fā)明的一個方面，圖像處理裝置包括用于存儲圖像信號的存儲器裝置，用于從存儲在存儲器裝置的圖像信號計算場差分值的場差分計算裝置，用于從存儲在存儲器裝置的圖像信號計算幀差分值的幀差分計算裝置，和用于使用場差分計算裝置計算的場差分值和幀差分裝置計算的幀差分值根據(jù)該圖像信號檢測圖像的運動區(qū)域的檢測裝置。
根據(jù)本發(fā)明的另一方面，該圖像處理裝置的特征在于幀差分計算裝置能夠計算目標像素的幀差分值、和位于定位在所述目標像素上面和下面的行中至少一行上的另一個像素組的幀差分值，并且檢測裝置使用幀差分計算裝置計算的兩個或多個幀差分值和場差分值根據(jù)圖像信號檢測該圖像的運動區(qū)域。
根據(jù)本發(fā)明的另一方面，該圖像處理裝置包括用于根據(jù)圖像信號提取圖像邊緣的提取裝置，用于根據(jù)提取裝置提取的邊緣信息設(shè)定閾值的設(shè)定裝置，用于將場差分值和幀差分值分別與設(shè)定裝置設(shè)定的閾值進行比較的比較裝置，以及用于根據(jù)場景變化(scene change)輸出比較裝置的比較結(jié)果或預(yù)定值的輸出裝置，其中檢測裝置能夠通過從輸出裝置的結(jié)果計算邏輯積和邏輯和根據(jù)圖像信號檢測圖像運動區(qū)域。
根據(jù)本發(fā)明的另一方面，圖像處理方法的特征在于包括存儲圖像信號的存儲步驟，從存儲步驟存儲的圖像信號計算場差分值的場差分計算步驟，從存儲步驟存儲的圖像信號計算幀差分值的幀差分計算步驟，以及使用場差分計算步驟計算的場差分值和幀差分步驟計算的幀差分值根據(jù)該圖像信號檢測圖像運動區(qū)域的檢測步驟。
根據(jù)本發(fā)明另一個方面，程序介質(zhì)的特征在于包括存儲圖像信號的存儲步驟，從存儲步驟存儲的圖像信號計算場差分值的場差分計算步驟，從存儲步驟存儲的圖像信號計算幀差分值的幀差分計算步驟，以及使用場差分計算步驟計算的場差分值和幀差分步驟計算的幀差分值根據(jù)該圖像信號檢測圖像運動區(qū)域的檢測步驟。
作為圖像處理裝置，圖像處理方法以及介質(zhì)，本發(fā)明從圖像信號計算場差分值和幀差分值，并使用所計算的場和幀差分值根據(jù)圖像信號檢測圖像的運動區(qū)域，這樣就實現(xiàn)了提高運動檢測準確度的效果。


圖1是表示本發(fā)明實施例的記錄/再現(xiàn)設(shè)備的實施例的結(jié)構(gòu)的方框圖。
圖2是表示圖1的運動檢測電路26的方框圖。
圖3是表示圖2的運動區(qū)域鑒別器63的內(nèi)部結(jié)構(gòu)的方框圖。
圖4是表示運動檢測電路26的操作的流程圖。
圖5是表示場和像素的關(guān)系的圖。
圖6是表示每個像素的時序位置關(guān)系的圖。
圖7是表示場差分的圖。
圖8是表示幀差分的圖。
圖9是表示行差分的圖。
圖10是詳細表示圖4的步驟S4的流程圖。
圖11是詳細表示圖10的步驟S11的流程圖。
圖12是詳細表示圖10的步驟S12的流程圖。
圖13是表示當出現(xiàn)場景變化時的處理的圖。
圖14是表示當出現(xiàn)場景變化時的處理的圖。
圖15是表示當出現(xiàn)場景變化時的處理的圖。
圖16是表示用于孤立區(qū)域消除的處理的圖。
圖17是表示幀靜態(tài)圖像創(chuàng)建處理的圖。
圖18A到18C是表示步驟S5到S7中的處理的圖。
圖19是用于幀差分的圖。
圖20A到20C是表示介質(zhì)的圖。
圖1是表示應(yīng)用本發(fā)明的記錄/再現(xiàn)設(shè)備1的一個實施例的結(jié)構(gòu)的方框圖。天線2接收的廣播節(jié)目輸出到調(diào)諧器3，只選擇用戶所要求的節(jié)目信號，并輸出到切換器4。來自連接到外部輸入端5的設(shè)備(圖中未示出)的數(shù)據(jù)也輸入到切換器4。切換器4根據(jù)來自微計算機6的命令選擇調(diào)諧器3或外部輸入端5的輸出，并且分別將音頻信號發(fā)送到音頻信號處理器8和將視頻信號發(fā)送到視頻處理器7。
視頻處理器7執(zhí)行諸如被輸入的視頻信號的AGC(自動增益控制)處理之類的處理并將其輸出到A/D(模擬/數(shù)字)轉(zhuǎn)換器9。以相同的方式，音頻信號處理器8執(zhí)行被輸入的音頻信號的特定處理并將其輸出到A/D轉(zhuǎn)換器10。A/D(模擬/數(shù)字)轉(zhuǎn)換器9將視頻信號轉(zhuǎn)換為數(shù)字信號并且A/D轉(zhuǎn)換器10將音頻信號轉(zhuǎn)換為數(shù)字信號。由A/D轉(zhuǎn)換器9轉(zhuǎn)換為數(shù)字信號的視頻信號輸出到視頻信號壓縮器11，并且由A/D轉(zhuǎn)換器10轉(zhuǎn)換為數(shù)字信號的音頻信號輸出到音頻信號壓縮器12。
輸入到視頻信號壓縮器11的視頻信號使用諸如MPEG(運動圖像專家組)2的壓縮方法被壓縮，并輸出到存儲器13來存儲。以相同的方式，輸入到音頻信號壓縮器12的音頻信號使用，例如諸如MPEG音頻方法之類的壓縮方法被壓縮，并輸出到存儲器14來存儲。
根據(jù)來自微計算機6的命令由存儲器控制器15加載存儲在存儲器13的視頻數(shù)據(jù)和存儲在存儲器14的音頻數(shù)據(jù)并通過總線16輸入到記錄調(diào)制器17。記錄調(diào)制器17對所輸入的視頻數(shù)據(jù)或音頻數(shù)據(jù)執(zhí)行諸如糾錯數(shù)據(jù)附加和EFM(8到14調(diào)制)之類的處理，并將其輸出到盤18并進行記錄。盤18是一個內(nèi)部硬盤、一個可加載的光盤或磁盤等。通過來自微計算機6的命令使用盤控制器19控制盤18來執(zhí)行將數(shù)據(jù)記錄到盤18。
由再現(xiàn)解調(diào)器20加載記錄到盤18的數(shù)據(jù)并經(jīng)過諸如EFM解調(diào)和糾錯之類處理之后，將音頻數(shù)據(jù)輸出到存儲器22并且將視頻數(shù)據(jù)輸出到存儲器21并記錄。根據(jù)來自微計算機6的命令在存儲器控制器15的控制下加載記錄在存儲器21的數(shù)據(jù)并輸出到視頻解壓縮器23。以相同的方式，加載存儲在存儲器22的音頻數(shù)據(jù)并輸出到音頻解壓縮器24。
音頻解壓縮器23解壓縮(拉伸)輸入的壓縮視頻數(shù)據(jù)并將該拉伸視頻數(shù)據(jù)輸出到存儲器25、運動檢測電路26和視頻處理電路27。記錄在存儲器26的視頻信號輸出到運動檢測電路26和視頻處理電路27。存儲器25具有足以進行視頻處理和運動檢測的存儲空間并能夠記錄數(shù)個場的視頻信號。
運動檢測電路26通過適當?shù)亟M合場差分和幀差分(后面將詳細說明)執(zhí)行運動檢測。從運動檢測得到的信息記錄在存儲器28。由視頻處理電路27使用運動檢測結(jié)果信息和從存儲器28加載(讀出)的多個場視頻數(shù)據(jù)，執(zhí)行諸如生成幀靜態(tài)圖像或擴展/壓縮之類的處理。視頻處理電路27的輸出提供給D/A轉(zhuǎn)換器29并被轉(zhuǎn)換為模擬信號。轉(zhuǎn)換為模擬信號的視頻數(shù)據(jù)輸出到視頻信號處理器30。視頻信號處理器30對所輸入的視頻信號執(zhí)行諸如加重之類的處理并將其作為分量視頻信號輸出給連接到記錄/再現(xiàn)設(shè)備1的監(jiān)視器41。
另一方面，輸入到音頻解壓縮器24的音頻數(shù)據(jù)被提供給D/A轉(zhuǎn)換器31。輸入給D/A轉(zhuǎn)換器31的音頻數(shù)據(jù)數(shù)字信號被轉(zhuǎn)換為模擬信號，并輸出到音頻信號處理器32，在這里執(zhí)行諸如放大之類的特定處理并且將模擬信號提供給所連接的揚聲器24。
控制臺33包括遙控器、按鈕以及微調(diào)旋鈕等。該控制臺33由用戶操作以便在記錄/再現(xiàn)設(shè)備1上執(zhí)行所要求的操作。微計算機6根據(jù)來自控制臺33的操作信號控制每個部分。
圖2是詳細表示運動檢測電路26的方框圖。存儲器25包括三個場存儲器51-1到51-3。視頻信號解壓縮器23輸出的視頻信號輸入到存儲器25的場存儲器51-1并且還輸入到運動檢測器26的場景變化檢測電路61和加法器62-1。存儲在場存儲器51-1的視頻數(shù)據(jù)順序輸入到場存儲器51-2并被存儲，存儲在場存儲器51-2的視頻數(shù)據(jù)順序輸入到場存儲器51-3并被存儲。
當在時間t輸入的視頻數(shù)據(jù)輸入到加法器62-1時，從場存儲器51-1輸出的視頻數(shù)據(jù)是在前一個場的時間t-1輸入的視頻數(shù)據(jù)。從場存儲器51-2輸出的視頻數(shù)據(jù)是來自前面兩個場的視頻數(shù)據(jù)。從場存儲器51-3輸出的視頻數(shù)據(jù)是前面三個場的視頻數(shù)據(jù)。換言之，每個場的視頻數(shù)據(jù)從場存儲器51-1流入場存儲器51-2，并且從場存儲器51-2流入場存儲器51-3。在實際的電路結(jié)構(gòu)中，取代移動圖像數(shù)據(jù)，可在存儲器25內(nèi)建立多個存儲區(qū)(bank)并且可以通過切換這些存儲區(qū)來執(zhí)行移動操作。
在后面的相關(guān)的描述中，在時間t從場存儲器51-1輸出的視頻數(shù)據(jù)為場n，輸入到運動檢測電路26的加法器62-1的視頻數(shù)據(jù)是場n+1，從場存儲器51-2輸出的視頻數(shù)據(jù)為場n-1，以及從場存儲器51-3輸出的視頻數(shù)據(jù)為場n-2。
場景變化檢測電路61通過使用來自視頻信號解壓縮器23的場n+1的視頻數(shù)據(jù)以及來自場存儲器51-1的場n的視頻數(shù)據(jù)檢測場景變化。使用諸如比較場之間的直方圖的比較方法以及使用場差分的方法執(zhí)行場景變化檢測。檢查(判定)結(jié)果輸出到運動區(qū)域鑒別器63。
加法器62-1從視頻信號解壓縮器23輸出的場n+1的視頻數(shù)據(jù)中減去場存儲器51-2輸出的場n-1的視頻數(shù)據(jù)(后面，該相減值為幀差分a)并且將輸出送到運動區(qū)域鑒別器63。
從場存儲器51-1輸出的場n的視頻數(shù)據(jù)也從加法器62-2和延遲線64-1輸出。延遲線64-1將從場存儲器51-1直接得到的場n的特定行(設(shè)定為行m)前面的行(m-1)的視頻數(shù)據(jù)提供給加法器62-2。加法器62-2將場n的行m的視頻數(shù)據(jù)與行m-1的視頻數(shù)據(jù)相加并將該值輸出到乘法器65。乘法器65將該輸入值與0.5(1/2)相乘并且將該值輸出到加法器62-3。以這種方式，在場n中產(chǎn)生與場n-1中出現(xiàn)的行的視頻數(shù)據(jù)相同位置上出現(xiàn)的行的視頻數(shù)據(jù)。
加法器62-3從為場n所產(chǎn)生的行視頻數(shù)據(jù)中，減去位于場存儲器51-2輸出的場n-1的對應(yīng)位置上的行視頻數(shù)據(jù)，這樣計算場差分值并將該值輸出到運動區(qū)域鑒別器63。
從場存儲器51-1輸出的場n的視頻數(shù)據(jù)也輸入到加法器62-4。加法器62-4也被輸入延遲線64-1輸出的場n的視頻數(shù)據(jù)。加法器62-4從場n的行m的視頻數(shù)據(jù)(從場存儲器51-1輸出)減去場n的行m-1的視頻數(shù)據(jù)(從延遲線64-1輸出)以便計算行差分值并將該值輸出到運動區(qū)域鑒別器63。
從場存儲器51-3輸出的場n-2的視頻數(shù)據(jù)輸入到加法器62-5和延遲線64-2。例如當從場存儲器51-3提供給加法器62-4的行視頻數(shù)據(jù)為行m的視頻數(shù)據(jù)時，延遲線64-2進行與延遲線64-1相同的處理，接著將前面行m-1的視頻數(shù)據(jù)提供給加法器62-6。
加法器62-5從場存儲器51-3提供的場n-2的視頻數(shù)據(jù)中減去場n的視頻數(shù)據(jù)(從場存儲器51-1提供)以計算幀差分值(下文稱為幀差分c)，并且將該值輸出到運動區(qū)域鑒別器63。
加法器62-6從延遲線64-2提供的場n-2的視頻數(shù)據(jù)中減去場n的視頻數(shù)據(jù)(從延遲線64-1提供)以計算幀差分值(下文稱為幀差分b)，并且將該值輸出到運動區(qū)域鑒別器63。
運動區(qū)域鑒別器63使用各部分計算的值(輸入值)、與來自場景變化檢測電路61的場景變化相關(guān)的信息、以及與微計算機6的模式相關(guān)的信息，確定出現(xiàn)運動的區(qū)域并將結(jié)果輸出到孤立區(qū)域消除器66。該操作細節(jié)將在后面描述。由運動區(qū)域鑒別器63、孤立區(qū)域消除器66、運動區(qū)域擴展器67以及軟切換電路68執(zhí)行運動檢測。
圖3是表示運動區(qū)域鑒別器63的詳細視圖。與微計算機6(圖1)的模式相關(guān)的信息和與場景變化檢測電路61(圖2)輸出的場景變化相關(guān)的信息輸入到鑒別信息選擇器81。鑒別信息選擇器81根據(jù)所輸入的信息控制切換器81-1到81-4。從加法器62-3輸出的場差分值輸入到運動區(qū)域鑒別器63的絕對值電路83-1，計算絕對值并輸出到比較器84-1。從切換器85-1的輸出也輸入到比較器84-1。來自比較器84-1的比較結(jié)果輸出到切換器81-1的端子A。
以相同的方式，從加法器62-1輸出的幀差分值a通過絕對值電路83-2輸入到比較器84-2。從切換器85-2的輸出也輸入到比較器84-2。比較器84-2的輸出提供給切換器81-2的端子A。加法器62-6的輸出幀差分值b通過絕對值電路83-3輸入到比較器84-3。切換器85-3的輸出也輸入到比較器84-3。比較器84-3的輸出也提供給切換器81-3的端子A。此外，加法器62-5的輸出幀差分值c通過絕對值電路83-4輸入到比較器84-4。切換器85-4的輸出也輸入到比較器84-4。比較器84-4的輸出也提供給切換器81-4的端子A。
來自加法器62-4的行差分值通過絕對值電路83-5輸入到比較器84-5。比較器84-5比較行差分值與預(yù)定閾值，并根據(jù)比較結(jié)果控制切換器81-1到81-4。
供電電壓VCC(指定為值1)提供給切換器81-1到81-4的相應(yīng)B端子。另一個值(指定為值0)提供給切換器81-2到81-4的相應(yīng)C端子。切換器81-2到81-4的輸出輸入到“或”電路86，計算邏輯和并將結(jié)果提供給“與”電路87。“與”電路87計算切換器81-1的輸出值與“或”電路86的輸出值的邏輯積并輸出該結(jié)果作為一個運動區(qū)域判定檢查的結(jié)果。
下面參照圖4的流程圖描述運動檢測電路26的操作。在步驟S1獲得場差分。圖5示出在時間t輸入運動檢測電路26的場n+1、從場存儲器51-1輸出的場n、從場存儲器51-2輸出的場n-1、以及從場存儲器51-3輸出的場n-2的模擬位置關(guān)系。
如圖5所示，以交錯模式輸入視頻信號以便在鄰接場之間出現(xiàn)一行偏移。換言之，場n-2的最高位置處的行設(shè)定為行m，并且當下一行設(shè)定為m+1時，場n-1的最高位置處的行n位于行m和行m+1之間的中間位置。位于特定場的特定行的像素為像素A到F，如圖5所示。
若不考慮圖5的沿垂直方向的部分并且按照時間順序排列，換言之，若不考慮包含像素A到F的所有平面，就出現(xiàn)圖6所示的部分。為將視頻信號以交錯模式以這種方法輸入，例如，場n-1的像素A被置于位于場n的像素B和像素C之間。因此為在步驟S1計算場差分，如圖7所示實例，必須內(nèi)插位于場n的像素B和像素C之間的像素G的位置，以便計算場n對場n-1的場差分值。換言之，像素B和像素C相加，相加值的一半(平均)成為像素G的像素數(shù)據(jù)。
當存儲在場存儲器51-1的數(shù)據(jù)為場n時，在圖2示出的運動檢測電路中，存儲在場存儲器51-2的數(shù)據(jù)為場n-1。當此時從場存儲器51-1輸出像素C的數(shù)據(jù)時，從延遲線64-1輸出像素B的數(shù)據(jù)。因此，加法器62-2將像素B的數(shù)據(jù)和像素C的數(shù)據(jù)相加。將該求和數(shù)據(jù)輸入到乘法器65并與1/2相乘以便計算平均值并輸出到加法器62-3。從場存儲器51-2輸出的場n-1的像素A的數(shù)據(jù)也輸入到加法器62-3，并且從乘法器65輸出的像素B和像素C的平均值(像素G數(shù)據(jù))中減去像素A的輸入數(shù)據(jù)，以計算場差分值。
在對每個場內(nèi)出現(xiàn)的所有像素執(zhí)行該相同處理來計算場差分值之后，處理進入步驟S2并計算幀差分值。使用具有相同行陣列的場的像素數(shù)據(jù)計算幀差分值。換言之，如圖8所示計算場n-2和場n，場n-1和場n+1之間的相應(yīng)幀差分值。例如，在如圖2所示的運動檢測電路26中，當輸入場n+1的像素D數(shù)據(jù)時，從場存儲器51-2輸出場n-1的像素A的數(shù)據(jù)。像素A的數(shù)據(jù)和像素B的數(shù)據(jù)連續(xù)輸入加法器62-1。通過從像素A數(shù)據(jù)中減去像素D數(shù)據(jù)計算幀差分值a。
在該實施例，不僅僅是一個幀差分值，還使用位于已計算其幀差分值的像素(感興趣的像素)的行上面和下面的行內(nèi)的像素(像素B，C，E，F(xiàn)用于像素A，D)進一步計算幀差分值，并且在后面涉及的判定運動圖像區(qū)域中使用該值。這樣，如上所述，與使用像素A和像素D計算幀差分值的過程一起分別計算像素B和像素E、以及像素C對像素F的幀差分值。
當如上所述從場存儲器51-1輸出場n的像素C數(shù)據(jù)時，像素B數(shù)據(jù)從延遲線64-1輸出，以便使用像素B數(shù)據(jù)。定位來自場存儲器51-3的場n-2的像素F數(shù)據(jù)以對應(yīng)于此時的像素C。像素E數(shù)據(jù)從延遲線64-2輸出。分別計算來自像素B和像素E的幀差分值b，以及來自像素C和像素F的幀差分值c。
在步驟S2以這種方式計算幀差分值之后，接著在步驟S3檢測水平邊沿。通過得到行之間的差分值檢測水平邊沿，并且使用一個場內(nèi)出現(xiàn)的上和下相鄰像素數(shù)據(jù)。換言之，如圖9所示，例如，當檢測場n的邊緣時，得到像素B和像素C的差分。在圖2示出的運動檢測電路中，從場存儲器51-1輸出的場n的像素C數(shù)據(jù)，以及從延遲線64-1輸出的對應(yīng)于像素C數(shù)據(jù)的場n的像素B數(shù)據(jù)輸入到加法器62-4，并且通過從像素C數(shù)據(jù)減去像素B數(shù)據(jù)計算行差分值。
在以這種方式計算行差分值之后，處理進入步驟S4，并且通過使用步驟S1到S3計算的差分值由運動區(qū)域鑒別器63執(zhí)行運動區(qū)域判定。圖10是詳細表示步驟S4的運動區(qū)域判定處理的流程圖。首先在步驟S11，執(zhí)行運動區(qū)域鑒別器63的切換器85-1到85-4(圖3)的連接處理。圖11是表示切換器85的連接處理的流程圖。
在步驟S21，在比較器84-5，就行差分值(具有由絕對值電路83-5計算的絕對值)是否小于Edge_th1作出判斷。如果確定行差分值小于Edge_th1，則處理進入步驟S22，并且切換器85-1到85-4分別連接到端子A。通過連接到端子A的切換器85-1將場差分的閾值Field_th1提供給比較器84-1。以相同的方式，通過連接切換器85-2將幀差分a的閾值Frame_th1A提供給比較器84-2，通過連接切換器85-3將幀差分b的閾值Frame_th1B提供給比較器84-3，以及通過連接切換器85-4將幀差分c的閾值Frame_th1C提供給比較器84-4。
另一方面，當在步驟S21確定行差分值大于Edge_th1時，處理進入步驟S23并檢查行差分值是否大于Edge_th1并小于Edge_th2。當確定行差分大于Edge_th1并且還小于Edge_th2時，處理進入步驟S24并且切換器85-1到85-4分別連接到端子B。切換器85-1到85-4與相應(yīng)端子B的連接，將特定的閾值提供給比較器84-1到84-4。
當在步驟S23確定行差分值大于Edge_th2時，處理進入步驟S25并且切換器85-1到85-4分別連接到端子C。通過將切換器85-1到85-4連接到端子C將特定的閾值提供給比較器84-1到84-4。
這樣根據(jù)行差分值將切換器85-1到85-4連接到端子A到C中的一個。比較器84-1使用切換器85-1提供的閾值，比較已計算出其絕對值的場差分。表示場差分值較大的比較結(jié)果被認為是一個運動區(qū)域候選項并且將“1”輸出到切換器81-1的端子A。表示場差分值較小的比較結(jié)果被認為是一個靜止區(qū)域候選項并且將“0”輸出到切換器81-1的端子A。
以相同的方式，比較器84-2到84-4將分別輸入的幀差分值a到c，與相應(yīng)切換器85-1到85-4提供的閾值進行比較，并根據(jù)比較結(jié)果，將0或1輸出到相應(yīng)的切換器81-2到81-4的端子A。
以這種方式在步驟S11(圖10)進行切換器85連接，并且當輸出差分值和閾值的各比較結(jié)果時，在步驟S12進行切換器81-1到81-4的連接。圖12示出步驟S12內(nèi)的切換器81的連接處理的詳細操作流程圖。
在步驟S31，運動區(qū)域鑒別器63內(nèi)的鑒別信息選擇器81判定是否出現(xiàn)場差分模式。將設(shè)備模式和場景變化檢測結(jié)果輸入鑒別信息選擇器81。該設(shè)備模式是記錄/再現(xiàn)設(shè)備1的模式信息。例如，在記錄/再現(xiàn)設(shè)備1為DVD(數(shù)字視頻盤)播放機的情況下，則在查找時有效的視頻數(shù)據(jù)僅是間歇地輸入的。在該實施例中，正常重放期間的處理使用四個連續(xù)場的視頻信息。若假定間歇地輸入兩個連續(xù)場，就必須改變處理模式，以便在進行處理時僅使用兩個連續(xù)場的視頻信息。在這樣的情況下，只能使用場差分信息執(zhí)行運動區(qū)域鑒別。這種模式被稱為場差分模式。
當鑒別信息選擇器81在步驟S31確定出現(xiàn)場差分模式時，處理進入步驟S32并且切換器81-1連接到端子A，以及切換器81-2到81-4連接到端子B。接著，從相應(yīng)比較器84-1到84-4輸出的“1”或“0”提供給切換器81-1到81-4的端子A，并且將“1”提供給端子B。此外，將“0”提供給切換器81-2到81-4的端子C。
另一方面，當鑒別信息選擇器81在步驟S31確定未出現(xiàn)場差分模式時，處理進入步驟S33并且檢查是否出現(xiàn)場差分模式。除了從場景變化檢測器61提供場景變化信息之外，例如，可以將預(yù)先檢測的信息記錄在記錄介質(zhì)上并且在需要時加載。
當在步驟S33確定存在場景變化時，在步驟S34的處理中判定哪些場之間出現(xiàn)場景變化，并且根據(jù)這些結(jié)果進行處理。首先，在步驟S34就場n+1和場n之間是否出現(xiàn)場景變化進行判定。當在場n+1和場n之間出現(xiàn)場景變化時，操作進入步驟S35。如圖13所示，當確定場n+1和場n之間出現(xiàn)場景變化時，使用場n+1的像素D數(shù)據(jù)計算差分值，或者換言之，在鑒別運動區(qū)域中未使用幀差分值a的信息。換言之，僅使用從場差分值和幀差分值b和c得到的信息鑒別運動區(qū)域。
因此，在步驟S35，切換器81-1連接到端子A(來自場差分值的比較結(jié)果)，切換器81-2連接到端子C(由于未使用來自幀差分值a的信息所以為“0”)，并且切換器81-3和81-4連接到端子A(來自幀差分值b，c的比較結(jié)果)。
在步驟S34，就場n+1和場n之間是否出現(xiàn)場景變化進行檢查。在步驟S36就場n和場n-1之間是否出現(xiàn)場景變化進行檢查(或判定)。若當如圖14所示判定場n和場n-1之間出現(xiàn)場景變化時，處理進入步驟S37。若上述判斷判定在場n和場n-1之間未出現(xiàn)場景變化，則表示在場n和場n-1之間未出現(xiàn)相關(guān)性并且整個畫面被設(shè)定為運動區(qū)域。因此，當運動區(qū)域的確定與從場差分值和幀差分值a到c得到的比較結(jié)果無關(guān)時，切換器81-1到81-4分別連接到端子B，并且將“1”提供給“或”電路86和“與”電路87。
在步驟S36，當判定場n和場n-1之間未出現(xiàn)場景變化時，則如圖15所示，在場n-1和場n-2之間出場景變化?，F(xiàn)在處理進入步驟S38，切換器81-1、81-2連接端子A，并且切換器81-3、81-4連接端子C。進行這些連接，以便不使用從場n-2的像素E、F得到的信息。換言之，使得不使用從像素E和F計算的幀差分值b和幀差分值c得到的比較結(jié)果(從比較器84-3，84-4輸出的值)。因此，切換器81-3和84-4分別連接到端子C并且將“0”提供給“或”電路86。
當存在場景變化時，如上所述，根據(jù)出現(xiàn)場景變化的位置來選擇用于鑒別運動區(qū)域的差分值。然而，當在步驟S33確定未出現(xiàn)場景變化時，該狀態(tài)如圖6所示，要使用從像素A到像素F得到的所有信息鑒別運動區(qū)域。換言之，在步驟S39切換器81-1到81-4分別連接到端子A，以便使用閾值與幀差分值a到幀差分值c、以及從像素A到F計算的場差分值的比較結(jié)果鑒別運動區(qū)域。
當在步驟S12(圖10)將切換器81-1到81-4連接到端子A，端子B或端子C之中的一個端子時，處理進入步驟S13。在步驟S13，“或”電路86和“與”電路87從所輸入的數(shù)據(jù)得到相應(yīng)的邏輯和以及邏輯積?！盎颉彪娐?6計算切換器81-2到81-4提供的數(shù)據(jù)的邏輯和。這樣，在根據(jù)三個幀差分值a到c所得到的結(jié)果全為靜止的情況下，將輸出表示根據(jù)幀差分信息判定的結(jié)果為靜止的數(shù)據(jù)。
“與”電路87給出從場差分值(從切換器81-1輸出的結(jié)果)得到的運動區(qū)域結(jié)果和從幀差分值得到的運動區(qū)域結(jié)果(從“或”電路86輸出的結(jié)果)的積以獲得邏輯和，并且將最終運動區(qū)域鑒別結(jié)果輸出到運動區(qū)域鑒別器63。在從場差分值得到的運動區(qū)域結(jié)果和從幀差分值得到的運動區(qū)域結(jié)果均為運動區(qū)域(“1”)的情況下，將輸出表示運動區(qū)域鑒別結(jié)果為運動區(qū)域的“1”。
通過檢測運動范圍同時從諸如場景變化信息、水平邊緣信息、以及設(shè)備模式信息之類的視頻特性信息轉(zhuǎn)換所使用的場差分信息和幀差分信息，以這種方式可提高運動檢測準確度。
當在步驟S4(圖4)完成運動區(qū)域鑒別時，處理進入步驟S5并且通過孤立區(qū)域消除器66執(zhí)行孤立區(qū)域消除。這里，該孤立區(qū)域是在確定為一個靜止區(qū)域的區(qū)域內(nèi)出現(xiàn)的被確定為一個運動區(qū)域的區(qū)域。如圖16所示，甚至在像素a到d被確定為運動區(qū)域的情況下，當圍繞這些像素的像素被確定為一個靜止區(qū)域時，像素a到d全部被轉(zhuǎn)換為一個靜止區(qū)域，并且被認為是一個靜止區(qū)域。然而，運動區(qū)域到靜止區(qū)域的轉(zhuǎn)換被限定為一個特定大小范圍內(nèi)的運動區(qū)域。該孤立區(qū)域消除處理被用于減輕噪聲影響，或者換言之，消除由于噪聲被誤確定為運動區(qū)域的區(qū)域。
當在步驟S5完成孤立區(qū)域消除時，處理進入步驟S6并使用運動區(qū)域擴展器22開始運動區(qū)域的擴展處理。運動區(qū)域擴展是一種用于使位于被確定為運動區(qū)域的區(qū)域的兩個水平端的特定數(shù)目像素從靜止區(qū)域轉(zhuǎn)換為運動區(qū)域的處理。當在步驟S6完成運動區(qū)域擴展時，通過軟切換電路68在步驟S7執(zhí)行軟切換。軟切換提供一個用于平滑改變靜止區(qū)域和運動區(qū)域邊界的系數(shù)。當視頻處理器27使用來自運動檢測電路26的結(jié)果產(chǎn)生視頻信號時，運動檢測的結(jié)果被用作兩個場圖像的混合比，因此最好選擇實現(xiàn)數(shù)值平滑變化的諸如軟切換之類的方法。
參照圖17下面描述視頻處理器27進行的視頻處理。例如，當從場n和場n-1創(chuàng)建一個無運動的幀靜止圖像時，使用相鄰像素X，Y和Z的數(shù)據(jù)根據(jù)等式1計算圖像W數(shù)據(jù)。
W＝((Y+Z)/2)×md+X×(1-md)(等式1)在等式1中，X、Y、Z和W是像素X、Y、Z和W的相應(yīng)數(shù)據(jù)，并且md是運動檢測系數(shù)。運動檢測系數(shù)md是一個大于0且小于1的數(shù)值，并且為0時指示一個靜止區(qū)域，而為1時指示一個運動區(qū)域。
通過以這種方式計算像素W的數(shù)據(jù)，運動檢測系數(shù)md可以是允許獲得具有運動區(qū)域和靜止區(qū)域之間平滑邊界的圖像的平滑變化值，而不是僅具有1或0值。
當在步驟S7完成運動區(qū)域和靜止區(qū)域之間的軟切換時，結(jié)果被輸出到結(jié)果存儲器28(圖1)作為運動檢測結(jié)果，并被存儲。當視頻處理器27如上所述產(chǎn)生視頻信號時使用存儲在結(jié)果存儲器28的這些運動檢測結(jié)果。
參照圖18A到18C，下面描述步驟S5到S7的處理。這里，圖18A示出在步驟S5的孤立區(qū)域消除之后的行上的像素。四個運動區(qū)域像素位于中心，而靜止區(qū)域像素位于運動區(qū)域的兩側(cè)。當靜止圖像和運動區(qū)域出現(xiàn)時，在步驟S6擴展運動區(qū)域，狀態(tài)如圖18B所示。在圖18B所示的狀態(tài)中，位于四個運動區(qū)域像素的每端上的兩個靜止區(qū)域像素被重新轉(zhuǎn)換到運動區(qū)域。在圖18B的實例中，兩個像素被轉(zhuǎn)換到運動區(qū)域，然而，當然也可以轉(zhuǎn)換不同數(shù)目的像素。
當在步驟S7進一步執(zhí)行軟切換時，在圖18B所示狀態(tài)之后，得到圖18C所示的狀態(tài)。換言之，包括擴展運動區(qū)域的運動區(qū)域內(nèi)的像素的運動檢測系數(shù)全部為1，并且來自最接近該區(qū)域的這些靜止區(qū)域像素的運動檢測系數(shù)依次按步長變化，例如從0.75、0.5、到0.25變化。系數(shù)以步長變化的部分是進行軟切換的區(qū)域。除軟切換區(qū)域之外的靜止區(qū)域的運動檢測系數(shù)全部為零(0)。步長等變化的數(shù)值也可以設(shè)定為較小的數(shù)。
在上面的實施例中，作為一個實例，一個LPF(低通濾波器)可以用于輸入到運動檢測電路26的視頻信號以便減少噪聲。或者，一個LPF可以用于輸入到運動區(qū)域鑒別器63的幀差分值或場差分值以減少噪聲。
用于運動區(qū)域鑒別器63的鑒別信息選擇器81的信息不限于設(shè)備模式和場景變化檢測結(jié)果，并且也可以使用其他信息。然而，除上面實施例使用的幀差分值a到c之外，也可以使用其他差分值。例如，如圖19所示，分別使用像素H和像素J、像素I和像素K計算幀差分值，并將該值用于運動檢測。
此外，在圖3所示的運動區(qū)域鑒別器63中，比較器84-5使用兩個閾值，比較器84-1到84-4使用三個相應(yīng)的閾值以與輸入的差分值進行比較，然而，也可以使用更多的閾值進行比較。
上述處理序列也可以以硬件實現(xiàn)，然而，也可以使用軟件實現(xiàn)該處理。當使用軟件實現(xiàn)一序列處理時，包括該軟件的程序可以安裝在具有作為常規(guī)硬件的內(nèi)部記錄/再現(xiàn)設(shè)備1的計算機內(nèi)，或者可以將各種程序安裝在諸如能夠運行這些程序的通用計算機中。
參照圖20A到20C描述一個實例，在該實例中，為了運行如上所述的一序列程序，利用介質(zhì)將程序安裝在計算機中，以允許計算機運行程序。該實例中的計算機是一個通用計算機。
如圖20A所示，可以將預(yù)先安裝在計算機101內(nèi)的諸如硬盤102或半導體存儲器103之類的記錄介質(zhì)中的程序提供給用戶。
或者，如圖20B所示，可以提供作為軟件包暫時存儲或永久存儲在諸如軟盤111、CD-ROM(致密只讀盤存儲器)112、MO(磁光)盤113、DVD(數(shù)字多功能盤)114、磁盤115、半導體存儲器115之類的記錄介質(zhì)中的程序。
如圖20C進一步所示，可以將程序從下載站點121利用無線電波通過數(shù)字廣播衛(wèi)星122發(fā)送到個人計算機123，或利用電纜從諸如局域網(wǎng)或因特網(wǎng)之類的網(wǎng)絡(luò)131發(fā)送到個人計算機123，并且可以存儲在例如個人計算機123內(nèi)的硬盤上。
本文所稱的介質(zhì)是包括所有這些介質(zhì)的廣義概念。
本文中介質(zhì)所提供的程序所列出的步驟符合本文所列出的順序，并且不一定非得依據(jù)時序執(zhí)行處理，也可以并行或單獨地執(zhí)行處理。
權(quán)利要求
1.一種圖像處理裝置，包括存儲器裝置，用于存儲一個圖像信號；場差分計算裝置，用于從存儲在所述存儲器裝置的所述圖像信號計算場差分值；幀差分計算裝置，用于從存儲在所述存儲器裝置的所述圖像信號計算幀差分值；檢測裝置，用于使用所述場差分計算裝置計算的場差分值和所述幀差分計算裝置計算的幀差分值根據(jù)所述圖像信號檢測該圖像的運動區(qū)域。
2.如權(quán)利要求1所述的圖像處理裝置，其中所述幀差分計算裝置計算目標像素的幀差分值、和位于所述目標像素上面和下面的行中至少一行上的另一個像素組的幀差分值，和所述檢測裝置使用所述幀差分計算裝置計算的兩個或多個幀差分值和所述場差分值根據(jù)所述圖像信號檢測該圖像的運動區(qū)域。
3.如權(quán)利要求1所述的圖像處理裝置，進一步包括提取裝置，用于根據(jù)所述圖像信號提取圖像邊緣；設(shè)定裝置，用于根據(jù)所述提取裝置提取的邊緣信息設(shè)定閾值；比較裝置，用于將所述設(shè)定裝置設(shè)定的閾值分別與所述場差分值和所述幀差分值進行比較；和輸出裝置，用于根據(jù)場景變化輸出所述比較裝置的比較結(jié)果或特定的預(yù)定值，其中所述檢測裝置通過計算所述輸出裝置輸出的結(jié)果的邏輯積和邏輯和根據(jù)所述圖像信號檢測該圖像的運動區(qū)域。
4.一種圖像處理方法，包括步驟存儲一個圖像信號；從所述存儲的圖像信號計算場差分值；從所述存儲的圖像信號計算幀差分值；使用所述計算的場差分值和所述計算的幀差分值根據(jù)所述圖像信號檢測該圖像的運動區(qū)域。
5.如權(quán)利要求4所述的圖像處理方法，其中所述幀差分計算步驟計算目標像素的幀差分值、和位于定位在所述目標像素上面和下面的行中至少一行上的另一個像素組的幀差分值，和所述檢測步驟使用所述計算的兩個或多個幀差分值和所述場差分值根據(jù)所述圖像信號檢測該圖像的運動區(qū)域。
6.如權(quán)利要求4所述的圖像處理方法，進一步包括步驟根據(jù)所述圖像信號提取該圖像邊緣；根據(jù)所述提取邊緣設(shè)定閾值；將所述設(shè)定的閾值分別與所述場差分值和所述幀差分值進行比較；和根據(jù)場景變化輸出所述比較結(jié)果或特定的預(yù)定值。
7.一種用于在計算機中運行程序的介質(zhì)，包括步驟存儲一個圖像信號；從所述存儲的圖像信號計算場差分值；從所述存儲的圖像信號計算幀差分值；和使用所述計算的場差分值和所述計算的幀差分值根據(jù)所述圖像信號檢測該圖像的運動區(qū)域。
8.如權(quán)利要求7所述的介質(zhì)，其中所述幀差分計算步驟計算目標像素的幀差分值、和位于所述目標像素上面和下面的行中至少一行上的另一個像素組的幀差分值，和所述檢測步驟使用所述計算的兩個或多個幀差分值和所述場差分值根據(jù)所述圖像信號檢測該圖像的運動區(qū)域。
9.如權(quán)利要求7所述的介質(zhì)，進一步包括步驟根據(jù)所述圖像信號提取圖像邊緣；根據(jù)所述提取邊緣設(shè)定閾值；將所述設(shè)定的閾值分別與所述場差分值和所述幀差分值進行比較；和根據(jù)場景變化輸出所述比較結(jié)果或特定的預(yù)定值。
全文摘要
本發(fā)明的目的是提高運動檢測準確度。運動檢測電路的運動區(qū)域鑒別器使用場差分值和三個幀差分值a到c來檢測一個運動區(qū)域同時還考慮場景變化,設(shè)備模式信息和行差分值。使用由所計算的幀差分值a的像素所在行的上面和下面的行上的像素來計算幀差分值b和c?；×^(qū)域消除器檢測由靜止區(qū)域包圍的運動區(qū)域,并將該運動區(qū)域轉(zhuǎn)換為靜止區(qū)域。運動區(qū)域擴展器將與確定為運動區(qū)域的區(qū)域相鄰的靜止區(qū)域的特定數(shù)目像素轉(zhuǎn)換到運動區(qū)域。
文檔編號G06T7/20GK1275859SQ00120020
公開日2000年12月6日 申請日期2000年6月1日 優(yōu)先權(quán)日1999年6月1日
發(fā)明者宮田勝成, 太田正志, 濱田敏道 申請人:索尼公司