專利名稱：視頻處理裝置以及插補幀生成方法
技術(shù)領(lǐng)域：
本發(fā)明涉及生成輸入視頻的幀間的插補幀的視頻處理裝置以及插補幀生成方法。
背景技術(shù)：
近年，在電視機等視頻處理裝置中，一般在輸入視頻的幀間插入插補幀來輸出。這樣，通過以相對于所輸入的幀率高的幀率輸出，可以提供平滑的、模糊少的動畫。一般根據(jù)輸入視頻的連續(xù)的幀間的差異推定幀間的運動矢量，根據(jù)該運動矢量和前后的幀來生成要插入的插補幀(例如專利文獻I :日本特開2008-245135號公報、專利文獻2 : 日本特開2010-278760 號公報)。為了生成插補幀的各像素，前提是存在與插補源的幀相應的像素。因此，在與插補源的幀相應的像素不存在的情況下，插補的精度降低，因此，對于該視頻的視聽者來說會生成有不適感的幀。其顯著地表現(xiàn)在畫面端(畫面的端部)。即，當物體在畫面端運動時，有時在插補幀的前后幀的一方中物體淡入或淡出，到達畫面外，原像素變得不存在于畫面上。假如直接將畫面外的像素用在插補源中，則一般由于通常的視頻數(shù)據(jù)不存在于畫面外，因此發(fā)生插補錯誤。因此，在專利文獻I中，為了在插補源中不使用畫面外的像素，在畫面端在插補源中僅使用前后的幀的一方的像素。即，如圖I所示，不使用虛線所示的運動矢量指向畫面外的像素的后幀If的像素，僅使用指向畫面內(nèi)的像素的前幀Of的像素。在該方法中，在運動矢量的檢測精度沒有升高的情況下，在使用兩個幀生成的插補像素和僅使用I幀生成的插補像素的邊界發(fā)生急劇的變化，因此，該視頻的視聽者產(chǎn)生不適感的風險升高。

發(fā)明內(nèi)容
為了解決這種問題而提出本發(fā)明，其目的在于提供一種即使在畫面端也可以高精度地進行插補的視頻處理裝置以及插補幀生成方法。為了解決所述問題，本發(fā)明的實施方式的視頻處理裝置，具備輸入輸入信號的輸入部(101);使通過所述輸入部(101)輸入的輸入信號進行巾貞延遲后作為延遲輸入信號而輸出的巾貞存儲器(102);基于通過所述輸入部(101)輸入的輸入信號和所述延遲輸入信號檢測幀間的運動矢量的運動矢量檢測部(103);檢測成為通過所述輸入部(101)輸入的輸入信號的畫面端的像素的畫面端檢測部(104);以及基于通過所述運動矢量檢測部(103)檢測出的運動矢量和通過所述畫面端檢測部(104)檢測出的畫面端的像素，根據(jù)通過所述輸入部(101)輸入的輸入信號和所述延遲輸入信號來生成插補巾貞的插補巾貞生成部(106,106’ ),所述插補幀生成部(106，106’)，當所述運動矢量指向所述畫面端的像素外側(cè)的像素時，使用所述畫面端的像素或所述畫面端的像素內(nèi)側(cè)的像素，生成所述插補幀。還具備畫面端矢量控制部(105)，其當通過所述運動矢量檢測部(103)檢測出的運動矢量指向通過所述畫面端檢測部(104)檢測出的畫面端外側(cè)的像素時，控制所述運動矢量，以使所述運動矢量指向所述畫面端的像素或所述畫面端的像素內(nèi)側(cè)的像素，所述插補幀生成部(106，106’)，可以基于通過所述畫面端矢量控制部(105)控制后的運動矢量，使用所述畫面端的像素或所述畫面端的像素內(nèi)側(cè)的像素來生成所述插補幀。所述畫面端檢測部(104)，可以將所述輸入信號的有效像素區(qū)域的上下以及左右端的像素、或從所述輸入信號的有效像素區(qū)域的上下以及左右端向內(nèi)側(cè)移動任意像素數(shù)后的各像素作為所述畫面端的像素來檢測。還具備黑區(qū)域檢測部(108)，其檢測所述輸入信號的有效像素區(qū)域內(nèi)的黑區(qū)域，所述畫面端檢測部(104)可以將通過所述黑區(qū)域檢測部(108)檢測出的黑區(qū)域內(nèi)側(cè)的像素作為所述畫面端的像素來檢測。還可以具備插補比例控制部(109)，其根據(jù)通過所述運動矢量檢測部(103)檢測出的運動矢量和通過所述畫面端檢測部(104)檢測出的畫面端的像素，控制插補源的幀的使用比例，即插補比例。
所述插補比例控制部(109)，可以根據(jù)通過所述畫面端檢測部(104)檢測出的畫面端的像素和所述運動矢量所指的畫面端像素外側(cè)的像素的距離來控制所述插補比例。所述插補比例控制部(109)，可以根據(jù)所述運動矢量的矢量量來控制所述插補比例。所述插補比例控制部(109)，可以根據(jù)所述運動矢量的檢測中的正確度或信用度來控制所述插補比例。為了解決所述課題，本發(fā)明的實施方式的插補幀生成方法具備以下步驟輸入部
(101)輸入輸入信號的輸入步驟；使通過所述輸入部(101)輸入的輸入信號進行幀延遲后作為延遲輸入信號而輸出的延遲步驟；基于通過所述輸入部(101)輸入的輸入信號和所述延遲輸入信號檢測幀間的運動矢量的運動矢量檢測步驟；檢測成為通過所述輸入部(101)輸入的輸入信號的畫面端的像素的畫面端檢測步驟；以及基于在所述運動矢量檢測步驟中檢測出的運動矢量和在所述畫面端檢測步驟中檢測出的畫面端的像素，根據(jù)通過所述輸入部輸入的輸入信號和所述延遲輸入信號生成插補幀的插補幀生成步驟，在所述插補幀生成步驟中，當所述運動矢量指向所述畫面端的像素外側(cè)的像素時，使用所述畫面端的像素或所述畫面端的像素內(nèi)側(cè)的像素生成所述插補幀。根據(jù)本發(fā)明，在運動矢量指向畫面端外側(cè)時進行控制，以使該運動矢量指向畫面端，因此能夠提供即使在畫面端也可以高精度地進行插補的視頻處理裝置以及插補幀生成方法。


圖I是表示現(xiàn)有技術(shù)中的插補幀的生成處理的圖。圖2是本發(fā)明的第一實施方式中的視頻處理裝置的結(jié)構(gòu)圖。圖3是表示本發(fā)明的第一實施方式中的插補幀的生成處理的圖。圖4是表示本發(fā)明的第一實施方式中的畫面端的像素和畫面外的像素的相關(guān)的圖。圖5是本發(fā)明的第二實施方式中的視頻處理裝置的結(jié)構(gòu)圖。圖6是本發(fā)明的第三實施方式中的視頻處理裝置的結(jié)構(gòu)圖。圖7是用于說明本發(fā)明的第三實施方式中的黑區(qū)域的圖。
圖8是本發(fā)明的第四實施方式中的視頻處理裝置的結(jié)構(gòu)圖。圖9是表示本發(fā)明的第四實施方式中的插補幀的生成處理的圖。
具體實施例方式以下，參照附圖詳細說明本發(fā)明的實施方式。(第一實施方式)圖2是第一實施方式中的視頻處理裝置的結(jié)構(gòu)圖。該視頻處理裝置是在輸入信號的幀間插入插補幀來輸出的電視機等，如圖2所示，具備輸入部101、幀存儲器102、運動矢量檢測部103、畫面端檢測部104、插補幀生成部106和輸出部107。輸入部101輸入視頻等輸入信號。幀存儲器102使通過輸入部101輸入的輸入信號延遲I個或多個幀后作為延遲輸入信號來輸出。運動矢量檢測部103根據(jù)通過輸入部 101輸入的輸入信號和通過幀存儲器102進行幀延遲后的信號檢測幀間的運動矢量。畫面端檢測部104檢測通過輸入部101輸入的輸入信號的畫面端。插補幀生成部106根據(jù)通過運動矢量檢測部103檢測出的運動矢量和通過畫面端檢測部104檢測出的畫面端生成幀間的插補巾貞，將生成的插補巾貞適當?shù)夭迦胼斎胄盘柕母鹘碡戦g。輸出部107輸出在構(gòu)成輸入信號的各幀間適當?shù)夭迦肓送ㄟ^插補幀生成部106生成的插補幀后的輸出信號。在此，畫面端檢測部104假定基本上，將輸入信號的有效像素區(qū)域的上下以及左右端，作為成為畫面端的像素(或位置)來檢測。但是，根據(jù)輸入信號，有時即使在有效像素區(qū)域內(nèi)，黑色也進入畫面端的幾個像素中。為了與這種輸入信號相對應，也可以將從有效像素區(qū)域的上下以及左右端的像素(有效像素區(qū)域端)向內(nèi)側(cè)任意像素數(shù)(有效像素區(qū)域內(nèi))的像素作為畫面端來檢測。即，所謂“畫面端”，是畫面的端部，具體來說，表示有效像素區(qū)域的上下以及左右端的像素、或者從有效像素區(qū)域的上下以及左右端起內(nèi)側(cè)任意像素數(shù)的像素。以下，使用圖3具體說明本實施方式中的插補幀生成部106的插補幀的生成處理。在圖3中將通過幀存儲器102延遲并輸入到插補幀生成部106的延遲輸入信號設(shè)為前幀Of0另外，將輸入到插補幀生成部106的當前輸入信號設(shè)為后幀If。而且，將插補幀生成部106根據(jù)前幀Of和后幀If生成的插補幀設(shè)為插補f。在此，設(shè)想物體在畫面端運動的情況。并且，表示了插補幀(插補f)的前幀Of和后幀If中，在后幀If中物體淡出而到達畫面外，源像素不存在于畫面上的情況。一個矩形對應于一個像素。在圖3中以虛線表示從前幀Of和后幀If檢測出的運動矢量。前幀Of中的像素19移動到后幀If中的像素19的位置。插補f中的插補像素19’由前幀Of中的像素19和后幀If中的像素19生成，位于前幀Of中的像素19的位置和后幀If中的像素19的位置的中間。前幀Of中的像素IlO移動到后幀If中的像素IlO的位置。如圖3所示，后幀If中的像素Iio位于畫面外。在這種情況下，當生成插補f中的像素110’時，后幀If中的像素IlO為畫面外像素，因此產(chǎn)生要使用的像素不存在的問題。圖4表示在運動矢量指向畫面外的后幀If中，畫面端的像素和運動矢量所指的畫面外的像素的相關(guān)。S卩，后幀If的畫面內(nèi)最外端的像素19和畫面外的4個像素IlO 113，根據(jù)互相的距離，相關(guān)由大變小。在本實施方式中，當運動矢量指向畫面外的4個像素Iio 113時，以全部使用畫面內(nèi)最外端的像素19的方式進行分配。將這樣為了使用畫面內(nèi)最外端的像素19而分配的區(qū)域稱為“特別處理區(qū)域”。另外，將未分配的進行通常處理的區(qū)域稱為“通常處理區(qū)域”。成為特別處理區(qū)域的插補像素的插補源的像素，可以使用畫面端的像素(畫面內(nèi)最外端的像素)，也可以使用畫面端的像素內(nèi)側(cè)的像素。畫面端的像素，與畫面外的像素的相關(guān)在畫面內(nèi)的像素中最高，因此優(yōu)選作為插補源的像素。當畫面端一帶的運動矢量恒定的情況下，如圖3所示，在前幀Of中，成為插補f的特別處理區(qū)域的各像素110’ 113’的插補源的像素IlO 113的運動矢量指向插補f的畫面內(nèi)，因此，通過與通常處理同樣的方法在插補源中采用基于運動矢量的像素。另一方面，在后幀If中，成為基于運動矢量的插補源的像素Iio 113存在于畫面外，因此，在插補源中分別采用畫面端的像素或其內(nèi)側(cè)的像素(在本實施方式中為像素19)。一般來說，位于畫面外的像素IlO 113與畫面端的像素19在畫面內(nèi)的像素中相關(guān)最高，因此，通過在插補源中采用畫面端的像素19，在通常處理區(qū)域和特別處理區(qū)域的邊界，處理的差異變小。隨著接近插補f的畫面端的像素113’，各像素的本來的插補源所在的像素與畫面端的像素的距離慢慢變遠，因此相關(guān)減小。但是，該變化是分階段的變化，不是急劇的變化， 并且，關(guān)于作為插補源而使用的一方的前幀Of，使用基于本來的運動矢量的畫面內(nèi)的插補像素，因此，在通常處理區(qū)域和特別處理區(qū)域的邊界難以發(fā)生急劇的變化。由此，對于視聽者來說得到不適感少的插補結(jié)果。如上所述，根據(jù)第一實施方式中的視頻處理裝置，當運動矢量指向畫面端外側(cè)時，進行控制以便使用畫面端的像素或畫面端的像素內(nèi)側(cè)的像素作為插補源，因此，即使在畫面端也可以高精度地進行插補。(第二實施方式)圖5是第二實施方式中的視頻處理裝置的結(jié)構(gòu)圖。該視頻處理裝置基本上與第一實施方式相同，但是具備控制通過運動矢量檢測部103檢測出的運動矢量的畫面端矢量控制部105。具體來說,畫面端矢量控制部105,當通過運動矢量檢測部103檢測出的運動矢量指向通過畫面端檢測部104檢測出的畫面端外側(cè)時進行控制，以使該運動矢量指向畫面端的像素或畫面端的像素內(nèi)側(cè)的像素。由此，插補幀生成部106’基于通過畫面端矢量控制部105控制后的運動矢量，使用畫面端的像素或畫面端的像素內(nèi)側(cè)的像素生成插補幀。此外，畫面端矢量控制部105，當運動矢量指向畫面內(nèi)的像素時不特別進行處理。如上所述，根據(jù)第二實施方式中的視頻處理裝置，當運動矢量指向畫面端外側(cè)時進行控制，以使該運動矢量指向畫面端的像素或畫面端的像素內(nèi)側(cè)的像素，因此，即使在畫面端也可以高精度地進行插補。(第三實施方式)圖6是第三實施方式中的視頻處理裝置的結(jié)構(gòu)圖。該視頻處理裝置基本上與第一實施方式相同，但是具備檢測輸入信號的有效像素區(qū)域內(nèi)的黑區(qū)域(由黑色占據(jù)的區(qū)域)的黑區(qū)域檢測部108。另外，畫面端檢測部104b將通過黑區(qū)域檢測部108檢測出的黑區(qū)域視為畫面外，將黑區(qū)域內(nèi)側(cè)的像素作為畫面端像素來檢測。具體來說，如圖7所示，黑區(qū)域檢測部108，當在有效像素區(qū)域內(nèi)的上下以及左右端檢測出黑區(qū)域時，將該黑區(qū)域視為畫面外。例如，有時在電影等視頻中畫面的上下被切除。另外，在以16 9的寬聞比顯不的顯不器中觀看以4 3的寬聞比生成的視頻時，有時該視頻的左右被切除。在這種情況下，如圖7所示，可以匹配被切除的區(qū)域來設(shè)定畫面端E1。如上所述，在第三實施方式中的視頻處理裝置中，將輸入信號的有效像素區(qū)域內(nèi)的黑區(qū)域內(nèi)側(cè)作為畫面端來檢測，因此，在插補中不使用該黑區(qū)域的像素。由此，當有效像素區(qū)域內(nèi)存在黑區(qū)域時，在畫面端也可以高精度地進行插補。(第四實施方式)圖8是第四實施方式中的視頻處理裝置的結(jié)構(gòu)圖。該視頻處理裝置基本上與第一實施方式相同，但是如圖8所示，具備基于通過運動矢量檢測部103檢測出的運動矢量和通過畫面端檢測部104b檢測出的畫面端來控制插補比例的插補比例控制部109。所謂插補比例，是插補源的幀的使用比例，換言之，是生成插補像素時的兩個像素的使用比例。插補幀生成部106’根據(jù)來自插補比例控制部109的插補比例生成插補中貞。
以下，具體說明本實施方式中的插補幀的生成處理。即，相關(guān)越大，插補的可靠度越高，因此，相關(guān)大的像素，在插補中以與通常處理相同程度的比例來采用，相關(guān)低的像素，在插補中降低比例來采用。圖9表示具體例。在此也與圖4相同，后幀If的畫面內(nèi)最外端的像素115和畫面外的4個像素116 119根據(jù)互相的距離，相關(guān)從大變小。即，在運動矢量指向靠近畫面端的畫面外的像素(例如116)的情況下，運動矢量所指的畫面外的像素116和畫面端的像素115的相關(guān)大。因此，在這種情況下以接近通常處理的比例使用前幀Of和后幀If來進行插補。在本實施方式中，成為插補源的前幀Of的像素和后幀If的像素的混合比例為I對I地生成通常處理的插補像素。另一方面，當運動矢量指向離畫面端遠的畫面外的像素(例如119)時，運動矢量所指的畫面外的像素119和畫面端的像素115的相關(guān)小。因此，在這種情況下，將運動矢量指向畫面外的后幀If的比例比前幀Of的比例降低來進行插補。這樣，若運動矢量本來所指的畫面外的像素和畫面端的像素的距離越遠，則認為相關(guān)越小。并且，將認為相關(guān)小的幀的使用比例，相對于另一方的幀的插補比例降低。如上所述，在第四實施方式中的視頻處理裝置中，根據(jù)運動矢量和畫面端來控制插補比例。由此，相關(guān)高的像素的使用比例升高，相關(guān)低的像素的使用比例降低，因此能夠在抑制可靠度低的像素的使用的同時使其分階段地變化。在此，根據(jù)畫面端的像素和運動矢量所指的畫面外的像素的距離來控制插補比例，但是插補比例的控制方法不限于此。即，插補比例控制部109可以根據(jù)運動矢量的矢量量來控制插補比例。在這種情況下，若矢量量越大，認為相關(guān)越小，則可以獲得與所述相同的效果?；蛘撸部梢愿鶕?jù)運動矢量的檢測中的正確度或信用度來控制插補比例。在這種情況下，若正確度或信用度越低，認為相關(guān)越小，則可以獲得與所述相同的效果。
權(quán)利要求
1.一種視頻處理裝置，其特征在于， 具備輸入輸入信號的輸入部； 使通過所述輸入部輸入的輸入信號進行幀延遲后作為延遲輸入信號而輸出的幀存儲器； 基于通過所述輸入部輸入的輸入信號和所述延遲輸入信號檢測幀間的運動矢量的運動矢量檢測部； 檢測成為通過所述輸入部輸入的輸入信號的畫面端的像素的畫面端檢測部；以及 基于通過所述運動矢量檢測部檢測出的運動矢量和通過所述畫面端檢測部檢測出的畫面端的像素，根據(jù)通過所述輸入部輸入的輸入信號和所述延遲輸入信號生成插補幀的插補幀生成部， 所述插補幀生成部，當所述運動矢量指向所述畫面端的像素外側(cè)的像素時，使用所述畫面端的像素或所述畫面端的像素內(nèi)側(cè)的像素，生成所述插補幀。
2.根據(jù)權(quán)利要求I所述的視頻處理裝置，其特征在于， 還具備畫面端矢量控制部，其當通過所述運動矢量檢測部檢測出的運動矢量指向通過所述畫面端檢測部檢測出的畫面端外側(cè)的像素時，控制所述運動矢量，以使所述運動矢量指向所述畫面端的像素或所述畫面端的像素內(nèi)側(cè)的像素， 所述插補幀生成部基于通過所述畫面端矢量控制部控制后的運動矢量，使用所述畫面端的像素或所述畫面端的像素內(nèi)側(cè)的像素，生成所述插補幀。
3.根據(jù)權(quán)利要求I所述的視頻處理裝置，其特征在于， 所述畫面端檢測部將所述輸入信號的有效像素區(qū)域的上下以及左右端的像素、或從所述輸入信號的有效像素區(qū)域的上下以及左右端向內(nèi)側(cè)移動任意像素數(shù)后的各像素作為所述畫面端的像素來檢測。
4.根據(jù)權(quán)利要求I所述的視頻處理裝置，其特征在于， 還具備黑區(qū)域檢測部，其檢測所述輸入信號的有效像素區(qū)域內(nèi)的黑區(qū)域， 所述畫面端檢測部將通過所述黑區(qū)域檢測部檢測出的黑區(qū)域內(nèi)側(cè)的像素作為所述畫面端的像素來檢測。
5.根據(jù)權(quán)利要求I所述的視頻處理裝置，其特征在于， 還具備插補比例控制部，其根據(jù)通過所述運動矢量檢測部檢測出的運動矢量和通過所述畫面端檢測部檢測出的畫面端的像素，控制插補源的幀的使用比例，即插補比例。
6.根據(jù)權(quán)利要求5所述的視頻處理裝置，其特征在于， 所述插補比例控制部根據(jù)通過所述畫面端檢測部檢測出的畫面端的像素和所述運動矢量所指的畫面端像素外側(cè)的像素的距離來控制所述插補比例。
7.根據(jù)權(quán)利要求5所述的視頻處理裝置，其特征在于， 所述插補比例控制部根據(jù)所述運動矢量的矢量量來控制所述插補比例。
8.根據(jù)權(quán)利要求5所述的視頻處理裝置，其特征在于， 所述插補比例控制部根據(jù)所述運動矢量的檢測中的正確度或信用度來控制所述插補比例。
9.一種插補幀生成方法，其特征在于， 具備以下步驟輸入部輸入輸入信號的輸入步驟； 使通過所述輸入部輸入的輸入信號進行幀延遲后作為延遲輸入信號而輸出的延遲步驟； 基于通過所述輸入部輸入的輸入信號和所述延遲輸入信號檢測幀間的運動矢量的運動矢量檢測步驟； 檢測成為通過所述輸入部輸入的輸入信號的畫面端的像素的畫面端檢測步驟；以及基于在所述運動矢量檢測步驟中檢測出的運動矢量和在所述畫面端檢測步驟中檢測出的畫面端的像素，根據(jù)通過所述輸入部輸入的輸入信號和所述延遲輸入信號生成插補幀的插補幀生成步驟， 在所述插補幀生成步驟中，當所述運動矢量指向所述畫面端的像素外側(cè)的像素時，使用所述畫面端的像素或所述畫面端的像素內(nèi)側(cè)的像素生成所述插補幀。
全文摘要
本發(fā)明提供一種視頻處理裝置以及插補幀生成方法。視頻處理裝置具有輸入部、幀存儲器、運動矢量檢測部、畫面端檢測部、插補幀生成部。輸入部輸入輸入信號。幀存儲器使輸入信號進行幀延遲后作為延遲輸入信號而輸出。運動矢量檢測部基于輸入信號和延遲輸入信號來檢測幀間的運動矢量。畫面端檢測部檢測成為輸入信號的畫面端的像素。插補幀生成部基于運動矢量和畫面端的像素，根據(jù)輸入信號和延遲輸入信號生成插補幀。插補幀生成部，當運動幀指向畫面端的像素外側(cè)的像素時，使用畫面端的像素或畫面端的像素內(nèi)側(cè)的像素來生成插補幀。
文檔編號H04N7/01GK102811333SQ20121017512
公開日2012年12月5日 申請日期2012年5月30日 優(yōu)先權(quán)日2011年5月30日
發(fā)明者吉田篤史, 相羽英樹 申請人:Jvc建伍株式會社