圖像處理方法、圖像處理系統(tǒng)、以及計算機程序的制作方法

文檔序號：7705921閱讀：121來源：國知局

專利名稱：圖像處理方法、圖像處理系統(tǒng)、以及計算機程序的制作方法
技術領域：
本發(fā)明涉及對動態(tài)圖像進行圖像處理的方法、進行動態(tài)圖像的圖像處理的圖像處理系統(tǒng)、以及用來進行動態(tài)圖像的圖像處理的計算機程序。
背景技術：
近年來，可以欣賞高清晰圖像的高分辨率且大屏幕的液晶顯示裝置、等離子體顯示裝置已經(jīng)普及。由此，對圖像的質量的要求也越來越高，其中一個要求是臨場感、遠近感(距離感)。而通過提高立體感、縱深感，可以提高臨場感。
例如，焦點位于屏幕整體上的照片缺乏距離感、立體感。于是，在現(xiàn)有技術中，為了使使用影像拍攝裝置拍攝的照片(靜態(tài)圖像)有距離感、立體感，提出了對照片進行模糊處理(散焦處理)的方法(例
如，專利文獻l:日本專利申請公開H10-233919號公報、專利文獻2: 曰本專利申請公開2005-229198號公報)。
在專利文獻l中描述了使用焦點條件不同的兩個圖像，從圖像中抽出主要部分和背景，對主要部分的圖像進行銳化處理，并且對背景進行模糊處理的圖像處理裝置。
在專利文獻2中描述了使用照明光量不同的兩個圖像，從圖像中抽出拍攝對象和背景，對拍攝對象及背景中的至少一方進行模糊處理的圖^f象處理方法。

發(fā)明內容
在專利文獻1 、 2中描述的圖像處理技術為關于靜態(tài)圖像的技術，而不是關于提高動態(tài)圖像的臨場感、縱深感的技術。于是，本發(fā)明的實施方式的目的之一在于提供一種圖像處理方法，通過該圖像處理方法，可以在二維圖像顯示用顯示裝置上制造提高了立體感、縱深感的動態(tài)圖像。
另外，本發(fā)明的實施方式的另一目的在于提供一種可以制造提高了立體感、縱深感的動態(tài)圖像的圖像處理系統(tǒng)。
另外，本發(fā)明的實施方式的另一目的在于提供一種用來實現(xiàn)制造提高了立體感、縱深感的動態(tài)圖像的圖像處理方法的計算機程序。
本發(fā)明的圖像處理方法的結構例子之一為如下為了對由多個幀圖像構成的動態(tài)圖像進行圖像處理，將至少一個幀圖像分成由制造移
背景區(qū)域，并且對背景區(qū)域進行圖像處理，來從幀圖像制造校正幀圖像。在該結構例子中，對背景區(qū)域進行的圖像處理為對背景區(qū)域進行的模糊效果隨著移動體區(qū)域在幀圖像中所占的比例增大而增強的模糊處理。
另外，在本發(fā)明的圖像處理方法的另一結構例子中，由于將校正對象的幀圖像分成移動體區(qū)域和移動體區(qū)域以外的背景區(qū)域，所以根據(jù)成為校正對象的第一幀圖像和第一幀圖像的k幀前(k為自然數(shù)) 的第二幀圖像的差值、以及第一幀圖像和第一幀圖像的k幀后的第三幀圖像的差值，從笫一幀圖像中抽出制造移動體的像素，而可以制造由移動體區(qū)域和背景區(qū)域構成的掩模圖像，所述移動體區(qū)域由制造移
動體的像素組構成，所述背景區(qū)域由不制造移動體的像素組構成。在該結構例子中，使用該掩模圖像判定第一幀圖像的各個像素是包含在背景區(qū)域中還是包含在移動體區(qū)域中。
另外，在上述圖像處理方法的各個結構例子中，也可以對移動體區(qū)域進行與對背景區(qū)域進行的圖像處理不同的圖像處理。
本發(fā)明的圖像處理系統(tǒng)的結構例子之一具有顯示由多個幀圖像構成的動態(tài)圖像的圖像顯示部；從至少一個幀圖像中抽出移動體，將
動體的像素組構成的背景區(qū)域的移動體抽出部:以及對背景區(qū)域進行模糊處理，而制造校正幀圖像的校正幀圖像制造部。在該結構中，校正幀圖像制造部為這樣一種裝置，其進行隨著移動體區(qū)域在幀圖像中所占的比例增高而增強對背景區(qū)域進行的模糊效果的模糊處理。
本發(fā)明的圖像處理系統(tǒng)的其他結構例子之一具有顯示由多個幀
圖像構成的動態(tài)圖像的圖像顯示部；根據(jù)成為校正對象的第一幀圖像
和第一幀圖像的k幀前(k為自然數(shù))的第二幀圖像的差值、以及第
一幀圖像和第一幀圖像的k幀后的第三幀圖像的差值，從第一幀圖像
中抽出制造移動體的像素，并且制造由移動體區(qū)域和背景區(qū)域構成的
掩模圖像的掩模圖像制造部，所述移動體區(qū)域由制造移動體的像素組
構成，所述背景區(qū)域由不制造移動體的像素組構成；以及使用掩模圖
像判定制造第一幀圖像的各個像素是包含在背景區(qū)域中還是包含在移動體區(qū)域中，并且對背景區(qū)域的像素進行模糊處理，而制造校正幀
圖像的校正幀圖像制造部。
在上述結構例子中，校正幀圖像制造部為這樣一種裝置，其進行隨著移動體區(qū)域在第一幀圖像中所占的比例增大而增強對背景區(qū)域進行的模糊效果的模糊處理。
另外，在圖像處理系統(tǒng)的各個結構例子中，也可以在校正幀圖像制造部對移動體區(qū)域進行與對背景區(qū)域進行的圖像處理不同的圖像處理。
本發(fā)明的計算機程序的結構例子之一為使圖像處理裝置進行包括如下兩種處理的圖像處理的程序，即從制造動態(tài)圖像的多個幀圖像中的至少一個幀圖像中抽出移動體，將幀圖像分成由制造移動體的像
區(qū)域的處理；以及對背景區(qū)域進行模糊處理來制造校正幀圖像的處理。并且，作為在制造校正圖像的處理中的對背景區(qū)域進行的圖像處理，由圖像處理裝置進行隨著移動體區(qū)域在幀圖像中所占的比例增大而增強模糊效果的模糊處理。
本發(fā)明的計算機程序的其他結構例子之一為使圖像處理裝置進行如下兩種處理的程序，即根據(jù)成為校正對象的第一幀圖像和第一幀圖像的k幀前(k為自然數(shù))的第二幀圖像的差值、以及第一幀圖像和第一幀圖像的k幀后的第三幀圖像的差值，從第一幀圖像中抽出制造移動體的像素，而制造由移動體區(qū)域和背景區(qū)域構成的掩模圖像的處理，所述移動體區(qū)域由制造移動體的像素組構成，所述背景區(qū)域由
不制造移動體的像素組構成；以及使用掩模圖像判定制造第一幀圖像的各個像素是包含在背景區(qū)域中還是包含在移動體區(qū)域中，并且對背景區(qū)域的像素進行模糊處理，來制造校正幀圖像的處理。
在上述計算機程序的各個結構例子中，作為在制造校正幀圖像的處理中的對背景區(qū)域進行的圖像處理，可以使圖像處理裝置進行隨著移動體區(qū)域在第一幀圖像中所占的比例增大而增強模糊效果的模糊處理。
在將本說明書提出的發(fā)明應用于計算機程序中的情況下，也可以在制造校正幀圖像的處理中，使圖像處理裝置對移動體區(qū)域進行與對背景區(qū)域進行的圖像處理不同的圖像處理。
對背景區(qū)域進行的圖像處理為模糊處理，作為該模糊處理進行平
均化處理、中值濾波器(median filter)處理、減弱對比度的對比度轉換處理、以及鑲嵌處理中的至少一種圖像處理即可。
另外，可以對移動體區(qū)域進行與對背景區(qū)域進行的圖像處理不同的圖像處理而制造校正幀圖像。在此情況下，作為對移動體區(qū)域進行的圖像處理，進行銳化處理、增強對比度的對比度轉換處理、以及邊緣增強處理中的至少一種圖像處理即可。
通過對制造動態(tài)圖像的幀圖像的背景進行與圖像的動態(tài)對應地改變模糊程度的模糊處理，可以與人的眼睛的焦點調整功能對應地模糊背景。換言之，通過對背景進行這種模糊處理，可以制造具有高距離感、縱深感的動態(tài)圖像。例如，通過對由電視接收機接收的電視廣播圖像進行這種模糊處理，可以一邊接收其圖像數(shù)據(jù)一邊將其轉換成具有高縱深感的動態(tài)圖像，而可以提供具有高附加價值的電視機。

圖1為示出圖像處理系統(tǒng)的結構例子的框圖2為示出校正動態(tài)圖像的圖像處理的一例的流程圖3為示出移動體抽出處理的一例的流程圖4為示出移動體抽出處理的一例的流程圖5為示出掩模處理的一例的流程圖6為示出背景圖像處理的一例的流程圖7A和7B分別為校正前的幀圖像的說明圖和校正幀圖像的說
明圖8A和8B為圖像輸出裝置的結構例子的說明圖9為圖像處理系統(tǒng)的結構例子的說明圖IOA至IOC分別為示出監(jiān)視器的結構例子的外觀圖、示出影像拍攝裝置的結構例子的外觀圖、以及示出計算機的結構例子的外觀圖。
具體實施例方式
下面，將參照

本發(fā)明的實施方式。注意，本說明書提出的發(fā)明可以通過多種不同的方式來實施，所屬技術領域的普通技術人員可以很容易地理解一個事實就是本說明書提出的發(fā)明的實施方式可以將其方式及詳細內容在不脫離宗旨及其范圍下變換為各種形式。因此，本說明書提出的發(fā)明不應該被解釋為僅限定在實施方式所記載的內容中。
實施方式1
本實施方式說明對由多個幀圖像構成的動態(tài)圖像進行圖像處理的圖像處理方法、以及用來實現(xiàn)該圖像處理的圖像處理系統(tǒng)及計算機程序。
首先，使用圖l說明圖像處理系統(tǒng)的結構。在本實施方式中，作為圖像處理系統(tǒng)說明具備圖像顯示部的圖像處理系統(tǒng)。換言之，也可以說本實施方式的圖像處理系統(tǒng)為具備圖像處理裝置的圖像顯示系統(tǒng)。圖1為示出本實施方式的圖像處理系統(tǒng)的結構例子的框圖。圖l所示的圖像處理系統(tǒng)IOO為可以顯示由多個幀圖像構成的動態(tài)圖像的裝置，并且具有圖像處理裝置101及圖像輸出裝置102。
圖像處理裝置101為這樣一種裝置，即從讀取的多個幀圖像中的至少一個中抽出移動體，并且將該幀圖像分成由制造移動體的像素組
制造的移動體區(qū)域和移動體區(qū)域以外的背景區(qū)域。另外，圖像處理裝置101為通過對抽出的移動體及背景的幀圖像進行圖像處理，來制造校正幀圖像的裝置。在圖像處理裝置101中至少對幀圖像的背景區(qū)域進行模糊處理。而且，在圖像處理裝置101中也可以對移動體區(qū)域進行圖像處理。在本實施方式中，為了進一步提高校正后的動態(tài)圖像的距離感、縱深感，在圖像處理裝置101中對移動體區(qū)域進行與模糊處理不同的圖像處理。
圖像輸出裝置102為接收從圖像處理裝置101輸出的圖像數(shù)據(jù)的裝置。在本實施方式中，圖像輸出裝置102為顯示二維圖像的圖像顯示裝置，并且是顯示由多個幀圖像構成的動態(tài)圖像的裝置。
如圖1所示，圖像處理裝置101由運算處理部111、數(shù)據(jù)存儲部 112、控制部113、輸入側接口部114、以及輸出側接口部115等構成。
運算處理部111為進行各種運算處理如圖像數(shù)據(jù)的運算處理等的裝置，并且包括CPU (Central Processing Unit:中央處理單元)、圖像處理用運算電路等。
數(shù)據(jù)存儲部112具有用來存儲用于在圖像處理裝置101中進行圖像處理的數(shù)據(jù)的各種存儲電路。例如，數(shù)據(jù)存儲部112包括存儲運算處理部111進行動態(tài)圖像的圖像處理的計算機程序、以及圖像處理用過濾器的數(shù)據(jù)及查找表等的ROM (只讀存儲器)；存儲運算處理部 111算出來的運算結果的RAM (隨機存取存儲器)；以及存儲輸入到圖像處理裝置101中的圖像數(shù)據(jù)的存儲電路等。
控制部113包括用來控制圖像處理裝置101的電路的電路。例如，控制部113包括控制數(shù)據(jù)存儲部112的數(shù)據(jù)的寫入的寫入控制電路、以及控制其數(shù)據(jù)的讀取的讀取控制電路等。
輸入側接口部114為用來與連接到圖像處理裝置101的外部器具進行信號的發(fā)送/接收，以便將圖像數(shù)據(jù)等的數(shù)據(jù)從其外部器具提取到
圖像處理裝置101中的裝置。例如，為了在圖像處理裝置101中對圖
像數(shù)據(jù)進行處理，圖像數(shù)據(jù)必須為數(shù)字數(shù)據(jù)。由此，在圖像數(shù)據(jù)為模
擬數(shù)據(jù)的情況下，優(yōu)選在輸入側接口部114中設置A-D轉換電路(模擬-數(shù)字轉換電路)。外部器具為輸出圖像數(shù)據(jù)的裝置，例如有影像拍攝裝置等的拍攝裝置、再現(xiàn)存儲在硬盤或DVD等的存儲介質中的圖像數(shù)據(jù)的圖像再現(xiàn)裝置。
輸出側接口部115為用來與圖像輸出裝置102進行信號的發(fā)送/ 接收，以便對圖像輸出裝置102輸出圖像數(shù)據(jù)的裝置。例如，為了對圖像輸出裝置102輸出模擬圖像信號，在輸出側接口部115中設置 D-A轉換電路(數(shù)字-模擬轉換電路)。
具有顯示動態(tài)圖^f象的功能的圖^^輸出裝置102例如可以由液晶顯示裝置、電致發(fā)光顯示裝置、場發(fā)射顯示器(Field Emission Display)、等離子體顯示器等構成。圖1示出圖像輸出裝置102的結構的一例。如圖中所示，圖像輸出裝置102由具備多個像素120的顯示部121、掃描線驅動電路122、以及信號線驅動電路123等構成。在顯示部121中，以M行N列(M、 N為自然數(shù))布置有像素120。掃描線125及信號線126電連接到各個〗象素120上，因而像素120分別電連接到掃描線驅動電路122及信號線驅動電路123上。
顯示部121的各個像素120的亮度值(也稱為灰度值、濃度值) 取決于從圖像處理裝置101輸入的圖像數(shù)據(jù)。掃描線驅動電路122將用來選擇進行顯示的像素120的信號輸入到掃描線125中，并且信號線驅動電路123將圖像數(shù)據(jù)輸入到信號線126中。被選擇的像素120 通過信號線126接收圖像數(shù)據(jù)，并且顯示取決于該圖像數(shù)據(jù)的濃淡。
另外，圖1的圖像處理系統(tǒng)IOO是當圖像輸出裝置102為動態(tài)圖像的顯示裝置時的圖像顯示系統(tǒng)，然而，本發(fā)明的實施方式不局限于圖像顯示系統(tǒng)。例如，通過使用具備存儲硬盤等的動態(tài)圖像的數(shù)據(jù)的存儲介質的動態(tài)圖像存儲裝置構成圖像輸出裝置102，也可以將本實施方式的圖像處理系統(tǒng)用作圖像數(shù)據(jù)存儲系統(tǒng)。接下來，參照圖2說明在圖像處理裝置101中進行的圖像處理方法。圖2為本實施方式的圖像處理方法的流程圖。
在制造動態(tài)圖像的多個幀圖像中，在連續(xù)的兩個幀圖像中存在圖像有變化的部分。在本說明書中，在幀圖像中將有某個閾值以上的變化的(或比某個閾值大)的圖像稱為"移動體"，而將其他部分的圖像稱為"背景"。換言之，背景是指沒有動態(tài)變化或動態(tài)變化比某個閾值小(或某個閾值以下)的圖像。另外，在幀圖像中，將制造移動體的多個像素(像素組)稱為"移動體區(qū)域"，而將制造背景的多個像素(像素組)稱為"背景區(qū)域"。換言之，背景區(qū)域為幀圖像中的除移動體區(qū) 域以外的區(qū)域，并且為由不制造移動體的像素組構成的區(qū)域。
在本實施方式的圖像處理方法中，從幀圖像中抽出動態(tài)變化在某個閾值以上的圖像(移動體)，將幀圖像分成移動體區(qū)域和背景區(qū)域。然后，通過對背景區(qū)域進行模糊處理(散焦處理)，并且對移動體區(qū) 域進行可獲得與模糊處理相反的效果的圖像處理，來制造校正幀圖像。換言之，對移動體區(qū)域進行的圖像處理為實現(xiàn)焦點完全位于拍攝目標上的狀態(tài)的圖像處理，其具有使圖像清晰、使圖像銳化、增強圖像等的效果。
在圖像處理裝置101中，對輸入的多個幀圖像中的至少一個幀圖像的背景區(qū)域進行模糊處理，制造校正的幀圖像(以下，稱為"校正幀圖像")。圖2示出在圖像處理裝置101中制造校正幀圖像的流程。另外，圖2也是圖像處理裝置101所進行的計算機程序的流程圖。以下，在需要將要制造校正幀圖像的幀圖像和其他幀圖像加以區(qū)分的情況下，將要制造校正幀圖像的幀圖像稱為"目標幀圖像"。
在圖像處理裝置101中，首先從目標幀圖像中抽出移動體(步驟 201)。將該處理稱為"移動體抽出處理"。通過從目標幀圖像中抽出移動體，背景也被抽出，所以該移動體抽出處理也是背景抽出處理。由此，通過移動體抽出處理，目標幀圖像被分成移動體區(qū)域和背景區(qū) 域。
接下來，在圖像處理裝置101中，判定目標幀圖像的各個像素是否是移動體區(qū)域的像素(步驟202)。然后，在判定結果是其為移動體區(qū)域的像素的情況下，對符合該條件的像素進行移動體圖像處理 (步驟203 )，而對不符合該條件的像素，即其為背景區(qū)域的像素進行背景圖像處理(步驟204)。移動體圖像處理為將像素的亮度值校正為使其亮度值成為適合于作為移動體顯示的亮度值的處理。背景圖像處理為模糊處理。借助于背景圖像處理，像素的亮度值被校正為適合于作為背景顯示的亮度值。而且，在本實施方式中，移動體在目標幀圖像中所占的比例越大，對背景區(qū)域的像素進行越增強的模糊處理。
接下來，通過判定是否對目標幀圖像的所有的像素進行處理(步驟205 )，重復進行步驟202到步驟203。通過對目標幀圖像的所有像素進行移動體圖像處理及背景圖像處理中的任一方，制造目標幀圖像的校正幀圖像，制造幀圖像的圖像處理就此結束(步驟206)。
在步驟203中進行的移動體圖像處理中，進行具有使圖像清晰、增強圖像等的效果的圖像處理中的至少一種。作為這種圖像處理，例如有增強對比度的對比度轉換處理(對比度增強處理)、銳化處理、反銳化掩模處理、以及邊緣增強處理等。
步驟204中進行的背景圖像處理為模糊處理。通過模糊背景，獲得使觀看動態(tài)圖像的人產(chǎn)生焦點位于移動體上的感覺的效果。作為模糊處理，有平均化處理、減弱對比度的對比度轉換處理、去嗓處理、鑲嵌處理等。換言之，作為背景圖像處理進行的模糊處理為具有抑制從圖像獲得的信息量的效果如使圖像的邊緣不清晰、使顏色變淡等的圖像處理。在步驟204中至少進行一種具有模糊效果的圖像處理。
另外，在步驟204中，移動體區(qū)域在目標圖像所占的比例越大，進行對于背景區(qū)域的模糊效果越增強的處理。換言之，移動體越大，背景的模糊程度越大。以下將人走近的動態(tài)圖像作為例子進行說明，由于作為移動體的人的圖像逐漸變大，所以人越靠近其背景越模糊。由此，由于人越靠近從背景可獲得的信息越少，所以使觀看該動態(tài)圖像者自然地產(chǎn)生焦點位于人上的感覺。換言之，觀看者感覺到動態(tài)圖像為具有高距離感、縱深感的圖像。另外，因為通過步驟203的移動體圖像處理使人的圖像變清晰，所以可以使觀看動態(tài)圖像者自然地產(chǎn) 生焦點位于動態(tài)部分上的感覺。
在圖像處理裝置101中，對制造動態(tài)圖像的多個幀圖像按順序進行步驟201到步驟206的各個處理來制造多個校正幀圖像。各個校正幀圖像從圖像處理裝置101輸出到圖像輸出裝置102。在圖像輸出裝置102中，顯示部121顯示由多個校正幀圖像構成的動態(tài)圖像。由于在圖像處理裝置101中預先通過圖像處理進行了與人的眼睛的焦點調整功能相近的處理，所以觀看顯示部121者可以欣賞到提高了縱深感、距離感的動態(tài)圖像。
進行圖像處理的圖像處理裝置101相當于根據(jù)圖2的流程從目標幀圖像中抽出移動體的移動體抽出部，并且還相當于對目標幀圖像進行圖像處理來制造校正幀圖像的校正幀圖像制造部。另外，在數(shù)據(jù)存儲部112中存儲有用來使圖像處理裝置101進行圖2的流程所表示的圖像處理的計算機程序。
在本實施方式中，可以將各種移動體抽出方法應用于移動體抽出處理中。由于容易進行運算處理，所以在該處理中優(yōu)選采用使用連續(xù) 的三個幀圖像，并基于相鄰的兩個幀圖像的差值抽出移動體的方法。另外，求出兩個圖像的差值的意思是算出位于兩個圖像中的相同位置的像素的亮度值的差值的絕對值。差值圖像是指以該亮度值的差值的絕對值為各個像素的亮度值的圖像。
在本實施方式中，為了從目標幀圖像fa中抽出移動體，基于在時間上連續(xù)的三個幀圖4象fa-l、 fa、 fa+l的差值制造遮蓋移動體區(qū)域的掩模圖像m a 。該掩模圖像m a為由白色圖像和黑色圖像構成的二值圖像，白色圖像和黑色圖像表示目標幀圖像fa中的移動體區(qū)域和背景區(qū)域的差別。以下，參照圖3及圖4說明移動體抽出處理。圖3及圖 4為示出移動體抽出處理的一例的流程圖。參照圖3說明步驟221至 235，參照圖4說明步驟236至240。
首先，圖像處理裝置101讀取三個幀圖像fa-l、 fa、 fa+l(步驟221)。讀取的幀圖像fa-l、 fa、 fa+l的數(shù)據(jù)寫入到數(shù)據(jù)存儲部112 中。幀圖像fa為目標幀圖像。注意，作為處理對象的三個幀圖像不局限于與目標幀圖像fa相接的幀圖像。就是說，可以使用目標幀圖像 fa、目標幀圖像fa的k幀前(k為自然數(shù))的幀圖像和目標幀圖像fa 的k幀后的幀圖像。例如，也可以為幀圖像fa和其前兩個的幀圖像 fa-2及其后兩個的幀圖像fa+2。另夕卜，在如使用固定影像拍攝裝置拍攝的動態(tài)圖像那樣背景幾乎不變的動態(tài)圖像的情況下，k也可以為3 以上。實施者可以考慮動態(tài)圖像的拍攝條件等而適當?shù)卦O定k的值。然而，從圖像處理速度的觀點來看，不管動態(tài)圖像的拍攝條件如何，優(yōu)選將目標幀圖像的l或2幀前的幀圖像或目標幀圖像的l或2幀后的幀圖像用于移動體抽出處理。
圖像處理裝置101中的運算處理部111算出目標幀圖像fa的像素(x，y)和幀圖像fa-1的像素(x，y)的差值(步驟222)。在此，以像素(x，y)為像素的最小單位。另外，像素(x，y)的數(shù)據(jù)(像素值)由紅色、綠色、藍色的三種顏色(RGB)的亮度值(灰度值)構成。由此，當進行步驟222時，與RGB的亮度值對應地算出三個差值ARi ( x，y ) 、 AGt ( x，y) 、 ABt ( x，y )。差值AI^ ( x，y) 、 A仏(x，y)、 ABj (x，y)存儲在圖像處理裝置101的數(shù)據(jù)存儲部112中。另外，像素(x，y)的顏色要素也可以為RGB以外的顏色，例如可以為黃色、藍綠色、紫紅色。
接下來，運算處理部lll分別對于差值ARi (x，y) 、 AGi (x，y)、 AB! (x，y)判定其值是否在閾值(Rth、 Gth、 Bth )以上(步驟223 )。若差值為閾值以上，則將亮度判定值設定為1 (步驟224 )。另一方面，若差值低于閾值，則將亮度判定值設定為0 (步驟225 )。換言之，當ARi (x，y) ^Rth時，紅色的亮度判定值oc!u (x，y) =1,而當ARi (x，y) 〈Rth時，紅色的亮度判定值o^ (x，y) =0。綠色、藍色也是同樣的，根據(jù)差值AGi (x，y) 、 ABi ( x，y)為閾值Gth、 B化以上還是低于Gth、 Bth，決定其亮度判定值otcn (x,y) 、 ocB1 ( x，y )為"1"還是"0"。在此，當辨別圖像是否移動體時，使用兩個幀圖像之間的亮度值的變化量。閾值(Rth、 Gth、 Bth)為用來辨別圖像是包含在移動體中還是包含在背景中的亮度值的變化量的閾值，并且其對應于動態(tài)的變化量的閾值。決定的亮度判定值otm (x,y) 、 aG1 (x，y) 、 aB1 ( x，y)存儲在圖像處理裝置101的數(shù)據(jù)存儲部112中。
接下來，運算處理部111判定RGB的亮度判定值的總合是否在 2以上(步驟226)。若am ( x，y ) +aG1 ( x，y ) +aB1 ( x，y ) ^2,則將像素(x，y )的差值判定值Di ( x，y )設定為1 (步驟227 )。若ocw ( x，y ) +aG1 (x，y) +aB1 ( x，y ) <2，則將差值判定值(x，y)設定為0 (步驟228)。差值判定值Di (x，y)存儲在圖像處理裝置101的數(shù)據(jù)存儲部112中。
差值判定值Di (x，y)對應于將兩個幀圖像fa、 fa-l的差值圖像二值化了的圖像的像素(x，y)的亮度值。換言之，(x，y) =1表示該二值的差值圖像的像素(x，y)顯示白色，(x，y) =0表示該二值的差值圖像的像素(x,y)顯示黑色。在此，在幀圖像fa-l和目標幀圖像fa之間的亮度值沒有變化或變化量少的像素(x，y)中，D"x，y) =1，而在其變化量有某個閾值以上的像素(x，y)中，(x，y) =0。
步驟222至步驟228也可以說是對像素(x，y )的RGB的亮度值的差值進行擇多處理，而將像素(x，y)的亮度值設定為白色或黑色的處理。通過對所有的像素進行步驟222至步驟228，可以得到幀圖像 fa和幀圖像fa-l的差值圖像的二值圖像。在此，該二值的差值圖像的白色圖像(亮度值=1的像素組)相當于組合幀圖像fa的移動體區(qū) 域和幀圖像fa-l的移動體區(qū)域的區(qū)域。
另外，步驟222至步驟228為運算處理部111求出目標幀圖像fa 的像素(x，y)和幀圖像fa-l的像素(x，y)的差值數(shù)據(jù)，并且根據(jù)該差值數(shù)據(jù)求出差值判定值(x，y)的處理。在運算處理部111中對目標幀圖像fa的像素(x，y)和幀圖像fa+l的像素(x,y )進行與上述步驟222至步驟228的處理同樣的處理(步驟229至步驟235 )。另外，如圖3所示，在步驟229至步驟235中算出的數(shù)據(jù)的符號上附加 "2"，以便與在步驟222至步驟228中算出的數(shù)據(jù)區(qū)別。由此，通過對所有的像素進行步驟229至步驟235，可以得到幀圖像fa和幀圖像fa+l的差值圖像的二值圖像。在此，該二值的差值圖像的白色圖像(亮度值-l的像素組)相當于組合幀圖像fa的移動體區(qū)域和幀圖像fa+l的移動體區(qū)域的區(qū)域。
接下來，運算處理部111判定兩個差值判定值Di (x，y)和D2 (x，y)是否都是"l"(步驟236)。在兩個亮度判定值D！ ( x，y )和 D2 ( x，y )都是"l"的情況下，將移動體判定值M ( x，y )設定為"l"(步驟237)，而在兩個亮度判定值Di (x，y)和D2 ( x，y )中的至少一方不是"l"的情況下，將移動體判定值M(x，y)設定為"0，，(步驟238)。換言之，在步驟236中求出Dj x，y )=1、D2( x，y )=1的邏輯乘積(AND )。若該AND運算的結果為"真"，則M(x，y)-1(步驟237)，若該AND 運算的結果為"偽"，則M (x，y) =0 (步驟238。)
移動體判定值M (x，y)表示掩模圖像ma的像素(x，y )的亮度值。換言之，當M(x，y)-l時，掩模圖像ma的像素(x，y)顯示白色，而當M(x，y)-O時，掩模圖像ma的像素(x，y)顯示黑色。
接下來，判定是否已對所有的像素進行了移動體判定值M ( x，y ) 的算出(步驟239)。當所有的像素的移動體判定值M (x，y)沒有決定時，返回步驟222及步驟229。通過算出所有的像素的移動體判定值M (x，y)，制造以移動體判定值M (x,y)為亮度值的掩模圖像 ma，而移動體區(qū)域的抽出就此結束(步驟240)。
在掩模圖像ma中，移動體判定值M (x，y) =1的區(qū)域(顯示白色的像素組)為目標幀圖像fa的移動體區(qū)域，移動體判定值M(x，y) =0的區(qū)域(顯示黑色的像素組)為目標幀圖像fa的背景區(qū)域。換言之，掩模圖像ma為由移動體區(qū)域和背景區(qū)域構成的二值的圖像，并且通過制造掩模圖像ma，目標幀圖像fa被分成移動體區(qū)域和不包含在移動體區(qū)域中的區(qū)域(背景區(qū)域)。
另夕卜，通過圖3及圖4的移動體抽出處理制造的掩模圖像ma可以說是通過算出以下兩個二值化的圖像的邏輯乘積(AND)而形成的二值圖像，該兩個二值化的圖像即將幀圖像fa和幀圖像fa-l的差值圖像二值化而得到的圖像以及將幀圖像fa和幀圖像fa+l的差值圖像二值化而得到的圖像。
在此，圖像處理裝置101為通過進行圖3及圖4的移動體抽出處理，從目標幀圖像中抽出移動體的移動體抽出部，并且為制造由移動體區(qū)域和背景區(qū)域構成的掩模圖像的掩模圖像制造部。
也可以在圖像處理裝置101中先對用于移動體抽出處理的三個幀圖像進行圖像處理，然后制造掩模圖像ma，以便更正確地從目標幀圖像中抽出移動體。作為這種圖像處理，有平均化處理、使用水平方向的線形一次濾波器(linear primary differential filter)的濾波器處理、邊緣檢測處理、使用中值濾波器的去嗓處理等。
在圖3中的移動體抽出處理的流程中，將在步驟226及步驟233 中決定差值判定值D！ (x，y) 、 D2 (x，y)的值的條件設定為RGB的亮度判定值的總合為2以上，但是也可以是其總合為1以上或等于3 的條件。
接下來，將說明使用掩模圖像ma判定目標幀圖像fa的像素是移動體區(qū)域的像素還是背景區(qū)域的像素，并基于其判定校正目標幀圖
像fa來制造校正幀圖像的方法。在此，將該處理稱為"掩模處理"。在圖2的流程中，步驟201至步驟206的處理相當于掩模處理。以下，使用圖5說明掩模處理。圖5為本實施方式的掩模處理的流程圖。
在掩模處理中，首先算出移動體區(qū)域在目標幀圖像fa中所占的比例Pm(以下，稱為"移動體區(qū)域的比例Pm")(步驟251)。該移動體區(qū)域的比例Pm相等于掩模圖像ma的白色顯示的區(qū)域(移動體判定值M (x，y) =1的像素組，并且亮度值=1的區(qū)域)在其掩模圖像 ma中所占的比例。于是，在此，根據(jù)掩模圖像ma的所有像素數(shù)量中的亮度值=1 (移動體判定值M (x，y) =1)的像素數(shù)量的比例算出移動體區(qū)域所占的比例Pm。算出了的移動體區(qū)域的比例Pm存儲在圖像處理裝置101的數(shù)據(jù)存儲部112中。
在此，將移動體區(qū)域的比例Pm的算出處理作為掩模處理中的一個處理，但是也可以在移動體抽出處理中求出移動體區(qū)域的比例Pm。在此情況下，通過每當進行步驟237時都計算設定為M (x，y) =1的像素數(shù)量而完成步驟239，可以根據(jù)該像素數(shù)量算出比例Pm。
接下來，將目標幀圖像fa的像素(x，y)的亮度值讀取到運算處理部lll中(步驟252 )。將掩模圖像ma的像素(x，y)的亮度值讀取到運算處理部111中(步驟253 )，并且判定其亮度值是否是1 (步驟254 )。掩模圖像ma的像素(x，y )的亮度值相當于移動體判定值 M(x，y)，其值為"l"或"O"。當掩模圖像ma的像素(x，y)的亮度值 =1時，對目標幀圖像fa的像素(x，y)進行移動體圖像處理，來校正其亮度值(步驟255 )。當掩模圖像ma的像素(x，y)的亮度值-1 (亮度值-O)時，對目標幀圖像fa的像素(x，y)進行背景圖像處理，來校正其亮度值(步驟256)。通過步驟255及步驟256決定的亮度值為校正幀圖像Fa的像素(x，y)的亮度值。該亮度值被存儲到數(shù)據(jù)存儲部112的校正幀圖像用存儲電路中。
接下來，判定是否已對目標幀圖像fa的所有像素進行了步驟255 或步驟256的處理(步驟257)。在所有的像素的處理沒有結束的情況下，反復進行步驟252至步驟257。通過算出所有的像素的亮度值，制造校正幀圖像Fa (步驟258)，而掩模處理就此結束。
換言之，圖像處理裝置101為制造校正幀圖像Fa的裝置，其包括制造掩模圖像ma的掩模圖像制造部、以及制造校正幀圖像Fa的校正幀圖像制造部。
在步驟256的背景圖像處理中，通過步驟251算出的移動體區(qū)域的比例Pm越大，進行獲得越大模糊效果的模糊處理。在本實施方式中，將模糊處理設定為水平0至水平5的六個階段。水平5的模糊效果最大，而水平O的模糊效果最小。在本實施方式中，水平O的模糊處理就是不進行模糊處理，不校正像素的亮度值的處理。
在本實施方式中，將移動體區(qū)域的比例Pm分成100%以下且50% 以上、低于50%且40%以上、低于40%且30%以上、低于30%且20% 以上、低于20%且10%以上、以及低于10%且0%以上的六個范圍，并且根據(jù)移動體區(qū)域的比例Pm進行水平5至水平0的模糊處理。以下，使用圖6說明背景圖像處理。圖6為本實施方式的背景圖像處理的流程圖。
(步驟261)。若是Pm^50%,就進行水平5的^t糊處理(步驟262 )。若是Pm<50%，就判定比例Pm是否在40%以上(步驟263 )。若是步驟263的判定結果為Pm^40%，就進行水平4的模糊處理(步驟 264)，而若該判定結果為Pm<40%，就判定比例Pm是否在30%以上(步驟265)。若是步驟265的判定結果為Pm^30%,就進行水平 3的模糊處理(步驟266)，而若該判定結果為Pm<30%，就判定比例Pm是否在20%以上(步驟267)。若是步驟267的判定結果為 Pm^20%，就進行水平2的模糊處理(步驟268),而若該判定結果為Pm<20%，就判定比例Pm是否在10°/。以上(步驟269 )。若是步驟269的判定結果為Pm^lO。/。，就進行水平1的才莫糊處理(步驟270)，而若該判定結果為Pm<10%,就進行水平0的模糊處理(步驟271)。在此，由于水平0的模糊處理為不校正像素(x，y)的亮度值的處理，所以校正前的像素(x,y)的亮度值成為校正后的亮度值。
如圖6的流程圖所示，與移動體區(qū)域的比例Pm對應地對包含在背景區(qū)域中的像素(x,y)進行水平5-水平0中任一水平的模糊處理，而背景圖像處理就此結束。
在圖6的流程圖中，將模糊處理的水平設定為六個階段，然而本發(fā)明的實施方式不局限于此，只要模糊處理為兩個階段以上即可。另外，設定模糊處理的水平的條件不局限于圖6的流程圖，而實施者可以適當?shù)卦O定。換言之，動體區(qū)域的比例Pm越大，獲得越大模糊效果地設定模糊處理的水平即可。
接下來，將作為模糊處理進行平均化處理的情況作為例子，說明進行不同水平的模糊處理的方法。
在平均化處理中，可以利用通過增加求出亮度的平均值的像素數(shù) 量增強模糊處理的效果，而設定模糊處理的水平。在此情況下，例如，當水平0時不進行像素的平均化處理。在水平l的平均化處理中，將以對象的像素為中心配置為3行3列的9個像素的亮度值的平均值作為校正后的像素的亮度值。在水平2的平均化處理中，求出亮度值的平均值的像素組是以對象的像素為中心配置為5行5列的25個像素組。在水平3的平均化處理中，其為配置為7行7列的49個像素組，在水平4的平均化處理中，其為配置為9行9列的81個像素組，并且在水平5的平均化處理中，其為配置為ll行l(wèi)l列的121個像素組。
或者，可以利用通過增加平均化處理的次數(shù)增強模糊處理的效果，而設定模糊處理的水平。例如，當水平0時，不對像素進行平均化處理。在水平l的平均化處理中，將以對象的像素為中心配置為3 行3列的9個像素的亮度值的平均值作為校正后的像素值。當水平2 時，進行兩次水平1的平均化處理。換言之，在第一次平均化處理中，求出以對象的像素為中心配置為3行3列的9個像素的亮度值的平均值。在第二次平均化處理中，也求出相同的9個像素的亮度值的平均值。但是，作為對象的像素的亮度值，使用通過第一次平均化處理算出的平均值。通過第二次平均化處理算出的平均值為通過水平2的模糊處理算出的像素的亮度值。水平3至5的平均化處理也與水平2的平均化處理同樣，在水平3、水平4、以及水平5的平均化處理中，進行平均化處理的次數(shù)分別為三次、四次、五次。
即使模糊處理為中值濾波器處理、減弱對比度的對比度轉換處理、以及鑲嵌處理，也可以與平均化處理同樣地進行不同水平的模糊處理。
接下來，使用圖像具體說明圖2的圖像處理。圖7A及7B為示出本實施方式的圖像處理方法的內容的說明圖。圖7A示出校正前的六個幀圖像300至305，圖7B示出對各個幀圖像300至305進行圖像處理的校正幀圖像310至315。如圖7A所示，在此，作為要進行圖像處理的動態(tài)圖像，設想人從遠處的兩棵樹之間靠近來的動態(tài)圖像。注意，圖7A所示的幀圖像300至305不是在時間上相鄰的幀圖像。
通過進行本實施方式的圖像處理，對移動體的人進行移動體圖像處理。由此，人的圖像變清晰或被增強(參照圖7B)。另一方面，基于圖6的流程圖，根據(jù)人的圖像在幀圖像中所占的比例，對除人以外的背景圖像進行模糊程度不同的模糊處理。在圖7A的動態(tài)圖像的情況下，由于人越靠近，人在幀圖像中所占的面積越大，所以時間越經(jīng)過，幀圖像的背景越模糊。在圖7B所示的各個校正幀圖像310至 315中，分別對背景區(qū)域進行水平0至5的模糊處理。
如圖7B所示，通過進行本實施方式的圖像處理，人越靠近，背景越模糊。結果，由于從背景得到的信息量逐漸減少，所以可以使觀看該動態(tài)圖像者自然地產(chǎn)生人從遠處越靠近，焦點越集中到人上的感覺。
如上所述，通過移動體區(qū)域在幀圖像中所占的比例越大，進行對于背景區(qū)域的模糊效果越增強的圖像處理，而可以制造高臨場感(距離感、縱深感)的動態(tài)圖像。換言之，在本實施方式中，由于通過根據(jù)圖像的動態(tài)改變對于各個幀圖像的背景的模糊效果，以圖像處理預先進行與人的眼睛在看物體時進行的焦點調整功能極為相近的處理，因此，即使顯示在二維畫面上時，也可以制造觀看者可以感覺到距離感、縱深感的動態(tài)圖像。
實施方式2
通過如監(jiān)控攝像機那樣固定攝像機以相同的焦點條件拍攝動態(tài) 圖像，可以拍攝背景沒有變化的動態(tài)圖像。這種動態(tài)圖像例如為由圖 7A所示的多個幀圖像構成的動態(tài)圖像。在本實施方式中，說明從這種動態(tài)圖像中抽出移動體的方法。
在本實施方式中，準備沒有移動體的僅由背景構成的幀圖像(以下，稱為"背景用幀圖像")，而代替三個幀圖像。制造該背景用幀圖像和目標幀圖像的差值圖像，將該差值圖像二值化的圖像成為掩模圖像ma。
當制造掩模圖像ma時，求出像素(x，y)的亮度的差值值(AI^ (x，y) 、 AG! (x，y) 、(x，y))。根據(jù)差值為闊值以上還是低于閾值，將亮度判定值(otR1 (x，y) 、 aG1 (x，y) 、 otB1 (x，y))設定為 "0，，或"1"。到此的流程與圖3的步驟222至步驟225相同。若是otm (x，y) +ocG1 (x，y) +otB1 (x，y) ^2，則該像素的移動體判定值M (x，y) =1。若是ociu (x，y) +otG1 (x，y) +otB1 (x，y) <2,則該像素的移動體判定值M (x，y) =0。通過決定所有像素的移動體判定值M(x，y),與實施方式1同樣地制造掩模圖像ma。
實施方式3
在對背景區(qū)域及移動體區(qū)域雙方進行圖像處理的情況下，也可以根據(jù)移動體區(qū)域在幀圖像中所占的比例改變對于移動體區(qū)域的圖像處理的效果。換言之，在移動體圖像處理中，也與圖6的背景圖像處理同樣，根據(jù)移動體區(qū)域的比例Pm，對移動體區(qū)域進行不同水平的圖像處理。在此情況下，移動體區(qū)域的比例Pm越大，將在移動體圖像處理中進行的圖像處理(銳化處理、對比度增強處理等)的水平設定得使圖像的銳化或增強效果越大即可。
實施方式4
在本實施方式中，說明圖1的圖像輸出裝置102。圖8A及8B 為用于圖像輸出裝置102的液晶顯示裝置的結構例子的說明圖。圖8A 為本實施方式的液晶顯示裝置的俯^L圖。圖8B為沿圖8A的線C-D 切割的截面圖。本實施方式的液晶顯示裝置具有形成有由晶體管構成的電路的襯底、與該襯底相對的襯底、以及夾在這兩個襯底之間的液晶層。在本實施方式的液晶顯示裝置中，電路由使用晶體半導體膜的頂才冊型晶體管形成。另外，其顯示方式為MVA( Multi-domain Vertical Alignment:多域垂直取向)方式。
如圖8A所示，在襯底5100上形成有^^象素部5101、第一掃描線驅動電路5102、第二掃描線驅動電路5103、以及信號線驅動電路5104。像素部5101具有多個像素。在各個像素中設置有像素電極、以及電連接到像素電極的晶體管。另外，第一掃描線驅動電路5102、第二掃描線驅動電路5103、以及信號線驅動電路5104由多個晶體管等的多個半導體元件構成。
像素部5101、第一掃描線驅動電路5102、第二掃描線驅動電路 5103、以及信號線驅動電路5104被密封劑5516密封在元件襯底5100和村底5510之間。另外，通過TAB方式將FPC5200及IC芯片5530 設定在襯底5100上。從圖像處理裝置101輸出到圖像輸出裝置102 的信號^f皮輸入到FPC5200中。
參照圖8B說明沿圖8A的線C-D切割的截面結構。為了容易說明，在圖8B中，作為像素部5101的截面結構示出一個晶體管5110 及像素電極5111的一部分，并且作為第二掃描線驅動電路5103的截面結構示出兩個晶體管5112及5113。
在襯底5100上作為基底膜形成有由單層結構或疊層結構構成的絕緣膜5501。作為絕緣膜5501,形成氧化硅膜、氮化硅膜、氮氧化硅膜、或氧氮化硅膜等。在此，氮氧化硅就是其氮含量比氧含量多的材料，而氧氮化硅就是其氧含量比氮含量多的材料。另外，與晶體管 5110、 5112、 5113的半導體膜接觸的絕緣膜5501的層優(yōu)選由氧化硅膜或氧氮化硅膜形成。這是因為可以減少絕緣膜5501和溝道形成區(qū) 域之間的界面態(tài)密度的緣故。另外，作為絕緣膜5501，優(yōu)選至少形成一層如氮化硅膜或氮氧化硅膜之類的對鈉離子具有阻擋效果的膜。
在絕緣膜5501上形成有島狀半導體膜5502，在半導體膜5502 上作為柵極絕緣膜形成有絕緣膜5503。半導體膜5502構成晶體管 5110、 5112、 5113的溝道形成區(qū)域、以及源區(qū)及漏區(qū)。絕緣膜5503 由熱氧化膜、氧化硅膜、氮化硅膜、或氧氮化硅膜等的單層膜或這些膜的疊層膜形成。絕緣膜5503的與半導體膜5502接觸的層優(yōu)選為氧化硅膜或氧氮化硅膜。這是因為可以減少絕緣膜5503和半導體膜5502 之間的界面態(tài)密度的緣故。
在絕緣膜5503上形成加工成預定形狀的導電膜5504。導電膜 5504為單層結構、多層結構的膜，并且構成晶體管5110、 5112、 5113 的柵電極、以及像素部5101的掃描線。在此，為了抑制泄漏電流，采用雙一冊結構形成^象素部5101的晶體管5110。
覆蓋導電膜5504地形成由單層結構或疊層結構構成的絕緣膜 5505。絕緣膜5505用作層間膜。作為由用于絕緣膜5505的有機材料構成的膜、有由聚酰亞胺、丙烯酸、聚酰胺、聚酰亞胺酰胺、抗蝕劑、苯并環(huán)丁蹄、環(huán)氧樹脂構成的膜等。另外，作為由無機材料構成的膜，有由氧化硅、氮化硅、氧氮化硅、氮氧化硅、氮化鋁、氧化鋁、氧氮
化鋁、氮含量比氧含量多的氮氧化鋁、類金剛石碳(DLC)、含氮碳 (例如CN )、磷硅玻璃(PSG )、硼磷硅玻璃(BPSG )構成的膜等。
在絕緣膜5503及絕緣膜5505中形成有接觸孔。接觸孔到達各個晶體管5110、 5112、 5113的源區(qū)或漏區(qū)。在絕緣膜5505上形成有加工成預定形狀的導電膜5506。導電膜5506構成晶體管5110、 5112、 5113的源電極、漏電極、以及像素部5101的信號線。導電膜5506為單層結構或多層結構的膜。
在絕緣膜5505上形成有絕緣膜5507。絕緣膜5507可以與絕緣膜5505同樣地形成。在將絕緣膜5507加工成平坦化膜的情況下，例如形成至少一層由有機材料構成的膜作為絕緣膜5507即可。通過將絕緣膜5507加工成平坦化膜，可以抑制液晶分子的取向無序。
在絕緣膜5507上形成有像素電極5111。像素電極5111在形成于絕緣膜5507中的接觸孔中與導電膜5506接觸。因此，像素電極5111 和晶體管5110電連接。另外，在像素電極5111中形成有開口部。借助于該開口部，通過在液晶分子中不存在電場的狀態(tài)下將液晶分子傾斜地取向，可以以MVA方式進行顯示。另外，為了將液晶分子這樣取向，也可以在像素電極5111上面設置突起部，而代替形成開口部。
在將像素電極5111作為透光電極的情況下，使用透過光的透光導電膜形成像素電極5111。作為透光導電膜，例如有在氧化銦中包含氧化錫的銦錫氧化物膜、在銦錫氧化物中包含氧化硅的銦錫硅氧化物膜、在氧化銦中包含氧化鋅的銦鋅氧化物膜、氧化鋅膜、或氧化錫膜等。另一方面，在將像素電極5111作為反射電極的情況下，使用反射光的導電膜形成^^象素電才及5111。例如，使用由Ti、 Mo、 Ta、 Cr、 W、 Al等的金屬或它們的合金等構成的單層結構的膜或疊層結構的膜形成4象素電極5111即可。
在絕緣膜5507上的不與像素電極5111重疊的區(qū)域形成有間隔物 5508。間隔物5508由樹脂形成。借助于間隔物5508,維持襯底5100和襯底5510之間的間隙(空隙)。在該空隙中形成包含液晶分子的液晶層5517。覆蓋像素電極5111及間隔物5508地形成有取向膜5509。根據(jù)需要形成取向膜5509。
襯底5510用作相對襯底。在襯底5510上形成有相對電極5511、顏色濾光片層5512、以及突起部5513。相對電極5511可以由用來形成像素電極5111的透光導電膜形成。借助于突起部5513,通過在不存在電場的狀態(tài)下將液晶分子傾斜地取向，可以以MVA方式進行顯示。在襯底5510上覆蓋相對電極5511及突起部5513地還形成有取向膜5514。根據(jù)需要形成取向膜5514。
在襯底5100和襯底5510之間圍繞像素部5101、第一掃描線驅動電路5102、第二掃描線驅動電路5103、以及信號線驅動電路5104 地形成有密封劑5516。在由密封劑5516密封的4于底5100和4于底5510 的空隙中存在包含液晶分子的液晶層5517。
在被密封劑5516圍繞的區(qū)域的外側并且在絕緣膜5507上形成有多個端子5518。端子5518由與^f象素電極5111相同的導電膜構成，并且電連接到像素部5101、第一掃描線驅動電路5102、第二掃描線驅動電路5103、以及信號線驅動電路5104中的任一個。在端子5518上中間夾著各向異性導電膜5519連^^妄有FPC5200。另外，在FPC5200 上中間夾著各向異性導電體膜5520固定有IC芯片5530。換言之，端子5518、 FPC5200、以及IC芯片5530彼此電連接。
雖然不一定需要設置IC芯片5530,但是通過在IC芯片5530中包括功能電路(存儲器或緩沖器)，可以有效地利用襯底面積。
另外，在本實施方式中，雖然說明了顯示方式為MVA方式的液晶顯示裝置，但是液晶顯示裝置的顯示方式也可以為PVA( Patterned Vertical Alignment:垂直取向構型)方式。在采用PVA方式的情況下，在圖8B的結構中，在相對電極5511中設置槽縫即可。另外，液晶的驅動方式不局限于MVA方式、PVA方式，也可以采用TN (Twisted Nematic:扭曲向歹'J)方式、IPS (In-Plane-Switch in g:平面內轉換)方式、FFS ( Fringe Field Switching:邊緣場切換)方式、ASM ( Axially Symmetric aligned Micro-cell:軸線對稱排列微單元) 方式、OCB(Opticail Compensated Bend:光學補償彎曲)方式、FLC (Ferroelectric Liquid Crystal: 4失電性液晶)方式、AFLC (AntiFerroelectric Liquid Crystal:反4失電性液晶)方式等。
另外，作為像素輸出裝置102，除了液晶顯示裝置以外，還可以使用電致發(fā)光顯示裝置、場致發(fā)射顯示器(Field Emission Display)、等離子體顯示器等的各種顯示裝置。另外，圖像輸出裝置102還可以為硬盤錄像機、DVD刻錄機等的各種錄像裝置。實施方式5
在本實施方式中，說明具備顯示部的圖像處理系統(tǒng)的結構例子。
圖9示出組合了顯示裝置1101和電路襯底1111的圖像處理系統(tǒng) 的一例。在電路襯底1111上設置有圖像處理裝置101。顯示裝置1101 為圖像輸出裝置102,例如可以使用實施方式3的液晶顯示裝置。顯示裝置1101具有像素部1102、掃描線驅動電路1103、以及信號線驅動電路1104。在電路襯底1111上例如形成有控制電路1112及運算電路1113等。顯示裝置1101和電路村底1111通過連接布線1114彼此連接。作為連接布線1114可以使用FPC等。
例如，通過使用圖9所示的圖像處理系統(tǒng)完成電視接收裝置。通過將本說明書提出的圖像處理系統(tǒng)(圖像顯示系統(tǒng))作為電視接收裝置，觀眾可以欣賞到高臨場感的圖像的電視廣播。
本說明書提出的圖像處理系統(tǒng)可以應用于各種電子器具。作為這種電子器具，例如可以舉出影像拍攝裝置如攝像機及數(shù)碼相機等、護目鏡型顯示器、導航系統(tǒng)、計算機、游戲機、便攜式信息終端(移動計算機、手機、便攜式游戲機或電子書籍等)、以及圖像再現(xiàn)設備等。另夕卜，典型的圖4象再現(xiàn)設備為具有再生記錄在DVD ( Digital Versatile Disk;數(shù)字通用光盤)或硬盤等的記錄介質中的圖像數(shù)據(jù)并顯示其圖像數(shù)據(jù)的功能的裝置。以下，使用圖10A至10C說明電子器具的一例。圖10A至10C為本實施方式的電子器具的外觀圖。
圖10A為監(jiān)視器的外觀圖。監(jiān)視器包括框體1211、支撐臺1212、顯示部1213。圖10A所示的監(jiān)視器具有在顯示部顯示各種信息(靜態(tài)圖像、動態(tài)圖像、文字圖像等)的功能。另外，圖IOA所示的監(jiān)視器的功能不局限于此，可以具有各種功能。
圖10B為影像拍攝裝置的外觀圖。影像拍攝裝置包括主體1231、顯示部1232、圖4象接收部1233、操作鍵1234、外部連接端口1235、快門按鈕1236。圖10B所示的影像拍攝裝置具有拍攝靜態(tài)圖像及動態(tài)圖像的功能。影像拍攝裝置設置有校正拍攝的動態(tài)圖像及靜態(tài)圖像的圖像處理裝置，可以在影像拍攝裝置中校正動態(tài)圖像并將校正的動態(tài)圖像寫入各種記錄介質中。另外，圖IOB所示的影像拍攝裝置的功能不局限于此，可以具有各種功能。
圖10C為計算^U的外觀圖。計算機包括主體1251、框體1252、顯示部1253、鍵盤1254、外部連接端口 1255、定位裝置1256。另外，還包括圖像處理裝置。圖IOC所示的計算機具有在顯示部顯示各種信息(靜態(tài)圖像、動態(tài)圖像、文字圖像等)的功能。例如，基于鍵盤1254、定位裝置1256的輸入對動態(tài)圖像進行圖像處理。另外，圖10C所示的計算機的功能不局限于這些，可以具有各種功能。
本實施方式可以與其他實施方式適當?shù)亟M合。
本說明書根據(jù)2008年3月5日在日本專利局受理的日本專利申請編號2008-054626而制作，所述申請內容包括在本說明書中。
權利要求
1.一種用來處理包括多個幀圖像的動態(tài)圖像的圖像處理方法，包括如下步驟將所述多個幀圖像中的一個幀圖像分成包括制造移動體的像素組的移動體區(qū)域和包括不制造所述移動體的像素組的背景區(qū)域；以及對所述多個幀圖像中的所述一個幀圖像的所述背景區(qū)域進行第一圖像處理，其中，所述第一圖像處理為模糊處理，并且對于所述背景區(qū)域的所述模糊處理隨著所述移動體區(qū)域在所述多個幀圖像中的所述一個幀圖像中所占的比例增大而增強。
2. 根據(jù)權利要求1所述的圖像處理方法，還包括如下步驟對所述多個幀圖像中的所述一個幀圖像的移動體區(qū)域進行第二圖像處理，其中，所述第一圖像處理和所述第二圖像處理為不同的圖像處理。
3. 根據(jù)權利要求1所述的圖像處理方法，其中在所述移動體區(qū)域在所述多個幀圖像中的所述一個幀圖像中所占的比例比預定值小時，不對所述背景區(qū)域進行所述模糊處理。
4. 根據(jù)權利要求2所述的圖像處理方法，其中所述第二圖像處理包括銳化處理、增強對比度的對比度轉換處理、以及邊緣增強處理中的至少一種圖像處理。
5. 根據(jù)權利要求1所述的圖像處理方法，其中作為所述模糊處理，進行平均化處理、中值濾波器(median filter)處理、減弱對比度的對比度轉換處理、以及鑲嵌處理中的至少一種圖像處理。
6. —種用來處理包括多個幀圖像的動態(tài)圖像的圖像處理方法，包括如下步驟根據(jù)第一幀圖像和該第一幀圖像的k幀前的第二幀圖像的差值、以及所述第一幀圖像和該第一幀圖像的k幀后的第三幀圖像的差值，從所述第一幀圖像中抽出制造移動體的像素，并且制造使用移動體區(qū) 域和背景區(qū)域形成的掩模圖像，所述移動體區(qū)域包括制造所述移動體的所述像素，所述背景區(qū)域包括不制造所述移動體的像素，其中k為自然數(shù)；使用所述掩模圖像判定制造所述第一幀圖像的各個像素是包含在所述背景區(qū)域中還是包含在所述移動體區(qū)域中；以及對包含在所述背景區(qū)域中的像素進行第一圖像處理，其中，所述第一圖像處理為模糊處理，并且對于所述背景區(qū)域的所述模糊處理隨著所述移動體區(qū)域在所述笫一幀圖像中所占的比例增大而增強。
7. 根據(jù)權利要求6所述的圖像處理方法，還包括如下步驟對包含在所述移動體區(qū)域中的像素進行第二圖像處理，其中，所述第一圖像處理和所述第二圖像處理為不同的圖像處理。
8. 根據(jù)權利要求6所述的圖像處理方法，其中在所述移動體區(qū)域在所述第一幀圖像中所占的比例比預定值小時，在所述第一圖像處理中不對所述背景區(qū)域中的所述像素進行所述模糊處理。
9. 根據(jù)權利要求7所述的圖像處理方法，其中作為所述第二圖像處理，進行銳化處理、增強對比度的對比度轉換處理、以及邊緣增強處理中的至少一種圖^f象處理。
10. 根據(jù)權利要求6所述的圖像處理方法，其中作為所述模糊處理，進行平均化處理、中值濾波器處理、減弱對比度的對比度轉換處理、以及鑲嵌處理中的至少一種圖像處理。
11. 一種圖像處理系統(tǒng)，包括顯示包括多個幀圖像的動態(tài)圖像的圖像顯示部；從所述多個幀圖像中的至少一個幀圖像中抽出移動體，并且將所述多個幀圖像中的至少一個幀圖像分成包括制造所述移動體的像素組的移動體區(qū)域和包括不制造所述移動體的像素組的背景區(qū)域的移動體抽出部；以及對所述背景區(qū)域進行第一圖像處理來制造校正幀圖像的校正幀圖像制造部，其中，所述圖像顯示部顯示所述校正幀圖像，并且，所述第一圖像處理為模糊處理，并且對于所述背景區(qū)域的所述模糊處理隨著所述移動體區(qū)域在所述多個幀圖像中的所述一個幀圖像中所占的比例增大而增強。
12. 根據(jù)權利要求11所述的圖像處理系統(tǒng)，其中，在所述校正幀圖像制造部對所述移動體區(qū)域進行第二圖像處理，并且，所述第一圖像處理和所述第二圖像處理為不同的處理。
13. 根據(jù)權利要求11所述的圖像處理系統(tǒng)，其中在所述移動體區(qū) 域在所述多個幀圖像中的所述一個幀圖像中所占的比例比預定值小時，所述校正幀圖像制造部不對所述背景區(qū)域進行所述模糊處理。
14. 根據(jù)權利要求12所述的圖像處理系統(tǒng)，其中所述校正幀圖像制造部進行銳化處理、增強對比度的對比度轉換處理、以及邊緣增強處理中的至少一種圖^^處理。
15. 根據(jù)權利要求11所述的圖像處理系統(tǒng)，其中所述校正幀圖像制造部進行平均化處理、中值濾波器處理、減弱對比度的對比度轉換處理、以及鑲嵌處理中的至少一種圖像處理作為所述模糊處理。
16. —種圖像處理系統(tǒng)，包括顯示包括多個幀圖像的動態(tài)圖像的圖像顯示部；根據(jù)第一幀圖像和該笫一幀圖像的k幀前的第二幀圖像的差值、以及所述第一幀圖像和該第一幀圖像的k幀后的第三幀圖像的差值，從所述第一幀圖像中抽出制造移動體的像素，并且制造使用移動體區(qū) 域和背景區(qū)域形成的掩模圖像的掩模圖像制造部，所述移動體區(qū)域包括制造所述移動體的像素組，所述背景區(qū)域包括不制造所述移動體的像素組，其中k為自然數(shù)；以及使用所述掩模圖像判定制造所述第一幀圖像的各個像素是包含在所述背景區(qū)域中還是包含在所述移動體區(qū)域中，并且對所述背景區(qū)域的像素進行第一圖像處理來制造校正幀圖像的校正幀圖像制造部，其中，所述圖像顯示部顯示所述校正幀圖像，并且，所述第一圖像處理為模糊處理，并且對于所述背景區(qū)域的所述模糊處理隨著所述移動體區(qū)域在所述第一幀圖像中所占的比例增大而增強。
17. 根據(jù)權利要求16所述的圖像處理系統(tǒng)，其中，進一步進行對于所述移動體區(qū)域的像素的第二圖像處理，以便制造所述校正幀圖像，并且，所述第一圖像處理和所述第二圖像處理為不同的圖像處理。
18. 根據(jù)權利要求16所述的圖像處理系統(tǒng)，其中在所述移動體區(qū) 域在所述第一幀圖像中所占的比例比預定值小時，所述校正幀圖像制造部在所述第一圖像處理中不對所述背景區(qū)域的所述像素進行所述模糊處理。
19. 根據(jù)權利要求17所述的圖像處理系統(tǒng)，其中所述校正幀圖像制造部進行銳化處理、增強對比度的對比度轉換處理、以及邊緣增強處理中的至少一種圖像處理作為所述第二圖像處理。
20. 根據(jù)權利要求16所述的圖像處理系統(tǒng)，其中所述校正幀圖像制造部進行平均化處理、中值濾波器處理、減弱對比度的對比度轉換處理、以及鑲嵌處理中的至少一種圖像處理作為所述模糊處理。
21. —種由圖像處理裝置進行的用來進行包括多個幀圖像的動態(tài) 圖像的圖像處理的計算機程序，包括使所述圖像處理裝置進行包括以下兩種處理的圖像處理從所述多個幀圖像中的至少一個幀圖像中抽出移動體，并且將所述多個幀圖像中的至少一個幀圖像分成包括制造所述移動體的像素組的移動體區(qū)域和包括不制造所述移動體的像素組的背景區(qū)域的第一處理；以及對所述背景區(qū)域進行第一圖像處理來制造校正幀圖像的第二處理，其中，在笫二處理中對所述背景區(qū)域進行的所述第一圖像處理為模糊處理，并且對于所述背景區(qū)域的所述模糊處理隨著所述移動體區(qū) 域在所述多個幀圖像中的所述一個幀圖像中所占的比例增大而增強。
22.根據(jù)權利要求21所述的計算機程序，其中，在第二處理中進一步進行對于所述移動體區(qū)域的第二圖像處理，并且，所述第一圖像處理和所述第二圖像處理為不同的圖像處理。
23.根據(jù)權利要求21所述的計算機程序，其中在所述移動體區(qū)域在所述多個幀圖像中的所述一個幀圖像中所占的比例比預定值小時，不對所述背景區(qū)域進行所述模糊處理。
24. 根據(jù)權利要求22所述的計算機程序，其中所述笫二圖像處理包括銳化處理、增強對比度的對比度轉換處理、以及邊緣增強處理中的至少一種圖像處理。
25. 根據(jù)權利要求21所述的計算機程序，其中作為所述模糊處理，進行平均化處理、中值濾波器處理、減弱對比度的對比度轉換處理、以及鑲嵌處理中的至少一種圖像處理。
26. —種由圖像處理裝置進行的用來進行包括多個幀圖像的動態(tài) 圖像的圖像處理的計算機程序，包括使所述圖像處理裝置進行包括以下兩種處理的圖像處理根據(jù)成為校正對象的第一幀圖像和該第一幀圖像的k幀前的第二幀圖像的差值、以及所述第一幀圖像和該第一幀圖像的k幀后的第三幀圖像的差值，從所述第一幀圖像中抽出制造移動體的像素，并且制造使用移動體區(qū)域和背景區(qū)域形成的掩模圖像的第一處理，所述移動體區(qū)域包括制造所述移動體的像素組，所述背景區(qū)域包括不制造所述移動體的像素組，其中k為自然數(shù)；以及使用所述掩模圖像判定制造所述第一幀圖像的各個像素是包含在所述背景區(qū)域中還是包含在所述移動體區(qū)域中，并對所述背景區(qū)域的像素進行第一圖像處理，來制造校正幀圖像的第二處理，其中，在第二處理中對所述背景區(qū)域進行的所述第一圖像處理為模糊處理，并且對于所述背景區(qū)域的所述模糊處理隨著所述移動體區(qū) 域在所述第一幀圖像中所占的比率增大而增強。
27. 根據(jù)權利要求26所述的計算機程序，其中，在所述第二處理中進行對于所述移動體區(qū)域的像素的第二圖像處理，并且，所述第一圖像處理和所述第二圖像處理為不同的圖像處理。
28. 根據(jù)權利要求26所述的計算機程序，其中在所述移動體區(qū)域在所述第一幀圖像中所占的比例比預定值小時，在所述第一圖像處理中不對所述像素進行才莫糊處理。
29. 根據(jù)權利要求27所述的計算機程序，其中所述第二圖像處理包括銳化處理、增強對比度的對比度轉換處理、以及邊緣增強處理中的至少一種圖像處理。
30. 根據(jù)權利要求26所述的計算機程序，其中作為所述模糊處理，進行平均化處理、中值濾波器處理、減弱對比度的對比度轉換處理、以及鑲嵌處理中的至少一種圖像處理。
全文摘要
本發(fā)明為圖像處理方法、圖像處理系統(tǒng)、以及計算機程序。基于時間上連續(xù)的三個幀圖像的差值圖像，從中央的幀圖像中抽出顯示移動體的移動體區(qū)域和背景區(qū)域。對移動體區(qū)域的圖像進行對比度增強等使圖像更清晰的處理。另一方面，對背景區(qū)域的圖像進行平均化處理等的模糊處理。在該模糊處理中，移動體區(qū)域在幀圖像中所占的比例越大，越大程度地進行使背景區(qū)域的圖像模糊的處理。
文檔編號H04N1/409GK101527773SQ20091012619
公開日2009年9月9日申請日期2009年3月5日優(yōu)先權日2008年3月5日
發(fā)明者田村輝申請人:株式會社半導體能源研究所

完整全部詳細技術資料下載