專利名稱：圖像處理設(shè)備和方法,以及圖像拾取設(shè)備的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種圖像處理設(shè)備和方法，以及圖像捕捉設(shè)備，并尤其涉及其中對傳感器檢測到的信號與真實世界之間的差異加以考慮的圖像處理設(shè)備和方法以及圖像捕捉設(shè)備。
背景技術(shù)：
用于由傳感器檢測真實世界中發(fā)生的入射以及用于處理從圖像傳感器輸出的采樣數(shù)據(jù)的技術(shù)已經(jīng)得以廣泛使用。
例如，在通過用攝像機捕捉預(yù)定靜止背景之前移動的對象所獲得的圖像內(nèi)，如果移動速度較高，則發(fā)生運動模糊(motion blur)。
然而，當(dāng)對象在靜止背景之前移動時，不僅發(fā)生移動對象本身混合而造成的運動模糊，而且也發(fā)生背景圖像和對象圖像的混合。迄今，還沒有考慮到處理背景圖像與移動對象的混合狀態(tài)的方法。

發(fā)明內(nèi)容
本發(fā)明已經(jīng)鑒于上述背景技術(shù)而作出。因此，本發(fā)明的目的是使檢測到圖像中的混合狀態(tài)成為可能。
本發(fā)明的第一圖像處理設(shè)備包括區(qū)域規(guī)定裝置，用于對應(yīng)于圖像數(shù)據(jù)規(guī)定其中形成前景對象的前景對象分量和形成背景對象的背景對象分量混合的混合區(qū)域以及由前景區(qū)域和背景區(qū)域形成的非混合區(qū)域，其中前景區(qū)域僅由前景對象分量構(gòu)成，而背景區(qū)域僅由背景對象分量構(gòu)成；以及混合比估算裝置，用于基于混合區(qū)域在相對于前景對象分量移動方向的預(yù)定方向上的寬度與在所述預(yù)定方向上從指定像素的位置到混合區(qū)域的邊緣的距離的比，來估算表示所述指定像素的前景對象分量與背景對象分量之間的比的混合比，其中該混合區(qū)域的寬度是由區(qū)域信息指定的。
圖像處理設(shè)備還包括運動矢量檢測裝置，用于檢測前景對象的運動矢量。混合比估算裝置可以檢測混合區(qū)域的寬度以及在運動矢量的移動方向上從指定像素位置到混合區(qū)域邊緣的距離，并可以基于混合區(qū)域的寬度與從指定像素的位置到混合區(qū)域邊緣的距離的比來估算混合比。
圖像處理設(shè)備還可以包括移動方向檢測裝置，用于檢測前景對象的移動方向。混合比估算裝置可以檢測混合區(qū)域的寬度以及在移動方向上從指定像素的位置到混合區(qū)域邊緣的距離，并可以基于混合區(qū)域的寬度與從指定像素的位置到混合區(qū)域的邊緣的距離的比估算混合比。
移動方向檢測裝置可以包括運動矢量產(chǎn)生裝置，用于基于區(qū)域信息和混合區(qū)域在指定幀中的位置及混合區(qū)域在指定幀附近的幀中的位置產(chǎn)生運動矢量，由此可以基于所產(chǎn)生的運動矢量檢測移動方向。
本發(fā)明的第一圖像處理方法包括區(qū)域規(guī)定步驟，用于對應(yīng)于圖像數(shù)據(jù)規(guī)定由形成前景對象的前景對象分量和形成背景對象的背景對象分量混合而成的混合區(qū)域，以及由前景區(qū)域和背景區(qū)域形成的非混合區(qū)域，其中前景區(qū)域僅由前景對象分量構(gòu)成，而背景區(qū)域僅由背景對象分量構(gòu)成；以及混合比估算步驟，用于基于混合區(qū)域在相對于前景對象分量移動方向的預(yù)定方向上的寬度與預(yù)定方向上從指定像素的位置到混合區(qū)域邊緣的距離的比來估算表示指定像素的前景對象分量和背景對象分量之間的比的混合比，其中該混合區(qū)域的寬度是由區(qū)域信息指定的。
圖像處理方法還可以包括檢測前景對象的運動矢量的運動矢量檢測步驟。在混合比估算步驟中，可以在運動矢量的移動方向上檢測混合區(qū)域的寬度和從指定像素的位置到混合區(qū)域邊緣的距離，并且可以基于混合區(qū)域的寬度與從指定像素的位置到混合區(qū)域邊緣的比來估算混合比。
圖像處理方法還可以包括檢測前景對象的移動方向的移動方向檢測步驟。在混合比估算步驟中，可以在移動方向上檢測混合區(qū)域的寬度和從指定像素的位置到混合區(qū)域邊緣的距離，并且可以基于混合區(qū)域的寬度與從指定像素的位置到混合區(qū)域邊緣的比來估算混合比。
移動方向檢測步驟可以包括運動矢量產(chǎn)生步驟，用于基于區(qū)域信息和混合區(qū)域在指定幀中的位置以及混合區(qū)域在指定幀附近的幀中的位置產(chǎn)生運動矢量，由此可以基于所產(chǎn)生的運動矢量檢測移動方向。
本發(fā)明的第一記錄介質(zhì)的程序包括區(qū)域規(guī)定步驟，用于對應(yīng)于圖像數(shù)據(jù)規(guī)定由形成前景對象的前景對象分量和形成背景對象的背景對象分量混合而成的混合區(qū)域，以及由前景區(qū)域和背景區(qū)域形成的非混合區(qū)域，其中前景區(qū)域僅由前景對象分量構(gòu)成，而背景區(qū)域僅由背景對象分量構(gòu)成；以及混合比估算步驟，用于基于混合區(qū)域在相對于前景對象分量移動方向的預(yù)定方向上的寬度與預(yù)定方向上從指定像素的位置到混合區(qū)域邊緣的距離的比來估算表示指定像素的前景對象分量和背景對象分量之間的比的混合比，其中該混合區(qū)域的寬度是由區(qū)域信息指定的。
該程序還可以包括檢測前景對象的運動矢量的運動矢量檢測步驟。在混合比估算步驟中，可以在運動矢量的移動方向上檢測混合區(qū)域的寬度和從指定像素的位置到混合區(qū)域邊緣的距離，并且可以基于混合區(qū)域的寬度與從指定像素的位置到混合區(qū)域邊緣的比來估算混合比。
該程序還可以包括檢測前景對象的移動方向的移動方向檢測步驟。在混合比估算步驟中，可以在移動方向上檢測混合區(qū)域的寬度和從指定像素的位置到混合區(qū)域邊緣的距離，并且可以基于混合區(qū)域的寬度與從指定像素的位置到混合區(qū)域邊緣的比來估算混合比。
移動方向檢測步驟可以包括運動矢量產(chǎn)生步驟，用于基于區(qū)域信息和混合區(qū)域在指定幀中的位置以及混合區(qū)域在指定幀附近的幀中的位置產(chǎn)生運動矢量，由此可以基于所產(chǎn)生的運動矢量檢測移動方向。
本發(fā)明的第一程序允許計算機執(zhí)行如下步驟區(qū)域規(guī)定步驟，用于對應(yīng)于圖像數(shù)據(jù)規(guī)定由形成前景對象的前景對象分量和形成背景對象的背景對象分量混合而成的混合區(qū)域，以及由前景區(qū)域和背景區(qū)域形成的非混合區(qū)域，其中前景區(qū)域僅由前景對象分量構(gòu)成，而背景區(qū)域僅由背景對象分量構(gòu)成；以及混合比估算步驟，用于基于混合區(qū)域在相對于前景對象分量移動方向的預(yù)定方向上的寬度與預(yù)定方向上從指定像素的位置到混合區(qū)域邊緣的距離的比來估算表示指定像素的前景對象分量和背景對象分量之間的比的混合比，其中該混合區(qū)域的寬度是由區(qū)域信息指定的。
該程序還包括檢測前景對象的運動矢量的運動矢量檢測步驟，在混合比估算步驟中，可以在運動矢量的移動方向上檢測混合區(qū)域的寬度和從指定像素的位置到混合區(qū)域邊緣的距離，并且可以基于混合區(qū)域的寬度與從指定像素的位置到混合區(qū)域邊緣的比來估算混合比。
該程序還可以包括檢測前景對象的移動方向的移動方向檢測步驟。在混合比估算步驟中，可以在移動方向上檢測混合區(qū)域的寬度和從指定像素的位置到混合區(qū)域邊緣的距離，并且可以基于混合區(qū)域的寬度與從指定像素的位置到混合區(qū)域邊緣的比來估算混合比。
移動方向檢測步驟可以包括運動矢量產(chǎn)生步驟，用于基于區(qū)域信息和混合區(qū)域在指定幀中的位置以及混合區(qū)域在指定幀附近的幀中的位置產(chǎn)生運動矢量，由此可以基于所產(chǎn)生的運動矢量檢測移動方向。
本發(fā)明的第一圖像捕捉設(shè)備包括圖像捕捉裝置，用于輸出作為由預(yù)定數(shù)量像素數(shù)據(jù)形成的圖像數(shù)據(jù)的主體圖像，該主體圖像由圖像捕捉器件捕捉該圖像捕捉裝置包括預(yù)定數(shù)量的像素，各像素具有的時積(timeintegrating)功能；區(qū)域規(guī)定裝置，用于對應(yīng)于圖像數(shù)據(jù)規(guī)定由形成前景對象的前景對象分量和形成背景對象的背景對象分量混合而成的混合區(qū)域，以及由前景區(qū)域和背景區(qū)域形成的非混合區(qū)域，其中前景區(qū)域僅由前景對象分量構(gòu)成，而背景區(qū)域僅由背景對象分量構(gòu)成；以及混合比估算裝置，用以基于混合區(qū)域在相對于前景對象分量移動方向的預(yù)定方向上的寬度與預(yù)定方向上從指定像素的位置到混合區(qū)域邊緣的距離的比來估算表示指定像素的前景對象分量和背景對象分量之間的比的混合比，其中該混合區(qū)域的寬度是由區(qū)域信息指定的。
圖像捕捉設(shè)備還包括用于檢測前景對象的運動矢量的運動矢量檢測裝置，混合比估算裝置可以檢測混合區(qū)域的寬度以及在運動矢量的移動方向上從指定像素位置到混合區(qū)域邊緣的距離，并可以基于混合區(qū)域的寬度與從指定像素的位置到混合區(qū)域邊緣的距離的比來估算混合比。
圖像捕捉設(shè)備還可以包括移動方向檢測裝置，用于檢測前景對象的移動方向?；旌媳裙浪阊b置可以檢測混合區(qū)域的寬度以及在移動方向上從指定像素的位置到混合區(qū)域邊緣的距離，并可以基于混合區(qū)域的寬度與從指定像素的位置到混合區(qū)域的邊緣的距離的比估算混合比。
移動方向檢測裝置可以包括運動矢量產(chǎn)生裝置，用于基于區(qū)域信息和混合區(qū)域在指定幀中的位置及混合區(qū)域在指定幀附近的幀中的位置產(chǎn)生運動矢量，由此可以基于所產(chǎn)生的運動矢量檢測移動方向。
本發(fā)明的第二圖像處理設(shè)備包括用于輸出區(qū)域信息的區(qū)域規(guī)定裝置，用來對應(yīng)于圖像數(shù)據(jù)規(guī)定由形成前景對象的前景對象分量和形成背景對象的背景對象分量混合而成的混合區(qū)域；以及混合比估算裝置，用于基于區(qū)域信息和前景對象的移動方向，通過假設(shè)混合比相對于像素位置基本線性地變化來估算表示混合區(qū)域內(nèi)前景對象分量和背景對象分量的比的混合比。
混合比估算裝置可以基于在一片段上的位置估算對應(yīng)于在該片段上的位置的像素的混合比，其中所述片段一端位于僅由前景對象分量構(gòu)成的前景區(qū)域，而另一端位于僅由背景對象分量構(gòu)成的背景區(qū)域，該片段橫截混合區(qū)域。
混合比估算裝置可以基于在平行于前景對象移動方向的片段上的位置來估算與該片段上的位置相對應(yīng)的像素的混合比。
混合比估算裝置可以基于在與前景對象移動方向斜交的片段上的位置來估算與該片段上的位置相對應(yīng)的像素的混合比。
本發(fā)明的第二圖像處理方法包括輸出區(qū)域信息的區(qū)域規(guī)定步驟，該區(qū)域信息用于對應(yīng)于圖像數(shù)據(jù)規(guī)定由形成前景對象的前景對象分量和形成背景對象的背景對象分量混合而成的混合區(qū)域；以及混合比估算步驟，用于基于區(qū)域信息和前景對象的移動方向，通過假設(shè)混合比相對于像素位置基本線性地變化來估算表示混合區(qū)域內(nèi)前景對象分量和背景對象分量的比的混合比。
在混合比估算步驟中，基于在一片段上的位置估算對應(yīng)于在該片段上的位置的像素的混合比，其中所述片段一端位于僅由前景對象分量構(gòu)成的前景區(qū)域，而另一端位于僅由背景對象分量構(gòu)成的背景區(qū)域，該片段橫截混合區(qū)域。
在混合比估算步驟中，可以基于在平行于前景對象移動方向的片段上的位置估算與該片段上的位置相對應(yīng)的像素的混合比。
在混合比估算步驟中，可以基于在與前景對象移動方向斜交的片段上的位置來估算與該片段上的位置相對應(yīng)的像素的混合比。
本發(fā)明的第二記錄介質(zhì)的程序包括輸出區(qū)域信息的區(qū)域規(guī)定步驟，該區(qū)域信息用于對應(yīng)于圖像數(shù)據(jù)規(guī)定由形成前景對象的前景對象分量和形成背景對象的背景對象分量混合而成的混合區(qū)域；以及混合比估算步驟，用于基于區(qū)域信息和前景對象的移動方向，通過假設(shè)混合比相對于像素位置基本線性地變化來估算表示混合區(qū)域內(nèi)前景對象分量和背景對象分量的比的混合比。
在混合比估算步驟中，基于在一片段上的位置估算對應(yīng)于在該片段上的位置的像素的混合比，其中所述片段一端位于僅由前景對象分量構(gòu)成的前景區(qū)域，而另一端位于僅由背景對象分量構(gòu)成的背景區(qū)域，該片段橫截混合區(qū)域。
在混合比估算步驟中，可以基于在平行于前景對象移動方向的片段上的位置估算與該片段上的位置相對應(yīng)的像素的混合比。
在混合比估算步驟中，可以基于在與前景對象移動方向斜交的片段上的位置來估算與該片段上的位置相對應(yīng)的像素的混合比。
本發(fā)明的第二程序允許計算機執(zhí)行以下步驟輸出區(qū)域信息的區(qū)域規(guī)定步驟，該區(qū)域信息用于對應(yīng)于圖像數(shù)據(jù)規(guī)定由形成前景對象的前景對象分量和形成背景對象的背景對象分量混合而成的混合區(qū)域；以及混合比估算步驟，用于基于區(qū)域信息和前景對象的移動方向，通過假設(shè)混合比相對于像素位置基本線性地變化來估算表示混合區(qū)域內(nèi)前景對象分量和背景對象分量的比的混合比。
在混合比估算步驟中，基于在一片段上的位置估算對應(yīng)于在該片段上的位置的像素的混合比，其中所述片段一端位于僅由前景對象分量構(gòu)成的前景區(qū)域，而另一端位于僅由背景對象分量構(gòu)成的背景區(qū)域，該片段橫截混合區(qū)域。
在混合比估算步驟中，可以基于在平行于前景對象移動方向的片段上的位置估算與該片段上的位置相對應(yīng)的像素的混合比。
在混合比估算步驟中，可以基于在與前景對象移動方向斜交的片段上的位置來估算與該片段上的位置相對應(yīng)的像素的混合比。
本發(fā)明的第二圖像捕捉設(shè)備包括圖像捕捉裝置，用于輸出圖像捕捉器件所捕捉的主體圖像作為預(yù)定數(shù)量像素數(shù)據(jù)形成的圖像數(shù)據(jù)，該圖像捕捉器件包括預(yù)定數(shù)量像素，該像素具有時積功能；用于輸出區(qū)域信息的規(guī)定裝置，用于對應(yīng)于圖像數(shù)據(jù)規(guī)定由形成前景對象的前景對象分量和形成背景對象的背景對象分量混合而成的混合區(qū)域；以及混合比估算裝置，用以基于區(qū)域信息和前景對象的移動方向，通過假設(shè)混合比相對于像素位置基本線性地變化來估算表示混合區(qū)域內(nèi)前景對象分量和背景對象分量的比的混合比。
混合比估算裝置可以基于在一片段上的位置估算對應(yīng)于在該片段上的位置的像素的混合比，其中所述片段一端位于僅由前景對象分量構(gòu)成的前景區(qū)域，而另一端位于僅由背景對象分量構(gòu)成的背景區(qū)域，該片段橫截混合區(qū)域。
混合比估算裝置可以基于在平行于前景對象移動方向的片段上的位置估算與該片段上的位置相對應(yīng)的像素的混合比。
混合比估算裝置可以基于在與前景對象移動方向斜交的片段上的位置來估算與該片段上的位置相對應(yīng)的像素的混合比。
對應(yīng)于圖像數(shù)據(jù)，規(guī)定由形成前景對象的前景對象分量和形成背景對象的背景對象分量混合而成的混合區(qū)域，以及由前景區(qū)域和背景區(qū)域形成的非混合區(qū)域，其中前景區(qū)域僅由前景對象分量構(gòu)成，而背景區(qū)域僅由背景對象分量構(gòu)成。基于混合區(qū)域在相對于前景對象分量移動方向的預(yù)定方向上的寬度與預(yù)定方向上從指定像素的位置到混合區(qū)域邊緣的距離的比，估算表示指定像素的前景對象分量和背景對象分量之間的比的混合比，其中該混合區(qū)域的寬度是由區(qū)域信息指定的。
輸出用于對應(yīng)于圖像數(shù)據(jù)規(guī)定由形成前景對象的前景對象分量和形成背景對象的背景對象分量混合而成的混合區(qū)域的區(qū)域信息?；趨^(qū)域信息和前景對象的移動方向通過假設(shè)混合比相對于像素位置基本線性地變化來估算表示前景對象分量和背景對象分量的比的混合比。
通過這種配置，可以檢測圖像中的混合狀態(tài)。


圖1示出根據(jù)本發(fā)明的圖像處理設(shè)備的實施例；圖2是示出圖像處理設(shè)備的方塊圖；圖3示出傳感器所執(zhí)行的圖像捕捉(image-capturing)；圖4示出像素的排列；圖5示出檢測器件的工作原理；圖6A示出通過對對應(yīng)于移動前景的對象和對應(yīng)于靜止背景的對象進行圖像捕捉所獲得的圖像；圖6B示出通過對對應(yīng)于移動前景的對象和對應(yīng)于靜止背景的對象進行圖像捕捉所獲得的圖像的模型；圖7示出背景區(qū)域、前景區(qū)域、混合區(qū)域、覆蓋的背景區(qū)域以及未覆蓋的背景區(qū)域；圖8示出通過在時間方向上擴展圖像中并排排列成一行的各像素的像素值所獲得的模型，其中圖像是通過圖像捕捉對應(yīng)于靜止前景的對象和對應(yīng)于靜止背景的對象而獲得的；圖9示出一模型，其中像素值在時間方向上擴展且對應(yīng)于快門時間的時段被分割；圖10示出一模型，其中像素值在時間方向上擴展且對應(yīng)于快門時間的時段被分割；圖11示出一模型，其中像素值在時間方向上擴展且對應(yīng)于快門時間的時段被分割；圖12示出在前景區(qū)域、背景區(qū)域和混合區(qū)域內(nèi)提取像素的示例；圖13示出各像素與通過在時間方向上擴展像素值而獲得的模型之間的關(guān)系；圖14示出一模型，其中像素值在時間方向上擴展且對應(yīng)于快門時間的時段被分割；圖15示出一模型，其中像素值在時間方向上擴展且對應(yīng)于快門時間的時段被分割；圖16示出一模型，其中像素值在時間方向上擴展且對應(yīng)于快門時間的時段被分割；圖17示出一模型，其中像素值在時間方向上擴展且對應(yīng)于快門時間的時段被分割；圖18示出一模型，其中像素值在時間方向上擴展且對應(yīng)于快門時間的時段被分割；圖19是說明用于調(diào)節(jié)運動模糊量的過程的方塊圖；圖20是示出區(qū)域規(guī)定單元103的結(jié)構(gòu)示例的方塊圖；圖21示出對應(yīng)于前景的對象移動時的圖像；圖22示出一模型，其中像素值在時間方向上擴展且對應(yīng)于快門時間的時段被分割；圖23示出一模型，其中像素值在時間方向上擴展且對應(yīng)于快門時間的時段被分割；圖24示出一模型，其中像素值在時間方向上擴展且對應(yīng)于快門時間的時段被分割；圖25示出用于確定區(qū)域的條件；
圖26A示出通過區(qū)域規(guī)定單元103規(guī)定區(qū)域而獲得的結(jié)果的示例；圖26B示出通過區(qū)域規(guī)定單元103規(guī)定區(qū)域而獲得的結(jié)果的示例；圖26C示出通過區(qū)域規(guī)定單元103規(guī)定區(qū)域而獲得的結(jié)果的示例；圖26D示出通過區(qū)域規(guī)定單元103規(guī)定區(qū)域而獲得的結(jié)果的示例；圖27示出通過區(qū)域規(guī)定單元103規(guī)定區(qū)域而獲得的結(jié)果的示例；圖28是說明區(qū)域規(guī)定過程的流程圖；圖29是示出區(qū)域規(guī)定單元103的結(jié)構(gòu)的另一示例的方塊圖；圖30示出一模型，其中像素值在時間方向上擴展且對應(yīng)于快門時間的時段被分割；圖31示出背景圖像的示例；圖32是示出二元對象圖像提取部分302的結(jié)構(gòu)的方塊圖；圖33A示出相關(guān)性值計算；圖33B示出相關(guān)性值計算；圖34A示出相關(guān)性值計算；圖34B示出相關(guān)性值計算；圖35示出二元對象圖像的示例；圖36是示出時變檢測器303的結(jié)構(gòu)的方塊圖；圖37示出區(qū)域確定部分342作出的判定；圖38示出由時變檢測器303作出的判定的示例；圖39是示出區(qū)域規(guī)定單元103執(zhí)行的區(qū)域規(guī)定過程的流程圖；圖40是示出區(qū)域判定過程的細(xì)節(jié)的流程圖；圖41是示出區(qū)域規(guī)定單元103的另一結(jié)構(gòu)的方塊圖；圖42是示出加強處理部分361的結(jié)構(gòu)的方塊圖；圖43示出運動補償器381所執(zhí)行的運動補償；圖44示出運動補償器381所執(zhí)行的運動補償；圖45是示出區(qū)域規(guī)定過程的流程圖；圖46是示出加強處理的細(xì)節(jié)的流程圖；圖47是示出混合比計算器104的結(jié)構(gòu)的方塊圖；圖48示出理想混合比α的示例；圖49示出一模型，其中像素值在時間方向上擴展且對應(yīng)于快門時間的時段被分割；
圖50示出一模型，其中像素值在時間方向上擴展且對應(yīng)于快門時間的時段被分割；圖52示出一模型，其中像素值在時間方向上擴展且對應(yīng)于快門時間的時段被分割；圖53示出用于計算混合比α的過程；圖54是示出用于計算混合比α的過程的流程圖；圖55是示出用于計算屬于混合區(qū)域的像素的混合比α的過程的流程圖；圖56是示出前景/背景分離器105的結(jié)構(gòu)示例的方塊圖；圖57A示出輸入圖像、前景分量圖像和背景分量圖像；圖57B示出輸入圖像、前景分量圖像和背景分量圖像的模型；圖58示出一模型，其中像素值在時間方向上擴展且對應(yīng)于快門時間的時段被分割；圖59示出一模型，其中像素值在時間方向上擴展且對應(yīng)于快門時間的時段被分割；圖60示出一模型，其中像素值在時間方向上擴展且對應(yīng)于快門時間的時段被分割；圖61是示出分離部分601的結(jié)構(gòu)示例的方塊圖；圖62A示出被分離的前景分量圖像的示例；圖62B示出被分離的背景分量圖像的示例；圖63是示出用于分離前景和背景的過程的流程圖；圖64是示出根據(jù)本發(fā)明的圖像處理設(shè)備的另一種結(jié)構(gòu)的方塊圖；圖65是示出移動(moving)方向估算單元701的結(jié)構(gòu)的方塊圖；圖66示出運動(motion)矢量檢測器721的區(qū)段匹配；圖67A示出評價區(qū)段；圖67B示出評價區(qū)段；圖67C示出評價區(qū)段；圖67D示出評價區(qū)段；圖68是示出混合比計算器702的結(jié)構(gòu)的方塊圖；圖69是示出前景/背景分離過程的流程圖；圖70是示出移動方向獲取過程的流程圖；圖71是示出用于計算混合比α的過程的流程圖；
圖72是示出用于計算屬于混合區(qū)域的像素的混合比α的過程的流程圖；圖73是示出根據(jù)本發(fā)明的圖像處理設(shè)備的再一種結(jié)構(gòu)的方塊圖；圖74是示出前景/背景分離過程的流程圖。
具體實施例方式
圖1示出根據(jù)本發(fā)明的圖像處理設(shè)備的實施例。CPU(中央處理單元)21根據(jù)存儲在ROM(只讀存儲器)22和在存儲單元28內(nèi)的程序執(zhí)行各種類型的進程。由CPU 21執(zhí)行的程序和數(shù)據(jù)按需要存儲在RAM(隨機存取存儲器)23中。CPU 21、ROM 22和RAM 23彼此通過總線24連接。
輸入/輸出接口25也經(jīng)由總線24連接到CPU 21上。由鍵盤、鼠標(biāo)、麥克風(fēng)等形成的輸入單元26和由顯示器、揚聲器等形成的輸出單元27連接到輸入/輸出接口25上。CPU 21響應(yīng)從輸入單元26輸入的命令執(zhí)行各種類型的進程。CPU 21然后將作為進程結(jié)果所獲得的圖像和聲音輸出到輸出單元27。
連接到輸入/輸出接口25上的存儲單元28例如由硬盤形成，并存儲CPU21所執(zhí)行的程序和各種數(shù)據(jù)。通信單元29經(jīng)由互聯(lián)網(wǎng)或其他網(wǎng)絡(luò)與外設(shè)通信。在這個示例中，通信單元29作用為獲取傳感器輸出的獲取單元。
另外，程序可以經(jīng)由通信單元29獲得并存儲在存儲單元28內(nèi)。
連接到輸入/輸出接口25上的驅(qū)動器30在磁盤51、光盤52、磁光盤53、半導(dǎo)體存儲器54等連接到驅(qū)動器30上時驅(qū)動上述記錄介質(zhì)，并獲取在相應(yīng)介質(zhì)內(nèi)存儲的程序或數(shù)據(jù)。所獲得的程序或數(shù)據(jù)傳送到存儲單元28，并按需要存儲在其中。
圖2是示出圖像處理設(shè)備的方塊圖。
圖像處理設(shè)備的各個功能是由硬件還是由軟件來實現(xiàn)并不重要。即，這個說明書中的方塊圖可以是硬件方塊圖，或軟件功能性方塊圖。
在這個說明書中，與真實世界中的對象相對應(yīng)的要捕捉的圖像稱為圖像目標(biāo)。
供給到圖像處理設(shè)備的輸入圖像被提供給目標(biāo)提取單元101、區(qū)域規(guī)定單元103和前景/背景分離器105。
目標(biāo)提取單元101提取與輸入圖像中所包含的前景對象相對應(yīng)的粗略圖像目標(biāo)，并將所提取的圖像目標(biāo)供給到運動檢測器102。目標(biāo)提取單元101例如檢測輸入圖像中所包含的前景圖像目標(biāo)的輪廓，以便提取與前景對象相對應(yīng)的粗略圖像目標(biāo)。
目標(biāo)提取單元101提取與輸入圖像中所包含的背景對象相對應(yīng)的粗略圖像目標(biāo)，并將所提取的圖像目標(biāo)供給到運動檢測器102。目標(biāo)提取單元101例如根據(jù)輸入圖像和所提取的與前景對象相對應(yīng)的圖像目標(biāo)之間的差中提取與背景對象相對應(yīng)的粗略圖像目標(biāo)。
另外，例如，目標(biāo)提取單元101可以根據(jù)存儲在內(nèi)置背景存儲器內(nèi)的背景圖像與輸入圖像的差中提取與前景對象相對應(yīng)的粗略圖像目標(biāo)和與背景對象相對應(yīng)的粗略圖像目標(biāo)。
運動檢測器102根據(jù)諸如區(qū)段匹配、梯度、相位對比的技術(shù)或像素回歸(pel-recursive)技術(shù)計算粗略提取的與前景對象相對應(yīng)的圖像目標(biāo)的運動矢量，并將所計算的運動矢量和運動矢量位置信息(該信息未用于規(guī)定與運動矢量相對應(yīng)的像素的位置的信息)提供到區(qū)域規(guī)定單元103和混合比計算器104。
從運動檢測器102輸出的運動矢量包含對應(yīng)于移動量v的信息。
運動檢測器102可以與用于規(guī)定圖像目標(biāo)的像素的像素位置信息一起將每個圖像目標(biāo)的運動矢量提供給區(qū)域規(guī)定單元103和混合比計算器104。
移動量v是以像素間距為單位的表示對應(yīng)于移動對象的圖像的位置變化的值。例如，如果對應(yīng)于前景的對象圖像移動成使得在其位于隨后的幀中時，它顯示在遠(yuǎn)離基準(zhǔn)幀四個像素的位置處，則對應(yīng)于前景的對象圖像的運動量v為4。
區(qū)域規(guī)定單元103確定輸入圖像的每個像素輸入前景區(qū)域、背景區(qū)域或混合區(qū)域，并將表示每個像素所屬區(qū)域的信息(以下稱為區(qū)域信息)提供給混合比計算器104和前景/背景分離器105。
混合比計算器104基于自運動檢測器102提供的像素運動矢量和位置信息以及自區(qū)域規(guī)定單元103提供的區(qū)域信息計算與混合區(qū)域內(nèi)包含的像素相對應(yīng)的混合比(以下稱為混合比α)，并將所計算的混合比提供給前景/背景分離器105。
混合比α是表示對應(yīng)于背景對象的圖像分量(以下也稱為背景分量)與公式(3)所表示的像素值的比的數(shù)值，其中公式(3)在下面示出。
前景/背景分離器105基于從區(qū)域規(guī)定單元103提供的區(qū)域信息和從混合比計算器104提供的混合比α將輸入圖像分離成僅由與前景對象相對應(yīng)的圖像分量(以下也稱為前景分量)形成的前景分量圖像和僅由背景分量形成的背景分量圖像，并輸出前景分量圖像和背景分量圖像。
與其中僅僅規(guī)定前景和背景而沒有考慮混合區(qū)域的已知方法相比，可以獲得更精確的前景和背景。
下面參照圖3到18討論提供到圖像處理設(shè)備上的輸入圖像。
圖3示出由傳感器執(zhí)行的圖像捕捉。該傳感器例如由設(shè)置有CCD區(qū)域傳感器的CCD(電荷耦合器件)攝像機形成，這是一種固態(tài)圖像捕捉器件。與真實世界內(nèi)的前景相對應(yīng)的對象111例如水平從左向右在對應(yīng)于背景的對象112和傳感器之間移動。
傳感器與對應(yīng)于背景的對象112的圖像一起捕捉與前景相對應(yīng)的對象111的圖像，傳感器以幀為單位輸出所捕捉的圖像，例如，傳感器輸出每秒30幀的圖像。傳感器的曝光時間可以為1/30秒。曝光時間是從傳感器開始將光轉(zhuǎn)變?yōu)殡姾蓵r起直到從輸入光到電荷的轉(zhuǎn)變結(jié)束時為止的時段。曝光時間也稱為快門時間。
圖4示出像素的排列。在圖4中，A到I表示單個像素。像素設(shè)置在相應(yīng)圖像的平面上。與像素一一對應(yīng)的檢測器件設(shè)置在傳感器上。當(dāng)傳感器進行圖像捕捉時，每個檢測器件輸出構(gòu)成圖像的相應(yīng)像素的像素值，例如，檢測器件在X方向上的位置對應(yīng)于圖像的水平方向，而檢測器件在Y方向上的位置對應(yīng)于圖像上的垂直方向。
如圖5所示，例如為CCD的檢測器件在對應(yīng)于快門時間的時段內(nèi)將輸入光轉(zhuǎn)變?yōu)殡姾桑⒋鎯λD(zhuǎn)變的電荷。電荷量幾乎正比于輸入光的強度和光輸入的時段。在對應(yīng)于快門時間的時段內(nèi)，檢測裝置依次將自輸入光轉(zhuǎn)變的電荷添加到存儲的電荷上。即，檢測裝置在對應(yīng)于快門時間的時段內(nèi)累積輸入光，并存儲與所累積的光量相對應(yīng)的電荷?？梢钥紤]到檢測器件具有相對于時間的積分功能。
存儲在檢測器件內(nèi)的電荷由電路(未示出)轉(zhuǎn)變?yōu)殡妷褐?，而電壓值進一步轉(zhuǎn)變?yōu)槿鐢?shù)字?jǐn)?shù)據(jù)的像素值并輸出。于是，從傳感器輸出的每個像素值為在線性空間上突出的值，這是對應(yīng)于前景或背景的對象的特定三維部分相對于快門時間積分的結(jié)果。
通過傳感器的存儲操作，圖像處理設(shè)備提取輸出信號中包含的有意義的信息，例如混合比α。圖像處理設(shè)備調(diào)節(jié)前景圖像目標(biāo)自身混合所造成的失真量，例如運動模糊量。圖像處理設(shè)備也調(diào)節(jié)由前景圖像目標(biāo)和背景圖像目標(biāo)混合而造成的失真量。
圖6A示出通過捕捉對應(yīng)于前景的移動對象和對應(yīng)于背景的靜止對象而獲得的圖像，圖6B示出通過捕捉對應(yīng)于前景的移動對象和對應(yīng)于背景的靜止對象所獲得的圖像。
圖6A示出通過捕捉對應(yīng)于前景的移動對象和對應(yīng)于背景的靜止對象而獲得的圖像，在圖6A所示的示例中，對應(yīng)于前景的對象相對于屏幕從左向右水平移動。
圖6B示出通過在時間方向上擴展對應(yīng)于圖6A所示的圖像的一行的像素值所獲得的模型。圖6B所示的水平方向?qū)?yīng)于圖6A中的空間方向X。
在背景區(qū)域內(nèi)的像素值僅由背景分量，即對應(yīng)于背景對象的圖像分量形成。在前景區(qū)域內(nèi)的像素值僅由前景分量，即對應(yīng)于前景對象的圖像分量形成。
混合區(qū)域的像素值由背景分量和前景分量形成。由于混合區(qū)域內(nèi)的像素值由背景分量和前景分量形成，因此它可以稱為失真區(qū)域?；旌蠀^(qū)域還分成覆蓋的背景區(qū)域和未覆蓋的背景區(qū)域。
覆蓋的背景區(qū)域為在與前景對象移動的方向的前端相對應(yīng)的位置處的混合區(qū)域，在此，隨著時間流逝，背景分量逐漸被前景覆蓋。
相反，未覆蓋區(qū)域時對應(yīng)于前景對象移動方向的后端的混合區(qū)域，在此，背景分量隨著時間逐漸顯現(xiàn)。
如上所述，包含前景區(qū)域、背景區(qū)域或覆蓋的背景區(qū)域或未覆蓋的背景區(qū)域的圖像作為輸入圖像輸入到區(qū)域規(guī)定單元103、混合比計算器104和前景/背景分離器105內(nèi)。
圖7示出如上所述的背景區(qū)域、前景區(qū)域、混合區(qū)域、覆蓋的背景區(qū)域和未覆蓋的背景區(qū)域。在對應(yīng)于圖6A所示的圖像的區(qū)域內(nèi)，背景區(qū)域為靜止部分，前景區(qū)域為移動部分，混合區(qū)域的覆蓋背景區(qū)域為從背景向前景變化的部分，而混合區(qū)域的未覆蓋的背景區(qū)域為從前景向背景變化的部分。
圖8示出通過在時間方向上擴展圖像中并排排列成一行的像素的像素值而獲得的模型，其中圖像是通過捕捉與靜止前景相對應(yīng)的對象的圖像和與靜止背景相對應(yīng)的對象的圖像來獲得的。例如，作為并排排列成一行的像素，可以選擇屏幕上一行內(nèi)排列的各像素。
由圖8中所示的F01到F04所表示的像素值是對應(yīng)于靜止前景的對象的像素的值，由圖8中所示的B01到B04所表示的像素值是對應(yīng)于靜止背景的對象的像素的值。
時間在圖8的垂直方向上從頂部向頂部流逝，在圖8中矩形頂邊處的位置對應(yīng)于傳感器開始將輸入光轉(zhuǎn)變?yōu)殡姾傻臅r刻，而在圖8中矩形底邊處的位置對應(yīng)于從輸入光向電荷在轉(zhuǎn)變完成的時刻。即，從圖8中矩形的頂邊到底邊的距離對應(yīng)于快門時間。
假設(shè)例如快門時間等于幀長，下面描述圖8中所示的像素。
圖8中水平方向?qū)?yīng)于圖6A中的空間方向X，更具體地說，在圖8所示的示例中，從圖8中F01表示的矩形的左邊到B04表示的矩形的右邊的距離為像素間距的八倍，即八個相繼的像素。
當(dāng)前景對象和背景對象是靜止的時，輸入到傳感器內(nèi)的光在對應(yīng)于快門時間的時段內(nèi)不會改變。
對應(yīng)于快門時間的時段被分成兩或多部分的相等時段。例如，如果虛擬(virtual)分隔部分的數(shù)量為4，則圖8中所示的模型可以由圖9中所示的模型代表。虛擬分隔的部分的數(shù)量可以根據(jù)快門時間內(nèi)與前景相對應(yīng)的對象的移動量v來設(shè)定。例如，當(dāng)移動量v為4時，虛擬分隔部分的數(shù)量設(shè)定為4，而對應(yīng)于快門時間的時段分隔成四個部分。
圖9中最上部的行對應(yīng)于自快門開啟起的第一分隔時段。圖9中第二行對應(yīng)于自快門開啟起的第二分隔時段。圖9中第三行對應(yīng)于自快門開啟起的第三分隔時段，圖9中第四行對應(yīng)于自快門開啟起的第四分隔時段。
下面，根據(jù)移動量v分隔的快門時間也稱為“快門時間/v”。
當(dāng)對應(yīng)于前景的對象是靜止的時，輸入到傳感器內(nèi)的時間不會變化，由此，前景分量F01/v等于將像素值F01除以虛擬分隔的部分的數(shù)量所得到的值。類似地，當(dāng)對應(yīng)于前景的對象是靜止的時，前景分量F02/v等于通過將像素值F02除以虛擬分隔的部分的數(shù)量所獲得的值，前景分量F03/v等于通過將像素值F03除以虛擬分隔的部分的數(shù)量所獲得的值，而前景分量F04/v等于通過將像素值F04除以虛擬分隔的部分的數(shù)量所獲得的值。
當(dāng)對應(yīng)于背景的對象是靜止的時，輸入到傳感器內(nèi)的光不會變化，因此，背景分量B01/v等于通過將背景分量B01除以虛擬分隔的部分的數(shù)量所獲得的值，類似地，當(dāng)對應(yīng)于背景的對象時靜止的時，背景分量B02/v等于通過將像素值B02除以虛擬分隔的部分的數(shù)量所獲得的值，背景分量B03/v等于通過將像素值B03除以虛擬分隔的部分的數(shù)量所獲得的值，而背景分量B04/v等于通過將像素值B04除以虛擬分隔的部分的數(shù)量所獲得的值。
更具體地說，當(dāng)對應(yīng)于前景的對象是靜止的時，輸入傳感器中的對應(yīng)于前景對象的光在與快門時間相對應(yīng)的時段內(nèi)不會變化，于是，對應(yīng)于自快門開啟時起的快門時間/v的第一部分的前景分量F01/v、對應(yīng)于自快門開始時起的快門時間/v的第二部分的前景分量F01/v、對應(yīng)于自快門開始時起的快門時間/v的第三部分的前景分量F03/v以及對應(yīng)于自快門開啟時起的快門時間/v的第四部分的前景分量F04/v變成相同的值，與F01/v的情況相同的情況應(yīng)用于F02/v到F04/v上。
當(dāng)對應(yīng)于背景的對象是靜止的時，輸入到傳感器中的對應(yīng)于背景對象的光在與快門時間相對應(yīng)的時段內(nèi)不變，于是，對應(yīng)于自快門開啟時起的快門時間/v的第一部分的背景分量B01/v、對應(yīng)于自快門開始時起的快門時間/v的第二部分的背景分量B01/v、對應(yīng)于自快門開始時起的快門時間/v的第三部分的背景分量B03/v以及對應(yīng)于自快門開啟時起的快門時間/v的第四部分的背景分量B04/v變成相同的值，相同的情況應(yīng)用于B02/v到B04/v上。
下面給出對應(yīng)于前景的對象時移動的而對應(yīng)于背景的對象是靜止的情況的描述。
圖10示出在對應(yīng)于前景的對象向圖10中的右側(cè)移動時，通過沿時間方向在包括覆蓋的背景區(qū)域的一行上展開像素值所獲得的模型。在圖10中，移動量v為4。由于一個幀是很短的時間段，因此可以假設(shè)對應(yīng)于前景的對象為以恒定速度移動的剛體。在圖10中，對應(yīng)于前景的對象圖像移動，以至于當(dāng)它顯示在隨后的幀中時，它定位于相對基準(zhǔn)幀向右四個像素。
在圖10中，從最左側(cè)的像素到第四像素屬于前景區(qū)域，在圖10中，從自左邊起第五像素到第七像素屬于混合區(qū)域，其為覆蓋的背景區(qū)域，在圖10中最右側(cè)的像素屬于背景區(qū)域。
對應(yīng)于前景的對象移動，以至于它隨著時間流逝逐漸覆蓋對應(yīng)于背景的對象。于是，在對應(yīng)于快門時間的時段內(nèi)，包含在屬于覆蓋背景區(qū)域的像素的像素值之內(nèi)的分量在特定時刻從背景分量向前景分量變化。
例如，圖10中粗線框所圍繞的像素值M由下面的公式(1)表示M＝B02/v+B02/v+F07/v+F06/v例如，左起第五像素包含對應(yīng)于快門時間/v的一個部分的背景分量和對應(yīng)于快門時間/v的三個部分的前景分量，從而左起第五像素的混合比α為1/4。左起第六像素包含對應(yīng)于快門時間/v的兩個部分的背景分量和對應(yīng)于快門時間/v的兩個部分的前景分量，從而左起第六像素的混合比α為1/2。左起第七像素包含對應(yīng)于快門時間/v的三個部分的背景分量和對應(yīng)于快門時間/v的一個部分的前景分量，從而左起第五像素的混合比α為3/4。
可以假設(shè)對應(yīng)于前景的對象是剛體，且前景對象以恒定速度移動，以至于它在隨后的幀中顯示成向右四個像素。于是，例如，從圖10中左起第四像素的與自快門開啟時的起快門時間/v的第一部分相對應(yīng)的前景分量F07/v等于從圖10中左起第五像素的與自快門開啟時的起快門時間/v的第二部分相對應(yīng)的前景分量，類似地，前景分量F07/v等于從圖10中左起第六像素的與自快門開啟時的起快門時間/v的第三部分相對應(yīng)的前景分量，以及從圖10中左起第七像素的與自快門開啟時的起快門時間/v的第四部分相對應(yīng)的前景分量。
可以假設(shè)對應(yīng)于前景的對象是剛體，且前景對象以恒定速度移動，以至于它在隨后的幀中顯示成向右四個像素，于是，例如，從圖10中左起第三像素的與自快門開啟時的起快門時間/v的第一部分相對應(yīng)的前景分量F06/v等于從圖10中左起第四像素的與自快門開啟時的起快門時間/v的第二部分相對應(yīng)的前景分量，類似地，前景分量F06/v等于從圖10中左起第五像素的與自快門開啟時的起快門時間/v的第三部分相對應(yīng)的前景分量，以及從圖10中左起第六像素的與自快門開啟時的起快門時間/v的第四部分相對應(yīng)的前景分量。
可以假設(shè)對應(yīng)于前景的對象是剛體，且前景對象以恒定速度移動，以至于它在隨后的幀中顯示成向右四個像素。于是，例如，從圖10中左起第二像素的與自快門開啟時的起快門時間/v的第一部分相對應(yīng)的前景分量F05/v等于從圖10中左起第三像素的與自快門開啟時的起快門時間/v的第二部分相對應(yīng)的前景分量，類似地，前景分量F05/v等于從圖10中左起第四像素的與自快門開啟時的起快門時間/v的第三部分相對應(yīng)的前景分量，以及從圖10中左起第五像素的與自快門開啟時的起快門時間/v的第四部分相對應(yīng)的前景分量。
可以假設(shè)對應(yīng)于前景的對象是剛體，且前景對象以恒定速度移動，以至于它在隨后的幀中顯示成向右四個像素。于是，例如，圖10中最左側(cè)像素的與自快門開啟時的起快門時間/v的第一部分相對應(yīng)的前景分量F04/v等于從圖10中左起第二像素的與自快門開啟時的起快門時間/v的第二部分相對應(yīng)的前景分量，類似地，前景分量F04/v等于從圖10中左起第三像素的與自快門開啟時的起快門時間/v的第三部分相對應(yīng)的前景分量，以及從圖10中左起第四像素的與自快門開啟時的起快門時間/v的第四部分相對應(yīng)的前景分量。
由于對應(yīng)于移動對象的前景區(qū)域如上所述包含運動模糊，也可以將其稱為失真區(qū)域。
圖11示出在對應(yīng)于前景的對象向圖11中右側(cè)移動時通過沿時間方向在包括未覆蓋背景區(qū)域的一行上展開像素的像素值所獲得的模型。在圖11中，運動量v為4。由于一個幀是較短的時間段，因此可以假設(shè)對應(yīng)于前景的對象是以恒定速度移動的剛體。在圖11中，對應(yīng)于前景的對象圖像向右移動，以至于在它于隨后的幀中顯示時，它定位于相對于基準(zhǔn)幀向右四個像素。
在圖11中，從最左側(cè)像素到第四像素的像素屬于背景區(qū)域，在圖11中，左起第五像素到第七像素屬于混合區(qū)域，該區(qū)域為未覆蓋背景區(qū)域。在圖11中，最右側(cè)像素屬于前景區(qū)域。
覆蓋對應(yīng)于背景的對象的對應(yīng)于前景的對象移動，以至于隨著時間流逝它逐漸從對應(yīng)于背景的對象上移開。于是，包含在屬于未覆蓋背景區(qū)域的像素的像素值內(nèi)的分量在對應(yīng)于快門時間的時段內(nèi)的特定時刻從前景分量向背景分量變化。
例如，由圖11中較深幀所圍繞的像素值M′由公式(2)表示。
M′＝F02/v+F01/v+B26/v+B26/v例如，左起第五像素包含對應(yīng)于快門時間/v的三個部分的背景分量和對應(yīng)于快門時間/v的一個部分的前景分量，從而左起第五像素的混合比α為3/4，左起第六像素包含對應(yīng)于快門時間/v的兩個部分的背景分量和對應(yīng)于快門時間/v的兩個部分的前景分量，從而左起第六像素的混合比α為1/2。左起第七像素包含對應(yīng)于快門時間/v的一個部分的背景分量和對應(yīng)于快門時間/v的三個部分的前景分量，從而左起第七像素的混合比α為1/4。
概括公式(1)和(2)，像素值M可以由公式(3)表示M=α·B+ΣiFi/v---(3)]]>其中，α是混合比，B表示背景的像素值，而Fi/v指代前景分量。
可以假設(shè)對應(yīng)于前景的對象是剛性的，其以恒定速度移動，且移動量為4。于是，例如，圖11中左起第五像素的與從快門開啟時起快門時間/v的第一部分相對應(yīng)的前景分量F01/v等于圖11中左起第六像素的與從快門開啟時起快門時間/v的第二部分相對應(yīng)的前景分量。類似地，前景分量F01/v等于圖11中左起第七像素的與從快門開啟時起快門時間/v的第三部分相對應(yīng)的前景分量，和圖11中左起第八像素的與從快門開啟時起快門時間/v的第四部分相對應(yīng)的前景分量。
可以假設(shè)對應(yīng)于前景的對象是剛性的，其以恒定速度移動，且移動量為4。于是，例如，圖11中左起第六像素的與從快門開啟時起快門時間/v的第一部分相對應(yīng)的前景分量F02/v等于圖11中左起第七像素的與從快門開啟時起快門時間/v的第二部分相對應(yīng)的前景分量。類似地，前景分量F02/v等于圖11中左起第八像素的與從快門開啟時起快門時間/v的第三部分相對應(yīng)的前景分量。
可以假設(shè)對應(yīng)于前景的對象是剛性的，其以恒定速度移動，且移動量為4。于是，例如，圖11中左起第七像素的與從快門開啟時起快門時間/v的第一部分相對應(yīng)的前景分量F03/v等于圖11中左起第八像素的與從快門開啟時起快門時間/v的第二部分相對應(yīng)的前景分量。
已經(jīng)參照圖9到圖11描述了虛擬分隔部分的數(shù)量為4的情況。虛擬分隔部分的數(shù)量與移動量v一致。通常，移動量v與對應(yīng)于前景的對象的移動速度一致。例如，如果對應(yīng)于前景的對象移動使得它在隨后的幀中定位時，它顯示為相對于特定幀向右四個像素，則移動量v設(shè)定為4。虛擬分隔部分的數(shù)量根據(jù)移動量v而設(shè)定為4。類似地，當(dāng)對應(yīng)于前景的對象移動使得它在隨后的幀中定位時它顯示為相對于特定幀向右六個像素，則移動量v設(shè)定為6，并且虛擬分隔部分的數(shù)量設(shè)定為6。
圖12和13示出如上所述的前景區(qū)域、背景區(qū)域和覆蓋背景或未覆蓋背景構(gòu)成的混合區(qū)域與與快門時間所分隔的各時間段相對應(yīng)的前景分量和背景分量的關(guān)系。
圖12示出從包含前景的圖像中提取前景區(qū)域、背景區(qū)域和混合區(qū)域內(nèi)的像素的示例，其中該前景對應(yīng)于在靜止背景之前移動的對象。在圖12所示的示例中，A所標(biāo)示的對應(yīng)于前景的對象相對于屏幕水平移動。
幀#n+1是幀#n隨后的幀，而幀#n+2是幀#n+1隨后的幀。
前景區(qū)域、背景區(qū)域和混合區(qū)域內(nèi)的像素從幀#n到幀#n+2之一中提取，且移動量v設(shè)定為4。通過在時間方向上擴展所提取像素的像素值而獲得的模型在圖13中示出。
由于對應(yīng)于前景的對象移動，因此在前景區(qū)域內(nèi)的像素值由對應(yīng)于快門時間/v的四個不同前景分量形成。例如，圖13所示的前景區(qū)域內(nèi)的各像素中的最左側(cè)像素由F01/v、F02/v、F03/v和F04/v構(gòu)成，即，前景中的像素包含運動模糊。
由于對應(yīng)于背景的對象是靜止的，因此輸入到傳感器內(nèi)的與背景相對應(yīng)的光在快門時間內(nèi)不會變化。在這種情況下，背景區(qū)域內(nèi)的像素值不包含運動模糊。
在覆蓋背景區(qū)域或未覆蓋背景區(qū)域構(gòu)成的混合區(qū)域內(nèi)的像素值由前景分量和背景分量形成。
下面給出對通過在時間方向上擴展各像素的像素值而獲得的模型的描述，其中各像素在多個幀中并排排列成一行，且在對應(yīng)于對象的圖像移動時位于各幀中的相同位置處。例如，當(dāng)對應(yīng)于對象的圖像相對于屏幕水平移動時，在屏幕上成一行的像素可以被選為并排排列成一行的像素。
圖14示出通過在時間方向上擴展各像素所獲得的模型，其中個像素在圖像的三個幀中并排排列成一行且在各幀中位于相同位置處，而該圖像是通過捕捉與靜止背景相對應(yīng)的對象獲得的。幀#n是幀#n-1隨后的幀，而幀#n+1是幀#n隨后的幀，相同的情況適用于其他各幀上。
圖14所示的像素值B01到B12是對應(yīng)于靜止背景對象的像素值。由于對應(yīng)于背景的對象是靜止的，在幀#n-1到幀#n+1內(nèi)的相應(yīng)像素的像素值不變。例如，位于與幀#n-1中像素值為B05的幀相應(yīng)位置處的幀#n內(nèi)的像素和幀#n+1內(nèi)的像素像素值為B05。
圖15示出通過在時間方向上擴展像素而獲得的模型，各像素在圖像的三個幀中并排排列成一行并在各幀中位于相同位置處，其中圖像是通過與對應(yīng)于靜止背景的對象一起捕捉對應(yīng)于前景的對象而獲得的，而前景向圖15中的右側(cè)移動。圖15所示的模型包含覆蓋背景區(qū)域。
在圖15中，可以假設(shè)對應(yīng)于前景的對象是以恒定速度移動的剛體，且它移動成使得在隨后的幀中它顯示成向右四個像素。于是，移動量v為4，且虛擬分隔部分是4。
例如，圖15中幀#n-1的最左側(cè)像素中的、與自快門開啟時的起快門時間/v的第一部分相對應(yīng)的前景分量為F12/v，而自圖15中左起第二像素中的、與自快門開啟時的起快門時間/v的第二部分相對應(yīng)的前景分量為F12/v。自圖15中左起第三像素中的、與自快門開啟時的起快門時間/v的第三部分相對應(yīng)的前景分量以及自圖15中左起第四像素中的、與自快門開啟時的起快門時間/v的第四部分相對應(yīng)的前景分量為F12/v。
圖15中幀#n-1的最左側(cè)像素中的、與自快門開啟時的起快門時間/v的第二部分相對應(yīng)的前景分量為F11/v，而自圖15中左起第二像素中的、與自快門開啟時的起快門時間/v的第三部分相對應(yīng)的前景分量為F11/v。自圖15中左起第三像素中的、與自快門開啟時的起快門時間/v的第四部分相對應(yīng)的前景分量為F11/v。
圖15中幀#n-1的最左側(cè)像素中的、與自快門開啟時的起快門時間/v的第三部分相對應(yīng)的前景分量為F10/v。自圖1 5中左起第二像素中的、與自快門開啟時的起快門時間/v的第四部分相對應(yīng)的前景分量為F10/v。圖15中幀#n-1的最左側(cè)像素中的、與自快門開啟時的起快門時間/v的第四部分相對應(yīng)的前景分量為F09/v。
由于對應(yīng)于背景的對象是靜止的，因此，從圖15中幀#n-1左起第二像素中的、與自快門開啟時的起快門時間/v的第一部分相對應(yīng)的背景分量為B01/v。從圖15中幀#n-1的左起第三像素中的、與自快門開啟時起的快門時間/v的第一部分和第二部分相對應(yīng)的背景分量為B02/v。從圖15中幀#n-1左起第四像素中的、與自快門開啟時的起快門時間/v的第一到第三部分相對應(yīng)的背景分量為B03/v。
在圖15的幀#n-1中，最左側(cè)像素屬于前景區(qū)域，而從左起第二到第四像素屬于混合區(qū)域，該混合區(qū)域為覆蓋背景區(qū)域。
從圖15中幀#n-1的左起第五到第十二像素屬于背景區(qū)域，而它們的像素值分別為B01到B11。
從圖15中幀#n的左起第一到第五像素屬于前景區(qū)域，幀#n前景區(qū)域內(nèi)快門時間/v中的前景分量為F05/v到F12/v中的任一個。
可以假設(shè)對應(yīng)于前景的對象是以恒定速度移動的剛體，且它移動成使得前景圖像在隨后的幀中顯示成向右四個像素。于是，從圖15中幀#n左起第五像素的與自快門開啟時起的快門時間/v的第一部分相對應(yīng)的前景分量為F12/v，而自圖15的左起第六像素的與從快門開啟時起快門時間/v的第二部分相對應(yīng)的前景分量也為F12/v。自圖15的左起第七像素的與從快門開啟時起快門時間/v的第三部分相對應(yīng)的前景分量以及自圖15的左起第八像素的與從快門開啟時起快門時間/v的第四部分相對應(yīng)的前景分量都為F12/v。
自圖15的幀#n左起第五像素的與從快門開啟時起快門時間/v的第二部分相對應(yīng)的前景分量為F11/v，自圖15左起第六像素的與從快門開啟時起快門時間/v的第三部分相對應(yīng)的前景分量也為F11/v，自圖15左起第七像素的與從快門開啟時起快門時間/v的第四部分相對應(yīng)的前景分量為F11/v。
自圖15的幀#n左起第五像素的與從快門開啟時起快門時間/v的第三部分相對應(yīng)的前景分量為F10/v，自圖1 5左起第六像素的與從快門開啟時起快門時間/v的第四部分相對應(yīng)的前景分量也為F10/v。自圖15的幀#n左起第五像素的與從快門開啟時起快門時間/v的第四部分相對應(yīng)的前景分量為F09/v。
由于對應(yīng)于背景的對象是靜止的，從圖15中幀#n的左起第六像素的對應(yīng)于自快門開啟時起的快門時間/v的第一部分的背景分量為B05/v。從圖15中幀#n的左起第七像素的對應(yīng)于自快門開啟時起的快門時間/v的第一和第二部分的背景分量為B06/v。從圖15中幀#n的左起第七像素的對應(yīng)于自快門開啟時起的快門時間/v的第一到第三部分的背景分量為B07/v。
在圖15中的幀#n中，從左起第六到第八像素屬于混合區(qū)域，該混合區(qū)域為覆蓋背景區(qū)域。
從圖15中幀#n的左起第九到第十二像素屬于背景區(qū)域，而其像素值分別為B08到B11。
從圖15中幀#n-1左起第一到第九像素屬于前景區(qū)域，在幀#n-1前景區(qū)域內(nèi)的快門時間/v的前景分量為F01/v到F12/v中任一個。
可以假設(shè)對應(yīng)于前景的對象是以恒定速度移動的剛體，且它移動成使得前景圖像在隨后的幀中顯示成向右四個像素。于是，自圖15中幀#n+1的左起第九像素的與從快門開啟時起快門時間/v的第一部分相對應(yīng)的前景分量是F12/v，而從圖15左起第十像素的與自快門開啟時的起快門時間/v的第二部分相對應(yīng)的前景分量也是F12/v。從圖15左起第十一像素的與自快門開啟時的起快門時間/v的第三部分相對應(yīng)的前景分量以及從圖15左起第十二像素的與自快門開啟時的起快門時間/v的第四部分相對應(yīng)的前景分量都是F12/v。
自圖15中幀#n+1的左起第九像素的與從快門開啟時起快門時間/v的第二部分相對應(yīng)的前景分量是F11/v。從圖15左起第十像素的與自快門開啟時的起快門時間/v的第三部分相對應(yīng)的前景分量也是F11/v。從圖15左起第十一像素的與自快門開啟時的起快門時間/v的第四部分相對應(yīng)的前景分量是F11/v。
自圖15中幀#n+1的左起第九像素的與從快門開啟時起快門時間/v的第三部分相對應(yīng)的前景分量是F10/v。從圖15左起第十像素的與自快門開啟時的起快門時間/v的第四部分相對應(yīng)的前景分量也是F10/v。從圖15中幀#n+1左起第九像素的與自快門開啟時的起快門時間/v的第四部分相對應(yīng)的前景分量是F09/v。
由于對應(yīng)于背景的對象是靜止的，從圖15中幀#n+1的左起第十像素的與快門開啟時起快門時間/v的第一部分相對應(yīng)的背景分量為B09/v。從圖15中幀#n+1的左起第十一像素的與快門開啟時起快門時間/v的第一和第二部分相對應(yīng)的背景分量為B10/v。從圖15中幀#n+1的左起第十二像素的與快門開啟時起快門時間/v的第一到第三部分相對應(yīng)的背景分量為B11/v。
在圖15的幀#n+1中，左起第十到第十二像素屬于混合區(qū)域，該混合區(qū)域是覆蓋的背景區(qū)域。
圖16是通過從圖15所示的像素值中提取前景分量而獲得的圖像的模型。
圖17示出通過在時間方向上擴展像素而獲得的模型，該像素在圖像的三個幀中并排排列成一行并在各幀中位于相同位置處，其中圖像是通過與對應(yīng)于靜止背景的對象一起捕捉對應(yīng)于在圖17中向右移動的前景的對象而獲得的。圖17所示的模型包含未覆蓋背景區(qū)域。
在圖17中，可以假設(shè)對應(yīng)于前景的對象是以恒定速度移動的剛體，且它移動成在隨后的幀中它顯示成向右四個像素。于是，移動量v為4。
例如，圖17中幀#n-1的最左側(cè)像素的與自快門開啟時的起快門時間/v的第一部分相對應(yīng)的前景分量為F13/v，且從圖17中左起第二像素的與自快門開啟時起快門時間的第二部分相對應(yīng)的前景分量也為F13/v。從圖17中左起第三像素的與自快門開啟時起快門時間的第三部分相對應(yīng)的前景分量和從圖17中左起第四像素的與自快門開啟時起快門時間的第四部分相對應(yīng)的前景分量都為F13/v。
從圖17中幀#n-1的左起第二像素的與從快門開啟時起快門時間/v的第一部分相對應(yīng)的前景分量為F14/v。從圖17中左起第三像素的與自快門開啟時起快門時間的第二部分相對應(yīng)的前景分量也為F14/v。從圖17中左起第三像素的與自快門開啟時起快門時間的第一部分相對應(yīng)的前景分量為F15/v。
由于對應(yīng)于背景的對象是靜止的，圖17中幀#n-1最左側(cè)的像素的與從快門開啟時起快門時間/v的第二到第四部分相對應(yīng)的背景分量為B25/v。從圖1 7中幀#n-1左起第二像素的與從快門開啟時起快門時間/v的第三和第四部分相對應(yīng)的背景分量是B26/v。從圖17中幀#n-1左起第三像素的與從快門開啟時起快門時間/v的第四部分相對應(yīng)的背景分量為B27/v。
在圖17的幀#n-1中，最左側(cè)像素到第三像素屬于混合區(qū)域，該混合區(qū)域是未覆蓋背景區(qū)域。
從圖17的幀#n-1的左起第四到第十二像素屬于前景區(qū)域。這個幀的前景分量為F13/v到F24/v中任一個。
從圖17的幀#n的左起最左側(cè)像素到第四像素屬于背景區(qū)域，且其像素值分別為B25到B28。
可以假設(shè)對應(yīng)于前景的對象是以恒定速度移動的剛體，且它移動成使得它在隨后的幀中顯示成向右四個像素。于是，從圖17的幀#n的左側(cè)其第五像素的與自快門開啟時的起快門時間/v的第一部分相對應(yīng)的前景分量為F13/v，而從圖17左起第六像素的與自快門開啟時的起快門時間/v的第二部分相對應(yīng)的前景分量也是F13/v。從圖17左起第七像素的與自快門開啟時的起快門時間/v的第三部分相對應(yīng)的前景分量和從圖17左起第八像素的與自快門開啟時的起快門時間/v的第四部分相對應(yīng)的前景分量都是F13/v。
從圖17的幀#n的左側(cè)其第六像素的與自快門開啟時的起快門時間/v的第一部分相對應(yīng)的前景分量為F14/v。從圖17左起第七像素的與自快門開啟時的起快門時間/v的第二部分相對應(yīng)的前景分量也是F14/v。從圖17左起第八像素的與自快門開啟時的起快門時間/v的第一部分相對應(yīng)的前景分量為F15/v。
由于對應(yīng)于背景的對象是靜止的，因此，從圖17的幀#n的左起第五像素的與自快門開啟時的起快門時間/v的第二到第四部分相對應(yīng)的背景分量為B29/v。從圖17的幀#n的左起第六像素的與自快門開啟時的起快門時間/v的第三和第四部分相對應(yīng)的背景分量為B30/v。從圖17的幀#n的左起第七像素的與自快門開啟時的起快門時間/v的第四部分相對應(yīng)的背景分量為B31/v。
在圖17的幀#n中，從左起第五像素到第七像素屬于混合區(qū)域，該混合區(qū)域為未覆蓋背景區(qū)域。
從圖17的幀#n的左起第八到第十二像素屬于前景區(qū)域，在幀#n前景區(qū)域中與快門時間/v的時間段相對應(yīng)的值為F13/v到F20/v中任一個。
從圖17的幀#n+1的左起最左側(cè)像素到第八像素屬于背景區(qū)域，且其像素值分別為B25到B32。
可以假設(shè)對應(yīng)于前景的對象是以恒定速度移動的剛體，且它移動成使得它在隨后的幀中顯示成向右四個像素。于是，從圖17中幀#n+1的左起第九像素的與自快門開啟時的起快門時間/v的第一部分相對應(yīng)的前景分量為F13/v，而從圖17中左起第十像素的自快門開啟時起快門時間/v的第二部分相對應(yīng)的前景分量也為F13/v。從圖17中左起第十一像素的自快門開啟時起快門時間/v的第三部分相對應(yīng)的前景分量和從圖17中左起第十二像素的自快門開啟時起快門時間/v的第四部分相對應(yīng)的前景分量為F13/v。
從圖17中幀#n+1的左起第十像素的與自快門開啟時的起快門時間/v的第一部分相對應(yīng)的前景分量為F14/v。從圖17中左起第十一像素的自快門開啟時起快門時間/v的第二部分相對應(yīng)的前景分量也為F14/v。從圖17中左起第十二像素的自快門開啟時起快門時間/v的第一部分相對應(yīng)的前景分量為F15/v。
由于對應(yīng)于背景的對象是靜止的，因此，從圖17的幀#n+1的左起第九像素的與自快門開啟時的起快門時間/v的第二到第四部分相對應(yīng)的背景分量為B33/v。從圖17的幀#n+1的左起第十像素的與自快門開啟時的起快門時間/v的第三和第四部分相對應(yīng)的背景分量為B34/v。從圖17的幀#n+1的左起第十一像素的與自快門開啟時的起快門時間/v的第四部分相對應(yīng)的背景分量為B35/v。
在圖17的幀#n+1中，從圖17左起第九到第十一像素屬于混合區(qū)域，這個混合區(qū)域是未覆蓋背景區(qū)域。
從圖17中幀#n+1左起第十二像素屬于前景區(qū)域，在幀#n+1的前景區(qū)域中快門時間/v內(nèi)的前景分量分別是F13到F16中任一個。
圖18示出通過從圖17所示的像素值中提取前景分量而獲得的圖像的模型。
返回參照圖2，區(qū)域規(guī)定單元103利用多個幀的像素值規(guī)定表示輸入圖像中各個像素屬于前景區(qū)域、背景區(qū)域、覆蓋背景區(qū)域或未覆蓋背景區(qū)域中那個區(qū)域的標(biāo)志，并將該標(biāo)志作為區(qū)域信息供給混合比計算器104。
混合比計算器104基于多個幀的像素值和區(qū)域信息對混合區(qū)域內(nèi)包含的每個像素計算混合比α，并將所計算的混合比α提供給前景/背景分離器105。
前景/背景分離器105基于多個像素的像素值、區(qū)域信息和混合比α提取僅由前景分量構(gòu)成的前景分量圖像和僅由背景分量構(gòu)成的背景分量圖像，并輸出前景分量圖像和背景分量圖像。
下面參照圖19的流程圖描述圖像處理設(shè)備所執(zhí)行的前景/背景分離過程。在步驟S11，運動檢測器102根據(jù)諸如區(qū)段匹配、梯度、相位相關(guān)技術(shù)或像素回歸技術(shù)計算與前景對象相對應(yīng)的圖像目標(biāo)的運動矢量，并將所計算的運動矢量和運動矢量位置信息提供給區(qū)域規(guī)定單元103和混合比計算器104。
在步驟S12，區(qū)域規(guī)定單元103基于輸入圖像執(zhí)行區(qū)域規(guī)定過程，用以產(chǎn)生表示輸入圖像的每個像素屬于前景區(qū)域、背景區(qū)域、覆蓋背景區(qū)域、未覆蓋背景區(qū)域中那個區(qū)域的區(qū)域信息。下面給出區(qū)域規(guī)定過程的細(xì)節(jié)。區(qū)域規(guī)定單元103將所產(chǎn)生的區(qū)域信息提供給混合比計算器104。
在步驟S12，區(qū)域規(guī)定單元103可以基于輸入圖像產(chǎn)生表示輸入圖像的每個像素屬于前景區(qū)域、背景區(qū)域或混合區(qū)域(無論每個圖像屬于覆蓋背景區(qū)域或未覆蓋背景區(qū)域)的區(qū)域信息。在這種情況下，前景/背景分離器105基于運動矢量的方向確定混合區(qū)域是覆蓋背景區(qū)域還是未覆蓋背景區(qū)域。例如，如果輸入圖像在運動矢量方向上以前景區(qū)域、混合區(qū)域和背景區(qū)域的順序設(shè)置，可以確定混合區(qū)域是覆蓋背景區(qū)域。如果輸入圖像在運動矢量方向上以背景區(qū)域、混合區(qū)域和前景區(qū)域的順序設(shè)置，則可以確定混合區(qū)域是未覆蓋背景區(qū)域。
在步驟S13中，混合比計算器104基于運動矢量及其位置信息為包含在混合區(qū)域內(nèi)的每個像素計算混合比α。下面給出混合比計算過程的細(xì)節(jié)。混合比計算器104將所計算的混合比α提供到前景/背景分離器105。
在步驟S14中，前景/背景分離器105基于區(qū)域信息和混合比α從輸入圖像中提取前景分量和背景分量，并基于所提取的前景分量合成前景分量圖像，也基于所提取的背景分量合成背景分量圖像。前景/背景分離器105輸出前景分量圖像和背景分量圖像，然后該過程結(jié)束。下面討論前景/背景分離過程的細(xì)節(jié)。
如上所述，圖像處理設(shè)備能夠計算混合比α，并能夠基于所計算的混合比α分離前景和背景。
區(qū)域規(guī)定單元103、混合比計算器104和前景/背景分離器105中每一個的結(jié)構(gòu)描述如下圖20是示出區(qū)域規(guī)定單元103的結(jié)構(gòu)示例的方塊圖。圖20所示的區(qū)域規(guī)定單元103不使用運動矢量。幀存儲器201以幀為單位存儲輸入圖像。當(dāng)要處理的圖像為幀#n時，幀存儲器201存儲作為幀#n之前兩幀的幀#n-2、作為幀#n之前一幀的幀#n-1、幀#n、幀#n之后一幀的幀#n+1、幀#n之后兩幀的幀#n+2。
靜止/移動確定部分202-1從幀存儲器201中讀取幀#n+2的位于與幀#n的指定像素相同位置處的像素的像素值，其中已經(jīng)確定了該像素屬于哪個區(qū)域，并讀取幀#n+1中的位于與幀#n的指定像素相同位置處的像素的像素值，并且計算所讀取的像素值之間差的絕對值。靜止/移動確定部分202-1確定幀#n+2的像素值和幀#n+1的像素值之間的差的絕對值是否大于預(yù)設(shè)閾值Th，如果確定出該差值大于閾值Th，則向區(qū)域確定部分203-1提供表示“移動”的靜止/移動判定。如果幀#n+2的像素的像素值和幀#n+1的像素的像素值之間的差值小于或等于閾值Th，則靜止/移動確定部分202-1向區(qū)域確定部分203-1提供表示“靜止”的靜止/移動判定。
靜止/移動確定部分202-2從幀存儲器201讀取幀#n的指定像素的像素值，其中已經(jīng)確定了該像素屬于哪個區(qū)域，并讀取幀#n+1中的位于與幀#n的指定像素相同位置處的像素的像素值，且計算各像素值之間的差值的絕對值。靜止/移動確定部分202-2確定幀#n+1的像素值和幀#n的像素值之間的差值的絕對值是否大于預(yù)設(shè)閾值Th，如果確定出像素值之間的差值的絕對值大于閾值Th，則向區(qū)域確定部分203-1和區(qū)域確定部分203-2提供表示“移動”的靜止/移動判定。如果確定出幀#n+1的像素的像素值和幀#n的像素的像素值之間的差值的絕對值小于或等于閾值Th，則靜止/移動確定部分202-2將表示“靜止”的靜止/移動判定提供給區(qū)域確定部分203-1和區(qū)域確定部分203-2。
靜止/移動確定部分202-3從幀存儲器201中讀取幀#n的指定像素的像素值，其中已經(jīng)確定了該像素屬于哪個區(qū)域，并讀取幀#n-1中的位于與幀#n的指定像素相同位置處的像素的像素值，且計算各像素值之間的差值的絕對值。靜止/移動確定部分202-3確定幀#n-1的像素值和幀#n的像素值之間的差值的絕對值是否大于預(yù)設(shè)閾值Th，如果確定出像素值之間的差值的絕對值大于閾值Th，則向區(qū)域確定部分203-2和區(qū)域確定部分203-3提供表示“移動”的靜止/移動判定。如果確定出幀#n的像素的像素值和幀#n-1的像素的像素值之間的差值的絕對值小于或等于閾值Th，則靜止/移動確定部分202-3將表示“靜止”的靜止/移動判定提供給區(qū)域確定部分203-2和區(qū)域確定部分203-3。
靜止/移動確定部分202-4從幀存儲器201中讀取幀#n-1中的位于與幀#n的指定像素相同位置處的像素的像素值，其中已經(jīng)確定了該像素屬于哪個區(qū)域，并讀取幀#n-2中的位于與幀#n的指定像素相同位置處的像素的像素值，并且計算各像素值之間差的絕對值。靜止/移動確定部分202-4確定幀#n-1的像素值和幀#n-2的像素值之間的差的絕對值是否大于預(yù)設(shè)閾值Th，如果確定出各像素值之間的差值的絕對值大于閾值Th，則向區(qū)域確定部分203-3提供表示“移動”的靜止/移動判定。如果確定出幀#n-1的像素的像素值和幀#n-2的像素的像素值之間的差值的絕對值小于或等于閾值Th，則靜止/移動確定部分202-4向區(qū)域確定部分203-3提供表示“靜止”的靜止/移動判定。
在從靜止/移動確定部分202-1提供的靜止/移動判定表示“靜止”時，且在從靜止/移動確定部分202-1提供的靜止/移動判定表示“移動”時，區(qū)域確定部分203-1確定幀#n的指定像素屬于未覆蓋背景區(qū)域，并在與指定像素相關(guān)的未覆蓋背景區(qū)域確定標(biāo)志中設(shè)定“1”，這表示指定像素屬于未覆蓋背景區(qū)域。
在從靜止/移動確定部分202-1提供的靜止/移動判定表示“移動”時，且在從靜止/移動確定部分202-1提供的靜止/移動判定表示“靜止”時，則區(qū)域規(guī)定單元203-1確定幀#n的指定像素不屬于未覆蓋背景區(qū)域，并在與指定像素相關(guān)的未覆蓋背景區(qū)域確定標(biāo)志中設(shè)定“0”，這表示指定像素不屬于未覆蓋背景區(qū)域。
區(qū)域確定部分203-1向確定標(biāo)志存儲幀存儲器204提供如上所述設(shè)定“1”或“0”的未覆蓋背景區(qū)域確定標(biāo)志。
當(dāng)從靜止/移動確定部分202-2提供的靜止/移動判定表示“靜止”時，且在從靜止/移動確定部分202-3提供的靜止/移動判定表示“靜止”時，區(qū)域確定部分203-2確定到幀#n的指定像素屬于靜止區(qū)域，并在與指定像素相關(guān)的靜止區(qū)域確定標(biāo)志中設(shè)定“1”，這表示該像素屬于靜止區(qū)域。
當(dāng)從靜止/移動確定部分202-2提供的靜止/移動判定表示“移動”時，且在從靜止/移動確定部分202-3提供的靜止/移動判定表示“移動”時，區(qū)域確定部分203-2確定到幀#n的指定像素不屬于靜止區(qū)域，并在與指定像素相關(guān)的靜止區(qū)域確定標(biāo)志中設(shè)定“0”，這表示該像素不屬于靜止區(qū)域。
像素確定部分203-2向確定標(biāo)志存儲幀存儲器204供給如上所述設(shè)定“1”或“0”的靜止區(qū)域確定標(biāo)志。
當(dāng)從靜止/移動確定部分202-2提供的靜止/移動判定表示“移動”時，且在從靜止/移動確定部分202-3提供的靜止/移動判定表示“移動”時，區(qū)域確定部分203-2確定到幀#n的指定像素屬于移動區(qū)域，并在與指定像素相關(guān)的移動區(qū)域確定標(biāo)志中設(shè)定“1”，這表示該像素屬于移動區(qū)域。
當(dāng)從靜止/移動確定部分202-2提供的靜止/移動判定表示“靜止”時，或在從靜止/移動確定部分202-3提供的靜止/移動判定表示“靜止”時，區(qū)域確定部分203-2確定到幀#n的指定像素不屬于移動區(qū)域，并在與指定像素相關(guān)的移動區(qū)域確定標(biāo)志中設(shè)定“0”，這表示該像素不屬于移動區(qū)域。
像素確定部分203-2向確定標(biāo)志存儲幀存儲器204供給如上所述設(shè)定“1”或“0”的移動區(qū)域確定標(biāo)志。
當(dāng)從靜止/移動確定部分202-3提供的靜止/移動判定表示“移動”時，且在從靜止/移動確定部分202-4提供的靜止/移動判定表示“靜止”時，區(qū)域確定部分203-3確定到幀#n的指定像素屬于覆蓋背景區(qū)域，并在與指定像素相關(guān)的覆蓋背景區(qū)域確定標(biāo)志中設(shè)定“1”，這表示該像素屬于覆蓋背景區(qū)域。
當(dāng)從靜止/移動確定部分202-3提供的靜止/移動判定表示“靜止”時，或在從靜止/移動確定部分202-4提供的靜止/移動判定表示“移動”時，區(qū)域確定部分203-3確定到幀#n的指定像素不屬于覆蓋背景區(qū)域，并在與指定像素相關(guān)的覆蓋背景區(qū)域確定標(biāo)志中設(shè)定“0”，這表示該像素不屬于覆蓋背景區(qū)域。
像素確定部分203-3向確定標(biāo)志存儲幀存儲器204供給如上所述設(shè)定“1”或“0”的覆蓋背景區(qū)域確定標(biāo)志。
從而，確定標(biāo)志存儲幀存儲器204存儲從區(qū)域確定部分203-1提供的未覆蓋背景區(qū)域確定標(biāo)志、從區(qū)域確定部分203-2提供的靜止區(qū)域確定標(biāo)志、從區(qū)域確定部分203-2提供的移動區(qū)域確定標(biāo)志和從區(qū)域確定部分203-3提供的覆蓋背景區(qū)域確定標(biāo)志。
確定標(biāo)志存儲幀存儲器204將其中存儲的未覆蓋背景區(qū)域確定標(biāo)志、靜止區(qū)域確定標(biāo)志、移動區(qū)域確定標(biāo)志和覆蓋背景區(qū)域確定標(biāo)志提供給合成器205。合成器205基于從確定標(biāo)志存儲幀存儲器204提供的未覆蓋背景區(qū)域確定標(biāo)志、靜止區(qū)域確定標(biāo)志、移動區(qū)域確定標(biāo)志和覆蓋背景區(qū)域確定標(biāo)志產(chǎn)生表示每個像素屬于未覆蓋背景區(qū)域、靜止區(qū)域、移動區(qū)域或覆蓋背景區(qū)域中哪一個的區(qū)域區(qū)域信息，并將區(qū)域信息提供給確定標(biāo)志存儲幀存儲器206。
確定標(biāo)志存儲幀存儲器206存儲從合成器205提供的區(qū)域信息，并輸出其中存儲的區(qū)域信息。
下面參照圖21到25描述區(qū)域規(guī)定單元103執(zhí)行的過程的示例。
當(dāng)對應(yīng)于前景的對象移動時，對應(yīng)于對象的圖像在屏幕上的位置每幀都變化，如圖21所示，位于幀#n中Yn(x，y)表示的位置處的對應(yīng)于對象的圖像在幀#n+1中的位于Yn+1(x，y)處，幀#n+1是幀#n的隨后的幀。
圖22中示出通過在時間方向上擴展沿對應(yīng)于前景對象的圖像的移動方向并排排列成一行的像素的像素值而獲得的模型。例如，如果對應(yīng)于前景對象的圖像的移動方向相對于屏幕是水平的，在圖22中所示的模型是通過在時間方向上擴展并排設(shè)置在行上的像素的像素值而獲得的模型。
在圖22中，幀#n中的行等于幀#n+1中的行。
幀#n中從左起第二像素到第十三像素中包含的對應(yīng)于對象的前景分量包含在幀#n+1中從左起第六到第十七像素中。
在幀#n中，屬于覆蓋背景區(qū)域的像素為從左起第十一到第十三像素，而屬于未覆蓋背景區(qū)域的像素為從左起第二到第四像素。在幀#n+1中，屬于覆蓋背景區(qū)域的像素為從左起第十五到第十七像素，而屬于未覆蓋背景區(qū)域的像素為從左起第六到第八像素。
在圖22所示的示例中，由于包含在幀#n中的前景分量在幀#n+1中移動四個像素，因此移動量v為4。虛擬分隔部分的數(shù)量根據(jù)移動量v也為4。
現(xiàn)在，給出在指定幀之前和之后的幀中屬于混合區(qū)域的像素的像素值的變化的描述。
在圖23中，幀#n中屬于覆蓋背景區(qū)域的像素為從左起第十五到第十七像素，在幀#n中，背景是靜止的，而前景的移動量v為4。由于移動量v為4，在先前像素#n-1中從左起第十五到第十七像素僅包含背景分量，并屬于背景區(qū)域。而在幀#n-1之前一個的幀#n-2中，從左起第十五到第十七像素僅包含背景分量，并屬于背景區(qū)域。
由于對應(yīng)于背景的對象是靜止的，因此幀#n-1中從左起第十五像素的像素值不變地來自幀#n-2中從左起第十五幀的像素值。類似地，在幀#n-1中從左起第十六像素的像素值不變地來自從幀#n-2中從左起第十六像素的像素值，且?guī)?n-1中從左起第十七像素的像素值不變地來自從幀#n-2中從左起第十七像素的像素值。
即，幀#n-1和幀#n-2中對應(yīng)于幀#n中屬于覆蓋背景區(qū)域的像素的像素僅由背景分量構(gòu)成，且其像素值不會變化。于是，各像素值之間差值的絕對值幾乎為0。從而，由靜止/移動確定部分202-4對幀#n-1和幀#n-2中與幀#n中屬于混合區(qū)域的像素相對應(yīng)的像素作出的靜止/移動判定為“靜止”。
由于幀#n中屬于覆蓋背景區(qū)域的像素包含前景分量，其像素值與僅由背景分量構(gòu)成的幀#n-1中的不同。于是，由靜止/移動確定部分202-3對幀#n中屬于混合區(qū)域的像素以及對幀#n-1中相應(yīng)像素作出的靜止/移動判定為“移動”。
當(dāng)從靜止/移動確定部分202-3提供表示“移動”的靜止/移動判定結(jié)果時，并當(dāng)從靜止/移動確定部分202-4提供表示“靜止”的靜止/移動判定結(jié)果時，如上所述，區(qū)域確定部分203-3確定相應(yīng)的像素屬于覆蓋背景區(qū)域。
在圖24中，在背景是靜止的而前景的運動量v為4的幀#n中，包含在未覆蓋背景區(qū)域內(nèi)的像素是從左起第二到第四像素。由于移動量v為4，在隨后的幀#n+1中從左起第二到第四像素僅包含背景分量并屬于背景區(qū)域。在幀#n+1隨后的幀#n+2中，從左起第二到第四像素僅包含背景分量并屬于背景區(qū)域。
由于對應(yīng)于背景的對象是靜止的，因此幀#n+2中從左起第二像素的像素值不會自幀#n+1中從左起第二像素的像素值發(fā)生變化。類似的，幀#n+2中從左起第三像素的像素值不會從幀#n+1中從左起第三像素的像素值發(fā)生變化，且?guī)?n+2中從左起第四像素的像素值不會從幀#n+1中從左起第四像素的像素值發(fā)生變化。
即，幀#n+1和幀#n+2中對應(yīng)于幀#n中屬于未覆蓋背景區(qū)域的像素的像素僅由背景分量構(gòu)成，且其像素值不變化。于是，各像素值之間的差值的絕對值幾乎為0。從而，由靜止/移動確定部分202-1對幀#n+1和幀#n+2中與幀#n中屬于混合區(qū)域的像素相對應(yīng)的像素所作出的靜止/移動判定為“靜止”。
由于幀#n中屬于未覆蓋背景區(qū)域的像素包含前景分量，因此其像素值與僅由背景分量構(gòu)成的幀#n+1中的有所不同。于是，由靜止/移動確定部分202-2對幀#n中屬于混合區(qū)域的像素和幀#n+1中相應(yīng)像素作出的靜止/移動判定為“移動”。
當(dāng)從靜止/移動確定部分202-2提供表示“移動”的靜止/移動判定結(jié)果時，并當(dāng)從靜止/移動確定部分202-1提供表示“移動”的靜止/移動判定結(jié)果時，如上所述，區(qū)域確定部分203-1確定相應(yīng)的像素屬于未覆蓋背景區(qū)域。
圖25示出區(qū)域規(guī)定單元103對幀#n作出的確定條件。當(dāng)對于幀#n-2中的與待處理的幀#n中像素位于相同圖像位置處的像素和幀#n-1中的與幀#n中的像素位于相同位置處的像素作出的判定結(jié)果為靜止，且當(dāng)對于幀#n中的像素和幀#n-1中的與幀#n中的像素位于相同位置處的像素作出的判定結(jié)果為移動時，區(qū)域規(guī)定單元103確定幀#n中的像素屬于覆蓋背景區(qū)域。
當(dāng)對于幀#n中的像素和幀#n-1中的與幀#n中的像素位于相同位置處的像素作出的判定結(jié)果為靜止時，且當(dāng)對于幀#n中的像素和幀#n+1中的與幀#n中的像素位于相同位置處的像素作出的判定結(jié)果為靜止時，區(qū)域規(guī)定單元103確定幀#n中的像素屬于靜止區(qū)域。
當(dāng)對于幀#n中的像素和幀#n-1中的與幀#n中的像素位于相同位置處的像素作出的判定結(jié)果為移動時，且當(dāng)對于幀#n中的像素和幀#n+1中的與幀#n中的像素位于相同位置處的像素作出的判定結(jié)果為移動時，區(qū)域規(guī)定單元103確定幀#n中的像素屬于移動區(qū)域。
當(dāng)對于幀#n中的像素和幀#n+1中的與幀#n中的像素位于相同位置處的像素作出的判定結(jié)果為移動時，且當(dāng)對于幀#n+1中的與幀#n的像素位于相同位置處的像素和幀#n+2中的與幀#n的像素位于相同位置處的像素作出的判定結(jié)果為靜止時，區(qū)域規(guī)定單元103確定幀#n中的像素屬于未覆蓋背景區(qū)域。
圖26A到26D示出由區(qū)域規(guī)定單元103所獲得的區(qū)域判定結(jié)果的示例。在圖26A中，被確定為屬于覆蓋背景區(qū)域的像素以白色表示，在圖26B中，被確定為屬于未覆蓋背景區(qū)域的像素以白色表示。
在圖26C中，被確定為屬于移動區(qū)域的像素以白色表示，在圖26D中被確定為屬于靜止區(qū)域的像素以白色表示。
圖27示出自確定標(biāo)志存儲幀存儲器206輸出的區(qū)域信息中選出的以圖像形式表示混合區(qū)域的區(qū)域信息。在圖27中，被確定為屬于覆蓋背景區(qū)域或未覆蓋背景區(qū)域的像素，即確定為屬于混合區(qū)域的像素以白色表示。從確定標(biāo)志存儲幀存儲器206中輸出的表示混合區(qū)域的區(qū)域信息指定混合區(qū)域和前景區(qū)域中由不帶紋理的部分所圍繞的具有紋理的部分。
下面，參照圖28的流程圖描述區(qū)域規(guī)定單元103所執(zhí)行的區(qū)域規(guī)定過程。在步驟S201中，幀存儲器201獲取包括幀#n在內(nèi)的幀#n-2到幀#n+2的圖像。
在步驟S202中，靜止/移動確定部分202-3確定針對位于相同位置處的幀#n-1中的像素和幀#n中的像素的判定結(jié)果是否為靜止，如果確定為判定結(jié)果為靜止，則過程前進到步驟S203，在該步驟S203中，靜止/移動確定部分202-2確定針對位于相同位置處的幀#n中的像素和幀#n+1中的像素的判定結(jié)果是否為靜止。
如果在步驟S203中確定出針對位于相同位置處的幀#n中的像素和幀#n+1中的像素的判定結(jié)果為靜止，過程前進到步驟S204。在步驟S204中，區(qū)域確定部分203-2在與待處理像素相關(guān)的靜止區(qū)域確定標(biāo)志內(nèi)設(shè)定“1”，這表示待處理的像素屬于靜止區(qū)域。區(qū)域確定部分203-2將靜止區(qū)域確定標(biāo)志提供給確定標(biāo)志存儲幀存儲器204，且過程前進到步驟S205。
如果步驟S202中確定出針對位于相同位置處的幀#n-1中的像素和幀#n中的像素的判定結(jié)果為移動，或如果在步驟S203中確定出針對位于相同位置處的幀#n中的像素和幀#n+1中的像素的判定結(jié)果為移動，則待處理的像素不屬于靜止區(qū)域，于是步驟S204的過程被跳過，而過程前進到步驟S205。
在步驟S205中，靜止/移動確定部分202-3確定針對位于相同位置處的幀#n-1中的像素和幀#n中的像素的判定結(jié)果是否為移動，如果確定出該判定結(jié)果為移動，則過程前進到步驟S206，在步驟S206中，靜止/移動確定部分202-2確定針對位于相同位置處的幀#n中的像素和幀#n+1中的像素的判定結(jié)果是否為移動。
如果在步驟S206中確定出針對位于相同位置處的幀#n中的像素和幀#n+1中的像素的判定結(jié)果為移動，則過程前進到步驟S207。在步驟S207中，區(qū)域確定部分203-2在與待處理像素相關(guān)的移動區(qū)域確定標(biāo)志中設(shè)定“1”，這表示待處理的像素屬于移動區(qū)域。區(qū)域確定部分203-2將移動區(qū)域確定表示提供給確定標(biāo)志存儲幀存儲器204，而過程前進到步驟S208。
如果在步驟S205中確定出針對位于相同位置處的幀#n-1中的像素和幀#n中的像素的判定結(jié)果為靜止，或如果在步驟S206中確定出針對位于相同位置處的幀#n中的像素和幀#n+1中的像素的判定結(jié)果為靜止，則幀#n中的像素不屬于移動區(qū)域。于是，步驟S207的過程被跳過，而過程前進到步驟S208。
在步驟S208中，靜止/移動確定部分202-4確定針對位于相同位置處的幀#n-2中的像素和幀#n-1中的像素的判定結(jié)果是否為靜止，如果確定出該判定結(jié)果為靜止，則過程前進到步驟S209，在步驟S209中，靜止/移動確定部分202-3確定針對位于相同位置處的幀#n-1中的像素和幀#n中的像素的判定結(jié)果是否為移動。
如果在步驟S209中確定出針對位于相同位置處的幀#n-1中的像素和幀#n中的像素的判定結(jié)果為移動，則過程前進到步驟S210。在步驟S210中，區(qū)域確定部分203-3在與待處理像素相關(guān)的覆蓋背景區(qū)域確定標(biāo)志中設(shè)定“1”，這表示待處理像素屬于覆蓋背景區(qū)域。區(qū)域確定部分203-3將覆蓋背景區(qū)域確定表示提供給確定標(biāo)志存儲幀存儲器204，而過程前進到步驟S211。
如果在步驟S208中確定出針對位于相同位置處的幀#n-2中的像素和幀#n-1中的像素的判定結(jié)果為移動，或如果在步驟S209中確定出針對位于相同位置處的幀#n-1中的像素和幀#n中的像素的判定結(jié)果為靜止，則幀#n中的像素不屬于覆蓋背景區(qū)域。于是，步驟S210的過程被跳過，而過程前進到步驟S211。
在步驟S211中，靜止/移動確定部分202-2確定針對位于相同位置處的幀#n中的像素和幀#n+1中的像素的判定結(jié)果是否為移動，如果在步驟S211中確定出該判定結(jié)果為移動，則過程前進到步驟S212，在步驟S212中，靜止/移動確定部分202-1確定針對位于相同位置處的幀#n+1中的像素和幀#n+2中的像素的判定結(jié)果是否為靜止。
如果在步驟S212中確定出針對位于相同位置處的幀#n+1中的像素和幀#n+2中的像素的判定結(jié)果為靜止，則過程前進到步驟S213。在步驟S213中，區(qū)域確定單元203-1在與待處理像素相關(guān)的未覆蓋背景區(qū)域確定標(biāo)志中設(shè)定“1”，這表示待處理像素屬于未覆蓋背景區(qū)域。區(qū)域確定部分203-1將未覆蓋背景區(qū)域確定標(biāo)志提供給確定標(biāo)記存儲幀存儲器204，而過程前進到步驟S214。
如果在步驟S211中確定出針對位于相同位置處的幀#n中的像素和幀#n+1中的像素的判定結(jié)果是靜止的，或如果在步驟S212中確定出針對位于相同位置處的幀#n+1中的像素和幀#n+2中的像素的判定結(jié)果是移動，幀#n中的像素不屬于未覆蓋背景區(qū)域，于是，步驟S213被跳過，而過程前進到步驟S214。
在步驟S214，區(qū)域規(guī)定單元103確定是否幀#n中所有像素的區(qū)域已經(jīng)規(guī)定。如果確定出幀#n中所有像素的區(qū)域還未規(guī)定，則過程返回到步驟S202，且對剩余的像素進行區(qū)域規(guī)定過程。
如果在步驟S214確定出幀#n中所有像素的區(qū)域已經(jīng)規(guī)定，則過程前進到步驟S215。在步驟S215，合成器205基于確定標(biāo)志存儲幀存儲器204中存儲的未覆蓋背景區(qū)域確定標(biāo)志和覆蓋背景區(qū)域確定表示產(chǎn)生表示混合區(qū)域的區(qū)域信息，并產(chǎn)生表示每個像素屬于未覆蓋背景區(qū)域、靜止區(qū)域、移動區(qū)域或覆蓋背景區(qū)域中哪一個的區(qū)域信息，且在確定標(biāo)志存儲幀存儲器206中設(shè)定所產(chǎn)生的區(qū)域信息。然后該結(jié)束該過程。
如上所述，區(qū)域規(guī)定單元103能夠產(chǎn)生表示幀中所包含的每個像素屬于移動區(qū)域、靜止區(qū)域、未覆蓋背景區(qū)域或覆蓋背景區(qū)域中哪一個的區(qū)域區(qū)域信息。
區(qū)域規(guī)定單元103可以對與覆蓋背景區(qū)域相對應(yīng)的區(qū)域信息和與未覆蓋背景區(qū)域相對應(yīng)的區(qū)域信息采用邏輯OR，以便產(chǎn)生與混合區(qū)域相對應(yīng)的區(qū)域信息，并然后可以產(chǎn)生區(qū)域信息，該區(qū)域信息由表示幀中所包含的各個像素屬于移動區(qū)域、靜止區(qū)域或混合區(qū)域中哪一個的區(qū)域標(biāo)志。
當(dāng)對應(yīng)于前景的對象具有紋理時，區(qū)域規(guī)定單元103能夠更精確地規(guī)定移動區(qū)域。
區(qū)域規(guī)定單元103能夠輸出表示一動區(qū)域的區(qū)域信息作為表示前景區(qū)域的區(qū)域信息，并輸出表示靜止區(qū)域的區(qū)域信息作為表示背景區(qū)域的區(qū)域信息。
已經(jīng)在假設(shè)對應(yīng)于背景的對象是靜止的情況下描述了實施例。然而，即使對應(yīng)于背景區(qū)域的圖像包含運動，仍可以應(yīng)用上述區(qū)域規(guī)定過程。例如，如果對應(yīng)于背景區(qū)域的圖像均勻移動，區(qū)域規(guī)定單元103根據(jù)這個移動平移整個圖像，并以類似于對應(yīng)于背景的對象為靜止的情況中的方式進行處理。如果對應(yīng)于背景區(qū)域的圖像包含局部不同的運動，則區(qū)域規(guī)定單元103選擇對應(yīng)于該運動的像素，并執(zhí)行上述過程。
圖29是示出區(qū)域規(guī)定單元103的另一結(jié)構(gòu)示例的方塊圖。圖29所示的區(qū)域規(guī)定單元103未使用運動矢量。背景圖像發(fā)生器301產(chǎn)生對應(yīng)于輸入圖像的背景圖像，并將所產(chǎn)生的背景圖像提供到二元對象圖像提取部分302。背景圖像發(fā)生器301例如提取輸入圖像中所包含的對應(yīng)于背景對象的圖像目標(biāo)，并產(chǎn)生背景圖像。
圖30示出了通過在時間方向上擴展沿對應(yīng)于前景對象的圖像的運動方向并排排列成一行的像素的像素值所獲得的模型。例如，如果對應(yīng)于前景對象的圖像的移動方向相對于屏幕是水平的，則圖30所示的模型未通過在時域內(nèi)展開并排設(shè)置在單行上的像素的像素值而獲得的模型。
在圖30中，幀#n中的行與幀#n-1中的行及幀#n+1中的行相同。
在幀#n中，左起第六到第十七像素中包含的對應(yīng)于對象的前景分量包含在幀#n-1中左起第二到第十三像素中，并包含在幀#n+1中左起第十到第二十像素中。
在幀#n-1中，屬于覆蓋背景區(qū)域的像素為左起第十一到第十三像素，而屬于未覆蓋背景區(qū)域的像素是左起第二到第四像素。在幀#n中，屬于覆蓋背景區(qū)域的像素是左起第十五到第十七像素，而屬于未覆蓋背景區(qū)域的像素是左起第六到第八像素。在幀#+1中，屬于覆蓋背景區(qū)域的像素是左起第十九到第二十一像素，而屬于未覆蓋背景區(qū)域的像素是左起的是到第十二像素。
在幀#n-1中，屬于背景區(qū)域的像素是左起第一像素和左起第十四到第二十一像素。在幀#n中，屬于背景區(qū)域的像素是左起第一到第五像素和左起第十八到第二十一像素。在幀#n+1中，屬于背景區(qū)域的像素是左起第一到第九像素。
圖31示出了由背景圖像發(fā)生器301產(chǎn)生的對應(yīng)于圖30所示的示例的背景圖像的示例。背景圖像由對應(yīng)于背景對象的像素構(gòu)成，且不包含對應(yīng)于前景對象的圖像分量。
二元對象圖像(binary object image)提取部分302基于背景圖像和輸入圖像之間的相關(guān)性產(chǎn)生二元對象圖像，并將所產(chǎn)生的二元對象圖像提供給時變檢測器303。
圖32是示出二元對象圖像提取部分302的結(jié)構(gòu)的方塊圖。相關(guān)性值計算器321計算從背景圖像發(fā)生器301提供的背景圖像和輸入圖像之間的相關(guān)性，以便產(chǎn)生相關(guān)性值，并將所產(chǎn)生的相關(guān)性值提供給閾值處理器322。
相關(guān)性值計算器321例如將公式(4)應(yīng)用到以X4為中心的3×3背景圖像區(qū)段上，如圖33A所示，并例如應(yīng)用到與上述背景圖像區(qū)段一致的以Y4為中心的3×3背景圖像區(qū)段上，如圖33B所示，由此計算對應(yīng)于Y4的相關(guān)性值。 X‾=Σi=08Xi9---(5)]]>Y‾=Σi=08Yi9---(6)]]>相關(guān)性值計算器321將如上所述針對每個像素計算的相關(guān)性值提供到閾值處理器322上。
另外，相關(guān)性值計算器321可以例如將公式(7)應(yīng)用到以X4為中心的3×3背景圖像區(qū)段上，如圖34A所示，并例如應(yīng)用到與上述背景圖像區(qū)域一致的以Y4為中心的3×3背景圖像區(qū)段上，如圖34B所示，從而計算對應(yīng)于Y4的差的絕對值的和。 相關(guān)性值計算器321將如上所述計算的差的絕對值的和作為相關(guān)性值提供給閾值處理器322。
閾值處理器322將相關(guān)圖像的像素值與閾值th0相比較。如果相關(guān)性值小于或等于閾值th0，則在二元對象圖像的像素中設(shè)定1。如果相關(guān)性值大于閾值th0，則在二元對象圖像的像素值中設(shè)定0。閾值處理器322然后輸出像素被設(shè)定為0或1的二元對象圖像。閾值處理器322可以事先在其中存儲閾值th0，也可以利用從外部數(shù)據(jù)源輸入的閾值th0。
圖35示出與圖30所示的輸入圖像的模型相對應(yīng)的二元對象圖像。在二元對象圖像中，在與背景圖像具有較高相關(guān)性的像素的像素值內(nèi)設(shè)定0。
圖36是示出時變檢測器303的結(jié)構(gòu)的方塊圖。在確定幀#n中像素的區(qū)域時，幀存儲器341存儲自二元對象圖像提取部分302提供的幀n-1、幀#n和幀#n+1的二元對象圖像。
區(qū)域確定部分342基于幀#n-1、幀#n和幀#n+1的二元對象圖像確定幀#n的每個像素的區(qū)域，從而產(chǎn)生區(qū)域信息，并輸出所產(chǎn)生的區(qū)域信息。
圖37示出由區(qū)域確定部分342作出的判定。當(dāng)幀#n中二元對象圖像指定像素為0時，區(qū)域確定部分342判定幀#n中該指定像素屬于背景區(qū)域。
當(dāng)幀#n中二元對象圖像的指定像素為1時，并當(dāng)幀#n-1中二元對象圖像的相應(yīng)像素為1時，且當(dāng)幀#n+1中二元對象圖像的相應(yīng)像素為1時，區(qū)域確定部分342判定幀#n中的該指定像素屬于前景區(qū)域。
當(dāng)幀#n中二元對象圖像的指定像素為0時，區(qū)域確定部分342判定幀#n中該指定像素屬于覆蓋背景區(qū)域。
當(dāng)幀#n中二元對象圖像的指定像素為1時，且當(dāng)幀#n+1中二元對象圖像的相應(yīng)像素為0時，區(qū)域確定部分342判定幀#n中該指定像素屬于未覆蓋背景區(qū)域。
圖38示出由時變檢測器303在對應(yīng)于圖30所示輸入圖像的模型的二元對象圖像上所作出的判定的示例。時變檢測器303確定幀#n中左起第一到第五像素屬于背景區(qū)域，這是由于在幀#n中二元對象圖像的相應(yīng)像素為0。
時變檢測器303判定左起第六到第九像素屬于未覆蓋背景區(qū)域，這是由于幀#n中二元對象圖像的像素為1，而幀#n+1中相應(yīng)像素為0。
時變檢測器303判定左起第十到第十三像素屬于前景區(qū)域，這是由于幀#n中二元對象圖像的像素為1，幀#n-1中相應(yīng)像素為1，而幀#n+1中相應(yīng)像素為1。
時變檢測器303判定左起第十四到第十七像素屬于覆蓋背景區(qū)域，這是由于幀#n中二元對象圖像的像素為1，而幀#n-1中相應(yīng)像素為0。
時變檢測器303判定左起第十八到第二十一像素屬于背景區(qū)域，這是由于幀#n中二元對象圖像的相應(yīng)像素為0。
下面參照圖39描述由區(qū)域規(guī)定單元103執(zhí)行的區(qū)域規(guī)定過程。在步驟S301中，區(qū)域規(guī)定單元103的背景圖像發(fā)生器301基于輸入圖像例如提取輸入圖像中所包含的與背景對象相對應(yīng)的圖像目標(biāo)，從而產(chǎn)生背景圖像，并將所產(chǎn)生的背景圖像提供到二元對象圖像提取部分302。
在步驟S302，二元對象圖像提取部分302例如根據(jù)參照圖33A和33B所討論的計算方法計算輸入圖像和從背景圖像發(fā)生器301提供的背景圖像之間的相關(guān)性值。在步驟S303中，二元對象圖像提取部分302例如通過將相關(guān)性值與閾值th0相比較而從相關(guān)性值和閾值th0中計算二元對象圖像。
在步驟S304，時變檢測器303執(zhí)行區(qū)域確定過程，并結(jié)束該過程。
下面參照圖30的流程圖描述步驟S304中的區(qū)域確定過程的細(xì)節(jié)。在步驟S321中，時變檢測器303的區(qū)域確定部分342確定幀存儲器341中存儲的幀#n內(nèi)的指定像素是否為0，如果判定幀#n中的該指定像素為0，則過程前進到步驟S322，在步驟S322，判定幀#n中的該指定像素屬于背景區(qū)域，并結(jié)束該過程。
如果在步驟S321中判定幀#n中的該指定像素為1，則過程前進到步驟S323。在步驟S323中，時變檢測器303的區(qū)域確定部分342判定幀存儲器341中存儲的幀#n內(nèi)的指定像素是否為1，以及幀#n-1中相應(yīng)像素是否為0。如果判定幀#n中指定像素為1且?guī)?n-1中相應(yīng)像素為0，則過程前進到步驟S324，在步驟S324中，判定到幀#n中的指定像素屬于覆蓋背景區(qū)域，并結(jié)束該過程。
如果在步驟S323中判定幀#n中指定像素為0，或幀#n-1中相應(yīng)像素為1，則過程前進到步驟S325。在步驟S325，時變檢測器303的區(qū)域確定部分342判定幀存儲器341中存儲的幀#n內(nèi)的指定像素是否為1，且?guī)?n+1內(nèi)的相應(yīng)像素是否為0，如果判定到幀#n內(nèi)的指定像素為1，且?guī)?n+1內(nèi)的相應(yīng)像素為0，則過程前進到步驟S326，在步驟S326，判定幀#n中的指定像素屬于未覆蓋背景區(qū)域，并結(jié)束該過程。
如果在步驟S325中判定到幀#n中的指定像素為0，或幀#n+1中相應(yīng)像素為1，則過程前進到步驟S327。在步驟S327，時變檢測器303的區(qū)域確定部分342判定幀#n中的指定像素屬于前景區(qū)域，并結(jié)束該過程。
如上所述，區(qū)域規(guī)定單元103能夠基于輸入圖像和相應(yīng)的背景圖像之間的相關(guān)性值規(guī)定輸入圖像的每個像素屬于前景區(qū)域、背景區(qū)域、覆蓋背景區(qū)域或未覆蓋背景區(qū)域中哪個區(qū)域，并產(chǎn)生與規(guī)定結(jié)果相對應(yīng)的區(qū)域信息。
圖41時示出區(qū)域規(guī)定單元103的另一結(jié)構(gòu)的方塊圖。圖41所示的區(qū)域規(guī)定單元103利用運動檢測器102提供的運動矢量及其位置信息。與圖29所示的相同的元件以相同附圖標(biāo)記標(biāo)示，并因此省略了對其的描述。
加強處理部分361基于從二元對象圖像提取部分302提供的N幀二元對象圖像產(chǎn)生加強二元對象圖像，并將加強二元對象圖像輸出到時變檢測器303。
圖42時示出加強處理部分361的結(jié)構(gòu)的方塊圖。運動補償器381基于從運動檢測器102提供的運動矢量及其位置信息補償N幀二元對象圖像的運動，并將經(jīng)運動補償?shù)亩獙ο髨D像輸出到開關(guān)382。
下面參照圖43和44描述運動補償器381所執(zhí)行的運動補償。例如假設(shè)幀#n中的區(qū)域要處理。當(dāng)輸入如圖43所示的幀#n-1、幀#n和幀#n+1的二元對象圖像時，運動補償器381基于從運動檢測器102提供的運動矢量補償幀#n-1的二元對象圖像和幀#n+1的二元對象圖像的運動，并將經(jīng)運動補償?shù)亩獙ο髨D像提供給開關(guān)382。
開關(guān)382將第一幀的經(jīng)運動補償?shù)亩獙ο髨D像輸出到幀存儲器383-1，并將第二幀的經(jīng)運動補償?shù)亩獙ο髨D像輸出到幀存儲器383-2。類似地，開關(guān)382將第三到第(N-1)幀的經(jīng)運動補償?shù)亩獙ο髨D像輸出到幀存儲器383-3到383-(N-1)，并將第N幀的經(jīng)運動補償?shù)亩獙ο髨D像輸出到幀存儲器383-N。
幀存儲器383-1存儲第一幀的經(jīng)運動補償?shù)亩獙ο髨D像，并將所存儲的二元對象圖像輸出到加權(quán)部分384-1。幀存儲器383-2存儲第二幀的經(jīng)運動補償?shù)亩獙ο髨D像，并將所存儲的二元圖像輸出到加權(quán)部分384-2。
類似地，幀存儲器383-3到383-(N-1)存儲第三到第(N-1)幀的經(jīng)運動補償?shù)亩獙ο髨D像，并將所存儲的二元對象圖像輸出到加權(quán)部分384-3到384-(N-1)。幀存儲器383-N存儲第N幀的經(jīng)運動補償?shù)亩獙ο髨D像，并將所存儲的二元對象圖像輸出到加權(quán)部分384-N。
加權(quán)部分384-1將自幀存儲器383-1提供的第一幀的經(jīng)運動補償?shù)亩獙ο髨D像的像素值被預(yù)定加權(quán)值w1乘，并將加權(quán)的二元對象圖像提供到累加器385。加權(quán)部分384-2將從幀存儲器383-2提供的第二幀的經(jīng)運動補償?shù)亩獙ο髨D像的像素值被預(yù)定加權(quán)值w2乘，并將加權(quán)的二元對象圖像輸出到累加器385。
同樣，加權(quán)部分384-3到384-(N-1)將從幀存儲器383-3到383-(N-1)提供的第三到第(N-1)幀的經(jīng)運動補償?shù)亩獙ο髨D像的像素值被預(yù)定加權(quán)值w3到w(N-1)乘，并將加權(quán)的二元對象圖像提供到累加器385。加權(quán)部分384-N將從幀存儲器383-N提供的第N幀的經(jīng)運動補償?shù)亩獙ο髨D像的像素值被預(yù)定加權(quán)值wN乘，并將加權(quán)的二元對象圖像提供到累加器385。
累加器累加第一到第N幀的由加權(quán)值w1到wN倍乘的經(jīng)運動補償?shù)亩獙ο髨D像的像素值，并將累加的像素值與預(yù)定閾值th0相比較，由此產(chǎn)生二元對象圖像。
如上所述，加強處理部分361從N個二元對象圖像中產(chǎn)生加強(robust)二元圖像，并將其提供到時變檢測器303。于是，如圖41所示構(gòu)造的區(qū)域規(guī)定單元103能夠比圖29所示的更精確地規(guī)定區(qū)域，即使在輸入圖像中含有噪聲。
下面，參照圖45的流程圖描述由如圖41所示構(gòu)造的區(qū)域規(guī)定單元103所執(zhí)行的區(qū)域規(guī)定過程。步驟S341到步驟S343的過程與參照圖39的流程圖所描述的步驟S301到步驟S303中的類似，從而省略對其的描述。
在步驟S344中，加強處理部分361執(zhí)行加強處理。
在步驟S345中，時變檢測器303執(zhí)行區(qū)域確定過程，并結(jié)束該過程。步驟S345的過程細(xì)節(jié)與參照圖40的流程圖所討論的過程類似，因此省略了對其的描述。
下面參照圖46的流程圖給出與圖45中步驟S344的過程相對應(yīng)的加強處理的細(xì)節(jié)。在步驟S361中，運動補償器381基于從運動檢測器102提供的運動矢量及其位置信息進行輸入二元對象圖像的運動補償。在步驟S362中，幀存儲器383-1到383-N之一存儲經(jīng)開關(guān)382提供的相應(yīng)的經(jīng)運動補償?shù)亩獙ο髨D像。
在步驟S363中，加強處理部分361判定是否存儲了N個二元對象圖像。如果判定出未存儲N個二元對象圖像，則過程返回到步驟S361，并且重復(fù)補償二元對象圖像的運動的過程和存儲二元對象圖像的過程。
如果在步驟S363中確定存儲了N個二元對象圖像，則過程前進到步驟S364，在步驟S364中進行加權(quán)。在步驟S364中，加權(quán)部分384-1到384-N將相應(yīng)的N個二元對象圖像被加權(quán)值w1到wN乘。
在步驟S365，累加器385累加N個加權(quán)的二元對象圖像。
在步驟S366中，累加器385通過例如將累加值與預(yù)定閾值th0相比較而從累加的圖像中產(chǎn)生二元對象圖像，并結(jié)束該過程。
如上所述，如圖41所示構(gòu)造的區(qū)域規(guī)定單元103能夠基于加強二元對象圖像產(chǎn)生區(qū)域信息。
從前面描述可以看出，區(qū)域規(guī)定單元103能夠產(chǎn)生表示幀中所含的每個像素屬于移動區(qū)域、靜止區(qū)域、未覆蓋背景區(qū)域或覆蓋背景區(qū)域中哪一個的區(qū)域區(qū)域信息。
圖47是示出混合比計算器104的結(jié)構(gòu)的方塊圖。混合區(qū)域?qū)挾葯z測器401基于從區(qū)域規(guī)定單元103提供的區(qū)域信息和從運動檢測器102所提供的運動矢量及其位置信息，利用像素間隔為單位來檢測指定像素所屬的混合區(qū)域的寬度，混合區(qū)域?qū)挾葯z測器401將檢測到的寬度作為混合區(qū)域?qū)挾刃畔⑻峁┙o直線應(yīng)用部分(straight-line applying portion)402。
直線應(yīng)用部分402基于從混合區(qū)域?qū)挾葯z測器401提供的混合區(qū)域?qū)挾刃畔⒑蛷倪\動檢測器102提供的運動矢量及其位置信息，計算混合區(qū)域的寬度與從指定像素到位于混合區(qū)域邊緣的像素的距離的比。直線應(yīng)用部分102基于混合區(qū)域?qū)挾扰c從指定像素到位于混合區(qū)域邊緣的像素的距離的比計算指定像素的混合比α。
由于可以假設(shè)對應(yīng)于前景的對象以恒定速度在快門時間內(nèi)移動，屬于混合區(qū)域的像素的混合比呈現(xiàn)以下特性。即，混合比α根據(jù)像素的位置變化而線性變化，如果像素的位置變化是一維的，混合比α的變化可以線性表示。如果像素的位置變化是二維的，混合比α的變化可以在平面上表示。
由于一個幀的時間段很短，因此可以假設(shè)對應(yīng)于前景的對象為以恒定速度移動的剛體。
混合比α的梯度反比于前景快門時間內(nèi)的移動量v。
圖48中示出理想混合比α的示例。理想混合比α在混合區(qū)域內(nèi)的梯度1可以由移動量v的倒數(shù)表示。
如圖48所示，理想混合比α在背景區(qū)域內(nèi)值為1，在前景區(qū)域內(nèi)值為0，在混合區(qū)域內(nèi)的值大于0小于1。
下面，參照圖49到53描述混合比計算器104的過程。
圖49示出一模型，其中對應(yīng)于包括覆蓋背景區(qū)域且移動量v為4的圖像的像素值在時間方向上擴展，且對應(yīng)于快門時間的時段被分隔。
屬于幀#n的覆蓋背景區(qū)域的指定像素的像素值Mx、與幀#n的指定像素相對應(yīng)的屬于幀#n-1的背景區(qū)域的像素的像素值Bx以及指定像素的混合比α之間的關(guān)系可以由公式(8)表示Mx＝αx·Bx+fx (8)其中，x表示在移動方向上坐標(biāo)軸x上位置，而fx指代包含在指定像素的像素值中的前景分量的和。
圖50示出一模型，其中對應(yīng)于包括未覆蓋背景區(qū)域且移動量v為4的圖像的像素值在時間方向上擴展，且對應(yīng)于快門時間的時間段被分隔。
類似地，屬于幀#n的未覆蓋背景區(qū)域的指定像素的像素值Mx、與幀#n的指定像素相對應(yīng)的屬于幀#n-1的背景區(qū)域的像素的像素值Bx以及指定像素的混合比α之間的關(guān)系可以由公式(8)表示。
如圖49和50所示，當(dāng)移動量由v表示時，混合區(qū)域在前景對象移動方向上的寬度可以通過從移動量v中減一而確定。
例如，在圖49中，屬于幀#n的覆蓋背景區(qū)域的像素為左起第六到第八像素，而通過將像素間隔用作單位，得到覆蓋背景區(qū)域的寬度為3。在圖49中，移動量v為4，而覆蓋背景區(qū)域的寬度等于通過從移動量v中減一而得到的結(jié)果。
在圖50中，屬于幀#n的未覆蓋背景區(qū)域的像素為左起第五到第七像素，通過將像素間隔用作單位，得到未覆蓋背景區(qū)域的寬度為3。在圖50中，移動量v為4，而未覆蓋背景區(qū)域的寬度等于通過從移動量v中減一所得到的結(jié)果。
當(dāng)移動量由v表示時，如下的像素的混合比可以由公式(9)表示，其中該像素位于沿運動矢量方向的直線上、屬于幀#n的覆蓋背景區(qū)域并位于屬于背景區(qū)域的像素(在運動矢量前端的像素)附近。
α＝(v-1)/v (9)例如，當(dāng)移動量v為4時，如圖51所示的幀#n的從左起第四像素的混合比為3/4。
當(dāng)移動量由v表示時，從屬于背景區(qū)域的像素起的第二像素(該像素位于沿運動矢量方向的直線上，并屬于幀#n的覆蓋背景區(qū)域)的混合比α可以通過從位于沿運動矢量方向的直線上、屬于幀#n的覆蓋背景區(qū)域且位于屬于背景區(qū)域的像素附近的像素的混合比α中減去1/v而確定。
例如，當(dāng)移動量為4時，從圖51中所示的幀#n的左起第三像素的混合比α為1/2，這等于從自幀#n的左起第四像素的混合比α中減去1/4所得到的值。
類似地，當(dāng)移動量由v表示，自屬于背景區(qū)域的像素起第三像素(該像素位于沿運動矢量方向的直線上，且屬于幀#n的覆蓋背景區(qū)域)的混合比α可以通過從位于沿運動矢量方向的直線上、屬于幀#n的覆蓋背景區(qū)域并位于屬于背景區(qū)域的像素附近的像素的混合比α中減去2/v而確定。
例如，當(dāng)移動量v為4時，從圖51中所示的幀#n的左起第二像素的混合比α等于從幀#n的左起第四像素的混合比α減去1/2而得到的值。
于是，屬于覆蓋背景區(qū)域的像素的混合比α在從這個像素到屬于背景區(qū)域的像素附近的像素的距離為x時，可以基于距離x通過公式(10)計算αx＝(v-1)/v-x·(1/v) (10)類似地，當(dāng)移動量由v表示時，位于沿運動矢量方向的直線上的、屬于幀#n的未覆蓋背景區(qū)域的、且位于屬于背景區(qū)域的像素(在運動矢量后端的像素)附近的像素的混合比α可以由公式(11)確定。
α＝(v-1)/v(11)例如，當(dāng)移動量為4時，從幀#n左起第二像素的混合比α為3/4。
當(dāng)移動量由v表示時，從屬于背景區(qū)域的像素起第二像素(該像素位于沿運動矢量方向的直線上、且屬于幀#n的未覆蓋背景區(qū)域)的混合比α可以通過從位于沿運動矢量方向的直線上的、屬于幀#n的未覆蓋背景區(qū)域、且位于屬于背景區(qū)域的像素附近的像素的混合比α中減去1/v而確定。
例如，當(dāng)移動量v為4時，從圖52所示的幀#n的左起第三像素的混合比α為1/2，這等于通過從自幀#n左起第二像素的混合比α中減去1/4而得到的值。
同樣，當(dāng)移動量由v表示時，從屬于背景區(qū)域的像素起第三像素(該像素位于沿運動矢量方向的直線上、并屬于幀#n的未覆蓋背景區(qū)域)的混合比可以通過從位于沿運動矢量方向的直線上的、屬于幀#n的未覆蓋背景區(qū)域的、且位于屬于背景區(qū)域的像素附近的像素的混合比α中減去2/v而確定。
例如，當(dāng)移動量v為4時，從圖52所示的幀#n的左起第四像素的混合比α為1/4，這等于通過從自幀#n左起第二像素的混合比α中減去1/2所得到的值。
于是，屬于未覆蓋背景區(qū)域的像素的混合比αx在從這個像素到靠近屬于背景區(qū)域的像素的像素的距離為x時，可以基于距離x通過公式(12)計算αx＝(v-1)/v-x·(1/v)(12)通常，由于快門時間足夠短，可以假設(shè)對應(yīng)于前景的對象為在快門時間內(nèi)以恒定速度移動的剛體。于是，也可以假設(shè)混合區(qū)域內(nèi)的混合比在沿移動方向的直線上線性變化。
從而，根據(jù)上述對于混合比α的計算方法，混合比可以以足夠高的精度算出。
圖53示出對于圖像中混合比α的計算過程。
當(dāng)移動量由v表示時，且當(dāng)指定像素為屬于覆蓋背景區(qū)域的像素時，位于沿移動方向的直線上并位于移動方向后端出的像素的混合比α由1/v表示，而位于沿移動方向的直線上且位于移動方向前端處的像素的混合比α由(v-1)/v表示。在移動方向前端的像素和移動方向后端的像素之間的位于移動方向的直線上的像素的混合比α可以用1/v的梯度線性算出(通過正比計算)。
例如，當(dāng)移動量v為6時，且當(dāng)指定像素是屬于覆蓋背景區(qū)域的像素時，位于移動方向的直線上在移動方向前端處的像素的混合比α被確定為5/6，而位于沿移動方向的直線上、在移動方向后端處的像素的混合比α1被確定為1/6。
移動方向前端處的像素和移動方向后端處的像素之間的像素的混合比α2、α3和α4可以根據(jù)像素位置以1/v的梯度線性計算，并分別確定為2/6、3/6和4/6。
當(dāng)移動量由v表示時，且當(dāng)指定像素是屬于未覆蓋背景區(qū)域的像素時，位于沿移動方向的直線上、在移動方向前端的像素的混合比α被確定為1/v，而位于沿移動方向的直線上、在移動方向后端處的像素的混合比α被確定為(v-1)/v。在移動方向前端的像素和移動方向后端的像素之間的位于沿移動方向的直線上的像素的混合比α可以線性計算(通過正比計算)。
下面，參照圖54的流程圖描述混合比計算器104所執(zhí)行的混合比α計算過程。
在步驟S401中，混合比寬度檢測器401獲取從區(qū)域規(guī)定單元103提供的區(qū)域信息。在步驟S402，混合比寬度檢測器401和直線應(yīng)用部分402獲取從運動檢測器102提供的運動矢量及其位置信息。
在步驟S403中，直線應(yīng)用部分402指定像素。在步驟S404中，直線應(yīng)用部分402基于區(qū)域信息確定指定像素是否屬于前景區(qū)域，如果確定出指定像素屬于前景區(qū)域，則過程前進到步驟S405，在步驟S405中，混合比中設(shè)定0，而過程前進到步驟S409。
如果在步驟S404中確定到指定像素不屬于前景區(qū)域，則過程前進到步驟S406，在步驟S406中，直線應(yīng)用部分402基于區(qū)域信息確定指定像素是否屬于背景區(qū)域。如果確定到指定像素屬于背景區(qū)域，則過程前進到步驟S407，在步驟S407中，混合比α中設(shè)定1。然后過程前進到步驟S409。
如果在步驟S406中確定到指定像素不屬于背景區(qū)域，則過程前進到步驟S408。在步驟S408中，直線應(yīng)用部分402執(zhí)行用于計算屬于混合區(qū)域的像素的混合比α的過程，且過程前進到步驟S409。下面將給出用于計算屬于混合區(qū)域的像素的混合比α的過程的細(xì)節(jié)。
在步驟S409，直線應(yīng)用部分402存儲與指定像素相對應(yīng)的計算出的混合比α。
在步驟S410中，直線應(yīng)用部分402確定混合比α是否已經(jīng)對于整個幀計算。如果確定出混合比α還未對于整個幀計算，則過程返回到步驟S403，在該步驟中，選擇另一像素，以重復(fù)計算混合比α的過程。
如果在步驟S410中確定出混合比α已經(jīng)對于整個幀計算，則過程前進到步驟S411，在該步驟中，直線應(yīng)用部分402輸出混合比α。然后結(jié)束該過程。
參照圖55的流程圖，給出由混合區(qū)域?qū)挾葯z測器401和直線應(yīng)用部分402所執(zhí)行的與步驟S408相對應(yīng)的用于計算屬于混合區(qū)域的像素的混合比α的過程的描述。
在步驟S421中，混合區(qū)域?qū)挾葯z測器401基于從運動檢測器102提供的運動矢量及其位置信息和區(qū)域規(guī)定單元103提供的區(qū)域信息確定混合區(qū)域在運動矢量方向上的寬度?；旌蠀^(qū)域?qū)挾葯z測器401將混合區(qū)域的寬度作為混合區(qū)域?qū)挾刃畔⑻峁┙o直線應(yīng)用部分402?；旌蠀^(qū)域?qū)挾葯z測器401可以基于運動矢量的大小計算混合區(qū)域的寬度。
在步驟S422中，直線應(yīng)用部分402確定在運動矢量移動方向上從指定像素到混合區(qū)域邊緣的距離。
在步驟S423中，直線應(yīng)用部分402確定在與運動矢量移動方向相反的方向上從指定像素到混合區(qū)域邊緣的距離。
在步驟S424中，直線應(yīng)用部分402基于區(qū)域信息和混合區(qū)域的寬度與從指定像素到混合區(qū)域邊緣的距離的比計算混合比α。然后結(jié)束該過程。
例如，當(dāng)指定像素屬于覆蓋背景區(qū)域時，直線應(yīng)用部分402基于混合區(qū)域?qū)挾扰c在運動矢量移動方向上從指定像素到混合區(qū)域邊緣的距離的比根據(jù)公式(10)所表示的計算方法計算混合比α。
例如，當(dāng)指定像素屬于未覆蓋背景區(qū)域時，直線應(yīng)用部分402基于混合區(qū)域?qū)挾扰c在運動矢量移動方向上從指定像素到混合區(qū)域邊緣的距離的比根據(jù)公式(12)所表示的計算方法計算混合比α。
如上所述，混合比計算器102能夠基于從區(qū)域規(guī)定單元103提供的區(qū)域信息和從運動檢測器102提供的運動矢量及其位置信息計算混合比α，該混合比表示與每個像素相對應(yīng)的特征量。
利用混合比α，可以將像素值中包含的前景分量與背景分量分離，同時保持與移動對象相對應(yīng)的圖像中所包含的運動模糊的信息。
如果圖像基于混合比α合成，則可以產(chǎn)生包含與移動對象的速度匹配的運動模糊的圖像，該圖像可以忠實地反映真實世界。
下面討論前景/背景分離器105。圖56時示出前景/背景分離器105的結(jié)構(gòu)的示例。提供到前景/背景分離器105的輸入圖像供給到分離部分601、開關(guān)602和開關(guān)604。從區(qū)域規(guī)定單元103提供并表示覆蓋背景區(qū)域和未覆蓋背景區(qū)域的區(qū)域信息提供到分離部分601。表示前景區(qū)域的區(qū)域信息提供到開關(guān)602。表示背景區(qū)域的區(qū)域信息提供到開關(guān)604。
從混合比計算器104提供的混合比α供給到分離部分601。
分離部分601基于表示覆蓋背景區(qū)域的區(qū)域信息、表示未覆蓋背景區(qū)域的區(qū)域信息以及混合比α從輸入圖像中分離前景分量，并將所分離的前景分量提供到合成器603。分離部分601還從輸入圖像中分離背景分量，并將所分離的背景分量提供到合成器605。
當(dāng)對應(yīng)于前景的像素基于表示前景區(qū)域的區(qū)域信息而輸入時，開關(guān)602閉合，并只將對應(yīng)于輸入圖像中包含的前景的像素提供到合成器603。
當(dāng)對應(yīng)于背景的像素基于表示背景區(qū)域的區(qū)域信息而輸入時，開關(guān)604閉合，并只將對應(yīng)于輸入圖像中包含的背景的像素提供到合成器605。
合成器603基于從分離部分601提供的前景分量和從開關(guān)602提供的對應(yīng)于前景的像素合成前景分量圖像，并輸出所合成的前景分量圖像。由于前景區(qū)域和混合區(qū)域不重疊，合成器603例如對前景分量和前景像素施加邏輯OR，由此合成前景分量圖像。
在針對前景分量圖像的合成過程開始時執(zhí)行的初始化過程中，合成器603在內(nèi)置幀存儲器中存儲像素值全為0的圖像。然后，在針對前景分量圖像的合成過程中，合成器603存儲前景分量圖像(由前景分量圖像重寫先前的圖像)。于是，在從合成器603輸出的前景分量圖像中，0存儲在對應(yīng)于背景區(qū)域的像素中。
合成器605基于從分離部分601提供的背景分量和從開關(guān)604提供的對應(yīng)于背景的像素合成背景分量圖像，并輸出所合成的背景分量圖像。由于背景區(qū)域和混合區(qū)域不重合，因此合成器605例如對背景分量和背景像素施加邏輯OR，由此合成背景分量圖像。
在針對背景分量圖像的合成過程開始時執(zhí)行的初始化過程中，合成器605在內(nèi)置幀存儲器中存儲像素值全為0的圖像。然后，在針對背景分量圖像的合成過程中，合成器605存儲背景分量圖像(由背景分量圖像重寫先前的圖像)。于是，在從合成器605輸出的背景分量圖像中，0存儲在對應(yīng)于前景區(qū)域的像素中。
圖57A示出輸入到前景/背景分離器105中的輸入圖像和從前景/背景分離器105輸出的前景分量圖像和背景分量圖像。圖57B示出與輸入到前景/背景分離器105中的輸入圖像和從前景/背景分離器105輸出的前景分量圖像和背景分量圖像相對應(yīng)的模型。
圖57A是示出要顯示的圖像的示意圖，而圖57B是通過在時間方向上擴展設(shè)置在一行上的與圖57A相對應(yīng)的像素而獲得的模型，這行包括屬于前景區(qū)域的像素、屬于背景區(qū)域的像素和屬于混合區(qū)域的像素。
如圖57A和57B所示，從前景/背景分離器105輸出的背景分量圖像由屬于背景區(qū)域的像素和包含在混合區(qū)域的像素內(nèi)的背景分量構(gòu)成。
如圖57A和57B所示，從前景/背景分離器105輸出的前景分狼圖像由屬于前景區(qū)域的像素和包含在混合區(qū)域的像素內(nèi)的前景分量構(gòu)成。
混合區(qū)域內(nèi)的像素的像素值由前景/背景分離器105分離成背景分量和前景分量。所分離的背景分量與屬于背景區(qū)域的像素一起形成背景分量圖像。所分離的前景分量與屬于前景區(qū)域的像素一起形成前景分量圖像。
如上所述，在前景分量圖像中，對應(yīng)于背景區(qū)域的像素的像素值設(shè)定為0，而有效的像素值設(shè)定在與前景區(qū)域相對應(yīng)的像素和與混合區(qū)域相對應(yīng)的像素中。類似地，在背景分量圖像中，對應(yīng)于前景區(qū)域的像素的像素值設(shè)定為0，而有效的像素值設(shè)定在與背景區(qū)域相對應(yīng)的像素和與混合區(qū)域相對應(yīng)的像素中。
下面，給出由分離部分601執(zhí)行的用于從屬于混合區(qū)域的像素中分離前景分量和背景分量的過程的描述。
圖58示出在包括圖58中從左到右移動的前景對象的兩幀內(nèi)表示前景分量和背景分量的圖像的模型。在圖58所示的圖像模型中，移動量v為4，而虛擬分隔部分的數(shù)量為4。
在幀#n中，最左側(cè)像素和從左起第十四到第十八像素僅由背景分量構(gòu)成，并屬于背景區(qū)域。在幀#n中，從左起第二到第四像素包含背景分量和前景分量，并屬于未覆蓋背景區(qū)域。在幀#n中，從左起第七到第十三像素包含背景分量和前景分量，并屬于覆蓋背景區(qū)域。在幀#n中，從左起第五到第十像素僅由前景分量構(gòu)成，并屬于前景區(qū)域。
在幀#n+1中，從左起第一到第五像素以及從左起第十八像素僅由背景分量構(gòu)成，并屬于背景區(qū)域。在幀#n+1中從左起第六到第八像素包含背景分量和前景分量，并屬于未覆蓋背景區(qū)域。在幀#n+1中，從左起第十五到第十七像素包含背景分量和前景分量，并屬于覆蓋背景區(qū)域。在幀#n+1中，從左起第九到第十四像素僅由前景分量構(gòu)成，并屬于前景區(qū)域。
圖59示出用于從屬于覆蓋背景區(qū)域的像素中分離前景分量的過程。在圖59中，α1到α18表示幀#n各個像素的混合比。在圖59中，從左起第十五到第十七像素屬于覆蓋背景區(qū)域。
從左起第十五像素的像素值C15可以由公式(13)表示C15＝B15/v+F09/v+F08/v+F07/v＝α15·B15+F09/v+F08/v+F07/v＝α15·P15+F09/v+F08/v+F07/v (13)其中，α15表示幀#n中從左起第十五像素的混合比，而P15表示幀#n-1中從左起第十五像素的像素值。
基于公式(13)，幀#n中從左起第十五像素的前景分量的和f15可以由公式(14)表示。
f15＝F09/v+F08/v+F07/v＝C15-α15·P15 (14)類似地，幀#n中從左起第十六像素的前景分量的和f16可以由公式(15)表示，而幀#n中從左起第十七像素的前景分量的和f17可以由公式(16)表示。
f16＝C16-α16·P16 (15)f17＝C17-α17·P17 (16)以此方式，包含在屬于覆蓋背景區(qū)域的像素的像素值C內(nèi)的前景分量可以由公式(17)表示
fc＝C-α·P (17)其中，P指代先前幀中相應(yīng)像素的像素值。
圖60示出用于將前景分量從屬于未覆蓋背景區(qū)域的像素中分離的過程。在圖60中，α1到α18表示幀#n各個像素的混合比。在圖60中，從左起第二到第四像素屬于未覆蓋背景區(qū)域。
幀#n中從左起第二像素的像素值C02可以由公式(18)表示C02＝B02/v+B02/v+B02/v+F01/v＝α2·B02+F01/v＝α2·N02+F01/v (18)其中，α2表示幀#n中從左起第二像素的混合比，而N02指代幀#n+1中從左起第二像素的像素值。
基于公式(18)，幀#n中從左起第二像素的前景分量的和f02可以由公式(19)表示。
f02＝F01/v＝C02-α2·N02 (19)類似地，幀#n中從左起第三像素的前景分量的和f03可以由公式(20)表示，而幀#n中從左起第四像素的前景份量的和f04可以由公式(21)表示。
f03＝C03-α3·N03 (20)f04＝C04-α4·N04 (21)以此方式，包含在屬于未覆蓋背景區(qū)域的像素的像素值C內(nèi)的前景分量fu可以由公式(22)表示fu＝C-α·N(22)其中，N指代隨后的幀中的相應(yīng)像素的像素值。
如上所述，分離部分601能夠基于區(qū)域信息中包含的表示覆蓋背景區(qū)域的信息和表示未覆蓋背景區(qū)域的信息以及對每個像素的混合比α從屬于混合區(qū)域的像素中分離前景分量，并從屬于混合區(qū)域的像素中分離背景分量。
圖61是示出用于執(zhí)行上述過程的分離部分601的結(jié)構(gòu)示例。輸入到分離部分601中的圖像提供給幀存儲器621，而從混合比計算器104提供的表示覆蓋背景區(qū)域和未覆蓋背景區(qū)域的信息以及混合比α提供到分離處理模塊(block)622。
幀存儲器621以幀為單位存儲輸入圖像。當(dāng)待處理的幀為幀#n時，幀存儲器621存儲作為幀#n的前一幀的幀#n-1、幀#n和作為幀#n的后一幀的幀#n+1。
幀存儲器621將幀#n-1、幀#n和幀#n+1中相應(yīng)像素提供到分離處理模塊622。
基于表示覆蓋背景區(qū)域和未覆蓋背景區(qū)域的區(qū)域信息以及混合比α，分離處理模塊622將參照圖59和60所討論的算法應(yīng)用到從幀存儲器621提供的幀#n-1、幀#n和幀#n+1中相應(yīng)像素的像素值上，以便從幀#n中屬于混合區(qū)域的像素內(nèi)分離前景分量和背景分量，并將它們提供到幀存儲器623。
分離處理模塊622由未覆蓋區(qū)域處理器631、覆蓋區(qū)域處理器632、合成器633和合成器634構(gòu)成。
未覆蓋區(qū)域處理器631的乘法器641將幀存儲器621提供的幀#n+1中像素的像素值與混合比α相乘，并將得到的像素值輸出到開關(guān)642。開關(guān)642在從幀存儲器621提供的幀#n的像素(對應(yīng)于幀#n+1中的像素)屬于未覆蓋背景區(qū)域時閉合，并將乘法器641提供的被混合比α倍乘的像素值提供到計算器643和合成器634。開關(guān)642輸出的、通過將幀#n+1的像素值與混合比α相乘而得到的數(shù)值等于幀#n中相應(yīng)像素的像素值的背景分量。
計算器643從幀存儲器621提供的幀#n的像素的像素值中提取從開關(guān)642提供的背景分量，從而獲得前景分量。計算器643將幀#n中屬于未覆蓋背景區(qū)域的像素的前景分量提供到合成器633。
覆蓋區(qū)域處理器632的乘法器651將從幀存儲器621提供的幀#n-1內(nèi)的像素的像素值與混合比α相乘，并將所得到的像素值輸出到開關(guān)652。開關(guān)652在從幀存儲器651提供的幀#n的像素(對應(yīng)于幀#n-1中的像素)屬于覆蓋背景區(qū)域時閉合，并將乘法器651提供的被混合比α倍乘的像素值提供到計算器653和合成器634。從開關(guān)652輸出的、通過將幀#n-1的像素值與混合比α相乘而得到的數(shù)值等于幀#n中相應(yīng)像素的像素值的背景分量。
計算器653從幀存儲器621提供的幀#n的像素的像素值中提取從開關(guān)652提供的背景分量，從而獲得前景分量。計算器653將幀#n中屬于未覆蓋背景區(qū)域的像素的前景分量提供到合成器633。
合成器633將幀#n中屬于未覆蓋背景區(qū)域并由計算器643提供的像素的前景分量與屬于覆蓋背景區(qū)域的并從計算器653提供的像素的前景分量結(jié)合，并將合成的前景分量提供到幀存儲器623。
合成器634將幀#n中屬于未覆蓋背景區(qū)域并由計算器643提供的像素的背景分量與屬于覆蓋背景區(qū)域的并從計算器653提供的像素的背景分量結(jié)合，并將合成的背景分量提供到幀存儲器623。
幀存儲器623存儲從分離處理模塊622提供的幀#n中混合區(qū)域內(nèi)像素的前景分量和背景分量。
幀存儲器623輸出所存儲的幀#n中混合區(qū)域內(nèi)像素的前景分量和所存儲的幀#n中混合區(qū)域內(nèi)像素的背景分量。
利用表示特征量的混合比α，像素值中包含的前景分量和背景分量可以完全分離。
合成器603將分離部分601輸出的幀#n中混合區(qū)域內(nèi)像素的前景分量與屬于前景區(qū)域的像素結(jié)合，從而產(chǎn)生前景分量圖像。合成器605將從分離部分601輸出的幀#n中混合區(qū)域內(nèi)像素的背景分量與屬于背景區(qū)域的像素結(jié)合，從而產(chǎn)生背景分量圖像。
圖62A示出對應(yīng)于圖58中幀#n的前景分量圖像的示例。圖62B示出對應(yīng)于圖58中幀#n的背景分量圖像的示例。
圖62A示出對應(yīng)于圖58中幀#n的前景分量圖像的示例。在前景和背景分離之前，最左側(cè)像素和從左起第十四像素僅由背景分量構(gòu)成，從而像素值設(shè)定為0。
在前景和背景分離之前，從左起第二和第四像素屬于未覆蓋背景區(qū)域，于是，背景分量設(shè)定為0，而前景分量保持不變。在前景和背景分離之前，從左起第七到第十三像素屬于覆蓋背景區(qū)域，于是，背景分量設(shè)定為0，而前景分量保持不變。從左起第五到第十像素僅由前景分量構(gòu)成，從而保持不變。
圖62B示出對應(yīng)于圖58中幀#n的背景分量圖像的示例。在前景和背景分離之前，最左側(cè)像素和從左起第十四像素僅由背景分量構(gòu)成，從而，背景分量保持不變。
在前景和背景分離之前，從左起第二到第四像素屬于未覆蓋背景區(qū)域，于是，前景分量設(shè)定為0，而背景分量保持不變。在前景和背景分離之前，從左起第十一到第十三像素屬于覆蓋背景區(qū)域，于是，前景分量設(shè)定為0，而背景分量保持不變。從左起第五到第十像素僅由前景分量構(gòu)成，因此像素值設(shè)定為0。
下面，參照圖63的流程圖，描述前景/背景分離器105所執(zhí)行的分離前景和背景的過程。在步驟S601中，分離部分601的幀存儲器621獲取輸入圖像，并將幀#n與先前幀#n-1和隨后的幀#n+1一起存儲，其中要對幀#n分離前景和背景。
在步驟S602中，分離部分601的分離處理模塊622獲取從混合比計算器104提供的區(qū)域信息。在步驟S603中，分離部分601的分離處理模塊622獲取從混合比計算器104提供的混合比α。
在步驟S604中，未覆蓋區(qū)域處理器631基于區(qū)域信息和混合比α從幀存儲器621所提供的屬于未覆蓋背景區(qū)域的像素的像素值中提取背景分量。
在步驟S605中，未覆蓋區(qū)域處理器631基于區(qū)域信息和混合比α從幀存儲器621所提供的屬于未覆蓋背景區(qū)域的像素的像素值中提取前景分量。
在步驟S606中，覆蓋區(qū)域處理器632基于區(qū)域信息和混合比α從幀存儲器621所提供的屬于覆蓋背景區(qū)域的像素的像素值中提取背景分量。
在步驟S607中，覆蓋區(qū)域處理器632基于區(qū)域信息和混合比α從幀存儲器621所提供的屬于覆蓋背景區(qū)域的像素的像素值中提取前景分量。
在步驟S608中，合成器633將步驟S605過程中提取的屬于未覆蓋背景區(qū)域的像素的前景分量與步驟S607過程中提取的屬于覆蓋背景區(qū)域的像素的前景分量結(jié)合。所合成的前景分量提供到合成器603。合成器603進一步將經(jīng)由開關(guān)602提供的屬于前景區(qū)域的像素與從分離部分601提供的前景分量結(jié)合，從而產(chǎn)生前景分量圖像。
在步驟S609中，合成器634將步驟S604過程中提取的屬于未覆蓋背景區(qū)域的像素的背景分量與步驟S606過程中提取的屬于覆蓋背景區(qū)域的像素的背景分量結(jié)合。所合成的背景分量提供到合成器605。合成器605進一步將經(jīng)由開關(guān)604提供的屬于背景區(qū)域的像素與從分離部分601提供的背景分量結(jié)合，從而產(chǎn)生背景分量圖像。
在步驟S610中，合成器603輸出前景分量圖像，在步驟S611中，合成器605輸出背景分量圖像。然后結(jié)束該過程。
如上所述，前景/背景分離器105能夠基于區(qū)域信息和混合比α從輸入圖像中分離前景分量和背景分量，并輸出僅由前景分量構(gòu)成的前景分量圖像和僅由背景分量構(gòu)成的背景分量圖像。
圖64示出根據(jù)本發(fā)明的圖像處理設(shè)備的另一種結(jié)構(gòu)。類似于圖2所示的元件由類似的附圖標(biāo)記標(biāo)示，并且省略了對其的解釋。
移動方向估算單元701基于從區(qū)域規(guī)定單元103提供的區(qū)域信息和輸入圖像產(chǎn)生與前景對象相對應(yīng)的運動矢量，并從運動矢量中提取移動方向，以便將所提取的移動方向提供到混合比計算器702。移動方向估算單元701能夠輸出所產(chǎn)生的運動矢量。
混合比計算器702基于從區(qū)域規(guī)定單元103提供的區(qū)域信息和從移動方向估算單元701提供的移動方向為每個像素計算混合比α，并將所計算的混合比α提供到前景/背景分離器105。
圖65是示出移動方向估算單元701的結(jié)構(gòu)的方塊圖。運動矢量檢測器721基于從區(qū)域規(guī)定單元103提供的區(qū)域信息和輸入圖像產(chǎn)生運動矢量。
更具體地說，當(dāng)幀#n的指定像素屬于覆蓋背景區(qū)域時，運動矢量檢測器721基于區(qū)域規(guī)定單元103所提供的幀#n和幀#n+1的區(qū)域信息從幀#n中提取與指定像素相對應(yīng)的估算區(qū)段(block)。
例如，如圖66所示，提取以屬于覆蓋背景區(qū)域的指定像素為中心并包含背景區(qū)域和前景區(qū)域的估算區(qū)段。
在圖66中，A表示指定像素，B表示估算區(qū)段，而C代表搜索區(qū)域。在圖66中，D表示前景區(qū)域，E表示背景區(qū)域，F(xiàn)代表覆蓋背景區(qū)域，而G代表未覆蓋背景區(qū)域。
運動矢量檢測器721檢測幀#n+1的覆蓋背景區(qū)域，后者具有與包含在所提取的估算區(qū)段中的覆蓋背景區(qū)域相同的結(jié)構(gòu)。
例如，如圖66所示，運動矢量檢測器721搜索幀#n+1中與幀#n中的估算區(qū)段相對應(yīng)的搜索區(qū)域，并檢測幀#n+1的覆蓋背景區(qū)域，后者具有與包含在所提取的估算區(qū)段中的覆蓋背景區(qū)域相同的結(jié)構(gòu)。
運動矢量檢測器721基于幀#n的估算區(qū)段在屏幕上的位置以及幀#n+1中所檢測到的覆蓋背景區(qū)域在屏幕上的位置，計算與指定像素相對應(yīng)的運動矢量。運動矢量檢測器721輸出所計算的運動矢量，并將其提供到移動方向選擇器722。
如圖67A和67B所示，運動矢量檢測器721將估算區(qū)段一側(cè)邊的長度設(shè)定為移動量v(混合區(qū)域的寬度)的二倍那么長。
例如，如圖67A所示，現(xiàn)在假設(shè)指定像素位于混合區(qū)域的邊緣，在這種情況下，如果估算區(qū)段一側(cè)邊的長度設(shè)定為移動量v的二倍那么長，則估算區(qū)段包含背景區(qū)域和混合區(qū)域，且要檢測的混合區(qū)域的輪廓變得清晰。
類似地，如圖67B所示，現(xiàn)在假設(shè)指定像素位于混合區(qū)域的中心，在這種情況下，如果估算區(qū)段的一側(cè)邊的長度設(shè)定為移動量v的二倍那么長，則估算區(qū)段包含背景區(qū)域和混合區(qū)域，并且要檢測的混合區(qū)域的輪廓變得清晰。
相反，如圖67C所示，現(xiàn)在假設(shè)指定像素位于混合區(qū)域的邊緣，在這種情況下，如果估算區(qū)段的一側(cè)邊的長度設(shè)定為與移動量v相同的長度，則背景區(qū)域或混合區(qū)域都未包含在估算區(qū)段內(nèi)，從而要檢測的混合區(qū)域的輪廓變得不清晰。同樣，如圖67D所示，現(xiàn)在假設(shè)指定像素位于混合區(qū)域的中心，在這種情況下，如果估算區(qū)段的一側(cè)邊的長度設(shè)定為與移動量v相同的長度，則背景區(qū)域或混合區(qū)域都未包含在估算區(qū)段內(nèi)，從而要檢測的混合區(qū)域的輪廓變得不清晰。
如上所述，通過將估算區(qū)段的一側(cè)邊的長度設(shè)定為移動量v二倍那么長，運動矢量檢測器721能夠可靠地檢測幀#n+1的與估算區(qū)段具有相同結(jié)構(gòu)的覆蓋背景區(qū)域。
當(dāng)幀#n的指定像素屬于未覆蓋背景區(qū)域時，運動矢量檢測器721基于從區(qū)域規(guī)定單元103提供的幀#n和幀#n+1的區(qū)域信息從幀#n中提取與指定像素相對應(yīng)的估算區(qū)段。
運動矢量檢測器721檢測幀#n+1的未覆蓋背景區(qū)域，后者與所提取的估算區(qū)段中包含的未覆蓋背景區(qū)域具有相同結(jié)構(gòu)。
運動矢量檢測器721基于幀#n的估算區(qū)段在屏幕上的位置以及幀#n+1的計算對應(yīng)于指定像素的運動矢量，運動矢量檢測器721輸出所計算的運動矢量，并將其提供到運動方向選擇器722。
當(dāng)幀#n的指定像素屬于前景區(qū)域，運動矢量檢測器721從幀#n的輸入圖像中提取與指定像素相對應(yīng)的估算區(qū)段。運動矢量檢測器721提供幀#n的輸入圖像的估算區(qū)段與幀#n+1的輸入圖像之間的匹配，并基于幀#n輸入圖像的估算區(qū)段的位置和已經(jīng)與估算區(qū)段相匹配的幀#n+1的圖像的位置產(chǎn)生運動矢量。
運動矢量檢測器721可以基于前景區(qū)域或背景區(qū)域的區(qū)域信息檢測運動矢量，在這種情況下，運動矢量檢測器721不需要輸入圖像。
另外，針對覆蓋背景區(qū)域、未覆蓋背景區(qū)域、前景區(qū)域或背景區(qū)域，運動矢量檢測器721可以通過執(zhí)行在整個屏幕上匹配來檢測運動矢量。在這種情況下，運動矢量檢測器721不需要輸入圖像。
返回參照圖65，移動方向選擇器722提取從運動矢量檢測器721提供的運動矢量的運動方向，并輸出所提取的移動方向。
例如，移動方向選擇器722從運動矢量中提取水平矢量分量和垂直矢量分量，并計算水平矢量分量的絕對值和垂直矢量分量的絕對值。移動方向選擇器722選擇水平矢量分量和垂直矢量分量中具有較大絕對值的一個。移動方向選擇器722輸出與所選擇的矢量分量相對應(yīng)的方向作為移動方向。
移動方向可以采取例如0、1、2和3的數(shù)值中的一個，其中0表示左，1表示右，2表示頂，而3表示底。
以此方式，移動方向估算單元701能夠檢測運動矢量，并能夠輸出移動方向。
圖68是示出混合比計算器702的結(jié)構(gòu)的方塊圖?；旌蠀^(qū)域?qū)挾葯z測器741基于從區(qū)域規(guī)定單元103提供的區(qū)域信息和從移動方向估算單元701提供的移動方向利用像素間隔為單位檢測指定像素所屬的混合區(qū)域的寬度，并將所檢測到的寬度作為混合區(qū)域?qū)挾刃畔⑻峁┑街本€應(yīng)用部分742。
直線應(yīng)用部分742基于從混合區(qū)域?qū)挾葯z測器741提供的混合區(qū)域?qū)挾刃畔⒑蛷囊苿臃较蚬浪銌卧?01提供的移動方向計算混合區(qū)域的寬度與從指定像素到混合區(qū)域附近的背景區(qū)域的像素的距離的比。直線應(yīng)用部分742基于混合區(qū)域的寬度與從指定像素到混合區(qū)域附近的背景區(qū)域的像素的距離的比計算指定像素的混合比。
下面參照圖69所示的流程圖，描述由如圖64所示構(gòu)造的圖像處理設(shè)備所執(zhí)行的前景/背景分離過程。
在步驟S701中，區(qū)域規(guī)定單元103基于輸入圖像執(zhí)行區(qū)域規(guī)定過程，以用于產(chǎn)生表示輸入圖像的每個像素屬于前景區(qū)域、背景區(qū)域、覆蓋背景區(qū)域或未覆蓋背景區(qū)域中哪一個的區(qū)域區(qū)域信息。區(qū)域規(guī)定單元103將所產(chǎn)生的區(qū)域信息提供到混合比計算器702。步驟S701過程的細(xì)節(jié)與步驟S12的過程類似，因此省略了對其的描述。
在步驟S702中，移動方向估算單元701基于從區(qū)域規(guī)定單元103提供的區(qū)域信息檢測移動方向。移動方向檢測過程的細(xì)節(jié)將在下面描述。移動方向檢測單元701將移動方向提供到混合比計算器702。
在步驟S703中，混合比計算器702基于移動方向估算單元701所提供的移動方向和區(qū)域規(guī)定單元103所提供的區(qū)域信息為包含在混合區(qū)域內(nèi)的每個像素計算混合比α?；旌媳扔嬎氵^程的細(xì)節(jié)將在下面討論?；旌媳扔嬎闫?04將所計算的混合比α供給前景/背景分離器105。步驟S703過程的細(xì)節(jié)與步驟S13過程中的類似，因此省略了對其的描述。
在步驟S704中，前景/背景分離器705基于區(qū)域信息和混合比α從輸入圖像中提取前景分量和背景分量，并基于所提取的前景分量合成前景分量圖像，且基于所提取的背景分量合成背景分量圖像。前景/背景分離器705輸出前景分量圖像和背景分量圖像，并結(jié)束該過程。步驟S704過程的細(xì)節(jié)與步驟S14過程的相類似，因此省略了對其的描述。
如上所述，如圖64所示構(gòu)造的圖像處理設(shè)備能夠分離前景和背景。
下面，參照圖70所示的流程圖描述由移動方向估算單元701所執(zhí)行的移動方向獲取過程。
在步驟S721中，運動矢量檢測器721獲取指定幀的輸入圖像和指定幀之后的幀的輸入圖像。
在步驟S722中，運動矢量檢測器721獲取指定幀的區(qū)域信息和指定幀之后的幀的區(qū)域信息。
在步驟S723，運動矢量檢測器721指定像素。在步驟S724，運動矢量檢測器721基于指定幀的區(qū)域信息確定指定像素是否屬于靜止區(qū)域。如果確定到指定像素屬于靜止區(qū)域，則過程前進到步驟S725，在該步驟中，運動矢量設(shè)定為0，然后過程前進到步驟S737。
如果在步驟S724中確定到指定像素不屬于靜止區(qū)域，則過程前進到步驟S726。在步驟S726，運動矢量檢測器721基于指定幀的區(qū)域信息確定指定像素是否屬于覆蓋背景區(qū)域。如果在步驟S726確定到指定像素屬于覆蓋背景區(qū)域，則過程前進到步驟S727。在步驟S727，運動矢量檢測器721產(chǎn)生包含覆蓋背景區(qū)域、前景區(qū)域和背景區(qū)域的估算區(qū)段。在步驟S728，運動矢量檢測器721進行估算區(qū)段與表示指定幀之后的幀的覆蓋背景區(qū)域的區(qū)域信息之間的匹配。
例如，運動矢量檢測器721計算估算區(qū)域和具有與估算區(qū)段相同大小的區(qū)域之間的誤差的平方和，而所述區(qū)域是在指定幀之后的幀的區(qū)域信息的搜索區(qū)域內(nèi)，并在搜索區(qū)域內(nèi)選擇具有最小誤差平方和的區(qū)域。
在步驟S729中，運動矢量檢測器721基于指定幀估算區(qū)段的位置以及指定幀之后的幀的相匹配覆蓋背景區(qū)域的位置產(chǎn)生運動矢量，而過程前進到步驟S737。
如果在步驟S726確定到指定像素不屬于覆蓋背景區(qū)域，則過程前進到步驟S730。在步驟S730，運動矢量檢測器721基于指定幀的區(qū)域信息確定指定像素是否屬于未覆蓋背景區(qū)域。
如果在步驟S730中確定到指定區(qū)域?qū)儆谖锤采w背景區(qū)域，則過程進行到步驟S731。在步驟S731，運動矢量檢測器721產(chǎn)生包含未覆蓋背景區(qū)域、前景區(qū)域和背景區(qū)域的估算區(qū)段。在步驟S732中，運動矢量檢測器721進行估算區(qū)段和表示指定幀之后的幀的未覆蓋背景區(qū)域的區(qū)域信息之間的匹配。
例如，運動矢量檢測器721計算估算區(qū)段和具有與估算區(qū)段相同大小的區(qū)域的誤差平方和，而該區(qū)域是處于指定幀之后的幀的區(qū)域信息的搜索區(qū)域之內(nèi)的，并在搜索區(qū)域內(nèi)選擇誤差平方和最小的區(qū)域。
在步驟S733，運動矢量檢測器721基于指定幀估算區(qū)段的位置和指定幀之后的幀的相匹配未覆蓋背景區(qū)域的位置產(chǎn)生運動矢量，然后過程前進到步驟S737。
如果在步驟S730確定到指定像素不屬于未覆蓋背景區(qū)域，則可以證實指定像素屬于前景區(qū)域，由此過程前進到步驟S734，在該步驟中，運動矢量檢測器721在輸入圖像指定幀中產(chǎn)生估算區(qū)段。在步驟S735中，運動矢量檢測器721進行指定幀估算區(qū)段與指定幀之后的幀的輸入圖像之間的匹配。
例如，運動矢量檢測器721計算估算區(qū)段與具有與估算區(qū)段相同大小的圖像部分之間的誤差平方和，而該圖像部分是處于指定幀之后的幀的搜索區(qū)域之內(nèi)的，并在搜索區(qū)域內(nèi)選擇具有最小誤差平方和的圖像部分。
在步驟S736，運動矢量檢測器721基于指定幀估算區(qū)段的位置和指定幀之后的幀的相匹配圖像部分的位置產(chǎn)生運動矢量，過程然后進展到步驟S737。
在步驟S737，運動矢量檢測器721確定是否已經(jīng)振動指定幀的所有像素產(chǎn)生運動矢量。如果確定出還沒有針對指定幀的所有像素產(chǎn)生運動矢量，則過程返回到步驟S723，在該步驟中，選擇隨后的像素并重復(fù)產(chǎn)生運動矢量的過程。
如果在步驟S737中確定已經(jīng)針對指定幀的所有像素產(chǎn)生了運動矢量，則過程前進到步驟S738。在步驟S738，運動矢量檢測器721將運動矢量提供到移動方向選擇器722，并輸出運動矢量。
在步驟S739，移動方向選擇器722基于運動矢量檢測器721所提供的運動矢量產(chǎn)生移動方向。在步驟S740，移動方向選擇器722輸出所產(chǎn)生的移動方向，并結(jié)束該過程。
如上所述，移動方向估算單元701能夠基于輸入圖像和區(qū)域信息產(chǎn)生運動矢量和移動方向。
已經(jīng)描述了運動矢量估算單元701利用指定幀和指定幀之后的幀的圖像和區(qū)域信息產(chǎn)生運動矢量和移動方向。另外，運動矢量估算單元701可以利用指定幀和指定幀之前的幀的圖像和區(qū)域信息產(chǎn)生運動矢量和移動方向。
下面參照圖71的流程圖，描述由混合比計算器702所執(zhí)行的混合比計算過程。
在步驟S761中，混合比寬度檢測器741獲取從區(qū)域規(guī)定單元103提供的區(qū)域信息。在步驟S762，混合比寬度檢測器741和直線應(yīng)用部分742獲取從移動方向估算單元701提供的移動方向。
在步驟S763中，直線應(yīng)用部分742指定像素。在步驟S764中，直線應(yīng)用部分742基于區(qū)域信息確定指定像素是否屬于前景區(qū)域。如果確定出指定像素屬于前景區(qū)域，則過程前進到步驟S765，在該步驟中，在混合比α中設(shè)定0，而過程前進到步驟S769。
如果在步驟S764確定出指定像素不屬于前景區(qū)域，則過程前進到步驟S766，在步驟S766，直線應(yīng)用部分742基于區(qū)域信息確定指定像素是否屬于背景區(qū)域。如果確定出指定像素屬于背景區(qū)域，則過程前進到步驟S767，在該步驟中混合比α中設(shè)定1，過程前進到步驟S769。
如果在步驟S766中確定指定像素不屬于背景區(qū)域，則過程前進到步驟S768。在步驟S768中，直線應(yīng)用部分執(zhí)行用于計算屬于混合區(qū)域的像素的混合比的過程，且過程前進到步驟S769。用于計算屬于混合區(qū)域的像素的混合比α的過程的細(xì)節(jié)將在下面描述。
在步驟S769中，直線應(yīng)用部分742與指定像素相對應(yīng)地存儲所計算的混合比α。
在步驟S770中，直線應(yīng)用部分742確定混合比α是否已經(jīng)針對整個幀計算。如果確定出混合比α還未針對整個幀計算，則過程返回到步驟S763，在該步驟中，選取另一個像素，以重復(fù)計算混合比α的過程。
如果在步驟S770中確定到混合比α已經(jīng)針對整個幀計算，則過程前進到步驟S771，在該步驟中，直線應(yīng)用部分742輸出混合比α。然后結(jié)束該過程。
下面，參照圖72的流程圖，給出用于計算屬于混合區(qū)域的像素的混合比的過程的描述，該過程是與步驟S768中的過程相對應(yīng)，并由混合區(qū)域?qū)挾葯z測器741和直線應(yīng)用部分742執(zhí)行。
在步驟S781中，混合區(qū)域?qū)挾葯z測器741基于從移動方向估算單元701提供的移動方向和從區(qū)域規(guī)定單元103提供的區(qū)域信息確定混合區(qū)域在運動矢量移動方向上的寬度?；旌蠀^(qū)域?qū)挾葯z測器741將混合區(qū)域的寬度作為混合區(qū)域?qū)挾刃畔⑻峁┑街本€應(yīng)用部分742。
在步驟S782中，直線應(yīng)用部分742確定在移動方向上從指定像素到混合區(qū)域邊緣的距離。
在步驟S783中，直線應(yīng)用部分742確定在與移動方向相反的方向上從指定像素到混合區(qū)域邊緣的距離。
在步驟S784中，直線應(yīng)用部分742基于區(qū)域信息和混合區(qū)域的寬度與從指定像素到混合區(qū)域的邊緣的距離的比計算混合比α，然后該過程結(jié)束。
如上所述，混合比計算器702能夠基于從區(qū)域規(guī)定單元103提供的區(qū)域信息和從移動方向估算單元701提供的移動方向計算作為對應(yīng)于每個像素的特征量的混合比α。
圖73是示出根據(jù)本發(fā)明的圖像處理設(shè)備的另一結(jié)構(gòu)的方塊圖。與圖64中相同的元件用相同的附圖標(biāo)記標(biāo)示，并從而省略了對其的描述。
在圖73所示的圖像處理設(shè)備中，移動方向從外部數(shù)據(jù)源輸入。
區(qū)域規(guī)定單元103將輸入圖像的每個像素規(guī)定為前景區(qū)域、背景區(qū)域或混合區(qū)域，并將表示每個像素屬于前景區(qū)域、背景區(qū)域或混合區(qū)域中哪一個的區(qū)域信息提供給混合比計算器702和前景/背景分離器105。
混合比計算器702基于從區(qū)域規(guī)定單元103提供的區(qū)域信息和從外部數(shù)據(jù)源提供的移動方向計算每個像素的混合比α，并將所計算的混合比α提供給前景/背景分離器105。
前景/背景分離器105基于從區(qū)域規(guī)定單元103提供的區(qū)域信息和從混合比計算器702提供的混合比α將輸入圖像分離成僅由前景分量構(gòu)成的前景分量圖像和僅由背景分量構(gòu)成的背景分量圖像，并輸出前景分量圖像和背景分量圖像。
下面參照圖74的流程圖描述由如圖73所示構(gòu)造的圖像處理設(shè)備執(zhí)行的前景/背景分離過程。
在步驟S801中，區(qū)域規(guī)定單元103基于輸入圖像執(zhí)行區(qū)域規(guī)定過程，以用于產(chǎn)生表示輸入圖像的每個像素屬于前景區(qū)域、背景區(qū)域、覆蓋背景區(qū)域或未覆蓋背景區(qū)域中哪一個的區(qū)域區(qū)域信息。區(qū)域規(guī)定單元103將所產(chǎn)生的區(qū)域信息提供到混合比計算器702。
在步驟S802中，混合比計算器702基于外部輸入的移動方向和從區(qū)域規(guī)定單元103提供的區(qū)域信息計算混合區(qū)域內(nèi)包含的每個像素的混合比α?；旌媳扔嬎闫?04將所計算的混合比α提供到前景/背景分離器105。
在步驟S803中，前景/背景分離器105基于區(qū)域信息和混合比α從輸入圖像中提取前景分量和背景分量，并基于所提取的前景分量合成前景分量圖像，且基于所提取的背景分量合成背景分量圖像。前景/背景分離器105輸出前景分量圖像和背景分量圖像，從而過程結(jié)束。
如上所述，如圖73所示構(gòu)造的圖像處理設(shè)備能夠分離前景和背景。
已經(jīng)描述了其中確定混合區(qū)域的寬度以計算在運動矢量的方向上從指定像素到混合區(qū)域邊緣的距離，或確定混合區(qū)域的寬度以計算在移動方向上從指定像素到混合區(qū)域邊緣的距離。然而，混合比可以借助參照圖55或72所描述的過程、通過確定上述混合區(qū)域?qū)挾群驮谡挥谶\動矢量或移動方向的方向之外的任何方向上的距離來計算。例如，混合比可以借助于參照圖55或72所描述的過程、通過確定混合區(qū)域的寬度以及在平行于運動矢量或移動方向的方向上的從指定像素到混合區(qū)域邊緣的距離來計算。另外，混合比可以借助于參照圖55或72所描述的過程、通過確定混合區(qū)域?qū)挾群驮谛苯挥谶\動矢量或移動方向的方向上的從指定像素到混合區(qū)域邊緣的距離來計算。
即，規(guī)定與圖像數(shù)據(jù)相應(yīng)的其中混合有形成前景對象的前景份量和形成背景對象的背景分量的混合區(qū)域，并輸出區(qū)域信息。然后，通過假設(shè)表示混合區(qū)域中背景對象分量與前景對象分量的比的混合比相對于像素位置基本線性地變化，可以基于區(qū)域信息和前景對象的移動方向估算混合比。通過這種結(jié)構(gòu)，可以檢測圖像的混合狀態(tài)。
在這種情況下，基于在一端位于僅由前景對象分量構(gòu)成的前景區(qū)域而另一端位于僅由背景對象分量構(gòu)成的背景區(qū)域的片段(segment)，即橫截混合區(qū)域的片段上的距離，可以估算像素與片段上的位置相對應(yīng)的混合比。
同樣，基于在平行于前景對象移動方向的片段上的位置，可以估算像素與片段上的位置相對應(yīng)的混合比。
此外，基于在與前景對象的移動方向斜交的片段上的位置，可以估算像素與在片段上的位置相對應(yīng)的混合比。
已經(jīng)描述了混合比α設(shè)定為像素值中包含的背景分量的比率的情況。然而，混合比α也可以設(shè)定為像素值中所包含的前景分量的比率。
也已經(jīng)描述了前景對象的移動方向設(shè)定為從左向右的情況。然而，移動方向并不局限于上述方向。
在上面描述中，具有三維空間和時間軸信息的實空間圖像利用攝像機投影到具有二維空間和時間軸信息的時間空間上。然而，本發(fā)明不局限于這個示例，而可以應(yīng)用到以下的情況中。當(dāng)一維空間內(nèi)的更大量的第一信息投影到二維空間內(nèi)的較少量第二信息上時，可以校正投影所造成的失真，可以提取有意義的信息，或可以合成更自然的圖像。
傳感器不局限于CCD，而可以是其他類型的傳感器，諸如固態(tài)圖像捕捉器件，例如BBD(組桶式器件)、CID(電荷發(fā)射器件)或CPD(起電器件，Charge Priming Device)，或是CMOS(互補金屬氧化物半導(dǎo)體)。傳感器也不需要是其中檢測器件以矩陣布置的傳感器，而可以是其中檢測器件布置成一行的傳感器。
其中記錄用于執(zhí)行本發(fā)明的信號處理的程序的記錄介質(zhì)可以由其中記錄程序的包介質(zhì)(package medium)形成，該介質(zhì)與計算機單獨地分發(fā)到用戶手中，如圖1所示，諸如是磁盤51(包括軟盤(注冊商標(biāo)))、光盤52(包括CD-ROM(致密盤只讀存儲器))和DVD(數(shù)字多用途盤)、磁光盤53(包括MD(迷你盤))(注冊商標(biāo))，或半導(dǎo)體存儲器54。記錄介質(zhì)也可以由其中記錄程序的ROM 22或包含在存儲單元28內(nèi)的硬盤形成，這種記錄介質(zhì)以預(yù)先存儲在計算機中的形式提供給用戶。
形成記錄介質(zhì)上所記錄的程序的步驟可以根據(jù)說明書中所描述的順序按時間次序執(zhí)行。然而，它們不必要以時序方式執(zhí)行，而是可以同時或單獨執(zhí)行。
工業(yè)應(yīng)用性根據(jù)第一個發(fā)明，可以檢測圖像中的混合狀態(tài)。
根據(jù)第二個發(fā)明，可以檢測圖像中的混合狀態(tài)。
權(quán)利要求
1.一種圖像處理設(shè)備，用于處理預(yù)定數(shù)量的像素數(shù)據(jù)形成的圖像數(shù)據(jù)，該像素數(shù)據(jù)由圖像捕捉裝置獲得，該圖像捕捉裝置包括預(yù)定數(shù)量的像素，該像素具有時積功能，所述圖像處理設(shè)備包括區(qū)域規(guī)定裝置，用于對應(yīng)于圖像數(shù)據(jù)規(guī)定由形成前景對象的前景對象分量和形成背景對象的背景對象分量混合而成的混合區(qū)域，以及由前景區(qū)域和背景區(qū)域形成的非混合區(qū)域，其中前景區(qū)域僅由前景對象分量構(gòu)成，而背景區(qū)域僅由背景對象分量構(gòu)成；以及混合比估算裝置，用于基于混合區(qū)域在相對于前景對象分量移動方向的預(yù)定方向上的寬度與在所述預(yù)定方向上從指定像素的位置到混合區(qū)域的邊緣的距離的比，來估算表示所述指定像素的前景對象分量與背景對象分量之間的比的混合比，其中該混合區(qū)域的寬度是由區(qū)域信息指定的。
2.如權(quán)利要求1所述的圖像處理設(shè)備，還包括運動矢量檢測裝置，用于檢測前景對象的運動矢量，其中所述混合比估算裝置檢測混合區(qū)域的寬度以及在運動矢量的移動方向上從指定像素位置到混合區(qū)域邊緣的距離，并基于混合區(qū)域的寬度與從指定像素的位置到混合區(qū)域邊緣的距離的比來估算混合比。
3.如權(quán)利要求1所述的圖像處理設(shè)備，還包括移動方向檢測裝置，用于檢測前景對象的移動方向，其中所述混合比估算裝置檢測混合區(qū)域的寬度以及在移動方向上從指定像素的位置到混合區(qū)域邊緣的距離，并基于混合區(qū)域的寬度與從指定像素的位置到混合區(qū)域的邊緣的距離的比估算混合比。
4.如權(quán)利要求3所述的圖像處理設(shè)備，其中，所述移動方向檢測裝置包括運動矢量產(chǎn)生裝置，用于基于區(qū)域信息和混合區(qū)域在指定幀中的位置及混合區(qū)域在指定幀附近的幀中的位置產(chǎn)生運動矢量，從而基于所產(chǎn)生的運動矢量檢測移動方向。
5.一種用于圖像處理設(shè)備的圖像處理方法，該設(shè)備用于處理由預(yù)定數(shù)量的像素數(shù)據(jù)形成的圖像數(shù)據(jù)，該像素數(shù)據(jù)由圖像捕捉器件獲得，該圖像捕捉裝置包括預(yù)定數(shù)量的像素，該像素具有時積功能，所述圖像處理方法包括區(qū)域規(guī)定步驟，用于對應(yīng)于圖像數(shù)據(jù)規(guī)定由形成前景對象的前景對象分量和形成背景對象的背景對象分量混合而成的混合區(qū)域，以及由前景區(qū)域和背景區(qū)域形成的非混合區(qū)域，其中前景區(qū)域僅由前景對象分量構(gòu)成，而背景區(qū)域僅由背景對象分量構(gòu)成；以及混合比估算步驟，用于基于混合區(qū)域在相對于前景對象分量移動方向的預(yù)定方向上的寬度與預(yù)定方向上從指定像素的位置到混合區(qū)域邊緣的距離的比來估算表示指定像素的前景對象分量和背景對象分量之間的比的混合比，其中該混合區(qū)域的寬度是由區(qū)域信息指定的。
6.如權(quán)利要求5所述的圖像處理方法，還包括檢測前景對象的運動矢量的運動矢量檢測步驟，其中，在所述混合比估算步驟中，在運動矢量的移動方向上檢測混合區(qū)域的寬度和從指定像素的位置到混合區(qū)域邊緣的距離，并且基于混合區(qū)域的寬度與從指定像素的位置到混合區(qū)域邊緣的比來估算混合比。
7.如權(quán)利要求5所述的圖像處理方法，還包括檢測前景對象的移動方向的移動方向檢測步驟，其中，在所述混合比估算步驟中，在移動方向上檢測混合區(qū)域的寬度和從指定像素的位置到混合區(qū)域邊緣的距離，并且基于混合區(qū)域的寬度與從指定像素的位置到混合區(qū)域邊緣的比來估算混合比。
8.如權(quán)利要求7所述的圖像處理方法，其中，所述移動方向檢測步驟包括運動矢量產(chǎn)生步驟，用于基于區(qū)域信息和混合區(qū)域在指定幀中的位置以及混合區(qū)域在指定幀附近的幀中的位置產(chǎn)生運動矢量，從而基于所產(chǎn)生的運動矢量檢測移動方向。
9.一種其中記錄計算機可讀取的程序的記錄介質(zhì)，該程序用于處理由預(yù)定數(shù)量像素數(shù)據(jù)形成的圖像數(shù)據(jù)，該像素數(shù)據(jù)由圖像捕捉器件獲得，該圖像捕捉裝置包括預(yù)定數(shù)量的像素，該像素具有時積功能，所述程序包括區(qū)域規(guī)定步驟，用于對應(yīng)于圖像數(shù)據(jù)規(guī)定由形成前景對象的前景對象分量和形成背景對象的背景對象分量混合而成的混合區(qū)域，以及由前景區(qū)域和背景區(qū)域形成的非混合區(qū)域，其中前景區(qū)域僅由前景對象分量構(gòu)成，而背景區(qū)域僅由背景對象分量構(gòu)成；以及混合比估算步驟，用于基于混合區(qū)域在相對于前景對象分量移動方向的預(yù)定方向上的寬度與預(yù)定方向上從指定像素的位置到混合區(qū)域邊緣的距離的比來估算表示指定像素的前景對象分量和背景對象分量之間的比的混合比，其中該混合區(qū)域的寬度是由區(qū)域信息指定的。
10.如權(quán)利要求9所述的記錄介質(zhì)，其中，所述程序還包括檢測前景對象的運動矢量的運動矢量檢測步驟；并且在所述混合比估算步驟中，在運動矢量的移動方向上檢測混合區(qū)域的寬度和從指定像素的位置到混合區(qū)域邊緣的距離，并且基于混合區(qū)域的寬度與從指定像素的位置到混合區(qū)域邊緣的比來估算混合比。
11.如權(quán)利要求9所述的記錄介質(zhì)，其中所述程序還包括檢測前景對象的移動方向的移動方向檢測步驟；并且在所述混合比估算步驟中，在移動方向上檢測混合區(qū)域的寬度和從指定像素的位置到混合區(qū)域邊緣的距離，并且基于混合區(qū)域的寬度與從指定像素的位置到混合區(qū)域邊緣的比來估算混合比。
12.如權(quán)利要求11所述的記錄介質(zhì)，其中，所述移動方向檢測步驟包括運動矢量產(chǎn)生步驟，用于基于區(qū)域信息和混合區(qū)域在指定幀中的位置以及混合區(qū)域在指定幀附近的幀中的位置產(chǎn)生運動矢量，從而基于所產(chǎn)生的運動矢量檢測移動方向。
13.一種用于使處理圖像數(shù)據(jù)的計算機執(zhí)行以下步驟的程序，該圖像數(shù)據(jù)由預(yù)定數(shù)量的像素數(shù)據(jù)形成，該像素數(shù)據(jù)由圖像捕捉器件獲得，該圖像捕捉裝置包括預(yù)定數(shù)量的像素，該像素具有時積功能，該步驟包括區(qū)域規(guī)定步驟，用于對應(yīng)于圖像數(shù)據(jù)規(guī)定由形成前景對象的前景對象分量和形成背景對象的背景對象分量混合而成的混合區(qū)域，以及由前景區(qū)域和背景區(qū)域形成的非混合區(qū)域，其中前景區(qū)域僅由前景對象分量構(gòu)成，而背景區(qū)域僅由背景對象分量構(gòu)成；以及混合比估算步驟，用于基于混合區(qū)域在相對于前景對象分量移動方向的預(yù)定方向上的寬度與預(yù)定方向上從指定像素的位置到混合區(qū)域邊緣的距離的比來估算表示指定像素的前景對象分量和背景對象分量之間的比的混合比，其中該混合區(qū)域的寬度是由區(qū)域信息指定的。
14.如權(quán)利要求13所述的程序，還包括檢測前景對象的運動矢量的運動矢量檢測步驟，其中，在所述混合比估算步驟中，在運動矢量的移動方向上檢測混合區(qū)域的寬度和從指定像素的位置到混合區(qū)域邊緣的距離，并且基于混合區(qū)域的寬度與從指定像素的位置到混合區(qū)域邊緣的比來估算混合比。
15.如權(quán)利要求13所述的程序，還包括檢測前景對象的移動方向的移動方向檢測步驟，其中，在所述混合比估算步驟中，在移動方向上檢測混合區(qū)域的寬度和從指定像素的位置到混合區(qū)域邊緣的距離，并且基于混合區(qū)域的寬度與從指定像素的位置到混合區(qū)域邊緣的比來估算混合比。
16.如權(quán)利要求15所述的程序，其中，所述移動方向檢測步驟包括運動矢量產(chǎn)生步驟，用于基于區(qū)域信息和混合區(qū)域在指定幀中的位置以及混合區(qū)域在指定幀附近的幀中的位置產(chǎn)生運動矢量，從而基于所產(chǎn)生的運動矢量檢測移動方向。
17.一種圖像捕捉設(shè)備，包括圖像捕捉裝置，用于輸出作為由預(yù)定數(shù)量像素數(shù)據(jù)形成的圖像數(shù)據(jù)的主體圖像，該主體圖像由圖像捕捉器件捕捉，該圖像捕捉裝置包括預(yù)定數(shù)量的像素，該像素具有時積功能；區(qū)域規(guī)定裝置，用于對應(yīng)于圖像數(shù)據(jù)規(guī)定由形成前景對象的前景對象分量和形成背景對象的背景對象分量混合而成的混合區(qū)域，以及由前景區(qū)域和背景區(qū)域形成的非混合區(qū)域，其中前景區(qū)域僅由前景對象分量構(gòu)成，而背景區(qū)域僅由背景對象分量構(gòu)成；以及混合比估算裝置，用以基于混合區(qū)域在相對于前景對象分量移動方向的預(yù)定方向上的寬度與預(yù)定方向上從指定像素的位置到混合區(qū)域邊緣的距離的比來估算表示指定像素的前景對象分量和背景對象分量之間的比的混合比，其中該混合區(qū)域的寬度是由區(qū)域信息指定的。
18.如權(quán)利要求17所述的圖像捕捉設(shè)備，還包括用于檢測前景對象的運動矢量的運動矢量檢測裝置，其中，所述混合比估算裝置檢測混合區(qū)域的寬度以及在運動矢量的移動方向上從指定像素位置到混合區(qū)域邊緣的距離，并基于混合區(qū)域的寬度與從指定像素的位置到混合區(qū)域邊緣的距離的比來估算混合比。
19.如權(quán)利要求17所述的圖像捕捉設(shè)備，還包括移動方向檢測裝置，用于檢測前景對象的移動方向，其中所述混合比估算裝置檢測混合區(qū)域的寬度以及在移動方向上從指定像素的位置到混合區(qū)域邊緣的距離，并基于混合區(qū)域的寬度與從指定像素的位置到混合區(qū)域的邊緣的距離的比估算混合比。
20.如權(quán)利要求19所述的圖像捕捉設(shè)備，其中，所述移動方向檢測裝置包括運動矢量產(chǎn)生裝置，用于基于區(qū)域信息和混合區(qū)域在指定幀中的位置及混合區(qū)域在指定幀附近的幀中的位置產(chǎn)生運動矢量，從而基于所產(chǎn)生的運動矢量檢測移動方向。
21.一種用于處理圖像數(shù)據(jù)的圖像處理設(shè)備，該圖像數(shù)據(jù)由預(yù)定數(shù)量的像素數(shù)據(jù)形成，該像素數(shù)據(jù)由圖像捕捉器件獲得，該圖像捕捉裝置包括預(yù)定數(shù)量的像素，像素具有時積功能，所述圖像處理設(shè)備包括用來輸出區(qū)域信息的區(qū)域規(guī)定裝置，用于對應(yīng)于圖像數(shù)據(jù)規(guī)定由形成前景對象的前景對象分量和形成背景對象的背景對象分量混合而成的混合區(qū)域；以及混合比估算裝置，用于基于區(qū)域信息和前景對象的移動方向，通過假設(shè)混合比相對于像素位置基本線性地變化來估算表示混合區(qū)域內(nèi)前景對象分量和背景對象分量的比的混合比。
22.如權(quán)利要求21所述的圖像處理設(shè)備，其中，所述混合比估算裝置基于在一片段上的位置估算對應(yīng)于在該片段上的位置的像素的混合比，其中所述片段一端位于僅由前景對象分量構(gòu)成的前景區(qū)域，而另一端位于僅由背景對象分量構(gòu)成的背景區(qū)域，該片段橫截混合區(qū)域。
23.如權(quán)利要求22所述的圖像處理設(shè)備，其中，所述混合比估算裝置基于在平行于前景對象移動方向的片段上的位置來估算與該片段上的位置相對應(yīng)的像素的混合比。
24.如權(quán)利要求22所述的圖像處理設(shè)備，其中，所述混合比估算裝置基于在與前景對象移動方向斜交的片段上的位置來估算與該片段上的位置相對應(yīng)的像素的混合比。
25.一種用于處理圖像數(shù)據(jù)的圖像處理方法，該圖像數(shù)據(jù)由預(yù)定數(shù)量的像素數(shù)據(jù)形成，而該像素數(shù)據(jù)由圖像捕捉裝置獲得，該圖像捕捉裝置包括預(yù)定數(shù)量的像素，該像素具有時積功能，所述圖像處理方法包括輸出區(qū)域信息的區(qū)域規(guī)定步驟，用于對應(yīng)于圖像數(shù)據(jù)規(guī)定由形成前景對象的前景對象分量和形成背景對象的背景對象分量混合而成的混合區(qū)域；以及混合比估算步驟，用于基于區(qū)域信息和前景對象的移動方向，通過假設(shè)混合比相對于像素位置基本線性地變化來估算表示混合區(qū)域內(nèi)前景對象分量和背景對象分量的比的混合比。
26.如權(quán)利要求25所述的圖像處理方法，其中，在所述混合比估算步驟中，基于在一片段上的位置估算對應(yīng)于在該片段上的位置的像素的混合比，其中所述片段一端位于僅由前景對象分量構(gòu)成的前景區(qū)域，而另一端位于僅由背景對象分量構(gòu)成的背景區(qū)域，該片段橫截混合區(qū)域。
27.如權(quán)利要求26所述的圖像處理方法，其中，在所述混合比估算步驟中，基于在平行于前景對象移動方向的片段上的位置估算與該片段上的位置相對應(yīng)的像素的混合比。
28.如權(quán)利要求26所述的圖像處理方法，其中，在所述混合比估算步驟中，基于在與前景對象移動方向斜交的片段上的位置來估算與該片段上的位置相對應(yīng)的像素的混合比。
29.一種記錄介質(zhì)，其中記錄計算機可讀取程序，該程序用來處理由預(yù)定數(shù)量像素數(shù)據(jù)形成的圖像數(shù)據(jù)，該像素數(shù)據(jù)由圖像捕捉器件獲得，該圖像捕捉裝置包括預(yù)定數(shù)量的像素，該像素具有時積功能，所述程序包括輸出區(qū)域信息的區(qū)域規(guī)定步驟，用于對應(yīng)于圖像數(shù)據(jù)規(guī)定由形成前景對象的前景對象分量和形成背景對象的背景對象分量混合而成的混合區(qū)域；以及混合比估算步驟，用于基于區(qū)域信息和前景對象的移動方向，通過假設(shè)混合比相對于像素位置基本線性地變化來估算表示混合區(qū)域內(nèi)前景對象分量和背景對象分量的比的混合比。
30.如權(quán)利要求29所述的記錄介質(zhì)，其中，在所述混合比估算步驟中，基于在一片段上的位置估算對應(yīng)于在該片段上的位置的像素的混合比，其中所述片段一端位于僅由前景對象分量構(gòu)成的前景區(qū)域，而另一端位于僅由背景對象分量構(gòu)成的背景區(qū)域，該片段橫截混合區(qū)域。
31.如權(quán)利要求30所述的記錄介質(zhì)，其中，在所述混合比估算步驟中，基于在平行于前景對象移動方向的片段上的位置估算與該片段上的位置相對應(yīng)的像素的混合比。
32.如權(quán)利要求30所述的記錄介質(zhì)，其中，在所述混合比估算步驟中，基于在與前景對象移動方向斜交的片段上的位置來估算與該片段上的位置相對應(yīng)的像素的混合比。
33.一種讓處理圖像數(shù)據(jù)的計算機執(zhí)行以下步驟的程序，其中圖像數(shù)據(jù)由預(yù)定數(shù)量的像素數(shù)據(jù)形成，該像素數(shù)據(jù)由圖像捕捉器件獲得，該圖像捕捉裝置包括預(yù)定數(shù)量的像素，該像素具有時積功能，該步驟包括輸出區(qū)域信息的區(qū)域規(guī)定步驟，用于對應(yīng)于圖像數(shù)據(jù)規(guī)定由形成前景對象的前景對象分量和形成背景對象的背景對象分量混合而成的混合區(qū)域；以及混合比估算步驟，用于基于區(qū)域信息和前景對象的移動方向，通過假設(shè)混合比相對于像素位置基本線性地變化來估算表示混合區(qū)域內(nèi)前景對象分量和背景對象分量的比的混合比。
34.如權(quán)利要求33所述的程序，其中，在所述混合比估算步驟中，基于在一片段上的位置估算對應(yīng)于在該片段上的位置的像素的混合比，其中所述片段一端位于僅由前景對象分量構(gòu)成的前景區(qū)域，而另一端位于僅由背景對象分量構(gòu)成的背景區(qū)域，該片段橫截混合區(qū)域。
35.如權(quán)利要求34所述的程序，其中，在所述混合比估算步驟中，基于在平行于前景對象移動方向的片段上的位置估算與該片段上的位置相對應(yīng)的像素的混合比。
36.如權(quán)利要求34所述的程序，其中，在所述混合比估算步驟中，基于在與前景對象移動方向斜交的片段上的位置來估算與該片段上的位置相對應(yīng)的像素的混合比。
37.一種圖像捕捉設(shè)備，包括圖像捕捉裝置，用于輸出圖像捕捉器件所捕捉的主體圖像作為預(yù)定數(shù)量像素數(shù)據(jù)形成的圖像數(shù)據(jù)，該圖像捕捉器件包括預(yù)定數(shù)量像素，該像素具有時積功能；用來輸出區(qū)域信息的規(guī)定裝置，用于對應(yīng)于圖像數(shù)據(jù)規(guī)定由形成前景對象的前景對象分量和形成背景對象的背景對象分量混合而成的混合區(qū)域；以及混合比估算裝置，用以基于區(qū)域信息和前景對象的移動方向，通過假設(shè)混合比相對于像素位置基本線性地變化來估算表示混合區(qū)域內(nèi)前景對象分量和背景對象分量的比的混合比。
38.如權(quán)利要求37所述的圖像捕捉設(shè)備，其中，所述混合比估算裝置基于在一片段上的位置估算對應(yīng)于在該片段上的位置的像素的混合比，其中所述片段一端位于僅由前景對象分量構(gòu)成的前景區(qū)域，而另一端位于僅由背景對象分量構(gòu)成的背景區(qū)域，該片段橫截混合區(qū)域。
39.如權(quán)利要求38所述的圖像捕捉設(shè)備，其中，所述混合比估算裝置基于在平行于前景對象移動方向的片段上的位置估算與該片段上的位置相對應(yīng)的像素的混合比。
40.如權(quán)利要求38所述的圖像捕捉設(shè)備，其中，所述混合比估算裝置基于在與前景對象移動方向斜交的片段上的位置來估算與該片段上的位置相對應(yīng)的像素的混合比。
全文摘要
可以知道圖像中的混合狀態(tài)。參照圖像數(shù)據(jù)，區(qū)域識別單元(103)識別其中構(gòu)成前景對象的前景對象分量與構(gòu)成背景對象的背景對象分量相混合的混合區(qū)域和由前景區(qū)域和背景區(qū)域構(gòu)成的非混合區(qū)域，其中前景區(qū)域僅由前景對象分量構(gòu)成，而背景區(qū)域僅由背景對象分量構(gòu)成?；旌媳扔嬎銌卧?104)根據(jù)由區(qū)域信息所規(guī)定的在基于前景對象運動方向的預(yù)定方向上的混合區(qū)域?qū)挾扰c在該預(yù)定方向上從目標(biāo)像素的位置到混合區(qū)域邊緣的距離之間的比來估算表示目標(biāo)像素的前景對象分量和背景對象分量的混合比的混合比。
文檔編號G06T5/00GK1473313SQ02802783
公開日2004年2月4日 申請日期2002年6月26日 優(yōu)先權(quán)日2001年6月27日
發(fā)明者近藤哲二郎, 和田成司, 石橋淳一, 澤尾貴志, 藤原直樹, 永野隆浩, 三宅徹, 一, 司, 志, 樹, 浩 申請人:索尼公司