專(zhuān)利名稱(chēng)：圖像處理設(shè)備和方法以及圖像獲取設(shè)備的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理設(shè)備和方法以及圖像獲取設(shè)備，特別涉及考慮到傳感器檢測(cè)的信號(hào)和真實(shí)世界之差的圖像處理設(shè)備和方法以及圖像獲取設(shè)備。
背景技術(shù)：
用于通過(guò)傳感器檢測(cè)在真實(shí)世界發(fā)生的事件和用于處理從圖像傳感器輸出的采樣數(shù)據(jù)的技術(shù)被廣泛地使用。
例如，如果運(yùn)動(dòng)速度是相對(duì)較高，則在通過(guò)捕獲在預(yù)定靜止背景前面運(yùn)動(dòng)的目標(biāo)而獲得的圖像中將發(fā)生運(yùn)動(dòng)模糊。
但是，當(dāng)目標(biāo)正在靜止背景的前面運(yùn)動(dòng)時(shí)，不僅會(huì)發(fā)生由運(yùn)動(dòng)目標(biāo)本身的混合引起的運(yùn)動(dòng)模糊，而且會(huì)發(fā)生背景圖像和目標(biāo)圖像的混合。迄今為此，還沒(méi)有考慮過(guò)背景圖像和運(yùn)動(dòng)目標(biāo)的混合狀態(tài)的處理。

發(fā)明內(nèi)容
鑒于上述背景提出了本發(fā)明。因此，本發(fā)明的目的是能夠根據(jù)混合狀態(tài)來(lái)使背景圖像和目標(biāo)圖像分離。
本發(fā)明的圖像處理設(shè)備包括區(qū)域規(guī)定裝置，用于在對(duì)應(yīng)于一個(gè)屏幕的時(shí)間的一第一周期中規(guī)定混合形成圖像數(shù)據(jù)指定幀的前景目標(biāo)的前景目標(biāo)分量和形成指定幀的背景目標(biāo)的背景目標(biāo)分量的未覆蓋背景區(qū)域，該未覆蓋背景區(qū)域形成在前景目標(biāo)正在運(yùn)動(dòng)的方向上的后端；區(qū)域規(guī)定裝置，用于在接著該時(shí)間的第一周期之后對(duì)應(yīng)于一個(gè)屏幕的時(shí)間的一第二周期中，規(guī)定僅僅由前景目標(biāo)分量構(gòu)成的前景區(qū)域和僅僅由背景目標(biāo)分量構(gòu)成的背景區(qū)域；以及區(qū)域規(guī)定裝置，用于在接著該時(shí)間的第二周期之后對(duì)應(yīng)于一個(gè)屏幕的時(shí)間的一第三周期中規(guī)定混合前景目標(biāo)分量和背景目標(biāo)分量的覆蓋背景區(qū)域，該覆蓋背景區(qū)域形成在前景目標(biāo)正在運(yùn)動(dòng)的方向上的前端；混合比率檢測(cè)裝置，用于檢測(cè)表示在未覆蓋背景區(qū)域中和在覆蓋背景區(qū)域中前景目標(biāo)分量和背景目標(biāo)分量之比率的混合比率；以及前景/背景分離裝置，用于基于該混合比率將屬于未覆蓋背景區(qū)域和屬于覆蓋背景區(qū)域的像素的像素?cái)?shù)據(jù)分離成前景目標(biāo)分量和背景目標(biāo)分量，以及用于產(chǎn)生僅僅由前景目標(biāo)分量構(gòu)成的前景目標(biāo)圖像和僅僅由指定幀中的背景分量圖像構(gòu)成的背景分量圖像。
區(qū)域規(guī)定裝置可以臨時(shí)存儲(chǔ)被連續(xù)輸入的三個(gè)幀，并且區(qū)域規(guī)定裝置可以在時(shí)間的第一周期中可以將下述區(qū)域規(guī)定為對(duì)應(yīng)于指定幀的未覆蓋背景區(qū)域，在該區(qū)域中，對(duì)于在指定幀之前兩幀和指定幀之前一幀的確定結(jié)果是運(yùn)動(dòng)的，而對(duì)于指定幀之前一幀和指定幀的確定結(jié)果是靜止的，并且區(qū)域規(guī)定裝置可以在時(shí)間的第二周期中可以將下述區(qū)域規(guī)定為對(duì)應(yīng)于指定幀的前景區(qū)域，在該區(qū)域中，對(duì)于在指定幀之前一幀和指定幀的確定結(jié)果是運(yùn)動(dòng)的，而對(duì)于指定幀和指定幀之后一幀的確定結(jié)果是運(yùn)動(dòng)的，并可以在時(shí)間的第二周期中將下述區(qū)域規(guī)定為對(duì)應(yīng)于指定幀的背景區(qū)域，在該區(qū)域中，對(duì)于在指定幀之前一幀和指定幀的確定結(jié)果是靜止的，而對(duì)于指定幀和指定幀之后一幀的確定結(jié)果是靜止的，以及區(qū)域規(guī)定裝置可以在時(shí)間的第三周期中將下述區(qū)域規(guī)定為對(duì)應(yīng)于指定幀的覆蓋背景區(qū)域，在該區(qū)域中，對(duì)于指定像素和在指定幀之后一幀的確定結(jié)果是運(yùn)動(dòng)的，而對(duì)于指定幀之后一幀和指定幀之后兩幀的確定結(jié)果是靜止的。
本發(fā)明的圖像處理方法包括區(qū)域規(guī)定步驟，用于在對(duì)應(yīng)于一個(gè)屏幕的時(shí)間的一第一周期中規(guī)定混合形成圖像數(shù)據(jù)指定幀的前景目標(biāo)的前景目標(biāo)分量和形成指定幀的背景目標(biāo)的背景目標(biāo)分量的未覆蓋背景區(qū)域，該未覆蓋背景區(qū)域形成在前景目標(biāo)正在運(yùn)動(dòng)的方向上的后端；區(qū)域規(guī)定步驟，用于在接著該時(shí)間的第一周期之后對(duì)應(yīng)于一個(gè)屏幕的時(shí)間的一第二周期中，規(guī)定僅僅由前景目標(biāo)分量構(gòu)成的前景區(qū)域和僅僅由背景目標(biāo)分量構(gòu)成的背景區(qū)域；以及區(qū)域規(guī)定步驟，用于在接著該時(shí)間的第二周期之后對(duì)應(yīng)于一個(gè)屏幕的時(shí)間的一第三周期中規(guī)定混合前景目標(biāo)分量和背景目標(biāo)分量的覆蓋背景區(qū)域，該覆蓋背景區(qū)域形成在前景目標(biāo)正在運(yùn)動(dòng)的方向上的前端；混合比率檢測(cè)步驟，用于檢測(cè)表示在未覆蓋背景區(qū)域中和在覆蓋背景區(qū)域中前景目標(biāo)分量和背景目標(biāo)分量之比率的混合比率；以及前景/背景分離步驟，用于基于該混合比率將屬于未覆蓋背景區(qū)域和屬于覆蓋背景區(qū)域的像素的像素?cái)?shù)據(jù)分離成前景目標(biāo)分量和背景目標(biāo)分量，以便產(chǎn)生僅僅由前景目標(biāo)分量構(gòu)成的前景分量圖像和僅僅由指定幀中的背景分量圖像構(gòu)成的背景分量圖像。
在區(qū)域規(guī)定步驟中，可以臨時(shí)存儲(chǔ)被連續(xù)輸入的三個(gè)幀，并且在時(shí)間的第一周期中，可以將下述區(qū)域規(guī)定為對(duì)應(yīng)于指定幀的未覆蓋背景區(qū)域，在該區(qū)域中，對(duì)于在指定幀之前兩幀和指定幀之前一幀的確定結(jié)果是運(yùn)動(dòng)的，而對(duì)于指定幀之前一幀和指定幀的確定結(jié)果是靜止的，并且在時(shí)間的第二周期中，可以將下述區(qū)域規(guī)定為對(duì)應(yīng)于指定幀的前景區(qū)域，在該區(qū)域中，對(duì)于在指定幀之前一幀和指定幀的確定結(jié)果是運(yùn)動(dòng)的，而對(duì)于指定幀和指定幀之后一幀的確定結(jié)果是運(yùn)動(dòng)的，并在時(shí)間的第二周期中，將下述區(qū)域規(guī)定為對(duì)應(yīng)于指定幀的背景區(qū)域，在該區(qū)域中，對(duì)于在指定幀之前一幀和指定幀的確定結(jié)果是靜止的，而對(duì)于指定幀和指定幀之后一幀的確定結(jié)果是靜止的，以及在時(shí)間的第三周期中，將下述區(qū)域規(guī)定為對(duì)應(yīng)于指定幀的覆蓋背景區(qū)域，在該區(qū)域中，對(duì)于指定像素和在指定幀之后一幀的確定結(jié)果是運(yùn)動(dòng)的，而對(duì)于指定幀之后一幀和指定幀之后兩幀的確定結(jié)果是靜止的。
本發(fā)明記錄媒體的程序包括區(qū)域規(guī)定步驟，用于在對(duì)應(yīng)于一個(gè)屏幕的時(shí)間的一第一周期中規(guī)定混合形成圖像數(shù)據(jù)指定幀的前景目標(biāo)的前景目標(biāo)分量和形成指定幀的背景目標(biāo)的背景目標(biāo)分量的未覆蓋背景區(qū)域，該未覆蓋背景區(qū)域形成在前景目標(biāo)正在運(yùn)動(dòng)的方向上的后端；區(qū)域規(guī)定步驟，用于在接著該時(shí)間的第一周期之后對(duì)應(yīng)于一個(gè)屏幕的時(shí)間的一第二周期中，規(guī)定僅僅由前景目標(biāo)分量構(gòu)成的前景區(qū)域和僅僅由背景目標(biāo)分量構(gòu)成的背景區(qū)域；以及區(qū)域規(guī)定步驟，用于在接著該時(shí)間的第二周期之后對(duì)應(yīng)于一個(gè)屏幕的時(shí)間的一第三周期中規(guī)定混合前景目標(biāo)分量和背景目標(biāo)分量的覆蓋背景區(qū)域，該覆蓋背景區(qū)域形成在前景目標(biāo)正在運(yùn)動(dòng)的方向上的前端；混合比率檢測(cè)步驟，用于檢測(cè)表示在未覆蓋背景區(qū)域中和在覆蓋背景區(qū)域中前景目標(biāo)分量和背景目標(biāo)分量之比率的混合比率；以及前景/背景分離步驟，用于基于該混合比率將屬于未覆蓋背景區(qū)域和屬于覆蓋背景區(qū)域的像素的像素?cái)?shù)據(jù)分離成前景目標(biāo)分量和背景目標(biāo)分量，以便產(chǎn)生僅僅由前景目標(biāo)分量構(gòu)成的前景分量圖像和僅僅由指定幀中的背景分量圖像構(gòu)成的背景分量圖像。
在區(qū)域規(guī)定步驟中，可以臨時(shí)存儲(chǔ)被連續(xù)輸入的三個(gè)幀，并且在時(shí)間的第一周期中，可以將下述區(qū)域規(guī)定為對(duì)應(yīng)于指定幀的未覆蓋背景區(qū)域，在該區(qū)域中，對(duì)于在指定幀之前兩幀和指定幀之前一幀的確定結(jié)果是運(yùn)動(dòng)的，而對(duì)于指定幀之前一幀和指定幀的確定結(jié)果是靜止的，并且在時(shí)間的第二周期中，可以將下述區(qū)域規(guī)定為對(duì)應(yīng)于指定幀的前景區(qū)域，在該區(qū)域中，對(duì)于在指定幀之前一幀和指定幀的確定結(jié)果是運(yùn)動(dòng)的，而對(duì)于指定幀和指定幀之后一幀的確定結(jié)果是運(yùn)動(dòng)的，并在時(shí)間的第二周期中，將下述區(qū)域規(guī)定為對(duì)應(yīng)于指定幀的背景區(qū)域，在該區(qū)域中，對(duì)于在指定幀之前一幀和指定幀的確定結(jié)果是靜止的，而對(duì)于指定幀和指定幀之后一幀的確定結(jié)果是靜止的，以及在時(shí)間的第三周期中，將下述區(qū)域規(guī)定為對(duì)應(yīng)于指定幀的覆蓋背景區(qū)域，在該區(qū)域中，對(duì)于指定像素和在指定幀之后一幀的確定結(jié)果是運(yùn)動(dòng)的，而對(duì)于指定幀之后一幀和指定幀之后兩幀的確定結(jié)果是靜止的。
本發(fā)明的程序允許計(jì)算機(jī)執(zhí)行區(qū)域規(guī)定步驟，用于在對(duì)應(yīng)于一個(gè)屏幕的時(shí)間的一第一周期中規(guī)定混合形成圖像數(shù)據(jù)指定幀的前景目標(biāo)的前景目標(biāo)分量和形成指定幀的背景目標(biāo)的背景目標(biāo)分量的未覆蓋背景區(qū)域，該未覆蓋背景區(qū)域形成在前景目標(biāo)正在運(yùn)動(dòng)的方向上的后端；區(qū)域規(guī)定步驟，用于在接著該時(shí)間的第一周期之后對(duì)應(yīng)于一個(gè)屏幕的時(shí)間的一第二周期中，規(guī)定僅僅由前景目標(biāo)分量構(gòu)成的前景區(qū)域和僅僅由背景目標(biāo)分量構(gòu)成的背景區(qū)域；以及區(qū)域規(guī)定步驟，用于在接著該時(shí)間的第二周期之后對(duì)應(yīng)于一個(gè)屏幕的時(shí)間的一第三周期中規(guī)定混合前景目標(biāo)分量和背景目標(biāo)分量的覆蓋背景區(qū)域，該覆蓋背景區(qū)域形成在前景目標(biāo)正在運(yùn)動(dòng)的方向上的前端；混合比率檢測(cè)步驟，用于檢測(cè)表示在未覆蓋背景區(qū)域中和在覆蓋背景區(qū)域中前景目標(biāo)分量和背景目標(biāo)分量之比率的混合比率；以及前景/背景分離步驟，用于基于該混合比率將屬于未覆蓋背景區(qū)域和屬于覆蓋背景區(qū)域的像素的像素?cái)?shù)據(jù)分離成前景目標(biāo)分量和背景目標(biāo)分量，以便產(chǎn)生僅僅由前景目標(biāo)分量構(gòu)成的前景分量圖像和僅僅由指定幀中的背景分量圖像構(gòu)成的背景分量圖像。
在區(qū)域規(guī)定步驟中，可以臨時(shí)存儲(chǔ)被連續(xù)輸入的三個(gè)幀，并且在時(shí)間的第一周期中，可以將下述區(qū)域規(guī)定為對(duì)應(yīng)于指定幀的未覆蓋背景區(qū)域，在該區(qū)域中，對(duì)于在指定幀之前兩幀和指定幀之前一幀的確定結(jié)果是運(yùn)動(dòng)的，而對(duì)于指定幀之前一幀和指定幀的確定結(jié)果是靜止的，并且在時(shí)間的第二周期中，可以將下述區(qū)域規(guī)定為對(duì)應(yīng)于指定幀的前景區(qū)域，在該區(qū)域中，對(duì)于在指定幀之前一幀和指定幀的確定結(jié)果是運(yùn)動(dòng)的，而對(duì)于指定幀和指定幀之后一幀的確定結(jié)果是運(yùn)動(dòng)的，并在時(shí)間的第二周期中，將下述區(qū)域規(guī)定為對(duì)應(yīng)于指定幀的背景區(qū)域，在該區(qū)域中，對(duì)于在指定幀之前一幀和指定幀的確定結(jié)果是靜止的，而對(duì)于指定幀和指定幀之后一幀的確定結(jié)果是靜止的，以及在時(shí)間的第三周期中，將下述區(qū)域規(guī)定為對(duì)應(yīng)于指定幀的覆蓋背景區(qū)域，在該區(qū)域中，對(duì)于指定像素和在指定幀之后一幀的確定結(jié)果是運(yùn)動(dòng)的，而對(duì)于指定幀之后一幀和指定幀之后兩幀的確定結(jié)果是靜止的。
本發(fā)明的圖像捕獲設(shè)備包括圖像捕獲裝置，用于對(duì)圖像數(shù)據(jù)進(jìn)行圖像處理，該圖像數(shù)據(jù)是由通過(guò)圖像捕獲(capturing)器件獲得的預(yù)定數(shù)目的像素?cái)?shù)據(jù)形成的，該圖像捕獲器件包括預(yù)定數(shù)目的像素并具有時(shí)間積分功能(time integrating function)；區(qū)域規(guī)定裝置，用于在對(duì)應(yīng)于一個(gè)屏幕的時(shí)間的一第一周期中規(guī)定(specify)混合形成圖像數(shù)據(jù)指定幀(designated frame)的前景目標(biāo)的前景目標(biāo)分量和形成指定幀的背景目標(biāo)的背景目標(biāo)分量的未覆蓋背景區(qū)域，該未覆蓋背景區(qū)域形成在前景目標(biāo)正在運(yùn)動(dòng)的方向上的后端；區(qū)域規(guī)定裝置，用于在接著該時(shí)間的第一周期之后對(duì)應(yīng)于一個(gè)屏幕的時(shí)間的一第二周期中，規(guī)定僅僅由前景目標(biāo)分量構(gòu)成的前景區(qū)域和僅僅由背景目標(biāo)分量構(gòu)成的背景區(qū)域；以及區(qū)域規(guī)定裝置，用于在接著該時(shí)間的第二周期之后對(duì)應(yīng)于一個(gè)屏幕的時(shí)間的一第三周期中規(guī)定混合前景目標(biāo)分量和背景目標(biāo)分量的覆蓋背景區(qū)域，該覆蓋背景區(qū)域形成在前景目標(biāo)正在運(yùn)動(dòng)的方向上的前端；混合比率檢測(cè)裝置，用于檢測(cè)表示在未覆蓋背景區(qū)域中和在覆蓋背景區(qū)域中前景目標(biāo)分量和背景目標(biāo)分量之比率的混合比率；以及前景/背景分離裝置，用于基于該混合比率將屬于未覆蓋背景區(qū)域和屬于覆蓋背景區(qū)域的像素的像素?cái)?shù)據(jù)分離成前景目標(biāo)分量和背景目標(biāo)分量，以及用于產(chǎn)生僅僅由前景目標(biāo)分量構(gòu)成的前景目標(biāo)圖像和僅僅由指定幀中的背景分量圖像構(gòu)成的背景分量圖像。
區(qū)域規(guī)定裝置可以臨時(shí)存儲(chǔ)被連續(xù)輸入的三個(gè)幀，并且區(qū)域規(guī)定裝置在時(shí)間的第一周期中可以將下述區(qū)域規(guī)定為對(duì)應(yīng)于指定幀的未覆蓋背景區(qū)域，在該區(qū)域中，對(duì)于在指定幀之前兩幀和指定幀之前一幀的確定結(jié)果是運(yùn)動(dòng)的，而對(duì)于指定幀之前一幀和指定幀的確定結(jié)果是靜止的，并且區(qū)域規(guī)定裝置在時(shí)間的第二周期中可以將下述區(qū)域規(guī)定為對(duì)應(yīng)于指定幀的前景區(qū)域，在該區(qū)域中，對(duì)于在指定幀之前一幀和指定幀的確定結(jié)果是運(yùn)動(dòng)的，而對(duì)于指定幀和指定幀之后一幀的確定結(jié)果是運(yùn)動(dòng)的，并可以在時(shí)間的第二周期中將下述區(qū)域規(guī)定為對(duì)應(yīng)于指定幀的背景區(qū)域，在該區(qū)域中，對(duì)于在指定幀之前一幀和指定幀的確定結(jié)果是靜止的，而對(duì)于指定幀和指定幀之后一幀的確定結(jié)果是靜止的，以及區(qū)域規(guī)定裝置可以在時(shí)間的第三周期中將下述區(qū)域規(guī)定為對(duì)應(yīng)于指定幀的覆蓋背景區(qū)域，在該區(qū)域中，對(duì)于指定像素和在指定幀之后一幀的確定結(jié)果是運(yùn)動(dòng)的，而對(duì)于指定幀之后一幀和指定幀之后兩幀的確定結(jié)果是靜止的。
在對(duì)應(yīng)于一個(gè)屏幕的時(shí)間的一第一周期中，規(guī)定了其中形成圖像數(shù)據(jù)指定幀的前景目標(biāo)的前景目標(biāo)分量和形成指定幀的背景目標(biāo)的背景目標(biāo)分量被混合的未覆蓋背景區(qū)域，該未覆蓋背景區(qū)域形成在前景目標(biāo)正在運(yùn)動(dòng)的方向上的后端。在接著該時(shí)間的第一周期之后對(duì)應(yīng)于一個(gè)屏幕的時(shí)間的一第二周期中，規(guī)定了僅僅由前景目標(biāo)分量構(gòu)成的前景區(qū)域和僅僅由背景目標(biāo)分量構(gòu)成的背景區(qū)域。在接著該時(shí)間的第二周期之后對(duì)應(yīng)于一個(gè)屏幕的時(shí)間的一第三周期中，規(guī)定了混合前景目標(biāo)分量和背景目標(biāo)分量的覆蓋背景區(qū)域，該覆蓋背景區(qū)域形成在前景目標(biāo)正在運(yùn)動(dòng)的方向上的前端。檢測(cè)了表示在未覆蓋背景區(qū)域中和在覆蓋背景區(qū)域中前景目標(biāo)分量和背景目標(biāo)分量之比率的混合比率?；谠摶旌媳嚷?，屬于未覆蓋背景區(qū)域和屬于覆蓋背景區(qū)域的像素的像素?cái)?shù)據(jù)被分離成前景目標(biāo)分量和背景目標(biāo)分量，以便產(chǎn)生僅僅由前景目標(biāo)分量構(gòu)成的前景目標(biāo)圖像和僅僅由指定幀中的背景分量圖像構(gòu)成的背景分量圖像。
借助這個(gè)方案，能夠分離背景圖像和目標(biāo)圖像。


圖1是表示根據(jù)本發(fā)明的圖像處理設(shè)備的實(shí)施例的示意圖。
圖2是表示圖像處理設(shè)備的方框圖。
圖3表示由傳感器實(shí)現(xiàn)的圖像捕獲。
圖4表示像素的配置。
圖5表示檢測(cè)器件的操作。
圖6A表示通過(guò)對(duì)對(duì)應(yīng)于運(yùn)動(dòng)前景的目標(biāo)和對(duì)應(yīng)于靜止背景的目標(biāo)進(jìn)行圖像捕獲(image-capturing)而獲得的圖像。
圖6B表示通過(guò)對(duì)對(duì)應(yīng)于運(yùn)動(dòng)前景的目標(biāo)和對(duì)應(yīng)于靜止背景的目標(biāo)圖像捕獲而獲得的圖像的模型。
圖7表示背景區(qū)域、前景區(qū)域、混合區(qū)域、覆蓋背景區(qū)域和未覆蓋背景區(qū)域。
圖8表示在通過(guò)對(duì)對(duì)應(yīng)于靜止前景的目標(biāo)和對(duì)應(yīng)于靜止背景的目標(biāo)圖像捕獲而獲得的圖像中，通過(guò)在時(shí)間方向上擴(kuò)大并排排列的像素的像素值而得到的模型。
圖9表示其中像素值在時(shí)間方向被擴(kuò)大和對(duì)應(yīng)于快門(mén)時(shí)間的周期被分割的模型。
圖10表示其中像素值在時(shí)間方向被擴(kuò)大和對(duì)應(yīng)于快門(mén)時(shí)間的周期被分割的模型。
圖11表示其中像素值在時(shí)間方向被擴(kuò)大和對(duì)應(yīng)于快門(mén)時(shí)間的周期被分割的模型。
圖12表示其中在前景區(qū)域、背景區(qū)域和混合區(qū)域中的像素被提取的例子。
圖13表示在像素和通過(guò)擴(kuò)大在時(shí)間方向上的像素值獲得的模型之間的關(guān)系。
圖14表示其中像素值在時(shí)間方向被擴(kuò)大和對(duì)應(yīng)于快門(mén)時(shí)間的周期被分割的模型。
圖15表示其中像素值在時(shí)間方向被擴(kuò)大和對(duì)應(yīng)于快門(mén)時(shí)間的周期被分割的模型。
圖16表示其中像素值在時(shí)間方向被擴(kuò)大和對(duì)應(yīng)于快門(mén)時(shí)間的周期被分割的模型。
圖17表示其中像素值在時(shí)間方向被擴(kuò)大和對(duì)應(yīng)于快門(mén)時(shí)間的周期被分割的模型。
圖18表示其中像素值在時(shí)間方向被擴(kuò)大和對(duì)應(yīng)于快門(mén)時(shí)間的周期被分割的模型。
圖19是表示用于調(diào)節(jié)運(yùn)動(dòng)模糊量的處理的流程圖。
圖20是表示區(qū)域規(guī)定單元103的結(jié)構(gòu)的方框圖。
圖21表示當(dāng)對(duì)應(yīng)于前景的目標(biāo)正在運(yùn)動(dòng)時(shí)的圖像。
圖22表示其中像素值在時(shí)間方向被擴(kuò)大和對(duì)應(yīng)于快門(mén)時(shí)間的周期被分割的模型。
圖23表示其中像素值在時(shí)間方向被擴(kuò)大和對(duì)應(yīng)于快門(mén)時(shí)間的周期被分割的模型。
圖24表示其中像素值在時(shí)間方向被擴(kuò)大和對(duì)應(yīng)于快門(mén)時(shí)間的周期被分割的模型。
圖25表示用于確定區(qū)域的條件。
圖26表示通過(guò)用區(qū)域規(guī)定單元103規(guī)定區(qū)域而獲得的結(jié)果的例子。
圖27表示通過(guò)用區(qū)域規(guī)定單元103規(guī)定區(qū)域而獲得的結(jié)果的例子。
圖28是表示區(qū)域規(guī)定處理的流程圖。
圖29是表示區(qū)域規(guī)定處理的流程圖。
圖30是表示混合比率計(jì)算器104的結(jié)構(gòu)的例子的方框圖。
圖31表示理想混合比率α的例子。
圖32表示其中像素值在時(shí)間方向被擴(kuò)大和對(duì)應(yīng)于快門(mén)時(shí)間的周期被分割的模型。
圖33表示其中像素值在時(shí)間方向被擴(kuò)大和對(duì)應(yīng)于快門(mén)時(shí)間的周期被分割的模型。
圖34表示使用前景分量的相關(guān)性的近似。
圖35表示在C、N和P之間的關(guān)系。
圖36是表示估計(jì)混合比率處理器401的結(jié)構(gòu)的方框圖。
圖37表示估計(jì)混合比率的例子。
圖38是表示混合比率計(jì)算器104的另一個(gè)結(jié)構(gòu)的方框圖。
圖39是表示用于計(jì)算混合比率的處理的流程圖。
圖40是表示用于計(jì)算估計(jì)混合比率的處理的流程圖。
圖41表示用于近似混合比率α的直線。
圖42表示用于近似混合比率α的平面。
圖43表示當(dāng)混合比率α被計(jì)算時(shí)多個(gè)幀中的像素的關(guān)系。
圖44是表示混合比率估計(jì)處理器401的另一個(gè)結(jié)構(gòu)的方框圖。
圖45表示估計(jì)混合比率的例子。
圖46是表示通過(guò)使用對(duì)應(yīng)于覆蓋背景區(qū)域的模型進(jìn)行的混合比率估計(jì)處理的流程圖。
圖47是表示前景/背景分離器105結(jié)構(gòu)的例子的方框圖。
圖48A表示輸入圖像，前景分量圖像和背景分量圖像。
圖48B表示輸入圖像，前景分量圖像和背景分量圖像的模型。
圖49表示其中像素值在時(shí)間方向被擴(kuò)大和對(duì)應(yīng)于快門(mén)時(shí)間的周期被分割的模型。
圖50表示其中像素值在時(shí)間方向被擴(kuò)大和對(duì)應(yīng)于快門(mén)時(shí)間的周期被分割的模型。
圖51表示其中像素值在時(shí)間方向被擴(kuò)大和對(duì)應(yīng)于快門(mén)時(shí)間的周期被分割的模型。
圖52是表示分離部分601之結(jié)構(gòu)的例子的方框圖。
圖53A表示分離的前景分量圖像的例子。
圖53B表示分離的背景分量圖像的例子。
圖54是表示用于分離前景和后景之處理的流程圖。
圖55是表示運(yùn)動(dòng)模糊調(diào)節(jié)單元106結(jié)構(gòu)的例子的方框圖。
圖56表示處理單位。
圖57表示其中前景分量圖像的像素值在時(shí)間方向被擴(kuò)大和對(duì)應(yīng)于快門(mén)時(shí)間的周期被分割的模型。
圖58表示其中前景分量圖像的像素值在時(shí)間方向被擴(kuò)大和對(duì)應(yīng)于快門(mén)時(shí)間的周期被分割的模型。
圖59表示其中前景分量圖像的像素值在時(shí)間方向被擴(kuò)大和對(duì)應(yīng)于快門(mén)時(shí)間的周期被分割的模型。
圖60表示其中前景分量圖像的像素值在時(shí)間方向被擴(kuò)大和對(duì)應(yīng)于快門(mén)時(shí)間的周期被分割的模型。
圖61表示運(yùn)動(dòng)模糊調(diào)節(jié)單元106另一個(gè)結(jié)構(gòu)的例子。
圖62是表示通過(guò)運(yùn)動(dòng)模糊調(diào)節(jié)單元106完成的用于調(diào)節(jié)前景分量圖像中包含的運(yùn)動(dòng)模糊量的處理的流程圖。
圖63是表示運(yùn)動(dòng)模糊調(diào)節(jié)單元106另一個(gè)結(jié)構(gòu)的例子的方框圖。
圖64表示其中在像素值和前景分量之間的關(guān)系被表示的模型的例子。
圖65表示前景分量的計(jì)算。
圖66表示前景分量的計(jì)算。
圖67是表示用于消除在前景中包含的運(yùn)動(dòng)模糊的處理的流程圖。
圖68是表示圖像處理設(shè)備的功能的另一個(gè)結(jié)構(gòu)的方框圖。
圖69表示合成器1001的結(jié)構(gòu)。
圖70是表示圖像處理設(shè)備的功能的另一個(gè)結(jié)構(gòu)的方框圖。
圖71是表示混合比率計(jì)算器1101的結(jié)構(gòu)的方框圖。
圖72是表示前景/背景分離器1102的結(jié)構(gòu)的方框圖。
圖73是表示圖像處理設(shè)備的功能的另一個(gè)結(jié)構(gòu)的方框圖。
圖74表示合成器1201的結(jié)構(gòu)。
具體實(shí)施例方式
圖1是表示根據(jù)本發(fā)明的圖像處理設(shè)備的實(shí)施例的結(jié)構(gòu)的方框圖。CPU(中央處理單元)21根據(jù)在ROM(只讀存儲(chǔ)器)22中或者在存儲(chǔ)單元28中存儲(chǔ)的程序執(zhí)行各種類(lèi)型的處理。由CPU 21執(zhí)行的程序和數(shù)據(jù)根據(jù)要求被存儲(chǔ)在RAM(隨機(jī)存取存儲(chǔ)器)23中。CPU 21，ROM 22和RAM 23通過(guò)總線24相互連接。
輸入/輸出接口25通過(guò)總線24也連接到CPU 21。由鍵盤(pán)、鼠標(biāo)、麥克風(fēng)等形成的輸入單元26和由顯示器、揚(yáng)聲器等形成的輸出單元27連接到輸入/輸出接口25。響應(yīng)于從輸入單元26輸入的命令，CPU 21執(zhí)行各種類(lèi)型的處理。CPU 21然后將作為處理結(jié)果獲得的圖像或者聲音輸出到輸出單元27。
連接到輸入/輸出接口25的存儲(chǔ)單元28是由例如硬盤(pán)形成的，存儲(chǔ)由CPU 21執(zhí)行的程序和各種類(lèi)型的數(shù)據(jù)。通信單元29通過(guò)因特網(wǎng)或者其他網(wǎng)絡(luò)與外部裝置通信。在本例子中，通信單元29用作獲得單元，用于獲得傳感器的輸出。
另外，程序可以通過(guò)通信單元29獲得并被存儲(chǔ)在存儲(chǔ)單元28中。
當(dāng)這種記錄媒體被靜止到驅(qū)動(dòng)器30時(shí)，連接到輸入/輸出接口25的驅(qū)動(dòng)器30驅(qū)動(dòng)磁盤(pán)51、光盤(pán)52、磁光盤(pán)53、半導(dǎo)體存儲(chǔ)器54等，并且獲得在對(duì)應(yīng)媒體中存儲(chǔ)的程序或者數(shù)據(jù)。所獲得的程序或者數(shù)據(jù)被傳送到存儲(chǔ)單元28，并且如果需要?jiǎng)t存儲(chǔ)在其中。
圖2是表示圖像處理設(shè)備的方框圖。
圖像處理設(shè)備的單個(gè)功能是通過(guò)硬件還是通過(guò)軟件實(shí)現(xiàn)無(wú)關(guān)緊要。即，本說(shuō)明書(shū)的方框圖可以是硬件方框圖或者是軟件功能性的方框圖。
在本說(shuō)明書(shū)中，被捕獲的對(duì)應(yīng)于現(xiàn)實(shí)世界中目標(biāo)的圖像被稱(chēng)為圖像目標(biāo)。
提供給圖像處理設(shè)備的輸入圖像提供給目標(biāo)提取單元101，區(qū)域規(guī)定單元103、混合比率計(jì)算器104和前景/背景分離器105。
目標(biāo)提取單元101提取對(duì)應(yīng)于包含在輸入圖像中的前景目標(biāo)的粗糙圖像目標(biāo)，并將所提取的圖像目標(biāo)提供給運(yùn)動(dòng)檢測(cè)器102。目標(biāo)提取單元101檢測(cè)例如包含在輸入圖像中的前景圖像目標(biāo)的輪廓，以便提取對(duì)應(yīng)于前景目標(biāo)的粗糙圖像目標(biāo)。
目標(biāo)提取單元101提取對(duì)應(yīng)于包含在輸入圖像中的背景目標(biāo)的粗糙圖像目標(biāo)和將所提取的圖像目標(biāo)提供給運(yùn)動(dòng)檢測(cè)器102。目標(biāo)提取單元101從例如在輸入圖像和對(duì)應(yīng)于前景目標(biāo)的所提取圖像目標(biāo)之差中提取對(duì)應(yīng)于背景目標(biāo)的粗糙圖像目標(biāo)。
另外，例如，目標(biāo)提取單元101可以從在機(jī)內(nèi)背景存儲(chǔ)器中存儲(chǔ)的背景圖像和輸入圖像之差中提取對(duì)應(yīng)于前景目標(biāo)的粗糙圖像目標(biāo)，并對(duì)應(yīng)于背景目標(biāo)的粗糙圖像目標(biāo)。
運(yùn)動(dòng)檢測(cè)器102根據(jù)諸如塊匹配、梯度、相位相關(guān)或者像素遞歸技術(shù)之類(lèi)的技術(shù)來(lái)計(jì)算對(duì)應(yīng)于前景目標(biāo)的粗糙地提取的圖像目標(biāo)的運(yùn)動(dòng)矢量，并且將所計(jì)算的運(yùn)動(dòng)矢量和運(yùn)動(dòng)矢量位置信息(其是用于規(guī)定對(duì)應(yīng)于該運(yùn)動(dòng)矢量的像素的位置的信息)提供給運(yùn)動(dòng)模糊調(diào)節(jié)單元106。
從運(yùn)動(dòng)檢測(cè)器102輸出的運(yùn)動(dòng)矢量包含對(duì)應(yīng)于運(yùn)動(dòng)量v的信息。
運(yùn)動(dòng)檢測(cè)器102可以將每個(gè)圖像目標(biāo)的運(yùn)動(dòng)矢量以及用于規(guī)定圖像目標(biāo)的像素的像素位置信息輸出到運(yùn)動(dòng)模糊調(diào)節(jié)單元106。
運(yùn)動(dòng)量v是表示以像素節(jié)距為單位的在對(duì)應(yīng)于運(yùn)動(dòng)目標(biāo)的圖像中位置變化的值。例如，如果對(duì)應(yīng)于前景的目標(biāo)圖像正在運(yùn)動(dòng)使得當(dāng)被定位在隨后的幀時(shí)其被顯示在距離參考幀四個(gè)像素的位置上的話(huà)，則對(duì)應(yīng)于前景的目標(biāo)圖像的運(yùn)動(dòng)量v是4。
當(dāng)調(diào)節(jié)對(duì)應(yīng)于運(yùn)動(dòng)目標(biāo)的運(yùn)動(dòng)模糊量時(shí)需要目標(biāo)提取單元101和運(yùn)動(dòng)檢測(cè)器102。
區(qū)域規(guī)定單元103確定輸入圖像的每個(gè)像素屬于前景區(qū)域、背景區(qū)域或者混合區(qū)域中的哪一個(gè)，并將表示每個(gè)像素屬于哪個(gè)區(qū)域的信息(以后稱(chēng)為“區(qū)域信息”)提供給混合比率計(jì)算器104、前景/背景分離器105和運(yùn)動(dòng)模糊調(diào)節(jié)單元106。
混合比率計(jì)算器104基于輸入圖像，從運(yùn)動(dòng)檢測(cè)器102提供的運(yùn)動(dòng)矢量和其位置信息，以及從區(qū)域規(guī)定單元103提供的區(qū)域信息來(lái)計(jì)算對(duì)應(yīng)于在混合區(qū)域中包含的像素的混合比率(以后稱(chēng)為“混合比率α”)，并且將該混合比率α提供給前景/背景分離器105。
混合比率α是表示對(duì)應(yīng)于背景目標(biāo)的圖像分量(以后也稱(chēng)為“背景分量”)對(duì)由方程(3)表示的像素值之比率的值，其在下面表示。
前景/背景分離器105基于從區(qū)域規(guī)定單元103提供的區(qū)域信息和混合比率計(jì)算器104提供的混合比率α，將輸入圖像分離成僅僅由對(duì)應(yīng)于前景目標(biāo)的圖像分量形成的前景分量圖像(以后也稱(chēng)為“前景分量”)和僅僅由背景分量形成的背景分量圖像，并且將該前景分量圖像提供給運(yùn)動(dòng)模糊調(diào)節(jié)單元106和選擇器107。被分離的前景分量圖像可以設(shè)置為最終輸出。比較其中僅僅規(guī)定前景和背景而不考慮混合區(qū)域的公知方法，本方法能夠獲得更為精確的前景和背景。
運(yùn)動(dòng)模糊調(diào)節(jié)單元106基于從運(yùn)動(dòng)矢量獲得的運(yùn)動(dòng)量v和基于區(qū)域信息來(lái)確定表示在前景分量圖像中包含的至少一個(gè)像素的處理的單位，該處理單位是規(guī)定要進(jìn)行運(yùn)動(dòng)模糊調(diào)節(jié)的一組像素的數(shù)據(jù)。
基于要被輸入到圖像處理設(shè)備的運(yùn)動(dòng)模糊將要被調(diào)節(jié)的量、從前景/背景分離器105提供的前景分量圖像、從運(yùn)動(dòng)檢測(cè)器102提供的運(yùn)動(dòng)矢量和其位置信息以及處理單位，運(yùn)動(dòng)模糊調(diào)節(jié)單元106通過(guò)去掉、降低或者增加在前景分量圖像中包含的運(yùn)動(dòng)模糊來(lái)調(diào)節(jié)在前景分量圖像中包含的運(yùn)動(dòng)模糊量。然后運(yùn)動(dòng)模糊調(diào)節(jié)單元106將其中運(yùn)動(dòng)模糊量被調(diào)節(jié)的前景分量圖像輸出到選擇器107。使用運(yùn)動(dòng)矢量和其位置信息不是必要的。
運(yùn)動(dòng)模糊是在對(duì)應(yīng)于運(yùn)動(dòng)目標(biāo)的圖像中包含的失真，其是由在現(xiàn)實(shí)世界中被捕獲的目標(biāo)運(yùn)動(dòng)和傳感器的圖像捕獲特征引起的。
基于例如反映用戶(hù)之選擇的選擇信號(hào)，選擇器107選擇從前景/背景分離器105提供的前景分量圖像和從運(yùn)動(dòng)模糊調(diào)節(jié)單元106提供的其中運(yùn)動(dòng)模糊量被調(diào)節(jié)的前景分量圖像之一，并且輸出所選擇的前景分量圖像。
下面參考圖3到18討論提供給圖像處理設(shè)備的輸入圖像。
圖3表示由傳感器完成的圖像捕獲。傳感器是由例如安裝有CCD區(qū)域傳感器的CCD(電荷偶合器件)視頻攝象機(jī)形成，其是固體成象器件。對(duì)應(yīng)于現(xiàn)實(shí)世界之前景的目標(biāo)111例如水平地在對(duì)應(yīng)于背景的目標(biāo)112和傳感器之間從左運(yùn)動(dòng)到右。
傳感器捕獲對(duì)應(yīng)于前景的目標(biāo)111的圖像以及對(duì)應(yīng)于背景的目標(biāo)112的圖像。傳感器以幀為單位輸出所捕獲的圖像。例如，傳感器輸出具有每秒30幀的圖像。傳感器的曝光時(shí)間能夠是1/30秒。曝光時(shí)間是從當(dāng)傳感器開(kāi)始將輸入光轉(zhuǎn)變?yōu)殡姾蓵r(shí)到從輸入光到電荷的轉(zhuǎn)變被完成為止的時(shí)間周期。曝光時(shí)間也被稱(chēng)為“快門(mén)時(shí)間”。
圖4表示像素的排列。圖4中，A到I表示單個(gè)像素。像素被布置在對(duì)應(yīng)圖像的平面上。對(duì)應(yīng)于每個(gè)像素的一個(gè)檢測(cè)器件被布置在傳感器上。當(dāng)傳感器完成圖像捕獲時(shí)，每個(gè)檢測(cè)器件輸出形成圖像的對(duì)應(yīng)像素的像素值。例如，檢測(cè)器件在X方向的位置對(duì)應(yīng)于圖像上的水平方向，而檢測(cè)器件在Y方向的位置對(duì)應(yīng)于圖像上的垂直方向。
如圖5表示，例如是CCD的檢測(cè)器件在對(duì)應(yīng)于快門(mén)時(shí)間的周期期間將輸入光轉(zhuǎn)變?yōu)殡姾?，并且存?chǔ)所變換的電荷。電荷量幾乎正比于輸入光的強(qiáng)度和光被輸入的時(shí)間周期。檢測(cè)器件隨后將從輸入光轉(zhuǎn)變來(lái)的電荷加到在對(duì)應(yīng)于快門(mén)時(shí)間的時(shí)間周期期間所存儲(chǔ)的電荷上。即，檢測(cè)器件積分在對(duì)應(yīng)于快門(mén)時(shí)間的時(shí)間周期期間的輸入光，并且存儲(chǔ)對(duì)應(yīng)于所積分的光量的電荷。能夠認(rèn)為檢測(cè)器件具有關(guān)于時(shí)間的積分功能。
在檢測(cè)器件中存儲(chǔ)的電荷通過(guò)電路(沒(méi)有表示出)被轉(zhuǎn)變成電壓值，該電壓值被進(jìn)一步轉(zhuǎn)變成諸如數(shù)字?jǐn)?shù)據(jù)的像素值并輸出。因此，從傳感器輸出的每個(gè)像素值是被投射到線性空間的值，其是關(guān)于快門(mén)時(shí)間積分對(duì)應(yīng)于前景或者背景的目標(biāo)的某個(gè)三維部分的結(jié)果。
圖像處理設(shè)備通過(guò)傳感器的存儲(chǔ)操作提取嵌在輸出信號(hào)中的重要信息，例如為混合比率α。圖像處理設(shè)備調(diào)節(jié)由前景圖像目標(biāo)本身的混合引起的例如為運(yùn)動(dòng)模糊量的失真量。圖像處理設(shè)備還調(diào)節(jié)由前景圖像目標(biāo)和背景圖像目標(biāo)的混合引起的失真量。
圖6A表示通過(guò)捕獲對(duì)應(yīng)于前景的運(yùn)動(dòng)目標(biāo)和對(duì)應(yīng)于背景的靜止目標(biāo)而獲得的圖像。圖6B表示通過(guò)捕獲對(duì)應(yīng)于前景的運(yùn)動(dòng)目標(biāo)和對(duì)應(yīng)于背景的靜止目標(biāo)而獲得的圖像。
圖6A表示通過(guò)捕獲對(duì)應(yīng)于前景的運(yùn)動(dòng)目標(biāo)和對(duì)應(yīng)于背景的靜止目標(biāo)而獲得的圖像。在圖6A表示的例子中，對(duì)應(yīng)于前景的目標(biāo)關(guān)于屏幕是水平地從左邊運(yùn)動(dòng)到右邊。
圖6B表示通過(guò)在時(shí)間方向擴(kuò)大對(duì)應(yīng)于圖6A中表示圖像的一條線之像素值而獲得的模型。圖6B中表示的水平方向?qū)?yīng)于圖6A中的空間方向X。
背景區(qū)域中像素的值是僅僅從背景分量即對(duì)應(yīng)于背景目標(biāo)的圖像分量形成的。前景區(qū)域中像素的值是僅僅從前景分量即對(duì)應(yīng)于前景目標(biāo)的圖像分量形成的。
混合區(qū)域像素的值是從背景分量和前景分量形成的。由于混合區(qū)域中像素的值是從背景分量和前景分量形成的，其可以被稱(chēng)為“失真區(qū)域”?；旌蠀^(qū)域還被分類(lèi)成覆蓋背景區(qū)域和未覆蓋背景區(qū)域。
覆蓋背景區(qū)域是位于對(duì)應(yīng)于其中前景目標(biāo)正在運(yùn)動(dòng)之方向的前端之位置的混合區(qū)域，在這里，隨著時(shí)間的流逝，背景分量逐漸地用前景所覆蓋。
相反，未覆蓋背景區(qū)域是對(duì)應(yīng)于其中前景目標(biāo)正在運(yùn)動(dòng)之方向的后端的混合區(qū)域，在這里，隨著時(shí)間的流逝，背景分量逐漸出現(xiàn)。
如上討論，包含前景區(qū)域、背景區(qū)域、覆蓋背景區(qū)域或者未覆蓋背景區(qū)域的圖像被作為輸入圖像輸入到區(qū)域規(guī)定單元103、混合比率計(jì)算器104和前景/背景分離器105。
圖7表示上述的背景區(qū)域、前景區(qū)域、混合區(qū)域、覆蓋背景區(qū)域和未覆蓋背景區(qū)域。在對(duì)應(yīng)于圖6A表示圖像的區(qū)域中，背景區(qū)域是靜止部分，前景區(qū)域是運(yùn)動(dòng)部分，混合區(qū)域的覆蓋背景區(qū)域是從背景變化到前景的部分，混合區(qū)域的未覆蓋背景區(qū)域是從前景變化到背景的部分。
圖8表示在通過(guò)捕獲對(duì)應(yīng)于靜止前景的目標(biāo)的圖像和對(duì)應(yīng)于靜止背景的目標(biāo)的圖像而獲得的圖像中，通過(guò)在時(shí)間方向上擴(kuò)大并排排列的像素的像素值而得到的模型。例如，作為并排排列的像素，在屏幕上的一行中配置的像素能夠被選擇。
在圖8中表示的由F01到F04表示的像素值是對(duì)應(yīng)于靜止前景之目標(biāo)的像素值。在圖8中表示的由B01到B04表示的像素值是對(duì)應(yīng)于靜止背景的目標(biāo)的像素值。
圖8中的垂直方向?qū)?yīng)于時(shí)間，并且時(shí)間是在圖8中的垂直方向從圖8中的頂部到底部流逝。圖8中矩形的頂邊的位置對(duì)應(yīng)于傳感器開(kāi)始將輸入光轉(zhuǎn)變成電荷的時(shí)間，而圖8中矩形的底邊的位置對(duì)應(yīng)于從輸入光到電荷的轉(zhuǎn)變完成的時(shí)間。即，圖8中從矩形的頂邊到底邊的距離對(duì)應(yīng)于快門(mén)時(shí)間。
圖8中表示的時(shí)間在下面描述，假設(shè)例如快門(mén)時(shí)間等于幀大小。
圖8中的水平方向?qū)?yīng)于圖6A的空間方向X。更具體地說(shuō)，在圖8中表示的例子中，從圖8中由“F01”表示的矩形的左邊到由“B04”表示的矩形的右邊的距離是八倍像素節(jié)距，即8個(gè)連續(xù)的像素。
當(dāng)前景目標(biāo)和背景目標(biāo)是靜止的時(shí)，被輸入傳感器的光在對(duì)應(yīng)于快門(mén)時(shí)間的時(shí)間周期期間不變化。
對(duì)應(yīng)于快門(mén)時(shí)間的時(shí)間周期被分成兩個(gè)或者更多部分的相等周期。例如，如果虛擬分割部分的數(shù)目是4，則圖8中表示的模型能夠由圖9中表示的模型表示。虛擬分割部分的數(shù)目能夠根據(jù)在快門(mén)時(shí)間之內(nèi)對(duì)應(yīng)于前景的目標(biāo)的運(yùn)動(dòng)量v來(lái)設(shè)置。例如，當(dāng)運(yùn)動(dòng)量v是4時(shí)，虛擬分割部分的數(shù)目被設(shè)置為4，并且對(duì)應(yīng)于快門(mén)時(shí)間的時(shí)間周期被分成四個(gè)部分。
圖9中最上面的線對(duì)應(yīng)于從快門(mén)打開(kāi)起的第一分割周期。圖11中第二條線對(duì)應(yīng)于從快門(mén)打開(kāi)起的第二分割周期。圖11中第三條線對(duì)應(yīng)于從快門(mén)打開(kāi)起的第三分割周期。圖11中第四條線對(duì)應(yīng)于從快門(mén)打開(kāi)起的第四分割周期。
根據(jù)運(yùn)動(dòng)量v分割的快門(mén)時(shí)間今后也被稱(chēng)為“快門(mén)時(shí)間/v”。
當(dāng)對(duì)應(yīng)于前景的目標(biāo)是靜止的時(shí)，輸入到傳感器的光不變化，因此，前景分量F01/v等于通過(guò)將像素值F01與虛擬分割部分的數(shù)目相除而獲得的值。類(lèi)似地，當(dāng)對(duì)應(yīng)于前景的目標(biāo)是靜止的時(shí)，前景分量F02/v等于通過(guò)將像素值F02與虛擬分割部分的數(shù)目相除而獲得的值，前景分量F03/v等于通過(guò)將像素值F03與虛擬分割部分的數(shù)目相除而獲得的值，以及前景分量F04/v等于通過(guò)將像素值F04與虛擬分割部分的數(shù)目相除而獲得的值。
當(dāng)對(duì)應(yīng)于背景的目標(biāo)是靜止的時(shí)，輸入到傳感器的光不變化，因此，背景分量B01/v等于通過(guò)將像素值B01與虛擬分割部分的數(shù)目相除而獲得的值。類(lèi)似地，當(dāng)對(duì)應(yīng)于背景的目標(biāo)是靜止的時(shí)，背景分量B02/v等于通過(guò)將像素值B02與虛擬分割部分的數(shù)目相除而獲得的值，背景分量B03/v等于通過(guò)將像素值B03與虛擬分割部分的數(shù)目相除而獲得的值，以及背景分量B04/v等于通過(guò)將像素值B04與虛擬分割部分的數(shù)目相除而獲得的值。
更具體地說(shuō)，當(dāng)對(duì)應(yīng)于前景的目標(biāo)是靜止的時(shí)，對(duì)應(yīng)于前景目標(biāo)的、輸入到傳感器的光在對(duì)應(yīng)于快門(mén)時(shí)間的時(shí)間周期期間不變化。因此，對(duì)應(yīng)于快門(mén)打開(kāi)時(shí)起的快門(mén)時(shí)間/v的第一部分的前景分量F01/v，對(duì)應(yīng)于快門(mén)打開(kāi)時(shí)起的快門(mén)時(shí)間/v的第二部分的前景分量F01/v，對(duì)應(yīng)于快門(mén)打開(kāi)時(shí)起的快門(mén)時(shí)間/v的第三部分的前景分量F01/v，以及對(duì)應(yīng)于快門(mén)打開(kāi)時(shí)起的快門(mén)時(shí)間/v的第四部分的前景分量F01/v變成相同的值。該相同的值適用于F02/v到F04/v，如同在F01/v的情況。
當(dāng)對(duì)應(yīng)于背景的目標(biāo)是靜止的時(shí)，對(duì)應(yīng)于背景目標(biāo)的、輸入到傳感器的光在對(duì)應(yīng)于快門(mén)時(shí)間的時(shí)間周期期間不變化。因此，對(duì)應(yīng)于快門(mén)打開(kāi)時(shí)起的快門(mén)時(shí)間/v的第一部分的背景分量B01/v，對(duì)應(yīng)于快門(mén)打開(kāi)時(shí)起的快門(mén)時(shí)間/v的第二部分的背景分量B01/v，對(duì)應(yīng)于快門(mén)打開(kāi)時(shí)起的快門(mén)時(shí)間/v的第三部分的背景分量B01/v，以及對(duì)應(yīng)于快門(mén)打開(kāi)時(shí)起的快門(mén)時(shí)間/v的第四部分的背景分量B01/v變成相同的值。該相同的值適用于B02/v到B04/v。
說(shuō)明書(shū)給出其中對(duì)應(yīng)于前景的目標(biāo)是運(yùn)動(dòng)的和對(duì)應(yīng)于背景的目標(biāo)是靜止的的情況。
圖10表示當(dāng)對(duì)應(yīng)于前景的目標(biāo)正在移向圖10的右邊時(shí)，通過(guò)在時(shí)間方向擴(kuò)大包括覆蓋背景區(qū)域的一條線中像素的像素值而獲得的模型。在圖10中，運(yùn)動(dòng)量是4。由于一幀是短周期，能夠假設(shè)對(duì)應(yīng)于前景的目標(biāo)以勻速運(yùn)動(dòng)的剛體。在圖10中，對(duì)應(yīng)于前景的目標(biāo)圖像是正在運(yùn)動(dòng)、使得當(dāng)其在后續(xù)幀中被顯示時(shí)定位為相對(duì)于參考幀向右四個(gè)像素。
在圖10中，從最左邊像素到第四個(gè)像素的像素屬于前景區(qū)域。在圖10中，從左數(shù)第五個(gè)像素到第七個(gè)像素的像素屬于混合區(qū)域，其是覆蓋背景區(qū)域。在圖10中，最右邊的像素屬于背景區(qū)域。
對(duì)應(yīng)于前景的目標(biāo)是正在運(yùn)動(dòng)、使得隨著時(shí)間的流逝，其漸漸地覆蓋對(duì)應(yīng)于背景的目標(biāo)。因此，在對(duì)應(yīng)于快門(mén)時(shí)間的時(shí)間周期期間，在確定的時(shí)間，在屬于覆蓋背景區(qū)域的像素的像素值中包含的分量從背景分量變化到前景分量。
例如，由圖10中的粗線框(thick frame)包圍的像素值M由下面的方程(1)表示。
M＝B02/v+B02/v+F07/v+F06/v (1)例如，左數(shù)第五個(gè)像素包含對(duì)應(yīng)于快門(mén)時(shí)間/v的一個(gè)部分的背景分量和對(duì)應(yīng)于快門(mén)時(shí)間/v的三個(gè)部分的前景分量，因此，左數(shù)第五個(gè)像素的混合比率α是1/4。左數(shù)第六個(gè)像素包含對(duì)應(yīng)于快門(mén)時(shí)間/v的兩個(gè)部分的背景分量和對(duì)應(yīng)于快門(mén)時(shí)間/v的兩個(gè)部分的前景分量，因此，左數(shù)第六個(gè)像素的混合比率α是1/2。左數(shù)第七個(gè)像素包含對(duì)應(yīng)于快門(mén)時(shí)間/v的三個(gè)部分的背景分量和對(duì)應(yīng)于快門(mén)時(shí)間/v的一個(gè)部分的前景分量，因此，左數(shù)第七個(gè)像素的混合比率α是3/4。
能夠假設(shè)對(duì)應(yīng)于前景的目標(biāo)是剛體，并且前景目標(biāo)以勻速運(yùn)動(dòng)，使得其在隨后幀中被向右顯示四個(gè)像素。因此，例如，對(duì)應(yīng)于快門(mén)打開(kāi)時(shí)起的快門(mén)時(shí)間/v的第一部分的、圖10中左數(shù)第四個(gè)像素的前景分量F07/v等于對(duì)應(yīng)于快門(mén)打開(kāi)時(shí)起的快門(mén)時(shí)間/v的第二部分的、圖10中左數(shù)第五個(gè)像素的前景分量。類(lèi)似地，前景分量F07/v等于對(duì)應(yīng)于快門(mén)打開(kāi)時(shí)起的快門(mén)時(shí)間/v的第三部分的、圖10中左數(shù)第六個(gè)像素的前景分量，以及對(duì)應(yīng)于快門(mén)打開(kāi)時(shí)起的快門(mén)時(shí)間/v的第四部分的、圖10中左數(shù)第七個(gè)像素的前景分量。
能夠假設(shè)對(duì)應(yīng)于前景的目標(biāo)是剛體，并且前景目標(biāo)以勻速運(yùn)動(dòng)，使得其在隨后幀中被向右顯示四個(gè)像素。因此，例如，對(duì)應(yīng)于快門(mén)打開(kāi)時(shí)起的快門(mén)時(shí)間/v的第一部分的、圖10中左數(shù)第三個(gè)像素的前景分量F06/v等于對(duì)應(yīng)于快門(mén)打開(kāi)時(shí)起的快門(mén)時(shí)間/v的第二部分的、圖10中左數(shù)第四個(gè)像素的前景分量。類(lèi)似地，前景分量F06/v等于對(duì)應(yīng)于快門(mén)打開(kāi)時(shí)起的快門(mén)時(shí)間/v的第三部分的、圖10中左數(shù)第五個(gè)像素的前景分量，以及對(duì)應(yīng)于快門(mén)打開(kāi)時(shí)起的快門(mén)時(shí)間/v的第四部分的、圖10中左數(shù)第六個(gè)像素的前景分量。
能夠假設(shè)對(duì)應(yīng)于前景的目標(biāo)是剛體，并且前景目標(biāo)以勻速運(yùn)動(dòng)，使得其在隨后幀中被向右顯示四個(gè)像素。因此，例如，對(duì)應(yīng)于快門(mén)打開(kāi)時(shí)起的快門(mén)時(shí)間/v的第一部分的、圖10中左數(shù)第二個(gè)像素的前景分量F05/v等于對(duì)應(yīng)于快門(mén)打開(kāi)時(shí)起的快門(mén)時(shí)間/v的第二部分的、圖10中左數(shù)第三個(gè)像素的前景分量。類(lèi)似地，前景分量F05/v等于對(duì)應(yīng)于快門(mén)打開(kāi)時(shí)起的快門(mén)時(shí)間/v的第三部分的、圖10中左數(shù)第四個(gè)像素的前景分量，以及對(duì)應(yīng)于快門(mén)打開(kāi)時(shí)起的快門(mén)時(shí)間/v的第四部分的、圖10中左數(shù)第五個(gè)像素的前景分量。
能夠假設(shè)對(duì)應(yīng)于前景的目標(biāo)是剛體，并且前景目標(biāo)以勻速運(yùn)動(dòng)，使得其在隨后幀中被向右顯示四個(gè)像素。因此，例如，對(duì)應(yīng)于快門(mén)打開(kāi)時(shí)起的快門(mén)時(shí)間/v的第一部分的、圖10中最左邊像素的前景分量F04/v等于對(duì)應(yīng)于快門(mén)打開(kāi)時(shí)起的快門(mén)時(shí)間/v的第二部分的、圖10中左數(shù)第二個(gè)像素的前景分量。類(lèi)似地，前景分量F04/v等于對(duì)應(yīng)于快門(mén)打開(kāi)時(shí)起的快門(mén)時(shí)間/v的第三部分的、圖10中左數(shù)第三個(gè)像素的前景分量，以及對(duì)應(yīng)于快門(mén)打開(kāi)時(shí)起的快門(mén)時(shí)間/v的第四部分的、圖10中左數(shù)第四個(gè)像素的前景分量。
由于對(duì)應(yīng)于運(yùn)動(dòng)目標(biāo)的前景區(qū)域包含上述的運(yùn)動(dòng)模糊，其能夠被稱(chēng)為“失真區(qū)域”。
圖11表示當(dāng)對(duì)應(yīng)于前景的目標(biāo)正在移向圖11的右邊時(shí)，通過(guò)在時(shí)間方向擴(kuò)大包括未覆蓋背景區(qū)域的一條線中像素的像素值而獲得的模型。在圖11中，運(yùn)動(dòng)量v是4。由于一幀是短周期，能夠假設(shè)對(duì)應(yīng)于前景的目標(biāo)以勻速運(yùn)動(dòng)的剛體。在圖11中，對(duì)應(yīng)于前景的目標(biāo)圖像向右運(yùn)動(dòng)、使得當(dāng)其在后續(xù)幀中被顯示時(shí)，被定位為相對(duì)于參考幀向右四個(gè)像素。
在圖11中，從最左邊像素到第四個(gè)像素的像素屬于背景區(qū)域。在圖11中，左數(shù)第五個(gè)像素到第七個(gè)像素的像素屬于混合區(qū)域，其是未覆蓋背景區(qū)域。在圖11中，最右邊的像素屬于前景區(qū)域。
對(duì)應(yīng)于覆蓋了對(duì)應(yīng)于背景的目標(biāo)的前景的目標(biāo)是運(yùn)動(dòng)的、使得隨著時(shí)間的流逝其漸漸地從對(duì)應(yīng)于背景的目標(biāo)移開(kāi)。因此，在對(duì)應(yīng)于快門(mén)時(shí)間之時(shí)間周期的確定時(shí)間上，在屬于未覆蓋背景區(qū)域的像素的像素值中包含的分量從前景分量變化到背景分量。
例如，由圖11中的厚幀(thick frame)包圍的像素值M′由下面的方程(2)表示。
M′＝F02/v+F01/v+B26/v+B26/v (2)例如，左數(shù)第五個(gè)像素包含對(duì)應(yīng)于快門(mén)時(shí)間/v的三個(gè)部分的背景分量和對(duì)應(yīng)于快門(mén)時(shí)間/v的一個(gè)快門(mén)部分的前景分量，因此，左數(shù)第五個(gè)像素的混合比率α是3/4。左數(shù)第六個(gè)像素包含對(duì)應(yīng)于快門(mén)時(shí)間/v的兩個(gè)部分的背景分量和對(duì)應(yīng)于快門(mén)時(shí)間/v的兩個(gè)部分的前景分量，因此，左數(shù)第六個(gè)像素的混合比率α是1/2。左數(shù)第七個(gè)像素包含對(duì)應(yīng)于快門(mén)時(shí)間/v的一個(gè)部分的背景分量和對(duì)應(yīng)于快門(mén)時(shí)間/v的三個(gè)部分的前景分量，因此，左數(shù)第七個(gè)像素的混合比率α是1/4。
當(dāng)方程(1)和(2)被概括時(shí)，像素值M能夠由方程(3)表示M=α·B+ΣiFi/v----(3)]]>這里，α是混合比率，B表示背景的像素值，F(xiàn)i/v指定前景分量。
能夠假設(shè)對(duì)應(yīng)于前景的目標(biāo)是剛體，其以勻速運(yùn)動(dòng)，并且運(yùn)動(dòng)量是4。因此，例如，對(duì)應(yīng)于快門(mén)打開(kāi)時(shí)起的快門(mén)時(shí)間/v的第一部分的、圖11中左數(shù)第五個(gè)像素的前景分量F01/v等于對(duì)應(yīng)于快門(mén)打開(kāi)時(shí)起的快門(mén)時(shí)間/v的第二部分的、圖11中左數(shù)第六個(gè)像素的前景分量。類(lèi)似地，前景分量F01/v等于對(duì)應(yīng)于快門(mén)打開(kāi)時(shí)起的快門(mén)時(shí)間/v的第三部分的、圖11中左數(shù)第七個(gè)像素的前景分量，以及對(duì)應(yīng)于快門(mén)打開(kāi)時(shí)起的快門(mén)時(shí)間/v的第四部分的、圖11中左數(shù)第八個(gè)像素的前景分量。
能夠假設(shè)對(duì)應(yīng)于前景的目標(biāo)是剛體，其以勻速運(yùn)動(dòng)，并且運(yùn)動(dòng)量是4。因此，例如，對(duì)應(yīng)于快門(mén)打開(kāi)時(shí)起的快門(mén)時(shí)間/v的第一部分的、圖11中左數(shù)第六個(gè)像素的前景分量F02/v等于對(duì)應(yīng)于快門(mén)打開(kāi)時(shí)起的快門(mén)時(shí)間/v的第二部分的、圖11中左數(shù)第七個(gè)像素的前景分量。類(lèi)似地，前景分量F02/v等于對(duì)應(yīng)于快門(mén)打開(kāi)時(shí)起的快門(mén)時(shí)間/v的第三部分的、圖11中左數(shù)第八個(gè)像素的前景分量。
能夠假設(shè)對(duì)應(yīng)于前景的目標(biāo)是剛體，其以勻速運(yùn)動(dòng)，并且運(yùn)動(dòng)量是4。因此，例如，對(duì)應(yīng)于快門(mén)打開(kāi)時(shí)起的快門(mén)時(shí)間/v的第一部分的、圖11中左數(shù)第七個(gè)像素的前景分量F03/v等于對(duì)應(yīng)于快門(mén)打開(kāi)時(shí)起的快門(mén)時(shí)間/v的第二部分的、圖11中左數(shù)第八個(gè)像素的前景分量。
參考圖9到11已經(jīng)說(shuō)明了虛擬分割部分的數(shù)目是4。虛擬分割部分的數(shù)目對(duì)應(yīng)于運(yùn)動(dòng)量v。通常，運(yùn)動(dòng)量v對(duì)應(yīng)于對(duì)應(yīng)前景之目標(biāo)的運(yùn)動(dòng)速度。例如，如果對(duì)應(yīng)于前景的目標(biāo)是運(yùn)動(dòng)的、使得當(dāng)其被定位在隨后的幀中時(shí)其相對(duì)于某個(gè)幀對(duì)右邊被顯示四個(gè)像素的話(huà)，則運(yùn)動(dòng)量v被設(shè)置為4。虛擬分割部分的數(shù)目根據(jù)該運(yùn)動(dòng)量v被設(shè)置為4。類(lèi)似地，當(dāng)對(duì)應(yīng)于前景的目標(biāo)是運(yùn)動(dòng)的、使得當(dāng)其被定位在隨后的幀中時(shí)其相對(duì)于某個(gè)幀對(duì)左邊被顯示六個(gè)像素時(shí)，則運(yùn)動(dòng)量v被設(shè)置為6，虛擬分割部分的數(shù)目被設(shè)置為6。
圖12和13表示上述的前景區(qū)域、背景區(qū)域和由覆蓋背景或者未覆蓋背景構(gòu)成的混合區(qū)域與對(duì)應(yīng)于快門(mén)時(shí)間之分割時(shí)間周期的前景分量和背景分量的關(guān)系。
圖12表示其中在前景區(qū)域、背景區(qū)域和混合區(qū)域中的像素從圖像中被提取的例子，該圖像包含對(duì)應(yīng)于在靜止背景之前運(yùn)動(dòng)的目標(biāo)的前景。在圖12表示的例子中，對(duì)應(yīng)于由A表示之前景的目標(biāo)正相對(duì)于屏幕水平地運(yùn)動(dòng)。
幀#n+1是在幀#n之后的幀，幀#n+2是在幀#n+1之后的幀。
在前景區(qū)域、背景區(qū)域和混合區(qū)域中的像素是從幀#n到幀#n+2之一個(gè)中被提取的，并且運(yùn)動(dòng)量v被設(shè)置為4。通過(guò)在時(shí)間方向擴(kuò)大所提取像素的像素值而獲得的模型被表示在圖13中。
由于對(duì)應(yīng)于前景的目標(biāo)是運(yùn)動(dòng)的，前景區(qū)域中的像素值是由對(duì)應(yīng)于快門(mén)時(shí)間/v的四個(gè)不同背景分量形成的。例如，圖13表示的在前景區(qū)域中像素的最左邊像素是由F01/v、F02/v、F03/v和F04/v構(gòu)成的。即，前景中的像素包含運(yùn)動(dòng)模糊。
由于對(duì)應(yīng)于背景的目標(biāo)是靜止的，在快門(mén)時(shí)間期間對(duì)應(yīng)于背景的輸入到傳感器的光不變化。在這種情況下，背景區(qū)域中的像素值不包含運(yùn)動(dòng)模糊。
由覆蓋背景區(qū)域或者未覆蓋背景區(qū)域構(gòu)成的混合區(qū)域中的像素值是由前景分量和背景分量形成的。
下面的說(shuō)明給出通過(guò)在時(shí)間方向擴(kuò)大在多個(gè)幀中并排排列的和當(dāng)對(duì)應(yīng)于目標(biāo)的圖像在運(yùn)動(dòng)時(shí)這些幀被重疊之時(shí)被定位在相同位置處的像素的像素值而獲得的模型。例如，當(dāng)對(duì)應(yīng)于目標(biāo)的圖像正相對(duì)于屏幕水平運(yùn)動(dòng)時(shí)，在屏幕上排列的像素能夠被選擇作為并排排列的像素。
圖14表示通過(guò)在時(shí)間方向擴(kuò)大在由捕獲對(duì)應(yīng)于靜止背景的目標(biāo)而獲得的圖像的三個(gè)幀中并排排列的和當(dāng)幀被重疊之時(shí)被定位在相同位置處的像素的像素值而獲得的模型。幀#n是在幀#n-1之后的幀，幀#n+1是在幀#n之后的幀。相同的情況適用于其它幀。
圖14表示的像素值B01到B12是對(duì)應(yīng)于靜止背景目標(biāo)的像素值。由于對(duì)應(yīng)于背景的目標(biāo)是靜止的，幀#n-1到幀#n+1中對(duì)應(yīng)像素的像素值不變化。例如，位于具有幀#n-1中像素值B05的像素的對(duì)應(yīng)位置上的幀#n中像素和幀#n+1中像素具有像素值B05。
圖15表示通過(guò)在時(shí)間方向擴(kuò)大在由捕獲對(duì)應(yīng)于正向圖15右邊運(yùn)動(dòng)的前景之目標(biāo)以及對(duì)應(yīng)于靜止背景的目標(biāo)而獲得的圖像的三個(gè)幀中并排排列的和當(dāng)幀被重疊之時(shí)被定位在相同位置處的像素的像素值而獲得的模型。圖15表示的模型包含覆蓋背景區(qū)域。
在圖15中，能夠假設(shè)對(duì)應(yīng)于前景的目標(biāo)以勻速運(yùn)動(dòng)的剛體，并且其運(yùn)動(dòng)使得其在隨后的幀中被向右顯示四個(gè)像素。因此，運(yùn)動(dòng)量v是4，以及虛擬分割部分的數(shù)目是4。
例如，對(duì)應(yīng)于快門(mén)打開(kāi)時(shí)起的快門(mén)時(shí)間/v的第一部分的圖15中幀#n-1最左邊像素的前景分量是F12/v，對(duì)應(yīng)于快門(mén)打開(kāi)時(shí)起的快門(mén)時(shí)間/v的第二部分的圖15中左數(shù)第二像素的前景分量也是F12/v。當(dāng)快門(mén)已經(jīng)打開(kāi)時(shí)快門(mén)時(shí)間/v的第三部分的前景分量和對(duì)應(yīng)于快門(mén)打開(kāi)時(shí)起的快門(mén)時(shí)間/v的第四部分的圖15中左數(shù)第四像素的前景分量是F12/v。
對(duì)應(yīng)于快門(mén)打開(kāi)時(shí)起的快門(mén)時(shí)間/v的第二部分的圖15中幀#n-1最左邊像素的前景分量是F11/v。對(duì)應(yīng)于快門(mén)打開(kāi)時(shí)起的快門(mén)時(shí)間/v的第三部分的圖15中左數(shù)第二像素的前景分量也是F11/v。對(duì)應(yīng)于快門(mén)打開(kāi)時(shí)起的快門(mén)時(shí)間/v的第四部分的圖15中左數(shù)第三像素的前景分量是F11/v。
對(duì)應(yīng)于快門(mén)打開(kāi)時(shí)起的快門(mén)時(shí)間/v的第三部分的圖15中幀#n-1最左邊像素的前景分量是F10/v。對(duì)應(yīng)于快門(mén)打開(kāi)時(shí)起的快門(mén)時(shí)間/v的第四部分的圖15中左數(shù)第二像素的前景分量也是F10/v。對(duì)應(yīng)于快門(mén)打開(kāi)時(shí)起的快門(mén)時(shí)間/v的第四部分的圖15中幀#n-1最左邊像素的前景分量是F09/v。
由于對(duì)應(yīng)于背景的目標(biāo)是靜止的，對(duì)應(yīng)于快門(mén)打開(kāi)時(shí)起的快門(mén)時(shí)間/v的第一部分的圖15中幀#n-1左數(shù)第二像素的背景分量是B01/v。對(duì)應(yīng)于快門(mén)打開(kāi)時(shí)起的快門(mén)時(shí)間/v的第一和第二部分的圖15中幀#n-1左數(shù)第三像素的背景分量是B02/v。對(duì)應(yīng)于快門(mén)打開(kāi)時(shí)起的快門(mén)時(shí)間/v的第一到第三部分的圖15中幀#n-1左數(shù)第四像素的背景分量是B03/v。
圖15的在幀#n-1中，左數(shù)最左邊像素屬于前景區(qū)域，而左數(shù)第二到第四像素屬于混合區(qū)域，其是覆蓋背景區(qū)域。
圖15中幀#n-1的左數(shù)第五到第十二像素屬于背景區(qū)域，并且其像素值分別是B04到B11。
圖15中幀#n的左數(shù)第一到第五像素屬于前景區(qū)域。幀#n前景區(qū)域中快門(mén)時(shí)間/v的前景分量是F05/v到F12/v的任何一個(gè)。
能夠假設(shè)對(duì)應(yīng)于前景的目標(biāo)以勻速運(yùn)動(dòng)的剛體，以及其是運(yùn)動(dòng)的、使得前景圖像在隨后的幀中被向右顯示四個(gè)像素。因此，對(duì)應(yīng)于快門(mén)打開(kāi)時(shí)起的快門(mén)時(shí)間/v的第一部分的圖15中幀#n左數(shù)第五像素的前景分量是F12/v，以及對(duì)應(yīng)于快門(mén)打開(kāi)時(shí)起的快門(mén)時(shí)間/v的第二部分的圖15中左數(shù)第六像素的前景分量也是F12/v。對(duì)應(yīng)于快門(mén)打開(kāi)時(shí)起的快門(mén)時(shí)間/v的第三部分的圖15中左數(shù)第七像素的前景分量和對(duì)應(yīng)于快門(mén)打開(kāi)時(shí)起的快門(mén)時(shí)間/v的第四部分的圖15中左數(shù)第八像素的前景分量是F12/v。
對(duì)應(yīng)于快門(mén)打開(kāi)時(shí)起的快門(mén)時(shí)間/v的第二部分的圖15中幀#n左數(shù)第五像素的前景分量是F11/v。對(duì)應(yīng)于快門(mén)打開(kāi)時(shí)起的快門(mén)時(shí)間/v的第三部分的圖15中左數(shù)第六像素的前景分量也是F11/v。對(duì)應(yīng)于快門(mén)打開(kāi)時(shí)起的快門(mén)時(shí)間/v的第四部分的圖15中左數(shù)第七像素的前景分量是F11/v。
對(duì)應(yīng)于快門(mén)打開(kāi)時(shí)起的快門(mén)時(shí)間/v的第三部分的圖15中幀#n左數(shù)第五像素的前景分量是F10/v。對(duì)應(yīng)于快門(mén)打開(kāi)時(shí)起的快門(mén)時(shí)間/v的第四部分的圖15中左數(shù)第六像素的前景分量也是F10/v。對(duì)應(yīng)于快門(mén)打開(kāi)時(shí)起的快門(mén)時(shí)間/v的第四部分的圖15中幀#n的左數(shù)第五像素的前景分量是F09/v。
由于對(duì)應(yīng)于背景的目標(biāo)是靜止的，對(duì)應(yīng)于快門(mén)打開(kāi)時(shí)起的快門(mén)時(shí)間/v的第一部分的圖15中幀#n左數(shù)第六像素的背景分量是B05/v。對(duì)應(yīng)于快門(mén)打開(kāi)時(shí)起的快門(mén)時(shí)間/v的第一和第二部分的圖15中幀#n左數(shù)第七像素的背景分量是B06/v。對(duì)應(yīng)于快門(mén)打開(kāi)時(shí)起的快門(mén)時(shí)間/v的第一到第三部分的圖15中幀#n左數(shù)第八像素的背景分量是B07/v。
圖15的在幀#n中，左數(shù)第六到第八像素屬于混合區(qū)域，其是覆蓋背景區(qū)域。
圖15中幀#n的左數(shù)第九到第十二像素屬于背景區(qū)域，并且其像素值分別是B08到B11。
圖15中幀#n+1的左數(shù)第一到第九像素屬于前景區(qū)域。幀#n+1前景區(qū)域中快門(mén)時(shí)間/v的前景分量是F01/v到F12/v的任何一個(gè)。
能夠假設(shè)對(duì)應(yīng)于前景的目標(biāo)以勻速運(yùn)動(dòng)的剛體，以及其是運(yùn)動(dòng)的、使得前景圖像在隨后的幀中向右邊被顯示四個(gè)像素。因此，對(duì)應(yīng)于快門(mén)打開(kāi)時(shí)起的快門(mén)時(shí)間/v的第一部分的圖15中幀#n+1左數(shù)第九像素的前景分量是F12/v，以及對(duì)應(yīng)于快門(mén)打開(kāi)時(shí)起的快門(mén)時(shí)間/v的第二部分的圖15中左數(shù)第十像素的前景分量也是F12/v。對(duì)應(yīng)于快門(mén)打開(kāi)時(shí)起的快門(mén)時(shí)間/v的第三部分的圖15中左數(shù)第十一像素的前景分量和對(duì)應(yīng)于快門(mén)打開(kāi)時(shí)起的快門(mén)時(shí)間/v的第四部分的圖15中左數(shù)第十二像素的前景分量是F12/v。
對(duì)應(yīng)于快門(mén)打開(kāi)時(shí)起的快門(mén)時(shí)間/v的第二部分的圖15中幀#n+1左數(shù)第九像素的前景分量是F11/v。對(duì)應(yīng)于快門(mén)打開(kāi)時(shí)起的快門(mén)時(shí)間/v的第三部分的圖15中左數(shù)第十像素的前景分量也是F11/v。對(duì)應(yīng)于快門(mén)打開(kāi)時(shí)起的快門(mén)時(shí)間/v的第四部分的圖15中左數(shù)第十一像素的前景分量是F11/v。
對(duì)應(yīng)于快門(mén)打開(kāi)時(shí)起的快門(mén)時(shí)間/v的第三部分的圖15中幀#n+1左數(shù)第九像素的前景分量是F10/v。對(duì)應(yīng)于快門(mén)打開(kāi)時(shí)起的快門(mén)時(shí)間/v的第四部分的圖15中左數(shù)第十像素的前景分量也是F10/v。對(duì)應(yīng)于快門(mén)打開(kāi)時(shí)起的快門(mén)時(shí)間/v的第四部分的圖15中幀#n+1的左數(shù)第十像素的前景分量是F09/v。
由于對(duì)應(yīng)于背景的目標(biāo)是靜止的，對(duì)應(yīng)于快門(mén)打開(kāi)時(shí)起的快門(mén)時(shí)間/v的第一部分的圖15中幀#n+1左數(shù)第十像素的背景分量是B09/v。對(duì)應(yīng)于快門(mén)打開(kāi)時(shí)起的快門(mén)時(shí)間/v的第一和第二部分的圖15中幀#n+1左數(shù)第十一像素的背景分量是B10/v。對(duì)應(yīng)于快門(mén)打開(kāi)時(shí)起的快門(mén)時(shí)間/v的第一到第三部分的圖15中幀#n+1左數(shù)第十二像素的背景分量是B11/v。
圖15的在幀#n+1中，左數(shù)第十到第十二像素屬于混合區(qū)域，其是覆蓋背景區(qū)域。
圖16是通過(guò)從圖15表示的像素值中提取前景目標(biāo)獲得的圖像的模型。
圖17表示通過(guò)在時(shí)間方向擴(kuò)大在由捕獲對(duì)應(yīng)于正在向圖17右邊運(yùn)動(dòng)的前景之目標(biāo)以及對(duì)應(yīng)于靜止背景的目標(biāo)而獲得的圖像的三個(gè)幀中并排排列的和當(dāng)幀被重疊之時(shí)被定位在相同位置處的像素的像素值而獲得的模型。圖17中表示的模型包含未覆蓋背景區(qū)域。
圖17中，能夠假設(shè)對(duì)應(yīng)于前景的目標(biāo)以勻速運(yùn)動(dòng)的剛體，并且其運(yùn)動(dòng)使得其在隨后的幀中被向右顯示四個(gè)像素。因此，運(yùn)動(dòng)量v是4。
例如，對(duì)應(yīng)于快門(mén)打開(kāi)時(shí)起的快門(mén)時(shí)間/v的第一部分的圖17中幀#n-1最左邊像素的前景分量是F13/v，并對(duì)應(yīng)于快門(mén)打開(kāi)時(shí)起的快門(mén)時(shí)間/v的第二部分的圖17中左數(shù)第二像素的前景分量也是F13/v。對(duì)應(yīng)于快門(mén)打開(kāi)時(shí)起的快門(mén)時(shí)間/v的第三部分的圖17中左數(shù)第三像素的前景分量，并對(duì)應(yīng)于快門(mén)打開(kāi)時(shí)起的快門(mén)時(shí)間/v的第四部分的圖17中左數(shù)第四像素的前景分量是F13/v。
對(duì)應(yīng)于快門(mén)打開(kāi)時(shí)起的快門(mén)時(shí)間/v的第一部分的圖17中幀#n-1左數(shù)第二像素的前景分量是F14/v。對(duì)應(yīng)于快門(mén)打開(kāi)時(shí)起的快門(mén)時(shí)間/v的第二部分的圖17中左數(shù)第三像素的前景分量也是F14/v。對(duì)應(yīng)于快門(mén)打開(kāi)時(shí)起的快門(mén)時(shí)間/v的第一部分的圖17中左數(shù)第三像素的前景分量是F15/v。
由于對(duì)應(yīng)于背景的目標(biāo)是靜止的，對(duì)應(yīng)于快門(mén)打開(kāi)時(shí)起的快門(mén)時(shí)間/v的第二到第四部分的圖17中幀#n-1最左邊像素的背景分量是B25/v。對(duì)應(yīng)于快門(mén)打開(kāi)時(shí)起的快門(mén)時(shí)間/v的第三和第四部分的圖17中幀#n-1左數(shù)第二像素的背景分量是B26/v。對(duì)應(yīng)于快門(mén)打開(kāi)時(shí)起的快門(mén)時(shí)間/v的第四部分的圖17中幀#n-1左數(shù)第三像素的背景分量是B27/v。
圖17的在幀#n-1中，最左邊像素到第三像素屬于混合區(qū)域，其是未覆蓋背景區(qū)域。
圖17中從幀#n-1的左邊的第四到第十二像素屬于前景區(qū)域。該幀的前景分量是F13/v到F24/v的任何一個(gè)。
圖17中從幀#n的左邊的最左邊像素到第四像素屬于背景區(qū)域，并且其像素值分別是B25到B28。
能夠假設(shè)對(duì)應(yīng)于前景的目標(biāo)以勻速運(yùn)動(dòng)的剛體，以及其是運(yùn)動(dòng)的、使得其在隨后的幀中被向右顯示四個(gè)像素。因此，對(duì)應(yīng)于快門(mén)打開(kāi)時(shí)起的快門(mén)時(shí)間/v的第一部分的圖17中幀#n左數(shù)第五像素的前景分量是F13/v，以及對(duì)應(yīng)于快門(mén)打開(kāi)時(shí)起的快門(mén)時(shí)間/v的第二部分的圖17中左數(shù)第六像素的前景分量也是F13/v。對(duì)應(yīng)于快門(mén)打開(kāi)時(shí)起的快門(mén)時(shí)間/v的第三部分的圖17中左數(shù)第七像素的前景分量和對(duì)應(yīng)于快門(mén)打開(kāi)時(shí)起的快門(mén)時(shí)間/v的第四部分的圖17中左數(shù)第八像素的前景分量是F13/v。
對(duì)應(yīng)于快門(mén)打開(kāi)時(shí)起的快門(mén)時(shí)間/v的第一部分的圖17中幀#n左數(shù)第六像素的前景分量是F14/v。對(duì)應(yīng)于快門(mén)打開(kāi)時(shí)起的快門(mén)時(shí)間/v的第二部分的圖17中左數(shù)第七像素的前景分量也是F14/v。對(duì)應(yīng)于快門(mén)打開(kāi)時(shí)起的快門(mén)時(shí)間/v的第一部分的圖17中左數(shù)第八像素的前景分量是F15/v。
由于對(duì)應(yīng)于背景的目標(biāo)是靜止的，對(duì)應(yīng)于快門(mén)打開(kāi)時(shí)起的快門(mén)時(shí)間/v的第二到第四部分的圖17中幀#n左數(shù)第五像素的背景分量是B29/v。對(duì)應(yīng)于快門(mén)打開(kāi)時(shí)起的快門(mén)時(shí)間/v的第三和第四部分的圖17中幀#n左數(shù)第六像素的背景分量是B30/v。對(duì)應(yīng)于快門(mén)打開(kāi)時(shí)起的快門(mén)時(shí)間/v的第四部分的圖17中幀#n左數(shù)第七像素的背景分量是B31/v。
圖17的在幀#n中，左數(shù)第五像素到第七像素屬于混合區(qū)域，其是未覆蓋背景區(qū)域。
圖17中從幀#n的左邊的第八到第十二像素屬于前景區(qū)域。對(duì)應(yīng)于快門(mén)時(shí)間/v時(shí)間周期的幀#n的前景區(qū)域的值是F13/v到F20/v的任何一個(gè)。
圖17中從幀#n+1的左邊的最左邊像素到第八像素屬于背景區(qū)域，并且其像素值分別是B25到B32。
能夠假設(shè)對(duì)應(yīng)于前景的目標(biāo)以勻速運(yùn)動(dòng)的剛體，以及其是運(yùn)動(dòng)的、使得其在隨后的幀中被向右顯示四個(gè)像素。因此，對(duì)應(yīng)于快門(mén)打開(kāi)時(shí)起的快門(mén)時(shí)間/v的第一部分的圖17中幀#n+1左數(shù)第九像素的前景分量是F13/v，以及對(duì)應(yīng)于快門(mén)打開(kāi)時(shí)起的快門(mén)時(shí)間/v的第二部分的圖17中左數(shù)第十像素的前景分量也是F13/v。對(duì)應(yīng)于快門(mén)打開(kāi)時(shí)起的快門(mén)時(shí)間/v的第三部分的圖17中左數(shù)第十一像素的前景分量和對(duì)應(yīng)于快門(mén)打開(kāi)時(shí)起的快門(mén)時(shí)間/v的第四部分的圖17中左數(shù)第十二像素的前景分量是F13/v。
對(duì)應(yīng)于快門(mén)打開(kāi)時(shí)起的快門(mén)時(shí)間/v的第一部分的圖17中幀#n+1左數(shù)第十像素的前景分量是F14/v。對(duì)應(yīng)于快門(mén)打開(kāi)時(shí)起的快門(mén)時(shí)間/v的第二部分的圖17中左數(shù)第十一像素的前景分量也是F14/v。對(duì)應(yīng)于快門(mén)打開(kāi)時(shí)起的快門(mén)時(shí)間/v的第一部分的圖17中左數(shù)第十二像素的前景分量是F15/v。
由于對(duì)應(yīng)于背景的目標(biāo)是靜止的，對(duì)應(yīng)于快門(mén)打開(kāi)時(shí)起的快門(mén)時(shí)間/v的第二到第四部分的圖17中幀#n+1左數(shù)第九像素的背景分量是B33/v。對(duì)應(yīng)于快門(mén)打開(kāi)時(shí)起的快門(mén)時(shí)間/v的第三和第四部分的圖17中幀#n+1左數(shù)第十像素的背景分量是B34/v。對(duì)應(yīng)于快門(mén)打開(kāi)時(shí)起的快門(mén)時(shí)間/v的第四部分的圖17中幀#n+1左數(shù)第十一像素的背景分量是B35/v。
圖17的在幀#n+1中，圖17左數(shù)第九像素到第十一像素屬于混合區(qū)域，其是未覆蓋背景區(qū)域。
圖17中從幀#n+1的左邊的第十二像素屬于前景區(qū)域。幀#n+1的前景區(qū)域中快門(mén)時(shí)間/v內(nèi)的前景分量分別是F13到F16的任何一個(gè)。
圖18表示通過(guò)從圖17中表示的像素值中提取前景分量獲得的圖像的模型。
回來(lái)參考圖2，區(qū)域規(guī)定單元103通過(guò)使用多個(gè)幀的像素值來(lái)規(guī)定表示輸入圖像的單獨(dú)像素是屬于前景區(qū)域、背景區(qū)域、覆蓋背景區(qū)域或者未覆蓋背景區(qū)域之哪一個(gè)的標(biāo)志(flag)，并將該標(biāo)志作為區(qū)域信息提供給混合比率計(jì)算器104和運(yùn)動(dòng)模糊調(diào)節(jié)單元106。
混合比率計(jì)算器104基于多個(gè)幀的像素值和區(qū)域信息計(jì)算在混合區(qū)域中包含的每個(gè)像素的混合比率α，并且將所計(jì)算的混合比率α提供給前景/背景分離器105。
前景/背景分離器105基于多個(gè)幀的像素值，區(qū)域信息和混合比率α提取僅僅由前景分量構(gòu)成的前景分量圖像，并將該前景分量圖像提供給運(yùn)動(dòng)模糊調(diào)節(jié)單元106。
基于從前景/背景分離器105提供的前景分量圖像，從運(yùn)動(dòng)檢測(cè)器102提供的運(yùn)動(dòng)矢量，以及從區(qū)域規(guī)定單元103提供的區(qū)域信息，運(yùn)動(dòng)模糊調(diào)節(jié)單元106調(diào)節(jié)在前景分量圖像中包含的運(yùn)動(dòng)模糊量，然后輸出其中運(yùn)動(dòng)模糊被調(diào)節(jié)的前景分量圖像。
下面參考圖19說(shuō)明通過(guò)圖像處理設(shè)備完成的用于調(diào)節(jié)運(yùn)動(dòng)模糊量的處理。在步驟S11，區(qū)域規(guī)定單元103執(zhí)行區(qū)域規(guī)定處理，其基于輸入圖像用于產(chǎn)生表示輸入圖像的每個(gè)像素是屬于前景區(qū)域、背景區(qū)域、覆蓋背景區(qū)域或者未覆蓋背景區(qū)域之哪一個(gè)的區(qū)域信息。下面給出區(qū)域規(guī)定處理的細(xì)節(jié)。區(qū)域規(guī)定單元103將所產(chǎn)生的區(qū)域信息提供給混合比率計(jì)算器104。
在步驟S11，區(qū)域規(guī)定單元103可以基于輸入圖像產(chǎn)生表示輸入圖像的每個(gè)像素是屬于前景區(qū)域，背景區(qū)域或者混合區(qū)域(與每個(gè)像素是否屬于覆蓋背景區(qū)域或者未覆蓋背景區(qū)域無(wú)關(guān))之哪一個(gè)的區(qū)域信息。在這種情況下，前景/背景分離器105和運(yùn)動(dòng)模糊調(diào)節(jié)單元106基于運(yùn)動(dòng)矢量的方向確定混合區(qū)域是否是覆蓋背景區(qū)域還是未覆蓋背景區(qū)域。例如，如果輸入圖像在運(yùn)動(dòng)矢量的方向上被布置成前景區(qū)域，混合區(qū)域和背景區(qū)域的順序，則確定該混合區(qū)域是覆蓋背景區(qū)域。如果輸入圖像在運(yùn)動(dòng)矢量的方向上被布置成背景區(qū)域，混合區(qū)域和前景區(qū)域的順序，則確定該混合區(qū)域是未覆蓋背景區(qū)域。
在步驟S12，混合比率計(jì)算器104基于輸入圖像和區(qū)域信息計(jì)算在混合區(qū)域中包含的每個(gè)像素的混合比率α。下面給出混合比率計(jì)算處理的細(xì)節(jié)?；旌媳嚷视?jì)算器104將計(jì)算的混合比率α提供給前景/背景分離器105。
在步驟S13，前景/背景分離器105基于區(qū)域信息和混合比率α從輸入圖像中提取前景分量和將前景分量提供給運(yùn)動(dòng)模糊調(diào)節(jié)單元106作為前景分量圖像。
在步驟S14，運(yùn)動(dòng)模糊調(diào)節(jié)單元106基于運(yùn)動(dòng)矢量和區(qū)域信息產(chǎn)生表示在運(yùn)動(dòng)方向上布置的和屬于未覆蓋背景區(qū)域，前景區(qū)域和覆蓋背景區(qū)域之任何一個(gè)的連續(xù)像素之位置的處理單位，并且調(diào)節(jié)在對(duì)應(yīng)于該處理單位之前景分量中包含的運(yùn)動(dòng)模糊量。下面給出用于調(diào)節(jié)運(yùn)動(dòng)模糊量的處理的細(xì)節(jié)。
在步驟S15，圖像處理設(shè)備確定該處理是否對(duì)整個(gè)屏幕完成。如果其確定該處理沒(méi)對(duì)整個(gè)屏幕完成，則處理前進(jìn)到步驟S14，并且重復(fù)用于調(diào)節(jié)關(guān)于對(duì)應(yīng)于該處理單位的前景分量之運(yùn)動(dòng)模糊量的處理。
如果在步驟S15確定該處理對(duì)整個(gè)屏幕完成，則處理被完成。
在這種方式下，圖像處理設(shè)備能夠通過(guò)分離前景和背景來(lái)調(diào)節(jié)在前景中包含的運(yùn)動(dòng)模糊量。即，圖像處理設(shè)備能夠調(diào)節(jié)在表示前景像素的像素值的采樣數(shù)據(jù)中包含的運(yùn)動(dòng)模糊量。
下面說(shuō)明區(qū)域規(guī)定單元103、混合比率計(jì)算器104、前景/背景分離器105和運(yùn)動(dòng)模糊調(diào)節(jié)單元106之每一個(gè)的結(jié)構(gòu)。
圖20是表示區(qū)域規(guī)定單元103結(jié)構(gòu)例子的方框圖。
幀存儲(chǔ)器201存儲(chǔ)以幀為單位的輸入圖像。幀存儲(chǔ)器201存儲(chǔ)幀#n-1(其是在幀#n之前一幀)、存儲(chǔ)幀#n以及存儲(chǔ)幀#n+1(其是在幀#n之后一幀)。
靜止/運(yùn)動(dòng)確定部分202-1從幀存儲(chǔ)器201讀出其中該像素屬于的區(qū)域被確定的幀#n之指定像素的像素值，以及讀出位于與幀#n之指定像素相同位置的幀#n-1的像素的像素值，并且計(jì)算在像素值之差的絕對(duì)值。靜止/運(yùn)動(dòng)確定部分202-1確定在幀#n的像素值和幀#n-1的像素值之差的絕對(duì)值是否大于預(yù)先設(shè)置的閾值Th。如果確定出在像素值之差的絕對(duì)值大于閾值Th，則表示“運(yùn)動(dòng)”的靜止/運(yùn)動(dòng)確定提供給區(qū)域確定部分203。如果確定出在幀#n的像素的像素值和幀#n-1的像素的像素值之差的絕對(duì)值小于或者等于閾值Th，靜止/運(yùn)動(dòng)確定部分202-1將表示“靜止”的靜止/運(yùn)動(dòng)確定提供給區(qū)域確定部分203。
靜止/運(yùn)動(dòng)確定部分202-2從幀存儲(chǔ)器201讀出其中該像素屬于的區(qū)域被確定的幀#n之指定像素的像素值，以及讀出位于與幀#n之指定像素相同位置的幀#n+1的像素的像素值，并且計(jì)算在像素值之差的絕對(duì)值。靜止/運(yùn)動(dòng)確定部分202-2確定在幀#n+1的像素值和幀#n的像素值之差的絕對(duì)值是否大于預(yù)先設(shè)置的閾值Th。如果確定出在像素值之差的絕對(duì)值大于閾值Th，則表示“運(yùn)動(dòng)”的靜止/運(yùn)動(dòng)確定提供給區(qū)域確定部分203。如果確定出在幀#n+1的像素的像素值和幀#n的像素的像素值之差的絕對(duì)值小于或者等于閾值Th，靜止/運(yùn)動(dòng)確定部分202-2將表示“靜止”的靜止/運(yùn)動(dòng)確定提供給區(qū)域確定部分203。
當(dāng)從靜止/運(yùn)動(dòng)確定部分202-1提供的靜止/運(yùn)動(dòng)確定表示“靜止”時(shí)和當(dāng)從靜止/運(yùn)動(dòng)確定部分202-2提供的靜止/運(yùn)動(dòng)確定表示“靜止”時(shí)，區(qū)域確定部分203確定幀#n的指定像素屬于靜止區(qū)域，并且在確定標(biāo)志存儲(chǔ)幀存儲(chǔ)器204的對(duì)應(yīng)于幀#n之指定像素的地址中設(shè)置表示該像素屬于靜止區(qū)域的標(biāo)志。
當(dāng)從靜止/運(yùn)動(dòng)確定部分202-1提供的靜止/運(yùn)動(dòng)確定表示“運(yùn)動(dòng)”時(shí)或者當(dāng)從靜止/運(yùn)動(dòng)確定部分202-2提供的靜止/運(yùn)動(dòng)確定表示“運(yùn)動(dòng)”時(shí)，區(qū)域確定部分203確定幀#n的指定像素屬于運(yùn)動(dòng)區(qū)域，并且在確定標(biāo)志存儲(chǔ)幀存儲(chǔ)器204的對(duì)應(yīng)于幀#n之指定像素的地址中設(shè)置該像素屬于運(yùn)動(dòng)區(qū)域的標(biāo)志。
當(dāng)從靜止/運(yùn)動(dòng)確定部分202-1提供的靜止/運(yùn)動(dòng)確定表示“靜止”時(shí)和當(dāng)從靜止/運(yùn)動(dòng)確定部分202-2提供的靜止/運(yùn)動(dòng)確定表示“運(yùn)動(dòng)”時(shí)，區(qū)域確定部分203確定幀#n+1的指定像素屬于覆蓋背景區(qū)域，并且在確定標(biāo)志存儲(chǔ)幀存儲(chǔ)器204的對(duì)應(yīng)于幀#n+1之指定像素的地址中設(shè)置表示該指定像素屬于覆蓋背景區(qū)域的標(biāo)志。
當(dāng)從靜止/運(yùn)動(dòng)確定部分202-1提供的靜止/運(yùn)動(dòng)確定表示“運(yùn)動(dòng)”時(shí)或者當(dāng)從靜止/運(yùn)動(dòng)確定部分202-2提供的靜止/運(yùn)動(dòng)確定表示“靜止”時(shí)，區(qū)域確定部分203確定幀#n-1的指定像素屬于未覆蓋背景區(qū)域，并且在確定標(biāo)志存儲(chǔ)幀存儲(chǔ)器204的對(duì)應(yīng)于幀#n-1之指定像素的地址中設(shè)置表示該指定像素屬于未覆蓋背景區(qū)域的標(biāo)志。
通過(guò)區(qū)域確定部分203在確定標(biāo)志存儲(chǔ)幀存儲(chǔ)器204中設(shè)置的標(biāo)志是例如2位標(biāo)志。當(dāng)該標(biāo)志是“00”寸，其表示靜止區(qū)域。當(dāng)該標(biāo)志是“01”時(shí)，其表示未覆蓋背景區(qū)域。當(dāng)該標(biāo)志是“10”時(shí)，其表示覆蓋背景區(qū)域。當(dāng)該標(biāo)志是“11”時(shí)，其表示運(yùn)動(dòng)區(qū)域。
確定標(biāo)志存儲(chǔ)幀存儲(chǔ)器204單獨(dú)地存儲(chǔ)與像素相聯(lián)系的2位標(biāo)志，即，表示幀#n-1中指定像素之區(qū)域的標(biāo)志，表示幀#n中指定像素之區(qū)域的標(biāo)志，以及表示幀#n+1中指定像素之區(qū)域的標(biāo)志。
當(dāng)區(qū)域規(guī)定單元103完成了一幀之區(qū)域的確定時(shí)，確定標(biāo)志存儲(chǔ)幀存儲(chǔ)器204作為區(qū)域信息輸出其中表示未覆蓋背景區(qū)域、運(yùn)動(dòng)區(qū)域、靜止區(qū)域和覆蓋背景區(qū)域之標(biāo)志被設(shè)置的幀#n+1的標(biāo)志。
當(dāng)區(qū)域規(guī)定單元103完成了一幀之區(qū)域的確定時(shí)，確定標(biāo)志存儲(chǔ)幀存儲(chǔ)器204移位幀#n的標(biāo)志，其中表示未覆蓋背景區(qū)域，運(yùn)動(dòng)區(qū)域和靜止區(qū)域之標(biāo)志被設(shè)置到幀#n+1。
當(dāng)區(qū)域規(guī)定單元103完成了一幀之區(qū)域的確定時(shí)，確定標(biāo)志存儲(chǔ)幀存儲(chǔ)器204移位幀#n-1的標(biāo)志，其中表示未覆蓋背景區(qū)域之標(biāo)志被設(shè)置到幀#n。
當(dāng)區(qū)域規(guī)定單元103完成了一幀之區(qū)域的確定時(shí)，確定標(biāo)志存儲(chǔ)幀存儲(chǔ)器204初始化幀#n-1。
即，當(dāng)區(qū)域規(guī)定單元103開(kāi)始確定一幀之區(qū)域時(shí)，在確定標(biāo)志存儲(chǔ)幀存儲(chǔ)器204中存儲(chǔ)的幀#n-1中不設(shè)置標(biāo)志。
當(dāng)區(qū)域規(guī)定單元103開(kāi)始確定一幀之區(qū)域時(shí)，在確定標(biāo)志存儲(chǔ)幀存儲(chǔ)器204中存儲(chǔ)的幀#n中設(shè)置表示未覆蓋背景區(qū)域的標(biāo)志。
當(dāng)區(qū)域規(guī)定單元103開(kāi)始確定一幀之區(qū)域時(shí)，在確定標(biāo)志存儲(chǔ)幀存儲(chǔ)器204中存儲(chǔ)的幀#n+1中設(shè)置表示未覆蓋背景區(qū)域的標(biāo)志，表示靜止區(qū)域的標(biāo)志和表示運(yùn)動(dòng)區(qū)域的標(biāo)志。
因此，區(qū)域確定部分203在幀#n中設(shè)置表示靜止區(qū)域或者運(yùn)動(dòng)區(qū)域的標(biāo)志，其被存儲(chǔ)在確定標(biāo)志存儲(chǔ)幀存儲(chǔ)器204中，其中設(shè)置了表示未覆蓋背景區(qū)域的標(biāo)志。
當(dāng)表示未覆蓋背景區(qū)域的標(biāo)志或者表示覆蓋背景區(qū)域的標(biāo)志已經(jīng)被設(shè)置在幀#n的對(duì)應(yīng)地址中時(shí)，區(qū)域確定部分203不設(shè)置表示運(yùn)動(dòng)區(qū)域的標(biāo)志。
區(qū)域確定部分203在幀#n+1中設(shè)置表示覆蓋背景區(qū)域的標(biāo)志，其被存儲(chǔ)在確定標(biāo)志存儲(chǔ)幀存儲(chǔ)器204中，其中設(shè)置了表示未覆蓋背景區(qū)域的標(biāo)志，表示靜止區(qū)域的標(biāo)志和表示運(yùn)動(dòng)區(qū)域的標(biāo)志。
下面參考圖21到25說(shuō)明通過(guò)區(qū)域規(guī)定單元103完成的處理的例子。
當(dāng)對(duì)應(yīng)于前景的目標(biāo)是運(yùn)動(dòng)的時(shí)，對(duì)應(yīng)于屏幕上目標(biāo)的圖像的位置在每幀中變化。如圖21中表示，對(duì)應(yīng)于幀#n中位于由Yn(x，y)表示之位置的目標(biāo)的圖像被定位在幀#n+1中的Yn+1(x，y)，其在幀#n之后。
圖22中表示了通過(guò)在時(shí)間方向擴(kuò)大在對(duì)應(yīng)于前景目標(biāo)之圖像的運(yùn)動(dòng)方向上并排排列的像素的像素值而獲得的模型。例如，如果對(duì)應(yīng)于前景目標(biāo)之圖像的運(yùn)動(dòng)方向是關(guān)于屏幕為水平的，則圖22中表示的模型是通過(guò)在時(shí)間方向擴(kuò)大在并排的線上所布置的像素的像素值而獲得的模型。
圖22中，幀#n中的線等于幀#n+1中的線。
對(duì)應(yīng)于幀#n中左數(shù)第二像素到第十三像素中包含的目標(biāo)的前景分量被包含在幀#n+1中左數(shù)第六像素到第十七像素中。
在幀#n中，屬于覆蓋背景區(qū)域的像素是左數(shù)第十一到第十三像素，屬于未覆蓋背景區(qū)域的像素是左數(shù)第二到第四像素。在幀#n+1中，屬于覆蓋背景區(qū)域的像素是左數(shù)第十五到第十七像素，屬于未覆蓋背景區(qū)域的像素是左數(shù)第六到第八像素。
在圖22表示的例子中，由于在幀#n中包含的前景分量在幀#n+1中被移動(dòng)四個(gè)像素，運(yùn)動(dòng)量v是4。虛擬分割部分的數(shù)目根據(jù)該運(yùn)動(dòng)量v也為4。
下面的說(shuō)明給出在指定幀之前和之后的幀中屬于混合區(qū)域的像素的像素值的變化。
圖23中，屬于其中背景是靜止的并且前景中運(yùn)動(dòng)量v是4的幀#n+1覆蓋背景區(qū)域的像素是左數(shù)第十五到第十七像素。由于運(yùn)動(dòng)量v是4，前幀#n中左數(shù)第十五到第十七幀僅僅包含背景分量和屬于背景區(qū)域。是幀#n之前一幀的幀#n-1中左數(shù)第十五到第十七像素僅僅包含背景分量和屬于背景區(qū)域。
由于對(duì)應(yīng)于背景的目標(biāo)是靜止的，幀#n中左數(shù)第十五像素的像素值與在幀#n-1中左數(shù)第十五像素的像素值不變化。類(lèi)似地，幀#n中左數(shù)第十六像素的像素值與在幀#n-1中左數(shù)第十六像素的像素值不變化，并幀#n中左數(shù)第十七像素的像素值與在幀#n-1中左數(shù)第十七像素的像素值不變化。
即，對(duì)應(yīng)于屬于幀#n+1中覆蓋背景區(qū)域的像素的幀#n和幀#n-1中的像素僅僅是由背景分量構(gòu)成的，并且其像素值不改變。因此，像素值之間差別的絕對(duì)值幾乎為0。因此，通過(guò)靜止/運(yùn)動(dòng)確定部分202-1為對(duì)應(yīng)于屬于幀#n+1中覆蓋背景區(qū)域的像素的幀#n和幀#n-1中的像素而做的靜止/運(yùn)動(dòng)確定是“靜止”。
由于屬于幀#n+1覆蓋背景區(qū)域的像素包含前景分量，其像素值與僅僅由背景分量構(gòu)成的幀#n的像素值是不同的。因此，通過(guò)靜止/運(yùn)動(dòng)確定部分202-2為屬于幀#n+1混合區(qū)域的像素和幀#n中對(duì)應(yīng)像素而做的靜止/運(yùn)動(dòng)確定是“運(yùn)動(dòng)”的。
當(dāng)表示“運(yùn)動(dòng)”的靜止/運(yùn)動(dòng)確定結(jié)果被從靜止/運(yùn)動(dòng)確定部分202-2提供時(shí)，并當(dāng)表示“靜止”的靜止/運(yùn)動(dòng)確定結(jié)果被從靜止/運(yùn)動(dòng)確定部分202-1提供時(shí)，如以上所討論，區(qū)域確定部分203確定幀#n+1的對(duì)應(yīng)像素屬于覆蓋背景區(qū)域。
圖24中，在其中背景是靜止的和前景的運(yùn)動(dòng)量v是4的在幀#n-1中，在未覆蓋背景區(qū)域中包含的像素是左數(shù)第二到第四像素。由于運(yùn)動(dòng)量v是4，隨后幀#n中左數(shù)第二到第四像素僅僅包含背景分量和屬于背景區(qū)域。在幀#n的后面的幀#n+1中，左數(shù)第二到第四像素僅僅包含背景分量和屬于背景區(qū)域。
由于對(duì)應(yīng)于背景的目標(biāo)是靜止的，幀#n+1中左數(shù)第二像素的像素值與在幀#n中左數(shù)第二像素的像素值不變化。類(lèi)似地，幀#n+1中左數(shù)第三像素的像素值與在幀#n中左數(shù)第三像素的像素值不變化，并幀#n+1中左數(shù)第四像素的像素值與在幀#n中左數(shù)第四像素的像素值不變化。
即，對(duì)應(yīng)于屬于幀#n-1中未覆蓋背景區(qū)域的像素的幀#n和幀#n+1中的像素僅僅是由背景分量構(gòu)成的，并且其像素值不改變。因此，像素值之間差別的絕對(duì)值幾乎為0。因此，通過(guò)靜止/運(yùn)動(dòng)確定部分202-2為對(duì)應(yīng)于屬于幀#n中未覆蓋背景區(qū)域的像素的幀#n和幀#n+1中的像素而做的靜止/運(yùn)動(dòng)確定是“靜止”。
由于屬于幀#n-1未覆蓋背景區(qū)域的像素包含前景分量，其像素值與僅僅由背景分量構(gòu)成的幀#n的像素值是不同的。因此，通過(guò)靜止/運(yùn)動(dòng)確定部分202-1為屬于幀#n-1混合區(qū)域的像素和幀#n中對(duì)應(yīng)像素而做的靜止/運(yùn)動(dòng)確定是“運(yùn)動(dòng)”的。
當(dāng)表示“運(yùn)動(dòng)”的靜止/運(yùn)動(dòng)確定結(jié)果被從靜止/運(yùn)動(dòng)確定部分202-1提供時(shí)，并當(dāng)表示“靜止”的靜止/運(yùn)動(dòng)確定結(jié)果被從靜止/運(yùn)動(dòng)確定部分202-2提供時(shí)，如以上所討論，區(qū)域確定部分203確定幀#n-1的對(duì)應(yīng)像素屬于未覆蓋背景區(qū)域。
圖25表示由區(qū)域規(guī)定單元103做的確定條件。當(dāng)對(duì)位于與要被處理的幀#n+1中像素之相同圖像位置的幀#n-1中像素和對(duì)位于與幀#n+1中像素之相同位置的幀#n中像素的確定結(jié)果是靜止的時(shí)，并當(dāng)對(duì)幀#n+1中像素和位于與幀#n+1中像素之相同圖像位置的幀#n中像素的確定結(jié)果是運(yùn)動(dòng)的時(shí)，區(qū)域規(guī)定單元103確定幀#n+1中像素屬于覆蓋背景區(qū)域。
當(dāng)對(duì)幀#n中像素和位于與幀#n中像素之相同圖像位置的幀#n-1中像素的確定結(jié)果是靜止的時(shí)，并當(dāng)對(duì)幀#n中像素和位于與幀#n中像素之相同圖像位置的幀#n+1中像素的確定結(jié)果是靜止的時(shí)，區(qū)域規(guī)定單元103確定幀#n中像素屬于靜止區(qū)域。
當(dāng)對(duì)幀#n中像素和位于與幀#n中像素之相同圖像位置的幀#n-1中像素的確定結(jié)果是運(yùn)動(dòng)的時(shí)，并當(dāng)對(duì)幀#n中像素和位于與幀#n中像素之相同圖像位置的幀#n+1中像素的確定結(jié)果是運(yùn)動(dòng)的時(shí)，區(qū)域規(guī)定單元103確定幀#n中像素屬于運(yùn)動(dòng)區(qū)域。
當(dāng)對(duì)幀#n-1中像素和位于與幀#n-1中像素之相同圖像位置的幀#n中像素的確定結(jié)果是運(yùn)動(dòng)的時(shí)，并當(dāng)對(duì)位于幀#n-1中像素之相同圖像位置的幀#n中像素和位于與幀#n-1中像素之相同圖像位置的幀#n+1中像素的確定結(jié)果是靜止的時(shí)，區(qū)域規(guī)定單元103確定幀#n-1中像素屬于未覆蓋背景區(qū)域。
如以上所討論，區(qū)域規(guī)定單元103規(guī)定前景區(qū)域、背景區(qū)域、覆蓋背景區(qū)域和未覆蓋背景區(qū)域。區(qū)域規(guī)定單元103要求對(duì)應(yīng)于三幀的時(shí)間，用于規(guī)定一幀的前景區(qū)域、背景區(qū)域、覆蓋背景區(qū)域和未覆蓋背景區(qū)域之圖26表示通過(guò)區(qū)域規(guī)定單元103獲得的區(qū)域確定結(jié)果的例子。在對(duì)應(yīng)于圖26中表示結(jié)果的輸入圖像中，前景目標(biāo)在圖中是從左邊運(yùn)動(dòng)到右邊。
可見(jiàn)，覆蓋背景區(qū)域是在其中前景目標(biāo)正在運(yùn)動(dòng)的方向上被觀察的(圖26的右側(cè))，未覆蓋背景區(qū)域是在與其中前景目標(biāo)正在運(yùn)動(dòng)的方向之相反方向上被觀察的(圖26的左側(cè))。
圖27是表示圖26表示的確定結(jié)果中前景目標(biāo)左上部分的放大圖。
由于前景目標(biāo)在圖27中正向右邊運(yùn)動(dòng)，在圖27中可見(jiàn)，由圖27中A表示的覆蓋背景區(qū)域被定位在圖27中B表示的前景區(qū)域的右側(cè)，由圖27中C表示的未覆蓋背景區(qū)域被定位在前景區(qū)域的左側(cè)。圖27中，D表示背景區(qū)域。
下面參考圖28和29的流程圖說(shuō)明由區(qū)域規(guī)定單元103完成的區(qū)域規(guī)定處理。在步驟S201，幀存儲(chǔ)器201通過(guò)幀#n+1獲得將要被確定的幀#n-1的圖像。
在步驟S202，靜止/運(yùn)動(dòng)確定部分202-1確定對(duì)于幀#n-1中像素和位于相同位置的幀#n中像素的確定結(jié)果是否是靜止的。如果確定出該確定結(jié)果是靜止的，則處理前進(jìn)到步驟S203，其中靜止/運(yùn)動(dòng)確定部分202-2確定對(duì)于幀#n中像素和位于相同位置的幀#n+1中像素的確定結(jié)果是否是靜止的。
如果在步驟S203確定出對(duì)于幀#n中像素和位于相同位置的幀#n+1中像素的確定結(jié)果是靜止的話(huà)，則處理前進(jìn)到步驟S204。在步驟S204，區(qū)域確定部分203在確定標(biāo)志存儲(chǔ)幀存儲(chǔ)器204存儲(chǔ)的幀#n的對(duì)應(yīng)地址中設(shè)置“00”，其表示要被處理的像素屬于靜止區(qū)域。該處理然后前進(jìn)到步驟S205。
如果在步驟S202確定出對(duì)于幀#n-1中像素和位于相同位置的幀#n中像素的確定結(jié)果是運(yùn)動(dòng)的話(huà)，或者如果在步驟S203確定出對(duì)于幀#n中像素和位于相同位置的幀#n+1中像素的確定結(jié)果是運(yùn)動(dòng)的話(huà)，則要被處理的像素不屬于靜止區(qū)域。因此，步驟S204的處理被跳過(guò)，處理前進(jìn)到步驟S205。
在步驟S205，靜止/運(yùn)動(dòng)確定部分202-1確定對(duì)于幀#n-1中像素和位于相同位置的幀#n中像素的確定結(jié)果是否是運(yùn)動(dòng)的。如果確定出該確定結(jié)果是運(yùn)動(dòng)的，則處理前進(jìn)到步驟S206，其中靜止/運(yùn)動(dòng)確定部分202-2確定對(duì)于幀#n中像素和位于相同位置的幀#n+1中像素的確定結(jié)果是否是運(yùn)動(dòng)的。
如果在步驟S206確定出對(duì)于幀#n中像素和位于相同位置的幀#n+1中像素的確定結(jié)果是運(yùn)動(dòng)的話(huà)，則處理前進(jìn)到步驟S207。在步驟S207，區(qū)域確定部分203基于在確定標(biāo)志存儲(chǔ)幀存儲(chǔ)器204存儲(chǔ)的幀#n的標(biāo)志確定對(duì)應(yīng)的像素是否已經(jīng)被確定為是未覆蓋背景區(qū)域。如果發(fā)現(xiàn)對(duì)應(yīng)的像素還沒(méi)有被確定為是未覆蓋背景區(qū)域，該處理前進(jìn)到步驟S208。
在步驟S208，區(qū)域確定部分203在確定標(biāo)志存儲(chǔ)幀存儲(chǔ)器204存儲(chǔ)的幀#n的對(duì)應(yīng)地址中設(shè)置“11”，其表示像素屬于運(yùn)動(dòng)區(qū)域。該處理然后前進(jìn)到步驟S209。
如果在步驟S205確定出對(duì)于幀#n-1中像素和位于相同位置的幀#n中像素的確定結(jié)果是靜止的話(huà)，或者如果在步驟S206確定出對(duì)于幀#n中像素和位于相同位置的幀#n+1中像素的確定結(jié)果是靜止的話(huà)，或者如果在步驟S207發(fā)現(xiàn)對(duì)應(yīng)的像素已經(jīng)被確定為是未覆蓋背景區(qū)域，則幀#n中的像素不屬于運(yùn)動(dòng)區(qū)域。因此，步驟S208的處理被跳過(guò)，處理前進(jìn)到步驟S209。
在步驟S209，靜止/運(yùn)動(dòng)確定部分202-1確定對(duì)于幀#n-1中像素和位于相同位置的幀#n中像素的確定結(jié)果是否是靜止的。如果確定出該確定結(jié)果是靜止的，則處理前進(jìn)到步驟S210。在步驟S210，靜止/運(yùn)動(dòng)確定部分202-2確定對(duì)于幀#n中像素和位于相同位置的幀#n+1中像素的確定結(jié)果是否是運(yùn)動(dòng)的。
如果在步驟S210確定出對(duì)于幀#n中像素和位于相同位置的幀#n+1中像素的確定結(jié)果是運(yùn)動(dòng)的話(huà)，則處理前進(jìn)到步驟S211。在步驟S211，區(qū)域確定部分203在確定標(biāo)志存儲(chǔ)幀存儲(chǔ)器204存儲(chǔ)的幀#n+1的對(duì)應(yīng)地址中設(shè)置“10”，其表示像素屬于覆蓋背景區(qū)域，并且處理然后前進(jìn)到步驟S212。
如果在步驟S209確定出對(duì)于幀#n-1中像素和位于相同位置的幀#n中像素的確定結(jié)果是運(yùn)動(dòng)的話(huà)，或者如果在步驟S210確定出對(duì)于幀#n中像素和位于相同位置的幀#n+1中像素的確定結(jié)果是靜止的話(huà)，則幀#n+1中的像素不屬于覆蓋背景區(qū)域。因此，步驟S211的處理被跳過(guò)，處理前進(jìn)到步驟S212。
在步驟S212，靜止/運(yùn)動(dòng)確定部分202-1確定對(duì)于幀#n-1中像素和位于相同位置的幀#n中像素的確定結(jié)果是否是運(yùn)動(dòng)的。如果在步驟S212確定出該確定結(jié)果是運(yùn)動(dòng)的，則處理前進(jìn)到步驟S213，其中靜止/運(yùn)動(dòng)確定部分202-2確定對(duì)于幀#n中像素和位于相同位置的幀#n+1中像素的確定結(jié)果是否是靜止的。
如果在步驟S213確定出對(duì)于幀#n中像素和位于相同位置的幀#n+1中像素的確定結(jié)果是靜止的話(huà)，則處理前進(jìn)到步驟S214。在步驟S214，區(qū)域確定部分203在確定標(biāo)志存儲(chǔ)幀存儲(chǔ)器204存儲(chǔ)的幀#n-1的對(duì)應(yīng)地址中設(shè)置“01”，其表示要被處理的像素屬于未覆蓋背景區(qū)域。該處理然后前進(jìn)到步驟S215。
如果在步驟S212確定出對(duì)于幀#n-1中像素和位于相同位置的幀#n中像素的確定結(jié)果是靜止的話(huà)，或者如果在步驟S213確定出對(duì)于幀#n中像素和幀#n+1中像素的確定結(jié)果是運(yùn)動(dòng)的話(huà)，則幀#n-1中的像素不屬于未覆蓋背景區(qū)域。因此，步驟S214的處理被跳過(guò)，處理前進(jìn)到步驟S215。
在步驟S215，區(qū)域規(guī)定單元103確定所有像素的區(qū)域是否被規(guī)定。如果確定出所有像素的區(qū)域還沒(méi)有被規(guī)定，則處理返回到步驟S202，并且對(duì)剩余像素重復(fù)該區(qū)域規(guī)定處理。
如果在步驟S215確定出所有像素的區(qū)域被規(guī)定，處理前進(jìn)到步驟S216。在步驟S216，確定標(biāo)志存儲(chǔ)幀存儲(chǔ)器204輸出表示前景區(qū)域、背景區(qū)域、覆蓋背景區(qū)域或者未覆蓋背景區(qū)域的幀#n+1的標(biāo)志作為區(qū)域信息。
在步驟S217，確定標(biāo)志存儲(chǔ)幀存儲(chǔ)器204將幀#n的標(biāo)志移位到幀#n+1。
在步驟S218，確定標(biāo)志存儲(chǔ)幀存儲(chǔ)器204將幀#n-1的標(biāo)志移位到幀#n。
在步驟S219，確定標(biāo)志存儲(chǔ)幀存儲(chǔ)器204初始化幀#n-1，并且處理完成。
如以上所討論，區(qū)域規(guī)定單元103能夠產(chǎn)生區(qū)域信息，其表示幀中包含的每個(gè)像素屬于運(yùn)動(dòng)區(qū)域，靜止區(qū)域，未覆蓋背景區(qū)域，或者覆蓋背景區(qū)域的哪一個(gè)。
區(qū)域規(guī)定單元103可以將邏輯或施加到對(duì)應(yīng)于未覆蓋背景區(qū)域的區(qū)域信息和對(duì)應(yīng)于覆蓋背景區(qū)域的區(qū)域信息，以便產(chǎn)生對(duì)應(yīng)于混合區(qū)域的區(qū)域信息，然后可以產(chǎn)生由標(biāo)志構(gòu)成的區(qū)域信息，該標(biāo)志表示幀中包含的單個(gè)像素屬于運(yùn)動(dòng)區(qū)域，靜止區(qū)域，或者混合區(qū)域的哪一個(gè)。
當(dāng)對(duì)應(yīng)于前景的目標(biāo)具有紋理(texture)時(shí)，區(qū)域規(guī)定單元103能夠更精確地規(guī)定運(yùn)動(dòng)區(qū)域。
區(qū)域規(guī)定單元103能夠?qū)⒈硎具\(yùn)動(dòng)區(qū)域的區(qū)域信息作為表示前景區(qū)域的區(qū)域信息輸出，并將表示靜止區(qū)域的區(qū)域信息作為表示背景區(qū)域的區(qū)域信息輸出。
如以上所討論，區(qū)域規(guī)定單元103能夠產(chǎn)生區(qū)域信息，其表示幀中包含的每個(gè)像素屬于運(yùn)動(dòng)區(qū)域，靜止區(qū)域，未覆蓋背景區(qū)域，或者覆蓋背景區(qū)域的哪一個(gè)。區(qū)域規(guī)定單元103能夠用相對(duì)小存儲(chǔ)空間產(chǎn)生區(qū)域信息。
圖30是表示混合比率計(jì)算器104的結(jié)構(gòu)的例子的方框圖。估算混合比率處理器401通過(guò)基于輸入圖像計(jì)算覆蓋背景區(qū)域的模型來(lái)計(jì)算每個(gè)像素的估算混合比率，并將所計(jì)算的估算混合比率提供給混合比率確定部分403。
估算混合比率處理器402通過(guò)基于輸入圖像計(jì)算未覆蓋背景區(qū)域的模型來(lái)計(jì)算每個(gè)像素的估算混合比率，并將所計(jì)算的估算混合比率提供給混合比率確定部分403。
由于能夠假設(shè)對(duì)應(yīng)于前景的目標(biāo)在快門(mén)時(shí)間之內(nèi)以勻速運(yùn)動(dòng)的，屬于混合區(qū)域的像素的混合比率α展現(xiàn)出下面的特性。即，混合比率α根據(jù)像素中位置改變而線性地變化。如果像素中位置改變是一維的，則混合比率α的變化能夠被線性地表示。如果像素中位置改變是二維的，則混合比率α的變化能夠被表示在平面上。
由于一幀的周期是短的，能夠假設(shè)對(duì)應(yīng)于前景的目標(biāo)以勻速運(yùn)動(dòng)的剛體。
混合比率α的梯度在前景的快門(mén)時(shí)間之內(nèi)是反比于運(yùn)動(dòng)量v。
理想混合比率α的例子被表示在圖31中。混合區(qū)域中理想混合比率α的梯度1能夠由運(yùn)動(dòng)量v的倒數(shù)表示。
如圖31中表示，理想混合比率α具有在背景區(qū)域中為1的值，在前景區(qū)域中為0的值，并在混合區(qū)域中為大于0和小于1的值。
在圖32表示的例子中，通過(guò)使用幀#n-1中左數(shù)第七個(gè)像素的像素值P06，幀#n中左數(shù)第七個(gè)像素的像素值C06能夠由方程(4)表示。C06=B06/v+B06/v+F01/v+F02/v]]>=P06/v+P06/v+F01/v+F02/v----(4)]]>=2/v·P06+Σi=12Fi/v]]>方程(4)中，像素值C06是由混合區(qū)域中像素的像素值M表示的，而像素值P06是由背景區(qū)域中像素的像素值B表示的。即，混合區(qū)域中像素的像素值M和背景區(qū)域中像素的像素值B能夠分別由方程(5)和(6)表示。
M＝C06(5)B＝P06(6)方程(4)中，2/v相當(dāng)于混合比率α。由于運(yùn)動(dòng)量是4，幀#n中左數(shù)第七個(gè)像素的混合比率α是0.5。
如以上所討論，指定幀#n中的像素值C被認(rèn)為是混合區(qū)域中的像素值，而在幀#n之前的幀#n-1的像素值P被認(rèn)為是背景區(qū)域中的像素值。因此，表示混合比率α的方程(3)能夠由方程(7)表示C＝α·P+f (7)這里方程(7)中的f表示在指定像素中包含的前景分量之和∑iFi/v。在方程(7)中包含的變量是兩個(gè)因數(shù)，即混合比率α和前景分量之和f。
類(lèi)似地，圖33中表示出通過(guò)在時(shí)間方向擴(kuò)大其中運(yùn)動(dòng)量v是4和在未覆蓋背景區(qū)域中虛擬分割部分的數(shù)目是4之像素值而獲得的模型。
正如在覆蓋背景區(qū)域的表示中，在未覆蓋背景區(qū)域中，指定幀#n的像素值C被認(rèn)為是混合區(qū)域中的像素值，而在幀#n之后的幀#n+1的像素值N被認(rèn)為是背景區(qū)域中的像素值。因此，表示混合比率α的方程(3)能夠由方程(8)表示C＝α·N+f (8)已經(jīng)在假設(shè)背景目標(biāo)是靜止的前提下說(shuō)明了該實(shí)施例。但是，通過(guò)使用被定位對(duì)應(yīng)于背景之運(yùn)動(dòng)量v的像素的像素值，方程(4)到(8)能夠被應(yīng)用于其中背景目標(biāo)是運(yùn)動(dòng)的情況。例如現(xiàn)在假設(shè)在圖32中，對(duì)應(yīng)于背景的目標(biāo)的運(yùn)動(dòng)量v是2和虛擬分割部分的數(shù)目是2。在這種情況下，當(dāng)對(duì)應(yīng)于背景的目標(biāo)正移向圖32中的右邊時(shí)，方程(6)中背景區(qū)域像素的像素值B是由像素值P04表示。
由于方程(7)和(8)每個(gè)都包含兩個(gè)變量，在不修改方程的情況下不能夠確定混合比率α。通常，圖像具有強(qiáng)烈的空間相關(guān)性，因此，相互緊密臨近的像素幾乎具有相同的像素值。
由于前景分量具有空間強(qiáng)烈的相關(guān)性，方程被修改為使得前景分量之和f能夠從在先或者在后幀中推導(dǎo)出，由此確定混合比率α。
圖34幀#n中左數(shù)第十七像素的像素值Mc能夠由方程(9)表達(dá)。Mc=2v·B06+Σi=1112Fi/v----(9)]]>方程(9)右邊的第一項(xiàng)2/v對(duì)應(yīng)于混合比率α。通過(guò)利用隨后幀#n+1中的像素值，方程(9)右邊的第二項(xiàng)能夠由方程(10)表示。Σi=1112Fi/v=β·Σi=710Fi/v----(10)]]>通過(guò)利用前景分量的空間相關(guān)性，現(xiàn)在假設(shè)方程(11)成立。
F＝F05＝F06＝F07＝F08＝F09＝F10＝F11＝F12(11)通過(guò)利用方程(11)，方程(10)能夠被修改為方程(12)。Σi=1112Fi/v=2v·F=β·4v·F----(12)]]>結(jié)果，β能夠由方程(13)表示。
β＝2/4 (13)如果假設(shè)混合區(qū)域中的前景分量是相等的，如方程(11)表示的，因?yàn)閮?nèi)部比率，方程(14)能夠適用于混合區(qū)域中的所有像素。
β＝1-α (14)如果方程(14)成立，方程(7)能夠被展開(kāi)為方程(15)。C=α·P+f=α·P+(1-α)·Σi=γγ+v-1Fi/v=α·P+(1-α)·N----(15)]]>
類(lèi)似地，如果方程(14)成立，方程(8)能夠被展開(kāi)為方程(16)。C=α·N+f=α·N+(1-α)·Σi=γγ+v-1Fi/v=α·N+(1-α)·P----(16)]]>在方程(15)和(16)中，由于C、N和P是公知的像素值，在方程(15)和(16)中包含的變量?jī)H僅是混合比率α。方程(15)和(16)中C、N和P之間的關(guān)系被表示在圖35中。C是幀#n中指定像素的像素值，為此計(jì)算混合比率α。N是位于空間對(duì)應(yīng)于指定像素之位置的幀#n+1中像素的像素值。P是位于空間對(duì)應(yīng)于指定像素之位置的幀#n-1中像素的像素值。
因此，由于在每個(gè)方程(15)和(16)中包含一個(gè)變量，混合比率α是通過(guò)利用三幀中的像素被計(jì)算的。通過(guò)求解方程(15)和(16)來(lái)求解正確混合比率α的條件如下。在混合區(qū)域具有相同前景分量的圖像目標(biāo)中，即在前景分量是靜止時(shí)捕獲的前景的圖像目標(biāo)中，在位于對(duì)應(yīng)于前景目標(biāo)之運(yùn)動(dòng)方向的圖像目標(biāo)邊界上的連續(xù)像素的像素值，即兩倍于運(yùn)動(dòng)量v的像素的數(shù)目一定是不變的。
如以上所討論，屬于覆蓋背景區(qū)域的像素的混合比率α是通過(guò)方程(17)被計(jì)算的，屬于未覆蓋背景區(qū)域的像素的混合比率α是通過(guò)方程(18)被計(jì)算的。
α＝(C-N)/(P-N) (17)α＝(C-P)/(N-P) (18)圖36是表示估計(jì)混合比率處理器401的結(jié)構(gòu)的方框圖。幀存儲(chǔ)器421以幀為單位存儲(chǔ)了輸入圖像，并將在被作為輸入圖像而輸入的幀之后的幀提供給幀存儲(chǔ)器422和混合比率計(jì)算器423。
幀存儲(chǔ)器422以幀為單位存儲(chǔ)了輸入圖像，并將從幀存儲(chǔ)器421提供的幀之后的幀提供給混合比率計(jì)算器423。
因此，當(dāng)幀#n+1被作為輸入圖像輸入到混合比率計(jì)算器423時(shí)，幀存儲(chǔ)器421將幀#n提供給混合比率計(jì)算器423，幀存儲(chǔ)器422將幀#n-1提供給混合比率計(jì)算器423。
基于幀#n中指定像素的像素值C，位于對(duì)應(yīng)于指定像素位置之位置的幀#n+1中像素的像素值N，以及位于對(duì)應(yīng)于指定像素位置之位置的幀#n-1像素的像素值P，混合比率計(jì)算器423通過(guò)解方程(17)計(jì)算指定像素的估計(jì)混合比率和輸出所計(jì)算的估計(jì)混合比率。例如，當(dāng)背景是靜止時(shí)，基于幀#n中指定像素的像素值C，位于與指定像素相同位置的幀#n+1中像素的像素值N，以及位于與指定像素相同位置的幀#n-1像素的像素值P，混合比率計(jì)算器423計(jì)算指定像素的估計(jì)混合比率和輸出所計(jì)算的估計(jì)混合比率。
這樣，估計(jì)混合比率計(jì)算器401基于輸入圖像計(jì)算估計(jì)的混合比率，并將它提供給混合比率確定部分403。
估計(jì)混合比率計(jì)算器401通過(guò)解方程(17)計(jì)算指定像素的估計(jì)混合比率。除了估計(jì)混合比率計(jì)算器402通過(guò)解方程(18)計(jì)算指定像素的不同估計(jì)混合比率之外，估計(jì)混合比率計(jì)算器402的操作類(lèi)似于估計(jì)混合比率計(jì)算器401的操作。因此，估計(jì)混合比率計(jì)算器402的解釋被省略。
圖37表示由估計(jì)混合比率處理器401計(jì)算的估計(jì)混合比率的例子。圖37表示的估計(jì)混合比率是當(dāng)以勻速運(yùn)動(dòng)的前景目標(biāo)之運(yùn)動(dòng)量v是11時(shí)通過(guò)一條線表示的結(jié)果。
可見(jiàn)，如圖31中表示，估計(jì)混合比率在混合區(qū)域中幾乎線性地變化。
回來(lái)參考圖30，混合比率確定部分403基于從區(qū)域規(guī)定單元103提供的和表示要被計(jì)算混合比率α之像素屬于前景區(qū)域、背景區(qū)域、覆蓋背景區(qū)域或者未覆蓋背景區(qū)域之哪一個(gè)的區(qū)域信息來(lái)設(shè)置混合比率α?；旌媳嚷蚀_定部分403在對(duì)應(yīng)像素屬于前景區(qū)域時(shí)設(shè)置混合比率α為0，并在對(duì)應(yīng)像素屬于背景區(qū)域時(shí)設(shè)置混合比率α為1。在對(duì)應(yīng)像素屬于覆蓋背景區(qū)域時(shí)，混合比率確定部分403設(shè)置混合比率α為從估計(jì)混合比率處理器401提供的估計(jì)混合比率。在對(duì)應(yīng)像素屬于未覆蓋背景區(qū)域時(shí)，混合比率確定部分403設(shè)置混合比率α為從估計(jì)混合比率處理器402提供的估計(jì)混合比率?；旌媳嚷蚀_定部分403輸出已經(jīng)基于區(qū)域信息被設(shè)置的混合比率α。
圖38是表示混合比率計(jì)算器104的另一個(gè)結(jié)構(gòu)的方框圖。選擇器441基于從區(qū)域規(guī)定單元103提供的區(qū)域信息將屬于覆蓋背景區(qū)域的像素和在前后幀中的對(duì)應(yīng)像素提供給估計(jì)混合比率處理器442。選擇器441基于從區(qū)域規(guī)定單元103提供的區(qū)域信息將屬于未覆蓋背景區(qū)域的像素和在前后幀中的對(duì)應(yīng)像素提供給估計(jì)混合比率處理器443。
估計(jì)混合比率處理器442基于從選擇器441輸入的像素值通過(guò)方程(17)中表示的計(jì)算來(lái)計(jì)算屬于覆蓋背景區(qū)域之指定像素的估計(jì)混合比率，并將所計(jì)算的估計(jì)混合比率提供給選擇器444。
估計(jì)混合比率處理器443基于從選擇器441輸入的像素值通過(guò)方程(18)中表示的計(jì)算來(lái)計(jì)算屬于未覆蓋背景區(qū)域之指定像素的估計(jì)混合比率，并將所計(jì)算的估計(jì)混合比率提供給選擇器444。
基于從區(qū)域規(guī)定單元103提供的區(qū)域信息，選擇器444選擇估計(jì)的混合比率0和當(dāng)指定像素屬于前景區(qū)域時(shí)將其設(shè)置為混合比率α，以及選擇估計(jì)的混合比率1和當(dāng)指定像素屬于背景區(qū)域時(shí)將其設(shè)置為混合比率α。當(dāng)指定像素屬于覆蓋背景區(qū)域時(shí)，選擇器444選擇從估計(jì)混合比率處理器442提供的估計(jì)混合比率和將其設(shè)置為混合比率α。當(dāng)指定像素屬于未覆蓋背景區(qū)域時(shí)，選擇器444選擇從估計(jì)混合比率處理器443提供的估計(jì)混合比率和將其設(shè)置為混合比率α。選擇器444然后輸出已經(jīng)基于區(qū)域信息被選擇和設(shè)置的混合比率α。
如以上所討論，按圖38表示構(gòu)成的混合比率計(jì)算器104能夠計(jì)算圖像中包含的每個(gè)像素的混合比率α和輸出所計(jì)算的混合比率α。
下面參考圖39的流程圖討論通過(guò)按圖30表示構(gòu)成的混合比率計(jì)算器104完成的混合比率α之計(jì)算處理。在步驟S401，混合比率計(jì)算器104獲得從區(qū)域規(guī)定單元103提供的區(qū)域信息。在步驟S402，估計(jì)混合比率處理器401執(zhí)行通過(guò)使用對(duì)應(yīng)于覆蓋背景區(qū)域的模型來(lái)估計(jì)混合比率的處理，并將估計(jì)的混合比率提供給混合比率確定部分403。用于估計(jì)混合比率之處理的細(xì)節(jié)在下面參考圖40的流程圖進(jìn)行討論。
在步驟S403，估計(jì)混合比率處理器402執(zhí)行通過(guò)使用對(duì)應(yīng)于未覆蓋背景區(qū)域的模型來(lái)估計(jì)混合比率的處理，并將估計(jì)的混合比率提供給混合比率確定部分403。
在步驟404，混合比率計(jì)算器104確定對(duì)整個(gè)幀是否已經(jīng)估計(jì)了混合比率。如果確定出對(duì)整個(gè)幀還沒(méi)有估計(jì)混合比率，則處理返回步驟S402，并且用于估計(jì)隨后像素之混合比率的處理被執(zhí)行。
如果在步驟S404確定出對(duì)整個(gè)幀已經(jīng)估計(jì)了混合比率，則處理前進(jìn)到步驟S405。在步驟S405，混合比率確定部分403基于從區(qū)域規(guī)定單元103提供的和表示要被計(jì)算混合比率α之像素屬于前景區(qū)域、背景區(qū)域、覆蓋背景區(qū)域或者未覆蓋背景區(qū)域之哪一個(gè)的區(qū)域信息來(lái)設(shè)置混合比率α?；旌媳嚷蚀_定部分403在對(duì)應(yīng)像素屬于前景區(qū)域時(shí)設(shè)置混合比率α為0，并在對(duì)應(yīng)像素屬于背景區(qū)域時(shí)設(shè)置混合比率α為1。在對(duì)應(yīng)像素屬于覆蓋背景區(qū)域時(shí)，混合比率確定部分403設(shè)置混合比率α為從估計(jì)混合比率處理器401提供的估計(jì)混合比率。在對(duì)應(yīng)像素屬于未覆蓋背景區(qū)域時(shí)，混合比率確定部分403設(shè)置混合比率α為從估計(jì)混合比率處理器402提供的估計(jì)混合比率。然后處理被完成。
如以上所討論，混合比率計(jì)算器104基于從區(qū)域規(guī)定單元103提供的區(qū)域信息和輸入圖像能夠計(jì)算表示對(duì)應(yīng)于每個(gè)像素之特征質(zhì)量的混合比率α。
按圖38表示構(gòu)成的混合比率計(jì)算器104完成的用于計(jì)算混合比率α的處理是類(lèi)似于參考圖39之流程圖所討論的，其說(shuō)明因此被省略。
參考圖40的流程圖，現(xiàn)在給出在圖39的步驟S402中通過(guò)使用對(duì)應(yīng)于覆蓋背景區(qū)域的模型進(jìn)行的混合比率估計(jì)處理的說(shuō)明。
在步驟S421，混合比率計(jì)算器423從幀存儲(chǔ)器421中獲得幀#n中指定像素的像素值C。
在步驟S422，混合比率計(jì)算器423從幀存儲(chǔ)器422中獲得對(duì)應(yīng)于在輸入圖像中包含的指定像素之幀#n-1中像素的像素值P。
在步驟S423，混合比率計(jì)算器423獲得對(duì)應(yīng)于在輸入圖像中包含的指定像素之幀#n+1中像素的像素值N。
在步驟S424，混合比率計(jì)算器423基于幀#n中指定像素的像素值C，幀#n-1中像素的像素值P，并幀#n+1中像素的像素值N來(lái)計(jì)算估計(jì)混合比率。
在步驟S425，混合比率計(jì)算器423確定對(duì)整個(gè)幀是否已經(jīng)完成了用于計(jì)算估計(jì)混合比率的處理。如果確定出對(duì)整個(gè)幀還沒(méi)有完成用于計(jì)算估計(jì)混合比率的處理，則處理返回步驟S421，并且用于計(jì)算隨后像素之估計(jì)混合比率的處理被重復(fù)。
如果在步驟S425確定出用于計(jì)算整個(gè)幀的估計(jì)混合比率的處理完成了，則結(jié)束處理。
如以上所討論，估計(jì)混合比率處理器401能夠基于輸入圖像計(jì)算估計(jì)混合比率。
在圖39步驟S403中通過(guò)使用對(duì)應(yīng)于未覆蓋背景區(qū)域的模型所完成的混合比率估計(jì)處理是類(lèi)似于通過(guò)使用對(duì)應(yīng)于未覆蓋背景區(qū)域的模型所完成的由圖40之流程圖表示的處理，其說(shuō)明因此被省略。
圖38中表示的估計(jì)混合比率處理器442和估計(jì)混合比率處理器443通過(guò)實(shí)現(xiàn)類(lèi)似于圖40的流程圖的處理來(lái)計(jì)算估計(jì)混合比率，因此其解釋被省略。
已經(jīng)在假設(shè)對(duì)應(yīng)于背景的目標(biāo)是靜止的前提下說(shuō)明了實(shí)施例。但是，即使對(duì)應(yīng)于背景區(qū)域的圖像包含運(yùn)動(dòng)，也能夠應(yīng)用用于確定混合比率α的上述處理。例如，如果對(duì)應(yīng)于背景區(qū)域的圖像是均勻運(yùn)動(dòng)的，估計(jì)混合比率處理器401根據(jù)背景的運(yùn)動(dòng)來(lái)移位整個(gè)圖像，并且以類(lèi)似于其中對(duì)應(yīng)于背景的目標(biāo)是靜止的情況的方式來(lái)完成處理。如果對(duì)應(yīng)于背景區(qū)域的圖像包含局部不同的運(yùn)動(dòng)，估計(jì)混合比率處理器401選擇對(duì)應(yīng)于運(yùn)動(dòng)的像素作為屬于混合區(qū)域的對(duì)應(yīng)像素，并且執(zhí)行上述處理。
估計(jì)混合比率計(jì)算器104通過(guò)使用對(duì)應(yīng)于覆蓋背景區(qū)域的模型可以?xún)H僅執(zhí)行用于所有像素的混合比率估計(jì)處理，以便輸出所計(jì)算的估計(jì)混合比率作為混合比率α。在這種情況下，混合比率α表示用于屬于覆蓋背景區(qū)域的像素的背景分量之背景分量的比率，以及表示用于屬于未覆蓋背景區(qū)域的像素的前景分量的比率。對(duì)于屬于未覆蓋背景區(qū)域的像素，計(jì)算了在混合比率α和1之差的絕對(duì)值，并且所計(jì)算的絕對(duì)值被設(shè)置為混合比率α。然后，圖像處理設(shè)備能夠確定表示用于屬于未覆蓋背景區(qū)域的像素的背景分量的比率的混合比率α。
類(lèi)似地，混合比率計(jì)算器104通過(guò)使用對(duì)應(yīng)于未覆蓋背景區(qū)域的模型可以?xún)H僅執(zhí)行用于所有像素的混合比率估計(jì)處理，以便輸出所計(jì)算的估計(jì)混合比率作為混合比率α。
下面討論混合比率計(jì)算器104，其通過(guò)利用其中混合比率α線性變化的特征來(lái)計(jì)算混合比率α。
如以上所討論，由于方程(7)和(8)每個(gè)都包含兩個(gè)變量，因此不修改方程就不能確定該混合比率α。
由于對(duì)應(yīng)于前景的目標(biāo)以勻速運(yùn)動(dòng)的，混合比率α根據(jù)像素位置的變化而線性地變化。通過(guò)利用這個(gè)特征，其中混合比率α和前景分量之和f在空間方向是近似的方程能夠成立。通過(guò)利用屬于混合區(qū)域的像素的多組像素值和屬于背景區(qū)域的像素的像素值，其中混合比率α和前景分量之和f是近似的方程被求解。
當(dāng)混合比率α的變化被近似為直線時(shí)，混合比率α能夠由方程(19)表示。
α＝i1+p (19)在方程(19)中，i表示當(dāng)指定像素的位置被設(shè)置為0時(shí)的空間索引，1指定混合比率α直線的梯度，以及p指定混合比率α直線的截距和也表示指定像素的混合比率α。方程(19)中，索引i是已知的，梯度1和截距p是未知的。
索引i、梯度1和截距p之間的關(guān)系被表示在圖41中。圖41中，白點(diǎn)表示要被處理的像素，黑點(diǎn)表示鄰近要被處理像素的像素。
通過(guò)按方程(19)近似混合比率α，用于多個(gè)像素的多個(gè)不同混合比率α能夠由兩個(gè)變量表示。在圖41表示的例子中，用于5個(gè)像素的5個(gè)混合比率由兩個(gè)變量表示，即梯度1和截距p。
當(dāng)混合比率α被近似在圖42表示的平面中時(shí)，通過(guò)考慮對(duì)應(yīng)于兩個(gè)方向即圖像的水平方向和垂直方向的運(yùn)動(dòng)v，方程(19)被擴(kuò)展到該平面，并且混合比率α能夠由方程(20)表示。
α＝j(luò)m+kq+p (20)在方程(20)中，當(dāng)指定像素的位置是0時(shí)，j是水平方向的索引，k是垂直方向的索引。方程(20)中，m指定平面中混合比率α的水平梯度，q指定平面中混合比率α的垂直梯度。方程(20)中，p指定平面中混合比率α的截距。
例如，在圖32表示的在幀#n中，方程(21)到(23)對(duì)于C05到C07也分別成立。
C05＝α05·B05/v+f05(21)C06＝α06·B06/v+f06(22)C07＝α07·B07/v+f07(23)假設(shè)位于相互緊密靠近的前景分量是相互相等的，即F01到F03是相等的，通過(guò)用fc替換F01到F03方程(24)成立。
f(x)＝(1-α(x))·fc (24)方程(24)中，x表示空間方向的位置。
當(dāng)α(x)被方程(20)代替時(shí)，方程(24)能夠由方程(25)表示。
f(x)＝(1-(jm+kq+p))·fc＝j(luò)·(-m·Fc)+k·(-q·Fc)+((1-p)·Fc)＝j(luò)s+kt+u (25)在方程(25)中，(-m·Fc)，(-q·Fc)，并(1-p)·Fc分別按方程(26)到(28)所表示的替換。
s＝-m·Fc (26)t＝-q·Fc (27)u＝(1-p)·Fc (28)在方程(25)中，當(dāng)指定像素的位置是0時(shí)，j是水平方向的索引，k是垂直方向的索引。
如以上所討論，由于能夠假設(shè)對(duì)應(yīng)于前景的目標(biāo)在快門(mén)周期之內(nèi)以勻速運(yùn)動(dòng)的，以及位于相互緊密靠近的前景分量是均勻的，前景分量之和能夠由方程(25)近似。
當(dāng)混合比率α由直線近似時(shí)，前景分量之和能夠由方程(29)表示。
f(x)＝is+u(29)通過(guò)使用方程(20)和(25)代替方程(9)中的混合比率α和前景分量之和，像素值M能夠由方程(30)表示。
M＝(jm+kq+p)·B+js+kt+u＝j(luò)B·m+kB·q+B·p+j·s+k·t+u(30)在方程(30)中，未知變量是六系數(shù)，諸如平面中混合比率α的水平梯度m，平面中混合比率α的垂直梯度q，以及平1中混合比率α的截距，p，s，t和u。
像素值M和像素值B根據(jù)靠近指定像素的像素在法方程30中被設(shè)置，然后，其中像素值M和像素值B被設(shè)置的多個(gè)法方程是通過(guò)最小二乘方方法求解的，由此計(jì)算混合比率α。
現(xiàn)在假設(shè)例如指定像素的水平索引j被設(shè)置為0，指定像素的垂直索引k被設(shè)置為0。在這種情況下，當(dāng)對(duì)于位于臨近指定像素的3×3像素來(lái)說(shuō)像素值M或者像素值B在由方程(30)表示的法方程中被設(shè)置時(shí)，得到方程(31)到方程(39)。
M-1，-1＝(-1)·B-1，-1·m+(-1)B-1，-1·q+B-1，-1·p+(-1)·s+(-1)·t+u(31)M0，-1＝(0)·B0，-1·m+(-1)B0，-1·q+B0，-1·p+(0)·s+(-1)·t+u (32)M+1，-1＝(+1)·B+1，-1·m+(-1)B+1，-1·q+B+1，-1·p+(+1)·s+(-1)·t+u(33)M-1，0＝(-1)·B-1，0·m+(0)B-1，0·q+B-1，0·p+(-1)·s+(0)·t+u (34)M0，0＝(0)·B0，0·m+(0)B0，0·q+B0，0·p+(0)·s+(0)·t+u(35)M+1，0＝(+1)·B+1，0·m+(0)B+1，0·q+B+1，0·p+(+1)·s+(0)·t+u (36)M-1，+1＝(-1)·B-1，+1·m+(+1)B-1，+1·q+B-1，+1·p+(-1)·s+(+1)·t+u(37)
M0，+1＝(0)·B0，+1·m+(+1)B0，+1·q+B0，+1·p+(0)·s+(+1)·t+u (38)M+1，+1＝(+1)·B+1，+1·m+(+1)B+1，+1·q+B+1，+1·p+(+1)·s+(+1)·t+u(39)由于指定像素的水平索引j是0，以及指定像素的垂直索引k是0，指定像素的混合比率α等于當(dāng)方程(20)中j是0和k是0時(shí)的值，即混合比率α等于方程(20)中的截距p。
因此，基于該9個(gè)方程，即方程(31)到(39)，水平梯度m，垂直梯度q，以及截距p，s，t和u通過(guò)最小二乘方方法計(jì)算，并且截距p被作為混合比率α輸出。
通過(guò)應(yīng)用最小二乘法用于計(jì)算混合比率α的具體處理如下。
當(dāng)索引i和索引k是由單個(gè)索引x表示時(shí)，索引i、索引k和索引x之間的關(guān)系能夠由方程(40)表示。
X＝(j+1)·3+(k+1) (40)現(xiàn)在假設(shè)水平梯度m，垂直梯度q，以及截距p、s、t和u分別由變量w0、w1、w2、w3、w4和w5表示，以及jB、kB、B、j、k和1分別由a0、a1、a2、a3、a4和a5表示?？紤]誤差ex，方程(31)到(39)能夠被修改為方程(41)。Mx=Σy=05ay·wy+ex----(41)]]>方程(41)中，x是從0到8整數(shù)的任何一個(gè)。
從方程(41)能夠找到方程(42)。ex=Mx-Σy=05ay·wy----(42)]]>由于應(yīng)用了最小二乘方方法，誤差的平方之和E被定義如下，如方程(43)中表示。E=Σx=08ex2----(43)]]>為了最小化該誤差，變量Wv關(guān)于誤差的平方之和E的偏微分值應(yīng)當(dāng)是0。V是從0到5整數(shù)的任何一個(gè)。因此，wy被確定為滿(mǎn)足方程(44)。∂E∂Wv=2·Σx=08ex·∂ex∂Wv=2·Σx=08ex·av=0----(44)]]>通過(guò)將方程(42)代入方程(44)，得到方程(45)。Σx=08(αv·Σv=05ay·Wy)=Σx=08av·Mx----(45)]]>例如，消去法(Gauss-Jordan消去法)被應(yīng)用到由六個(gè)方程構(gòu)成的法方程，該六個(gè)方程是通過(guò)將從0到5的一個(gè)整數(shù)替換方程(45)中的v而得到的，由此獲得wy。如以上所討論，w0是水平梯度m，w1是垂直梯度q，w2是截距p，w3是s，w4是t，以及w5是u。
如以上所討論，通過(guò)將最小二乘方方法應(yīng)用到其中像素值M和像素值B被設(shè)置的方程中，能夠確定水平梯度m，垂直梯度q，以及截距p，s，t和u。
已經(jīng)通過(guò)假設(shè)在混合區(qū)域中包含的像素的像素值是M，在背景區(qū)域中包含的像素的像素值是B，參考方程(31)到(39)給出了說(shuō)明。在這種情況下，對(duì)指定像素包含在覆蓋背景區(qū)域或者指定像素包含在未覆蓋背景區(qū)域中的每一種情況，設(shè)置法方程是必須的。
例如，如果在圖32表示的幀#n的覆蓋背景區(qū)域中包含的像素的混合比率α被確定，幀#n中像素的C04到C08和幀#n-1中像素的像素值P04到P08在法方程中被設(shè)置。
如果在圖33表示的幀#n的未覆蓋背景區(qū)域中包含的像素的混合比率α被確定，幀#n中像素的C28到C32和幀#n+1中像素的像素值N28到N32在法方程中被設(shè)置。
而且，如果例如在圖43表示的覆蓋背景區(qū)域中包含的像素的混合比率α被計(jì)算，則下面的方程(46)到(54)被設(shè)置。圖43中，白色點(diǎn)表示背景的像素，黑色點(diǎn)表示混合區(qū)域的像素。混合比率α被計(jì)算的像素的像素值是Mc5。
Mc1＝(-1)·Bc1·m+(-1)·Bc1·q+Bc1·p+(-1)·s+(-1)·t+u(46)Mc2＝(0)·Bc2·m+(-1)·Bc2·q+Bc2·p+(0)·s+(-1)·t+u (47)Mc3＝(+1)·Bc3·m+(-1)·Bc3·q+Bc3·p+(-1)·s+(-1)·t+u(48)Mc4＝(-1)·Bc4·m+(0)·Bc4·q+Bc4·p+(-1)·s+(0)·t+u (49)Mc5＝(0)·Bc5·m+(0)·Bc5·q+Bc5·p+(0)·s+(0)·t+u(50)Mc6＝(+1)·Bc6·m+(0)·Bc6·q+Bc6·p+(+1)·s+(0)·t+u (51)
Mc7＝(-1)·Bc7·m+(+1)·Bc7·q+Bc7·p+(-1)·s+(+1)·t+u(52)Mc8＝(0)·Bc8·m+(+1)·Bc8·q+Bc8·p+(0)·s+(+1)·t+u (53)Mc9＝(+1)·Bc9·m+(+1)·Bc9·q+Bc9·p+(+1)·s+(+1)·t+u(54)當(dāng)幀#n覆蓋背景區(qū)域中包含的像素的混合比率α被計(jì)算，使用分別對(duì)應(yīng)于幀#n中像素的方程(46)到(54)中幀#n-1背景區(qū)域的像素的像素值Bc1到Bc9。
如果例如在圖43表示的未覆蓋背景區(qū)域中包含的像素的混合比率α被計(jì)算，則下面的方程(55)到(63)被設(shè)置?；旌媳嚷师帘挥?jì)算的像素的像素值是Mu5。
Mu1＝(-1)·Bu1·m+(-1)·Bu1·q+Bu1·p+(-1)·s+(-1)·t+u(55)Mu2＝(0)·Bu2·m+(-1)·Bu2·q+Bu2·p+(0)·s+(-1)·t+u (56)Mu3＝(+1)·Bu3·m+(-1)·Bu3·q+Bu3·p+(+1)·s+(-1)·t+u(57)Mu4＝(-1)·Bu4·m+(0)·Bu4·q+Bu4·p+(-1)·s+(0)·t+u (58)Mu5＝(0)·Bu5·m+(0)·Bu5·q+Bu5·p+(0)·s+(0)·t+u(59)Mu6＝(+1)·Bu6·m+(0)·Bu6·q+Bu6·p+(+1)·s+(0)·t+u (60)Mu7＝(-1)·Bu7·m+(+1)·Bu7·q+Bu7·p+(-1)·s+(+1)·t+u(61)Mu8＝(0)·Bu8·m+(+1)·Bu8·q+Bu8·p+(0)·s+(+1)·t+u (62)Mu9＝(+1)·Bu9·m+(+1)·Bu9·q+Bu9·p+(+1)·s+(+1)·t+u(63)當(dāng)幀#n未覆蓋背景區(qū)域中包含的像素的混合比率α被計(jì)算時(shí)，使用分別對(duì)應(yīng)于幀#n中像素的方程(55)到(63)中幀#n+1背景區(qū)域的像素的像素值Bu1到Bu9。
圖44是表示估計(jì)混合比率處理器401的結(jié)構(gòu)的方框圖。輸入到估計(jì)混合比率處理器401的圖像提供給延遲電路501和加法器502。
延遲電路501延遲輸入圖像一幀，并將圖像提供給加法器502。當(dāng)幀#n被作為輸入圖像提供給加法器502時(shí)，延遲電路501將幀#n-1提供給加法器502。
加法器502設(shè)置靠近混合比率α被計(jì)算的像素的像素的像素值，以及法方程中幀#n-1的像素值。例如，基于方程(46)到(54)，加法器502分別設(shè)置像素值Mc1到Mc9，以及法方程中像素值Bc1到Bc9。加法器502將其中像素值被設(shè)置的法方程提供給計(jì)算器503。
計(jì)算器503通過(guò)利用例如消去法求解從加法器502提供的法方程來(lái)確定估計(jì)混合比率和輸出確定的估計(jì)混合比率。
這樣，估計(jì)混合比率處理器401能夠基于輸入圖像計(jì)算估計(jì)混合比率和將它提供給混合比率確定部分403。
估計(jì)混合比率處理器402被構(gòu)成為類(lèi)似于估計(jì)混合比率處理器401，其解釋因此省略。
圖45表示由估計(jì)混合比率處理器401計(jì)算的估計(jì)混合比率的例子。圖45中表示的估計(jì)混合比率是由一條線表示的和當(dāng)對(duì)應(yīng)于以不變速度運(yùn)動(dòng)的目標(biāo)的前景運(yùn)動(dòng)v是11時(shí)通過(guò)完成以7×7像素塊為單位通過(guò)產(chǎn)生方程的計(jì)算而獲得的結(jié)果。
估計(jì)混合比率在混合區(qū)域中幾乎線性地改變，如圖44中表示。
現(xiàn)在參考圖46的流程圖，給出混合比率估計(jì)處理的說(shuō)明，其是通過(guò)使用圖44中表示的覆蓋背景區(qū)域的模型由估計(jì)混合比率處理器401完成的。
在步驟S521中，加法器502設(shè)置在輸入圖像中包含的像素值和在對(duì)應(yīng)于覆蓋背景區(qū)域的模型在法方程中從延遲電路501提供的圖像中包含的像素值。
在步驟S522，估計(jì)混合比率處理器401確定目標(biāo)像素的設(shè)置是否被完成。如果確定出目標(biāo)像素的設(shè)置沒(méi)有被完成，處理返回到步驟S521，并且重復(fù)用于設(shè)置法方程中像素值的處理。
如果在步驟S522確定出目標(biāo)像素的設(shè)置被完成，處理前進(jìn)到步驟S523。在步驟S523，計(jì)算器503基于其中像素值被設(shè)置的法方程來(lái)計(jì)算估計(jì)混合比率和輸出所計(jì)算的混合比率。
如以上所討論，圖44中表示的估計(jì)混合比率處理器401能夠基于輸入圖像計(jì)算估計(jì)混合比率。
通過(guò)使用對(duì)應(yīng)于未覆蓋背景區(qū)域的模型所完成的混合比率估計(jì)處理類(lèi)似于通過(guò)使用對(duì)應(yīng)于未覆蓋背景區(qū)域的模型的法方程所完成的由圖46之流程圖表示的處理，其說(shuō)明因此被省略。
已經(jīng)在假設(shè)對(duì)應(yīng)于背景的目標(biāo)是靜止的前提下說(shuō)明了實(shí)施例。但是，即使對(duì)應(yīng)于背景區(qū)域的圖像包含運(yùn)動(dòng)，也能夠應(yīng)用上述的混合比率計(jì)算處理。例如，如果對(duì)應(yīng)于背景區(qū)域的圖像是均勻運(yùn)動(dòng)的，估計(jì)混合比率處理器401根據(jù)這個(gè)運(yùn)動(dòng)來(lái)移位整個(gè)圖像，并且以類(lèi)似于其中對(duì)應(yīng)于背景的目標(biāo)是靜止的情況的方式來(lái)完成處理。如果對(duì)應(yīng)于背景區(qū)域的圖像包含局部不同的運(yùn)動(dòng)，估計(jì)混合比率處理器401選擇對(duì)應(yīng)于運(yùn)動(dòng)的像素作為屬于混合區(qū)域的像素，并且執(zhí)行上述處理。
如以上所討論，混合比率計(jì)算器102基于從區(qū)域規(guī)定單元101提供的區(qū)域信息和輸入圖像能夠計(jì)算作為對(duì)應(yīng)于每個(gè)像素之特征數(shù)量的混合比率α。
通過(guò)使用混合比率α，有可能分離像素值中包含的前景分量和背景分量，同時(shí)保持在對(duì)應(yīng)于運(yùn)動(dòng)目標(biāo)的圖像中包含的運(yùn)動(dòng)模糊的信息。
如果圖像基于混合比率α被合成，有可能建立包含運(yùn)動(dòng)模糊的圖像，其匹配于運(yùn)動(dòng)目標(biāo)的速度和如實(shí)反映真實(shí)世界。
下面討論前景/背景分離器105。圖47是表示前景/背景分離器105結(jié)構(gòu)的例子的方框圖。從前景/背景分離器105提供的輸入圖像提供給分離部分601，開(kāi)關(guān)602和開(kāi)關(guān)604。從區(qū)域規(guī)定單元103提供的和表示覆蓋背景區(qū)域和未覆蓋背景區(qū)域之信息的區(qū)域信息提供給分離部分601。表示前景區(qū)域的區(qū)域信息提供給開(kāi)關(guān)602。表示背景區(qū)域的區(qū)域信息提供給開(kāi)關(guān)604。
從混合比率計(jì)算器104提供的混合比率α提供給分離部分601。
分離部分601基于表示覆蓋背景區(qū)域的區(qū)域信息，表示未覆蓋背景區(qū)域的區(qū)域信息和混合比率α將前景分量從輸入圖像中分離和將所分離的前景分量提供給合成器603。分離部分601也將背景分量從輸入圖像中分離和將所分離的背景分量提供給合成器605。
開(kāi)關(guān)602在對(duì)應(yīng)于前景的像素被基于表示前景區(qū)域的區(qū)域信息輸入時(shí)被關(guān)閉，并僅僅將輸入圖像中包含的對(duì)應(yīng)于前景的像素提供給合成器603。
開(kāi)關(guān)604在對(duì)應(yīng)于背景的像素被基于表示背景區(qū)域的區(qū)域信息輸入時(shí)被關(guān)閉，并僅僅將輸入圖像中包含的對(duì)應(yīng)于背景的像素提供給合成器605。
合成器603基于從分離部分601提供的前景分量和對(duì)應(yīng)于從開(kāi)關(guān)602提供的前景之像素來(lái)合成前景分量圖像，并且輸出所合成的前景分量圖像。由于前景區(qū)域和混合區(qū)域不重疊，合成器603例如將邏輯或施加到前景分量和前景像素，由此合成前景分量圖像。
在啟動(dòng)針對(duì)前景分量圖像的合成處理開(kāi)始時(shí)執(zhí)行的處理中，合成器603在內(nèi)置幀存儲(chǔ)器中存儲(chǔ)其像素值是全部0的圖像。然后，在用于前景分量圖像的合成處理中，合成器603存儲(chǔ)前景分量圖像(通過(guò)前景分量圖像重寫(xiě)在先圖像)。因此，在對(duì)應(yīng)于從合成器603輸出的前景分量圖像的背景區(qū)域的像素中存儲(chǔ)0。
合成器605基于從分離部分601提供的背景分量和對(duì)應(yīng)于從開(kāi)關(guān)604提供的背景之像素來(lái)合成背景分量圖像，并且輸出所合成的背景分量圖像。由于背景區(qū)域和混合區(qū)域不重疊，合成器605例如將邏輯或施加到背景分量和背景像素，由此合成背景分量圖像。
在啟動(dòng)針對(duì)背景分量圖像的合成處理開(kāi)始時(shí)執(zhí)行的處理中，合成器605在內(nèi)置幀存儲(chǔ)器中存儲(chǔ)其像素值是全部0的圖像。然后，在用于背景分量圖像的合成處理中，合成器605存儲(chǔ)背景分量圖像(通過(guò)背景分量圖像重寫(xiě)在先圖像)。因此，在對(duì)應(yīng)于從合成器605輸出的背景分量圖像的前景區(qū)域的像素中存儲(chǔ)0。
圖48A表示被輸入到前景/背景分離器105的輸入圖像，以及從前景/背景分離器105輸出的前景分量圖像和背景分量圖像。圖48B表示被輸入到前景/背景分離器105的輸入圖像以及從前景/背景分離器105輸出的前景分量圖像和背景分量圖像的模型。
圖48A是要被顯示的圖像的示意圖，圖48B是其中對(duì)應(yīng)于圖48A表示的圖像和包含屬于前景區(qū)域的像素，屬于背景區(qū)域的像素，并屬于混合區(qū)域的像素之一條線的像素在時(shí)間方向上被擴(kuò)大的模型。
如圖48A和48B中表示，從前景/背景分離器105輸出的背景分量圖像由屬于背景區(qū)域的像素和在混合區(qū)域的像素中包含的背景分量構(gòu)成。
如圖48A和48B中表示，從前景/背景分離器105輸出的前景分量圖像由屬于前景區(qū)域的像素和在混合區(qū)域的像素中包含的前景分量構(gòu)成。
混合區(qū)域中像素的像素值通過(guò)前景/背景分離器105被分離成背景分量和前景分量。所分離的背景分量與屬于背景區(qū)域的像素一起形成背景分量圖像。所分離的前景分量與屬于前景區(qū)域的像素一起形成前景分量圖像。
如以上所討論，在前景分量圖像中，對(duì)應(yīng)于背景區(qū)域的像素的像素值被設(shè)置為0，有效像素值被設(shè)置在對(duì)應(yīng)于前景區(qū)域的像素中和對(duì)應(yīng)于混合區(qū)域的像素中。類(lèi)似地，在背景分量圖像中，對(duì)應(yīng)于前景區(qū)域的像素的像素值被設(shè)置為0，有效像素值被設(shè)置在對(duì)應(yīng)于背景區(qū)域的像素中和對(duì)應(yīng)于混合區(qū)域的像素中。
下面給出說(shuō)明由分離部分601執(zhí)行的處理，其用于從屬于混合區(qū)域中分離前景分量和背景分量。
圖49表示在包括從圖49左邊運(yùn)動(dòng)到右邊的前景目標(biāo)的兩幀中說(shuō)明前景分量和背景分量的圖像的模型。在圖49表示的圖像的模型中，運(yùn)動(dòng)量v是4，虛擬分割部分的數(shù)目是4。
在幀#n中，左數(shù)最左邊像素和第十四到十八像素僅僅由背景分量構(gòu)成和屬于背景區(qū)域。在幀#n中，左數(shù)第二到第四像素包含背景分量和前景分量，并且屬于未覆蓋背景區(qū)域。在幀#n中，左數(shù)第十一到第十三像素包含背景分量和前景分量，并且屬于覆蓋背景區(qū)域。在幀#n中，左數(shù)第五到第十像素僅僅由前景分量構(gòu)成和屬于前景區(qū)域。
在幀#n+1中，左數(shù)第一到第五像素和左數(shù)第十八像素僅僅由背景分量構(gòu)成和屬于背景區(qū)域。在幀#n+1中，左數(shù)第六到第八像素包含背景分量和前景分量，并且屬于未覆蓋背景區(qū)域。在幀#n+1中，左數(shù)第十五到第十七像素包含背景分量和前景分量，并且屬于覆蓋背景區(qū)域。在幀#n+1中，左數(shù)第九到第十四像素僅僅由前景分量構(gòu)成和屬于前景區(qū)域。
圖50表示用于從屬于覆蓋背景區(qū)域的像素中分離前景分量的處理。圖50中，α1到α18表示幀#n的單獨(dú)像素的混合比率。圖50中，左數(shù)第十五到第十七像素屬于覆蓋背景區(qū)域。
幀#n中左數(shù)第十五像素的像素值C15能夠由方程(64)表示。
C15＝B15/v+F09/v+F08/v+F07/v＝α15·B15+F09/v+F08/v+F07/v＝α15·P15+F09/v+F08/v+F07/v(64)這里α15表示幀#n的左數(shù)第十五像素的混合比率。P15指定幀#n-1的左數(shù)第十五像素的像素值。
幀#n的左數(shù)第十五像素的前景分量之和f15能夠由基于方程(64)的方程(65)表示。
f15＝F09/v+F08/v+F07/v＝C15-α15·P15 (65)類(lèi)似地，幀#n的左數(shù)第十六像素的前景分量之和f16能夠由方程(66)表示，幀#n的左數(shù)第十七像素的前景分量之和f17能夠由方程(67)表示。
f16＝C16-α16·P16(66)f17＝C17-α17·P17(67)這樣，在屬于覆蓋背景區(qū)域的像素的像素值C中包含的前景分量fc能夠由方程(68)表示
fc＝C-α·P (68)這里，P指定在先幀中對(duì)應(yīng)像素的像素值。
圖51表示用于從屬于未覆蓋背景區(qū)域的像素中分離前景分量的處理。圖51中，α1到α18表示幀#n的單獨(dú)像素的混合比率。圖51中，左數(shù)第二到第四像素屬于未覆蓋背景區(qū)域。
幀#n中左數(shù)第二像素的像素值C02能夠由方程(69)表示。
C02＝B02/v+B02/v+B02/v+F01/v＝α2·B02+F01/v＝α2·N02+F01/v(69)這里α2表示幀#n的左數(shù)第二像素的混合比率。N02指定幀#n+1的左數(shù)第二像素的像素值。
幀#n的左數(shù)第二像素的前景分量之和f02能夠由基于方程(69)的方程(70)表示。
f02＝F01/v＝C02-α2·N02 (70)類(lèi)似地，幀#n的左數(shù)第三像素的前景分量之和f03能夠由方程(71)表示，幀#n的左數(shù)第四像素的前景分量之和f04能夠由方程(72)表示。
f03＝C03-α3·N03 (71)f04＝C04-α4·N04 (72)這樣，在屬于未覆蓋背景區(qū)域的像素的像素值C中包含的前景分量fu能夠由方程(73)表示fu＝C-αN(73)這里，N指定后續(xù)幀中對(duì)應(yīng)像素的像素值。
如以上所討論，基于在區(qū)域信息中包含的表示覆蓋背景區(qū)域的信息和表示未覆蓋背景區(qū)域的信息以及每個(gè)像素的混合比率α，分離部分601能夠從屬于混合區(qū)域的像素中分離前景分量和從屬于混合區(qū)域的像素中分離背景分量。
圖52是表示用于執(zhí)行上述處理的分離部分601之結(jié)構(gòu)的例子的方框圖。被輸入到分離部分601的圖像提供給幀存儲(chǔ)器621，表示從混合比率計(jì)算器104提供的覆蓋背景區(qū)域和未覆蓋背景區(qū)域的區(qū)域信息以及混合比率α提供給分離處理塊622。
幀存儲(chǔ)器621以幀為單位存儲(chǔ)輸入圖像。當(dāng)要被處理的幀是幀#n時(shí)，幀存儲(chǔ)器621存儲(chǔ)作為幀#n之前一幀#n-1，幀#n以及作為幀#n之后一幀#n+1。
幀存儲(chǔ)器621將幀#n-1，幀#n和幀#n+1中對(duì)應(yīng)像素提供給分離處理塊622。
分離處理塊622基于表示覆蓋背景區(qū)域和未覆蓋背景區(qū)域的區(qū)域信息以及混合比率α將參考圖50和51討論的計(jì)算施加到從幀存儲(chǔ)器621提供的幀#n-1，幀#n和幀#n+1中對(duì)應(yīng)像素的像素值，以便從屬于幀#n混合區(qū)域的像素中分離前景分量和背景分量，并且將它們提供給幀存儲(chǔ)器623。
分離處理塊622由未覆蓋區(qū)域處理器631、覆蓋區(qū)域處理器632、合成器633和合成器634形成。
未覆蓋區(qū)域處理器631的乘法器641將從幀存儲(chǔ)器621提供的幀#n+1中像素的像素值乘以混合比率α，并將所得像素值輸出到開(kāi)關(guān)642。在從幀存儲(chǔ)器621提供的(對(duì)應(yīng)于幀#n+1中像素)的幀#n的像素屬于未覆蓋背景區(qū)域時(shí)開(kāi)關(guān)642被關(guān)閉，并且將從乘法器641提供的用混合比率α相乘的像素值提供給計(jì)算器643和合成器634。通過(guò)將幀#n+1中像素的像素值乘以從開(kāi)關(guān)642輸出的混合比率α所獲得的值是與幀#n中對(duì)應(yīng)像素的像素值的背景分量相等的。
計(jì)算器643將從開(kāi)關(guān)642提供的背景分量與從幀存儲(chǔ)器621提供的幀#n中像素的像素值相減，以便獲得前景分量。計(jì)算器643將屬于未覆蓋背景區(qū)域的幀#n中像素的前景分量提供給合成器633。
覆蓋區(qū)域處理器632的乘法器651將從幀存儲(chǔ)器621提供的幀#n-1中像素的像素值乘以混合比率α，并將所得像素值輸出到開(kāi)關(guān)652。在從幀存儲(chǔ)器621提供的(對(duì)應(yīng)于幀#n-1中像素)的幀#n的像素屬于覆蓋背景區(qū)域時(shí)開(kāi)關(guān)652被關(guān)閉，并且將從乘法器651提供的用混合比率α相乘的像素值提供給計(jì)算器653和合成器634。通過(guò)將幀#n-1中像素的像素值乘以從開(kāi)關(guān)652輸出的混合比率α所獲得的值是與幀#n中對(duì)應(yīng)像素的像素值的背景分量相等的。
計(jì)算器653將從開(kāi)關(guān)652提供的背景分量與從幀存儲(chǔ)器621提供的幀#n中像素的像素值相減，以便獲得前景分量。計(jì)算器653將屬于覆蓋背景區(qū)域的幀#n中像素的前景分量提供給合成器633。
合成器633將屬于未覆蓋背景區(qū)域和從計(jì)算器643提供的像素的前景分量與屬于覆蓋背景區(qū)域和從計(jì)算器653提供的像素的前景分量合成，并且將合成的前景分量提供給幀存儲(chǔ)器623。
合成器634將屬于未覆蓋背景區(qū)域和從開(kāi)關(guān)642提供的像素的背景分量與屬于覆蓋背景區(qū)域和從開(kāi)關(guān)652提供的像素的背景分量合成，并且將合成的背景分量提供給幀存儲(chǔ)器623。
幀存儲(chǔ)器623存儲(chǔ)從分離處理塊622提供的幀#n混合區(qū)域中像素的前景分量和背景分量。
幀存儲(chǔ)器623輸出所存儲(chǔ)的幀#n混合區(qū)域中像素的前景分量和所存儲(chǔ)的幀#n混合區(qū)域中像素的背景分量。
通過(guò)利用表示特征數(shù)量的混合比率α，在像素值中包含的前景分量和背景分量能夠被完全地分離。
合成器603將從分離部分601輸出的幀#n混合區(qū)域中像素的前景分量與屬于前景區(qū)域的像素合成，以便產(chǎn)生前景分量圖像。合成器605將從分離部分601輸出的幀#n混合區(qū)域中像素的背景分量與屬于背景區(qū)域的像素合成，以便產(chǎn)生背景分量圖像。
圖53A表示對(duì)應(yīng)于圖49中幀#n的前景分量圖像的例子。左數(shù)最左邊像素和第十四像素在前景和背景被分離之前僅僅由背景分量構(gòu)成，因此，像素值被設(shè)置為0。
左數(shù)第二和第十四像素在前景和背景被分離之前屬于未覆蓋背景區(qū)域。因此，背景分量被設(shè)置為0，并且前景分量被保持。左數(shù)第十一和第十三像素在前景和背景被分離之前屬于覆蓋背景區(qū)域。因此，背景分量被設(shè)置為0，并且前景分量被保持。左數(shù)第五到第十像素僅僅由前景分量構(gòu)成，其因此被保持。
圖53B表示對(duì)應(yīng)于圖49中幀#n的背景分量圖像的例子。左數(shù)最左邊像素和第十四像素在前景和背景被分離之前僅僅由背景分量構(gòu)成，因此，背景分量被保持。
左數(shù)第二到第四像素在前景和背景被分離之前屬于未覆蓋背景區(qū)域。因此，前景分量被設(shè)置為0，并且背景分量被保持。左數(shù)第十一和第十三像素在前景和背景被分離之前屬于覆蓋背景區(qū)域。因此，前景分量被設(shè)置為0，并且背景分量被保持。左數(shù)第五到第十像素僅僅由前景分量構(gòu)成，因此，像素值被設(shè)置為0。
下面參考圖54的流程圖說(shuō)明用于通過(guò)前景/背景分離器105執(zhí)行的分離前景和后景的處理。在步驟S601，分離部分601的幀存儲(chǔ)器621獲得輸入圖像和存儲(chǔ)分離了前景和后景的幀#n，以及在先幀#n-1和隨后幀#n+1。
在步驟S602，分離部分601的分離處理塊622獲得從混合比率計(jì)算器104提供的區(qū)域信息。在步驟S603，分離部分601的分離處理塊622獲得從混合比率計(jì)算器104提供的混合比率α。
在步驟S604，未覆蓋區(qū)域處理器631基于區(qū)域信息和混合比率α，從幀存儲(chǔ)器621提供的屬于未覆蓋背景區(qū)域的像素的像素值中提取背景分量。
在步驟S605，未覆蓋區(qū)域處理器631基于區(qū)域信息和混合比率α，從幀存儲(chǔ)器621提供的屬于未覆蓋背景區(qū)域的像素的像素值中提取前景分量。
在步驟S606，覆蓋區(qū)域處理器632基于區(qū)域信息和混合比率α，從幀存儲(chǔ)器621提供的屬于覆蓋背景區(qū)域的像素的像素值中提取背景分量。
在步驟S607，覆蓋區(qū)域處理器632基于區(qū)域信息和混合比率α，從幀存儲(chǔ)器621提供的屬于覆蓋背景區(qū)域的像素的像素值中提取前景分量。
在步驟S608，合成器633將在步驟S605處理中提取的屬于未覆蓋背景區(qū)域的像素的前景分量與在步驟S607處理中提取的屬于覆蓋背景區(qū)域的像素的前景分量合成。合成的前景分量提供給合成器603。合成器603還將通過(guò)開(kāi)關(guān)602提供的屬于前景區(qū)域的像素與從分離部分601提供的前景分量合成，以便產(chǎn)生前景分量圖像。
在步驟S609，合成器634將在步驟S604處理中提取的屬于未覆蓋背景區(qū)域的像素的背景分量與在步驟S606處理中提取的屬于覆蓋背景區(qū)域的像素的背景分量合成。合成的背景分量提供給合成器605。合成器605還將通過(guò)開(kāi)關(guān)604提供的屬于背景區(qū)域的像素與從分離部分601提供的背景分量合成，以便產(chǎn)生背景分量圖像。
在步驟S610，合成器603輸出前景分量圖像。在步驟S611，合成器605輸出背景分量圖像。然后處理完成。
如以上所討論，前景/背景分離器105基于區(qū)域信息和混合比率α能夠從輸入圖像中分離前景分量和背景分量，并且輸出僅僅由前景分量構(gòu)成的前景分量圖像和僅僅由背景分量構(gòu)成的背景分量圖像。
下面說(shuō)明前景分量運(yùn)動(dòng)模糊量的調(diào)節(jié)。
圖55是表示運(yùn)動(dòng)模糊調(diào)節(jié)單元106結(jié)構(gòu)的例子的方框圖。從運(yùn)動(dòng)檢測(cè)器102提供的運(yùn)動(dòng)矢量和其位置信息提供給處理單位確定部分801和模型形成部分802，以及計(jì)算器805。從區(qū)域規(guī)定單元103提供的區(qū)域信息提供給處理單位確定部分801。從前景/背景分離器105提供的前景分量圖像提供給加法器804。
處理單位確定部分801產(chǎn)生基于運(yùn)動(dòng)矢量和其位置信息以及區(qū)域信息的處理單位，并且將所產(chǎn)生的處理單位提供給模型形成部分802和加法器804。
如圖56中A表示的，例如，由處理單位確定部分801產(chǎn)生的處理單位表示從對(duì)應(yīng)于前景分量圖像的覆蓋背景區(qū)域的像素開(kāi)始、直到對(duì)應(yīng)于未覆蓋背景區(qū)域的像素為止在運(yùn)動(dòng)方向上布置的連續(xù)像素，或者表示從對(duì)應(yīng)于未覆蓋背景區(qū)域的像素開(kāi)始、直到對(duì)應(yīng)于覆蓋背景區(qū)域的像素為止在運(yùn)動(dòng)方向上布置的連續(xù)像素。處理單位是由兩塊數(shù)據(jù)形成的，其表示例如左上點(diǎn)(其是由處理單位指定的圖像中最左邊或者最上面像素的位置)和右下點(diǎn)。
模型形成部分802基于運(yùn)動(dòng)矢量和輸入的處理單位形成模型。更具體地，例如，根據(jù)在處理單位中包含的像素?cái)?shù)目，在時(shí)間方向像素值的虛擬分割部分的數(shù)目，以及每個(gè)像素之前景分量的數(shù)目，模型形成部分802可以預(yù)先多個(gè)模型。然后，基于處理單位和在時(shí)間方向像素值的虛擬分割部分的數(shù)目，模型形成部分802可以選擇其中在像素值和前景分量之間的相關(guān)性被指定的模型，諸如圖57中表示的。
現(xiàn)在假設(shè)，例如，對(duì)應(yīng)于處理單位的像素的數(shù)目是12，快門(mén)時(shí)間之內(nèi)運(yùn)動(dòng)量v是5。然后，模型形成部分802設(shè)置虛擬分割部分的數(shù)目是5，并且選擇由八種類(lèi)型的前景分量形成的模型使得最左邊像素包含一個(gè)前景分量，左數(shù)第二像素包含兩個(gè)前景分量，左數(shù)第三像素包含三個(gè)前景分量，左數(shù)第四像素包含四個(gè)像素分量，左數(shù)第五像素包含五個(gè)前景分量，左數(shù)第六像素包含五個(gè)前景分量，左數(shù)第七像素包含五個(gè)前景分量，左數(shù)第八像素包含五個(gè)前景分量，左數(shù)第九像素包含四個(gè)前景分量，左數(shù)第十像素包含三個(gè)前景分量，左數(shù)第十一像素包含兩個(gè)前景分量，以及左數(shù)第十二像素包含一個(gè)前景分量。
代替從預(yù)先存儲(chǔ)模型中選擇模型，當(dāng)提供了運(yùn)動(dòng)矢量和處理單位時(shí)，基于該運(yùn)動(dòng)矢量和處理單位，模型形成部分802可以產(chǎn)生模型。
模型形成部分802將所選擇模型提供給方程發(fā)生器803。
基于從模型形成部分802提供的模型，方程發(fā)生器803產(chǎn)生方程。下面參考圖57中表示的前景分量圖像的模型，給出在當(dāng)前景分量的數(shù)目是8，對(duì)應(yīng)于處理單位的像素的數(shù)目是12，運(yùn)動(dòng)量v是5，以及虛擬分割部分的數(shù)目是5時(shí)由方程發(fā)生器803產(chǎn)生的方程的說(shuō)明。
當(dāng)在對(duì)應(yīng)于快門(mén)時(shí)間/v的前景分量圖像中包含的前景分量是F01/v到F08/v時(shí)，在F01/v到F08/v和像素值C01到C12之間的關(guān)系能夠由方程(74)到(85)表示。
C01＝F01/v (74)C02＝F02/v+F01/v(75)C03＝F03/v+F02/v+F01/v (76)C04＝F04/v+F03/v+F02/v+F01/v(77)C05＝F05/v+F04/v+F03/v+F02/v+F01/v (78)C06＝F06/v+F05/v+F04/v+F03/v+F02/v (79)C07＝F07/v+F06/v+F05/v+F04/v+F03/v (80)C08＝F08/v+F07/v+F06/v+F05/v+F04/v (81)C09＝F08/v+F07/v+F06/v+F05/v(82)C10＝F08/v+F07/v+F06/v (83)C11＝F08/v+F07/v(84)C12＝F08/v (85)方程發(fā)生器803產(chǎn)生通過(guò)修改所產(chǎn)生方程的方程。通過(guò)方程發(fā)生器803產(chǎn)生的方程由方程(86)到(97)表示。C01＝1·F01/v+0·F02/v+0·F03/v+0·F04/v+0·F05/v+0·F06/v+0·F07/v+0·F08/v (86)C02＝1·F01/v+1·F02/v+0·F03/v+0·F04/v+0·F05/v+0·F06/v+0·F07/v+0·F08/v (87)C03＝1·F01/v+1·F02/v+1·F03/v+0·F04/v+0·F05/v+0·F06/v+0·F07/v+0·F08/v (88)C04＝1·F01/v+1·F02/v+1·F03/v+1·F04/v+0·F05/v+0·F06/v+0·F07/v+0·F08/v (89)C05＝1·F01/v+1·F02/v+1·F03/v+1·F04/v+1·F05/v+0·F06/v+0·F07/v+0·F08/v (90)C06＝0·F01/v+1·F02/v+1·F03/v+1·F04/v+1·F05/v+1·F06/v+0·F07/v+0·F08/v (91)C07＝0·F01/v+0·F02/v+1·F03/v+1·F04/v+1·F05/v+1·F06/v+1·F07/v+0·F08/v (92)C08＝0·F01/v+0·F02/v+0·F03/v+1·F04/v+1·F05/v+1·F06/v+1·F07/v+1·F08/v (93)C09＝0·F01/v+0·F02/v+0·F03/v+0·F04/v+1·F05/v+1·F06/v+1·F07/v+1·F08/v (94)C10＝0·F01/v+0·F02/v+0·F03/v+0·F04/v+0·F05/v+1·F06/v+1·F07/v+1·F08/v (95)C11＝0·F01/v+0·F02/v+0·F03/v+0·F04/v+0·F05/v+0·F06/v+1·F07/v+1·F08/v (96)C12＝0·F01/v+0·F02/v+0·F03/v+0·F04/v+0·F05/v+0·F06/v+0·F07/v+1·F08/v (97)方程(86)到(97)能夠由方程(98)表示。Cj=Σi=0108aij·Fi/v----(98)]]>在方程(98)中，j指定像素的位置。在該例子中，j具有從1到12值的一個(gè)。方程(98)中，i指定前景值的位置。在該例子中，i具有從1到8值的一個(gè)。方程(98)中，aij具有根據(jù)i和j值的0或者1值。
考慮誤差，方程(98)能夠由方程(99)表示。Cj=Σi=0108aij·Fi/v+ej----(99)]]>在方程(99)中，ej指定在指定像素Cj中包含的誤差。
方程(99)能夠被修改為方程(100)。ej=Cj-Σi=0108aij·Fi/v----(100)]]>為了應(yīng)用最小二乘方方法，誤差的平方和E被定義為方程(101)。E=Σj=0112ej2----(101)]]>為了最小化誤差，對(duì)于誤差的平方和E，使其對(duì)變量Fk的偏微分值為0。Fk被確定為使得滿(mǎn)足方程(102)。∂E∂Fk=2·Σj=0112ej·∂ej∂Fk----(102)]]>=2·Σj=0112{(Cj-Σi=0108aij·Fi/v)·(-akj/v)}=0]]>方程(102)中，由于運(yùn)動(dòng)量是靜止值，能夠推導(dǎo)出方程(103)。·Σj=0112akj·(Cj-Σi=0108aij·Fi/v)=0----(103)]]>
通過(guò)展開(kāi)方程(103)和置換各項(xiàng)，能夠得到方程(104)。Σj=0112(akj·Σi=0108aij·Fi)=vΣj=0112akj·Cj----(104)]]>通過(guò)將從1到8的各個(gè)整數(shù)替換方程(104)中的k，方程(104)被展開(kāi)為八個(gè)方程。所獲得的八個(gè)方程能夠由一個(gè)矩陣方程表示。該方程被稱(chēng)為“法方程”。
由方程發(fā)生器803基于最小二乘方方法產(chǎn)生的法方程的例子由方程(105)表示。 當(dāng)方程(105)由A·F＝v·C表示時(shí)，C，A和v是公知的，F(xiàn)是未知的。當(dāng)模型形成時(shí)A和v是已知的，同時(shí)當(dāng)像素值被輸入到加處理時(shí)C變成已知的。
通過(guò)基于最小二乘方方法根據(jù)法方程計(jì)算前景分量，像素C中包含的誤差能夠被分布(distributed)。
方程發(fā)生器803將按上述產(chǎn)生的法方程提供給加法器804。
基于從處理單位確定部分801提供的處理單位，加法器804設(shè)置從方程發(fā)生器803提供的矩陣方程中前景分量圖像內(nèi)包含的像素值C。加法器804將其中像素值C被設(shè)置的矩陣提供給計(jì)算器805。
計(jì)算器805計(jì)算前景分量Fi/v，在該前景分量Fi/v中，運(yùn)動(dòng)模糊通過(guò)基于諸如消去法(Gauss-Jordan消去法)的技術(shù)方案的處理被消除，以便獲得對(duì)應(yīng)于表示從1到8整數(shù)之一個(gè)的i的Fi，其是運(yùn)動(dòng)模糊被從中消除的像素值。計(jì)算器805然后將諸如圖58中表示的由沒(méi)有運(yùn)動(dòng)模糊的像素值Fi構(gòu)成的前景分量圖像輸出到運(yùn)動(dòng)模糊加法器806和選擇器807。
在圖58中表示的沒(méi)有運(yùn)動(dòng)模糊的前景分量圖像中，用于將F01到F08分別設(shè)置到C03到C10中的原因是不改變前景分量圖像相對(duì)于屏幕的位置。但是，F(xiàn)01到F08可以被設(shè)置在任何希望的位置中。
通過(guò)相加不同于運(yùn)動(dòng)量v的運(yùn)動(dòng)模糊被調(diào)節(jié)的量v′，例如為運(yùn)動(dòng)量v之一半值的運(yùn)動(dòng)模糊被調(diào)節(jié)的量v′，或者為與運(yùn)動(dòng)量v無(wú)關(guān)的運(yùn)動(dòng)模糊被調(diào)節(jié)的量v′，運(yùn)動(dòng)模糊加法器806能夠調(diào)節(jié)運(yùn)動(dòng)模糊的量。例如，如圖59中表示，運(yùn)動(dòng)模糊加法器806通過(guò)運(yùn)動(dòng)模糊被調(diào)節(jié)的量v′分割沒(méi)有運(yùn)動(dòng)模糊的前景像素值Fi，以便獲得前景分量Fi/v′。運(yùn)動(dòng)模糊加法器806然后計(jì)算前景分量Fi/v′之和，由此產(chǎn)生其中運(yùn)動(dòng)模糊量被調(diào)節(jié)的像素值。例如，當(dāng)運(yùn)動(dòng)模糊被調(diào)節(jié)的量v′是3時(shí)，像素值C02被設(shè)置為(F01)/v′，像素值C3被設(shè)置為(F01+F02)/v′，像素值C4被設(shè)置為(F01+F02+F03)/v′，以及像素值C05被設(shè)置為(F02+F03+F04)/v′。
運(yùn)動(dòng)模糊加法器806將其中運(yùn)動(dòng)模糊量被調(diào)節(jié)的前景分量圖像提供給選擇器807。
選擇器807基于反映用戶(hù)選擇的選擇信號(hào)選擇從計(jì)算器805提供的沒(méi)有運(yùn)動(dòng)模糊的前景分量圖像和從運(yùn)動(dòng)模糊加法器806提供的其中運(yùn)動(dòng)模糊量被調(diào)節(jié)的前景分量圖像之一個(gè)，并且輸出所選擇前景分量圖像。
如以上所討論，運(yùn)動(dòng)模糊調(diào)節(jié)單元106能夠基于選擇信號(hào)和運(yùn)動(dòng)模糊被調(diào)節(jié)的量v′來(lái)調(diào)節(jié)運(yùn)動(dòng)模糊量。
而且，例如，當(dāng)對(duì)應(yīng)于處理單位的像素的數(shù)目是8和運(yùn)動(dòng)量v是4時(shí)，如圖60中表示，運(yùn)動(dòng)模糊調(diào)節(jié)單元106產(chǎn)生由方程(106)表示的矩陣方程。 這樣，通過(guò)根據(jù)處理單位的長(zhǎng)度建立方程，運(yùn)動(dòng)模糊調(diào)節(jié)單元106計(jì)算Fi，其是其中運(yùn)動(dòng)模糊量被調(diào)節(jié)的像素值。類(lèi)似地，例如，當(dāng)在處理單位中包含的像素的數(shù)目是100時(shí)，對(duì)應(yīng)于100個(gè)像素的方程被產(chǎn)生，以便計(jì)算Fi。
圖61表示運(yùn)動(dòng)模糊調(diào)節(jié)單元106另一個(gè)結(jié)構(gòu)的例子。與圖55表示的相同單元被指定為類(lèi)似的參考標(biāo)記，因此其解釋省略。
基于選擇信號(hào)，選擇器821直接將輸入運(yùn)動(dòng)矢量和其位置信號(hào)提供給處理單位確定部分801和模型形成部分802。另外，選擇器821可以用其運(yùn)動(dòng)模糊被調(diào)節(jié)的量v′替換運(yùn)動(dòng)矢量的幅值，然后將該運(yùn)動(dòng)矢量和其位置信號(hào)提供給處理單位確定部分801和模型形成單元802。
借助該方案，圖61中表示運(yùn)動(dòng)模糊調(diào)節(jié)單元106的處理單位確定部分801到計(jì)算器805能夠根據(jù)運(yùn)動(dòng)量v和其運(yùn)動(dòng)模糊被調(diào)節(jié)的量v′來(lái)調(diào)節(jié)運(yùn)動(dòng)模糊量。例如，當(dāng)運(yùn)動(dòng)量是5和其運(yùn)動(dòng)模糊被調(diào)節(jié)的量v′是3時(shí)，圖61中表示運(yùn)動(dòng)模糊調(diào)節(jié)單元106的處理單位確定部分801到計(jì)算器805根據(jù)其中其運(yùn)動(dòng)模糊被調(diào)節(jié)的量v′是3的圖59中表示的模型執(zhí)行有關(guān)圖57中表示的其中運(yùn)動(dòng)量v是5的前景分量圖像的計(jì)算。結(jié)果，獲得包含具有(運(yùn)動(dòng)量v)/(其運(yùn)動(dòng)模糊被調(diào)節(jié)的量v′)＝5/3即大約1.7的運(yùn)動(dòng)量之運(yùn)動(dòng)模糊的圖像。在這種情況下，所計(jì)算的圖像不包含對(duì)應(yīng)于運(yùn)動(dòng)量v為3的運(yùn)動(dòng)模糊。因此，應(yīng)當(dāng)注意，在運(yùn)動(dòng)量v和其運(yùn)動(dòng)模糊被調(diào)節(jié)的量v′之間的關(guān)系是與運(yùn)動(dòng)模糊加法器806的結(jié)果不同的。
如以上所討論，運(yùn)動(dòng)模糊調(diào)節(jié)單元106根據(jù)運(yùn)動(dòng)量v和處理單元產(chǎn)生方程，并且設(shè)置所產(chǎn)生方程中前景分量圖像的像素值，由此計(jì)算其中運(yùn)動(dòng)模糊量被調(diào)節(jié)的前景分量圖像。
下面參考圖62的流程圖說(shuō)明用于通過(guò)運(yùn)動(dòng)模糊調(diào)節(jié)單元106執(zhí)行的調(diào)節(jié)在前景分量圖像中包含的運(yùn)動(dòng)模糊量的處理。
在步驟S801，運(yùn)動(dòng)模糊調(diào)節(jié)單元106的處理單位確定部分801產(chǎn)生基于運(yùn)動(dòng)矢量和區(qū)域信息的處理單位，并且將所產(chǎn)生的處理單位提供給模型形成部分802。
在步驟S802，運(yùn)動(dòng)模糊調(diào)節(jié)單元106的模型形成部分802根據(jù)運(yùn)動(dòng)量和處理單位選擇或者產(chǎn)生模型。在步驟S803，方程發(fā)生器803產(chǎn)生基于所選擇模型的法方程。
在步驟S804，加法器804設(shè)置所產(chǎn)生法方程中前景分量圖像的像素值。在步驟S805，加法器804確定對(duì)應(yīng)于處理單位的所有像素的像素值是否被設(shè)置。如果確定出對(duì)應(yīng)于處理單位的所有像素的像素值沒(méi)有被設(shè)置，則處理返回到步驟S804，并且重復(fù)用于設(shè)置法方程中像素值的處理。
如果在步驟S805確定出對(duì)應(yīng)于處理單位的所有像素的像素值被設(shè)置，則處理前進(jìn)到步驟S806。在步驟S806，計(jì)算器805基于其中像素值被設(shè)置的從加法器804提供的法方程來(lái)計(jì)算其中運(yùn)動(dòng)模糊量被調(diào)節(jié)的前景的像素值。然后處理完成。
如以上所討論，運(yùn)動(dòng)模糊調(diào)節(jié)單元106能夠基于運(yùn)動(dòng)矢量和區(qū)域信息調(diào)節(jié)包含運(yùn)動(dòng)模糊之前景圖像的運(yùn)動(dòng)模糊量。
即，有可能調(diào)節(jié)像素值中包含的即采樣數(shù)據(jù)中包含的運(yùn)動(dòng)模糊量。
圖63是表示運(yùn)動(dòng)模糊調(diào)節(jié)單元106另一個(gè)結(jié)構(gòu)的例子的方框圖。從運(yùn)動(dòng)檢測(cè)器102提供的運(yùn)動(dòng)矢量和其位置信息提供給處理單位確定部分901和調(diào)節(jié)部分905。從區(qū)域規(guī)定單元103提供的區(qū)域信息提供給處理單位確定部分901。從前景/背景分離器105提供的前景分量圖像提供給計(jì)算器904。
處理單位確定部分901產(chǎn)生基于運(yùn)動(dòng)矢量和其位置信息以及區(qū)域信息的處理單位，并且將所產(chǎn)生的處理單位與運(yùn)動(dòng)矢量一起提供給模型形成部分902。
模型形成部分902基于運(yùn)動(dòng)矢量和輸入的處理單位形成模型。更具體地，例如，模型形成部分902可以預(yù)先存儲(chǔ)對(duì)應(yīng)于在處理單位中包含的像素?cái)?shù)目，在時(shí)間方向像素值的虛擬分割部分的數(shù)目，以及每個(gè)像素之前景分量的數(shù)目的多個(gè)模型，并且基于處理單位和在時(shí)間方向像素值的虛擬分割部分的數(shù)目，模型形成部分902選擇表示在像素值和前景分量之間的關(guān)系的模型，諸如圖64中表示的。
例如，當(dāng)對(duì)應(yīng)于處理單位的像素的數(shù)目是12時(shí)，并當(dāng)運(yùn)動(dòng)量v是5時(shí)，模型形成部分902選擇具有虛擬分割部分的數(shù)目為5和整體上由八個(gè)前景分量構(gòu)成的模型。在所選擇的模型中，最左邊像素包含一個(gè)前景分量，左數(shù)第二像素包含兩個(gè)前景分量，左數(shù)第三像素包含三個(gè)前景分量，左數(shù)第四像素包含四個(gè)前景分量，左數(shù)第五像素包含五個(gè)前景分量，左數(shù)第六像素包含五個(gè)前景分量，左數(shù)第七像素包含五個(gè)前景分量，左數(shù)第八像素包含五個(gè)前景分量，左數(shù)第九像素包含四個(gè)前景分量，左數(shù)第十像素包含三個(gè)前景分量，左數(shù)第十一像素包含兩個(gè)前景分量，以及左數(shù)第十二像素包含一個(gè)前景分量。
代替從預(yù)先存儲(chǔ)模型中選擇模型，當(dāng)提供了運(yùn)動(dòng)矢量和處理單位時(shí)，基于該運(yùn)動(dòng)矢量和處理單位，模型形成部分902可以產(chǎn)生模型。
基于從模型形成部分902提供的模型，方程發(fā)生器903產(chǎn)生方程。
下面參考圖64到66中表示的前景分量圖像的模型，給出在當(dāng)前景分量的數(shù)目是8，對(duì)應(yīng)于處理單位的像素的數(shù)目是12，運(yùn)動(dòng)量v是5時(shí)由方程發(fā)生器903產(chǎn)生的方程的例子的說(shuō)明。
當(dāng)在對(duì)應(yīng)于快門(mén)時(shí)間/v的前景分量圖像中包含的前景分量是F01/v到F08/v時(shí)，在F01/v到F08/v和像素值C01到C12之間的關(guān)系能夠由方程(74)到(85)表示，如上述。
通過(guò)考慮像素值C12和C11，像素值C12僅僅包含前景分量F08/v，如方程(107)表示的，并且像素值C11由前景分量F08/v和前景分量F07/v的乘積和構(gòu)成，因此，前景分量F07/v能夠由方程(108)得出。
F08/v＝C12(107)F07/v＝C11-C12(108)類(lèi)似地，通過(guò)考慮在像素值C10到C01中包含的前景分量，前景分量F06/v到F01/v能夠分別由方程(109)到(114)得出。
F06/v＝C10-C11(109)F05/v＝C09-C10(110)F04/v＝C08-C09(111)F03/v＝C07-C08+C12(112)F02/v＝C06-C07+C11-C12(113)F01/v＝C05-C06+C10-C11(114)方程發(fā)生器903產(chǎn)生用于通過(guò)在像素值之差按方程(107)到(114)表示來(lái)計(jì)算前景分量的方程。方程發(fā)生器903將所產(chǎn)生的方程提供給計(jì)算器904。
計(jì)算器904設(shè)置從方程發(fā)生器903提供的方程中的前景分量圖像的像素值，以便獲得基于其中像素值被設(shè)置方程的前景分量。例如，當(dāng)方程(107)到(114)被從方程發(fā)生器903中提供時(shí)，計(jì)算器904設(shè)置方程(107)到(114)中像素值C05到C12。
計(jì)算器904基于其中像素值被設(shè)置的方程來(lái)計(jì)算前景分量。例如，計(jì)算器904基于其中像素值C05到C12被設(shè)置的方程(107)到(114)的計(jì)算來(lái)計(jì)算前景分量F01/v到F08/v，如圖65中表示。計(jì)算器904將前景分量F01/v到F08/v提供給調(diào)節(jié)部分905。
調(diào)節(jié)部分905將從計(jì)算器904提供的前景分量乘以從處理單位確定部分901提供的運(yùn)動(dòng)矢量中包含的運(yùn)動(dòng)量v，以便獲得其運(yùn)動(dòng)模糊被消除的前景像素值。例如，當(dāng)前景分量F01/v到F08/v被從計(jì)算器904提供時(shí)，調(diào)節(jié)部分905將前景分量F01/v到F08/v的每一個(gè)乘以運(yùn)動(dòng)量v即5，以便獲得其運(yùn)動(dòng)模糊被消除的前景像素值F01到F08，如圖66中表示。
調(diào)節(jié)部分905將由按上述計(jì)算的沒(méi)有運(yùn)動(dòng)模糊的前景像素值構(gòu)成的前景分量圖像提供給運(yùn)動(dòng)模糊加法器906和選擇器907。
通過(guò)使用不同于運(yùn)動(dòng)量v的運(yùn)動(dòng)模糊被調(diào)節(jié)的量v′，例如為運(yùn)動(dòng)量v之一半值的運(yùn)動(dòng)模糊被調(diào)節(jié)的量v′，或者為與運(yùn)動(dòng)量v無(wú)關(guān)的運(yùn)動(dòng)模糊被調(diào)節(jié)的量v′，運(yùn)動(dòng)模糊加法器906能夠調(diào)節(jié)運(yùn)動(dòng)模糊的量。例如，如圖59中表示，運(yùn)動(dòng)模糊加法器906通過(guò)運(yùn)動(dòng)模糊被調(diào)節(jié)的量v′分割沒(méi)有運(yùn)動(dòng)模糊的前景像素值Fi，以便獲得前景分量Fi/v′。運(yùn)動(dòng)模糊加法器906然后計(jì)算前景分量Fi/v′之和，由此產(chǎn)生其中運(yùn)動(dòng)模糊量被調(diào)節(jié)的像素值。例如，當(dāng)運(yùn)動(dòng)模糊被調(diào)節(jié)的量v′是3時(shí)，像素值C02被設(shè)置為(F01)/v′，像素值C3被設(shè)置為(F01+F02)/v′，像素值C4被設(shè)置為(F01+F02+F03)/v′，以及像素值C05被設(shè)置為(F02+F03+F04)/v′。
運(yùn)動(dòng)模糊加法器906將其中運(yùn)動(dòng)模糊量被調(diào)節(jié)的前景分量圖像提供給選擇器907。
選擇器907基于反映用戶(hù)選擇的選擇信號(hào)選擇從調(diào)節(jié)部分905提供的沒(méi)有運(yùn)動(dòng)模糊的前景分量圖像或者從運(yùn)動(dòng)模糊加法器906提供的其中運(yùn)動(dòng)模糊量被調(diào)節(jié)的前景分量圖像，并且輸出所選擇前景分量圖像。
如以上所討論，運(yùn)動(dòng)模糊調(diào)節(jié)單元106能夠基于選擇信號(hào)和運(yùn)動(dòng)模糊被調(diào)節(jié)的量v′來(lái)調(diào)節(jié)運(yùn)動(dòng)模糊量。
下面參考圖67的流程圖說(shuō)明用于通過(guò)按圖63構(gòu)成的運(yùn)動(dòng)模糊調(diào)節(jié)單元106執(zhí)行的調(diào)節(jié)前景的運(yùn)動(dòng)模糊量的處理。
在步驟S901，運(yùn)動(dòng)模糊調(diào)節(jié)單元106的處理單位確定部分901產(chǎn)生基于運(yùn)動(dòng)矢量和區(qū)域信息的處理單位，并且將所產(chǎn)生的處理單位提供給模型形成部分902和調(diào)節(jié)部分905。
在步驟S902，運(yùn)動(dòng)模糊調(diào)節(jié)單元106的模型形成部分902根據(jù)運(yùn)動(dòng)量v和處理單位選擇或者產(chǎn)生模型。在步驟S903，方程發(fā)生器903基于所選擇或者所產(chǎn)生模型產(chǎn)生方程，用于通過(guò)前景分量圖像像素值之差計(jì)算前景分量。
在步驟S904，加法器904設(shè)置所產(chǎn)生方程中前景分量圖像的像素值，并且基于其中像素值被設(shè)置的方程通過(guò)使用像素值之差來(lái)提取前景分量。在步驟S905，計(jì)算器904確定對(duì)應(yīng)于處理單位的所有前景分量是否已經(jīng)被提取。如果確定出對(duì)應(yīng)于處理單位的所有前景分量沒(méi)有被提取，則處理返回到步驟S904，并且重復(fù)用于提取前景分量的處理。
如果在步驟S905確定出對(duì)應(yīng)于處理單位的所有前景分量已經(jīng)被提取，則處理前進(jìn)到步驟S906。在步驟S906，調(diào)節(jié)部分905基于運(yùn)動(dòng)量v來(lái)調(diào)節(jié)從計(jì)算器904提供的前景分量F01/v到F08/v的每一個(gè)，以便獲得其運(yùn)動(dòng)模糊被消除的前景像素值F01/v到F08/v。
在步驟S907，運(yùn)動(dòng)模糊加法器906計(jì)算其中運(yùn)動(dòng)模糊量被調(diào)節(jié)的前景像素值，選擇器907選擇沒(méi)有運(yùn)動(dòng)模糊的圖像或者其中運(yùn)動(dòng)模糊量被調(diào)節(jié)的圖像，并且輸出所選擇的圖像。處理然后結(jié)束。
如以上所討論，按圖63表示構(gòu)成的運(yùn)動(dòng)模糊調(diào)節(jié)單元106能夠根據(jù)較簡(jiǎn)單的計(jì)算來(lái)更快速地調(diào)節(jié)包含運(yùn)動(dòng)模糊之前景圖像的運(yùn)動(dòng)模糊。
諸如Wiener濾波器的用于部分消除運(yùn)動(dòng)模糊的公知技術(shù)在被用于理想狀態(tài)時(shí)是有效的，但是對(duì)于被量化和包含噪聲的實(shí)際圖像是不夠的。相反，按圖63表示構(gòu)成的運(yùn)動(dòng)模糊調(diào)節(jié)單元106對(duì)被量化和包含噪聲的實(shí)際圖像被證明是足夠有效的。因此有可能高精確度地消除運(yùn)動(dòng)模糊。
如以上所討論，按圖2表示構(gòu)成的圖像處理設(shè)備能夠調(diào)節(jié)在輸入圖像中包含的運(yùn)動(dòng)模糊量。
圖68是表示圖像處理設(shè)備的功能的另一個(gè)結(jié)構(gòu)的方框圖。
類(lèi)似于圖2表示的單元被指定為類(lèi)似的參考標(biāo)記，因此其解釋被省略。
區(qū)域規(guī)定單元103將區(qū)域信息提供給混合比率計(jì)算器104和合成器1001。
混合比率計(jì)算器104將混合比率α提供給前景/背景分離器105和合成器1001。
前景/背景分離器105將前景分量圖像提供給合成器1001。
合成器1001基于從混合比率計(jì)算器104提供的混合比率α和從區(qū)域規(guī)定單元103提供的區(qū)域信息將某個(gè)背景圖像與從前景/背景分離器105提供的前景分量圖像合成，并且輸出其中某個(gè)背景圖像和前景分量圖像被合成的合成圖像。
圖69表示合成器1001的結(jié)構(gòu)。背景分量發(fā)生器1021基于混合比率α和某個(gè)背景圖像產(chǎn)生背景分量圖像，并且將該背景分量圖像提供給混合區(qū)域圖像合成部分1022。
混合區(qū)域圖像合成部分1022將從背景分量發(fā)生器1021提供的背景分量圖像與前景分量圖像合成，以便產(chǎn)生混合區(qū)域合成圖像，并將所產(chǎn)生的混合區(qū)域合成圖像提供給圖像合成部分1023。
圖像合成器1023合成前景分量圖像，從混合區(qū)域圖像合成部分1022提供的混合區(qū)域合成圖像，以及基于區(qū)域信息的某個(gè)背景圖像，以便產(chǎn)生合成圖像和輸出它。
如以上所討論，合成器1001能夠?qū)⑶熬胺至繄D像與某個(gè)背景圖像合成。
與通過(guò)簡(jiǎn)單合成像素獲得的圖像相比較，通過(guò)基于是特征數(shù)量的混合比率α將前景分量圖像與某個(gè)背景圖像合成獲得的圖像出現(xiàn)的更為自然。
圖70是表示用于調(diào)節(jié)運(yùn)動(dòng)模糊量的圖像處理設(shè)備的功能的另一個(gè)結(jié)構(gòu)的方框圖。圖2中表示的圖像處理設(shè)備順序地完成區(qū)域規(guī)定操作和用于混合比率α的計(jì)算。相反，圖70中表示的圖像處理設(shè)備同時(shí)地完成區(qū)域規(guī)定操作和用于混合比率α的計(jì)算。
類(lèi)似于圖2方框圖中的功能單元被指定為類(lèi)似的參考標(biāo)記，因此其解釋被省略。
輸入圖像提供給混合比率計(jì)算器1101，前景/背景分離器1102，區(qū)域規(guī)定單元103和目標(biāo)提取單元101。
混合比率計(jì)算器1101基于輸入圖像計(jì)算當(dāng)假設(shè)在輸入圖像中包含的每個(gè)像素屬于覆蓋背景區(qū)域時(shí)的估計(jì)混合比率和當(dāng)假設(shè)在輸入圖像中包含的每個(gè)像素屬于未覆蓋背景區(qū)域時(shí)的估計(jì)混合比率，并且將按上述計(jì)算的估計(jì)混合比率提供給前景/背景分離器1102。
圖71是表示混合比率計(jì)算器1101的結(jié)構(gòu)例子的方框圖。
圖71中表示的估計(jì)混合比率處理器401是與圖30中表示的估計(jì)混合比率處理器401相同。圖71中表示的估計(jì)混合比率處理器402是與圖30中表示的估計(jì)混合比率處理器402相同。
估算混合比率處理器401通過(guò)對(duì)應(yīng)于基于輸入圖像的覆蓋背景區(qū)域的模型的計(jì)算來(lái)計(jì)算每個(gè)像素的估算混合比率，并輸出所計(jì)算的估算混合比率。
估算混合比率處理器402通過(guò)對(duì)應(yīng)于基于輸入圖像的未覆蓋背景區(qū)域的模型的計(jì)算來(lái)計(jì)算每個(gè)像素的估算混合比率，并輸出所計(jì)算的估算混合比率。
基于當(dāng)假設(shè)像素屬于從混合比率計(jì)算器1101提供的覆蓋背景區(qū)域時(shí)計(jì)算的估計(jì)混合比率，當(dāng)假設(shè)像素屬于從混合比率計(jì)算器1101提供的未覆蓋背景區(qū)域時(shí)計(jì)算的估計(jì)混合比率，以及從區(qū)域規(guī)定單元103提供的區(qū)域信息，前景/背景分離器1102從輸入圖像中產(chǎn)生前景分量圖像，并且將所產(chǎn)生的前景分量圖像提供給運(yùn)動(dòng)模糊調(diào)節(jié)單元106和選擇器107。
圖72是表示前景/背景分離器1102的結(jié)構(gòu)的例子的方框圖。
類(lèi)似于圖47前景/背景分離器105的單元被由類(lèi)似的參考標(biāo)記表示，因此其解釋被省略。
選擇器1121基于從區(qū)域規(guī)定單元103提供的區(qū)域信息，選擇當(dāng)假設(shè)像素屬于從混合比率計(jì)算器1101提供的覆蓋背景區(qū)域時(shí)計(jì)算的估計(jì)混合比率，或者當(dāng)假設(shè)像素屬于從混合比率計(jì)算器1101提供的未覆蓋背景區(qū)域時(shí)計(jì)算的估計(jì)混合比率，并將所選擇的估計(jì)混合比率作為混合比率α提供給分離部分601。
分離部分601基于從選擇器1121提供的混合比率α和區(qū)域信息從屬于混合區(qū)域的像素的像素值中提取前景分量和背景分量，并且將所提取的前景分量提供合成器603，也將前景分量提供給合成器605。
分離部分601能夠被構(gòu)造成類(lèi)似于圖52中表示的對(duì)應(yīng)部分。
合成器603合成前景分量圖像和輸出它。合成器605合成背景分量圖像和輸出它。
圖70表示的運(yùn)動(dòng)模糊調(diào)節(jié)單元106能夠被構(gòu)成類(lèi)似于圖2表示的對(duì)應(yīng)部分。運(yùn)動(dòng)模糊調(diào)節(jié)單元106基于區(qū)域信息和運(yùn)動(dòng)矢量調(diào)節(jié)從前景/背景分離器1102提供的前景分量圖像中包含的運(yùn)動(dòng)模糊量，并且輸出其中運(yùn)動(dòng)模糊量被調(diào)節(jié)的前景分量圖像。
基于例如反映用戶(hù)之選擇的選擇信號(hào)，圖70表示的選擇器107選擇從前景/背景分離器1102提供的前景分量圖像，或者從運(yùn)動(dòng)模糊調(diào)節(jié)單元106提供的其中運(yùn)動(dòng)模糊量被調(diào)節(jié)的前景分量圖像，并且輸出所選擇的前景分量圖像。
如以上所討論，圖70中表示的圖像處理設(shè)備能夠調(diào)節(jié)對(duì)應(yīng)于輸入圖像前景目標(biāo)的圖像中包含的運(yùn)動(dòng)模糊量，并輸出所得的前景目標(biāo)圖像。正如在第一實(shí)施例中，圖70中表示的圖像處理設(shè)備能夠計(jì)算作為嵌置信息的混合比率α和輸出所計(jì)算的混合比率α。
圖73是表示用于將前景分量圖像與某個(gè)背景圖像合成的圖像處理設(shè)備的功能的另一個(gè)結(jié)構(gòu)的方框圖。圖68表示的圖像處理設(shè)備串行地完成區(qū)域規(guī)定操作和混合比率α的計(jì)算。相反，圖73表示的圖像處理設(shè)備以并行方式完成區(qū)域規(guī)定操作和混合比率α的計(jì)算。
類(lèi)似于圖70的方框表示的功能單元被由類(lèi)似的參考標(biāo)記表示，因此其解釋被省略。
圖73中表示的混合比率計(jì)算器1101基于運(yùn)動(dòng)矢量和其位置信息以及輸入圖像計(jì)算當(dāng)假設(shè)在輸入圖像中包含的每個(gè)像素屬于覆蓋背景區(qū)域時(shí)的估計(jì)混合比率以及當(dāng)假設(shè)在輸入圖像中包含的每個(gè)像素屬于未覆蓋背景區(qū)域時(shí)的估計(jì)混合比率，并將按上述計(jì)算的估計(jì)混合比率提供給前景/背景分離器1102和合成器1201。
基于當(dāng)假設(shè)像素屬于從混合比率計(jì)算器1101提供的覆蓋背景區(qū)域時(shí)計(jì)算的估計(jì)混合比率，當(dāng)假設(shè)像素屬于從混合比率計(jì)算器1101提供的未覆蓋背景區(qū)域時(shí)計(jì)算的估計(jì)混合比率以及從區(qū)域規(guī)定單元103提供的區(qū)域信息，圖73中表示的前景/背景分離器1102從輸入圖像中產(chǎn)生前景分量圖像，并且將所產(chǎn)生的前景分量圖像提供給合成器1201。
合成器1201將某個(gè)背景圖像與基于當(dāng)假設(shè)像素屬于從混合比率計(jì)算器1101提供的覆蓋背景區(qū)域時(shí)計(jì)算的估計(jì)混合比率、當(dāng)假設(shè)像素屬于從混合比率計(jì)算器1101提供的未覆蓋背景區(qū)域時(shí)計(jì)算的估計(jì)混合比率以及從區(qū)域規(guī)定單元103提供的區(qū)域信息而從前景/背景分離器1102提供的前景分量圖像相合成，并且輸出其中背景圖像和前景分量圖像被合成的合成圖像。
圖74表示合成器1201的結(jié)構(gòu)。類(lèi)似于圖69方框圖的功能單元被指定為類(lèi)似的參考標(biāo)記，因此其解釋被省略。
選擇器1221基于從區(qū)域規(guī)定單元103提供的區(qū)域信息選擇當(dāng)假設(shè)像素屬于從混合比率計(jì)算器1101提供的覆蓋背景區(qū)域時(shí)計(jì)算的估計(jì)混合比率，或者當(dāng)假設(shè)像素屬于從混合比率計(jì)算器1101提供的未覆蓋背景區(qū)域時(shí)計(jì)算的估計(jì)混合比率，并將所選擇的估計(jì)混合比率作為混合比率α提供給背景分量發(fā)生器1021。
圖74中表示的背景分量發(fā)生器1021基于從選擇器1221提供的混合比率α和某個(gè)背景分量產(chǎn)生背景分量圖像和將背景分量圖像提供給混合區(qū)域圖像合成部分1022。
圖74中表示的混合區(qū)域圖像合成部分1022將從背景分量發(fā)生器1021提供的背景分量圖像與前景分量圖像合成，以便產(chǎn)生混合區(qū)域合成圖像，并將所產(chǎn)生的混合區(qū)域合成圖像提供給圖像合成部分1023。
圖像合成部分1023合成前景分量圖像，從混合區(qū)域圖像合成部分1022提供的混合區(qū)域合成圖像以及基于區(qū)域信息的背景圖像，以便產(chǎn)生合成圖像和輸出它。
這樣，合成器1201能夠?qū)⑶熬胺至繄D像與某個(gè)背景圖像合成。
本發(fā)明已經(jīng)通過(guò)將混合比率α設(shè)置到像素值中包含的背景分量的比率進(jìn)行了上述討論。但是，混合比率α可以被設(shè)置到像素值中包含的前景分量的比率。
本發(fā)明已經(jīng)通過(guò)將前景目標(biāo)的運(yùn)動(dòng)方向設(shè)置成從左到右的方向進(jìn)行了上述討論。但是，運(yùn)動(dòng)方向不限制于上述方向。
在上述說(shuō)明中，具有三維空間和時(shí)間軸信息的真實(shí)空間圖像通過(guò)使用視頻攝象機(jī)被投影到具有二維空間和時(shí)間軸信息的時(shí)間空間。但是，本發(fā)明不局限于該例子，并能夠被應(yīng)用到下述情況。當(dāng)一維空間中較大量的第一信息被投影到二維空間中較小量的第二信息上時(shí)，由投影產(chǎn)生的失真能夠被修正，大量的信息能夠被提取或者能夠合成更自然的圖像。
傳感器不限制于CCD，可以是另外類(lèi)型的傳感器，例如為固體成象器件(Solid-state Imaging Device)，諸如BBD(Bucket Brigade Device，組桶式器件)，CID(Charge Priming Device，電荷注入器件)，CPD(電荷引發(fā)器件)，或者CMOS(互補(bǔ)金屬氧化物半導(dǎo)體)。另外，傳感器不是必須為其中檢測(cè)器件以矩陣排列的傳感器，可以是其中檢測(cè)器件以一條線排列的傳感器。
其中記錄了用于執(zhí)行本發(fā)明信號(hào)處理的程序的記錄媒體可以是由其中記錄了程序的可運(yùn)動(dòng)媒體形成，其配置用于將程序提供給與計(jì)算機(jī)分開(kāi)的用戶(hù)，如圖1中表示，其諸如為磁盤(pán)51(包括軟盤(pán)(注冊(cè)商標(biāo)名稱(chēng)))，光盤(pán)52(CD-ROM(高密只讀存儲(chǔ)盤(pán))和DVD(數(shù)字通用盤(pán))，磁光盤(pán)(包括MD(迷你盤(pán))(注冊(cè)商標(biāo)名稱(chēng)))，或者半導(dǎo)體存儲(chǔ)器54。記錄媒體也可以由其中記錄了程序的在存儲(chǔ)單元28中包含的ROM 22或者硬盤(pán)形成，這種記錄媒體在被預(yù)先存儲(chǔ)在計(jì)算機(jī)中的同時(shí)提供給用戶(hù)。
形成記錄媒體中記錄程序的步驟可以根據(jù)說(shuō)明中說(shuō)明的次序依次被執(zhí)行。但是，它們不必要以時(shí)間串行方式被執(zhí)行，它們可以同時(shí)地或者單獨(dú)地被執(zhí)行。
工業(yè)實(shí)用性根據(jù)本發(fā)明，根據(jù)混合狀態(tài)分離背景圖像和目標(biāo)圖像是可能的。
權(quán)利要求
1.一種圖像處理設(shè)備，用于執(zhí)行對(duì)由預(yù)定數(shù)目的像素?cái)?shù)據(jù)形成的圖像數(shù)據(jù)進(jìn)行圖像處理，該預(yù)定數(shù)目的像素?cái)?shù)據(jù)是通過(guò)包括預(yù)定數(shù)目的像素并具有時(shí)間積分功能的圖像捕獲器件獲得的，所述圖像處理設(shè)備包括區(qū)域規(guī)定裝置，用于在對(duì)應(yīng)于一個(gè)屏幕的時(shí)間的一第一周期中規(guī)定混合形成圖像數(shù)據(jù)指定幀的前景目標(biāo)的前景目標(biāo)分量和形成指定幀的背景目標(biāo)的背景目標(biāo)分量的未覆蓋背景區(qū)域，該未覆蓋背景區(qū)域形成在前景目標(biāo)正在運(yùn)動(dòng)的方向上的后端，所述區(qū)域規(guī)定裝置用于在接著該時(shí)間的第一周期之后對(duì)應(yīng)于一個(gè)屏幕的時(shí)間的一第二周期中，規(guī)定僅僅由前景目標(biāo)分量構(gòu)成的前景區(qū)域和僅僅由背景目標(biāo)分量構(gòu)成的背景區(qū)域；以及所述區(qū)域規(guī)定裝置用于在接著該時(shí)間的第二周期之后對(duì)應(yīng)于一個(gè)屏幕的時(shí)間的一第三周期中規(guī)定混合前景目標(biāo)分量和背景目標(biāo)分量的覆蓋背景區(qū)域，該覆蓋背景區(qū)域形成在前景目標(biāo)正在運(yùn)動(dòng)的方向上的前端；混合比率檢測(cè)裝置，用于檢測(cè)表示在未覆蓋背景區(qū)域中和在覆蓋背景區(qū)域中前景目標(biāo)分量和背景目標(biāo)分量之比率的混合比率；以及前景/背景分離裝置，用于基于該混合比率將屬于未覆蓋背景區(qū)域和屬于覆蓋背景區(qū)域的像素的像素?cái)?shù)據(jù)分離成前景目標(biāo)分量和背景目標(biāo)分量，以及用于產(chǎn)生僅僅由前景目標(biāo)分量構(gòu)成的前景目標(biāo)圖像和僅僅由指定幀中的背景分量圖像構(gòu)成的背景分量圖像。
2.權(quán)利要求1的圖像處理設(shè)備，其中所述區(qū)域規(guī)定裝置臨時(shí)存儲(chǔ)被連續(xù)輸入的三個(gè)幀，并且所述區(qū)域規(guī)定裝置在時(shí)間的第一周期中將下述區(qū)域規(guī)定為對(duì)應(yīng)于指定幀的未覆蓋背景區(qū)域，在該區(qū)域中，對(duì)于在指定幀之前兩幀和指定幀之前一幀的確定結(jié)果是運(yùn)動(dòng)的，而對(duì)于指定幀之前一幀和指定幀的確定結(jié)果是靜止的，并且所述區(qū)域規(guī)定裝置在時(shí)間的第二周期中將下述區(qū)域規(guī)定為對(duì)應(yīng)于指定幀的前景區(qū)域，在該區(qū)域中，對(duì)于在指定幀之前一幀和指定幀的確定結(jié)果是運(yùn)動(dòng)的，而對(duì)于指定幀和指定幀之后一幀的確定結(jié)果是運(yùn)動(dòng)的，并在時(shí)間的第二周期中將下述區(qū)域規(guī)定為對(duì)應(yīng)于指定幀的背景區(qū)域，在該區(qū)域中，對(duì)于在指定幀之前一幀和指定幀的確定結(jié)果是靜止的，而對(duì)于指定幀和指定幀之后一幀的確定結(jié)果是靜止的，以及所述區(qū)域規(guī)定裝置在時(shí)間的第三周期中將下述區(qū)域規(guī)定為對(duì)應(yīng)于指定幀的覆蓋背景區(qū)域，在該區(qū)域中，對(duì)于指定像素和在指定幀之后一幀的確定結(jié)果是運(yùn)動(dòng)的，而對(duì)子指定幀之后一幀和指定幀之后兩幀的確定結(jié)果是靜止的。
3.一種圖像處理方法，用于執(zhí)行對(duì)由預(yù)定數(shù)目的像素?cái)?shù)據(jù)形成的圖像數(shù)據(jù)進(jìn)行圖像處理，該預(yù)定數(shù)目的像素?cái)?shù)據(jù)是通過(guò)包括預(yù)定數(shù)目的像素并具有時(shí)間積分功能的圖像捕獲器件獲得的，所述圖像處理方法包括區(qū)域規(guī)定步驟，用于在對(duì)應(yīng)于一個(gè)屏幕的時(shí)間的一第一周期中規(guī)定混合形成圖像數(shù)據(jù)指定幀的前景目標(biāo)的前景目標(biāo)分量和形成指定幀的背景目標(biāo)的背景目標(biāo)分量的未覆蓋背景區(qū)域，該未覆蓋背景區(qū)域形成在前景目標(biāo)正在運(yùn)動(dòng)的方向上的后端；所述區(qū)域規(guī)定步驟，用于在接著該時(shí)間的第一周期之后對(duì)應(yīng)于一個(gè)屏幕的時(shí)間的一第二周期中，規(guī)定僅僅由前景目標(biāo)分量構(gòu)成的前景區(qū)域和僅僅由背景目標(biāo)分量構(gòu)成的背景區(qū)域；以及所述區(qū)域規(guī)定步驟，用于在接著該時(shí)間的第二周期之后對(duì)應(yīng)于一個(gè)屏幕的時(shí)間的一第三周期中規(guī)定混合前景目標(biāo)分量和背景目標(biāo)分量的覆蓋背景區(qū)域，該覆蓋背景區(qū)域形成在前景目標(biāo)正在運(yùn)動(dòng)的方向上的前端；混合比率檢測(cè)步驟，用于檢測(cè)表示在未覆蓋背景區(qū)域中和在覆蓋背景區(qū)域中前景目標(biāo)分量和背景目標(biāo)分量之比率的混合比率；以及前景/背景分離步驟，用于基于該混合比率將屬于未覆蓋背景區(qū)域和屬于覆蓋背景區(qū)域的像素的像素?cái)?shù)據(jù)分離成前景目標(biāo)分量和背景目標(biāo)分量，以便產(chǎn)生僅僅由前景目標(biāo)分量構(gòu)成的前景分量圖像和僅僅由指定幀中的背景分量圖像構(gòu)成的背景分量圖像。
4.根據(jù)權(quán)利要求3的圖像處理方法，其中在所述區(qū)域規(guī)定步驟中，臨時(shí)存儲(chǔ)被連續(xù)輸入的三個(gè)幀，并且在時(shí)間的第一周期中，將下述區(qū)域規(guī)定為對(duì)應(yīng)于指定幀的未覆蓋背景區(qū)域，在該區(qū)域中，對(duì)于在指定幀之前兩幀和指定幀之前一幀的確定結(jié)果是運(yùn)動(dòng)的，而對(duì)于指定幀之前一幀和指定幀的確定結(jié)果是靜止的，并且在時(shí)間的第二周期中，將下述區(qū)域規(guī)定為對(duì)應(yīng)于指定幀的前景區(qū)域，在該區(qū)域中，對(duì)于在指定幀之前一幀和指定幀的確定結(jié)果是運(yùn)動(dòng)的，而對(duì)于指定幀和指定幀之后一幀的確定結(jié)果是運(yùn)動(dòng)的，并在時(shí)間的第二周期中，將下述區(qū)域規(guī)定為對(duì)應(yīng)于指定幀的背景區(qū)域，在該區(qū)域中，對(duì)于在指定幀之前一幀和指定幀的確定結(jié)果是靜止的，而對(duì)于指定幀和指定幀之后一幀的確定結(jié)果是靜止的，以及在時(shí)間的第三周期中，將下述區(qū)域規(guī)定為對(duì)應(yīng)于指定幀的覆蓋背景區(qū)域，在該區(qū)域中，對(duì)于指定像素和在指定幀之后一幀的確定結(jié)果是運(yùn)動(dòng)的，而對(duì)于指定幀之后一幀和指定幀之后兩幀的確定結(jié)果是靜止的。
5.一種記錄媒體，其中記錄了計(jì)算機(jī)可讀的程序，所述程序用于執(zhí)行對(duì)由預(yù)定數(shù)目的像素?cái)?shù)據(jù)形成的圖像數(shù)據(jù)進(jìn)行圖像處理，該預(yù)定數(shù)目的像素?cái)?shù)據(jù)是通過(guò)包括預(yù)定數(shù)目的像素并具有時(shí)間積分功能的圖像捕獲器件獲得的，所述程序包括區(qū)域規(guī)定步驟，用于在對(duì)應(yīng)于一個(gè)屏幕的時(shí)間的一第一周期中規(guī)定混合形成圖像數(shù)據(jù)指定幀的前景目標(biāo)的前景目標(biāo)分量和形成指定幀的背景目標(biāo)的背景目標(biāo)分量的未覆蓋背景區(qū)域，該未覆蓋背景區(qū)域形成在前景目標(biāo)正在運(yùn)動(dòng)的方向上的后端；所述區(qū)域規(guī)定步驟，用于在接著該時(shí)間的第一周期之后對(duì)應(yīng)于一個(gè)屏幕的時(shí)間的一第二周期中，規(guī)定僅僅由前景目標(biāo)分量構(gòu)成的前景區(qū)域和僅僅由背景目標(biāo)分量構(gòu)成的背景區(qū)域；以及所述區(qū)域規(guī)定步驟，用于在接著該時(shí)間的第二周期之后對(duì)應(yīng)于一個(gè)屏幕的時(shí)間的一第三周期中規(guī)定混合前景目標(biāo)分量和背景目標(biāo)分量的覆蓋背景區(qū)域，該覆蓋背景區(qū)域形成在前景目標(biāo)正在運(yùn)動(dòng)的方向上的前端；混合比率檢測(cè)步驟，用于檢測(cè)表示在未覆蓋背景區(qū)域中和在覆蓋背景區(qū)域中前景目標(biāo)分量和背景目標(biāo)分量之比率的混合比率；以及前景/背景分離步驟，用于基于該混合比率將屬于未覆蓋背景區(qū)域和屬于覆蓋背景區(qū)域的像素的像素?cái)?shù)據(jù)分離成前景目標(biāo)分量和背景目標(biāo)分量，以便產(chǎn)生僅僅由前景目標(biāo)分量構(gòu)成的前景分量圖像和僅僅由指定幀中的背景分量圖像構(gòu)成的背景分量圖像。
6.權(quán)利要求5的記錄媒體，其中在所述區(qū)域規(guī)定步驟中，臨時(shí)存儲(chǔ)被連續(xù)輸入的三個(gè)幀，并且在時(shí)間的第一周期中，將下述區(qū)域規(guī)定為對(duì)應(yīng)于指定幀的未覆蓋背景區(qū)域，在該區(qū)域中，對(duì)于在指定幀之前兩幀和指定幀之前一幀的確定結(jié)果是運(yùn)動(dòng)的，而對(duì)于指定幀之前一幀和指定幀的確定結(jié)果是靜止的，并且在時(shí)間的第二周期中，將下述區(qū)域規(guī)定為對(duì)應(yīng)于指定幀的前景區(qū)域，在該區(qū)域中，對(duì)于在指定幀之前一幀和指定幀的確定結(jié)果是運(yùn)動(dòng)的，而對(duì)于指定幀和指定幀之后一幀的確定結(jié)果是運(yùn)動(dòng)的，并在時(shí)間的第二周期中，將下述區(qū)域規(guī)定為對(duì)應(yīng)于指定幀的背景區(qū)域，在該區(qū)域中，對(duì)于在指定幀之前一幀和指定幀的確定結(jié)果是靜止的，而對(duì)于指定幀和指定幀之后一幀的確定結(jié)果是靜止的，以及在時(shí)間的第三周期中，將下述區(qū)域規(guī)定為對(duì)應(yīng)于指定幀的覆蓋背景區(qū)域，在該區(qū)域中，對(duì)于指定像素和在指定幀之后一幀的確定結(jié)果是運(yùn)動(dòng)的，而對(duì)于指定幀之后一幀和指定幀之后兩幀的確定結(jié)果是靜止的。
7.一種程序，用于讓計(jì)算機(jī)執(zhí)行下面的步驟，該計(jì)算機(jī)完成對(duì)由預(yù)定數(shù)目的像素?cái)?shù)據(jù)形成的圖像數(shù)據(jù)進(jìn)行圖像處理，該預(yù)定數(shù)目的像素?cái)?shù)據(jù)是通過(guò)包括預(yù)定數(shù)目的像素并具有時(shí)間積分功能的圖像捕獲器件獲得的，所述執(zhí)行的步驟包括區(qū)域規(guī)定步驟，用于在對(duì)應(yīng)于一個(gè)屏幕的時(shí)間的一第一周期中規(guī)定混合形成圖像數(shù)據(jù)指定幀的前景目標(biāo)的前景目標(biāo)分量和形成指定幀的背景目標(biāo)的背景目標(biāo)分量的未覆蓋背景區(qū)域，該未覆蓋背景區(qū)域形成在前景目標(biāo)正在運(yùn)動(dòng)的方向上的后端；所述區(qū)域規(guī)定步驟，用于在接著該時(shí)間的第一周期之后對(duì)應(yīng)于一個(gè)屏幕的時(shí)間的一第二周期中，規(guī)定僅僅由前景目標(biāo)分量構(gòu)成的前景區(qū)域和僅僅由背景目標(biāo)分量構(gòu)成的背景區(qū)域；以及所述區(qū)域規(guī)定步驟，用于在接著該時(shí)間的第二周期之后對(duì)應(yīng)于一個(gè)屏幕的時(shí)間的一第三周期中規(guī)定混合前景目標(biāo)分量和背景目標(biāo)分量的覆蓋背景區(qū)域，該覆蓋背景區(qū)域形成在前景目標(biāo)正在運(yùn)動(dòng)的方向上的前端；混合比率檢測(cè)步驟，用于檢測(cè)表示在未覆蓋背景區(qū)域中和在覆蓋背景區(qū)域中前景目標(biāo)分量和背景目標(biāo)分量之比率的混合比率；以及前景/背景分離步驟，用于基于該混合比率將屬于未覆蓋背景區(qū)域和屬于覆蓋背景區(qū)域的像素的像素?cái)?shù)據(jù)分離成前景目標(biāo)分量和背景目標(biāo)分量，以便產(chǎn)生僅僅由前景目標(biāo)分量構(gòu)成的前景分量圖像和僅僅由指定幀中的背景分量圖像構(gòu)成的背景分量圖像。
8.權(quán)利要求7的程序，其中在所述區(qū)域規(guī)定步驟中，臨時(shí)存儲(chǔ)被連續(xù)輸入的三個(gè)幀，并且在時(shí)間的第一周期中，將下述區(qū)域規(guī)定為對(duì)應(yīng)于指定幀的未覆蓋背景區(qū)域，在該區(qū)域中，對(duì)于在指定幀之前兩幀和指定幀之前一幀的確定結(jié)果是運(yùn)動(dòng)的，而對(duì)于指定幀之前一幀和指定幀的確定結(jié)果是靜止的，并且在時(shí)間的第二周期中，將下述區(qū)域規(guī)定為對(duì)應(yīng)于指定幀的前景區(qū)域，在該區(qū)域中，對(duì)于在指定幀之前一幀和指定幀的確定結(jié)果是運(yùn)動(dòng)的，而對(duì)于指定幀和指定幀之后一幀的確定結(jié)果是運(yùn)動(dòng)的，并在時(shí)間的第二周期中，將下述區(qū)域規(guī)定為對(duì)應(yīng)于指定幀的背景區(qū)域，在該區(qū)域中，對(duì)于在指定幀之前一幀和指定幀的確定結(jié)果是靜止的，而對(duì)于指定幀和指定幀之后一幀的確定結(jié)果是靜止的，以及在時(shí)間的第三周期中，將下述區(qū)域規(guī)定為對(duì)應(yīng)于指定幀的覆蓋背景區(qū)域，在該區(qū)域中，對(duì)于指定像素和在指定幀之后一幀的確定結(jié)果是運(yùn)動(dòng)的，而對(duì)于指定幀之后一幀和指定幀之后兩幀的確定結(jié)果是靜止的。
9.一種圖像捕獲設(shè)備，包括圖像捕獲裝置，用于對(duì)圖像數(shù)據(jù)進(jìn)行圖像處理，該圖像數(shù)據(jù)是由通過(guò)圖像捕獲器件獲得的預(yù)定數(shù)目的像素?cái)?shù)據(jù)形成的，該圖像捕獲器件包括預(yù)定數(shù)目的像素并具有時(shí)間積分功能；區(qū)域規(guī)定裝置，用于在對(duì)應(yīng)于一個(gè)屏幕的時(shí)間的一第一周期中規(guī)定混合形成圖像數(shù)據(jù)指定幀的前景目標(biāo)的前景目標(biāo)分量和形成指定幀的背景目標(biāo)的背景目標(biāo)分量的未覆蓋背景區(qū)域，該未覆蓋背景區(qū)域形成在前景目標(biāo)正在運(yùn)動(dòng)的方向上的后端；所述區(qū)域規(guī)定裝置，用于在接著該時(shí)間的第一周期之后對(duì)應(yīng)于一個(gè)屏幕的時(shí)間的一第二周期中，規(guī)定僅僅由前景目標(biāo)分量構(gòu)成的前景區(qū)域和僅僅由背景目標(biāo)分量構(gòu)成的背景區(qū)域；以及所述區(qū)域規(guī)定裝置，用于在接著該時(shí)間的第二周期之后對(duì)應(yīng)于一個(gè)屏幕的時(shí)間的一第三周期中規(guī)定混合前景目標(biāo)分量和背景目標(biāo)分量的覆蓋背景區(qū)域，該覆蓋背景區(qū)域形成在前景目標(biāo)正在運(yùn)動(dòng)的方向上的前端；混合比率檢測(cè)裝置，用于檢測(cè)表示在未覆蓋背景區(qū)域中和在覆蓋背景區(qū)域中前景目標(biāo)分量和背景目標(biāo)分量之比率的混合比率；以及前景/背景分離裝置，用于基于該混合比率將屬于未覆蓋背景區(qū)域和屬于覆蓋背景區(qū)域的像素的像素?cái)?shù)據(jù)分離成前景目標(biāo)分量和背景目標(biāo)分量，以及用于產(chǎn)生僅僅由前景目標(biāo)分量構(gòu)成的前景目標(biāo)圖像和僅僅由指定幀中的背景分量圖像構(gòu)成的背景分量圖像。
10.權(quán)利要求9的圖像捕獲設(shè)備，其中所述區(qū)域規(guī)定裝置臨時(shí)存儲(chǔ)被連續(xù)輸入的三個(gè)幀，并且所述區(qū)域規(guī)定裝置在時(shí)間的第一周期中將下述區(qū)域規(guī)定為對(duì)應(yīng)于指定幀的未覆蓋背景區(qū)域，在該區(qū)域中，對(duì)于在指定幀之前兩幀和指定幀之前一幀的確定結(jié)果是運(yùn)動(dòng)的，而對(duì)于指定幀之前一幀和指定幀的確定結(jié)果是靜止的，并且所述區(qū)域規(guī)定裝置在時(shí)間的第二周期中將下述區(qū)域規(guī)定為對(duì)應(yīng)于指定幀的前景區(qū)域，在該區(qū)域中，對(duì)于在指定幀之前一幀和指定幀的確定結(jié)果是運(yùn)動(dòng)的，而對(duì)于指定幀和指定幀之后一幀的確定結(jié)果是運(yùn)動(dòng)的，并在時(shí)間的第二周期中將下述區(qū)域規(guī)定為對(duì)應(yīng)于指定幀的背景區(qū)域，在該區(qū)域中，對(duì)于在指定幀之前一幀和指定幀的確定結(jié)果是靜止的，而對(duì)于指定幀和指定幀之后一幀的確定結(jié)果是靜止的，以及所述區(qū)域規(guī)定裝置在時(shí)間的第三周期中將下述區(qū)域規(guī)定為對(duì)應(yīng)于指定幀的覆蓋背景區(qū)域，在該區(qū)域中，對(duì)于指定像素和在指定幀之后一幀的確定結(jié)果是運(yùn)動(dòng)的，而對(duì)于指定幀之后一幀和指定幀之后兩幀的確定結(jié)果是靜止的。
全文摘要
能夠根據(jù)混合狀態(tài)來(lái)目標(biāo)圖像中分離背景圖像。區(qū)域規(guī)定單元(103)在一第一時(shí)間中規(guī)定混合前景目標(biāo)分量和背景目標(biāo)分量的未覆蓋背景區(qū)域，在一第二時(shí)間中規(guī)定僅僅由前景目標(biāo)分量構(gòu)成的前景區(qū)域和僅僅由背景目標(biāo)分量構(gòu)成的背景區(qū)域，而在一第三時(shí)間中規(guī)定混合前景目標(biāo)分量和背景目標(biāo)分量的覆蓋背景區(qū)域。混合比率計(jì)算器(104)檢測(cè)表示前景目標(biāo)分量和背景目標(biāo)分量之比率的混合比率。前景/背景分離器(105)將像素?cái)?shù)據(jù)分離成前景目標(biāo)分量和背景目標(biāo)分量。本發(fā)明可應(yīng)用于圖像處理設(shè)備。
文檔編號(hào)G06T7/20GK1471693SQ02802757
公開(kāi)日2004年1月28日 申請(qǐng)日期2002年6月20日 優(yōu)先權(quán)日2001年6月25日
發(fā)明者近藤哲二郎, 和田成司, 石橋淳一, 澤尾貴志, 藤原直樹(shù), 永野隆浩, 三宅徹, 一, 司, 志, 樹(shù), 浩 申請(qǐng)人:索尼公司