專利名稱：信號處理方法與設(shè)備以及記錄介質(zhì)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種信號處理方法與設(shè)備，并且涉及一種記錄介質(zhì)。更具體地說，本發(fā)明涉及一種考慮到由傳感器檢測到的信號和現(xiàn)實世界之間的差別的信號處理方法與設(shè)備以及記錄介質(zhì)。
背景技術(shù)：
這樣的技術(shù)廣泛地使用于通過傳感器檢測現(xiàn)實世界的事件以及處理由傳感器輸出的采樣數(shù)據(jù)，例如與圖像、語音、溫度、壓力、加速度或氣味關(guān)聯(lián)的數(shù)據(jù)。
例如，在物體以較高速度移動的情況下，使用CCD的攝像機成像在預(yù)定的靜止背景之間的移動的物體時所獲得的圖像易受到移動模糊(motionblurring)的影響。
例如，在物體以較高速度移動的情況下，使用CCD的攝像機成像在預(yù)定的靜止背景之前的移動的物體時所獲得的圖像易受到移動模糊的影響。也就說在用CCD作為傳感器檢測現(xiàn)實世界時，作為采樣數(shù)據(jù)的圖像會產(chǎn)生失真。
抑制這種移動模糊的常規(guī)實踐是提高例如電子快門的速度，已提供更短的曝光時間。
但在這種方式下升高快門速度的情況下，必須在進行攝影之前調(diào)整攝像機的快門速度。因此不能校正以前獲得的模糊的圖像來獲得清晰的圖像。
另一方面，如果一物體在靜止背景之前移動，那么不僅會發(fā)生歸因于就是該移動物體的圖像的混合的移動模糊，還會發(fā)生背景圖像和該移動圖像的混合。在常規(guī)系統(tǒng)中，沒有給出任何關(guān)于檢測背景圖像和該移動物體的混合的狀態(tài)的考慮。
而且，通過傳感器獲取到具有空間和時間軸的現(xiàn)實世界的信息，并產(chǎn)生數(shù)據(jù)。這種由傳感器獲取的數(shù)據(jù)是在投影在比現(xiàn)實世界的維(dimension)更低的時間和空間中的現(xiàn)實世界的信息時所獲得的信息。因此，投影上所獲得的信息由于投影而失真。換句話說，傳感器輸出的數(shù)據(jù)相對于現(xiàn)實世界的信息失真。此外，因投影而失真的數(shù)據(jù)也包括用于校正該失真的重要信息。
在對由傳感器獲取的采樣數(shù)據(jù)進行常規(guī)信號處理期間，傳感器獲得的采樣數(shù)據(jù)被視為最可靠的數(shù)據(jù)，以至于在后續(xù)的數(shù)據(jù)處理例如傳輸、記錄或再現(xiàn)中，在考慮到由例如數(shù)據(jù)傳輸引起的惡化的情況下，唯一關(guān)心的是弄清盡量接近原始數(shù)據(jù)的狀態(tài)的數(shù)據(jù)狀態(tài)。
迄今為止，該傳感器輸出的采樣數(shù)據(jù)被認為是最可靠的數(shù)據(jù)，以至于沒有進行任何準備比采樣數(shù)據(jù)更高質(zhì)量的數(shù)據(jù)的嘗試，或執(zhí)行提取因投影而模糊的重要信息的信號處理。

發(fā)明內(nèi)容
因此本發(fā)明的一個目的是提供一種信號處理設(shè)備，在其中由傳感器輸出的采樣數(shù)據(jù)可以無失真，或者可以從該采樣數(shù)據(jù)中提取該重要信息，例如，如果采樣數(shù)據(jù)是圖像的采樣數(shù)據(jù)的話，提供對包含在該檢測信號中的移動模糊量的調(diào)整。
本發(fā)明提供一種信號處理設(shè)備，用于在每個預(yù)定時間間隔中處理每個預(yù)定時間間隔中由一預(yù)定數(shù)量的具有時間積分效應(yīng)的檢測元件構(gòu)成的傳感器獲取的檢測數(shù)據(jù)，該信號處理設(shè)備包括靜止/移動判定裝置，用于基于檢測數(shù)據(jù)判定靜止/移動；以及檢測裝置，用于基于判別結(jié)果檢測包含具有多個現(xiàn)實世界物體混合在一起的采樣數(shù)據(jù)的混合區(qū)域。
本發(fā)明也提供一種信號處理方法，用于在每個預(yù)定時間間隔中處理每個預(yù)定時間間隔中由一預(yù)定數(shù)量的具有時間積分效應(yīng)的檢測元件構(gòu)成的傳感器獲取的檢測數(shù)據(jù)，該信號處理方法包括靜止/移動判定步驟，用于基于檢測數(shù)據(jù)判定靜止/移動；以及檢測步驟，用于基于判別結(jié)果檢測包含具有多個現(xiàn)實世界物體混合在一起的采樣數(shù)據(jù)的混合區(qū)域。
本發(fā)明也提供一種信號處理程序，用于在每個預(yù)定時間間隔中處理每個預(yù)定時間間隔中由一預(yù)定數(shù)量的具有時間積分效應(yīng)的檢測元件構(gòu)成的傳感器獲取的檢測數(shù)據(jù)，該信號處理程序包括靜止/移動判定步驟，用于基于檢測數(shù)據(jù)判定靜止/移動；以及檢測步驟，用于基于判別結(jié)果檢測包含具有多個現(xiàn)實世界物體混合在一起的采樣數(shù)據(jù)的混合區(qū)域。


圖1說明本發(fā)明的原理；圖2是示出實施本發(fā)明的一系統(tǒng)的說明性結(jié)構(gòu)的方框圖；圖3是示出圖2的信號處理器的說明性結(jié)構(gòu)的方框圖；圖4是用于說明圖2的系統(tǒng)操作的流程圖；圖5說明在圖4的步驟S1獲取的典型圖像；圖6說明混合區(qū)域的像素值；圖7說明減去圖6的區(qū)間D1至D3中的背景的圖像分量的結(jié)果；圖8說明移動模糊的結(jié)構(gòu)；圖9是一流程圖，用于說明圖2的系統(tǒng)的另一個典型的處理；圖10是示出信號處理器12的方框圖；圖11說明通過傳感器攝像；圖12說明像素排列；圖13說明檢測器件的操作；圖14說明在成像對應(yīng)于移動前景的物體和對應(yīng)于靜止背景的物體時所獲得的圖像；圖15說明一背景區(qū)域、一前景區(qū)域、一混合區(qū)域、一被覆蓋的背景區(qū)域和一未被覆蓋的背景區(qū)域；圖16是一示意圖，它隨在時間軸方向延伸的像素值，示出在成像對應(yīng)于靜止前景的物體時所獲得的圖像或成像對應(yīng)于靜止背景的物體時所獲得的圖像中，以相互鄰近關(guān)系擺放成一行的像素的像素值；圖17是一示意圖，示出隨對應(yīng)于被分開示出的快門時間的時間間隔，在時間軸方向延伸的像素值；圖18是一示意圖，示出隨對應(yīng)于被分開示出的快門時間的時間間隔，在時間軸方向延伸的像素值；圖19是一示意圖，示出隨對應(yīng)于被分開示出的快門時間的時間間隔，在時間軸方向延伸的像素值；圖20示出一前景區(qū)域、一背景區(qū)域和一混合區(qū)域中被提取的像素；圖21示出像素和在時間軸方向上擴展像素值時所獲得的模型之間的對應(yīng)關(guān)系；圖22是一示意圖，示出在時間軸方向上擴展的像素值，并示出對應(yīng)于被分開示出的快門周期的時間間隔；圖23是一示意圖，示出在時間軸方向上擴展的像素值，并示出對應(yīng)于被分開示出的快門周期的時間間隔；圖24是一示意圖，示出在時間軸方向上擴展的像素值，并示出對應(yīng)于被分開示出的快門周期的時間間隔；圖25是一示意圖，示出在時間軸方向上擴展的像素值，并示出對應(yīng)于被分開示出的快門周期的時間間隔；圖26是一示意圖，示出在時間軸方向上擴展的像素值，并示出對應(yīng)于被分開示出的快門周期的時間間隔；圖27是一流程圖，用于說明調(diào)整移動模糊量的處理；圖28是一方框圖，示出區(qū)域指定單元103的說明性結(jié)構(gòu)；圖29說明一在對應(yīng)于前景的物體是移動的情況下的圖像；圖30是一示意圖，示出在時間軸方向上擴展的像素值，并示出對應(yīng)于被分開示出的快門周期的時間間隔；圖31是一示意圖，示出在時間軸方向上擴展的像素值，并示出對應(yīng)于被分開示出的快門周期的時間間隔；圖32是一示意圖，示出在時間軸方向上擴展的像素值，并示出對應(yīng)于被分開示出的快門周期的時間間隔；圖33說明適用于區(qū)域判定的條件；圖34A、34B、34C和34D說明區(qū)域指定單元103的區(qū)域識別結(jié)果；圖35說明區(qū)域指定單元103的區(qū)域識別結(jié)果；圖36是一流程圖，用于說明適用于區(qū)域識別的處理；圖37是一方框圖，示出了混合比計算單元104的說明性結(jié)構(gòu)；圖38示出典型的理想混合比α；圖39是一示意圖，示出在時間軸方向上擴展的像素值，并示出對應(yīng)于被分開示出的快門周期的時間間隔；圖40是一示意圖，示出在時間軸方向上擴展的像素值，并示出對應(yīng)于被分開示出的快門周期的時間間隔；圖41是一示意圖，示出在時間軸方向上擴展的像素值，并示出對應(yīng)于被分開示出的快門周期的時間間隔；圖42說明C、N和P之間的關(guān)系；圖43是一方框圖，示出被估計的混合比處理器201的結(jié)構(gòu)；圖44示出一典型的被估計的混合比；圖45是一方框圖，示出了混合比計算單元104的改進型結(jié)構(gòu)；圖46是一流程圖，用于說明適用于計算該被估計的混合比的處理；圖47是一流程圖，用于說明適用于該被估計的混合比的操作的處理；圖48是一方框圖，示出了前景/背景分離單元105的說明性結(jié)構(gòu)；圖49A和49B示出一輸入圖像，一前景分量圖像和一背景分量圖像；圖50是一示意圖，示出在時間軸方向上擴展的像素值，并示出對應(yīng)于被分開示出的快門周期的時間間隔；圖51是一示意圖，示出在時間軸方向上擴展的像素值，并示出對應(yīng)于被分開示出的快門周期的時間間隔；圖52是一示意圖，示出在時間軸方向上擴展的像素值，并示出對應(yīng)于被分開示出的快門周期的時間間隔；圖53是一方框圖，示出分離單元251的說明性結(jié)構(gòu)；圖54A和54B說明示出作為相互分離的一前景分量圖像和一背景分量圖像的典型示例；圖55是一流程圖，用于說明適用于將前景和背景相互分離的處理；圖56是一方框圖，示出移動模糊調(diào)整單元106的說明性結(jié)構(gòu)；圖57說明一處理單元；圖58是一示意圖，示出在時間軸方向上擴展的、前景分量圖像的像素值并示出對應(yīng)于被分開示出的快門周期的時間間隔；圖59是一示意圖，示出在時間軸方向上擴展的、前景分量圖像的像素值并示出對應(yīng)于被分開示出的快門周期的時間間隔；圖60是一示意圖，示出在時間軸方向上擴展的、前景分量圖像的像素值并示出對應(yīng)于被分開示出的快門周期的時間間隔；圖61是一示意圖，示出在時間軸方向上擴展的、前景分量圖像的像素值并示出對應(yīng)于被分開示出的快門周期的時間間隔；圖62示出移動模糊調(diào)整單元106的改進型結(jié)構(gòu)；圖63是一流程圖，用于說明適用于調(diào)整包含在前景分量圖像中的移動模糊量的處理；圖64是一方框圖，示出信號處理器12的改進功能結(jié)構(gòu)；圖65示出合成單元371的結(jié)構(gòu)；圖66是一方框圖，示出信號處理器12的另一改進型功能結(jié)構(gòu)；圖67是一方框圖，示出混合比計算單元401的結(jié)構(gòu)；圖68是一方框圖，示出前景/背景分離單元402的結(jié)構(gòu)；圖69是一方框圖，示出信號處理器12的更進一步的改進功能結(jié)構(gòu)；圖70示出合成單元431的結(jié)構(gòu)；圖71示出根據(jù)本發(fā)明的信號處理設(shè)備的另一說明性結(jié)構(gòu)；圖72是一流程圖，用于說明適用于通過信號處理器452調(diào)整移動模糊量的處理；圖73示出一根據(jù)本發(fā)明的信號處理設(shè)備的說明性結(jié)構(gòu)；圖74示出一壓力區(qū)域傳感器501的結(jié)構(gòu)；圖75說明施加到壓力區(qū)域傳感器501的負荷；圖76說明由壓力區(qū)域傳感器501輸出的典型重量(weight)數(shù)據(jù)；圖77是一流程圖，用于說明由信號處理器502執(zhí)行的負荷計算處理；圖78是一方框圖，示出產(chǎn)生每幀都有增加的像素的圖像的結(jié)構(gòu)，它作為信號處理器12的另一功能；圖79說明像素排列和對應(yīng)于在水平密度方面加倍的像素的區(qū)域；圖80說明對應(yīng)于輸入到區(qū)域A至r的光的圖像的圖像分量；圖81A、81B、81C和81D說明對應(yīng)于像素的兩個區(qū)域的圖像分量的計算；圖82示出一典型的輸入圖像；圖83示出一典型的雙水平密度圖像；圖84示出一典型的雙垂直密度圖像；圖85示出一雙密度圖像；圖86是一流程圖，用于說明適用于通過圖78所示的信號處理器12產(chǎn)生雙密度圖像的處理。
具體實現(xiàn)方式圖1說明本發(fā)明的原理。正如從圖1所見到的那樣，由傳感器2獲取作為具有空間軸和時間軸的現(xiàn)實世界的信息的第一信號，并將其制作成數(shù)據(jù)。作為傳感器2獲取的數(shù)據(jù)3的檢測信號是在將現(xiàn)實世界1的信息投影在比現(xiàn)實世界1更低維的時空上時所獲得的信息。因此，投影所產(chǎn)生的信息包含由于投影而引起的失真。換句話說，傳感器2輸出的數(shù)據(jù)3相對于現(xiàn)實世界1的信息來說發(fā)生失真。此外，由于投影而發(fā)生了失真的數(shù)據(jù)3也包括可使用的或校正該失真的重要信息。
因此，根據(jù)本發(fā)明，傳感器2輸出的數(shù)據(jù)由信號處理器4進行處理，由此消除、減少或調(diào)整該失真?；蛘?，用信號處理器4處理由傳感器2輸出的數(shù)據(jù)以提取該重要信息。
圖2示出根據(jù)本發(fā)明的信號處理設(shè)備的一說明性結(jié)構(gòu)。傳感器11例如包括攝像機，它拍攝現(xiàn)實世界的圖像以輸出產(chǎn)生的圖像數(shù)據(jù)給信號處理器12。該信號處理器例如包括個人計算機，用于處理從傳感器11輸入的數(shù)據(jù)、調(diào)整投影所產(chǎn)生的失真量、指定包含由該投影所掩藏的重要信息的區(qū)域、從一指定區(qū)域提取該重要信息以及基于所提取的重要信息處理被輸入的數(shù)據(jù)。
該重要信息例如可以是以后將要解釋的混合比。
同時，指示出包含由該投影所掩藏的重要信息的區(qū)域的信息也可以被認為是重要信息。這里，以后將要解釋的區(qū)域信息對應(yīng)于該重要信息。
信號處理器12例如被結(jié)構(gòu)成如圖3所示。CPU(中央處理單元)21按照存儲在ROM(只讀存儲器)22或貯存單元28中存儲的程序執(zhí)行各種處理操作。在RAM(隨機存取存儲器)23中按照需要存儲由CPU 21執(zhí)行的程序或數(shù)據(jù)。CPU 21、ROM 22和RAM 23互連在一總線24上。
輸入/輸出接口25經(jīng)過總線24連接到CPU 21。輸入/輸出接口25連接到包括鍵盤、鼠標和麥克風的輸入單元26，以及包括顯示器和擴音器的輸出單元27。CPU 21響應(yīng)輸入單元26輸入的命令執(zhí)行各種處理操作。CPU 21將處理時所獲得的圖像、語音等輸出到輸出單元27。
連接到輸入/輸出接口25的貯存單元28例如由硬盤構(gòu)成，用于存儲由CPU 21執(zhí)行的程序以及各種數(shù)據(jù)。通信單元29經(jīng)過諸如英特網(wǎng)這樣的網(wǎng)絡(luò)與外部設(shè)備通信。在本實施例中，通信單元29用于獲取傳感器11的輸出。
為了在貯存單元28中貯存，也可以經(jīng)過通信單元29獲取程序。
連接到輸入/輸出接口25的驅(qū)動器30在磁盤51、光盤52、磁光盤53或半導(dǎo)體存儲器54連接到該驅(qū)動器時驅(qū)動這些器件，以獲取記錄在其中的程序和數(shù)據(jù)。這樣獲取的程序和數(shù)據(jù)必要時被傳輸?shù)劫A存單元28，以貯存在那里。
參考圖4的流程圖解釋由該信號處理設(shè)備基于存儲在貯存單元28中的程序?qū)嵤┑牟僮?。首先在步驟S1，傳感器11獲取的一物體的圖像是通過例如通信單元29獲取的。信號處理器12的CPU 21發(fā)送所獲取的圖像數(shù)據(jù)給貯存單元28，以貯存在那里。
圖5示出與所獲取圖像數(shù)據(jù)關(guān)聯(lián)的一圖像。示出在該實施例中的該圖像包括排在背景61前面的前景62。這里，該前景是一架以預(yù)定速度在靜止的背景61前面向該附圖右邊移動的玩具飛機。結(jié)果，前景62的圖像是一經(jīng)受了所謂移動模糊的圖像。相反，背景61的圖像是靜止的，因此是沒有移動模糊的清晰的圖像?；旌蠀^(qū)域63是一個圖像，它包括作為背景61的物體和作為前景62的物體的混合。
然后在步驟S2，CPU 21檢測該物體的混合區(qū)域。在圖5的實施例中，將混合區(qū)域63作為兩個物體的混合區(qū)域進行檢測。
CPU 21在步驟S3判定該物體是否被混合。如果該物體未混合，即，如果沒有任何混合區(qū)域63，則該圖像不是本信息處理設(shè)備要處理的，因此結(jié)束處理。
相反，如果在步驟步驟S3做出物體被混合的判定，則CPU 21轉(zhuǎn)到步驟步驟S4以在檢測到的混合區(qū)域中得到物體的混合比。該混合比可以通過得到前景62相對于背景61的移動向量以及通過擬合該移動向量來得到，因此混合區(qū)域63中的混合比將在0到1范圍內(nèi)變化。在步驟S5，CPU 21實施分離混合區(qū)域63中的物體的處理，在混合區(qū)域63中基于所找到的混合比將多個物體混合在一起。
將使用圖5的圖像作為示例，更進一步詳細地解釋上述處理。如果繪制關(guān)于圖5的混合區(qū)域63的右邊的部分63A的一條線的圖像數(shù)據(jù)，則其結(jié)果如圖6所示，在其中橫坐標表示X坐標(圖5的水平方向上的坐標)，而縱坐標表示關(guān)于X坐標的像素值。
曲線L1表示關(guān)于第一定時的線的像素值，而曲線L2表示關(guān)于下一定時的另一線的像素值。類似地，曲線光發(fā)射層3和L4表示后續(xù)相鄰定時的線的像素值。換句話說，圖6示出關(guān)于在四個相鄰定時上所關(guān)聯(lián)的線的像素值方面的變化。
曲線L1示出第一定時中的狀態(tài)，在這種狀態(tài)下前景62還沒有被成像。因此曲線L1代表背景61的像素。
在曲線L1上，在X坐標140的附近該像素值為大約75，而在X坐標145處增加為大約130。然后該像素值降低，并且在X坐標149的附近該像素值為大約120。當X坐標增加時，該像素值再次增加并在X坐標154的附近達到大約160。然后該像素值再次降低，并且在X坐標162的附近該像素值達到大約130。接下來，在X坐標165的附近，該像素值接近180，而在X坐標170的附近，該像素值再次降低到大約125。接下來，在X坐標172的附近，該像素值增加到大約175，而在X坐標178的附近，該像素值降低到大約60。隨后，在X坐標178至195的區(qū)間內(nèi)該像素值在60至80之間輕微波動。在大約195的更右邊上的X坐標中，該像素值再次增加到大約160。
關(guān)于下一幀的曲線L2，直到145、該像素值都是大約200的常數(shù)。接著，在X坐標145至X坐標160之間的范圍內(nèi)，該像素值逐漸降低，在那個X坐標160處該像素值為大約125。然后該曲線經(jīng)歷按照類似于曲線L1的變化的變化。
隨后，直到X坐標158附近、曲線光發(fā)射層3的像素值都是大約200的常數(shù)，并且在X坐標164處該像素值降低到大約164，在這以后其增加到大約190。然后該曲線經(jīng)歷按照類似于曲線L1的變化的變化。
從X坐標140附近到X坐標170附近，曲線L4的像素值都是大約200的常數(shù)，并且從X坐標170附近到X坐標180附近該像素值急速降低，X坐標170附近的像素值為大約70。然后該曲線經(jīng)歷按照類似于曲線L1的變化的變化。
曲線L2至L4的像素值的這些變化歸因于這樣的事實，即雖然在曲線L1的狀態(tài)下存在只有背景61的圖像，但隨著前景62的圖像的移動即隨著時間的消逝，前景62的圖像逐漸增加。
特別地，正如從比較下面定時的曲線L1和曲線L2可以看見的那樣，直到X坐標147附近，曲線L2至L4的這些值在值方面實際上是相等的。從X坐標147附近開始，曲線L2的值不同于曲線發(fā)射層3、L4的值，在X坐標159附近變成等于曲線L1的值。隨后，曲線L2的像素值近似等于曲線L1的像素值。即，在對應(yīng)于從X坐標146至X坐標159的區(qū)間D1的區(qū)域R1中的曲線L2的值，指示出在一個單元周期中已經(jīng)從區(qū)間D1的左端向右端移動了前景62的最前面部分。
類似地，在對應(yīng)于從X坐標159至X坐標172的區(qū)間D2的區(qū)域剛性基底2中的下一定時的曲線反射層3的像素值，指示出已經(jīng)在過渡時期移動了前景62的最前面部分。在對應(yīng)于從X坐標172至X坐標184的區(qū)間D3的區(qū)域R3中的下一定時的曲線L4的像素值，指示出已經(jīng)在過渡時期移動了前景62的最前面部分。
因此，如果從曲線L2的像素值中減去以前景62與背景61的混合比為基礎(chǔ)加權(quán)的曲線L1的像素值，則獲得示出在圖7中的曲線L11。該曲線L11對應(yīng)于在混合區(qū)域63中從前景62的像素減去對應(yīng)于背景61的值的差，它代表具有0像素值的背景上的前景的圖像。同時，在圖7中，橫坐標和縱坐標分別表示提取的前景的位置和像素值。關(guān)于位置，左端和右端分別對應(yīng)于圖6中的區(qū)間D1的左端和右端。
類似地，如果在圖6中的區(qū)間D2中從曲線光反射層3的像素值中減去以該混合比加權(quán)的曲線L1的像素值，則獲得示出在圖7中的曲線L12，反之，如果在圖6中的區(qū)間D3中從曲線L4減去以該混合比加權(quán)的曲線L1的像素值，則獲得示出在圖7中的曲線L13。如圖7所示，曲線L12、L13實際上與曲線L11一致。這指示出前景62正在三個定時單元周期期間以幾乎相等的速度移動，并且已經(jīng)通過加權(quán)減法正確地獲得了黑背景，該黑背景是具有0像素值的背景上的前景像素值。
如果結(jié)合通過參考圖8的像素來解釋上述操作，在其中橫坐標表示部分63A的X坐標，而縱坐標表示從上向下指引的時間軸，由于在本實施例中的移動量為5，因此在t1至t5的時間間隔(快門時間內(nèi))中進行曝光。在圖8中，b1至bf表示背景61的各自像素的像素值，A1至A6表示前景62的像素值。
即，前景62的像素A1至A6出現(xiàn)在背景61的像素b3至b8的位置，而前景62的像素A1至A6在定時t2處向右移動一個像素，即移動到在背景61的像素b4至b9的位置。
隨后當時間從t3流逝到t5時，按照類似方式，以一個像素的間距向右順序移動前景62的像素A1至A6。在這種情況下，在平均定時t1至t5的各自線的像素時所獲得的像素值y1至yf構(gòu)成成像時獲得的像素，即這些像素以下列方程代表的值展示移動模糊
y3=15·a1+45·b3---(1)]]>y4=15·(a1+a2)+35·b4---(2)]]>y5=15·(a1+a2+a3)+25·b5---(3)]]>y6=15·(a1+a2+a3+a4)+15·b6---(4)]]>y7=15·(a1+a2+a3+a4+a5)---(5)]]>y8=15·(a1+a2+a3+a4+a5+a6)---(6)]]>y9=15·(a3+a4+a5+a6)+15·b9---(7)]]>ya=15·(a4+a5+a6)+25·ba---(8)]]>yb=15·(a5+a6)+35·bb---(9)]]>yc=15·a6+45·bc---(10)]]>同時，y1、y2、yd、ye和yf分別等于背景像素b1、b2、bd、be和bf。
如果去除背景的像素b1至bf，則混合區(qū)域63中的背景61和前景62可以相互分離。即，可以相互分離多個物體。此外，可以通過利用例如最小二乘法，在假定了要通過諸如使用快門時間(幀)的前和后的像素值知道的背景的像素b1至bf下，求解上述方程得到背景像素b1至bf。這使得前景圖像免于移動模糊。按照這種方式，可以減少由投影引起的現(xiàn)實世界的信息的失真，以諸如通過分辨率創(chuàng)建處理創(chuàng)建清晰的圖像。
在圖4中，它是被執(zhí)行的判別性的處理，即前面的處理用作基礎(chǔ)，下面的處理在假設(shè)前面的處理結(jié)果正確的前提下執(zhí)行?；蛘撸绗F(xiàn)在參考圖9所示的說明性處理所解釋的那樣，也可以是統(tǒng)計處理。
特別地，當執(zhí)行統(tǒng)計處理時，CPU 21在步驟S21獲取圖像數(shù)據(jù)。這個處理類似于圖4中的步驟S1實施的處理。
接下來在步驟S22，CPU 21實施從步驟S21獲得圖像數(shù)據(jù)得到前景比背景的混合比的處理。在步驟S23，CPU 21基于步驟S22得到的混合比執(zhí)行分離前景和背景的處理。
如果使用統(tǒng)計處理，則判定是否存在物體邊界的、諸如圖4的步驟S23中的處理不是必須要有的，因此使得相互分離前景和背景更快捷。
前面的描述示出了關(guān)于如何能夠從在拍攝在背景61前面移動的前景62的圖像時獲得的移動模糊圖像中分離和提取前景62的清晰圖像的方式。
現(xiàn)在解釋一信號處理設(shè)備的更特殊的實施例，該信號處理設(shè)備用于識別在其中掩藏了重要信息的區(qū)域，或者用于從通過判別性的處理自傳感器獲取的數(shù)據(jù)中提取這樣的被掩藏的重要信息。在下面的實施例中，CCD線傳感器或CCR區(qū)域傳感器對應(yīng)于該傳感器，而區(qū)域信息或混合比對應(yīng)于該重要信息且前景和背景的混合或移動模糊對應(yīng)于失真。
圖10是示出信號處理器12的方框圖。
同時，信號處理器12的各個功能由硬件還是由軟件實現(xiàn)并不重要。也就是說，本說明書的方框圖可以被認為是硬件方框圖、或者功能軟件方框圖。
應(yīng)該注意到，移動模糊指的是包含在移動物體中的失真，這種失真是正在被成像的現(xiàn)實世界的物體的移動和傳感器11特有的成像特性產(chǎn)生的。
在本說明書中，對應(yīng)于現(xiàn)實世界的一物體的圖像稱為圖像物體。
供給信號處理器12的輸入圖像供應(yīng)給物體提取單元101、區(qū)域指定單元103、混合比計算單元104和前景/背景分離單元105。
物體提取單元101粗略地提取對應(yīng)于包含在輸入的圖像中的前景物體的圖像物體，以將提取的圖像物體發(fā)送到移動檢測單元102。物體提取單元101檢測對應(yīng)于包含在輸入的圖像中的前景物體的圖像物體的輪廓，以粗略地提取對一個域該前景物體的圖像物體。
物體提取單元101粗略地提取對應(yīng)于包含在輸入的圖像中的前景物體的圖像物體，以將提取的圖像物體傳遞到移動檢測單元102。物體提取單元101基于輸入圖像和對應(yīng)于提取的前景物體的圖像物體之間的差別，粗略地提取對應(yīng)于該背景物體的圖像物體。
物體提取單元101也可以基于存儲在內(nèi)部的背景存儲器中的背景圖像和輸入圖像之間的差別，粗略地提取對應(yīng)于該前景物體的圖像物體和對應(yīng)于該背景物體的圖像物體。
移動檢測單元102利用諸如塊匹配法、梯度法、相位相關(guān)法或像素遞歸(Pel-Recursive)法，計算對應(yīng)于粗略地被提取的前景的圖像物體的移動向量，以將這樣計算出的移動向量和該移動向量的位置信息(指定對應(yīng)于該移動向量的像素的位置的信息)傳遞到移動模糊調(diào)整單元106。
在移動檢測單元102輸出的移動向量中，包含對應(yīng)于移動量v的信息。
移動檢測單元102也可以將基于圖像物體的移動向量與為圖像物體指定像素的像素位置信息一起，輸出到移動模糊調(diào)整單元106。
移動量v是一個值，用于以像素到像素的間隔最為單元代表對應(yīng)于移動物體的圖像的位置改變。例如，如果移動對應(yīng)于該前景的物體的圖像，使得以相對于在緊接著前一幀的幀中偏移了四個像素的位置顯示，對應(yīng)于該前景的物體的移動量v為4。
同時，當在移動模糊調(diào)整單元106中調(diào)整關(guān)聯(lián)于移動物體的移動模糊量時，使用物體提取單元101和移動檢測單元102。
區(qū)域指定單元103將指定輸入的圖像的每個像素的信息逐個像素地發(fā)送到前景區(qū)域、背景區(qū)域或混合區(qū)域之一，用于指示該像素屬于前景區(qū)域、背景區(qū)域或混合區(qū)域中的那一個，該信息還發(fā)送到混合比計算單元104、前景/背景分離單元105和移動模糊調(diào)整單元106。前述信息在下面將稱為區(qū)域信息。
混合比計算單元104基于該輸入圖像和從區(qū)域指定單元103供給的區(qū)域信息，計算包含在混合區(qū)域63中的像素的混合比，以將這樣計算出的混合比傳遞給前景/背景分離單元105。這個混合比在下面將被稱為混合比α。
該混合比α指示在對應(yīng)于背景物體的圖像的分量的像素值中的比例，如后面將要描述的方程(13)所指示的那樣。這些分量在下面也被稱為背景分量。
前景/背景分離單元105基于區(qū)域指定單元103供給的區(qū)域信息和混合比計算單元104供給的混合比α，將輸入圖像分離成前景分量圖像和背景分量圖像以將該前景分量圖像傳遞到移動模糊調(diào)整單元106和選擇單元107，其中前景分量圖像僅由關(guān)聯(lián)于前景的圖像分量組成，以下也被稱為前景分量，而背景分量圖像僅由背景分量組成。該被分離出來的前景分量圖像也可能是最后的輸出。得到比在不考慮常規(guī)混合區(qū)域的情況下、只能指定前景和背景的常規(guī)系統(tǒng)中獲得的前景和背景更精確的前景和背景是可能的。
移動模糊調(diào)整單元106基于正如從該移動向量中得到的移動量v和該區(qū)域信息，判定指示包含在該前景分量圖像中的一個或多個像素的處理單元。該處理單元是用于指定一組將要進行調(diào)整移動模糊量處理的像素的數(shù)據(jù)。
移動模糊調(diào)整單元106諸如通過去除包含在前景分量圖像中的移動模糊、減少移動模糊量或增加移動模糊量，基于輸入信號處理器12的移動模糊調(diào)整量、前景/背景分離單元105供給的前景分量圖像、移動檢測單元102供給的移動向量以及對應(yīng)的位置信息和該處理單元，來調(diào)整包含在前景分量圖像中的移動模糊量，以將適合于移動模糊量調(diào)整的前景分量圖像輸出到選擇單元107。如果有必要，可以不使用帶有其位置信息的移動向量。
選擇單元107選擇關(guān)于該移動模糊量進行了調(diào)整的、前景/背景分離單元105供給的前景分量圖像和移動模糊調(diào)整單元106供給的前景分量圖像之一，以輸出選中的前景分量圖像。
參考圖11至26來解釋發(fā)送到信號處理器12的輸入圖像。
圖11說明通過由配備CCD(電荷耦合器件)的CCD攝像機構(gòu)成的傳感器11的攝像，其中CCD是一種固態(tài)成像器件。對應(yīng)于現(xiàn)實世界中的前景的物體在現(xiàn)實世界的背景的物體和傳感器11之間移動，例如水平地由左向右移動。
傳感器11將對應(yīng)于前景的物體和對應(yīng)于背景的物體一起成像。傳感器11輸出按幀拍攝的圖像。例如，傳感器11每秒輸出30幀圖像。傳感器11的曝光時間可以設(shè)置為1/30秒。曝光時間是自開始將輸入到傳感器11的光轉(zhuǎn)換成電荷起，至結(jié)束將輸入的光轉(zhuǎn)換成電荷為止這段時間。這個曝光時間在下面有時稱為快門時間。
參考圖12，它示出像素排列，A至I表示單獨的像素。這些像素排列在對應(yīng)于一圖像的平面內(nèi)。在傳感器11上排列一與一個像素關(guān)聯(lián)的檢測元件。當傳感器11拍攝圖像時，一個檢測元件輸出與屬于該圖像的一個像素關(guān)聯(lián)的像素值。例如，檢測器件沿X方向的位置對應(yīng)于在圖像中橫向上的位置，而沿Y方向的位置對應(yīng)于在圖像中縱向上的位置。
參考圖13，在對應(yīng)于快門時間的時間期間，諸如CCD這樣的檢測器件將輸入的光轉(zhuǎn)換成電荷，以存儲這樣所轉(zhuǎn)換的電荷。該電荷量近似等于輸入光的強度和該光被輸入的時間期間。該檢測器件將對應(yīng)于快門時間的時間期間，從輸入光轉(zhuǎn)換來的、已經(jīng)被存儲的電荷加起來。即，檢測器件積分對應(yīng)于快門時間的時間期間的輸入光，以以對應(yīng)于被積分的光的量累積電荷。這種檢測器件被說成具有關(guān)于時間的積分效應(yīng)。
在檢測器件中累積的電荷由未示出的電路轉(zhuǎn)換成電壓。該電壓又轉(zhuǎn)換成諸如數(shù)字數(shù)據(jù)這樣的像素值，以輸出。因此由傳感器11輸出的各個像素是映射到一維空間的值中的，它是關(guān)于對應(yīng)于前景或背景的物體的空間延伸部分的快門時間的積分結(jié)果。
信號處理器12通過傳感器11的這種積累操作，提取掩藏在輸出信號中的重要信息，例如混合比α。信號處理器12調(diào)整由就是前景圖像物體的混合引起的失真量，例如，移動模糊量。信號處理器12也調(diào)整由前景圖像物體與背景圖像物體的混合產(chǎn)生的失真量。
圖14說明在成像對應(yīng)于移動前景的物體和對應(yīng)于靜止背景的物體時所獲得的圖像。圖14A示出在成像對應(yīng)于移動前景的物體和對應(yīng)于靜止背景的物體時所獲得的圖像。在圖14A示出的實施例中，對應(yīng)于前景的物體正在水平地、相對于該圖像從左到右移動。
圖14B是示出對應(yīng)于圖14A所示的圖像的單線的像素值的示意圖，正如沿時間軸延伸的那樣。圖14B的橫向?qū)?yīng)于圖14A的空間方向X。
背景區(qū)域的像素僅由背景分量，即對應(yīng)于背景物體的圖像的分量構(gòu)成。前景區(qū)域的像素僅由前景分量，即對應(yīng)于前景的圖像的分量構(gòu)成。
混合區(qū)域的像素根據(jù)背景和前景分量構(gòu)成。其像素是根據(jù)背景和前景分量構(gòu)成的的混合區(qū)域可以說是失真區(qū)域。該混合區(qū)域還進一步分成被覆蓋的背景區(qū)域和未被覆蓋的背景區(qū)域。
被覆蓋的背景區(qū)域是沿該前景的前進方向、與最前面部分相互對準的混合區(qū)域的一部分，并且是隨時間的流逝背景分量被前景掩藏的區(qū)域。
另一方面，未被覆蓋的背景區(qū)域是沿該前景的前進方向、與后面部分相互對準的混合區(qū)域的一部分，并且是隨時間的流逝背景分量自己出現(xiàn)的區(qū)域。
包括前景區(qū)域、背景區(qū)域、被覆蓋的背景區(qū)域或未被覆蓋的背景區(qū)域的圖像作為輸入圖像輸入到區(qū)域指定單元103、混合比計算單元104和前景/背景分離單元105。
圖15說明上述的背景區(qū)域、前景區(qū)域、混合區(qū)域、被覆蓋的背景區(qū)域和未被覆蓋的背景區(qū)域。關(guān)于圖14所示的圖像，背景區(qū)域為靜止部分，前景區(qū)域為移動部分，混合區(qū)域的被覆蓋的背景區(qū)域為圖像由背景變成前景的那部分區(qū)域，而混合區(qū)域的未被覆蓋的背景區(qū)域為圖像由前景變成背景的那部分區(qū)域。
圖16示意性地示出隨沿著時間軸方向延伸的所示像素值，在成像對應(yīng)于靜止前景的物體時所獲得的圖像或成像對應(yīng)于靜止背景的物體時所拍攝的圖像中，一行中的相鄰像素的像素值。作為排列在一行中的相鄰像素，選擇排列在圖像的單線上的像素是可能的。
如圖16所示，F(xiàn)01至F04的像素值是靜止前景的物體的像素的像素值。如圖16所示，B01至B04的像素值是靜止背景的物體的像素的像素值。
在圖16中，時間從上到下流逝。圖16的矩形上邊的位置對應(yīng)于傳感器11開始將輸入光轉(zhuǎn)換成電荷的時間，而圖16的矩形下邊的位置對應(yīng)于傳感器11結(jié)束將輸入光轉(zhuǎn)換成電荷的時間。即從圖16的矩形上邊到下邊的距離對應(yīng)于快門時間。
在下面的描述中，假設(shè)快門時間等于幀間隔。
圖16的橫向?qū)?yīng)于空間方向X，參考圖14進行解釋。更具體地說，從圖16中的矩形“F01”的左邊到矩形“B04”的右邊的距離是像素間距的八倍，即八個相鄰像素的跨度。
如果前景和背景物體是靜止的，那么輸入到傳感器11的光在對應(yīng)于快門時間的時間期間不改變。
對應(yīng)于快門時間的時間跨度被分開成兩個或多個相等的時間間隔。例如，如果實際分開的時間間隔數(shù)是四，則圖16的圖表可以表示成圖17的圖表。實際分開的時間間隔數(shù)關(guān)聯(lián)于例如對應(yīng)于前景的物體的快門時間的移動量v進行設(shè)置。例如，如果該移動量v為四，則實際分開的時間間隔數(shù)為4，與將對應(yīng)于快門時間的時間跨度分開成四相一致。
該附圖中的最頂行對應(yīng)于自快門打開時間以來的第一分開時間間隔。第二行對應(yīng)于自快門打開時間以來的第二分開時間間隔。第三行對應(yīng)于自快門打開時間以來的第三分開時間間隔，而第四行對應(yīng)于自快門打開時間以來的第四分開時間間隔。
在這以后，關(guān)聯(lián)于移動量v的快門時間分開也被稱為快門時間/v。
當對應(yīng)于前景的物體處于靜止狀態(tài)時，輸入傳感器11的光不改變。因此前景分量F01/v等于像素值F01除以實際分開的時間間隔數(shù)。類似地，當對應(yīng)于前景的物體處于靜止狀態(tài)時，前景分量F02/v等于像素值F02除以實際分開的時間間隔數(shù)，而前景分量F03/v等于像素值F03除以實際分開的時間間隔數(shù)，前景分量F04/v等于像素值F04除以實際分開的時間間隔數(shù)。
當對應(yīng)于背景的物體處于靜止狀態(tài)時，輸入傳感器11的光不改變。因此背景分量B01/v等于像素值B01除以實際分開的時間間隔數(shù)。類似地，當對應(yīng)于背景的物體處于靜止狀態(tài)時，背景分量B02/v等于像素值B02除以實際分開的時間間隔數(shù)，而背景分量B03/v等于像素值B03除以實際分開的時間間隔數(shù)，背景分量B04/v等于像素值B04除以實際分開的時間間隔數(shù)。
即，當對應(yīng)于前景的物體處于靜止狀態(tài)時，在對應(yīng)于快門時間的時間期間，輸入傳感器11的、對應(yīng)于前景的光保持不變。因此對應(yīng)于從快門打開起的快門時間/v的第一前景分量F01/v、對應(yīng)于從快門打開起的快門時間/v的第二前景分量F02/v、對應(yīng)于從快門打開起的快門時間/v的第三前景分量F03/v和對應(yīng)于從快門打開起的快門時間/v的第四前景分量F04/v是等值的。上述關(guān)于F01/v成立的描述也對F02/v值F04/v成立。
當對應(yīng)于背景的物體處于靜止狀態(tài)時，在對應(yīng)于快門時間的時間期間，輸入傳感器11的、對應(yīng)于背景物體的光保持不變。因此對應(yīng)于從快門打開起的快門時間/v的第一背景分量B01/v、對應(yīng)于從快門打開起的快門時間/v的第二背景分量B02/v、對應(yīng)于從快門打開起的快門時間/v的第三背景分量B03/v和對應(yīng)于從快門打開起的快門時間/v的第四背景分量B04/v是等值的。上述關(guān)于B01/v成立的描述也對B02/v值B04/v成立。
在下面的描述中，假設(shè)對應(yīng)于前景的物體正在移動，而對應(yīng)于背景的物體處于靜止狀態(tài)。
圖18示意性地示出在對應(yīng)于前景的物體正在附圖中向右移動時，排列在包括被覆蓋的背景區(qū)域的一條線上的像素的像素值，被示出的像素值隨時間軸方向延伸。在圖18中，前景的移動量v為4。由于一幀是一短時期，因此可以假設(shè)對應(yīng)于前景的物體是剛體，并且正在勻速移動。在圖18中，移動對應(yīng)于前景的物體的圖像，以使得在緊接前面的基準幀的幀中向右顯示四個像素。
在圖18中，最左邊至從左起第四像素屬于前景區(qū)域。在圖18中，左起第五至左起第七像素屬于是被覆蓋的背景區(qū)域的混合區(qū)域。在圖18中，最右邊的像素屬于背景區(qū)域。
由于移動對應(yīng)于前景的物體以隱藏對應(yīng)于背景的物體，因此隨著時間的流逝，包含屬于被覆蓋的背景區(qū)域的像素的像素值中的分量在對應(yīng)于快門時間的時間間隔的某個時間點，從背景分量圖像切換到前景分量圖像。
例如，在圖18中用粗線框顯示出的像素值M由方程(11)代表M＝B02/v+B02/v+F07/v+F06/v(11)例如，在圖18中用粗線框顯示出的像素值M包含對應(yīng)于一個快門時間/v的背景分量和對應(yīng)于三個快門時間/v的前景分量，左起第五像素的混合比α為1/4。左起第六像素包含對應(yīng)于兩個快門時間/v的背景分量和對應(yīng)于兩個快門時間/v的前景分量，因此混合比α為1/2。左起第七像素包含對應(yīng)于三個快門時間/v的背景分量和對應(yīng)于一個快門時間/v的前景分量，因此混合比α為3/4。
由于對應(yīng)于前景的物體是剛體，因此勻速移動前景以使得在下一幀中向右顯示四個像素，圖18中的左起第四像素的、關(guān)于自快門打開時間起的第一快門時間/v的第一前景分量F07/v，等于圖18中的左起第五像素的、對應(yīng)于自快門打開時間起的第二快門時間/v的第二前景分量。類似地，前景分量F07/v等于圖18中的左起第六像素的、對應(yīng)于自快門打開時間起的第三快門時間/v的前景分量，以及等于圖18中的左起第七像素的、對應(yīng)于自快門打開時間起的第四快門時間/v的前景分量。
由于對應(yīng)于前景的物體是剛體，因此勻速移動前景以使得在下一幀中向右顯示四個像素，圖18中的左起第三像素的、關(guān)于自快門打開時間起的第一快門時間/v的第一前景分量F06/v，等于圖18中的左起第四像素的、對應(yīng)于自快門打開時間起的第二快門時間/v的第二前景分量。類似地，前景分量F06/v等于圖18中的左起第五像素的、對應(yīng)于自快門打開時間起的第三快門時間/v的前景分量，以及等于圖18中的左起第六像素的、對應(yīng)于自快門打開時間起的第四快門時間/v的前景分量。
由于對應(yīng)于前景的物體是剛體，因此勻速移動前景以使得在下一幀中向右顯示四個像素，圖18中的左起第二像素的、關(guān)于自快門打開時間起的第一快門時間/v的第一前景分量F05/v，等于圖18中的左起第四像素的、對應(yīng)于自快門打開時間起的第二快門時間/v的第三前景分量。類似地，前景分量F05/v等于圖18中的左起第四像素的、對應(yīng)于自快門打開時間起的第三快門時間/v的前景分量，以及等于圖18中的左起第五像素的、對應(yīng)于自快門打開時間起的第四快門時間/v的前景分量。
由于對應(yīng)于前景的物體是剛體，因此勻速移動前景以使得在下一幀中向右顯示四個像素，圖18中的最左邊的像素的、關(guān)于自快門打開時間起的第一快門時間/v的第一前景分量F04/v，等于圖18中的左起第二像素的、對應(yīng)于自快門打開時間起的第二快門時間/v的第二前景分量。類似地，前景分量F04/v等于圖18中的左起第三像素的、對應(yīng)于自快門打開時間起的第三快門時間/v的前景分量，以及等于圖18中的左起第四像素的、對應(yīng)于自快門打開時間起的第四快門時間/v的前景分量。
因此對應(yīng)于該移動物體的前景區(qū)域包含移動模糊，并且可以被說成失真區(qū)域。
圖19示意性地示出在前景正在附圖中向右移動的情況下，在包括未被覆蓋的背景區(qū)域的一條線上的像素的像素值，被示出的像素值隨時間軸方向延伸。在圖19中，前景的移動量v為4。由于一幀是一短時期，因此可以假設(shè)對應(yīng)于前景的物體是剛體，并且正在勻速移動。在圖19中，移動對應(yīng)于前景的物體的圖像，以使得在緊接前面幀的幀中向右顯示四個像素。
在圖19中，最左邊至從左起第四像素屬于背景區(qū)域。在圖19中，左起第五至左起第七像素屬于是被覆蓋的背景區(qū)域的混合區(qū)域。在圖19中，最右邊的像素屬于背景區(qū)域。
由于移動了對應(yīng)于前景的物體，該前景隱藏了對應(yīng)于背景的物體，因而使得從在對應(yīng)于背景的物體的前面一個位置上移動該對應(yīng)于前景的物體，隨著時間的流逝，包含在屬于被覆蓋的背景區(qū)域的像素的像素值中的分量在對應(yīng)于快門時間的時間間隔的某個時間點上，被從背景分量圖像切換到前景分量圖像。
例如，在圖19中用粗線框顯示出的像素值M由方程(12)代表M′＝F02/v+F01/v+B26/v+B26/v (12)例如，左起第五像素包含對應(yīng)于三個快門時間/v的背景分量和對應(yīng)于一個快門時間/v的前景分量，左起第五像素的混合比α為3/4。左起第六像素包含對應(yīng)于兩個快門時間/v的背景分量和對應(yīng)于兩個快門時間/v的前景分量，因此混合比α為1/2。左起第七像素包含對應(yīng)于一個快門時間/v的背景分量和對應(yīng)于三個快門時間/v的前景分量，因此混合比α為1/4。
如果推廣方程(11)、(12)，像素值M可以用下列方程(13)表示M=α·B+ΣiFi/v]]>
式中α為混合比，B為背景的像素值，而Fi/v為前景分量。
由于對應(yīng)于前景的物體是剛體，并且可以假設(shè)以移動量4勻速移動，因此圖19中的左起第五像素的、關(guān)于自快門打開時間起的第一快門時間/v的第一前景分量F01/v，等于圖19中的左起第六像素的、對應(yīng)于自快門打開時間起的第二快門時間/v的第二前景分量。類似地，前景分量F01/v等于圖19中的左起第七像素的、對應(yīng)于自快門打開時間起的第三快門時間/v的前景分量，以及等于圖19中的左起第八像素的、對應(yīng)于自快門打開時間起的第四快門時間/v的前景分量。
由于對應(yīng)于前景的物體是剛體，并且可以假設(shè)以移動量4勻速移動，因此圖19中的左起第六像素的、關(guān)于自快門打開時間起的第一快門時間/v的第一前景分量F02/v，等于圖19中的左起第七像素的、對應(yīng)于自快門打開時間起的第二快門時間/v的第二前景分量。類似地，前景分量F02/v等于圖19中的左起第八像素的、對應(yīng)于自快門打開時間起的第三快門時間/v的前景分量。
由于對應(yīng)于前景的物體是剛體，并且可以假設(shè)以移動量4勻速移動，因此圖19中的左起第七像素的、關(guān)于自快門打開時間起的第一快門時間/v的第一前景分量F03/v，等于圖19中的左起第八像素的、對應(yīng)于自快門打開時間起的第二快門時間/v的第二前景分量。
雖然在參考圖17和19的描述中實際分開的時間間隔數(shù)為四，但實際分開的時間間隔數(shù)對應(yīng)于移動量v。一般來說，移動量v對應(yīng)于與前景對應(yīng)的物體的移動速度。例如，如果對應(yīng)于前景的物體正在移動使得在緊接著前面的基準幀的幀中向右顯示四個像素，則移動量v為4。與移動量v關(guān)聯(lián)起來設(shè)置實際分開的時間間隔數(shù)為4。類似地，如果對應(yīng)于前景的物體正在移動使得在緊接著前面的基準幀的幀中向右顯示六個像素，則移動量v為6，與實際分開的時間間隔數(shù)為六一致。
圖20和21示出前景區(qū)域、背景區(qū)域和混合區(qū)域之間的關(guān)系，其中混合區(qū)域一方面包括被覆蓋的背景區(qū)域和未被覆蓋的背景區(qū)域，另一方面又包括對應(yīng)于分開的快門時間的前景和背景分量，如上所述。
圖20示出一象從對應(yīng)于在靜止背景前移動的物體的圖像中提取那樣，提取前景區(qū)域、背景區(qū)域和混合區(qū)域的像素的示例。在圖20所示的實施例中，對應(yīng)于前景的物體關(guān)于該圖像水平地移動。
幀#n+1是緊接著幀#n的幀，而幀#n+2是緊接著幀#n+1的幀。
圖21示意性地示出在提取前景區(qū)域、背景區(qū)域和混合區(qū)域的像素，而這些區(qū)域由是以移動量v為4依次從幀#n至#n+2之一中提取時，和在沿時間軸方向擴展所提取像素的像素值時所獲得的模型。
由于移動了對應(yīng)于前景的物體，因此前景區(qū)域的像素值由對應(yīng)于快門時間/v周期的四個不同前景分量構(gòu)成。例如，圖21所示的前景區(qū)域的像素的最左邊一個是F01/v、F02/v、F03/v和F04/v。即前景區(qū)域的像素包容因移動模糊而破壞。
由于對應(yīng)于背景的物體處于靜止狀態(tài)，對應(yīng)于輸入到傳感器11的背景的光在對應(yīng)于快門時間的時間期間不改變。在這種情況下，背景的像素值不受移動模糊的影響。
屬于由被覆蓋的背景區(qū)域或未被覆蓋的區(qū)域組成的混合區(qū)域的像素值或像素包括前景和背景分量。
解釋包括多幀中的一行中的相鄰像素的模型，在其中處于一幀的同一位置的像素的像素值隨著移動對應(yīng)于一物體的圖像，在時間軸方向延伸。例如，如果對應(yīng)于該物體的圖像正在水平地相對該圖像移動，則排列在該圖像上的同一行中的像素可以被選擇為以圖像中的一行中的像素。
圖22示意性地示出在臨時擴展排列在對應(yīng)于靜止背景的被拍攝的物體的圖像的三個幀的每一個的一行中的像素的像素值時所獲得的模型，其中被擴展的像素位于各個幀中的同一位置。幀#n是緊接著幀#n·1的幀，而幀#n+1是緊接著幀#n的幀。其余的幀以類似方式命名。
圖22所示的B01至B02的像素值是對應(yīng)于靜止背景的物體的像素的像素值。由于對應(yīng)于該背景的物體處于靜止狀態(tài)，因此在幀#n·1至#n+1中的對應(yīng)像素的像素值不改變。例如，在幀#n·1中對應(yīng)于具有B05像素值的像素的位置的、幀#n中的像素和幀#n+1中的像素是B05的像素值。
圖23示出對應(yīng)于在圖23中向右移動的前景的物體的被拍攝的圖像的三個幀的每一個的一行中相鄰像素的像素值，連同對應(yīng)于靜止背景的物體，其中被示出的像素值沿時間軸方向擴展。顯示在圖23的模型包括一被覆蓋的背景區(qū)域。
在圖23中，對應(yīng)于前景的物體是剛體，并且可以假設(shè)隨著該前景圖像被移動而以勻速移動，使得該前景圖像在下一幀中向右顯示四個像素。因此，該前景的移動量v為4，與實際分開的時間間隔數(shù)是4一致。
例如，圖23中的幀#n·1的最左邊的像素的前景分量，關(guān)于自快門打開起的第一快門時間/v，為F12/v，而左起第二像素的前景分量，關(guān)于自快門打開起的第二快門時間/v，也為F12/v。圖23中的左起第三像素的前景分量，關(guān)于自快門打開起的第三快門時間/v，以及圖23中的左起第四像素的前景分量，關(guān)于自快門打開起的第四快門時間/v都為F12/v。
例如，圖23中的幀#n·1的最左邊的像素的前景分量，關(guān)于自快門打開起的第二快門時間/v，為F11/v，而左起第二像素的前景分量，關(guān)于自快門打開起的第三快門時間/v，也為F11/v。圖23中的左起第三像素的前景分量，關(guān)于自快門打開起的第四快門時間/v為F11/v。
圖23中的幀#n·1的最左邊的像素的前景分量，關(guān)于自快門打開起的第三快門時間/v，為F10/v，而左起第二像素的前景分量，關(guān)于自快門打開起的第四快門時間/v，也為F10/v。圖23中的最左邊的前景分量，關(guān)于自快門打開起的第四快門時間/v為F09/v。
由于對應(yīng)于該背景的物體處于靜止狀態(tài)，因此圖23中的幀#n·1的左起第二像素的背景分量，關(guān)于自快門打開起的第一快門時間/v，為B01/v。圖23中的幀#n·1的左起第三像素的背景分量，關(guān)于自快門打開起的第一和二快門時間/v，是B02/v，而圖23中的幀#n·1的左起第四像素的背景分量，關(guān)于自快門打開起的第一至第三快門時間/v為B03/v。
在圖23的幀#n·1中，最左邊的像素屬于前景區(qū)域，而左起第二至第四像素屬于為被覆蓋的背景區(qū)域的混合區(qū)域。
圖23中的幀#n·1的左起第五至第十二像素屬于背景區(qū)域，對應(yīng)的像素值分別為B04至B11。
圖23中幀#n·1的第一至第五像素屬于背景區(qū)域。幀#n的前景區(qū)域中的前景分量，關(guān)于快門時間/v為F05/v至F12/v之一。
由于對應(yīng)于前景的物體是剛體，并且可以假設(shè)隨著該前景圖像被移動而以勻速移動，使得該前景圖像在下一幀中向右顯示四個像素，在圖23中的幀#n的左起第五像素的前景分量，關(guān)于自快門打開起的第一快門時間/v，為F12/v，而左起第六像素的前景分量，關(guān)于自快門打開起的第二快門時間/v，也為F12/v。圖23中的左起第七像素的前景分量，關(guān)于自快門打開起的第三快門時間/v，以及圖23中的左起第八像素的前景分量，關(guān)于自快門打開起的第四快門時間/v都為F12/v。
在圖23中的幀#n的左起第五像素的前景分量，關(guān)于自快門打開起的第二快門時間/v，為F11/v，而左起第六像素的前景分量，關(guān)于自快門打開起的第三快門時間/v，也為F11/v。圖23中的左起第七像素的前景分量，關(guān)于自快門打開起的第四快門時間/v為F11/v。
在圖23中的幀#n的左起第五像素的前景分量，關(guān)于自快門打開起的第三快門時間/v，為F10/v，而左起第六像素的前景分量，關(guān)于自快門打開起的第四快門時間/v，也為F10/v。在圖23中的左起第五像素的前景分量，關(guān)于自快門打開起的第四快門時間/v為F09/v。
由于對應(yīng)于該背景的物體處于靜止狀態(tài)，因此圖23中的幀#n的左起第六像素的背景分量，關(guān)于自快門打開起的第一快門時間/v，為B05/v。圖23中的幀#n的左起第七像素的背景分量，關(guān)于自快門打開起的第一和二快門時間/v，是B06/v，而圖23中的幀#n的左起第八像素的背景分量，關(guān)于自快門打開起的第一至第三快門時間/v為B07/v。
在圖23的幀#n·1中，左起第一至第九像素屬于前景區(qū)域，而左起第六至第八像素屬于為被覆蓋的背景區(qū)域的混合區(qū)域。
圖23中的幀#n+1的左起第一至第九至第十二像素屬于前景區(qū)域，像素值分另為B08至B11。
圖23中幀#n+1的第一至第九像素屬于前景區(qū)域。幀#n+1的前景區(qū)域中的前景分量，關(guān)于快門時間/v為F01/v至F12/v之一。
由于對應(yīng)于前景的物體是剛體，并且可以假設(shè)隨著該前景圖像被移動而以勻速移動，使得該前景圖像在下一幀中向右顯示四個像素，在圖23中的幀#n+1的左起第九像素的前景分量，關(guān)于自快門打開起的第一快門時間/v，為F12/v，而左起第十像素的前景分量，關(guān)于自快門打開起的第二快門時間/v，也為F12/v。圖23中的左起第十一像素的前景分量，關(guān)于自快門打開起的第三快門時間/v，以及圖23中的左起第十二像素的前景分量，關(guān)于自快門打開起的第四快門時間/v都為F12/v。
在圖23中的幀#n+1的左起第九像素的前景分量，關(guān)于自快門打開起的第二快門時間/v，為F11/v，而左起第十像素的前景分量，關(guān)于自快門打開起的第三快門時間/v，也為F11/v。圖23中的左起第十一像素的前景分量，關(guān)于自快門打開起的第四快門時間/v為F11/v。
在圖23中的幀#n+1的左起第九像素的前景分量，關(guān)于自快門打開起的第三快門時間/v，為F10/v，而左起第十像素的前景分量，關(guān)于自快門打開起的第四快門時間/v，也為F10/v。在圖23中的幀n+1的左起第九像素的前景分量，關(guān)于自快門打開起的第四快門時間/v為F09/v。
由于對應(yīng)于該背景的物體處于靜止狀態(tài)，因此圖23中的幀#n+1的左起第十像素的背景分量，關(guān)于自快門打開起的第一快門時間/v，為B09/v。圖23中的幀#n+1的左起第十一像素的背景分量，關(guān)于自快門打開起的第一和二快門時間/v，是B10/v，而圖23中的幀#n+1的左起第十二像素的背景分量，關(guān)于自快門打開起的第一至三快門時間/v為B11/v。
在圖23的幀#n+1中，左起第十至十二對應(yīng)于為被覆蓋的背景區(qū)域的混合區(qū)域。
圖24示意性地示出在從圖23所示的像素值中提取前景分量時所獲得的圖像。
圖25示出對應(yīng)于在附圖中向右移動的前景的被拍攝的圖像的三個幀的每一個的一行中的相鄰像素，連同該靜止背景。在圖25中也示出了未被覆蓋的背景區(qū)域。
在圖25中，對應(yīng)于前景的物體是剛體，并且可以假設(shè)隨著該前景圖像被移動而以勻速移動，以使得該前景圖像在下一幀中向右顯示四個像素。因此，該前景的移動量v為4。
例如，圖25中的幀#n·1的最左邊的像素的前景分量，關(guān)于自快門打開起的第一快門時間/v，為F13/v，而左起第二像素的前景分量，關(guān)于自快門打開起的第二快門時間/v，也為F13/v。圖23中的左起第三像素的前景分量，關(guān)于自快門打開起的第二快門時間/v，以及圖25中的左起第四像素的前景分量，關(guān)于自快門打開起的第四快門時間/v都為F13/v。
例如，圖23中的幀#n·1的左起第二像素的前景分量，關(guān)于自快門打開起的第一快門時間/v，為F14/v，而左起第三像素的前景分量，關(guān)于自快門打開起的第二快門時間/v，也為F14/v。圖25中的左起第三像素的前景分量，關(guān)于自快門打開起的第一快門時間/v為F15/v。
由于對應(yīng)于該背景的物體處于靜止狀態(tài)，因此圖25中的幀#n·1的最左邊的像素的背景分量，關(guān)于自快門打開起的第二至第四快門時間/v，為B01/v。圖25中的幀#n·1的左起第二像素的背景分量，關(guān)于自快門打開起的第三和第四快門時間/v，是B26/v，而圖25中的幀#n·1的左起第三像素的背景分量，關(guān)于自快門打開起的第四快門時間/v為B27/v。
在圖25的幀#n·1中，左起第一至第三像素屬于為被覆蓋的背景區(qū)域的混合區(qū)域。
圖25中的幀#n·1的左起第四至第十二像素屬于前景區(qū)域，而該幀的前景的前景分量為F13/v至F24/v之一。
圖25中幀#n的第一至第四像素屬于背景區(qū)域，像素值分別為B25至B28。
由于對應(yīng)于前景的物體是剛體，并且可以假設(shè)隨著該前景圖像被移動而以勻速移動，使得該前景圖像在下一幀中向右顯示四個像素，在圖23中的幀#n的左起第五像素的前景分量，關(guān)于自快門打開起的第一快門時間/v，為F13/v，而左起第六像素的前景分量，關(guān)于自快門打開起的第二快門時間/v，也為F13/v。圖25中的左起第七像素的前景分量，關(guān)于自快門打開起的第三快門時間/v，以及圖25中的左起第八像素的前景分量，關(guān)于自快門打開起的第四快門時間/v都為F13/v。
在圖25中的幀#n的左起第六像素的前景分量，關(guān)于自快門打開起的第一快門時間/v，為F14/v，而左起第七像素的前景分量，關(guān)于自快門打開起的第二快門時間/v，也為F14/v。圖25中的左起第八像素的前景分量，關(guān)于自快門打開起的第一快門時間/v為F15/v。
由于對應(yīng)于該背景的物體處于靜止狀態(tài)，因此圖25中的幀#n的左起第五像素的背景分量，關(guān)于自快門打開起的第二至第四快門時間/v，為B29/v。圖25中的幀#n的左起第六像素的背景分量，關(guān)于自快門打開起的第三和第四快門時間/v，是B30/v，而圖23中的幀#n的左起第七像素的背景分量，關(guān)于自快門打開起的第四快門時間/v為B31/v。
在圖25的幀#n中，左起第一至第九像素屬于前景區(qū)域，而左起第五至第七像素屬于為被覆蓋的背景區(qū)域的混合區(qū)域。
圖25中的幀#n+1的左起第八至第十二像素屬于前景區(qū)域，像素值分別為B25至B32。
圖25中的幀#n+1的第一至第八像素屬于背景區(qū)域，像素值分別為B25至B32。
由于對應(yīng)于前景的物體是剛體，并且可以假設(shè)隨著該前景圖像被移動而以勻速移動，使得該前景圖像在下一幀中向右顯示四個像素，在圖25中的幀#n+1的左起第九像素的前景分量，關(guān)于自快門打開起的第一快門時間/v，為F13/v，而左起第十像素的前景分量，關(guān)于自快門打開起的第二快門時間/v，也為F13/v。圖25中的左起第十一像素的前景分量，關(guān)于自快門打開起的第三快門時間/v，以及圖25中的左起第十二像素的前景分量，關(guān)于自快門打開起的第四快門時間/v都為F13/v。
在圖25中的幀#n+1的左起第十像素的前景分量，關(guān)于自快門打開起的第一快門時間/v，為F14/v，而左起第十一像素的前景分量，關(guān)于自快門打開起的第二快門時間/v，也為F14/v。圖25中的左起第十二像素的前景分量，關(guān)于自快門打開起的第一快門時間/v為F15/v。
由于對應(yīng)于該背景的物體處于靜止狀態(tài)，因此圖25中的幀#n+1的左起第九像素的背景分量，關(guān)于自快門打開起的第二至四快門時間/v，為B33/v。圖25中的幀#n+1的左起第十像素的背景分量，關(guān)于自快門打開起的第三和第四快門時間/v，是B34/v，而圖25中的幀#n+1的左起第十一像素的背景分量，關(guān)于自快門打開起的第四快門時間/v為B35/v。
在圖25的幀#n+1中，左起第九至第十一像素對應(yīng)于為被覆蓋的背景區(qū)域的混合區(qū)域。
在圖25中，幀#n+1的左起第十二像素屬于前景區(qū)域。幀#n+1的前景區(qū)域中的關(guān)于快門時間/v的前景分量為F13/v至F16/v之一。
圖26示意性地示出在從圖25所示的像素值中提取前景分量時獲得的圖像。
回到圖10，區(qū)域指定單元103利用多個幀的像素值，逐個像素地關(guān)聯(lián)一指示已知圖像屬于前景區(qū)域、背景區(qū)域、被覆蓋的背景區(qū)域或未被覆蓋的背景區(qū)域的標志，并且將產(chǎn)生的區(qū)域信息傳遞給混合比計算單元104和移動模糊調(diào)整單元106。
基于該多幀的像素值和該區(qū)域信息，混合比計算單元104為每個包含在混合區(qū)域的像素計算混合比α，并將計算出的混合比α發(fā)送到前景/背景分離單元105。
基于該多幀的像素值、該區(qū)域信息和混合比α，前景/背景分離單元105提取僅由前景分量構(gòu)成的前景分量圖像，以將所提取的分量圖像發(fā)送到移動模糊調(diào)整單元106。
基于從前景/背景分離單元105發(fā)送來的前景分量圖像、從移動檢測單元102發(fā)送的移動向量和從區(qū)域指定單元103發(fā)送來的區(qū)域信息，移動模糊調(diào)整單元106調(diào)整包含在該前景分量圖像中的移動模糊量、以輸出關(guān)于移動模糊進行了調(diào)整的前景分量圖像。
參考圖27的流程，解釋調(diào)整由信號處理器12引起的移動模糊的處理。在步驟S101，區(qū)域指定單元103執(zhí)行區(qū)域指定處理，用于從輸入圖像的一個像素到另一個像素地產(chǎn)生指示前景區(qū)域、背景區(qū)域、被覆蓋的背景區(qū)域或未被覆蓋的背景區(qū)域中那一個屬于輸入的圖像的像素的區(qū)域信息。該區(qū)域指定處理將在后面參考圖36的流程進行解釋。區(qū)域指定單元103發(fā)送所產(chǎn)生的區(qū)域信息到混合比計算單元104。
同時，在步驟S101的區(qū)域指定單元103可以從輸入圖像的一個像素到另一個像素地、基于輸入圖像產(chǎn)生指示前景區(qū)域、背景區(qū)域或混合區(qū)域中那一個屬于輸入的圖像的像素的區(qū)域信息。在這種情況下，在被覆蓋的背景區(qū)域和未被覆蓋的背景區(qū)域之間沒有區(qū)別。在這種情況下，前景/背景分離單元105和移動模糊調(diào)整單元106基于移動向量的方向，判定混合區(qū)域是被覆蓋的背景區(qū)域還是未被覆蓋的背景區(qū)域。例如，如果前景區(qū)域、混合區(qū)域和背景區(qū)域以與該移動向量的方向關(guān)聯(lián)的形式順序排列，則將該混合區(qū)域驗證為被覆蓋的背景區(qū)域，反之，如果背景區(qū)域、混合區(qū)域和前景區(qū)域以與該移動向量的關(guān)聯(lián)方向的形式順序排列，則將該混合區(qū)域驗證為未被覆蓋的背景區(qū)域。
在步驟S102，混合比計算單元104基于輸入的圖像和區(qū)域信息，從包含在彼此混合區(qū)域的一個像素中計算混合比α。后面將參考圖46的流程詳細解釋計算該混合比的處理?；旌媳扔嬎銌卧?04發(fā)送所計算出的混合比α到前景/背景分離單元105。
在步驟S103，基于移動向量和區(qū)域信息，前景/背景分離單元105從輸入的圖像中提取前景分量，以將所提取的分量作為前景分量圖像發(fā)送到移動模糊調(diào)整單元106。
在步驟S104，移動模糊調(diào)整單元106產(chǎn)生處理單元，用于基于該移動向量和區(qū)域信息，在未被覆蓋的背景區(qū)域、前景區(qū)域和被覆蓋的背景區(qū)域中的每一個的移動方向上相鄰地排列的像素圖像上指示一個位置，以調(diào)整包含在對應(yīng)于該處理單元的前景分量中的移動模糊量。后面將參考圖63的流程解釋用于調(diào)整該移動模糊量的該處理。
在步驟S105，信號處理器12驗證該處理對整個圖像來說是否已經(jīng)完成。如果信號處理器12已經(jīng)驗證該處理對整個圖像來說還沒有完成，則轉(zhuǎn)到步驟S104以重復(fù)調(diào)整包含在對應(yīng)于該處理單元的前景分量中的移動模糊量的處理。
如果在步驟S106驗證該處理對整個圖像來說已經(jīng)完成，則終止該處理。
按這種方式，信號處理器12能夠互相分開前景和背景，以調(diào)整包含在前景分量中的移動模糊量。即，信號處理器12能夠調(diào)整包含在作為該前景像素的像素值的采樣數(shù)據(jù)中的移動模糊量。
在下面，將解釋區(qū)域指定單元103、混合比計算單元104、前景/背景分離單元105和移動模糊調(diào)整單元106的說明性結(jié)構(gòu)。
圖28是一方框圖，示出區(qū)域指定單元103的說明性結(jié)構(gòu)。幀存儲器121以幀為基礎(chǔ)存儲輸入圖像。當正在處理的幀為幀#n時，幀存儲器121存儲幀#n·2作為幀#n的前兩幀的幀，存儲#n·1作為幀#n的前一幀的幀，存儲#n+1作為幀#n的后一幀的幀，以及存儲幀#n+2作為幀#n的后兩幀的幀。
靜止/移動判別單元122-1從幀存儲器121讀出位于和是被指定區(qū)域的幀#n的像素圖像上的位置同樣的位置處的幀#n+2的像素的像素值，以及位于和是被指定區(qū)域的幀#n的像素圖像上的位置同樣的位置處的幀#n+1的像素的像素值，以計算被讀出的像素值的差的絕對值。靜止/移動判別單元122-1驗證幀#n+2和幀#n+1的像素值之間的差的絕對值是否大于一預(yù)定閾值Th。如果驗證該差的絕對值大于該閾值Th，則靜止/移動判別單元122-1傳遞指定移動判定的靜止/移動判定傳遞到區(qū)域判定單元123-1。如果驗證幀#n+2的像素值和幀#n+1的像素值之間的差的絕對值不大于該預(yù)定閾值Th，則靜止/移動判別單元122-1將指定靜止判定的靜止/移動判定傳遞到區(qū)域判定單元123-1。
靜止/移動判別單元122-2從幀存儲器121讀出位于和是被指定區(qū)域的幀#n的像素圖像上的位置同樣的位置處的幀#n+1的像素的像素值，以及位于和是被指定區(qū)域的幀#n的像素圖像上的位置同樣的位置處的幀#n+1的像素的像素值，以計算被讀出的像素值的差的絕對值。靜止/移動判別單元122-2驗證幀#n+1和幀#n的像素值之間的差的絕對值是否大于一預(yù)定閾值Th。如果驗證該差的絕對值大于該閾值Th，則靜止/移動判別單元122-2傳遞指定移動判定的靜止/移動判定傳遞到區(qū)域判定單元123-1和區(qū)域判定單元123-2。如果驗證幀#n+1的像素值和幀#n的像素值之間的差的絕對值不大于該預(yù)定閾值Th，則靜止/移動判別單元122-1將指定靜止判定的靜止/移動判定傳遞到區(qū)域判定單元123-1和區(qū)域判定單元123-2。
靜止/移動判別單元122-3從幀存儲器121讀出位于和是被指定區(qū)域的幀#n的像素圖像上的位置同樣的位置處的幀#n的像素的像素值，以及位于和是被指定區(qū)域的幀#n的像素圖像上的位置同樣的位置處的幀#n·1的像素的像素值，以計算被讀出的像素值的差的絕對值。靜止/移動判別單元122-3驗證幀#n和幀#n·1的像素值之間的差的絕對值是否大于一預(yù)定閾值Th。如果驗證該差的絕對值大于該閾值Th，則靜止/移動判別單元122-3傳遞指定移動判定的靜止/移動判定傳遞到區(qū)域判定單元123-1和區(qū)域判定單元123-3。如果驗證幀#n的像素值和幀#n·1的像素值之間的差的絕對值不大于該預(yù)定閾值Th，則靜止/移動判別單元122-3將指定靜止判定的靜止/移動判定傳遞到區(qū)域判定單元123-2和區(qū)域判定單元123-3。
靜止/移動判別單元122-4讀出位于和是被指定區(qū)域的幀#n的像素圖像上的位置同樣的位置處的幀#n·1的像素的像素值，以及位于和是被指定區(qū)域的幀#n的像素圖像上的位置同樣的位置處的幀#n·2的像素的像素值，以計算像素值的差的絕對值。靜止/移動判別單元122-4驗證幀#n·1和幀#n·2的像素值之間的差的絕對值是否大于一預(yù)定閾值Th。如果驗證幀#n·1的像素值和幀#n·2的像素值之間的差的絕對值不大于該預(yù)定閾值Th，則傳遞指示移動判定的靜止/移動判定傳遞到區(qū)域判定單元123-3。如果驗證幀#n·1的像素值和幀#n·2的像素值之間的差的絕對值不大于該預(yù)定閾值Th，則靜止/移動判別單元122-4將指示靜止判定的靜止/移動判定傳遞到區(qū)域判定單元123-3。
如果從靜止/移動判別單元122-1傳遞來的靜止/移動判定指示靜止，而從靜止/移動判別單元122-2傳遞來的靜止/移動判定指示移動，那么區(qū)域判定單元123-1判定被指定的區(qū)域的幀#n上的像素屬于未被覆蓋的背景區(qū)域，并在關(guān)聯(lián)于被指定區(qū)域的像素的未被覆蓋的背景區(qū)域判定標志中設(shè)置“1”，用于指示該像素屬于該未被覆蓋的背景區(qū)域。
如果從靜止/移動判別單元122-1傳遞來的靜止/移動判定指示移動，而從靜止/移動判別單元122-2傳遞來的靜止/移動判定指示靜止，那么區(qū)域判定單元123-1判定被指定的區(qū)域的幀#n上的像素不屬于未被覆蓋的背景區(qū)域，并在關(guān)聯(lián)于被指定區(qū)域的像素的未被覆蓋的背景區(qū)域判定標志中設(shè)置“0”，用于指示該像素不屬于該未被覆蓋的背景區(qū)域。
區(qū)域判定單元123-1以這種方式將具有“1”或“0”的未被覆蓋的背景區(qū)域判定標志傳遞到判定標志貯存存儲器124。
如果從靜止/移動判別單元122-2傳遞來的靜止/移動判定指示靜止，而從靜止/移動判別單元122-3傳遞來的靜止/移動判定指示靜止，那么區(qū)域判定單元123-2判定被指定的區(qū)域的幀#n上的像素屬于該靜止區(qū)域，并在關(guān)聯(lián)于被指定區(qū)域的像素的靜止區(qū)域判定標志中設(shè)置“1”，用于指示該像素屬于該未被覆蓋的背景區(qū)域。
如果從靜止/移動判別單元122-2傳遞來的靜止/移動判定指示移動，或者從靜止/移動判別單元122-3傳遞來的靜止/移動判定指示移動，那么區(qū)域判定單元123-2判定被指定的區(qū)域的幀#n上的像素不屬于該靜止區(qū)域，并在關(guān)聯(lián)于被指定區(qū)域的像素的靜止區(qū)域判定標志中設(shè)置“0”，用于指示該像素不屬于該靜止區(qū)域。
區(qū)域判定單元123-2將具有在其中設(shè)置“1”或“0”的靜止區(qū)域判定標志傳遞到判定標志貯存存儲器124。
如果從靜止/移動判別單元122-2傳遞來的靜止/移動判定指示移動，并且從靜止/移動判別單元122-3傳遞來的靜止/移動判定指示移動，那么區(qū)域判定單元123-2判定被指定的區(qū)域的幀#n上的像素屬于該移動區(qū)域，并在關(guān)聯(lián)于被指定區(qū)域的像素的移動區(qū)域判定標志中設(shè)置“1”，用于指示該像素屬于該移動區(qū)域。
如果從靜止/移動判別單元122-2傳遞來的靜止/移動判定指示靜止，或者從靜止/移動判別單元122-3傳遞來的靜止/移動判定指示靜止，那么區(qū)域判定單元123-2判定被指定的區(qū)域的幀#n上的像素不屬于該移動區(qū)域，并在關(guān)聯(lián)于被指定區(qū)域的像素的移動區(qū)域判定標志中設(shè)置“0”，用于指示該像素不屬于該移動區(qū)域。
區(qū)域判定單元123-2將具有在其中設(shè)置“1”或“0”的移動區(qū)域判定標志傳遞到判定標志貯存存儲器124。
如果從靜止/移動判別單元122-3傳遞來的靜止/移動判定指示移動，而從靜止/移動判別單元122-4傳遞來的靜止/移動判定指示靜止，那么區(qū)域判定單元123-3判定被指定的區(qū)域的幀#n上的像素屬于該未被覆蓋的背景區(qū)域，并在關(guān)聯(lián)于被指定區(qū)域的像素的被覆蓋的背景區(qū)域判定標志中設(shè)置“1”，用于指示該像素屬于該被覆蓋的背景區(qū)域。
如果從靜止/移動判別單元122-3傳遞來的靜止/移動判定指示靜止，或者從靜止/移動判別單元122-4傳遞來的靜止/移動判定指示靜止，那么區(qū)域判定單元123-3判定被指定的區(qū)域的幀#n上的像素屬于不該被覆蓋的背景區(qū)域，并在關(guān)聯(lián)于被指定區(qū)域的像素的被覆蓋的背景區(qū)域判定標志中設(shè)置“0”、用于指示該像素不屬于該被覆蓋的背景區(qū)域。
區(qū)域判定單元123-2將具有在其中設(shè)置“1”或“0”的被覆蓋的背景區(qū)域判定標志傳遞到被覆蓋的背景區(qū)域的判定標志貯存存儲器124。
判定標志貯存存儲器124存儲從區(qū)域判定單元123-1發(fā)送來的未被覆蓋的背景區(qū)域判定標志、從區(qū)域判定單元123-2發(fā)送來的靜止區(qū)域判定標志、從區(qū)域判定單元123-2發(fā)送來的移動區(qū)域判定標志和從區(qū)域判定單元123-3發(fā)送來的未被覆蓋的背景區(qū)域判定標志。
判定標志貯存存儲器124發(fā)送未被覆蓋的背景區(qū)域判定標志、靜止區(qū)域判定標志、移動區(qū)域判定標志和被覆蓋的背景區(qū)域判定標志到合成單元125?；谂卸酥举A存存儲器124供給的未被覆蓋的背景區(qū)域判定標志、靜止區(qū)域判定標志、移動區(qū)域判定標志和被覆蓋的背景區(qū)域判定標志，該合成單元產(chǎn)生一指示各個像素屬于未被覆蓋的背景區(qū)域、靜止區(qū)域、移動區(qū)域和被覆蓋的背景區(qū)域中的那一個的區(qū)域信息，并將該信息傳遞到判定標志貯存幀存儲器126。
判定標志貯存幀存儲器126存儲從合成單元125供給的區(qū)域信息，同時輸出存儲在其中的區(qū)域信息。
參考圖29至33，解釋用區(qū)域指定單元103的典型處理。
當對應(yīng)于前景的物體正在移動時，對應(yīng)于圖像屏幕上的物體的圖像位置一幀一幀地改變。參考圖29，對應(yīng)于幀#n中位置Yn(x，y)的物體的圖像定位在下一幀#n+1中的Yn+1(x，y)。
圖30示意性地示出沿對應(yīng)于前景的圖像的移動方向相互鄰接的像素行的像素值的模型。例如，如果對應(yīng)于該前景的圖像的移動方向相對于圖像屏幕是水平的，則圖30的示意圖示出一模型，在其中在時間軸方向上擴展單線上的相互鄰接的像素的像素值。
在圖30中，幀#n中的該線與幀#n+1中的一條線相同。
在幀#n中，對應(yīng)于包含在左起第二至第十三像素中的物體的前景的分量被包括在幀#n+1的左起第六至第十七像素。
屬于幀#n中的被覆蓋的背景區(qū)域的像素是左起第十一至第十三像素，而屬于未被覆蓋的背景區(qū)域的像素是左起第二至第四像素。屬于幀#n+1中的被覆蓋的背景區(qū)域的像素是左起第十五至第十七像素，而屬于未被覆蓋的背景區(qū)域的像素是左起第六至第八像素。
在圖30所示的示例中，由于幀#n中的前景分量在幀#n+1中被移動四個像素，因此移動量v為4。實際分開的時間間隔數(shù)相當于移動量并等于4。
解釋屬于被考慮的幀的前后的混合區(qū)域的像素的像素值的變化。
在圖31所示的幀#n中，該背景是靜止的而前景的移動量v為4，屬于被覆蓋的背景區(qū)域的像素是左起第十五至第十七像素。由于移動量v為4，因此在緊接著前面的幀#n·1中左起第十五至第十七像素只包含背景分量，并且屬于該背景。在更前面的幀#n·2中左起第十五至第十七像素只包含背景分量，并且屬于該背景。
由于對應(yīng)于該背景的物體是靜止的，幀#n·1中的左起第十五像素的像素值不根據(jù)幀#n·2中的左起第十五像素的像素值變化。類似地，幀#n·1中的左起第十六像素的像素值不根據(jù)幀#n·2中的左起第十六像素的像素值變化，而幀#n·1中的左起第十七像素的像素值不根據(jù)幀#n·2中的左起第十七像素的像素值變化。
即，對應(yīng)于屬于被覆蓋的背景區(qū)域的像素的幀#n·1和幀#n·2的像素僅僅包括背景分量，并且不改變，因此該差的絕對值實際上為0。所以關(guān)于對應(yīng)于幀#n的混合區(qū)域的幀#n·1和幀#n·2的像素的靜止/移動判定像靜止狀態(tài)那樣由靜止/移動判別單元122-4產(chǎn)生。
由于幀#n中屬于被覆蓋的背景區(qū)域的像素包含前景分量，所以對應(yīng)的像素值不同于僅由幀#n·1中的背景分量組成的像素的值。因此，屬于幀#n中的混合區(qū)域的像素和幀#n·1的對應(yīng)像素通過靜止/移動判別單元122-3驗證是移動像素。
當從靜止/移動判別單元122-3供給指示移動的靜止/移動判定，以及從靜止/移動判別單元122-4供給指示靜止的靜止/移動判定時，區(qū)域判定單元123-3判定所關(guān)心的像素屬于被覆蓋的背景區(qū)域。
包含在背景是靜止的并且前景移動量v為4的幀#n中的未被覆蓋的背景區(qū)域中的像素是左起第二至第四像素。由于移動量v為4，下一幀#n+1中左起第二至第四像素只包含該背景分量并且屬于該背景區(qū)域。在往下第二幀#n+2中，左起第二至第四像素只包含該背景分量并且屬于該背景區(qū)域。
由于對應(yīng)于該背景的物體是靜止的，幀#n+2中的左起第二像素的像素值不根據(jù)幀#n+1中的左起第二像素的像素值變化。類似地，幀#n+2中的左起第二像素的像素值不根據(jù)幀#n+1中的左起第二像素的像素值變化，而幀#n+2中的左起第三像素的像素值不根據(jù)幀#n+1中的左起第四像素的像素值變化。
即，對應(yīng)于屬于未被覆蓋的背景區(qū)域的像素的幀#n+1和幀#n+2的像素僅僅包括背景分量，并且像素值不改變。因此該差的絕對值近似等于0。所以關(guān)于對應(yīng)于幀#n的混合區(qū)域的像素的幀#n+1和幀#n+2的像素由靜止/移動判別單元122-1判定是靜止像素。
由于幀#n中屬于未被覆蓋的背景區(qū)域的像素包含前景分量，所以與僅由背景分量組成的幀#n+1中的像素的像素值不同。因此，屬于幀#n中的混合區(qū)域的像素和對應(yīng)幀#n·1的像素通過靜止/移動判別單元122-2驗證是移動像素。
按這種方式，從靜止/移動判別單元122-2給區(qū)域判定單元123-1供給指示移動的結(jié)果。如果從靜止/移動判別單元122-1供給指示靜止的結(jié)果，則區(qū)域判定單元123-1判定對應(yīng)的像素屬于未被覆蓋的背景區(qū)域。
圖33示出在幀#n中區(qū)域指定單元103的判定條件。當處于和正被驗證的幀#n的像素的圖像上的位置同樣的位置的幀#n·2的像素和幀#n·1的像素被判定為靜止，同時處于和正被驗證的幀#n的像素的圖像上的位置同樣的位置的幀#n·1的像素和幀#n的像素被判定為移動時，區(qū)域指定單元103判定正被驗證的幀#n的像素屬于被覆蓋的背景區(qū)域。
當處于和正被驗證的幀#n的像素的圖像上的位置同樣的位置的幀#n·1的像素和幀#n的像素被判定為靜止，同時處于和正被驗證的幀#n的像素的圖像上的位置同樣的位置的幀#n的像素和幀#n+1的像素被判定為靜止時，區(qū)域指定單元103判定正被驗證的幀#n的像素屬于該靜止區(qū)域。
當處于和正被驗證的幀#n的像素的圖像上的位置同樣的位置的幀#n·1的像素和幀#n的像素被判定為移動，同時處于和正被驗證的幀#n的像素的圖像上的位置同樣的位置的幀#n的像素和幀#n+1的像素被判定為靜止時，區(qū)域指定單元103判定正被驗證的幀#n的像素屬于該移動區(qū)域。
當處于和正被驗證的幀#n的像素的圖像上的位置同樣的位置的幀#n的像素和幀#n+1的像素被判定為移動，并且處于和正被驗證的幀#n的像素的圖像上的位置同樣的位置的幀#n+1的像素和處于和正被驗證的幀#n的像素的圖像上的位置同樣的位置的幀#n+1的像素和處于和正被驗證的幀#n的像素的圖像上的位置同樣的位置的幀#n+2的像素被判定為靜止時，區(qū)域指定單元103判定正被驗證的幀#n的像素屬于該未被覆蓋的背景區(qū)域。
圖34示出通過區(qū)域指定單元103的區(qū)域判定的示例。在圖34中A，以白色示出被判定屬于該被覆蓋的背景區(qū)域的像素。在圖34B中，以白色示出被判定屬于該未被覆蓋的背景區(qū)域的像素。
在圖34C中，以白色示出被判定屬于該移動區(qū)域的像素。在圖34D中，以白色示出被判定屬于該靜止區(qū)域的像素。
圖35示出代表該混合區(qū)域的區(qū)域信息，在由判定標志貯存幀存儲器126輸出的該區(qū)域信息中，作為圖像。在圖35中，以白色示出被判定屬于被覆蓋的背景區(qū)域或未被覆蓋的背景區(qū)域即混合區(qū)域的像素。指示混合區(qū)域、由判定標志貯存幀存儲器126輸出的區(qū)域信息，在前景區(qū)域和混合區(qū)域中指示由非紋理部分包圍的紋理部分。
參考圖36的流程，解釋通過區(qū)域指定單元103的區(qū)域識別的處理。在步驟S121，幀存儲器121獲取幀#n·2至幀#n+2，包括幀#n的圖像。
在步驟S122，靜止/移動判別單元122-3檢查處于幀#n·1和幀#n相同位置的像素是否是靜止的。如果判定該像素示靜止的，該處理過程轉(zhuǎn)移到步驟S123，在其中靜止/移動判別單元122-2檢查處于幀#n和幀#n+1相同位置的像素是否是靜止的。
如果在步驟S123判定處于幀#n和幀#n+1相同位置的像素是靜止的，則該處理過程轉(zhuǎn)移到步驟S124，在其中區(qū)域判定單元123-2在對應(yīng)于正被驗證的區(qū)域中的像素的靜止區(qū)域判定標志中設(shè)置“1”，其中該標志用于指示該像素屬于該靜止區(qū)域。區(qū)域判定單元123-2將該靜止區(qū)域判定標志發(fā)送到判定標志貯存存儲器124。然后該處理過程轉(zhuǎn)移到步驟S125。
如果在步驟S122判定處于幀#n·1和幀#n相同位置的像素是移動的、或者在步驟S123中判定處于幀#n和幀#n+1相同位置的像素是移動的，那么幀#n的像素不屬于靜止區(qū)域，因此該處理過程跳過步驟S124的處理，轉(zhuǎn)移到步驟S125。
在步驟S125，靜止/移動判別單元122-3檢查處于幀#n·1和幀#n相同位置的像素是否是移動的。如果該像素被判定是移動的，則該處理過程轉(zhuǎn)移到步驟S126，在其中靜止/移動判別單元122-2判定處于幀#n和幀#n+1相同位置的像素是否是移動的。
如果在步驟S126判定處于幀#n和幀#n+1相同位置的像素是移動的，則該處理過程轉(zhuǎn)移到步驟S127，在其中區(qū)域判定單元123-2在對應(yīng)于正被驗證的區(qū)域中的像素的移動區(qū)域判定標志中設(shè)置“1”，其中該標志用于指示該像素屬于該移動區(qū)域。區(qū)域判定單元123-2將該移動區(qū)域判定標志發(fā)送到判定標志貯存存儲器124。然后該處理過程轉(zhuǎn)移到步驟S128。
如果在步驟S125判定處于幀#n·1和幀#n相同位置的像素是靜止的、或者在步驟S126中判定處于幀#n和幀#n+1相同位置的像素是靜止的，那么幀#n的像素不屬于該移動區(qū)域，因此該處理過程跳過步驟S127的處理，轉(zhuǎn)移到步驟S128。
在步驟S128，靜止/移動判別單元122-4檢查處于幀#n·2和幀#n·1相同位置的像素是否是靜止的。如果該像素被判定是靜止的，則該處理過程轉(zhuǎn)移到步驟S129，在其中靜止/移動判別單元122-3判定處于幀#n·1和幀#n相同位置的像素是否是移動的。
如果在步驟S129判定處于幀#n·1和幀#n相同位置的像素是移動的，則該處理過程轉(zhuǎn)移到步驟S130，在其中區(qū)域判定單元123-3在對應(yīng)于正被驗證的區(qū)域中的像素的被覆蓋的背景區(qū)域判定標志中設(shè)置“1”，其中該標志用于指示該像素屬于被覆蓋的背景區(qū)域。區(qū)域判定單元123-3將該被覆蓋的背景區(qū)域判定標志發(fā)送到判定標志貯存存儲器124。然后該處理過程轉(zhuǎn)移到步驟S131。
如果在步驟S128判定處于幀#n·2和幀#n·1相同位置的像素是移動的、或者在步驟S129中判定處于幀#n·1和幀#n相同位置的像素是靜止的，那么幀#n的像素不屬于該被覆蓋的背景區(qū)域，因此該處理過程跳過步驟S130的處理，轉(zhuǎn)移到步驟S131。
在步驟S131，靜止/移動判別單元122-2檢查處于幀#n和幀#n+1相同位置的像素是否是靜止的。如果該像素被判定是移動的，則該處理過程轉(zhuǎn)移到步驟S132，在其中靜止/移動判別單元122-1判定處于幀#n+1和幀#n+2相同位置的像素是否是移動的。
如果在步驟S132判定處于幀#n+1和幀#n+2相同位置的像素是移動的，則該處理過程轉(zhuǎn)移到步驟S133，在其中區(qū)域判定單元123-1在對應(yīng)于正被驗證的區(qū)域中的像素的未被覆蓋的背景區(qū)域判定標志中設(shè)置“1”，其中該標志用于指示該像素屬于未被覆蓋的背景區(qū)域。區(qū)域判定單元123-1將該未被覆蓋的背景區(qū)域判定標志發(fā)送到判定標志貯存存儲器124。然后該處理過程轉(zhuǎn)移到步驟S134。
如果在步驟S131判定處于幀#n和幀#n+1相同位置的像素是靜止的、或者在步驟S132中判定處于幀#n+1和幀#n+2相同位置的像素是移動的，那么幀#n的像素不屬于該未被覆蓋的背景區(qū)域，因此該處理過程跳過步驟S133的處理，轉(zhuǎn)移到步驟S134。
在步驟S134，區(qū)域指定單元103檢查是否已經(jīng)為幀#n的像素全體指定了區(qū)域。如果判定還沒有為幀#n的像素全體指定區(qū)域，則該處理過程返回步驟S122，以重復(fù)為其余像素的區(qū)域指定處理。
如果在步驟S134判定已經(jīng)為幀#n的像素全體指定了區(qū)域，則該處理過程轉(zhuǎn)移到步驟S135，在其中合成單元125基于存儲在判定標志貯存存儲器124中的未被覆蓋的背景區(qū)域判定標志和被覆蓋的背景區(qū)域的判定標志，產(chǎn)生指示混合區(qū)域的區(qū)域信息，同時也產(chǎn)生指示每個像素屬于未被覆蓋的背景區(qū)域、靜止區(qū)域、移動區(qū)域和被覆蓋的背景區(qū)域中的哪一個的區(qū)域信息。合成單元125在判定標志貯存幀存儲器126中設(shè)置所產(chǎn)生的信息，已經(jīng)結(jié)束該處理。
按照這種方式，區(qū)域指定單元103能夠為每個包括在幀內(nèi)的像素產(chǎn)生區(qū)域信息，指示所關(guān)心的像素屬于移動區(qū)域、靜止區(qū)域、被覆蓋的背景區(qū)域或者未被覆蓋的背景區(qū)域。
區(qū)域指定單元103也可以對對應(yīng)于未被覆蓋的背景區(qū)域和被覆蓋的背景區(qū)域的區(qū)域信息施加邏輯和，以為每個包括在幀內(nèi)的像素產(chǎn)生包括指示包含在該幀中的已知像素屬于移動區(qū)域、靜止區(qū)域或混合區(qū)域的標志的區(qū)域信息。
如果關(guān)聯(lián)于該前景的物體包括紋理，則區(qū)域指定單元103能夠更精確地指定該移動區(qū)域。
區(qū)域指定單元103能夠輸出指示移動區(qū)域的區(qū)域信息作為指示前景區(qū)域的信息，或者輸出指示靜止區(qū)域的區(qū)域信息作為指示該背景區(qū)域的區(qū)域信息。
在前面假設(shè)了對應(yīng)于背景的物體是靜止的。但上述區(qū)域指定處理可以應(yīng)用于甚至關(guān)聯(lián)與該背景區(qū)域的圖像包含移動的情況。例如，如果對應(yīng)于該背景區(qū)域的圖像均勻地移動，則區(qū)域指定單元103關(guān)聯(lián)與該移動移動整個圖像，以與對應(yīng)于該背景的物體為靜止時所用的相同方式執(zhí)行該處理。如果與該背景區(qū)域關(guān)聯(lián)的圖像包含對不同位置有不同的移動，那么區(qū)域指定單元103選擇對應(yīng)于該移動的像素以執(zhí)行上述處理。
圖37示出一個示出混合比計算單元104的說明性結(jié)構(gòu)的方框圖。被估計的混合比處理器201通過計算對應(yīng)于被覆蓋的背景區(qū)域的模型、基于輸入的圖像，逐個像素地計算被估計的混合比，以傳遞所計算的被估計的混合比到混合比判定單元203。
被估計的混合比處理單元202計算通過對應(yīng)于未被覆蓋的背景區(qū)域的模型的計算、基于輸入的圖像，逐個像素地計算被估計的混合比，以傳遞所計算的被估計的混合比到混合比判定單元203。
由于對應(yīng)于前景的物體可以被假設(shè)在快門時間內(nèi)以等速度移動，所以屬于混合區(qū)域的像素的混合比α具有下列特性即混合比α線性地相對于像素位置的變化而變化。如果像素位置的變化是一維的，那么混合比α的變化可以表示成一平面。
由于一幀的周期很短，因此可以假設(shè)對應(yīng)于前景的物體是剛體構(gòu)件，并且以等速移動。
同時，混合比α的斜率與快門時間內(nèi)的前景的移動量v成反比。
圖38示出理想混合比α的示例。在具有理想混合比α的混合區(qū)域中的斜率1可以表示成該移動量v的倒數(shù)。
在圖39的實施例中，利用幀#n·1中的左起第七像素的像素值P06，通過方程(14)可以將幀#n中的左起第七像素的像素值C06表示C06=B06/v+B06/v+F01/v+F02/v]]>=P06/v+P06/v+F01/v+F02/v---(14)]]>=2/v·P06+Σi2Fi/v]]>在方程(14)中，像素值C06被表達成混合區(qū)域的像素的像素值M，同時像素值P06被表達成背景區(qū)域的像素的像素值B。即，混合區(qū)域的像素值M和背景的像素值B可以由方程(15)和(16)分別表示M＝C06(15)C＝αP+f (16)在方程(14)，2/v對應(yīng)于混合比α。由于移動量v為4，所以幀#n中的左起第七像素的混合比α為0.5。
通過假設(shè)正在考慮的幀#n的像素值C和幀#n的緊前一幀#n·1的像素值P分別作為混合區(qū)域的像素值和背景的像素值，可以將指示混合比α的方程(13)改寫成下列方程(17)C＝αP+f (17)式中f表示包含在所考慮的像素中的前景分量的總和∑iFi/v。在方程(17)中存在兩個變量，即混合比α和前景分量的總和f。
圖40示出一模型，在該模型中在未被覆蓋的背景區(qū)域中的移動量是4，并且隨被示出的像素沿該時間軸方向擴展，沿時間軸的實際分開時間間隔數(shù)為4。
在未被覆蓋的背景區(qū)域中，通過假設(shè)正在考慮的幀#n的像素值C和緊跟幀#n的幀#n+1的像素值P分別作為混合區(qū)域的像素值和背景的像素值，像上面所討論的被覆蓋的背景區(qū)域一樣，可以將指示混合比α的方程(13)改寫成下列方程(18)C＝αN+f (18)雖然在上述描述中假設(shè)該背景物體時靜止的，但通過使用關(guān)聯(lián)于該背景移動量v的像素的像素值，即使該背景物體時移動的，方程(14)至(18)也可以應(yīng)用。例如，如果當對應(yīng)于該背景的物體的移動量v為2并且實際分開的時間間隔數(shù)也為2，則對應(yīng)于該背景的物體在附圖中向右移動，方程(16)中的該背景區(qū)域的像素的像素值B為像素值P04。
由于方程(17)和(18)都包含兩個變量，所以不能直接得到混合比α。應(yīng)該注意到，圖像通常展示出較強的空間相關(guān)性，因此相互鄰近的像素是近似相同的像素值。
由于前景分量展示出較強的空間相關(guān)性，所以改進該方程以使得通過前景分量總和的混合比α將從前面的幀或后續(xù)的幀導(dǎo)出。
圖41的幀#n的左起第七像素的像素值Mc可以用下列方程(19)表示Mc=2v·B06+Σi=1112Fi/v---(19)]]>式中右邊第一項2/v對應(yīng)于混合比α。通過使用后續(xù)幀#n+1的像素值，方程(19)的右邊的第二項可以用方程(20)表示
Σi=1112Fi/v=β·Σi=7110Fi/v---(20)]]>這里通過使用前景分量的空間相關(guān)性，假設(shè)下列方程(21)成立F＝F05＝F06＝F07＝F08＝F09＝F10＝F11＝F12(21)它可以用于改寫方程(20)為Σi=1112Fi/v=2vF---(22)]]>=β·4vF]]>結(jié)果，β可以用下列方程(23)表示成β＝22/4 (23)通常，如果假設(shè)關(guān)于混合區(qū)域的前景分量相等，如由方程(21)所示，則下列方程(24)β＝1·α (24)通過內(nèi)分比、對混合區(qū)域的像素全體成立。
如果方程(24)成立，那么方程(17)可以像方程(25)那樣展開C=α·N+f]]>=α·N+(1-α)·Σi=γγ+V-1Fi/v---(25)]]>=α·N+(1-α)·P]]>如果方程(24)成立，那么方程(18)可以像方程(26)那樣展開C=α·P+f]]>=α·P+(1-α)·Σi=γγ+V-1Fi/v---(26)]]>=α·P+(1-α)·N]]>在方程(25)和(26)中，由于C、N和P是已知的像素值，因此在方程(25)和(26)中只包含一個變量，即混合比α。方程(25)和(26)中的C、N和P之間的關(guān)系示出在圖42中。應(yīng)該注意到，C、N和P分別是正在考慮的幀#n的一個像素的像素值、其空間方向上的位置與被考慮的像素的位置互相對準的幀#n+1的一個像素的像素值以及其空間方向上的位置與被考慮的像素的位置互相對準的幀#n·1的一個像素的像素值。
因此，方程(25)和(26)的每一個中包含每一個變量，因而可以利用這三幀的各像素的像素值來計算混合比α。通過解方程(25)和(26)來計算校正混合比α的條件是有關(guān)于該混合區(qū)域的前景分量相等，也就是一系列兩倍于移動量x相鄰的像素的各個像素值是常數(shù)，其中的像素在靜止狀態(tài)下成像的前景的圖像物體中，并且位于與該前景的移動方向關(guān)聯(lián)的圖像物體的邊界上。
屬于被覆蓋的背景區(qū)域的像素的混合比α由方程(27)來計算，而屬于未被覆蓋的背景區(qū)域的像素的混合比α由下列方程(27)和(28)來計算α＝(C·N)/(P·N)(27)α＝(C·P)/(N·P)(28)在示出被估計的混合比處理器201的結(jié)構(gòu)的方框圖43中，幀存儲器221以幀為基礎(chǔ)存儲輸入圖像，并饋送緊跟在被作為輸入圖像輸入的幀的一幀到幀存儲器222和混合比計算單元223。
幀存儲器222存儲以幀為基礎(chǔ)存儲輸入圖像并傳遞緊接著從幀存儲器221供給的下一幀的一幀到混合比計算單元223。
因此，如果幀#n+1正在被作為輸入圖像輸入到混合比計算單元223，那么幀存儲器221傳遞幀#n到混合比計算單元223，同時幀存儲器222傳遞幀#n·1到混合比計算單元223。
混合比計算單元223通過關(guān)于正在考慮的幀#n的像素的像素值C、空間位置與所考慮的像素的空間位置互相對準的幀#n+1的像素的像素值、空間位置與所考慮的像素的空間位置互相對準的幀#n·1的像素的像素值計算方程(27)，來計算所考慮的像素的被估計的混合比。并輸出所計算出來的被估計的混合比。例如，如果該背景處于靜止狀態(tài)，則混合比計算單元223從正在考慮的幀#n的像素的像素值C、在幀中的位置與所考慮的像素的位置相同的幀#n+1的像素的像素值N、在幀中的位置與所考慮的像素的位置相同的幀#n·1的像素的像素值P，計算所考慮的像素的被估計的混合比，并輸出所計算出來的被估計的混合比。
按這種方式，被估計的混合比處理器201基于輸入圖像計算被估計的混合比，以將所計算出來的被估計的混合比傳遞到混合比判定單元203。
被估計的混合比處理單元202類似于被估計的混合比處理器201，但被估計的混合比處理器201按照方程(27)計算所考慮的像素的被估計的混合比，而被估計的混合比處理單元202按照方程(28)計算所考慮的像素的被估計的混合比，因此為了簡潔起見，省略了對應(yīng)的描述。
圖44示出一由被估計的混合比處理器201計算的被估計的混合比的示例。圖44示出對于單線、關(guān)于對應(yīng)于以等于11的恒定速度移動的一物體的前景的移動量v的被估計的混合比。
應(yīng)該看到，被估計的混合比在該混合區(qū)域中接近線性地變化，如圖38所示。
回到圖37，混合比判定單元203基于來自區(qū)域指定單元103的區(qū)域信息設(shè)置混合比α，其中來自區(qū)域指定單元103的區(qū)域信息指示作為計算混合比α的基礎(chǔ)從區(qū)域指定單元103供給的像素屬于前景區(qū)域、背景區(qū)域、被覆蓋的背景區(qū)域或未被覆蓋的背景區(qū)域中的哪個。如果作為計算的基礎(chǔ)的像素分別屬于前景區(qū)域或?qū)儆诒尘皡^(qū)域，則混合比判定單元203分別將混合比設(shè)置為0或1。另一方面，如果作為計算的基礎(chǔ)的像素屬于被覆蓋的背景區(qū)域，則混合比判定單元203將被估計的混合比處理器201供給的被估計的混合比設(shè)置為混合比α，而如果作為計算的基礎(chǔ)的像素屬于未被覆蓋的背景區(qū)域，則混合比判定單元203將被估計的混合比處理單元202供給的被估計的混合比設(shè)置為混合比α?；旌媳扰卸▎卧?03輸出基于區(qū)域信息設(shè)置的該混合比α。
在示出混合比計算單元104的另一個結(jié)構(gòu)的方框圖45中，選擇單元231基于從區(qū)域指定單元103供給的區(qū)域信息，將屬于被覆蓋的背景區(qū)域的像素和有關(guān)的前面和后續(xù)幀的像素傳遞到被估計的混合比處理器232。選擇單元231基于從區(qū)域指定單元103供給的區(qū)域信息，將屬于未被覆蓋的背景區(qū)域的像素和有關(guān)的前面和后續(xù)幀的像素傳遞到被估計的混合比處理器233。
被估計的混合比處理器232基于從選擇單元231輸入的像素值、通過按照方程(27)的計算，計算屬于被覆蓋的背景區(qū)域的所考慮的像素的被估計的混合比，以將計算出來的被估計的混合比傳遞到選擇單元234。
被估計的混合比處理器233基于從選擇單元231輸入的像素值、通過按照方程(28)的計算，計算屬于未被覆蓋的背景區(qū)域的所考慮的像素的被估計的混合比，以將計算出來的被估計的混合比傳遞到選擇單元234。
選擇單元234基于來自區(qū)域指定單元103的區(qū)域信息設(shè)置混合比α，其中來自區(qū)域指定單元103的區(qū)域信息指示作為計算混合比α的基礎(chǔ)從區(qū)域指定單元103供給的像素屬于前景區(qū)域、背景區(qū)域、被覆蓋的背景區(qū)域或未被覆蓋的背景區(qū)域中的哪個。如果作為計算的基礎(chǔ)的像素分別屬于前景區(qū)域或?qū)儆诒尘皡^(qū)域，則混合比判定單元203分別將混合比設(shè)置為0或1。另一方面，如果作為計算的基礎(chǔ)的像素屬于被覆蓋的背景區(qū)域，則選擇單元234將被估計的混合比處理器232供給的被估計的混合比設(shè)置為混合比α，而如果作為計算的基礎(chǔ)的像素屬于未被覆蓋的背景區(qū)域，則將被估計的混合比處理器233供給的被估計的混合比設(shè)置為混合比α。選擇單元234輸出所選擇、并且基于區(qū)域信息設(shè)置的該混合比α。
具有圖45的改進結(jié)構(gòu)的混合比計算單元104在圖像上逐個像素地計算混合比α，以輸出所計算的混合比α。
參考圖46的流程圖，解釋用于計算其結(jié)構(gòu)示出在圖37中的混合比計算單元104的混合比α的處理。在步驟S151，混合比計算單元104獲取從區(qū)域指定單元103供給的區(qū)域信息。在步驟S151，混合比計算單元104獲取從區(qū)域指定單元103供給的區(qū)域信息。在步驟S152，被估計的混合比判定單元203用對應(yīng)于被覆蓋的背景區(qū)域的一種模型計算被估計的混合比，以將所計算的被估計的混合比傳遞到被估計的混合比處理器201。用于計算該被估計的混合比的這種處理將在后面通過參考圖47的流程詳細進行解釋。
在步驟S153，被估計的混合比處理單元202用對應(yīng)于被覆蓋的背景區(qū)域的一種模型計算被估計的混合比，以將所計算的被估計的混合比傳遞到混合比判定單元203。
在步驟S154，混合比計算單元104檢查是否已經(jīng)對整個幀估計了混合比α。如果發(fā)現(xiàn)沒有對整個幀估計混合比α，則處理過程轉(zhuǎn)到步驟S152以執(zhí)行對下一像素的、估計混合比α的處理。
如果在步驟S154判定已經(jīng)對整個幀估計了混合比α，那么該處理過程轉(zhuǎn)到步驟S155，在其中混合比判定單元203基于區(qū)域指定單元103供給的區(qū)域信息設(shè)置混合比α，并且它指示該像素屬于前景區(qū)域、背景區(qū)域、被覆蓋的背景區(qū)域或未被覆蓋的背景區(qū)域中的哪個。如果作為計算的基礎(chǔ)的像素分別屬于前景區(qū)域或?qū)儆诒尘皡^(qū)域，則混合比判定單元203分別將混合比設(shè)置為0或1。另一方面，如果作為計算的基礎(chǔ)的像素屬于被覆蓋的背景區(qū)域，則混合比判定單元203將被估計的混合比處理器201供給的被估計的混合比設(shè)置為混合比α，而如果作為計算的基礎(chǔ)的像素屬于未被覆蓋的背景區(qū)域，則混合比判定單元203將被估計的混合比處理單元202供給的被估計的混合比設(shè)置為混合比α。然后結(jié)束該處理。
按這種方式，混合比計算單元104能夠基于區(qū)域指定單元103供給的區(qū)域信息和輸入圖像，將混合比α作為每個像素的特征值進行計算。
用圖45所示的混合比計算單元104計算混合比α的處理類似于通過參考圖46的流程解釋的處理，因此不進行具體解釋。
參考圖47的流程，解釋類似于圖46的步驟S152的、用于通過對應(yīng)于被覆蓋的背景區(qū)域的模型估計該混合比的處理。
在步驟S171，混合比計算單元223從幀存儲器221獲取幀#n的被考慮的像素的像素值C。
在步驟S172，混合比計算單元223從幀存儲器222獲取幀#n·1的被考慮的像素的像素值C。
在步驟S173，混合比計算單元223獲取對應(yīng)于包含在輸入圖像的被考慮的像素的幀#n+1的像素值N。
在步驟S174，混合比計算單元223基于幀#n的被考慮的像素的像素值C、幀#n·1的像素的像素值P和幀#n+1的像素的像素值N，計算被估計的混合比。
在步驟S175，混合比計算單元223檢查是否已經(jīng)完成了對整個幀進行計算被估計的混合比的處理。如果判定沒有完成對整個幀進行計算被估計的混合比的處理，則該處理過程轉(zhuǎn)到步驟S171，以重復(fù)為下一個像素計算被估計的混合比的處理。
如果在步驟S175認定已經(jīng)完成了對整個幀進行計算被估計的混合比的處理，則結(jié)束該處理。
按這種方式，被估計的混合比處理器201能夠基于輸入圖像計算被估計的混合比。
圖46的步驟S153中通過對應(yīng)于未被覆蓋的背景區(qū)域的模型估計混合比的處理類似于使用對應(yīng)于未被覆蓋的背景區(qū)域的模型的方程的處理，如圖47的流程所示，因此不進行具體解釋。
同時，由于圖45所示的被估計的混合比處理器232和被估計的混合比處理器233通過執(zhí)行類似于圖47的流程的處理的處理，來計算被估計的混合比，因此為了簡單，省略對應(yīng)的操作。
在前面的解釋中，假設(shè)了對應(yīng)于背景的物體是處于靜止狀態(tài)的。但是找到混合比α的處理也可以用于對應(yīng)于背景的圖像包含移動的情況。例如，如果對應(yīng)于背景區(qū)域的圖像正在勻速移動，則被估計的混合比處理器201與背景的該移動協(xié)調(diào)地移動整個圖像，以就象對應(yīng)于該背景的物體處于靜止狀態(tài)一樣執(zhí)行該處理。另一方面，如果對應(yīng)于該背景區(qū)域的圖像包含對于一個位置與另一位置來說不同的背景移動，那么被估計的混合比處理器201將關(guān)聯(lián)與該背景移動的像素選擇為對應(yīng)于屬于混合區(qū)域的像素的像素，以執(zhí)行上述處理。
圖37或45所示的混合比計算單元104的結(jié)構(gòu)僅僅是說明性的。
混合比計算單元104也能夠只執(zhí)行用于通過對應(yīng)于被覆蓋的背景區(qū)域的模型來估計混合比的處理、以將所計算出的被估計的混合比作為混合比α輸出。在這種情況下，混合比α分別為屬于被覆蓋的背景區(qū)域的像素和屬于未被覆蓋的背景區(qū)域的像素指示前景和背景的比例。如果計算出所計算的混合比α和1的差的絕對值以將計算出的該絕對值設(shè)置為混合比α，則信號處理器12能夠得到為屬于未被覆蓋的背景區(qū)域的像素指示背景分量的比例值的混合比α。
也能夠只執(zhí)行用于通過對應(yīng)于未被覆蓋的背景區(qū)域的模型為全體像素來估計混合比的處理、以將所計算出的被估計的混合比作為混合比α輸出。
現(xiàn)在解釋前景/背景分離單元105。在示出前景/背景分離單元105的說明性結(jié)構(gòu)的方框圖48中，饋送給前景/背景分離單元105的輸入圖像被施加到分離單元251、開關(guān)252和開關(guān)254。來自區(qū)域指定單元103的、指定指示被覆蓋的背景區(qū)域信息的信息和指示未被覆蓋的背景區(qū)域信息的信息的區(qū)域信息被饋送到分離單元251，而指示前景信息的區(qū)域信息和指示背景區(qū)域的區(qū)域信息被分別傳遞到開關(guān)252、開關(guān)254。
將從混合比計算單元104供給的混合比α發(fā)送到分離單元251。
分離單元251基于指示被覆蓋的背景區(qū)域信息的區(qū)域信息、指示未被覆蓋的背景區(qū)域信息的區(qū)域信息和混合比α，從輸入圖像分離前景分量，并將所分出的前景分量供給合成單元253，同時從輸入的圖像分離出背景分量以將所分出的背景分量傳遞到合成單元255。
當輸入對應(yīng)于前景的像素時，基于指示前景區(qū)域的區(qū)域信息閉合開關(guān)252，以僅僅傳遞對應(yīng)于包含在輸入圖像中的前景的像素到合成單元253。
當輸入對應(yīng)于背景的像素時，基于指示背景區(qū)域的區(qū)域信息閉合開關(guān)254，以僅僅傳遞對應(yīng)于包含在輸入圖像中的背景的像素到合成單元255。
合成單元253基于來自分離單元251對應(yīng)于前景的分量以及來自開關(guān)252對應(yīng)于前景的分量合成一前景分量圖像，以輸出合成的前景分量圖像。由于該前景區(qū)域和混合區(qū)域不重疊，所以合成單元253對對應(yīng)于該前景的分量和對應(yīng)于該前景的像素應(yīng)用邏輯和處理，以合成前景分量圖像。
在用于合成前景分量圖像的處理中首先被執(zhí)行的初始化處理中，合成單元253在內(nèi)幀存儲器中存儲一帶有全部零像素值的圖像，以在用于合成前景分量圖像的處理中存儲(改寫)前景分量圖像。因此，在對應(yīng)于背景區(qū)域的像素中，在合成單元253輸出的前景分量圖像中，0作為像素值存儲。
合成單元255基于對應(yīng)于背景的、來自分離單元251的分量以及來自開關(guān)254的分量合成背景分量圖像，以輸出合成的背景分量圖像。由于該背景區(qū)域和混合區(qū)域不重疊，所以合成單元255對對應(yīng)于該背景的分量和對應(yīng)于該背景的像素應(yīng)用邏輯和處理，以合成背景分量圖像。
在用于合成背景分量圖像的處理中首先被執(zhí)行的初始化處理中，合成單元255在內(nèi)幀存儲器中存儲一帶有全部零像素值的圖像，以在用于合成背景分量圖像的處理中存儲(改寫)背景分量圖像。因此，在對應(yīng)于前景區(qū)域的像素中，在合成單元255輸出的背景分量圖像中，0作為像素值存儲。
圖49示出一饋送到前景/背景分離單元105的輸入圖像，以及從前景/背景分離單元105輸出的前景分量圖像和背景分量圖像。
圖49A示意性地示出顯示的圖像，而圖49B示意性地示出在沿時間軸擴展包括屬于該前景區(qū)域的像素、屬于該背景區(qū)域的像素和混合區(qū)域中的像素的單線像素時獲得一模型。
參考圖49A和49B，從前景/背景分離單元105輸出的背景圖像由包含在屬于該背景區(qū)域的像素和屬于混合區(qū)域的像素中的背景分量組成。
參考圖49A和49B，從前景/背景分離單元105輸出的前景成分圖像由包含在屬于該前景區(qū)域的像素和屬于混合區(qū)域的像素中的前景分量組成。
混合區(qū)域的像素的像素值通過前景/背景分離單元105分離成背景分量和前景分量。因此而分離出來的背景分量與屬于背景區(qū)域的像素一起構(gòu)成背景分量圖像。分離出來的前景分量與屬于前景區(qū)域的像素一起構(gòu)成前景分量圖像。
按這種方式，關(guān)聯(lián)于背景區(qū)域的前景分量圖像的像素的像素值設(shè)置為0，而在對應(yīng)于前景區(qū)域的像素和對應(yīng)于混合區(qū)域的像素中設(shè)置有意義的像素值。同樣，關(guān)聯(lián)于前景區(qū)域的背景分量圖像的像素的像素值設(shè)置為0，而在對應(yīng)于背景區(qū)域的像素和對應(yīng)于混合區(qū)域的像素中設(shè)置有意義的像素值。
解釋在從屬于混合區(qū)域的像素中分離前景和背景分量時通過分離單元251執(zhí)行的處理。
圖50示意性地示出顯示包括對應(yīng)于在附圖中從左向右移動的物體的前景的兩幀的前景和背景分量的圖像模型。在圖50的圖像模型中，由于實際分開的時間間隔是4，所以前景的移動量為4。
在幀#n中，最左邊的像素和左起第十四至第十八像素僅僅包括背景分量，并且屬于背景區(qū)域。在幀#n中，左起第二至第四像素包括背景和前景分量，并且屬于未被覆蓋的背景區(qū)域。在幀#n中，左起第十一至第十三像素包括背景和前景分量并且屬于被覆蓋的背景區(qū)域。在幀#n，左起第五至第十像素只包括前景分量并且屬于被覆蓋的背景區(qū)域。
在幀#n+1中，左起第一至第五像素和左起第十八像素僅僅包括背景分量，并且屬于背景區(qū)域。在幀#n+1中，左起第六至第八像素包括背景和前景分量，并且屬于未被覆蓋的背景區(qū)域。在幀#n+1中，左起第十五至第十七像素包括背景和前景分量并且屬于被覆蓋的背景區(qū)域。在幀#n+1，左起第九至第十四像素只包括前景分量并且屬于被覆蓋的背景區(qū)域。
圖51說明了用于從屬于被覆蓋的背景區(qū)域的像素中分離前景分量的處理。在圖51中，α1至α8代表關(guān)聯(lián)于幀#n的各個像素的混合比值。在圖51中，左起第十五至第十七像素屬于被覆蓋的背景區(qū)域。
幀#n的左起第十五的像素值C15由下列方程(29)表示C15＝B15/v+F09/v+F08/v+F07/v＝α15·B15+F09/v+F08/v+F07/v＝α15·P15+F09/v+F08/v+F07/v (29)式中，α15是幀#n左起第十五像素的混合比，P15是幀#n·1的左起第十五像素的混合比。
基于方程(29)，幀#n的第十五像素的前景分量的總和f15由方程(30)表示f15＝F09/v+F08/v+F07/v
＝C15·α15·P15(30)類似地，幀#n的左起第十六像素的前景分量的總和f16和幀#n的第十七像素的前景分量的總和f17分別由方程(31)和(32)表示f16＝C16·α16·P16 (31)f17＝C17·α17·P17 (32)按這種方式，包含在屬于被覆蓋的背景區(qū)域中的像素的像素值C中的前景分量fc可以由方程(33)計算fc＝C·α·P(33)圖52說明了用于從屬于未被覆蓋的背景區(qū)域的像素中分離前景分量的處理。在圖52中，α1至α18代表關(guān)聯(lián)于幀#n的各個像素的混合比值。在圖52中，左起第二至第四像素屬于未被覆蓋的背景區(qū)域。
幀#n的左起第二像素的像素值C02由下列方程(34)表示C15＝B02/v+B02/v+B02/v+F01/v＝α2·B02+F01/v＝α2·N02+F01/v (34)式中，α2是幀#n的左起第二像素的混合比，N02是幀#n+1的左起第二像素的混合比。
基于方程(34)，幀#n的左起第二像素的前景分量的總和f02由方程(35)表示f02＝F01/v＝C02·α2·N02 (35)類似地，幀#n的左起第三像素的前景分量的總和f03和幀#n的左起第四像素的前景分量的總和f04分別由方程(36)和(37)表示f03＝C03·α3·N03 (36)f04＝C04·α4·N04 (37)包含在屬于未被覆蓋的背景區(qū)域中的像素的像素值C中的前景分量fu由下列方程(38)計算fu＝C·α·N (38)式中，N是下一幀的對應(yīng)像素的像素值。
按這種方式，分離單元251能夠基于包含在該區(qū)域信息中指示被覆蓋的背景區(qū)域的信息和指示被覆蓋的背景區(qū)域的信息以及基于像素的混合比α，從屬于混合區(qū)域的像素中分離前景分量和背景分量。
在示出適用于執(zhí)行上述處理的分離單元251的說明性結(jié)構(gòu)的圖53中，輸入到分離單元251的圖像被輸入到幀存儲器301，而指示被覆蓋的背景區(qū)域和未被覆蓋的背景區(qū)域的信息以及混合比α輸入到分離處理模塊302。
幀存儲器301以幀為基礎(chǔ)存儲輸入圖像。如果處理的物體是幀#n，則幀存儲器301存儲幀#n的緊前一幀#n·1、#n和緊跟#n的下一幀#n+1。
幀存儲器301將對應(yīng)于幀#n·1、幀#n和幀#n+1的像素傳遞到分離處理模塊302。
基于指示被覆蓋的背景區(qū)域的信息和未被覆蓋的背景區(qū)域的信息以及基于混合比α，如圖51和52所示，分離處理模塊302對從幀存儲器301供給的、幀#n·1、#n和幀#n+1的對應(yīng)像素的像素值執(zhí)行計算，以從屬于幀#n的混合區(qū)域的像素中分離前景和背景分量，并傳遞分離出的分量到幀存儲器303。
分離處理模塊302由未被覆蓋的背景區(qū)域處理器311、被覆蓋的區(qū)域處理器312、合成單元313和合成單元314構(gòu)成。
未被覆蓋的區(qū)域處理器311包括乘法器321，它將由幀存儲器301供給的幀#n+1的像素的像素值與混合比α相乘，以將產(chǎn)生的乘積傳遞到開關(guān)322，開關(guān)322在從幀存儲器301供給的幀#n的像素(對應(yīng)于幀#n+1的像素)位于未被覆蓋的背景區(qū)域時是閉合的，以將被從乘法器321發(fā)送的混合比α乘過的像素傳遞到運算單元323和合成單元314。來自開關(guān)322的被混合比α乘過的幀#n+1的像素的像素值等于幀#n的對應(yīng)的像素的像素值的背景分量。
運算單元323從幀存儲器301供給的幀#n的像素的像素值中減去開關(guān)322供給的背景分量，以得到前景分量。運算單元323傳遞屬于未被覆蓋的背景區(qū)域的幀#n的像素的前景分量到合成單元313。
被覆蓋的區(qū)域處理器312包括乘法器331它將由幀存儲器301供給的幀#n·1的像素的像素值與混合比α相乘，以將產(chǎn)生的乘積傳遞到開關(guān)332，開關(guān)322在從幀存儲器301供給的幀#n的像素(對應(yīng)于幀#n·1的像素)位于被覆蓋的背景區(qū)域時是閉合的，以將被從乘法器331發(fā)送的混合比α乘過的像素傳遞到運算單元333和合成單元313。來自開關(guān)332的被混合比α乘過的幀#n·1的像素的像素值等于幀#n的對應(yīng)的像素的像素值的背景分量。
運算單元333從幀存儲器301供給的幀#n的像素的像素值中減去開關(guān)322供給的背景分量，以得到前景分量。運算單元333傳遞屬于被覆蓋的背景區(qū)域的幀#n的像素的前景分量到合成單元313。
合成單元313將來自運算單元323的屬于未被覆蓋的背景區(qū)域的像素的前景分量合成到屬于被覆蓋的背景區(qū)域的像素的前景分量，以傳遞產(chǎn)生的總和到幀存儲器303。
合成單元314將來自運算單元323的屬于未被覆蓋的背景區(qū)域的像素的背景分量合成到屬于被覆蓋的背景區(qū)域的來自開關(guān)332的像素的背景分量，以傳遞產(chǎn)生的總和到幀存儲器303。
幀存儲器303存儲由分離處理模塊302供給的幀#n的混合區(qū)域的像素的前景和背景分量。
幀存儲器303輸出被存儲的幀#n的混合區(qū)域的像素的前景分量和被存儲的幀#n的混合區(qū)域的像素的背景分量。
通過將混合比α用作特征值，包含在像素值中的前景和背景分量可以完全彼此分離。
合成單元253將由分離單元251輸出的幀#n的混合區(qū)域的像素的前景分量和屬于前景區(qū)域的像素互相合成，以產(chǎn)生前景分量圖像。合成單元255將由分離單元251輸出的幀#n的混合區(qū)域的像素的背景分量和屬于背景區(qū)域的像素互相合成，以產(chǎn)生背景分量圖像。
圖54示出對應(yīng)于圖50的幀#n的背景分量圖像的一個示例以及前景分量圖像的一個示例。
圖54A示出對應(yīng)于圖50的幀#n的前景分量圖像的一個示例。最左邊的像素和左起第十四像素的像素值在前景/背景分離之前僅僅包括背景分量，因此它們等于0。
在前景/背景分離之前屬于未被覆蓋的背景區(qū)域的左起第二至第四像素，背景分量為0而前景分量保持原封不動。在前景/背景分離之前屬于被覆蓋的背景區(qū)域的左起第十一至第十三像素，背景分量為0而前景分量保持原封不動。因為這些像素僅僅包括背景分量，所以左起第五至第十像素保持原封不動。
圖54B示出對應(yīng)于圖50的幀#n的背景分量圖像的一個示例。最左邊的像素和左起第十四像素在前景/背景分離之前僅僅包括背景分量，因此它們保持原封不動。
在前景/背景分離之前屬于未被覆蓋的背景區(qū)域的左起第二至第四像素，前景分量為0而背景分量保持原封不動。在前景/背景分離之前屬于被覆蓋的背景區(qū)域的左起第十一至第十三像素，背景分量為0而前景分量保持原封不動。因為這些像素僅僅包括前景分量，所以左起第五至第十像素的像素值僅僅包括前景分量。
參考圖55的流程，解釋由前景/背景分離單元105用于前景/背景分離的處理。在步驟S201，分離單元251的幀存儲器301獲取輸入的圖像并將進行前景/背景分離處理的幀#n與其前面的幀#n·1和后面的幀#n+1一起存儲。
在步驟S202，分離單元251的分離處理模塊302獲取從混合比計算單元104供給的區(qū)域信息。在步驟S203，分離單元251的分離處理模塊302獲取從混合比計算單元104傳遞來的混合比α。
在步驟S204，未被覆蓋的區(qū)域處理器311基于幀存儲器301供給的該區(qū)域信息和混合比α、屬于未被覆蓋的背景區(qū)域的像素的像素值提取背景分量。
在步驟S205，未被覆蓋的區(qū)域處理器311基于幀存儲器301供給的該區(qū)域信息和混合比α、屬于未被覆蓋的背景區(qū)域的像素的像素值提取前景分量。
在步驟S206，被覆蓋的區(qū)域處理器312基于幀存儲器301供給的該區(qū)域信息和混合比α、屬于被覆蓋的背景區(qū)域的像素的像素值提取背景分量。
在步驟S207，被覆蓋的區(qū)域處理器312基于幀存儲器301供給的該區(qū)域信息和混合比α、屬于被覆蓋的背景區(qū)域的像素的像素值提取前景分量。
在步驟S208，合成單元313合成屬于未被覆蓋的背景區(qū)域、由步驟S205的處理提取的前景分量和屬于被覆蓋的背景區(qū)域、由步驟S207的處理提取的前景分量。將合成的前景分量傳遞到合成單元253，它接著合成屬于經(jīng)由開關(guān)252供給的前景區(qū)域的像素和從分離單元251供給的前景分量，以產(chǎn)生前景分量圖像。
在步驟S209，合成單元314合成屬于未被覆蓋的背景區(qū)域、由步驟S204的處理提取的背景分量和屬于被覆蓋的背景區(qū)域、由步驟S206的處理提取的背景分量。將合成的背景分量傳遞到合成單元255，它接著合成屬于經(jīng)由開關(guān)254供給的背景區(qū)域的像素和從分離單元251供給的背景分量，以產(chǎn)生背景分量圖像。
在步驟S210，合成單元253輸出該前景分量圖像。在步驟S211，合成單元255輸出該背景分量圖像，以終止該處理。
按這種方式，前景/背景分離單元105能夠基于區(qū)域信息和混合比α，從輸入的圖像分離前景分量和背景分量以輸出僅由前景分量組成的前景分量圖像和僅由背景分量組成的背景分量圖像。
解釋從前景分量圖像調(diào)整移動模糊量。
在示出移動模糊調(diào)整單元106的說明性結(jié)構(gòu)的方框圖56中，將從移動檢測單元102供給的移動向量，對應(yīng)的位置信息和從區(qū)域指定單元103供給的區(qū)域信息傳遞到處理單元判定單元351和模型建立單元352。發(fā)送從前景/背景分離單元105供給的前景分量圖像到加法單元354。
處理單元判定單元351基于移動向量、對應(yīng)的位置信息和區(qū)域信息，將所產(chǎn)生的處理單元和移動向量一起傳遞到模型建立單元352。
由處理單元判定單元351產(chǎn)生的處理單元表示從對應(yīng)于前景分量圖像的被覆蓋的背景區(qū)域的像素起始、沿移動方向延伸到對應(yīng)于未被覆蓋的背景區(qū)域的像素的相鄰像素，或者從對應(yīng)于前景分量圖像的未被覆蓋的背景區(qū)域的像素起始、沿移動方向延伸到對應(yīng)于被覆蓋的背景區(qū)域的像素的相鄰像素，例如圖57所示。該處理單元例如由左上點和右下點構(gòu)成。左上點是由該處理單元指定的像素的位置，位于圖像的最左邊或最上邊的點。
模型建立單元352基于移動向量和輸入的處理單元執(zhí)行模型建立(modelling)。更具體地說，模型建立單元352在開始時可以擁有相當于包含在該處理單元中的像素、在時間軸方向的像素值的實際分開間隔數(shù)以及基于像素的前景分量數(shù)的多個模型，以根據(jù)該處理單元和時間軸方向的像素值的實際分開間隔數(shù)選擇指定像素值和前景分量之間的對應(yīng)關(guān)系的模型，如圖58所示。
例如，由于對應(yīng)于處理單元的像素數(shù)為12并且該快門時間中的移動量v為5，所以模型建立單元352選擇總共八個前景分量，最左邊的像素包括一個前景分量、左起第二像素包括兩個前景分量、左起第三像素包括三個前景分量、左起第四像素包括四個前景分量、左起第五像素包括五個前景分量、左起第六像素包括五個前景分量、左起第七像素包括五個前景分量、左起第八像素包括五個前景分量、左起第九像素包括四個前景分量、左起第十像素包括三個前景分量、左起第十一像素包括兩個前景分量以及左起第十二像素包括一個前景分量。
代替從預(yù)先存儲的模型中選擇，在供給移動向量和處理單元時，模型建立單元352可以基于該移動向量和處理單元產(chǎn)生模型。
模型建立單元352發(fā)送選中的模型到方程產(chǎn)生單元353。
方程產(chǎn)生單元353基于模型建立單元352供給的模型產(chǎn)生一方程。參考圖58所示的前景分量圖像的模型，解釋由方程產(chǎn)生單元353在前景分量為8、對應(yīng)于處理單元的像素數(shù)為12、移動量v為5并且實際分開間隔數(shù)為5時，產(chǎn)生的方程。
當對應(yīng)于包含在前景成分圖像中的快門時間/v的前景分量是F01/v至F08/v，前景分量F01/v至F08/v和像素值C01至C12之間的關(guān)系被表示成方程(39)至(50)C01＝F01/v(39)C02＝F02/v+F01/v (40)C03＝F03/v+F02/v+F01/v(41)C04＝F04/v+F03/v+F02/v+F01/v (42)C05＝F05/v+F04/v+F03/v+F02/v+F01/v(43)C06＝F06/v+F05/v+F04/v+F03/v+F02/v(44)C07＝F07/v+F06/v+F05/v+F04/v+F03/v(45)C08＝F08/v+F07/v+F06/v+F05/v+F04/v(46)C09＝F08/v+F07/v+F06/v+F05/v (47)C10＝F08/v+F07/v+F06/v(48)C11＝F08/v+F07/v (49)C12＝F08/v(50)方程產(chǎn)生單元353改進所產(chǎn)生的這些方程，以產(chǎn)生方程組。由方程產(chǎn)生單元353產(chǎn)生的方程組由方程(51)至(62)指示C01＝1·F01/v+0·F02/v+0·F03/v+0·F04/v+0·F05/v+0·F06/v+0·F07/v+0·F08/v (51)C02＝1·F01/v+1·F02/v+0·F03/v+0·F04/v+0·F05/v+0·F06/v+0·F07/v+0·F08/v (52)C03＝1·F01/v+1·F02/v+1·F03/v+0·F04/v+0·F05/v+0·F06/v+0·F07/v+0·F08/v (53)C04＝1·F01/v+1·F02/v+1·F03/v+1·F04/v+0·F05/v+0·F06/v+0·F07/v+0·F08/v (54)C05＝1·F01/v+1·F02/v+1·F03/v+1·F04/v+1·F05/v+0·F06/v+0·F07/v+0·F08/v (55)C06＝0·F01/v+1·F02/v+1·F03/v+1·F04/v+1·F05/v+1·F06/v+0·F07/v+0·F08/v (56)C07＝0·F01/v+0·F02/v+1·F03/v+1·F04/v+1·F05/v+1·F06/v+1·F07/v+0·F08/v (57)C08＝0·F01/v+0·F02/v+0·F03/v+1·F04/v+1·F05/v+1·F06/v+1·F07/v+1·F08/v (58)C09＝0·F01/v+0·F02/v+0·F03/v+0·F04/v+1·F05/v+1·F06/v+1·F07/v+1·F08/v (59)C10＝0·F01/v+0·F02/v+0·F03/v+0·F04/v+0·F05/v+1·F06/v+1·F07/v+1·F08/v (60)C11＝0·F01/v+0·F02/v+0·F03/v+0·F04/v+0·F05/v+0·F06/v+1·F07/v+1·F08/v (61)C12＝0·F01/v+0·F02/v+0·F03/v+0·F04/v+0·F05/v+0·F06/v+0·F07/v+1·F08/v (62)方程(51)至(62)也可以由方程(63)表示Cj=Σi=0108aij·Fi/v---(63)]]>式中j指示像素位置。在這種情況下，j假設(shè)為值1至12之一。另一方面，i表示前景值的位置，并且假設(shè)為值1至8之一。aij具有關(guān)聯(lián)于i和j值的值0或1。
如果考慮到誤差，則方程(63)可以由方程(64)表示Cj=Σi=0108aij·Fi/v+ej---(64)]]>式中ej包含在所考慮的像素Cj中的誤差。
方程(64)可以改寫成方程(65)ej=Cj-Σi=0108aij·Fi/v---(65)]]>為了應(yīng)用最小二乘和(least square sum)，誤差E的平方和被定義為由方程(66)指示的形式
E=Σj=0112ej2---(66)]]>為了使該誤差極小，只要誤差平方和E關(guān)于變量Fk的偏導(dǎo)數(shù)值為0就足夠了。得到Fk滿足方程(67)∂E∂Fk=2Σj=0112ej·∂ej∂Fk]]>=2Σj=0112{(Cj-Σi=0108aij·Fi/v)·(-akj/v)=0---(67)]]>由于方程(67)中的移動量v為常數(shù)，所以可以導(dǎo)出方程(68)Σj=0112akj(Cj-Σi=0108aij·Fi/v)=0---(68)]]>展開方程(68)并移項，可以獲得方程(69)Σj=0112(akj·Σi=0108aij·Fi)=v·Σj=0112akj·Cj---(69)]]>通過代入整數(shù)1至8之一，方程(69)展開成八個方程。產(chǎn)生的八個方程可以借助于稱為法方程的專用方程用矩陣表示。
由方程產(chǎn)生單元353基于最小二乘法產(chǎn)生的法方程的一個示例是下列方程(70)5432100045432100345432102345432112345432012345430012345400012345F01F02F03F04F05F06F07F08=v·Σi=0812CiΣi=0711CiΣi=0610CiΣi=0509CiΣi=0408CiΣi=0307CiΣi=0206CiΣi=0105Ci]]>
(70)如果方程(70)被表達成A·F＝v·C，則C、A和v已知，而F未知。另一方面，在模型建立階段A和v已知，則在加法運算中輸入像素值時，C成為已知的。
通過借助基于最小二乘法的法方程計算前景分量，可以有效散射包含在像素值C中的誤差。
方程產(chǎn)生單元353將所產(chǎn)生的法方程發(fā)送到加法單元354。
基于從處理單元判定單元351供給的處理單元，加法單元354設(shè)置在方程產(chǎn)生單元353供給的矩陣方程中、包含在前景分量圖像中的像素值C。加法單元354將已經(jīng)在其中設(shè)置了像素值C的矩陣發(fā)送到運算單元355。
運算單元355通過基于諸如高斯-若當(Gauss-Jordan)消去法這樣的求解方法，計算無移動模糊Fi/v的前景分量，以得到對應(yīng)于作為無移動模糊的前景的像素值的i的整數(shù)0至8之一的Fi，以將由無移動模糊Fi的像素值組成的前景分量圖像輸出到移動模糊相加單元356和選擇單元357。
同時，在無移動模糊的前景分量圖像中，將F01至F08設(shè)置到C03至C10，以使得不產(chǎn)生相對于圖像屏幕的前景分量圖像的位置方面的變化?？梢栽O(shè)置任意位置。
移動模糊相加單元356能夠通過給予不同于移動量v的移動模糊調(diào)整量v′以調(diào)整移動模糊量的值來調(diào)整移動模糊量，例如，該移動模糊調(diào)整量v′等于移動量v的一半，或者該移動模糊調(diào)整量v′與移動量v無關(guān)。例如，移動模糊相加單元356將無移動模糊的前景的像素值Fi除以移動模糊調(diào)整值v′，來計算前景分量Fi/v′，并且將這些前景分量Fi/v′求和，以產(chǎn)生適合于移動模糊量調(diào)整的像素值，如圖60所示。例如，如果該移動模糊調(diào)整量v′為3，則像素值C02為(F01/v′)、像素值C03為(F01+F02)/v′、像素值C04為(F01+F02+F03)/v′以及像素值C05為(F01+F02+F03+F04)/v′。
移動模糊相加單元356將適合于移動模糊量調(diào)整的前景分量圖像發(fā)送到選擇單元357。
基于對應(yīng)于用戶選擇的選擇信號，選擇單元357在從運算單元355發(fā)送來的、無移動模糊前景分量圖像和從移動模糊相加單元356發(fā)送的、適合于移動模糊量調(diào)整的前景分量圖像中選擇之一，以輸出所選的前景分量圖像。
因此移動模糊調(diào)整單元106能夠基于該選擇信號和該移動模糊調(diào)整量v′調(diào)整移動模糊量。
例如，如果關(guān)聯(lián)于選擇信號獲得像素數(shù)為八，并且移動量v為四，如圖61所示，則移動模糊調(diào)整單元106能夠產(chǎn)生矩陣方程(71)4321034321234321234301234F01F02F03F04F05=v·Σi=0508CiΣi=0407CiΣi=0306CiΣi=0205CiΣi=0104Ci---(71)]]>因此移動模糊調(diào)整單元106建立了一系列對應(yīng)于處理單元的長度的方程，以計算適合于移動模糊量調(diào)整的像素值Fi。按照這種方式，如果包含在處理單元中的像素數(shù)是100，則移動模糊調(diào)整單元106產(chǎn)生關(guān)聯(lián)于這100個像素的100個方程，以計算Fi。
在圖62中示出了移動模糊調(diào)整單元106的另一種結(jié)構(gòu)。與圖56所示的配件類似的配件或部分由同樣的參考號指示，不再進行具體解釋。
選擇單元361傳遞輸入的移動向量和對應(yīng)的、位置信號到處理單元判定單元351和模型建立單元352?；蛘撸x擇單元361用移動模糊調(diào)整量v′替代移動向量的幅度，以直接傳遞該移動向量、已經(jīng)用移動模糊調(diào)整量v′替代的幅度和對應(yīng)的、位置信號到處理單元判定單元351和模型建立單元352。
通過這種處理，圖62的移動模糊調(diào)整單元106的處理單元判定單元351至355能夠調(diào)整關(guān)聯(lián)于移動量v和移動模糊調(diào)整量v′的移動模糊量。例如，如果移動模糊量為5并且移動模糊調(diào)整量v′為3，則圖62的移動模糊調(diào)整單元106的處理單元判定單元351至355以圖58的移動量為5、按照圖60所示的、對應(yīng)于移動模糊調(diào)整量v′為3的模型，執(zhí)行針對前景分量圖像的處理，以計算包含對應(yīng)于(移動量v)/(移動模糊調(diào)整量v′)＝5/3(即近似于1.7)的移動量v的移動模糊的圖像。由于所計算出的圖像無對應(yīng)于移動量v為3的移動模糊，所以直接注意到這樣的事實移動量v和移動模糊調(diào)整量v′之間的關(guān)系根據(jù)移動模糊相加單元356的結(jié)果而具有不同的意義。
移動模糊調(diào)整單元106產(chǎn)生一個關(guān)聯(lián)于移動量v和該處理單元的方程，并且在所產(chǎn)生的方程中設(shè)置前景分量圖像的像素值，以計算適合于移動模糊量調(diào)整的前景分量圖像。
參考圖63的流程，解釋用于通過移動模糊調(diào)整單元106調(diào)整前景分量圖像的移動模糊量的處理。
在步驟S251，移動模糊調(diào)整單元106的處理單元判定單元351基于移動向量和區(qū)域信息產(chǎn)生一處理單元，以將所產(chǎn)生的處理單元發(fā)送到模型建立單元352。
在步驟S252，移動模糊調(diào)整單元106的模型建立單元352選擇和產(chǎn)生關(guān)聯(lián)于移動量v和處理單元的模型。在步驟S253，方程產(chǎn)生單元353基于所選的模型產(chǎn)生法方程。
在步驟S254，加法單元354在所產(chǎn)生的法方程中設(shè)置前景分量圖像的像素值。在步驟S255，加法單元354驗證是否已經(jīng)設(shè)置了處理單元的全部像素的像素值。如果驗證為沒有設(shè)置完處理單元的全部像素的像素值，則該處理過程返回步驟S254，以重復(fù)在法方程中設(shè)置像素值的處理。
如果在步驟S255中判定已經(jīng)設(shè)置了對應(yīng)于處理單元的全部像素的像素值，則該處理過程返回到步驟S256，在其中運算單元355基于來自加法單元354已經(jīng)設(shè)置了像素值的法方程，計算適合于移動模糊量調(diào)整的前景的像素值，以終止該處理。
按照這種方式，移動模糊調(diào)整單元106能夠基于移動向量和區(qū)域信息，從包含移動模糊的的前景分量圖像中調(diào)整移動模糊量。
即，移動模糊調(diào)整單元106能夠調(diào)整在作為采樣數(shù)據(jù)的像素值中的移動模糊量。
同時，示出在圖56中的移動模糊調(diào)整單元106的結(jié)構(gòu)僅僅是一個示例，不意味著限制本發(fā)明。
結(jié)構(gòu)示出在圖10的信號處理器12能夠調(diào)整包含在輸入圖像中的模糊量。該結(jié)構(gòu)示出在圖10的信號處理器12能夠計算混合比α作為掩藏信息，以輸出所計算出的混合比α。
圖64是一方框圖，示出信號處理器12的功能的改進型結(jié)構(gòu)。
與圖10所示的配件類似的配件或部分由同樣的記號指示，不再進行具體解釋。
區(qū)域指定單元103將區(qū)域信息發(fā)送到混合比計算單元104和合成單元371。
混合比計算單元104將該區(qū)域信息發(fā)送到前景/背景分離單元105和合成單元371。
前景/背景分離單元105將前景分量圖像發(fā)送到合成單元371。
基于混合比計算單元104供給的混合比α和區(qū)域指定單元103供給的區(qū)域信息，合成單元371合成從前景/背景分離單元105供給的任意背景圖像和前景分量圖像，以輸出根據(jù)該任意背景圖像和前景分量圖像合成的圖像。
圖65示出合成單元371的結(jié)構(gòu)。背景分量產(chǎn)生單元381基于混合比α和可選背景圖像產(chǎn)生一背景分量圖像，以傳遞所產(chǎn)生的背景分量圖像到混合區(qū)域圖像合成單元382。
混合區(qū)域圖像合成單元382合成從背景分量產(chǎn)生單元381供給的背景分量圖像和該前景分量圖像，以產(chǎn)生將被傳遞到圖像合成單元383的混合區(qū)域合成圖像。
基于區(qū)域信息，圖像合成單元383合成該前景分量圖像、從混合區(qū)域圖像合成單元382供給的混合區(qū)域合成圖像和一任意背景圖像，以產(chǎn)生和輸出合成的圖像。
按這種方式，合成單元371能夠?qū)⒃撉熬胺至繄D像合成到任意背景圖像。
基于作為特征值的混合比α在將前景分量圖像與任意背景圖像合成時所獲得的圖像，比直接合成這些像素示獲得的圖像更自然。
圖66以一方框圖示出適用于調(diào)整移動模糊量的信號處理器12的功能的一改進型結(jié)構(gòu)。圖10所示的信號處理器12計算混合比α并且接著指定該區(qū)域，而圖66所示的信號處理器12指定該區(qū)域并且以并行處理計算混合比α。
類似于圖10的方框圖中所示的功能的功能用同樣的參考標號表示，不再進行具體解釋。
將輸入的圖像發(fā)送到混合比計算單元401、前景/背景分離單元402、區(qū)域指定單元103和物體提取單元101。
基于輸入的圖像，混合比計算單元401為包含在輸入圖像中的每一個像素計算在假設(shè)像素屬于被覆蓋的背景區(qū)域的情況下被估計的混合比，以及在假設(shè)像素屬于未被覆蓋的背景區(qū)域的情況下所計算的被估計的混合比，以將在假設(shè)像素屬于被覆蓋的背景區(qū)域的情況下的被估計的混合比和在假設(shè)像素屬于未被覆蓋的背景區(qū)域的情況下的被估計的混合比供給前景/背景分離單元402。
圖67以一方框圖示出混合比計算單元401的結(jié)構(gòu)。
圖67所示的被估計的混合比處理器201類似于圖37所示的被估計的混合比處理器201。圖67所示的被估計的混合比處理單元202和圖37所示的被估計的混合比處理單元202相同。
被估計的混合比處理器201基于輸入的圖像、用對應(yīng)于被覆蓋的背景區(qū)域的模型的算法，逐個像素地計算被估計的混合比，以輸出所計算出的被估計的混合比。
被估計的混合比處理單元202基于輸入的圖像、用對應(yīng)于未被覆蓋的背景區(qū)域的模型的算法，逐個像素地計算被估計的混合比，以輸出所計算出的被估計的混合比。
基于混合比計算單元401供給的、在假設(shè)像素屬于被覆蓋的背景區(qū)域的情況下被估計的混合比以及在假設(shè)像素屬于未被覆蓋的背景區(qū)域的情況下被估計的混合比，以及基于區(qū)域指定單元103供給的區(qū)域信息，前景/背景分離單元402從輸入圖像產(chǎn)生一前景分量圖像，以傳遞所產(chǎn)生的前景分量圖像到移動模糊調(diào)整單元106和選擇單元107。
圖68是一方框圖，示出前景/背景分離單元402的說明性結(jié)構(gòu)。
與圖48所示的前景/背景分離單元105的配件類似的配件或部分由同樣的參考標號指示，不再進行具體解釋。
基于區(qū)域指定單元103供給的區(qū)域信息，選擇單元421選擇從混合比計算單元401供給的、在假設(shè)像素屬于被覆蓋的背景區(qū)域的情況下被估計的混合比以及在假設(shè)像素屬于未被覆蓋的背景區(qū)域的情況下被估計的混合比之一，并將所選擇的混合比作為混合比α傳遞到分離單元251。
基于選擇單元421供給的混合比α和區(qū)域信息，分離單元251從屬于混合區(qū)域的像素值分離該前景分量和背景分量，以將被提取前景分量發(fā)送到合成單元253，并且將背景分量發(fā)送到合成單元255。
分離單元251可以以類似于圖53所示的結(jié)構(gòu)配置。
合成單元253合成和輸出前景分量圖像。合成單元255合成和輸出背景分量圖像。
圖66所示的移動模糊調(diào)整單元106可以配置成圖10那樣?；趨^(qū)域信息和移動向量，移動模糊調(diào)整單元106調(diào)整前景/背景分離單元402供給的移動模糊量，以輸出適合于移動模糊量調(diào)整的前景分量圖像。
基于對應(yīng)于用戶的選擇的選擇信號，選擇單元107從適合于移動模糊量調(diào)整的、前景/背景分離單元402供給的前景分量圖像和來自移動模糊調(diào)整單元106的前景分量圖像中選擇之一，以輸出選擇的前景分量圖像。
按這種方式，結(jié)構(gòu)如圖66所示的信號處理器12能夠調(diào)整對應(yīng)于包含在輸入圖像中的前景物體的物體的圖像，以輸出產(chǎn)生的圖像。結(jié)構(gòu)如圖66所示的信號處理器12能夠像第一實施例中那樣，將混合比α作為掩藏信息進行計算，以輸出所計算出的混合比α。
圖69是一方框圖，示出適用于將前景分量圖像合成到任意背景圖像的信號處理器12的功能的改進型。圖64所示的信號處理器12順序地執(zhí)行區(qū)域識別和混合比α計算，而圖69所示的信號處理器12并行地執(zhí)行區(qū)域識別和混合比α計算。
與圖66所示的方框圖中功能類似的功能由同樣的參考標號表示，不再進行具體解釋。
基于輸入的圖像，圖69所示的混合比計算單元401對包含在輸入圖像中的每一個像素，計算在假設(shè)像素屬于被覆蓋的背景區(qū)域的情況下的被估計的混合比，以及在假設(shè)像素屬于未被覆蓋的背景區(qū)域的情況下的被估計的混合比，以將在假設(shè)像素屬于被覆蓋的背景區(qū)域的情況下的被估計的混合比和在假設(shè)像素屬于未被覆蓋的背景區(qū)域的情況下的被估計的混合比供給前景/背景分離單元402和合成單元431。
基于從混合比計算單元401供給的在假設(shè)像素屬于被覆蓋的背景區(qū)域的情況下的被估計的混合比，以及在假設(shè)像素屬于未被覆蓋的背景區(qū)域的情況下的被估計的混合比，并基于區(qū)域指定單元103供給的區(qū)域信息，圖69所示的前景/背景分離單元402從輸入圖像中產(chǎn)生前將分量圖像，以將所產(chǎn)生的前景分量圖像傳遞到合成單元431。
基于從混合比計算單元401供給的在假設(shè)像素屬于被覆蓋的背景區(qū)域的情況下的被估計的混合比，以及在假設(shè)像素屬于未被覆蓋的背景區(qū)域的情況下的被估計的混合比，并基于區(qū)域指定單元103供給的區(qū)域信息，合成單元431合成從前景/背景分離單元402供給的一任意背景區(qū)域和一前景分量圖像，以輸出根據(jù)該任意背景區(qū)域和前景分量圖像合成的圖像。
圖70示出合成單元431的結(jié)構(gòu)。與圖65所示的方框圖中功能類似的功能由同樣的參考標號表示，不再進行具體解釋。
基于區(qū)域指定單元103供給的區(qū)域信息，選擇單元441選擇從混合比計算單元401供給的、在假設(shè)像素屬于被覆蓋的背景區(qū)域的情況下被估計的混合比以及在假設(shè)像素屬于未被覆蓋的背景區(qū)域的情況下被估計的混合比之一，并將所選擇的混合比作為混合比α傳遞到背景分量產(chǎn)生單元381。
基于選擇單元441供給的混合比α和任意背景分量圖像，圖70所示的背景分量產(chǎn)生單元381產(chǎn)生背景分量圖像，以將所產(chǎn)生的圖像傳遞到混合區(qū)域圖像合成單元382。
圖70所示的混合區(qū)域圖像合成單元382將背景分量產(chǎn)生單元381供給的背景分量圖像合成到前景分量圖像，以產(chǎn)生混合區(qū)域合成圖像，它被傳遞到圖像合成單元383。
基于該區(qū)域信息，圖像合成單元383合成該前景分量圖像、混合區(qū)域圖像合成單元382供給的混合區(qū)域合成圖像以及一任意背景圖像，以產(chǎn)生和輸出合成圖像。
按這種方式，合成單元431能夠?qū)⒃撉熬胺至繄D像合成到一任意背景圖像。
雖然混合比α作為包含在像素值中的背景分量的比例進行解釋，但它也可以是包含在像素值中的前景分量的比例。
雖然作為前景的物體的移動方向被解釋成從左至右，當然這個方向不是限制性的。
解釋這樣一個實施例，在該實施例中，移動模糊量的總量包含在溫度或壓力數(shù)據(jù)中，通過類似于由信號處理器12所執(zhí)行的處理進行處理。
圖71示出根據(jù)本發(fā)明的信號處理設(shè)備的一說明性結(jié)構(gòu)。溫度記錄器件451檢測從一物體輻射的IR(紅外線)射線，其中的物體是正在由諸如IR CCD這樣的密封的IR傳感器測量的物體，以產(chǎn)生對應(yīng)于檢測到的IR射線的波長和強度。溫度記錄器件451模擬/數(shù)字轉(zhuǎn)換所產(chǎn)生的信號、以比較轉(zhuǎn)換過信號與對應(yīng)于基準溫度的基準數(shù)據(jù)，從而產(chǎn)生指示物體的各個點的溫度的溫度數(shù)據(jù)，輸出所產(chǎn)生的溫度數(shù)據(jù)到信號處理器452。
類似于傳感器11，溫度記錄器件451具有關(guān)于空間和時間的積分效應(yīng)。
溫度記錄器件451傳遞到信號處理器452的溫度數(shù)據(jù)的配置類似于電影畫面的圖像數(shù)據(jù)，并且是這樣的數(shù)據(jù)，即在這些數(shù)據(jù)中指示正在被測量的物體的各個點的溫度的值(對應(yīng)于圖像數(shù)據(jù)的像素值)沿關(guān)聯(lián)于圖像數(shù)據(jù)幀的空間方向以兩維形式排列，并且也在時間方向排列。
信號處理器452調(diào)整包含在輸入溫度數(shù)據(jù)中的失真，這種失真是已經(jīng)作為正在被測量的物體的移動結(jié)果產(chǎn)生的。例如，信號處理器452提取正在被測量的物體的所希望的點的更精確的溫度。
圖72是一流程圖，示出用于通過信號處理器452調(diào)整移動模糊量的處理。在步驟S301，信號處理器452獲取溫度數(shù)據(jù)，在該數(shù)據(jù)中指示正在被測量的物體的各個點的溫度的值以兩維形式排列?；谠摐囟葦?shù)據(jù)，信號處理器452產(chǎn)生指定移動的數(shù)據(jù)。
在步驟S302，信號處理器452指定溫度數(shù)據(jù)的區(qū)域到僅包括指示對應(yīng)于所希望的物體的溫度值的前景區(qū)域、僅包括指示對應(yīng)于非所希望的物體的溫度值的背景區(qū)域以及包括對應(yīng)于所希望的物體的溫度信息和對應(yīng)于非所希望的物體的溫度信息的混合區(qū)域。
在步驟S303，信號處理器452檢測該溫度值是否屬于該溫度數(shù)據(jù)。如果信號處理器452判定指示值的溫度屬于混合區(qū)域，則信號處理器452轉(zhuǎn)到步驟S304，以利用類似于圖27的步驟S102的處理計算混合比α。
在步驟S305，信號處理器452利用類似于圖27的步驟S103的處理，來分離對應(yīng)于希望進行溫度度量的物體的溫度信息，然而該處理轉(zhuǎn)到步驟S306。
為了在步驟S305中分離溫度信息，可以將該溫度信息基于基爾霍夫(Kirchhoff)定律或諸如斯蒂芬-玻爾茲曼(Stephen-Boltzmann)定律這樣的、指定物體溫度和輻射的IR射線之間關(guān)系的定律，轉(zhuǎn)換成從希望進行溫度度量的物體輻射的IR射線的能量，以分離被轉(zhuǎn)化的IR射線的能量，然后從新將被分離的能量轉(zhuǎn)換成溫度。通過先于分離轉(zhuǎn)換成IR射線能量，信號處理器452能夠比直接分離溫度信息分離出更精確的溫度信息。
如果在步驟S303中，指示包含在該溫度數(shù)據(jù)中的值的溫度不屬于混合區(qū)域，那么就沒有必要分離對應(yīng)于希望測量溫度的物體的溫度信息。因此，跳過步驟S304和步驟S305的處理，并且該處理轉(zhuǎn)到步驟S306。
在步驟S306，信號處理器452從指示屬于前景溫度的溫度的值和關(guān)于使得該溫度度量對應(yīng)于所希望的物體的溫度的信息，產(chǎn)生溫度數(shù)據(jù)，用于使得溫度度量對應(yīng)于所希望的物體。
在步驟S307，信號處理器452利用類似于步驟S251的處理的處理，產(chǎn)生對應(yīng)于所產(chǎn)生的溫度數(shù)據(jù)的模型。
在步驟S308，信號處理器452利用類似于圖63的步驟S252至步驟S255的處理的處理，基于所產(chǎn)生的模型，調(diào)整包含在對應(yīng)于需要進行溫度度量的物體的溫度數(shù)據(jù)中的移動模糊量，以終止該處理。
按這種方式，信號處理器452調(diào)整包含在由正在被測量的物體的移動產(chǎn)生的溫度數(shù)據(jù)中的移動模糊量，以計算各個物體部分的更精確的溫度差。
圖73示出一根據(jù)本發(fā)明的信號處理設(shè)備的說明性結(jié)構(gòu)，用于稱重度量。壓力區(qū)域傳感器501由多個壓力傳感器構(gòu)成，以測量每個單元的平坦區(qū)域的負荷，即壓力。壓力區(qū)域傳感器501具有由多個壓力傳感器511-1-1至511-M-N的底面上的二維陣列組成的結(jié)構(gòu)。當正在被測量重量的物體512移動到壓力區(qū)域傳感器501時，壓力區(qū)域傳感器501測量施加到壓力傳感器511-1-1至511-M-N中的每一個上的壓力，以為壓力傳感器511-1-1至511-M-N中的每一個被測量的范圍產(chǎn)生重量數(shù)據(jù)，然后將所產(chǎn)生的重量數(shù)據(jù)輸出到信號處理器502。
壓力傳感器511-1-1至511-M-N中的每一個都由使用當外力施加到透明彈性材料或所謂的光彈性材料時生產(chǎn)的雙折射的傳感器構(gòu)成。
圖75說明施加到組成壓力區(qū)域傳感器501的各個壓力傳感器511-1-1至511-M-N的物體512的每一部分的重量關(guān)聯(lián)的負荷。
對應(yīng)于圖75中的物體512的最左邊部分的重量的負荷A被施加到壓力傳感器511-m-1。對應(yīng)于物體512的左起第二部分的重量的負荷b被施加到壓力傳感器511-m-2。對應(yīng)于物體512的左起第四部分的重量的負荷c被施加到壓力傳感器511-m-3。對應(yīng)于物體512的左起第四部分的重量的負荷d被施加到壓力傳感器511-m-4。
對應(yīng)于物體512的左起第二部分的重量的負荷e被施加到壓力傳感器511-m-5。對應(yīng)于物體512的左起第四部分的重量的負荷f被施加到壓力傳感器511-m-6。對應(yīng)于物體512的左起第四部分的重量的負荷g被施加到壓力傳感器511-m-7。
由壓力區(qū)域傳感器501輸出的重量數(shù)據(jù)對應(yīng)于壓力傳感器511-1-1至511-M-N的的排列，并且由在空間方向排成兩維的重量值構(gòu)成。
圖76說明在物體512正在移動時，以具有積分效應(yīng)的壓力區(qū)域傳感器501，由壓力區(qū)域傳感器501輸出的典型重量數(shù)據(jù)。
在壓力傳感器511-m-1上在度量的單位時間中，施加對應(yīng)于物體512的最左邊部分的重量的負荷A，值A(chǔ)作為指示包括在重量數(shù)據(jù)中的重量的值輸出。
在度量的單位時間中，給壓力傳感器511-m-2施加對應(yīng)于物體512的左起第二部分的重量的負荷b和對應(yīng)于物體512的最左邊部分的重量的負荷d，因此壓力傳感器511-m-2輸出值A(chǔ)+b作為指示包括在重量數(shù)據(jù)中的重量的值。
在度量的單位時間中，給壓力傳感器511-m-3施加對應(yīng)于物體512的左起第三部分的重量的負荷c、對應(yīng)于物體512的左起第二部分的重量的負荷b和接著對應(yīng)于物體512的左起第二部分的重量的負荷A，因此壓力傳感器511-m-2輸出值A(chǔ)+b+c作為指示包括在重量數(shù)據(jù)中的重量的值。
在度量的單位時間中，給壓力傳感器511-m-4施加對應(yīng)于物體512的左起第四部分的重量的負荷d、對應(yīng)于物體512的左起第三部分的重量的負荷c、對應(yīng)于物體512的左起第二部分的重量的負荷b和接著對應(yīng)于物體512的最左邊部分的重量的負荷A，因此壓力傳感器511-m-2輸出值A(chǔ)+b+c+d作為指示包括在重量數(shù)據(jù)中的重量的值。
在度量的單位時間中，給壓力傳感器511-m-5施加對應(yīng)于物體512的左起第五部分的重量的負荷e、對應(yīng)于物體512的左起第四部分的重量的負荷d、對應(yīng)于物體512的左起第三部分的重量的負荷c和接著對應(yīng)于物體512的左起第二部分的重量的負荷b，因此壓力傳感器511-m-5輸出值b+c+d+e作為指示包括在重量數(shù)據(jù)中的重量的值。
在度量的單位時間中，給壓力傳感器511-m-6施加對應(yīng)于物體512的左起第六部分的重量的負荷f、對應(yīng)于物體512的左起第五部分的重量的負荷e、對應(yīng)于物體512的左起第四部分的重量的負荷d和接著對應(yīng)于物體512的左起第三部分的重量的負荷c，因此壓力傳感器511-m-6輸出值c+d+e+f作為指示包括在重量數(shù)據(jù)中的重量的值。
在度量的單位時間中，給壓力傳感器511-m-7施加對應(yīng)于物體512的左起第七部分的重量的負荷g、對應(yīng)于物體512的左起第六部分的重量的負荷f、對應(yīng)于物體512的左起第五部分的重量的負荷e和接著對應(yīng)于物體512的左起第四部分的重量的負荷d，因此壓力傳感器511-m-7輸出值d+e+f+g作為指示包括在重量數(shù)據(jù)中的重量的值。
在度量的單位時間中，給壓力傳感器511-m-8施加對應(yīng)于物體512的左起第七部分的重量的負荷g、對應(yīng)于物體512的左起第六部分的重量的負荷f和接著對應(yīng)于物體512的左起第五部分的重量的負荷e，因此壓力傳感器511-m-8輸出值e+f+g作為指示包括在重量數(shù)據(jù)中的重量的值。
在度量的單位時間中，給壓力傳感器511-m-9施加對應(yīng)于物體512的左起第七部分的重量的負荷g和對應(yīng)于物體512的左起第六部分的重量的負荷f，因此壓力傳感器511-m-9輸出值f+g作為指示包括在重量數(shù)據(jù)中的重量的值。
在度量的單位時間中，給壓力傳感器511-m-10施加對應(yīng)于物體512的左起第七部分的重量的負荷g，因此壓力傳感器511-m-10輸出值g作為指示包括在重量數(shù)據(jù)中的重量的值。
壓力區(qū)域傳感器501輸出重量數(shù)據(jù)，該重量數(shù)據(jù)由壓力傳感器511-m-1輸出的值A(chǔ)、壓力傳感器511-m-2輸出的值A(chǔ)+b、壓力傳感器511-m-3輸出的值A(chǔ)+b+c、壓力傳感器511-m-4輸出的值A(chǔ)+b+c+d、壓力傳感器511-m-4輸出的值b+c+d+e、由壓力傳感器511-m-3輸出的值A(chǔ)+b+c、壓力傳感器511-m-4輸出的值A(chǔ)+b+c+d、壓力傳感器511-m-5輸出的值b+c+d+e、壓力傳感器511-m-6輸出的值c+d+e+f、壓力傳感器511-m-7輸出的值d+e+f+g、壓力傳感器511-m-8輸出的值e+f+g、壓力傳感器511-m-9輸出的值f+g和壓力傳感器511-m-10輸出的值g組成。
信號處理器502從壓力區(qū)域傳感器501供給的重量數(shù)據(jù)中，調(diào)整由正在被測量的物體512的移動產(chǎn)生的失真。例如，信號處理器502提取正在被測量的物體512的所希望的點的更精確的重量。例如信號處理器502從值A(chǔ)、A+b、A+b+c、A+b+c+d、b+c+d+e、c+d+e+f、d+e+f+g、e+f+g、f+g和g組成的重量數(shù)據(jù)中提取負荷A和b。
參考圖77的流程，解釋用于計算由信號處理器502執(zhí)行的處理。
在步驟S401，信號處理器502獲取由壓力區(qū)域傳感器501輸出的重量數(shù)據(jù)。在步驟S402，信號處理器502基于從壓力區(qū)域傳感器501獲取的重量數(shù)據(jù)判定物體512的負荷是否正在被施加到壓力區(qū)域傳感器501。如果判定物體512的負荷是正在被施加到壓力區(qū)域傳感器501，則信號處理器502轉(zhuǎn)到步驟S403來基于重量數(shù)據(jù)的變化獲取物體512的移動。
在步驟S404，信號處理器502獲取沿由步驟S403中的處理獲取的移動的方向、包含在重量數(shù)據(jù)中的壓力傳感器511的單線數(shù)據(jù)。
在步驟S405，信號處理器502計算對應(yīng)于物體512的各個部分的重量的負荷，以終止該處理。信號處理器502通過與參考圖63的流程解釋過的處理類似的處理計算對應(yīng)于物體512的各個部分的重量的負荷。
如果在步驟S402中，物體512的負荷未被施加到壓力區(qū)域傳感器501，則不存在任何要被處理的重量數(shù)據(jù)，因此終止該處理。
按這種方式，該重量度量系統(tǒng)能夠計算對應(yīng)于移動物體的每個部分的重量的正確負荷。
解釋在空間方向產(chǎn)生較高分辨率的圖像的信號處理器12。
圖78是一方框圖，作為信號處理器12的另一個功能、示出通過增加每幀的像素數(shù)來產(chǎn)生高分辨率圖像的圖像的配置。
幀存儲器701以幀為基礎(chǔ)存儲輸入的圖像，并將所存儲的圖像發(fā)送到像素值產(chǎn)生器702和相關(guān)性計算單元703。
相關(guān)性計算單元703計算在橫向上互相鄰接的、包含在從幀存儲器701供給的圖像中的像素值的相關(guān)值，以將所計算出的相關(guān)值發(fā)送到像素值產(chǎn)生器702。像素值產(chǎn)生器702基于相關(guān)性計算單元703供給的相關(guān)值，從中心像素的像素值計算雙密度圖像分量，以用所計算出的圖像分量作為像素值產(chǎn)生水平雙密度圖像。像素值產(chǎn)生器702將所產(chǎn)生的水平雙密度圖像發(fā)送的幀存儲器704。
幀存儲器704存儲從像素值產(chǎn)生器702供給的該水平雙密度圖像，以將所存儲的水平雙密度圖像發(fā)送到像素值產(chǎn)生器705和相關(guān)性計算單元706。
相關(guān)性計算單元706計算在縱向上互相鄰接的、包含在從幀存儲器704供給的圖像中的像素值的相關(guān)值，以將所計算出的相關(guān)值發(fā)送到像素值產(chǎn)生器705。像素值產(chǎn)生器705基于相關(guān)性計算單元703供給的相關(guān)值，從中心像素的像素值計算雙密度圖像分量，以用所計算出的圖像分量作為像素值產(chǎn)生水平雙密度圖像。像素值產(chǎn)生器705輸出所產(chǎn)生的水平雙密度圖像。
解釋用于由像素值產(chǎn)生器702產(chǎn)生水平密度圖像的處理。
圖79示出配備在作為CCD的傳感器11中的一種像素排列，以及水平雙密度圖像的像素數(shù)據(jù)區(qū)域。在圖79中，A至I指示獨立的像素。區(qū)域A至r中的每一個表示在經(jīng)線方向?qū)Ψ知毩⑾袼谹至I所獲得的一光接收區(qū)域。和像素A至I中的每一個的光接收區(qū)域的寬度21一致，區(qū)域A至r中的每一個的寬度是I。像素值產(chǎn)生器702計算關(guān)聯(lián)于區(qū)域A至r的像素數(shù)據(jù)的像素值。
圖80說明對應(yīng)于區(qū)域A至r的入射光的像素數(shù)據(jù)。在圖80中，f′(x)表示關(guān)聯(lián)于輸入光和空間上微小的域的、空間上理想的像素值。
如果用理想的像素值f′(x)的均勻積分(uniform integration)表示像素數(shù)據(jù)的像素值，則關(guān)聯(lián)于區(qū)域i的像素數(shù)據(jù)的像素值Y1由方程(72)表示Y1=f(x)dx1e---(72)]]>而關(guān)聯(lián)于區(qū)域j的圖像數(shù)據(jù)的像素值Y2和像素E的像素值Y3由方程(73)和(74)分別表示Y2=∫x2x3f(x)dx1e---(73)]]>和Y3=∫x1x3f(x)dx12e---(74)]]>=Y1+Y22]]>在上述方程(72)至(74)中，x1、x2和x3分別是像素E的光接收區(qū)域、區(qū)域i和區(qū)域j的各個邊界的空間坐標。
通過改進方程(74)，可以導(dǎo)出方程(75)、(76)Y1＝2·Y3·Y2 (75)Y2＝2·Y3·Y1 (76)因此，如果已知像素E的像素值Y3和對應(yīng)于區(qū)域j的像素數(shù)據(jù)的像素值Y2，則可以從方程(75)可以計算對應(yīng)于區(qū)域i的像素數(shù)據(jù)的像素值Y1。此外，如果已知像素E的像素值Y3和對應(yīng)于區(qū)域i的像素數(shù)據(jù)的像素值Y1，則可以從區(qū)域j計算出對應(yīng)于區(qū)域j的像素數(shù)據(jù)的像素值Y2。
如果已知對應(yīng)于一個像素的像素值和對應(yīng)于該像素的兩個區(qū)域的像素數(shù)據(jù)的像素值之一，則可以計算對應(yīng)于該像素的另一像素區(qū)域的另一像素數(shù)據(jù)的像素值。
參考圖81，解釋計算對應(yīng)于一個像素的兩個區(qū)域的像素數(shù)據(jù)的像素值的方法。圖81A示出像素D、E和F之間的相關(guān)性以及空間上理想的像素值f′(x)。
由于像素D至F擁有積分效應(yīng)，并且一個像素輸出一個像素值，所以按圖81B那樣輸出每一個像素值。由像素E輸出的像素值對應(yīng)于像素值f′(x)在光接收區(qū)域的范圍中的積分值。
相關(guān)性計算單元703產(chǎn)生像素D的像素值和像素E的像素值之間的相關(guān)值以及像素E的像素值和像素F的像素值之間的相關(guān)值，以傳遞所產(chǎn)生的相關(guān)值到像素值產(chǎn)生器702?；谙袼谼的像素值和像素E的像素值之間的差或像素E的像素值和像素F的像素值之間的差，計算由相關(guān)性計算單元703計算的相關(guān)值。當鄰接的像素的像素值互相接近時，這些像素可以被認為具有較高的相關(guān)性。即，像素值之間的較小的差值指示較強的相關(guān)性。
因此，如果像素D的像素值和像素E的像素值之間的差或像素E的像素值和像素F的像素值之間的差直接用作相關(guān)值，那么該相關(guān)值即較小差值展示較強的相關(guān)性。
例如，如果像素D的像素值和像素E的像素值之間的相關(guān)性比像素E的像素值和像素F的像素值之間的相關(guān)性強，則像素值產(chǎn)生器702將像素D的像素值除以2，以將產(chǎn)生的值作為區(qū)域i的像素數(shù)據(jù)使用。
基于像素E的像素值和區(qū)域i的像素值，像素值產(chǎn)生器702按照方程(75)或(76)計算區(qū)域j的像素數(shù)據(jù)的像素值，如圖81D所示。
像素值產(chǎn)生器702例如為像素D計算區(qū)域g的像素數(shù)據(jù)的像素值以及區(qū)域h的像素數(shù)據(jù)的像素值，以計算區(qū)域i的像素數(shù)據(jù)的像素值以及區(qū)域j的像素數(shù)據(jù)的像素值，然后接著計算區(qū)域k的像素數(shù)據(jù)的像素值以及區(qū)域1的像素數(shù)據(jù)的像素值等等，以像上述那樣計算該圖像中的像素數(shù)據(jù)的像素值來產(chǎn)生一包含所計算出的像素數(shù)據(jù)的像素值的水平雙密度圖像，以將所產(chǎn)生的水平雙密度圖像供應(yīng)給幀存儲器704。
類似于像素值產(chǎn)生器702，像素值產(chǎn)生器705從相關(guān)性計算單元706供給的、水平雙密度圖像的三個縱向排列的像素的像素值的相關(guān)性，以及該三個像素的像素值，計算對應(yīng)于縱向分開該像素的光接收區(qū)域時獲得的兩個區(qū)域的圖像數(shù)據(jù)的像素值，從而產(chǎn)生雙密度圖像。
當給像素值產(chǎn)生器702饋送例如圖82所示的圖像時，像素值產(chǎn)生器702產(chǎn)生例如圖83所示的雙密度圖像。
當給像素值產(chǎn)生器705饋送例如圖82所示的一圖像時，像素值產(chǎn)生器705產(chǎn)生例如圖84所示的一圖像。當給像素值產(chǎn)生器705饋送例如圖83所示的一水平雙密度圖像時，像素值產(chǎn)生器705產(chǎn)生例如圖85所示的一雙密度圖像。
圖86是一流程圖，用于說明適用于通過圖78所示結(jié)構(gòu)的信號處理器12產(chǎn)生雙密度圖像的處理。在步驟S601，信號處理器12獲取輸入圖像以將其存儲在幀存儲器701。
在步驟S602，相關(guān)性計算單元703基于存儲在幀存儲器701中的像素值選擇作為考慮的像素的圖像中的像素之一，并找到水平地鄰接于所考慮的像素的像素。在步驟S603，像素值產(chǎn)生器702從展示較強相關(guān)性即較高相關(guān)值的像素值中，產(chǎn)生位于水平雙密度圖像的單邊上的像素數(shù)據(jù)的像素值。
基于CCD的特性，像素值產(chǎn)生器702在步驟S604產(chǎn)生水平雙密度圖像的其他像素數(shù)據(jù)的像素值。具體地說，像素值產(chǎn)生器702基于由步驟S603的處理計算出的像素值和輸入圖像的圖像數(shù)據(jù)的像素值、按照參考圖80進行解釋的方程(75)和(76)計算水平雙密度圖像的其他像素數(shù)據(jù)的像素值。由步驟S603和步驟S604的處理產(chǎn)生的、關(guān)于被考慮的像素的水平雙密度圖像的圖像數(shù)據(jù)，被存儲在幀存儲器704。
在步驟S605，像素值產(chǎn)生器702檢查整個圖像的處理是否已經(jīng)結(jié)束。如果判別整個圖像的處理已經(jīng)結(jié)束，則該處理過程返回步驟S602，以選擇下一像素作為被考慮的像素來重復(fù)產(chǎn)生水平雙密度圖像的處理。
如果在步驟S605判別整個圖像的處理已經(jīng)結(jié)束，則相關(guān)性計算單元706選擇作為被考慮的像素的圖像中的像素之一，以基于存儲在幀存儲器704的水平雙密度圖像的像素值、得到在縱向上鄰接于被考慮的像素的像素相關(guān)值。在步驟S607，像素值產(chǎn)生器705從該較強的相關(guān)性的像素值、基于相關(guān)性計算單元706供給的相關(guān)值產(chǎn)生該雙密度圖像的單邊的像素值。
在步驟S608，像素值產(chǎn)生器705像在步驟S604那樣，基于CCD的特性產(chǎn)生該雙密度圖像的其他像素值。具體地說，像素值產(chǎn)生器702基于由步驟S607的處理計算出的像素值、以及該水平雙密度圖像的像素數(shù)據(jù)的像素值，按照參考圖80解釋過的方程(75)和(76)，計算該雙密度圖像的其他圖像數(shù)據(jù)的像素值。
在步驟S609，像素值產(chǎn)生器705判定整個圖像的處理是否已經(jīng)結(jié)束。如果判定整個圖像的處理還沒有結(jié)束，則該處理過程返回步驟S606，以選擇下一像素作為被考慮的像素來重復(fù)產(chǎn)生水平雙密度圖像的處理。
如果在步驟S609判定整個圖像的處理已經(jīng)結(jié)束，則像素值產(chǎn)生器705輸出所產(chǎn)生的雙密度圖像以結(jié)束該處理。
按這種方式，在垂直方向和水平方向的像素數(shù)都被加倍的雙密度圖像可以由信號處理器12從輸入圖像產(chǎn)生，信號處理器12的結(jié)構(gòu)示出在圖78中。
結(jié)構(gòu)示出在圖78中的信號處理器12能夠通過執(zhí)行考慮到關(guān)于該空間的像素相關(guān)性和CCD的積分效應(yīng)的信號處理，產(chǎn)生高空間分辨率的圖像。
在以上描述中，具有三維空間的真實空間的圖像和時間軸信息被映射在具有兩維空間的時空和使用攝像機的時間軸信息上。然而本發(fā)明不限于這個實施例，并且可以應(yīng)用到由從較高階的第一維的第一信息投影到較低階的第二維所引起的失真的校正、重要信息的提取或者多個自然圖像的合成。
傳感器11也可以是例如BBD(組桶式器件)、CID(電荷注入器件)或CDD(電荷啟動器件)這樣的傳感器，而不限于CCD。傳感器11也可以是檢測器件排成一行而不是矩陣的傳感器。
已經(jīng)在其中記錄了用于執(zhí)行本發(fā)明的信號處理的程序的記錄介質(zhì)不僅可以由被發(fā)行以用于脫離計算機供應(yīng)該程序的給用戶的數(shù)據(jù)包介質(zhì)構(gòu)造，包括諸如軟盤這樣的、已經(jīng)在其上記錄了該程序的磁盤51，諸如CD-ROM、致密盤、只讀存儲器或DvD(數(shù)字視頻盤)這樣的光盤52，諸如MD(小型盤)或半導(dǎo)體存儲器54這樣的磁光盤53。而且該記錄介質(zhì)還可以由以在計算機中預(yù)編譯的狀態(tài)供應(yīng)給用戶的、在其上已經(jīng)記錄了的程序ROM 22以及包括在貯存單元28中的硬盤構(gòu)造。
應(yīng)該注意，在本說明書中，用于啟動記錄于一記錄介質(zhì)中的程序的步驟不僅包括以年月日的順序指定的順序?qū)嵤┰撎幚?，而且包括不需要以年月日的順序進行而是以并行或批處理形式進行的處理。
因此，基于指定僅由構(gòu)成圖像數(shù)據(jù)中的前景物體的前景物體分量構(gòu)成的前景區(qū)域的區(qū)域信息、僅由構(gòu)成圖像數(shù)據(jù)中的背景物體的背景物體分量構(gòu)成的前景區(qū)域的區(qū)域信息，和基于圖像數(shù)據(jù)的前景物體分量和背景物體分量混合而成的混合區(qū)域，以及基于該圖像數(shù)據(jù)，設(shè)置包括在前景物體的移動方向的前端形成的被覆蓋的背景區(qū)域和在前景物體的后端形成的未被覆蓋的背景區(qū)域的混合區(qū)域、由位于至少一條在與前景物體的移動方向一致的方向上、從被覆蓋的背景區(qū)域的外端延伸到未被覆蓋的背景區(qū)域的外端的直線上的像素數(shù)據(jù)構(gòu)成的、以前景區(qū)域居為中心的處理單元。然后通過在所判定的處理單元中設(shè)置像素的像素值，基于該處理單元和一預(yù)定分割數(shù)分割混合區(qū)域的前景物體分量時獲得的未知的分割值，產(chǎn)生法方程。用最小二乘法解該法方程，以產(chǎn)生適合于移動模糊量調(diào)整的前景物體分量，從而調(diào)整該移動模糊量。
此外，作為對應(yīng)于現(xiàn)實世界中的前景的前景采樣數(shù)據(jù)提取出現(xiàn)在位于被考慮的檢測數(shù)據(jù)的前面和后面的檢測數(shù)據(jù)的采樣數(shù)據(jù)，在其中存在正在被考慮的采樣數(shù)據(jù)，同時作為對應(yīng)于現(xiàn)實世界中的背景的背景采樣數(shù)據(jù)提取出現(xiàn)在位于被考慮的檢測數(shù)據(jù)的前面和后面的的檢測數(shù)據(jù)的采樣數(shù)據(jù)，在其中存在正在被考慮的采樣數(shù)據(jù)，并且基于被考慮的采樣數(shù)據(jù)、前景采樣數(shù)據(jù)和背景采樣數(shù)據(jù)檢測被考慮的采樣數(shù)據(jù)的混合比，從而允許混合比檢測。
基于該檢測數(shù)據(jù)給定靜止/移動判定，包含采樣數(shù)據(jù)的混合區(qū)域包括現(xiàn)實世界中的多個物體的混合物，從而允許混合比檢測。
通過檢測具有映射在第二維比第一維低的傳感器上的第一維的現(xiàn)實世界的第一信號，獲取第二維的第二信號，并且關(guān)于該第二信號執(zhí)行該信號處理，從而允許從該第二信號提取由于投影而隱藏的重要信息。
由于通過由一比第一維低的第二維的第二信號并且出現(xiàn)相對于第一信號的失真的傳感器檢測具有第一維的現(xiàn)實世界的第一信號，獲取該第二信號，并且減輕了相對于該第二信號中的失真的第三信號通過基于第二信號的處理被產(chǎn)生，所以可能減輕該信號失真。
在該檢測信號中，指定僅由構(gòu)造前景物體的前景物體分量組成的前景區(qū)域、僅由構(gòu)造背景物體的背景物體分量組成的背景區(qū)域以及由該前景物體分量和該背景物體分量組成的混合區(qū)域，至少在混合區(qū)域中檢測前景物體分量和背景物體分量的混合比，以及基于指定的結(jié)果和混合比互相分離前景物體分量和背景物體分量，因此允許將該前景和背景物體作為較高質(zhì)量的數(shù)據(jù)利用。
在該檢測信號中，指定僅由構(gòu)造前景物體的前景物體分量組成的前景區(qū)域、僅由構(gòu)造背景物體的背景物體分量組成的背景區(qū)域以及由該前景物體分量和該背景物體分量組成的混合區(qū)域，以及基于指定的結(jié)果判別至少混合區(qū)域中的前景和背景物體分量的混合比，因此允許作為重要信息的混合比的檢測。
檢測由構(gòu)造前景物體的前景物體分量和由構(gòu)造背景物體的背景物體分量組成的混合區(qū)域中的前景和背景物體分量的混合比，以及基于該混合比互相分離前景和背景物體分量，因此允許將該前景和背景物體作為較高質(zhì)量的數(shù)據(jù)利用。
權(quán)利要求
1.一種信號處理設(shè)備，用于在每個預(yù)定時間間隔中處理每個預(yù)定時間間隔中由一預(yù)定數(shù)量的具有時間積分效應(yīng)的檢測元件構(gòu)成的傳感器獲取的檢測數(shù)據(jù)，所述信號處理設(shè)備包括靜止/移動判定裝置，用于基于所述檢測數(shù)據(jù)判定靜止/移動；以及檢測裝置，用于基于判別結(jié)果檢測包含具有多個現(xiàn)實世界物體混合在一起的采樣數(shù)據(jù)的混合區(qū)域。
2.根據(jù)權(quán)利要求1的信號處理設(shè)備，其中所述靜止/移動判定裝置包括第一判定裝置，用于判別正在被判別的所述采樣數(shù)據(jù)是否在從該采樣值數(shù)據(jù)隨時間消逝實際上是常數(shù)的狀態(tài)、至該采樣值數(shù)據(jù)隨時間消逝而變化的狀態(tài)的一基準時間點之前已經(jīng)移動，以及第二判定裝置，用于判別正在被判別的所述采樣數(shù)據(jù)是否在從該采樣值數(shù)據(jù)隨時間消逝而變化的狀態(tài)、至該采樣值數(shù)據(jù)隨時間消逝實際上是常數(shù)的狀態(tài)的所述基準時間點之后已經(jīng)移動；在所述第一判定裝置已經(jīng)判定正在被判別的所述采樣數(shù)據(jù)在從該采樣值數(shù)據(jù)隨時間消逝實際上是常數(shù)的狀態(tài)、至該采樣值數(shù)據(jù)隨時間消逝而變化的狀態(tài)的一基準時間點之前已經(jīng)移動，或者在所述第二判定裝置已經(jīng)判定正在被判別的所述采樣數(shù)據(jù)在從該采樣值數(shù)據(jù)隨時間消逝而變化的狀態(tài)、至該采樣值數(shù)據(jù)隨時間消逝實際上是常數(shù)的狀態(tài)的所述基準時間點之后已經(jīng)移動時，所述檢測裝置檢測正在被判別的所述采樣數(shù)據(jù)為屬于所述混合區(qū)域的所述采樣數(shù)據(jù)。
3.根據(jù)權(quán)利要求2的信號處理設(shè)備，其中當所述第一判定裝置已經(jīng)判定正在被判別的所述采樣數(shù)據(jù)在從該采樣值數(shù)據(jù)隨時間消逝實際上是常數(shù)的狀態(tài)、至該采樣值數(shù)據(jù)隨時間消逝而變化的狀態(tài)的一基準時間點之前已經(jīng)移動時，所述檢測裝置檢測正在被判別的所述采樣數(shù)據(jù)為屬于被覆蓋的背景區(qū)域的所述采樣數(shù)據(jù)的所述采樣數(shù)據(jù)；以及其中當所述第二判定裝置已經(jīng)判定正在被判別的所述采樣數(shù)據(jù)在從該采樣值數(shù)據(jù)隨時間消逝而變化的狀態(tài)、至該采樣值數(shù)據(jù)隨時間消逝實際上是常數(shù)的狀態(tài)的所述基準時間點之后已經(jīng)移動時，所述檢測裝置檢測正在被判別的所述采樣數(shù)據(jù)為所述屬于未被覆蓋的背景區(qū)域的所述采樣數(shù)據(jù)的所述采樣數(shù)據(jù)。
4.根據(jù)權(quán)利要求1的信號處理設(shè)備，其中所述檢測數(shù)據(jù)是圖像數(shù)據(jù)。
5.一種信號處理方法，用于在每個預(yù)定時間間隔中處理每個預(yù)定時間間隔中由一預(yù)定數(shù)量的具有時間積分效應(yīng)的檢測元件構(gòu)成的傳感器獲取的檢測數(shù)據(jù)，所述信號處理方法包括靜止/移動判定步驟，用于基于所述檢測數(shù)據(jù)判定靜止/移動；以及檢測步驟，用于基于該判別結(jié)果檢測包含具有多個現(xiàn)實世界物體混合在一起的采樣數(shù)據(jù)的混合區(qū)域。
6.一種信號處理程序，用于在每個預(yù)定時間間隔中處理每個預(yù)定時間間隔中由一預(yù)定數(shù)量的具有時間積分效應(yīng)的檢測元件構(gòu)成的傳感器獲取的檢測數(shù)據(jù)，所述信號處理程序包括靜止/移動判定步驟，用于基于所述檢測數(shù)據(jù)判定靜止/移動；以及檢測步驟，用于基于判別該結(jié)果檢測包含具有多個現(xiàn)實世界物體混合在一起的采樣數(shù)據(jù)的混合區(qū)域。
全文摘要
一種信號處理設(shè)備，用于在每個預(yù)定時間間隔中處理每個預(yù)定時間間隔中由一預(yù)定數(shù)量的具有時間積分效應(yīng)的檢測元件構(gòu)成的傳感器獲取的檢測數(shù)據(jù)，所述信號處理設(shè)備包括靜止/移動判定裝置，用于基于所述檢測數(shù)據(jù)判定靜止/移動；以及檢測裝置，用于基于判別結(jié)果檢測包含具有多個現(xiàn)實世界物體混合在一起的采樣數(shù)據(jù)的混合區(qū)域。
文檔編號G06T7/20GK1658240SQ200510059140
公開日2005年8月24日 申請日期2000年12月28日 優(yōu)先權(quán)日1999年12月28日
發(fā)明者近藤哲二郎, 石橋淳一, 澤尾貴志, 和田成司, 三宅徹, 永野隆浩, 藤原直樹 申請人:索尼公司