專利名稱：圖像處理設(shè)備的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理設(shè)備，特別涉及一種其中考慮由傳感器檢測(cè)的信號(hào)與真實(shí)世界之間差別的圖像處理設(shè)備。
背景技術(shù)：
用于通過(guò)傳感器檢測(cè)發(fā)生在真實(shí)世界中的事件，并且處理從圖像傳感器輸出的采樣數(shù)據(jù)的技術(shù)正在廣泛的使用當(dāng)中。
例如，在通過(guò)采用視頻攝像機(jī)拍攝在預(yù)定靜止背景之前移動(dòng)的對(duì)象而獲得的圖像中，如果移動(dòng)速度相對(duì)高，則會(huì)出現(xiàn)運(yùn)動(dòng)模糊。
迄今為止，為了防止這種運(yùn)動(dòng)模糊，例如，增加電子快門(mén)速度，從而減小曝光時(shí)間。
然而，在增加快門(mén)時(shí)間的方法中，需要在拍攝圖像之前調(diào)整視頻攝像機(jī)的快門(mén)速度。因此，存在一個(gè)問(wèn)題是，不能對(duì)模糊圖像進(jìn)行校正，以獲取清晰的圖像。

發(fā)明內(nèi)容
本發(fā)明是鑒于上述背景而提出的。因此，本發(fā)明的目的是使得調(diào)整包含在例如模糊圖像的檢測(cè)信號(hào)中的運(yùn)動(dòng)模糊量成為可能。
本發(fā)明的一種圖像處理設(shè)備，包括處理單元確定裝置，用于根據(jù)圖像數(shù)據(jù)和表示前景區(qū)域、背景區(qū)域和混合區(qū)域的區(qū)域信息，確定處理單元，其中，前景區(qū)域包括圖像數(shù)據(jù)中形成前景對(duì)象的前景對(duì)象成分，背景區(qū)域包括圖像數(shù)據(jù)中形成背景對(duì)象的背景對(duì)象成分，并且混合區(qū)域中混合有圖像數(shù)據(jù)中的前景對(duì)象成分和背景對(duì)象成分，混合區(qū)域包括在前景對(duì)象移動(dòng)方向的起始端形成的覆蓋背景區(qū)域，以及在前景對(duì)象移動(dòng)方向的結(jié)束端形成的非覆蓋背景區(qū)域，處理單元由位于與前景對(duì)象的移動(dòng)方向一致的至少一條直線上并且范圍從目對(duì)于前景區(qū)域的覆蓋背景區(qū)域外側(cè)到非覆蓋背景區(qū)域外側(cè)的像素?cái)?shù)據(jù)形成；聯(lián)立方程生成裝置，用于通過(guò)設(shè)置根據(jù)處理單元確定的處理單元內(nèi)像素的像素值，并且通過(guò)設(shè)置用設(shè)定數(shù)目的劃分部分對(duì)混合區(qū)域中的前景對(duì)象成分進(jìn)行劃分而獲得的劃分已知值，生成由多個(gè)關(guān)系表達(dá)式組成的聯(lián)立方程；以及計(jì)算裝置，用于通過(guò)求解聯(lián)立方程，計(jì)算其中調(diào)整過(guò)運(yùn)動(dòng)模糊量的前景對(duì)象成分。
通過(guò)利用下面特性從來(lái)自直線上混合區(qū)域一端的包含在第二像素中的前景對(duì)象成分減去來(lái)自混合區(qū)域該端的包含在第一像素中的前景對(duì)象成分，從而計(jì)算對(duì)應(yīng)于第二像素的單一前景對(duì)象成分，其中，第二像素在位置上相鄰于第一像素，計(jì)算裝置可以根據(jù)與位于該端的像素對(duì)應(yīng)的關(guān)系表達(dá)式，順序求解聯(lián)立方程，從而計(jì)算其中調(diào)整過(guò)運(yùn)動(dòng)模糊量的前景對(duì)象成分。
聯(lián)立方程生成裝置可以根據(jù)按照前景對(duì)象移動(dòng)量的劃分部分?jǐn)?shù)目，生成聯(lián)立方程。
本發(fā)明的一種圖像處理方法，包括處理單元確定步驟，根據(jù)圖像數(shù)據(jù)和表示前景區(qū)域、背景區(qū)域和混合區(qū)域的區(qū)域信息，確定處理單元，其中，前景區(qū)域包括圖像數(shù)據(jù)中形成前景對(duì)象的前景對(duì)象成分，背景區(qū)域包括圖像數(shù)據(jù)中形成背景對(duì)象的背景對(duì)象成分，并且混合區(qū)域中混合有圖像數(shù)據(jù)中的前景對(duì)象成分和背景對(duì)象成分，混合區(qū)域包括在前景對(duì)象移動(dòng)方向的起始端形成的覆蓋背景區(qū)域，以及在前景對(duì)象移動(dòng)方向的結(jié)束端形成的非覆蓋背景區(qū)域，處理單元由位于與前景對(duì)象的移動(dòng)方向一致的至少一條直線上并且范圍從相對(duì)于前景區(qū)域的覆蓋背景區(qū)域外側(cè)到非覆蓋背景區(qū)域外側(cè)的像素?cái)?shù)據(jù)形成；聯(lián)立方程生成步驟，通過(guò)設(shè)置根據(jù)處理單元確定的處理單元內(nèi)像素的像素值，并且通過(guò)設(shè)置用設(shè)定數(shù)目的劃分部分對(duì)混合區(qū)域中的前景對(duì)象成分進(jìn)行劃分而獲得的劃分已知值，生成由多個(gè)關(guān)系表達(dá)式組成的聯(lián)立方程；以及計(jì)算步驟，通過(guò)求解聯(lián)立方程，計(jì)算其中調(diào)整過(guò)運(yùn)動(dòng)模糊量的前景對(duì)象成分。
通過(guò)利用下面特性從來(lái)自直線上混合區(qū)域一端的包含在第二像素中的前景對(duì)象成分減去來(lái)自混合區(qū)域該端的包含在第一像素中的前景對(duì)象成分，從而計(jì)算對(duì)應(yīng)于第二像素的單一前景對(duì)象成分，其中，第二像素在位置上相鄰于第一像素，計(jì)算步驟可以根據(jù)與位于該端的像素對(duì)應(yīng)的關(guān)系表達(dá)式，求解聯(lián)立方程，從而計(jì)算其中調(diào)整過(guò)運(yùn)動(dòng)模糊量的前景對(duì)象成分。
聯(lián)立方程生成步驟可以根據(jù)按照前景對(duì)象移動(dòng)量的劃分部分?jǐn)?shù)目，生成聯(lián)立方程。
本發(fā)明的一種記錄介質(zhì)程序，包括處理單元確定步驟，根據(jù)圖像數(shù)據(jù)和表示前景區(qū)域、背景區(qū)域和混合區(qū)域的區(qū)域信息，確定處理單元，其中，前景區(qū)域包括圖像數(shù)據(jù)中形成前景對(duì)象的前景對(duì)象成分，背景區(qū)域包括圖像數(shù)據(jù)中形成背景對(duì)象的背景對(duì)象成分，并且混合區(qū)域中混合有圖像數(shù)據(jù)中的前景對(duì)象成分和背景對(duì)象成分，混合區(qū)域包括在前景對(duì)象移動(dòng)方向的起始端形成的覆蓋背景區(qū)域，以及在前景對(duì)象移動(dòng)方向的結(jié)束端形成的非覆蓋背景區(qū)域，處理單元由位于與前景對(duì)象的移動(dòng)方向一致的至少一條直線上并且范圍從相對(duì)于前景區(qū)域的覆蓋背景區(qū)域外側(cè)到非覆蓋背景區(qū)域外側(cè)的像素?cái)?shù)據(jù)形成；聯(lián)立方程生成步驟，通過(guò)設(shè)置根據(jù)處理單元確定的處理單元內(nèi)像素的像素值，并且通過(guò)設(shè)置用設(shè)定數(shù)目的劃分部分對(duì)混合區(qū)域中的前景對(duì)象成分進(jìn)行劃分而獲得的劃分已知值，生成由多個(gè)關(guān)系表達(dá)式組成的聯(lián)立方程；以及計(jì)算步驟，通過(guò)求解聯(lián)立方程，計(jì)算其中調(diào)整過(guò)運(yùn)動(dòng)模糊量的前景對(duì)象成分。
通過(guò)利用下面特性從來(lái)自直線上混合區(qū)域一端的包含在第二像素中的前景對(duì)象成分減去來(lái)自混合區(qū)域該端的包含在第一像素中的前景對(duì)象成分，從而計(jì)算對(duì)應(yīng)于第二像素的單一前景對(duì)象成分，其中，第二像素在位置上相鄰于第一像素，計(jì)算步驟可以根據(jù)與位于該端的像素對(duì)應(yīng)的關(guān)系表達(dá)式，求解聯(lián)立方程，從而計(jì)算其中調(diào)整過(guò)運(yùn)動(dòng)模糊量的前景對(duì)象成分。
聯(lián)立方程生成步驟可以根據(jù)按照前景對(duì)象移動(dòng)量的劃分部分?jǐn)?shù)目，生成聯(lián)立方程。
本發(fā)明的一種成像設(shè)備，包括成像裝置，用于輸出主體圖像作為由預(yù)定數(shù)目的像素?cái)?shù)據(jù)形成的圖像數(shù)據(jù)，主體圖像由包括預(yù)定數(shù)目像素的成像器件進(jìn)行拍攝，每個(gè)像素均具有時(shí)間積累功能；處理單元確定裝置，用于根據(jù)圖像數(shù)據(jù)和表示前景區(qū)域、背景區(qū)域和混合區(qū)域的區(qū)域信息，確定處理單元，其中，前景區(qū)域包括圖像數(shù)據(jù)中形成前景對(duì)象的前景對(duì)象成分，背景區(qū)域包括圖像數(shù)據(jù)中形成背景對(duì)象的背景對(duì)象成分，并且混合區(qū)域中混合有圖像數(shù)據(jù)中的前景對(duì)象成分和背景對(duì)象成分，混合區(qū)域包括在前景對(duì)象移動(dòng)方向的起始端形成的覆蓋背景區(qū)域，以及在前景對(duì)象移動(dòng)方向的結(jié)束端形成的非覆蓋背景區(qū)域，處理單元由位于與前景對(duì)象的移動(dòng)方向一致的至少一條直線上并且范圍從相對(duì)于前景區(qū)域的覆蓋背景區(qū)域外側(cè)到非覆蓋背景區(qū)域外側(cè)的像素?cái)?shù)據(jù)形成；聯(lián)立方程生成裝置，用于通過(guò)設(shè)置根據(jù)處理單元確定的處理單元內(nèi)像素的像素值，并且通過(guò)設(shè)置用設(shè)定數(shù)目的劃分部分對(duì)混合區(qū)域中的前景對(duì)象成分進(jìn)行劃分而獲得的劃分已知值，生成由多個(gè)關(guān)系表達(dá)式組成的聯(lián)立方程；以及計(jì)算裝置，用于通過(guò)求解聯(lián)立方程，計(jì)算其中調(diào)整過(guò)運(yùn)動(dòng)模糊量的前景對(duì)象成分。
通過(guò)利用下面特性從來(lái)自直線上混合區(qū)域一端的包含在第二像素中的前景對(duì)象成分減去來(lái)自混合區(qū)域該端的包含在第一像素中的前景對(duì)象成分，從而計(jì)算對(duì)應(yīng)于第二像素的單一前景對(duì)象成分，其中，第二像素在位置上相鄰于第一像素，計(jì)算裝置可以根據(jù)與位于該端的像素對(duì)應(yīng)的關(guān)系表達(dá)式，順序求解聯(lián)立方程，從而計(jì)算其中調(diào)整過(guò)運(yùn)動(dòng)模糊量的前景對(duì)象成分。
聯(lián)立方程生成裝置可以根據(jù)按照前景對(duì)象移動(dòng)量的劃分部分?jǐn)?shù)目，生成聯(lián)立方程。


圖1示出本發(fā)明的原理；圖2是應(yīng)用本發(fā)明的結(jié)構(gòu)示例方框圖；圖3是圖2所示的信號(hào)處理器12的結(jié)構(gòu)示例方框圖；圖4是示出信號(hào)處理器12的方框圖；圖5示出由傳感器執(zhí)行的攝像；圖6示出像素的排列；圖7示出檢測(cè)器件的操作；圖8A示出通過(guò)拍攝對(duì)應(yīng)于移動(dòng)前景的對(duì)象和對(duì)應(yīng)于靜止背景的對(duì)象而獲得的圖像；圖8B示出通過(guò)拍攝對(duì)應(yīng)于移動(dòng)前景的對(duì)象和對(duì)應(yīng)于靜止背景的對(duì)象而獲得的圖像模型；圖9示出背景區(qū)域、前景區(qū)域、混合區(qū)域、覆蓋背景區(qū)域以及非覆蓋背景區(qū)域；圖10示出通過(guò)在時(shí)間方向上擴(kuò)展通過(guò)拍攝對(duì)應(yīng)于靜止前景的對(duì)象和對(duì)應(yīng)于靜止背景的對(duì)象而獲得的圖像中并排對(duì)齊的像素的像素值而獲得的模型；圖11示出在時(shí)間方向上擴(kuò)展像素值并且劃分對(duì)應(yīng)于快門(mén)時(shí)間的周期的模型；
圖12示出在時(shí)間方向上擴(kuò)展像素值并且劃分對(duì)應(yīng)于快門(mén)時(shí)間的周期的模型；圖13示出在時(shí)間方向上擴(kuò)展像素值并且劃分對(duì)應(yīng)于快門(mén)時(shí)間的周期的模型；圖14示出其中提取前景區(qū)域、背景區(qū)域以及混合區(qū)域中的像素的例子；圖15示出像素與通過(guò)在時(shí)間方向上擴(kuò)展像素值而獲得的模型之間的關(guān)系；圖16示出在時(shí)間方向上擴(kuò)展像素值并且劃分對(duì)應(yīng)于快門(mén)時(shí)間的周期的模型；圖17示出在時(shí)間方向上擴(kuò)展像素值并且劃分對(duì)應(yīng)于快門(mén)時(shí)間的周期的模型；圖18示出在時(shí)間方向上擴(kuò)展像素值并且劃分對(duì)應(yīng)于快門(mén)時(shí)間的周期的模型；圖19示出在時(shí)間方向上擴(kuò)展像素值并且劃分對(duì)應(yīng)于快門(mén)時(shí)間的周期的模型；圖20示出在時(shí)間方向上擴(kuò)展像素值并且劃分對(duì)應(yīng)于快門(mén)時(shí)間的周期的模型；圖21是示出運(yùn)動(dòng)模糊量調(diào)整處理的流程圖；圖22是區(qū)域指定單元103的結(jié)構(gòu)示例方框圖；圖23示出對(duì)應(yīng)于前景的對(duì)象移動(dòng)時(shí)的圖像；圖24示出在時(shí)間方向上擴(kuò)展像素值并且劃分對(duì)應(yīng)于快門(mén)時(shí)間的周期的模型；圖25示出在時(shí)間方向上擴(kuò)展像素值并且劃分對(duì)應(yīng)于快門(mén)時(shí)間的周期的模型；圖26示出在時(shí)間方向上擴(kuò)展像素值并且劃分對(duì)應(yīng)于快門(mén)時(shí)間的周期的模型；圖27示出區(qū)域確定條件；圖28A示出通過(guò)區(qū)域指定單元103指定區(qū)域而獲得的結(jié)果示例；圖28B示出通過(guò)區(qū)域指定單元103指定區(qū)域而獲得的結(jié)果示例；圖28C示出通過(guò)區(qū)域指定單元103指定區(qū)域而獲得的結(jié)果示例；圖28D示出通過(guò)區(qū)域指定單元103指定區(qū)域而獲得的結(jié)果示例；
圖29示出通過(guò)區(qū)域指定單元103指定區(qū)域而獲得的結(jié)果示例；圖30是示出區(qū)域指定處理的流程圖；圖31是區(qū)域指定單元103的另一結(jié)構(gòu)示例方框圖；圖32示出在時(shí)間方向上擴(kuò)展像素值并且劃分對(duì)應(yīng)于快門(mén)時(shí)間的周期的模型；圖33示出背景圖像的例子；圖34是二進(jìn)制對(duì)象圖像提取部分302的結(jié)構(gòu)方框圖；圖35A示出相關(guān)值的計(jì)算；圖35B示出相關(guān)值的計(jì)算；圖36A示出相關(guān)值的計(jì)算；圖36B示出相關(guān)值的計(jì)算；圖37示出二進(jìn)制對(duì)象圖像的例子；圖38是時(shí)間變化檢測(cè)器303的結(jié)構(gòu)方框圖；圖39示出由區(qū)域確定部分342作出的確定；圖40示出由時(shí)間變化檢測(cè)器303作出的確定示例；圖41是示出由區(qū)域指定單元103執(zhí)行的區(qū)域指定處理的流程圖；圖42是示出區(qū)域指定處理細(xì)節(jié)的流程圖；圖43是區(qū)域指定單元103的另一結(jié)構(gòu)方框圖；圖44是魯棒(robust)處理部分361的結(jié)構(gòu)方框圖；圖45示出由運(yùn)動(dòng)補(bǔ)償器381執(zhí)行的運(yùn)動(dòng)補(bǔ)償；圖46示出由運(yùn)動(dòng)補(bǔ)償器381執(zhí)行的運(yùn)動(dòng)補(bǔ)償；圖47是示出區(qū)域指定處理的流程圖；圖48是示出魯棒處理細(xì)節(jié)的流程圖；圖49是混合比率計(jì)算器104的結(jié)構(gòu)示例方框圖；圖50示出理想混合比率α的例子；圖51示出在時(shí)間方向上擴(kuò)展像素值并且劃分對(duì)應(yīng)于快門(mén)時(shí)間的周期的模型；圖52示出在時(shí)間方向上擴(kuò)展像素值并且劃分對(duì)應(yīng)于快門(mén)時(shí)間的周期的模型；圖53示出使用前景成分相關(guān)的近似；圖54示出C、N和P之間的關(guān)系；
圖55是估計(jì)混合比率處理器401的結(jié)構(gòu)方框圖；圖56示出估計(jì)混合比率的例子；圖57是混合比率計(jì)算器104的另一結(jié)構(gòu)示例方框圖；圖58是示出混合比率計(jì)算處理的流程圖；圖59是示出計(jì)算估計(jì)混合比率處理的流程圖；圖60示出用于近似混合比率α的直線；圖61示出用于近似混合比率α的平面；圖62示出當(dāng)計(jì)算混合比率α?xí)r多個(gè)幀內(nèi)像素之間的關(guān)系；圖63是混合比率估計(jì)處理器401的另一結(jié)構(gòu)方框圖；圖64示出估計(jì)混合比率的例子；圖65是示出混合比率計(jì)算處理的流程圖；圖66是示出通過(guò)使用對(duì)應(yīng)于覆蓋背景區(qū)域的模型的混合比率估計(jì)處理的流程圖；圖67是前景/背景分離器105的結(jié)構(gòu)示例方框圖；圖68A示出輸入圖像、前景成分圖像和背景成分圖像；圖68B示出輸入圖像、前景成分圖像和背景成分圖像的模型；圖69示出在時(shí)間方向上擴(kuò)展像素值并且劃分對(duì)應(yīng)于快門(mén)時(shí)間的周期的模型；圖70示出在時(shí)間方向上擴(kuò)展像素值并且劃分對(duì)應(yīng)于快門(mén)時(shí)間的周期的模型；圖71示出在時(shí)間方向上擴(kuò)展像素值并且劃分對(duì)應(yīng)于快門(mén)時(shí)間的周期的模型；圖72是分離部分601的結(jié)構(gòu)示例方框圖；圖73A示出分離前景成分圖像的例子；圖73B示出分離背景成分圖像的例子；圖74是示出前景和背景分離處理的流程圖；圖75是運(yùn)動(dòng)模糊調(diào)整單元106的結(jié)構(gòu)示例方框圖；圖76示出處理單元；圖77示出表示像素值與前景成分之間關(guān)系的模型；圖78示出前景成分的計(jì)算；圖79示出前景成分的計(jì)算；
圖80示出在時(shí)間方向上擴(kuò)展前景成分的像素值，并且劃分對(duì)應(yīng)于快門(mén)時(shí)間的周期的模型；圖81是示出包含在前景中的運(yùn)動(dòng)模糊調(diào)整處理的流程圖；圖82是信號(hào)處理器12的另一功能結(jié)構(gòu)方框圖；圖83示出合成器1001的結(jié)構(gòu)；圖84是信號(hào)處理器12的另一功能結(jié)構(gòu)方框圖；圖85是混合比率計(jì)算器1101的結(jié)構(gòu)方框圖；圖86是前景/背景分離器1102的結(jié)構(gòu)方框圖。
具體實(shí)施例方式
圖1示出本發(fā)明的原理。如圖1所示，作為具有空間和時(shí)間軸的真實(shí)世界1信息的第一信號(hào)由傳感器2進(jìn)行獲得，并且形成為數(shù)據(jù)。數(shù)據(jù)3作為由傳感器2獲得的檢測(cè)信號(hào)是通過(guò)將真實(shí)世界1的信息投影到維數(shù)比真實(shí)世界小的時(shí)空上而獲得的信息。因此，投影信息具有因投影產(chǎn)生的失真。換句話說(shuō)，從傳感器2輸出的數(shù)據(jù)3相對(duì)于真實(shí)世界1的信息具有失真。雖然數(shù)據(jù)3具有因投影產(chǎn)生的失真，但是它包含用于校正失真的重要信息。
因此，在本發(fā)明中，通過(guò)信號(hào)處理器4對(duì)從傳感器2輸出的數(shù)據(jù)執(zhí)行信號(hào)處理，可以消除、減小或調(diào)整失真。另外，在本發(fā)明中，通過(guò)信號(hào)處理器4對(duì)從傳感器2輸出的數(shù)據(jù)執(zhí)行信號(hào)處理，可以提取重要信息。
圖2示出應(yīng)用本發(fā)明的信號(hào)處理裝置的結(jié)構(gòu)示例。由例如視頻攝像機(jī)形成的傳感器11拍攝真實(shí)世界的圖像，并且將所獲得的圖像數(shù)據(jù)輸出到信號(hào)處理器12。由例如個(gè)人計(jì)算機(jī)形成的信號(hào)處理器12處理從傳感器11輸入的數(shù)據(jù)，調(diào)整因投影產(chǎn)生的失真量，指定其中通過(guò)投影嵌入重要信息的區(qū)域，從指定區(qū)域中提取重要信息，或者根據(jù)所提取的重要信息處理輸入數(shù)據(jù)。
上述重要信息例如是下面將要討論的混合比率。
可以認(rèn)為，表示其中包含通過(guò)投影嵌入的重要信息的區(qū)域的信息也是重要信息。下面將要討論的區(qū)域信息對(duì)應(yīng)于該重要信息。
其中包含重要信息的區(qū)域例如是下面將要討論的混合區(qū)域。
信號(hào)處理器12例如圖3所示進(jìn)行構(gòu)造。CPU(Central Processing Unit，中央處理器)21根據(jù)存儲(chǔ)在ROM(Read Only Memory，只讀存儲(chǔ)器)22或者存儲(chǔ)單元28中的程序執(zhí)行各種類型的處理。由CPU21執(zhí)行的程序以及數(shù)據(jù)根據(jù)需要存儲(chǔ)在RAM(Random Access Memory，隨機(jī)訪問(wèn)存儲(chǔ)器)中。CPU21、ROM22和RAM23通過(guò)總線24相互連接。
輸入/輸出接口25也通過(guò)總線24連接到CPU21。由鍵盤(pán)、鼠標(biāo)、麥克風(fēng)等形成的輸入單元26以及由顯示器、揚(yáng)聲器等形成的輸出單元27連接到輸入/輸出接口25。CPU21執(zhí)行各種類型的處理以響應(yīng)從輸入單元26輸入的命令。CPU21然后將通過(guò)處理獲得的圖像或聲音輸出到輸出單元27。
連接到輸入/輸出接口25的存儲(chǔ)單元28由例如硬盤(pán)形成，并且存儲(chǔ)由CPU21執(zhí)行的程序以及各種類型的數(shù)據(jù)。通信單元29通過(guò)因特網(wǎng)或其它網(wǎng)絡(luò)與外部設(shè)備進(jìn)行通信。在本例中，通信單元29用作獲取傳感器輸出的獲取單元。
可選地，程序可以利用通信單元29進(jìn)行獲取，然后存儲(chǔ)在存儲(chǔ)單元28中。
當(dāng)這種記錄介質(zhì)連到驅(qū)動(dòng)器30時(shí)，連接到輸入/輸出接口25的驅(qū)動(dòng)器30驅(qū)動(dòng)磁盤(pán)51、光盤(pán)52、光磁盤(pán)53、半導(dǎo)體存儲(chǔ)器54等，并獲取存儲(chǔ)在其中的程序或數(shù)據(jù)。如果必要，所獲取的程序或數(shù)據(jù)傳輸?shù)酱鎯?chǔ)單元28，并且存儲(chǔ)在其中。
現(xiàn)在舉一個(gè)更具體的例子，對(duì)執(zhí)行處理，如指定其中嵌有重要信息的區(qū)域或者從由傳感器獲取的數(shù)據(jù)中提取嵌入在其中的重要信息的信號(hào)處理裝置進(jìn)行描述。在隨后的示例中，CCD線傳感器或CCD區(qū)域傳感器對(duì)應(yīng)于傳感器，區(qū)域信息或者混合比率對(duì)應(yīng)于重要信息，并且前景和背景的混合狀態(tài)或者混合區(qū)域中的運(yùn)動(dòng)模糊對(duì)應(yīng)于失真。
圖4是示出信號(hào)處理器12的方框圖。
信號(hào)處理器12的各個(gè)功能是以軟件還是以硬件進(jìn)行實(shí)現(xiàn)是沒(méi)有關(guān)系的。也就是，本說(shuō)明書(shū)的方框圖可以是硬件方框圖，也可以是軟件方框圖。
運(yùn)動(dòng)模糊是由于真實(shí)世界中被拍攝對(duì)象的移動(dòng)和傳感器11的攝像特性而產(chǎn)生的包含在對(duì)應(yīng)于移動(dòng)對(duì)象的圖像中的失真。
在本說(shuō)明書(shū)中，對(duì)應(yīng)于真實(shí)世界對(duì)象的拍攝圖像稱作圖像對(duì)象。
提供給信號(hào)處理器12的輸入圖像提供給對(duì)象提取單元101、區(qū)域指定單元103、混合比率計(jì)算器104和前景/背景分離器105。
對(duì)象提取單元101提取對(duì)應(yīng)于包含在輸入圖像中的前景對(duì)象的粗略圖像對(duì)象，并且將所提取的圖像對(duì)象提供給運(yùn)動(dòng)檢測(cè)器102。對(duì)象提取單元101例如檢測(cè)包含在輸入圖像中的前景圖像對(duì)象的輪廓，從而提取對(duì)應(yīng)于前景對(duì)象的粗略圖像對(duì)象。
對(duì)象提取單元101提取對(duì)應(yīng)于包含在輸入圖像中的背景對(duì)象的粗略圖像對(duì)象，并且將所提取的圖像對(duì)象提供給運(yùn)動(dòng)檢測(cè)器102。對(duì)象提取單元101根據(jù)例如輸入圖像與所提取的對(duì)應(yīng)于前景對(duì)象的圖像對(duì)象的差別，提取對(duì)應(yīng)于背景對(duì)象的粗略圖像對(duì)象。
可選地，例如，對(duì)象提取單元101可以根據(jù)存儲(chǔ)在內(nèi)置背景存儲(chǔ)器中的背景圖像與輸入圖像的差別，提取對(duì)應(yīng)于前景對(duì)象的粗略圖像對(duì)象和對(duì)應(yīng)于背景對(duì)象的粗略圖像對(duì)象。
運(yùn)動(dòng)檢測(cè)器102根據(jù)例如分塊匹配(block matching)、斜率、相位相關(guān)或象元遞歸(pel-recursive)技術(shù)的技術(shù)，計(jì)算粗略提取的對(duì)應(yīng)于前景對(duì)象的圖像對(duì)象的運(yùn)動(dòng)向量，并且將算出的運(yùn)動(dòng)向量和運(yùn)動(dòng)向量位置信息(用于指定對(duì)應(yīng)于運(yùn)動(dòng)向量的像素位置的信息)提供給區(qū)域指定單元103、混合比率計(jì)算器104和運(yùn)動(dòng)模糊調(diào)整單元106。
從運(yùn)動(dòng)檢測(cè)器102輸出的運(yùn)動(dòng)向量包含對(duì)應(yīng)于移動(dòng)量v的信息。
運(yùn)動(dòng)檢測(cè)器102可以將每個(gè)圖像對(duì)象的運(yùn)動(dòng)向量與用于指定圖像對(duì)象像素的像素位置信息一起輸出到運(yùn)動(dòng)模糊調(diào)整單元106。
移動(dòng)量v是以像素間距為單位表示對(duì)應(yīng)于移動(dòng)對(duì)象的圖像位置變化的值。例如，如果對(duì)應(yīng)于前景的對(duì)象圖像移動(dòng)使得它在下一幀中定位時(shí)顯示在離參考幀四個(gè)像素的位置，則對(duì)應(yīng)于前景的對(duì)象圖像的移動(dòng)量v為4。
當(dāng)調(diào)整對(duì)應(yīng)于移動(dòng)對(duì)象的運(yùn)動(dòng)模糊量時(shí)，需要對(duì)象提取單元101和運(yùn)動(dòng)檢測(cè)器102。
區(qū)域指定單元103確定輸入圖像的每個(gè)像素屬于前景區(qū)域、背景區(qū)域、或者混合區(qū)域中的哪個(gè)區(qū)域，并且將表示每個(gè)像素屬于哪個(gè)區(qū)域的信息(以下稱作“區(qū)域信息”)提供給混合比率計(jì)算器104、前景/背景分離器105和運(yùn)動(dòng)模糊調(diào)整單元106。
混合比率計(jì)算器104根據(jù)輸入圖像以及從區(qū)域指定單元103提供的區(qū)域信息，計(jì)算對(duì)應(yīng)于包含在混合區(qū)域63中的像素的混合比率(以下稱作“混合比率α”)，并且將混合比率α提供給前景/背景分離器105。
混合比率α是表示對(duì)應(yīng)于背景對(duì)象的圖像成分(以下也稱作“背景成分”)與用如下所示方程(3)表達(dá)的像素值的比率的值。
前景/背景分離器105根據(jù)從區(qū)域指定單元103提供的區(qū)域信息和從混合比率計(jì)算器104提供的混合比率α，將輸入圖像分離為只由對(duì)應(yīng)于前景對(duì)象的圖像成分(以下也稱作“前景成分”)形成的前景成分圖像和只由背景成分形成的背景成分圖像，并且將前景成分圖像提供給運(yùn)動(dòng)模糊調(diào)整單元106和選擇器107。所分離的前景成分圖像可以設(shè)為最終輸出。與其中只指定前景和背景而不考慮混合區(qū)域的已知方法相比可以獲取更精確的前景和背景。
運(yùn)動(dòng)模糊調(diào)整單元106根據(jù)從運(yùn)動(dòng)向量獲得的移動(dòng)量v以及區(qū)域信息，確定表示包含在前景成分圖像中的至少一個(gè)像素的處理單元。處理單元是指定要進(jìn)行運(yùn)動(dòng)模糊調(diào)整的一組像素的數(shù)據(jù)。
根據(jù)輸入到信號(hào)處理器12的要調(diào)整的運(yùn)動(dòng)模糊量、從前景/背景分離器105提供的前景成分圖像、從運(yùn)動(dòng)檢測(cè)器102提供的運(yùn)動(dòng)向量及其位置信息、以及處理單元，運(yùn)動(dòng)模糊調(diào)整單元106通過(guò)消除、減小或者增加包含在前景成分圖像中的運(yùn)動(dòng)模糊，調(diào)整包含在前景成分圖像中的運(yùn)動(dòng)模糊量。運(yùn)動(dòng)模糊調(diào)整單元106然后將其中調(diào)整過(guò)運(yùn)動(dòng)模糊量的前景成分圖像輸出到選擇器107。使用運(yùn)動(dòng)向量及其位置信息不是必需的。
選擇器107根據(jù)例如反映用戶選擇的選擇信號(hào)，選擇從前景/背景分離器105提供的前景成分圖像和從運(yùn)動(dòng)模糊調(diào)整單元106提供的其中調(diào)整過(guò)運(yùn)動(dòng)模糊量的前景成分圖像之一，并且輸出所選前景成分圖像。
下面將參照?qǐng)D5到20對(duì)提供給信號(hào)處理器12的輸入圖像進(jìn)行討論。
圖5示出由傳感器執(zhí)行的圖像拍攝。傳感器11由例如提供有作為固態(tài)成像器件的CCD(Charge-Coupled Device，電荷耦合器件)區(qū)域傳感器的CCD視頻攝像機(jī)形成。真實(shí)世界中對(duì)應(yīng)于前景的對(duì)象111例如在對(duì)應(yīng)于背景的對(duì)象112與傳感器之間從左向右水平移動(dòng)。
傳感器11拍攝對(duì)應(yīng)于前景的對(duì)象111的圖像以及對(duì)應(yīng)于背景的對(duì)象112的圖像。傳感器11以幀為單位輸出拍攝圖像。例如，傳感器11輸出每秒30幀的圖像。傳感器11的曝光時(shí)間可以是1/30秒。曝光時(shí)間是從傳感器11開(kāi)始將輸入光轉(zhuǎn)化為電荷到完成將輸入光轉(zhuǎn)化為電荷的周期。曝光時(shí)間也稱作“快門(mén)時(shí)間”。
圖6示出像素的排列。在圖6中，A到I分別表示單個(gè)像素。這些像素排列在相應(yīng)圖像的平面上。與各個(gè)像素一一對(duì)應(yīng)的檢測(cè)器件排列在傳感器11上。當(dāng)傳感器11執(zhí)行攝像時(shí)，每個(gè)檢測(cè)器件輸出形成圖像的相應(yīng)像素的像素值。例如，檢測(cè)器件在X方向上的位置對(duì)應(yīng)于圖像的水平方向，而檢測(cè)器件在Y方向上的位置對(duì)應(yīng)于圖像的垂直方向。
如圖7所示，例如作為CCD的檢測(cè)器件在對(duì)應(yīng)于快門(mén)時(shí)間的周期內(nèi)將輸入光轉(zhuǎn)化為電荷，并且存儲(chǔ)所轉(zhuǎn)化的電荷。電荷量與輸入光的強(qiáng)度和輸入光的周期幾乎成正比。檢測(cè)器件在對(duì)應(yīng)于快門(mén)時(shí)間的周期內(nèi)將從輸入光轉(zhuǎn)化的電荷順序加到所存儲(chǔ)的電荷。也就是，檢測(cè)器件在對(duì)應(yīng)于快門(mén)時(shí)間的周期內(nèi)積累輸入光，并且存儲(chǔ)對(duì)應(yīng)于積累光量的電荷?？梢哉J(rèn)為檢測(cè)器件具有相對(duì)于時(shí)間的積累功能。
存儲(chǔ)在檢測(cè)器件中的電荷通過(guò)電路(未示出)轉(zhuǎn)換為電壓值，并且該電壓值進(jìn)一步轉(zhuǎn)換為像素值例如數(shù)字?jǐn)?shù)據(jù)，然后進(jìn)行輸出。因此，從傳感器11輸出的每個(gè)像素值是投影到線性空間上的值，它是相對(duì)于快門(mén)時(shí)間的對(duì)應(yīng)于前景或背景的對(duì)象的某三維部分的積累結(jié)果。
信號(hào)處理器12提取通過(guò)傳感器11的存儲(chǔ)操作嵌入在輸出信號(hào)中的重要信息，例如混合比率α。信號(hào)處理器12調(diào)整因前景圖像對(duì)象自身的混合而產(chǎn)生的失真量，例如運(yùn)動(dòng)模糊量。信號(hào)處理器12還調(diào)整因前景圖像對(duì)象與背景圖像對(duì)象的混合而產(chǎn)生的失真量。
圖8A示出通過(guò)拍攝對(duì)應(yīng)于前景的移動(dòng)對(duì)象和對(duì)應(yīng)于背景的靜止對(duì)象而獲得的圖像。在圖8A所示的例子中，對(duì)應(yīng)于前景的對(duì)象相對(duì)于屏幕從左向右水平移動(dòng)。
圖8B示出通過(guò)在時(shí)間方向上擴(kuò)展對(duì)應(yīng)于圖8A所示的圖像的一條直線的像素值而獲得的模型。圖8B所示的水平方向?qū)?yīng)于圖8A的空間方向X。
背景區(qū)域中的像素值只從背景成分，即對(duì)應(yīng)于背景對(duì)象的圖像成分形成。前景區(qū)域中的像素值只從前景成分，即對(duì)應(yīng)于前景對(duì)象的圖像成分形成。
混合區(qū)域中的像素值從背景成分和前景成分形成。由于混合區(qū)域中的像素值從背景成分和前景成分形成，因此它可以稱作“失真區(qū)域”?；旌蠀^(qū)域進(jìn)一步分為覆蓋背景區(qū)域和非覆蓋背景區(qū)域。
覆蓋背景區(qū)域是位于對(duì)應(yīng)于前景對(duì)象移動(dòng)方向的起始端的混合區(qū)域，其中，背景成分隨著時(shí)間被前景逐漸覆蓋。
相反，非覆蓋背景區(qū)域是對(duì)應(yīng)于前景對(duì)象移動(dòng)方向的結(jié)束端的混合區(qū)域，其中，背景成分隨著時(shí)間逐漸出現(xiàn)。
如上所述，包含前景區(qū)域、背景區(qū)域、或者覆蓋背景區(qū)域或非覆蓋背景區(qū)域的圖像作為輸入圖像輸入到區(qū)域指定單元103、混合比率計(jì)算器104和前景/背景分離器105。
圖9示出如上所述的背景區(qū)域、前景區(qū)域、混合區(qū)域、覆蓋背景區(qū)域以及非覆蓋背景區(qū)域。在對(duì)應(yīng)于圖8B所示的圖像的區(qū)域中，背景區(qū)域是靜止部分，前景區(qū)域是移動(dòng)部分，混合區(qū)域的覆蓋背景區(qū)域是從背景變?yōu)榍熬暗牟糠郑⑶一旌蠀^(qū)域的非覆蓋背景區(qū)域是從前景變?yōu)楸尘暗牟糠帧?br> 圖10示出通過(guò)在時(shí)間方向上擴(kuò)展通過(guò)拍攝對(duì)應(yīng)于靜止前景的對(duì)象和對(duì)應(yīng)于靜止背景的對(duì)象而獲得的圖像中并排對(duì)齊的像素的像素值而獲得的模型。例如，可以選擇在屏幕的一條直線上排列的像素作為并排對(duì)齊的像素。
圖10所示的以F01到F04表示的像素值為對(duì)應(yīng)于靜止前景對(duì)象的像素值。圖10所示的以B01到B04表示的像素值為對(duì)應(yīng)于靜止背景對(duì)象的像素值。
時(shí)間在圖10中從上到下的垂直方向流逝。圖10中矩形上邊位置對(duì)應(yīng)于傳感器11開(kāi)始將輸入光轉(zhuǎn)換為電荷的時(shí)間，并且矩形下邊位置對(duì)應(yīng)于傳感器11完成將輸入光轉(zhuǎn)換為電荷的時(shí)間。也就是，圖10中矩形上邊到下邊的距離對(duì)應(yīng)于快門(mén)時(shí)間。
下面將假定例如快門(mén)時(shí)間等于幀大小，對(duì)圖10所示的像素進(jìn)行描述。
圖10中的水平方向?qū)?yīng)于圖8A中的空間方向X。更具體地說(shuō)，在圖10所示的例子中，從圖10中以“F01”表示的矩形的左邊到以“B04”表示的矩形的右邊的距離是8倍像素間距，即8個(gè)連續(xù)像素。
當(dāng)前景對(duì)象和靜止圖像靜止時(shí)，輸入到傳感器11的光在對(duì)應(yīng)于快門(mén)時(shí)間的周期內(nèi)沒(méi)有變化。
對(duì)應(yīng)于快門(mén)時(shí)間的周期劃分為兩個(gè)或多個(gè)相等周期部分。例如，如果虛擬劃分部分的數(shù)目為4，圖10所示的模型可以用圖11所示的模型進(jìn)行表示。虛擬劃分部分的數(shù)目可以根據(jù)對(duì)應(yīng)于前景的對(duì)象在快門(mén)時(shí)間內(nèi)的移動(dòng)量v進(jìn)行設(shè)置。例如，當(dāng)移動(dòng)量v為4時(shí)，虛擬劃分部分的數(shù)目設(shè)為4，并且將對(duì)應(yīng)于快門(mén)時(shí)間的周期劃分為四個(gè)部分。
圖11中的最上一條線對(duì)應(yīng)于從打開(kāi)快門(mén)時(shí)開(kāi)始的第一劃分周期。圖11中的第二條線對(duì)應(yīng)于從打開(kāi)快門(mén)時(shí)開(kāi)始的第二劃分周期。圖11中的第三條線對(duì)應(yīng)于從打開(kāi)快門(mén)時(shí)開(kāi)始的第三劃分周期。圖11中的第四條線對(duì)應(yīng)于從打開(kāi)快門(mén)時(shí)開(kāi)始的第四劃分周期。
根據(jù)移動(dòng)量v劃分的快門(mén)時(shí)間以下也稱作“快門(mén)時(shí)間/v”。
當(dāng)對(duì)應(yīng)于前景的對(duì)象為靜止時(shí)，輸入到傳感器11的光不發(fā)生變化，因此，前景成分F01/v等于像素值F01除以虛擬劃分部分的數(shù)目而獲得的值。類似地，當(dāng)對(duì)應(yīng)于前景的對(duì)象為靜止時(shí)，前景成分F02/v等于像素值F02除以虛擬劃分部分的數(shù)目而獲得的值，前景成分F03/v等于像素值F03除以虛擬劃分部分的數(shù)目而獲得的值，并且前景成分F04/v等于像素值F04除以虛擬劃分部分的數(shù)目而獲得的值。
當(dāng)對(duì)應(yīng)于背景的對(duì)象為靜止時(shí)，輸入到傳感器11的光不發(fā)生變化，因此，背景成分B01/v等于像素值B01除以虛擬劃分部分的數(shù)目而獲得的值。類似地，當(dāng)對(duì)應(yīng)于背景的對(duì)象為靜止時(shí)，背景成分B02/v等于像素值B02除以虛擬劃分部分的數(shù)目而獲得的值，背景成分B03/v等于像素值B03除以虛擬劃分部分的數(shù)目而獲得的值，并且背景成分B04/v等于像素值B04除以虛擬劃分部分的數(shù)目而獲得的值。
更具體地說(shuō)，當(dāng)對(duì)應(yīng)于前景的對(duì)象為靜止時(shí)，輸入到傳感器11的對(duì)應(yīng)于前景對(duì)象的光在對(duì)應(yīng)于快門(mén)時(shí)間的周期內(nèi)不發(fā)生變化。因此，對(duì)應(yīng)于從打開(kāi)快門(mén)時(shí)開(kāi)始的第一快門(mén)時(shí)間/v部分的前景成分F01/v、對(duì)應(yīng)于從打開(kāi)快門(mén)時(shí)開(kāi)始的第二快門(mén)時(shí)間/v部分的前景成分F01/v、對(duì)應(yīng)于從打開(kāi)快門(mén)時(shí)開(kāi)始的第三快門(mén)時(shí)間/v部分的前景成分F01/v、以及對(duì)應(yīng)于從打開(kāi)快門(mén)時(shí)開(kāi)始的第四快門(mén)時(shí)間/v部分的前景成分F01/v變?yōu)橄嗤闹怠Ｈ缤現(xiàn)01/v的情況，同樣適用于F02/v到F04/v。
當(dāng)對(duì)應(yīng)于背景的對(duì)象為靜止時(shí)，輸入到傳感器11的對(duì)應(yīng)于背景對(duì)象的光在對(duì)應(yīng)于快門(mén)時(shí)間的周期內(nèi)不發(fā)生變化，因此，對(duì)應(yīng)于從打開(kāi)快門(mén)時(shí)開(kāi)始的第一快門(mén)時(shí)間/v部分的背景成分B01/v、對(duì)應(yīng)于從打開(kāi)快門(mén)時(shí)開(kāi)始的第二快門(mén)時(shí)間/v部分的背景成分B01/v、對(duì)應(yīng)于從打開(kāi)快門(mén)時(shí)開(kāi)始的第三快門(mén)時(shí)間/v部分的背景成分B01/v、以及對(duì)應(yīng)于從打開(kāi)快門(mén)時(shí)開(kāi)始的第四快門(mén)時(shí)間/v部分的背景成分B01/v變?yōu)橄嗤闹怠Ｍ瑯舆m用于B02/v到B04/v。
下面將描述對(duì)應(yīng)于前景的對(duì)象為移動(dòng)并且對(duì)應(yīng)于背景的對(duì)象為靜止的情況。
圖12示出當(dāng)對(duì)應(yīng)于前景的對(duì)象向圖12的右方移動(dòng)時(shí)，通過(guò)在時(shí)間方向上擴(kuò)展一條包括覆蓋背景區(qū)域的直線上像素的像素值而獲得的模型。在圖12中，移動(dòng)量v為4。由于一幀的時(shí)間長(zhǎng)度很短，因此可以假定對(duì)應(yīng)于前景的對(duì)象是勻速移動(dòng)的剛體。在圖12中，對(duì)應(yīng)于前景的對(duì)象圖像移動(dòng)，使得當(dāng)它顯示在下一幀中時(shí)，它位于相對(duì)于參考幀向右四個(gè)像素的位置。
在圖12中，從最左像素到第四像素屬于前景區(qū)域。在圖12中，左起第五像素到第七像素屬于混合區(qū)域，這是覆蓋背景區(qū)域。在圖12中，最右像素屬于背景區(qū)域。
對(duì)應(yīng)于前景的對(duì)象移動(dòng)使得它隨著時(shí)間逐漸覆蓋對(duì)應(yīng)于背景的對(duì)象。因此，包含在屬于覆蓋背景區(qū)域的像素的像素值中的成分在對(duì)應(yīng)于快門(mén)時(shí)間的周期內(nèi)的某個(gè)時(shí)間從背景成分變?yōu)榍熬俺煞帧?br> 例如，用下面方程(1)表示圖12中用粗框包圍的像素值MM＝B02/v+B02/v+F07/v+F06/v(1)例如，左起第五像素包含對(duì)應(yīng)于一個(gè)快門(mén)時(shí)間/v部分的背景成分和對(duì)應(yīng)于三個(gè)快門(mén)時(shí)間/v部分的前景成分，因此，左起第五像素的混合比率α為1/4。左起第六像素包含對(duì)應(yīng)于兩個(gè)快門(mén)時(shí)間/v部分的背景成分和對(duì)應(yīng)于兩個(gè)快門(mén)時(shí)間/v部分的前景成分，因此，左起第六像素的混合比率α為1/2。左起第七像素包含對(duì)應(yīng)于三個(gè)快門(mén)時(shí)間/v部分的背景成分和對(duì)應(yīng)于一個(gè)快門(mén)時(shí)間/v部分的前景成分，因此，左起第七像素的混合比率α為3/4。
可以假定，對(duì)應(yīng)于前景的對(duì)象是剛體，并且前景對(duì)象勻速移動(dòng)，從而在下一幀中它向右顯示四個(gè)像素。因此，例如，對(duì)應(yīng)于從打開(kāi)快門(mén)時(shí)開(kāi)始的第一快門(mén)時(shí)間/v部分的圖12中左起第四像素的前景成分F07/v等于對(duì)應(yīng)于從打開(kāi)快門(mén)時(shí)開(kāi)始的第二快門(mén)時(shí)間/v部分的圖12中左起第五像素的前景成分。類似地，前景成分F07/v等于對(duì)應(yīng)于從打開(kāi)快門(mén)時(shí)開(kāi)始的第三快門(mén)時(shí)間/v部分的圖12中左起第六像素的前景成分，以及對(duì)應(yīng)于從打開(kāi)快門(mén)時(shí)開(kāi)始的第四快門(mén)時(shí)間/v部分的圖12中左起第七像素的前景成分。
可以假定，對(duì)應(yīng)于前景的對(duì)象是剛體，并且前景對(duì)象勻速移動(dòng)，從而在下一幀中它向右顯示四個(gè)像素。因此，例如，對(duì)應(yīng)于從打開(kāi)快門(mén)時(shí)開(kāi)始的第一快門(mén)時(shí)間/v部分的圖12中左起第三像素的前景成分F06/v等于對(duì)應(yīng)于從打開(kāi)快門(mén)時(shí)開(kāi)始的第二快門(mén)時(shí)間/v部分的圖12中左起第四像素的前景成分。類似地，前景成分F06/v等于對(duì)應(yīng)于從打開(kāi)快門(mén)時(shí)開(kāi)始的第三快門(mén)時(shí)間/v部分的圖12中左起第五像素的前景成分，以及對(duì)應(yīng)于從打開(kāi)快門(mén)時(shí)開(kāi)始的第四快門(mén)時(shí)間/v部分的圖12中左起第六像素的前景成分。
可以假定，對(duì)應(yīng)于前景的對(duì)象是剛體，并且前景對(duì)象勻速移動(dòng)，從而在下一幀中它向右顯示四個(gè)像素。因此，例如，對(duì)應(yīng)于從打開(kāi)快門(mén)時(shí)開(kāi)始的第一快門(mén)時(shí)間/v部分的圖12中左起第二像素的前景成分F05/v等于對(duì)應(yīng)于從打開(kāi)快門(mén)時(shí)開(kāi)始的第二快門(mén)時(shí)間/v部分的圖12中左起第三像素的前景成分。類似地，前景成分F05/v等于對(duì)應(yīng)于從打開(kāi)快門(mén)時(shí)開(kāi)始的第三快門(mén)時(shí)間/v部分的圖12中左起第四像素的前景成分，以及對(duì)應(yīng)于從打開(kāi)快門(mén)時(shí)開(kāi)始的第四快門(mén)時(shí)間/v部分的圖12中左起第五像素的前景成分。
可以假定，對(duì)應(yīng)于前景的對(duì)象是剛體，并且前景對(duì)象勻速移動(dòng)，從而在下一幀中它向右顯示四個(gè)像素。因此，例如，對(duì)應(yīng)于從打開(kāi)快門(mén)時(shí)開(kāi)始的第一快門(mén)時(shí)間/v部分的圖12中左起第一像素的前景成分F04/v等于對(duì)應(yīng)于從打開(kāi)快門(mén)時(shí)開(kāi)始的第二快門(mén)時(shí)間/v部分的圖12中左起第二像素的前景成分。類似地，前景成分F04/v等于對(duì)應(yīng)于從打開(kāi)快門(mén)時(shí)開(kāi)始的第三快門(mén)時(shí)間/v部分的圖12中左起第三像素的前景成分，以及對(duì)應(yīng)于從打開(kāi)快門(mén)時(shí)開(kāi)始的第四快門(mén)時(shí)間/v部分的圖12中左起第四像素的前景成分。
由于對(duì)應(yīng)于移動(dòng)對(duì)象的前景區(qū)域如上所述包含運(yùn)動(dòng)模糊，因此它也可以稱作“失真區(qū)域”。
圖13示出當(dāng)對(duì)應(yīng)于前景的對(duì)象向圖13的右方移動(dòng)時(shí)，通過(guò)在時(shí)間方向上擴(kuò)展一條包括非覆蓋背景區(qū)域的直線上像素的像素值而獲得的模型。在圖13中，移動(dòng)量v為4。由于一幀的時(shí)間長(zhǎng)度很短，因此可以假定對(duì)應(yīng)于前景的對(duì)象是勻速移動(dòng)的剛體。在圖13中，對(duì)應(yīng)于前景的對(duì)象圖像移動(dòng)使得當(dāng)它顯示在下一幀中時(shí)，它位于相對(duì)于參考幀向右四個(gè)像素的位置。
在圖13中，最左像素到第四像素屬于背景區(qū)域。在圖13中，左起第五像素到第七像素屬于混合區(qū)域，這是非覆蓋背景區(qū)域。在圖13中，最右像素屬于前景區(qū)域。
覆蓋對(duì)應(yīng)于背景的對(duì)象的對(duì)應(yīng)于前景的對(duì)象正在移動(dòng)，使得隨著時(shí)間逐漸顯現(xiàn)被覆蓋的對(duì)應(yīng)于背景的對(duì)象。因此，包含在屬于非覆蓋背景區(qū)域的像素的像素值中的成分在對(duì)應(yīng)于快門(mén)時(shí)間的周期內(nèi)的某時(shí)間從前景成分變?yōu)楸尘俺煞帧?br> 例如，用方程(2)表示圖13中用粗框包圍的像素值M′M′＝F02/v+F01/v+B26/v+B26/v(2)例如，左起第五像素包含對(duì)應(yīng)于三個(gè)快門(mén)時(shí)間/v部分的背景成分和對(duì)應(yīng)于一個(gè)快門(mén)時(shí)間/v部分的前景成分，因此，左起第五像素的混合比率α為3/4。左起第六像素包含對(duì)應(yīng)于兩個(gè)快門(mén)時(shí)間/v部分的背景成分和對(duì)應(yīng)于兩個(gè)快門(mén)時(shí)間/v部分的前景成分，因此，左起第六像素的混合比率α為1/2。左起第七像素包含對(duì)應(yīng)于一個(gè)快門(mén)時(shí)間/v部分的背景成分和對(duì)應(yīng)于三個(gè)快門(mén)時(shí)間/v部分的前景成分，因此，左起第七像素的混合比率α為1/4。
當(dāng)推廣方程(1)和(2)時(shí)，可以用方程(3)表示像素值MM=α·B+ΣiFi/v---(3)]]>其中α是混合比率，B表示背景像素值，而Fi/v表示前景成分。
可以假定，對(duì)應(yīng)于前景的對(duì)象是勻速移動(dòng)的剛體，并且移動(dòng)量v為4。因此，例如，對(duì)應(yīng)于從打開(kāi)快門(mén)時(shí)開(kāi)始的第一快門(mén)時(shí)間/v部分的圖13中左起第五像素的前景成分F01/v等于對(duì)應(yīng)于從打開(kāi)快門(mén)時(shí)開(kāi)始的第二快門(mén)時(shí)間/v部分的圖13中左起第六像素的前景成分。類似地，前景成分F01/v等于對(duì)應(yīng)于從打開(kāi)快門(mén)時(shí)開(kāi)始的第三快門(mén)時(shí)間/v部分的圖13中左起第七像素的前景成分，以及對(duì)應(yīng)于從打開(kāi)快門(mén)時(shí)開(kāi)始的第四快門(mén)時(shí)間/v部分的圖13中左起第八像素的前景成分。
可以假定，對(duì)應(yīng)于前景的對(duì)象是勻速移動(dòng)的剛體，并且移動(dòng)量v為4。因此，例如，對(duì)應(yīng)于從打開(kāi)快門(mén)時(shí)開(kāi)始的第一快門(mén)時(shí)間/v部分的圖13中左起第六像素的前景成分F02/v等于對(duì)應(yīng)于從打開(kāi)快門(mén)時(shí)開(kāi)始的第二快門(mén)時(shí)間/v部分的圖13中左起第七像素的前景成分。類似地，前景成分F02/v等于對(duì)應(yīng)于從打開(kāi)快門(mén)時(shí)開(kāi)始的第三快門(mén)時(shí)間/v部分的圖13中左起第八像素的前景成分。
可以假定，對(duì)應(yīng)于前景的對(duì)象是勻速移動(dòng)的剛體，并且移動(dòng)量v為4。因此，例如，對(duì)應(yīng)于從打開(kāi)快門(mén)時(shí)開(kāi)始的第一快門(mén)時(shí)間/v部分的圖13中左起第七像素的前景成分F03/v等于對(duì)應(yīng)于從打開(kāi)快門(mén)時(shí)開(kāi)始的第二快門(mén)時(shí)間/v部分的圖13中左起第八像素的前景成分。
已參照?qǐng)D11到13對(duì)虛擬劃分部分的數(shù)目為4的情況進(jìn)行了描述。虛擬劃分部分的數(shù)目對(duì)應(yīng)于移動(dòng)量v。一般，移動(dòng)量v對(duì)應(yīng)于前景對(duì)象的移動(dòng)速度。例如，如果對(duì)應(yīng)于前景的對(duì)象正在移動(dòng)使得當(dāng)它位于下一幀時(shí)，它相對(duì)于特定幀向右顯示四個(gè)像素，則移動(dòng)量v設(shè)為4。虛擬劃分部分的數(shù)目根據(jù)移動(dòng)量v設(shè)為4。類似地，如果對(duì)應(yīng)于前景的對(duì)象正在移動(dòng)使得當(dāng)它位于下一幀時(shí)，它相對(duì)于特定幀向左顯示六個(gè)像素，則移動(dòng)量v設(shè)為6，并且虛擬劃分部分的數(shù)目設(shè)為6。
圖14和15示出如上所述前景區(qū)域、背景區(qū)域、包括覆蓋背景或非覆蓋背景的混合區(qū)域與對(duì)應(yīng)于快門(mén)時(shí)間劃分周期的前景成分和背景成分之間的關(guān)系。
圖14示出從包含對(duì)應(yīng)于在靜止背景之前移動(dòng)的對(duì)象的前景的圖像中提取前景區(qū)域、背景區(qū)域和混合區(qū)域的例子。在圖14所示的例子中，對(duì)應(yīng)于前景的對(duì)象相對(duì)于屏幕水平移動(dòng)。
幀#n+1是幀#n的下一幀，并且?guī)?n+2是幀#n+1的下一幀。
從幀#n到幀#n+2中的一個(gè)提取前景區(qū)域、背景區(qū)域和混合區(qū)域中的像素，并且移動(dòng)量v設(shè)為4。圖15示出通過(guò)在時(shí)間方向上擴(kuò)展所提取像素的像素值而獲得的模型。
由于對(duì)應(yīng)于前景的對(duì)象正在移動(dòng)，因此背景區(qū)域中的像素值由四個(gè)不同的對(duì)應(yīng)于快門(mén)時(shí)間/v的前景成分形成。例如，圖1 5所示的前景區(qū)域像素中的最左像素包括F01/v、F02/v、F03/v和F04/v。也就是，前景中的像素包含運(yùn)動(dòng)模糊。
由于對(duì)應(yīng)于背景的對(duì)象是靜止的，因此在快門(mén)時(shí)間內(nèi)對(duì)應(yīng)于背景的輸入到傳感器11的光不發(fā)生變化。在這種情況下，背景區(qū)域中的像素值不包含運(yùn)動(dòng)模糊。
包括覆蓋背景區(qū)域或非覆蓋背景區(qū)域的混合區(qū)域中的像素值由前景成分和背景成分形成。
下面將描述，當(dāng)對(duì)應(yīng)于對(duì)象的圖像移動(dòng)時(shí)，通過(guò)在時(shí)間方向上擴(kuò)展多個(gè)幀中并排對(duì)齊并且在重疊這些幀時(shí)處于相同位置的像素的像素值而獲得的模型。例如，當(dāng)對(duì)應(yīng)于對(duì)象的圖像關(guān)于屏幕在水平方向移動(dòng)時(shí)，可以將屏幕上對(duì)齊的像素選擇為并列對(duì)齊的像素。
圖16示出通過(guò)在時(shí)間方向上擴(kuò)展在通過(guò)拍攝對(duì)應(yīng)于靜止背景的對(duì)象而獲得的三個(gè)圖像幀中并排對(duì)齊并且在重疊這些幀時(shí)處于相同位置的像素而獲得的模型。幀#n是幀#n-1的下一幀，并且?guī)?n+1是幀#n的下一幀。同樣適用于其它幀。
圖16所示的像素值B01到B12是對(duì)應(yīng)于靜止背景對(duì)象的像素值。由于對(duì)應(yīng)于背景的對(duì)象是靜止的，因此幀#n-1到幀#n+1中對(duì)應(yīng)像素的像素值不發(fā)生變化。例如，位于幀#n-1中具有像素值B05的像素的對(duì)應(yīng)位置的幀#n中的像素和幀#n+1中的像素具有像素值B05。
圖17示出通過(guò)在時(shí)間方向上擴(kuò)展通過(guò)拍攝向圖17的向右移動(dòng)的對(duì)應(yīng)于前景的對(duì)象以及對(duì)應(yīng)于靜止背景的對(duì)象而獲得的三個(gè)圖像幀中并排對(duì)齊并且在重疊這些幀時(shí)處于相同位置的像素而獲得的模型。圖17所示的模型包含覆蓋背景區(qū)域。
在圖17中，可以假定對(duì)應(yīng)于前景的對(duì)象是勻速移動(dòng)的剛體，并且它正在移動(dòng)使得在下一幀中它向右顯示四個(gè)像素。因此，移動(dòng)量v為4，并且虛擬劃分部分的數(shù)目為4。
例如，對(duì)應(yīng)于從打開(kāi)快門(mén)時(shí)開(kāi)始的第一快門(mén)時(shí)間/v部分的圖17中幀#n-1的最左像素的前景成分為F12/v，并且對(duì)應(yīng)于從打開(kāi)快門(mén)時(shí)開(kāi)始的第二快門(mén)時(shí)間/v部分的圖17中左起第二像素的前景成分也為F12/v。對(duì)應(yīng)于從打開(kāi)快門(mén)時(shí)開(kāi)始的第三快門(mén)時(shí)間/v部分的圖17中左起第三像素的前景成分，和對(duì)應(yīng)于從打開(kāi)快門(mén)時(shí)開(kāi)始的第四快門(mén)時(shí)間/v部分的圖17中左起第四像素的前景成分為F12/v。
對(duì)應(yīng)于從打開(kāi)快門(mén)時(shí)開(kāi)始的第二快門(mén)時(shí)間/v部分的圖17中幀#n-1的最左像素的前景成分為F11/v。對(duì)應(yīng)于從打開(kāi)快門(mén)時(shí)開(kāi)始的第三快門(mén)時(shí)間/v部分的圖17中左起第二像素的前景成分也為F11/v。對(duì)應(yīng)于從打開(kāi)快門(mén)時(shí)開(kāi)始的第四快門(mén)時(shí)間/v部分的圖17中左起第三像素的前景成分為F11/v。
對(duì)應(yīng)于從打開(kāi)快門(mén)時(shí)開(kāi)始的第三快門(mén)時(shí)間/v部分的圖17中幀#n-1的最左像素的前景成分為F10/v。對(duì)應(yīng)于從打開(kāi)快門(mén)時(shí)開(kāi)始的第四快門(mén)時(shí)間/v部分的圖17中左起第二像素的前景成分也為F10/v。對(duì)應(yīng)于從打開(kāi)快門(mén)時(shí)開(kāi)始的第四快門(mén)時(shí)間/v部分的圖17中幀#n-1的最左像素的前景成分為F09/v。
由于對(duì)應(yīng)于背景的對(duì)象是靜止的，因此，對(duì)應(yīng)于從打開(kāi)快門(mén)時(shí)開(kāi)始的第一快門(mén)時(shí)間/v部分的圖17中幀#n-1的左起第二像素的背景成分為B01/v。對(duì)應(yīng)于從打開(kāi)快門(mén)時(shí)開(kāi)始的第一和第二快門(mén)時(shí)間/v部分的圖17中幀#n-1的左起第三像素的背景成分為B02/v。對(duì)應(yīng)于從打開(kāi)快門(mén)時(shí)開(kāi)始的第一到第三快門(mén)時(shí)間/v部分的圖17中幀#n-1的左起第四像素的背景成分為B03/v。
在圖17的幀#n-1中，左起最左像素屬于前景區(qū)域，并且左起第二到第四像素屬于作為覆蓋背景區(qū)域的混合區(qū)域。
圖17中的幀#n-1的左起第五到第十二像素屬于背景區(qū)域，并且其像素值分另為B04到B11。
圖17中的幀#n的左起第一到第五像素屬于前景區(qū)域。幀#n的前景區(qū)域中的快門(mén)時(shí)間/v的前景成分是F05/v到F12/v中的任一個(gè)。
可以假定對(duì)應(yīng)于前景的對(duì)象是勻速移動(dòng)的剛體，并且它正在移動(dòng)使得在下一幀中它向右顯示四個(gè)像素。因此，對(duì)應(yīng)于從打開(kāi)快門(mén)時(shí)開(kāi)始的第一快門(mén)時(shí)間/v部分的圖17中幀#n的左起第五像素的前景成分為F12/v，并且對(duì)應(yīng)于從打開(kāi)快門(mén)時(shí)開(kāi)始的第二快門(mén)時(shí)間/v部分的圖17中左起第六像素的前景成分也為F12/v。對(duì)應(yīng)于從打開(kāi)快門(mén)時(shí)開(kāi)始的第三快門(mén)時(shí)間/v部分的圖17中左起第七像素的前景成分，和對(duì)應(yīng)于從打開(kāi)快門(mén)時(shí)開(kāi)始的第四快門(mén)時(shí)間/v部分的圖17中左起第八像素的前景成分為F12/v。
對(duì)應(yīng)于從打開(kāi)快門(mén)時(shí)開(kāi)始的第二快門(mén)時(shí)間/v部分的圖17中幀#n的左起第五像素的前景成分為F11/v。對(duì)應(yīng)于從打開(kāi)快門(mén)時(shí)開(kāi)始的第三快門(mén)時(shí)間/v部分的圖17中左起第六像素的前景成分也為F11/v。對(duì)應(yīng)于從打開(kāi)快門(mén)時(shí)開(kāi)始的第四快門(mén)時(shí)間/v部分的圖17中左起第七像素的前景成分為F11/v。
對(duì)應(yīng)于從打開(kāi)快門(mén)時(shí)開(kāi)始的第三快門(mén)時(shí)間/v部分的圖17中幀#n的左起第五像素的前景成分為F10/v。對(duì)應(yīng)于從打開(kāi)快門(mén)時(shí)開(kāi)始的第四快門(mén)時(shí)間/v部分的圖17中左起第六像素的前景成分也為F10/v。對(duì)應(yīng)于從打開(kāi)快門(mén)時(shí)開(kāi)始的第四快門(mén)時(shí)間/v部分的圖17中幀#n的左起第五像素的前景成分為F09/v。
由于對(duì)應(yīng)于背景的對(duì)象是靜止的，因此，對(duì)應(yīng)于從打開(kāi)快門(mén)時(shí)開(kāi)始的第一快門(mén)時(shí)間/v部分的圖17中幀#n的左起第六像素的背景成分為B05/v。對(duì)應(yīng)于從打開(kāi)快門(mén)時(shí)開(kāi)始的第一和第二快門(mén)時(shí)間/v部分的圖17中幀#n的左起第七像素的背景成分為B06/v。對(duì)應(yīng)于從打開(kāi)快門(mén)時(shí)開(kāi)始的第一到第三快門(mén)時(shí)間/v部分的圖17中幀#n的左起第八像素的背景成分為B07/v。
在圖17的幀#n中，左起第六到第八像素屬于作為覆蓋背景區(qū)域的混合區(qū)域。
圖17中的幀#n的左起第九到第十二像素屬于背景區(qū)域，并且其像素值分別為B08到B11。
圖17中的幀#n+1的左起第一到第九像素屬于前景區(qū)域。幀#n+1的前景區(qū)域中的快門(mén)時(shí)間/v的前景成分是F01/v到F12/v中的任一個(gè)。
可以假定對(duì)應(yīng)于前景的對(duì)象是勻速移動(dòng)的剛體，并且它正在移動(dòng)使得在下一幀中它向右顯示四個(gè)像素。因此，對(duì)應(yīng)于從打開(kāi)快門(mén)時(shí)開(kāi)始的第一快門(mén)時(shí)間/v部分的圖17中幀#n+1的左起第九像素的前景成分為F12/v，并且對(duì)應(yīng)于從打開(kāi)快門(mén)時(shí)開(kāi)始的第二快門(mén)時(shí)間/v部分的圖17中左起第十像素的前景成分也為F12/v。對(duì)應(yīng)于從打開(kāi)快門(mén)時(shí)開(kāi)始的第三快門(mén)時(shí)間/v部分的圖17中左起第十一像素的前景成分，和對(duì)應(yīng)于從打開(kāi)快門(mén)時(shí)開(kāi)始的第四快門(mén)時(shí)間/v部分的圖17中左起第十二像素的前景成分為F12/v。
對(duì)應(yīng)于從打開(kāi)快門(mén)時(shí)開(kāi)始的第二快門(mén)時(shí)間/v部分的圖17中幀#n+1的左起第九像素的前景成分為F11/v。對(duì)應(yīng)于從打開(kāi)快門(mén)時(shí)開(kāi)始的第三快門(mén)時(shí)間/v部分的圖17中左起第十像素的前景成分也為F11/v。對(duì)應(yīng)于從打開(kāi)快門(mén)時(shí)開(kāi)始的第四快門(mén)時(shí)間/v部分的圖17中左起第十一像素的前景成分為F11/v。
對(duì)應(yīng)于從打開(kāi)快門(mén)時(shí)開(kāi)始的第三快門(mén)時(shí)間/v部分的圖17中幀#n+1的左起第九像素的前景成分為F10/v。對(duì)應(yīng)于從打開(kāi)快門(mén)時(shí)開(kāi)始的第四快門(mén)時(shí)間/v部分的圖17中左起第十像素的前景成分也為F10/v。對(duì)應(yīng)于從打開(kāi)快門(mén)時(shí)開(kāi)始的第四快門(mén)時(shí)間/v部分的圖17中幀#n+1的左起第九像素的前景成分為F09/v。
由于對(duì)應(yīng)于背景的對(duì)象是靜止的，因此，對(duì)應(yīng)于從打開(kāi)快門(mén)時(shí)開(kāi)始的第一快門(mén)時(shí)間/v部分的圖17中幀#n+1的左起第十像素的背景成分為B09/v。對(duì)應(yīng)于從打開(kāi)快門(mén)時(shí)開(kāi)始的第一和第二快門(mén)時(shí)間/v部分的圖17中幀#n+1的左起第十一像素的背景成分為B10/v。對(duì)應(yīng)于從打開(kāi)快門(mén)時(shí)開(kāi)始的第一到第三快門(mén)時(shí)間/v部分的圖17中幀#n+1的左起第十二像素的背景成分為B11/v。
在圖17的幀#n+1中，左起第十到第十二像素屬于作為覆蓋背景區(qū)域的混合區(qū)域。
圖18示出通過(guò)從圖17所示的像素值中提取前景成分而獲得的圖像模型。
圖19示出通過(guò)在時(shí)間方向上擴(kuò)展在通過(guò)拍攝向圖19的右方移動(dòng)的對(duì)應(yīng)于前景的對(duì)象以及對(duì)應(yīng)于靜止背景的對(duì)象而獲得的三個(gè)圖像幀中并排對(duì)齊并且在重疊這些幀時(shí)處于相同位置的像素而獲得的模型。圖19所示的模型包含非覆蓋背景區(qū)域。
在圖19中，可以假定對(duì)應(yīng)于前景的對(duì)象是勻速移動(dòng)的剛體，并且它正在移動(dòng)使得在下一幀中它向右顯示四個(gè)像素。因此，移動(dòng)量v為4。
例如，對(duì)應(yīng)于從打開(kāi)快門(mén)時(shí)開(kāi)始的第一快門(mén)時(shí)間/v部分的圖19中幀#n-1的最左像素的前景成分為F13/v，并且對(duì)應(yīng)于從打開(kāi)快門(mén)時(shí)開(kāi)始的第二快門(mén)時(shí)間/v部分的圖19中左起第二像素的前景成分也為F13/v。對(duì)應(yīng)于從打開(kāi)快門(mén)時(shí)開(kāi)始的第三快門(mén)時(shí)間/v部分的圖19中左起第三像素的前景成分，和對(duì)應(yīng)于從打開(kāi)快門(mén)時(shí)開(kāi)始的第四快門(mén)時(shí)間/v部分的圖19中左起第四像素的前景成分為F13/v。
對(duì)應(yīng)于從打開(kāi)快門(mén)時(shí)開(kāi)始的第一快門(mén)時(shí)間/v部分的圖19中幀#n-1的左起第二像素的前景成分為F14/v。對(duì)應(yīng)于從打開(kāi)快門(mén)時(shí)開(kāi)始的第二快門(mén)時(shí)間/v部分的圖19中左起第三像素的前景成分也為F14/v。對(duì)應(yīng)于從打開(kāi)快門(mén)時(shí)開(kāi)始的第一快門(mén)時(shí)間/v部分的圖19中左起第三像素的前景成分為F15/v。
由于對(duì)應(yīng)于背景的對(duì)象是靜止的，因此，對(duì)應(yīng)于從打開(kāi)快門(mén)時(shí)開(kāi)始的第二到第四快門(mén)時(shí)間/v部分的圖19中幀#n-1的最左像素的背景成分為B25/v。對(duì)應(yīng)于從打開(kāi)快門(mén)時(shí)開(kāi)始的第三和第四快門(mén)時(shí)間/v部分的圖19中幀#n-1的左起第二像素的背景成分為B26/v。對(duì)應(yīng)于從打開(kāi)快門(mén)時(shí)開(kāi)始的第四快門(mén)時(shí)間/v部分的圖19中幀#n-1的左起第三像素的背景成分為B27/v。
在圖19的幀#n-1中，最左像素到第三像素屬于作為非覆蓋背景區(qū)域的混合區(qū)域。
圖19中的幀#n-1的左起第四到第十二像素屬于前景區(qū)域，該幀的前景成分是F13/v到F24/v中的任一個(gè)。
圖19中的幀#n的左起第一到第四像素屬于背景區(qū)域，并且其像素值分別為B25到B28。
可以假定對(duì)應(yīng)于前景的對(duì)象是勻速移動(dòng)的剛體，并且它正在移動(dòng)使得在下一幀中它向右顯示四個(gè)像素。因此，對(duì)應(yīng)于從打開(kāi)快門(mén)時(shí)開(kāi)始的第一快門(mén)時(shí)間/v部分的圖19中幀#n的左起第五像素的前景成分為F13/v，并且對(duì)應(yīng)于從打開(kāi)快門(mén)時(shí)開(kāi)始的第二快門(mén)時(shí)間/v部分的圖19中左起第六像素的前景成分也為F13/v。對(duì)應(yīng)于從打開(kāi)快門(mén)時(shí)開(kāi)始的第三快門(mén)時(shí)間/v部分的圖19中左起第七像素的前景成分，和對(duì)應(yīng)于從打開(kāi)快門(mén)時(shí)開(kāi)始的第四快門(mén)時(shí)間/v部分的圖19中左起第八像素的前景成分為F13/v。
對(duì)應(yīng)于從打開(kāi)快門(mén)時(shí)開(kāi)始的第一快門(mén)時(shí)間/v部分的圖19中幀#n的左起第六像素的前景成分為F14/v。對(duì)應(yīng)于從打開(kāi)快門(mén)時(shí)開(kāi)始的第二快門(mén)時(shí)間/v部分的圖19中左起第七像素的前景成分也為F14/v。對(duì)應(yīng)于從打開(kāi)快門(mén)時(shí)開(kāi)始的第一快門(mén)時(shí)間/v部分的圖19中左起第八像素的前景成分為F15/v。
由于對(duì)應(yīng)于背景的對(duì)象是靜止的，因此，對(duì)應(yīng)于從打開(kāi)快門(mén)時(shí)開(kāi)始的第二到第四快門(mén)時(shí)間/v部分的圖19中幀#n的左起第五像素的背景成分為B29/v。對(duì)應(yīng)于從打開(kāi)快門(mén)時(shí)開(kāi)始的第三和第四快門(mén)時(shí)間/v部分的圖19中幀#n的左起第六像素的背景成分為B30/v。對(duì)應(yīng)于從打開(kāi)快門(mén)時(shí)開(kāi)始的第四快門(mén)時(shí)間/v部分的圖19中幀#n的左起第七像素的背景成分為B31/v。
在圖19的幀#n中，左起第五像素到第七像素屬于作為非覆蓋背景區(qū)域的混合區(qū)域。
圖19中的幀#n的左起第八到第十二像素屬于前景區(qū)域。對(duì)應(yīng)于快門(mén)時(shí)間/v周期的幀#n的前景區(qū)域中的值是F13/v到F20/v中的任一個(gè)。
圖19中的幀#n+1的最左像素到左起第八像素屬于背景區(qū)域，并且其像素值分別為B25到B32。
可以假定對(duì)應(yīng)于前景的對(duì)象是勻速移動(dòng)的剛體，并且它正在移動(dòng)使得在下一幀中它向右顯示四個(gè)像素。因此，對(duì)應(yīng)于從打開(kāi)快門(mén)時(shí)開(kāi)始的第一快門(mén)時(shí)間/v部分的圖19中幀#n+1的左起第九像素的前景成分為F13/v，并且對(duì)應(yīng)于從打開(kāi)快門(mén)時(shí)開(kāi)始的第二快門(mén)時(shí)間/v部分的圖19中左起第十像素的前景成分也為F13/v。對(duì)應(yīng)于從打開(kāi)快門(mén)時(shí)開(kāi)始的第三快門(mén)時(shí)間/v部分的圖19中左起第十一像素的前景成分，和對(duì)應(yīng)于從打開(kāi)快門(mén)時(shí)開(kāi)始的第四快門(mén)時(shí)間/v部分的圖19中左起第十二像素的前景成分為F13/v。
對(duì)應(yīng)于從打開(kāi)快門(mén)時(shí)開(kāi)始的第一快門(mén)時(shí)間/v部分的圖19中幀#n+1的左起第十像素的前景成分為F14/v。對(duì)應(yīng)于從打開(kāi)快門(mén)時(shí)開(kāi)始的第二快門(mén)時(shí)間/v部分的圖19中左起第十一像素的前景成分也為F14/v。對(duì)應(yīng)于從打開(kāi)快門(mén)時(shí)開(kāi)始的第一快門(mén)時(shí)間/v部分的圖19中左起第十二像素的前景成分為F15/v。
由于對(duì)應(yīng)于背景的對(duì)象是靜止的，因此，對(duì)應(yīng)于從打開(kāi)快門(mén)時(shí)開(kāi)始的第二到第四快門(mén)時(shí)間/v部分的圖19中幀#n+1的左起第九像素的背景成分為B33/v。對(duì)應(yīng)于從打開(kāi)快門(mén)時(shí)開(kāi)始的第三和第四快門(mén)時(shí)間/v部分的圖19中幀#n+1的左起第十像素的背景成分為B34/v。對(duì)應(yīng)于從打開(kāi)快門(mén)時(shí)開(kāi)始的第四快門(mén)時(shí)間/v部分的圖19中幀#n+1的左起第十一像素的背景成分為B35/v。
在圖19的幀#n+1中，左起第九像素到第十一像素屬于作為非覆蓋背景區(qū)域的混合區(qū)域。
圖19中的幀#n+1的左起第十二像素屬于前景區(qū)域。幀#n+1的前景區(qū)域中的快門(mén)時(shí)間/v的前景成分分別是F13到F16中的任一個(gè)。
圖20示出通過(guò)從圖19所示的像素值中提取前景成分而獲得的圖像模型。
回到圖4，區(qū)域指定單元103通過(guò)使用多個(gè)幀的像素值，指定表示輸入圖像的各個(gè)像素屬于前景區(qū)域、背景區(qū)域、覆蓋背景區(qū)域或非覆蓋背景區(qū)域中的哪個(gè)區(qū)域的標(biāo)志，并且將這些標(biāo)志作為區(qū)域信息提供給混合比率計(jì)算器104和運(yùn)動(dòng)模糊調(diào)整單元106。
混合比率計(jì)算器104根據(jù)多個(gè)幀的像素值以及區(qū)域信息為包含在混合區(qū)域中的每個(gè)像素計(jì)算混合比率α，并且將算出的混合比率α提供給前景/背景分離器105。
前景/背景分離器105根據(jù)多個(gè)幀的像素值、區(qū)域信息和混合比率α提取只包括前景成分的前景成分圖像，并且將前景成分圖像提供給運(yùn)動(dòng)模糊調(diào)整單元106。
運(yùn)動(dòng)模糊調(diào)整單元106根據(jù)從前景/背景分離器105提供的前景成分圖像、從運(yùn)動(dòng)檢測(cè)器102提供的運(yùn)動(dòng)向量以及從區(qū)域指定單元103提供的區(qū)域信息，調(diào)整包含在前景成分圖像中的運(yùn)動(dòng)模糊量，然后輸出其中調(diào)整過(guò)運(yùn)動(dòng)模糊的前景成分圖像。
下面將參照?qǐng)D21的流程圖對(duì)由信號(hào)處理器12執(zhí)行的用于調(diào)整運(yùn)動(dòng)模糊量的處理進(jìn)行描述。在步驟S11，區(qū)域指定單元103根據(jù)輸入圖像執(zhí)行區(qū)域指定處理，用于生成表示輸入圖像的每個(gè)像素屬于前景區(qū)域、背景區(qū)域、覆蓋背景區(qū)域或非覆蓋背景區(qū)域中的哪個(gè)區(qū)域的區(qū)域信息。區(qū)域指定處理的細(xì)節(jié)在下面給出。區(qū)域指定單元103將所生成的區(qū)域信息提供給混合比率計(jì)算器104。
在步驟S11，區(qū)域指定單元103可以根據(jù)輸入圖像生成表示輸入圖像的每個(gè)像素屬于前景區(qū)域、背景區(qū)域或混合區(qū)域(不管每個(gè)像素是屬于覆蓋背景區(qū)域還是屬于非覆蓋背景區(qū)域)中的哪個(gè)區(qū)域的區(qū)域信息。在這種情況下，前景/背景分離器105和運(yùn)動(dòng)模糊調(diào)整單元106根據(jù)運(yùn)動(dòng)向量的方向確定混合區(qū)域是覆蓋背景區(qū)域還是非覆蓋背景區(qū)域。例如，如果輸入圖像在運(yùn)動(dòng)向量的方向上以前景區(qū)域、混合區(qū)域和背景區(qū)域的次序進(jìn)行排列，確定混合區(qū)域?yàn)楦采w背景區(qū)域。如果輸入圖像在運(yùn)動(dòng)向量的方向上以背景區(qū)域、混合區(qū)域和前景區(qū)域的次序進(jìn)行排列，確定混合區(qū)域?yàn)榉歉采w背景區(qū)域。
在步驟S12，混合比率計(jì)算器104根據(jù)輸入圖像和區(qū)域信息，為包含在混合區(qū)域中的每個(gè)像素計(jì)算混合比率α?；旌媳嚷视?jì)算處理的細(xì)節(jié)在下面給出?；旌媳嚷视?jì)算器104將算出的混合比率α提供給前景/背景分離器105。
在步驟S13，前景/背景分離器105根據(jù)區(qū)域信息和混合比率α從輸入圖像提取前景成分，并且將前景成分作為前景成分圖像提供給運(yùn)動(dòng)模糊調(diào)整單元106。
在步驟S14，運(yùn)動(dòng)模糊調(diào)整單元106根據(jù)運(yùn)動(dòng)向量和區(qū)域信息，生成表示在移動(dòng)方向上排列并且屬于非覆蓋背景區(qū)域、前景區(qū)域和覆蓋背景區(qū)域中的任一個(gè)的連續(xù)像素位置的處理單元，并且調(diào)整包含在對(duì)應(yīng)于處理單元的前景成分中的運(yùn)動(dòng)模糊量。用于調(diào)整運(yùn)動(dòng)模糊量的處理的細(xì)節(jié)在下面給出。
在步驟S15，信號(hào)處理器12確定是否完成對(duì)整個(gè)屏幕的處理。如果確定尚未完成對(duì)整個(gè)屏幕的處理，過(guò)程進(jìn)入步驟S14，并且重復(fù)用于為對(duì)應(yīng)于處理單元的前景成分調(diào)整運(yùn)動(dòng)模糊量的處理。
如果在步驟S15確定已完成對(duì)整個(gè)屏幕的處理，處理結(jié)束。
通過(guò)這種方式，信號(hào)處理器12能夠通過(guò)分離前景和背景，調(diào)整包含在前景中的運(yùn)動(dòng)模糊量。也就是，信號(hào)處理器12能夠調(diào)整包含在表示前景像素的像素值的采樣數(shù)據(jù)中的運(yùn)動(dòng)模糊量。
下面將分別描述區(qū)域指定單元103、混合比率計(jì)算器104、前景/背景分離器105和運(yùn)動(dòng)模糊調(diào)整單元106的結(jié)構(gòu)。
圖22是區(qū)域指定單元103的結(jié)構(gòu)示例方框圖。圖22所示的區(qū)域指定單元103不使用運(yùn)動(dòng)向量。幀存儲(chǔ)器201以幀為單位存儲(chǔ)輸入圖像。當(dāng)要處理的圖像為幀#n時(shí)，幀存儲(chǔ)器201存儲(chǔ)幀#n-2(幀#n前兩幀的幀)、幀#n-1(幀#n前一幀的幀)、幀#n、幀#n+1(幀#n后一幀的幀)、幀#n+2(幀#n后兩幀的幀)。
靜止/移動(dòng)確定部分202-1從幀存儲(chǔ)器201讀取位于與確定像素所屬區(qū)域的幀#n的特定像素相同的位置的幀#n+2像素的像素值，并且讀取位于與幀#n的特定像素相同的位置的幀#n+1像素的像素值，并且計(jì)算所讀取像素值之間的差值絕對(duì)值。靜止/移動(dòng)確定部分202-1確定幀#n+2的像素值與幀#n+1的像素值之間的差值絕對(duì)值是否大于預(yù)設(shè)閥值Th。如果確定該差值大于閥值Th，表示“移動(dòng)”的靜止/移動(dòng)確定結(jié)果提供給區(qū)域確定部分203-1。如果確定幀#n+2像素的像素值與幀#n+1像素的像素值之間的差值絕對(duì)值小于或等于閥值Th，靜止/移動(dòng)確定部分202-1將表示“靜止”的靜止/移動(dòng)確定結(jié)果提供給區(qū)域確定部分203-1。
靜止/移動(dòng)確定部分202-2從幀存儲(chǔ)器201讀取確定像素所屬區(qū)域的幀#n的特定像素的像素值，并且讀取位于與幀#n的特定像素相同的位置的幀#n+1像素的像素值，并且計(jì)算這些像素值之間的差值絕對(duì)值。靜止/移動(dòng)確定部分202-2確定幀#n+1的像素值與幀#n的像素值之間的差值絕對(duì)值是否大于預(yù)設(shè)閥值Th。如果確定像素值之間的差值絕對(duì)值大于閥值Th，表示“移動(dòng)”的靜止/移動(dòng)確定結(jié)果提供給區(qū)域確定部分203-1和區(qū)域確定部分203-2。如果確定幀#n+1像素的像素值與幀#n像素的像素值之間的差值絕對(duì)值小于或等于閥值Th，靜止/移動(dòng)確定部分202-2將表示“靜止”的靜止/移動(dòng)確定結(jié)果提供給區(qū)域確定部分203-1和區(qū)域確定部分203-2。
靜止/移動(dòng)確定部分202-3從幀存儲(chǔ)器201讀取確定像素所屬區(qū)域的幀#n的特定像素的像素值，并且讀取位于與幀#n的特定像素相同的位置的幀#n-1像素的像素值，并且計(jì)算這些像素值之間的差值絕對(duì)值。靜止/移動(dòng)確定部分202-3確定幀#n的像素值與幀#n-1的像素值之間的差值絕對(duì)值是否大于預(yù)設(shè)閥值Th。如果確定像素值之間的差值絕對(duì)值大于閥值Th，表示“移動(dòng)”的靜止/移動(dòng)確定結(jié)果提供給區(qū)域確定部分203-2和區(qū)域確定部分203-3。如果確定幀#n像素的像素值與幀#n-1像素的像素值之間的差值絕對(duì)值小于或等于閥值Th，靜止/移動(dòng)確定部分202-3將表示“靜止”的靜止/移動(dòng)確定結(jié)果提供給區(qū)域確定部分203-2和區(qū)域確定部分203-3。
靜止/移動(dòng)確定部分202-4從幀存儲(chǔ)器201讀取位于與確定像素所屬區(qū)域的幀#n的特定像素相同的位置的幀#n-1像素的像素值，并且讀取位于與幀#n的特定像素相同的位置的幀#n-2像素的像素值，并且計(jì)算這些像素值之間的差值絕對(duì)值。靜止/移動(dòng)確定部分202-4確定幀#n-1的像素值與幀#n-2的像素值之間的差值絕對(duì)值是否大于預(yù)設(shè)閥值Th。如果確定像素值之間的差值絕對(duì)值大于閥值Th，表示“移動(dòng)”的靜止/移動(dòng)確定結(jié)果提供給區(qū)域確定部分203-3。如果確定幀#n-1像素的像素值與幀#n-2像素的像素值之間的差值絕對(duì)值小于或等于閥值Th，靜止/移動(dòng)確定部分202-4將表示“靜止”的靜止/移動(dòng)確定結(jié)果提供給區(qū)域確定部分203-3。
當(dāng)從靜止/移動(dòng)確定部分202-1提供的靜止/移動(dòng)確定結(jié)果表示“靜止”，并且從靜止/移動(dòng)確定部分202-2提供的靜止/移動(dòng)確定結(jié)果表示“移動(dòng)”時(shí)，區(qū)域確定部分203-1確定幀#n的特定像素屬于非覆蓋背景區(qū)域，并且將與該特定像素相關(guān)聯(lián)的非覆蓋背景區(qū)域確定標(biāo)志設(shè)為“1”，表示該特定像素屬于非覆蓋背景區(qū)域。
當(dāng)從靜止/移動(dòng)確定部分202-1提供的靜止/移動(dòng)確定結(jié)果表示“移動(dòng)”，或者從靜止/移動(dòng)確定部分202-2提供的靜止/移動(dòng)確定結(jié)果表示“靜止”時(shí)，區(qū)域確定部分203-1確定幀#n的特定像素不屬于非覆蓋背景區(qū)域，并且將與該特定像素相關(guān)聯(lián)的非覆蓋背景區(qū)域確定標(biāo)志設(shè)為“0”，表示該特定像素不屬于非覆蓋背景區(qū)域。
區(qū)域確定部分203-1將如上所述設(shè)為“1”或“0”的非覆蓋背景區(qū)域確定標(biāo)志提供給確定標(biāo)志存儲(chǔ)幀緩沖器204。
當(dāng)從靜止/移動(dòng)確定部分202-2提供的靜止/移動(dòng)確定結(jié)果表示“靜止”，并且從靜止/移動(dòng)確定部分202-3提供的靜止/移動(dòng)確定結(jié)果表示“靜止”時(shí)，區(qū)域確定部分203-2確定幀#n的特定像素屬于靜止區(qū)域，并且將與該特定像素相關(guān)聯(lián)的靜止區(qū)域確定標(biāo)志設(shè)為“1”，表示該像素屬于靜止區(qū)域。
當(dāng)從靜止/移動(dòng)確定部分202-2提供的靜止/移動(dòng)確定結(jié)果表示“移動(dòng)”，或者從靜止/移動(dòng)確定部分202-3提供的靜止/移動(dòng)確定結(jié)果表示“移動(dòng)”時(shí)，區(qū)域確定部分203-2確定幀#n的特定像素不屬于靜止區(qū)域，并且將與該特定像素相關(guān)聯(lián)的靜止區(qū)域確定標(biāo)志設(shè)為“0”，表示該像素不屬于靜止區(qū)域。
區(qū)域確定部分203-2將如上所述設(shè)為“1”或“0”的靜止區(qū)域確定標(biāo)志提供給確定標(biāo)志存儲(chǔ)幀緩沖器204。
當(dāng)從靜止/移動(dòng)確定部分202-2提供的靜止/移動(dòng)確定結(jié)果表示“移動(dòng)”，并且從靜止/移動(dòng)確定部分202-3提供的靜止/移動(dòng)確定結(jié)果表示“移動(dòng)”時(shí)，區(qū)域確定部分203-2確定幀#n的特定像素屬于移動(dòng)區(qū)域，并且將與該特定像素相關(guān)聯(lián)的移動(dòng)區(qū)域確定標(biāo)志設(shè)為“1”，表示該特定像素屬于移動(dòng)區(qū)域。
當(dāng)從靜止/移動(dòng)確定部分202-2提供的靜止/移動(dòng)確定結(jié)果表示“靜止”，或者從靜止/移動(dòng)確定部分202-3提供的靜止/移動(dòng)確定結(jié)果表示“靜止”時(shí)，區(qū)域確定部分203-2確定幀#n的特定像素不屬于移動(dòng)區(qū)域，并且將與該特定像素相關(guān)聯(lián)的移動(dòng)區(qū)域確定標(biāo)志設(shè)為“0”，表示該像素不屬于移動(dòng)區(qū)域。
區(qū)域確定部分203-2將如上所述設(shè)為“1”或“0”的移動(dòng)區(qū)域確定標(biāo)志提供給確定標(biāo)志存儲(chǔ)幀緩沖器204。
當(dāng)從靜止/移動(dòng)確定部分202-3提供的靜止/移動(dòng)確定結(jié)果表示“移動(dòng)”，并且從靜止/移動(dòng)確定部分202-4提供的靜止/移動(dòng)確定結(jié)果表示“靜止”時(shí)，區(qū)域確定部分203-3確定幀#n的特定像素屬于覆蓋背景區(qū)域，并且將與該特定像素相關(guān)聯(lián)的覆蓋背景區(qū)域確定標(biāo)志設(shè)為“1”，表示該特定像素屬于覆蓋背景區(qū)域。
當(dāng)從靜止/移動(dòng)確定部分202-3提供的靜止/移動(dòng)確定結(jié)果表示“靜止”，或者從靜止/移動(dòng)確定部分202-4提供的靜止/移動(dòng)確定結(jié)果表示“移動(dòng)”時(shí)，區(qū)域確定部分203-3確定幀#n的特定像素不屬于覆蓋背景區(qū)域，并且將與該特定像素相關(guān)聯(lián)的覆蓋背景區(qū)域確定標(biāo)志設(shè)為“0”，表示該特定像素不屬于覆蓋背景區(qū)域。
區(qū)域確定部分203-3將如上所述設(shè)為“1”或“0”的覆蓋背景區(qū)域確定標(biāo)志提供給確定標(biāo)志存儲(chǔ)幀緩沖器204。
確定標(biāo)志存儲(chǔ)幀緩沖器204因此存儲(chǔ)從區(qū)域確定部分203-1提供的非覆蓋背景區(qū)域確定標(biāo)志、從區(qū)域確定部分203-2提供的靜止區(qū)域確定標(biāo)志、從區(qū)域確定部分203-2提供的移動(dòng)區(qū)域確定標(biāo)志以及從區(qū)域確定部分203-3提供的覆蓋背景區(qū)域確定標(biāo)志。
確定標(biāo)志存儲(chǔ)幀緩沖器204將存儲(chǔ)在其中的非覆蓋背景區(qū)域確定標(biāo)志、靜止區(qū)域確定標(biāo)志、移動(dòng)區(qū)域確定標(biāo)志以及覆蓋背景區(qū)域確定標(biāo)志提供給合成器205。合成器205根據(jù)從確定標(biāo)志存儲(chǔ)幀緩沖器204提供的非覆蓋背景區(qū)域確定標(biāo)志、靜止區(qū)域確定標(biāo)志、移動(dòng)區(qū)域確定標(biāo)志以及覆蓋背景區(qū)域確定標(biāo)志，生成表示每個(gè)像素屬于非覆蓋背景區(qū)域、靜止區(qū)域、移動(dòng)區(qū)域或覆蓋背景區(qū)域中的哪一個(gè)區(qū)域的區(qū)域信息，并且將該區(qū)域信息提供給確定標(biāo)志存儲(chǔ)幀緩沖器206。
確定標(biāo)志存儲(chǔ)幀緩沖器206存儲(chǔ)從合成器205提供的區(qū)域信息，并且還輸出存儲(chǔ)在其中的區(qū)域信息。
下面將參照?qǐng)D23到27對(duì)由區(qū)域指定單元103執(zhí)行的處理示例進(jìn)行描述。
當(dāng)對(duì)應(yīng)于前景的對(duì)象正在移動(dòng)時(shí)，對(duì)應(yīng)于該對(duì)象的圖像在屏幕上的位置在每一幀中都發(fā)生變化。如圖23所示，在幀#n中位于用Yn(x，y)表示的位置的對(duì)應(yīng)于該對(duì)象的圖像在幀#n之后的幀#n+1中位于Yn+1(x，y)。
通過(guò)在時(shí)間方向上擴(kuò)展在對(duì)應(yīng)于前景對(duì)象的圖像的移動(dòng)方向上并排對(duì)齊的像素的像素值而獲得的模型如圖24所示。例如，如果對(duì)應(yīng)于前景對(duì)象的圖像的移動(dòng)方向相對(duì)于屏幕是水平的，圖24所示的模型是通過(guò)在時(shí)間方向上擴(kuò)展在并排排列行的像素的像素值而獲得的模型。
在圖24中，幀#n中的行等于幀#n+1中的行。
對(duì)應(yīng)于包含在幀#n的左起第二像素到第十三像素中的對(duì)象的前景成分包含在幀#n+1的左起第六像素到第十七像素中。
在幀#n中，屬于覆蓋背景區(qū)域的像素為左起第十一到第十三像素，并且屬于非覆蓋背景區(qū)域的像素為左起第二到第四像素。在幀#n+1中，屬于覆蓋背景區(qū)域的像素為左起第十五到第十七像素，并且屬于非覆蓋背景區(qū)域的像素為左起第六到第八像素。
在圖24所示的例子中，由于包含在幀#n中的前景成分在幀#n+1中移動(dòng)四個(gè)像素，因此移動(dòng)量v為4。虛擬劃分部分的數(shù)目根據(jù)移動(dòng)量v為4。
現(xiàn)在將對(duì)在特定幀之前和之后的幀中屬于混合區(qū)域的像素的像素值變化進(jìn)行描述。
在圖25中，在背景是靜止的并且前景的移動(dòng)量v為4的幀#n中屬于覆蓋背景區(qū)域的像素為左起第十五到第十七像素。由于移動(dòng)量v為4，因此前一幀#n-1中左起第十五到第十七像素只包含背景成分，并且屬于背景區(qū)域。幀#n-1前一幀的幀#n-2中左起第十五到第十七像素只包含背景成分，并且屬于背景區(qū)域。
由于對(duì)應(yīng)于背景的對(duì)象是靜止的，因此幀#n-1中左起第十五像素的像素值與幀#n-2中左起第十五像素的像素值相比沒(méi)有變化。類似地，幀#n-1中左起第十六像素的像素值與幀#n-2中左起第十六像素的像素值相比沒(méi)有變化，并且?guī)?n-1中左起第十七像素的像素值與幀#n-2中左起第十七像素的像素值相比沒(méi)有變化。
也就是，與幀#n中屬于覆蓋背景區(qū)域的像素對(duì)應(yīng)的幀#n-1和幀#n-2中的像素只包括背景成分，并且其像素值不發(fā)生變化。因此，這些像素值之間的差值絕對(duì)值幾乎為0。因此，靜止/移動(dòng)確定部分202-4對(duì)與幀#n中屬于混合區(qū)域的像素對(duì)應(yīng)的幀#n-1和幀#n-2中的像素進(jìn)行的靜止/移動(dòng)確定為“靜止”。
因?yàn)閹?n中屬于覆蓋背景區(qū)域的像素包含前景成分，所以其像素值不同于只包括背景成分的幀#n-1的像素值。因此，靜止/移動(dòng)確定部分202-3對(duì)幀#n中屬于混合區(qū)域的像素與幀#n-1中的對(duì)應(yīng)像素進(jìn)行的靜止/移動(dòng)確定為“移動(dòng)”。
當(dāng)如上所述從靜止/移動(dòng)確定部分202-3提供表示“移動(dòng)”的靜止/移動(dòng)確定結(jié)果，并且從靜止/移動(dòng)確定部分202-4提供表示“靜止”的靜止/移動(dòng)確定結(jié)果時(shí)，區(qū)域確定部分203-3確定相應(yīng)像素屬于覆蓋背景區(qū)域。
在圖26中，在背景是靜止的并且前景的移動(dòng)量v為4的幀#n中，包含在非覆蓋背景區(qū)域中的像素為左起第二到第四像素。由于移動(dòng)量v為4，因此后一幀#n+1中左起第二到第四像素只包含背景成分，并且屬于背景區(qū)域。在幀#n+1之后的幀#n+2中，左起第二到第四像素只包含背景成分，并且屬于背景區(qū)域。
由于對(duì)應(yīng)于背景的對(duì)象是靜止的，因此幀#n+2中左起第二像素的像素值與幀#n+1中左起第二像素的像素值相比沒(méi)有變化。類似地，幀#n+2中左起第三像素的像素值與幀#n+1中左起第三像素的像素值相比沒(méi)有變化，并且?guī)?n+2中左起第四像素的像素值與幀#n+1中左起第四像素的像素值相比沒(méi)有變化。
也就是，與幀#n中屬于非覆蓋背景區(qū)域的像素對(duì)應(yīng)的幀#n+1和幀#n+2中的像素只包括背景成分，并且其像素值不發(fā)生變化。因此，這些像素值之間的差值絕對(duì)值幾乎為0。因此，靜止/移動(dòng)確定部分202-1對(duì)與幀#n中屬于混合區(qū)域的像素對(duì)應(yīng)的幀#n+1和幀#n+2中的像素作出的靜止/移動(dòng)確定結(jié)果為“靜止”。
因?yàn)閹?n中屬于非覆蓋背景區(qū)域的像素包含前景成分，所以其像素值不同于只包括背景成分的幀#n+1的像素值。因此，靜止/移動(dòng)確定部分202-2對(duì)幀#n中屬于混合區(qū)域的像素與幀#n+1中的對(duì)應(yīng)像素作出的靜止/移動(dòng)確定結(jié)果為“移動(dòng)”。
當(dāng)如上所述從靜止/移動(dòng)確定部分202-2提供表示“移動(dòng)”的靜止/移動(dòng)確定結(jié)果，并且從靜止/移動(dòng)確定部分202-1提供表示“靜止”的靜止/移動(dòng)確定結(jié)果時(shí)，區(qū)域確定部分203-1確定相應(yīng)像素屬于非覆蓋背景區(qū)域。
圖27示出區(qū)域指定單元103對(duì)幀#n進(jìn)行確定的條件。當(dāng)對(duì)與待處理的幀#n像素處于相同圖像位置的幀#n-2像素以及與幀#n像素處于相同位置的幀#n-1像素的確定結(jié)果為靜止，并且對(duì)幀#n像素以及與幀#n像素處于相同圖像位置的幀#n-1像素的確定結(jié)果為移動(dòng)時(shí)，區(qū)域指定單元103確定幀#n像素屬于覆蓋背景區(qū)域。
當(dāng)對(duì)幀#n像素以及與幀#n像素處于相同圖像位置的幀#n-1像素的確定結(jié)果為靜止，并且對(duì)幀#n像素以及與幀#n像素處于相同圖像位置的幀#n+1像素的確定結(jié)果為靜止時(shí)，區(qū)域指定單元103確定幀#n像素屬于靜止區(qū)域。
當(dāng)對(duì)幀#n像素以及與幀#n像素處于相同圖像位置的幀#n-1像素的確定結(jié)果為移動(dòng)，并且對(duì)幀#n像素以及與幀#n像素處于相同圖像位置的幀#n+1像素的確定結(jié)果為移動(dòng)時(shí)，區(qū)域指定單元103確定幀#n像素屬于移動(dòng)區(qū)域。
當(dāng)對(duì)幀#n像素以及與幀#n像素處于相同圖像位置的幀#n+1像素的確定結(jié)果為移動(dòng)，并且對(duì)與幀#n像素處于相同圖像位置的幀#n+1像素以及與幀#n像素處于相同圖像位置的幀#n+2像素的確定結(jié)果為靜止時(shí)，區(qū)域指定單元103確定幀#n像素屬于非覆蓋背景區(qū)域。
圖28A到28D示出由區(qū)域指定單元103獲得的區(qū)域確定結(jié)果的例子。在圖28A中，確定為屬于覆蓋背景區(qū)域的像素用白色表示。在圖28B中，確定為屬于非覆蓋背景區(qū)域的像素用白色表示。
在圖28C中，確定為屬于移動(dòng)區(qū)域的像素用白色表示。在圖28D中，確定為屬于靜止區(qū)域的像素用白色表示。
圖29以圖像形式示出從由確定標(biāo)志存儲(chǔ)幀緩沖器206輸出的區(qū)域信息中選擇的表示混合區(qū)域的區(qū)域信息。在圖29中，確定為屬于覆蓋背景區(qū)域或非覆蓋背景區(qū)域的像素，即確定為屬于混合區(qū)域的像素用白色表示。從確定標(biāo)志存儲(chǔ)幀緩沖器206輸出的表示混合區(qū)域的區(qū)域信息指定混合區(qū)域以及前景區(qū)域中由不帶紋理的部分包圍的帶紋理部分。
下面將參照?qǐng)D30的流程圖對(duì)由區(qū)域指定單元103執(zhí)行的區(qū)域指定處理進(jìn)行描述。在步驟S201，幀存儲(chǔ)器201獲取包括幀#n的幀#n-2到幀#n+2。
在步驟S202，靜止/移動(dòng)確定部分202-3確定對(duì)處于相同位置的幀#n-1像素以及幀#n像素的確定結(jié)果是否為靜止。如果確定該確定結(jié)果為靜止，過(guò)程進(jìn)入步驟S203，其中靜止/移動(dòng)確定部分202-2確定對(duì)處于相同位置的幀#n像素以及幀#n+1像素的確定結(jié)果是否為靜止。
如果在步驟S203確定對(duì)處于相同位置的幀#n像素以及幀#n+1像素的確定結(jié)果為靜止，過(guò)程進(jìn)入步驟S204。在步驟S204中，區(qū)域確定部分203-2將與待處理像素相關(guān)聯(lián)的靜止區(qū)域確定標(biāo)志設(shè)為“1”，表示該待處理像素屬于靜止區(qū)域。區(qū)域確定部分203-2將靜止區(qū)域確定標(biāo)志提供給確定標(biāo)志存儲(chǔ)幀緩沖器204，并且過(guò)程進(jìn)入步驟S205。
如果在步驟S202確定對(duì)處于相同位置的幀#n-1像素以及幀#n像素的確定結(jié)果為移動(dòng)，或者在步驟S203確定對(duì)處于相同位置的幀#n像素以及幀#n+1像素的確定結(jié)果為移動(dòng)，那么待處理像素不屬于靜止區(qū)域。因此，跳過(guò)步驟S204的處理，并且過(guò)程進(jìn)入步驟S205。
在步驟S205，靜止/移動(dòng)確定部分202-3確定對(duì)處于相同位置的幀#n-1像素以及幀#n像素的確定結(jié)果是否為移動(dòng)。如果確定該確定結(jié)果為移動(dòng)，過(guò)程進(jìn)入步驟S206，其中靜止/移動(dòng)確定部分202-2確定對(duì)處于相同位置的幀#n像素以及幀#n+1像素的確定結(jié)果是否為移動(dòng)。
如果在步驟S206確定對(duì)處于相同位置的幀#n像素以及幀#n+1像素的確定結(jié)果為移動(dòng)，過(guò)程進(jìn)入步驟S207。在步驟S207中，區(qū)域確定部分203-2將與待處理像素相關(guān)聯(lián)的移動(dòng)區(qū)域確定標(biāo)志設(shè)為“1”，表示該待處理像素屬于移動(dòng)區(qū)域。區(qū)域確定部分203-2將移動(dòng)區(qū)域確定標(biāo)志提供給確定標(biāo)志存儲(chǔ)幀緩沖器204，并且過(guò)程進(jìn)入步驟S208。
如果在步驟S205確定對(duì)處于相同位置的幀#n-1像素以及幀#n像素的確定結(jié)果為靜止，或者在步驟S206確定對(duì)處于相同位置的幀#n像素以及幀#n+1像素的確定結(jié)果為靜止，那么幀#n像素不屬于移動(dòng)區(qū)域。因此，跳過(guò)步驟S207的處理，并且過(guò)程進(jìn)入步驟S208。
在步驟S208，靜止/移動(dòng)確定部分202-4確定對(duì)處于相同位置的幀#n-2像素以及幀#n-1像素的確定結(jié)果是否為靜止。如果確定該確定結(jié)果為靜止，過(guò)程進(jìn)入步驟S209，其中靜止/移動(dòng)確定部分202-3確定對(duì)處于相同位置的幀#n-1像素以及幀#n像素的確定結(jié)果是否為移動(dòng)。
如果在步驟S209確定對(duì)處于相同位置的幀#n-1像素以及幀#n像素的確定結(jié)果為移動(dòng)，過(guò)程進(jìn)入步驟S210。在步驟S210中，區(qū)域確定部分203-3將與待處理像素相關(guān)聯(lián)的覆蓋背景區(qū)域確定標(biāo)志設(shè)為“1”，表示該待處理像素屬于覆蓋背景區(qū)域。區(qū)域確定部分203-3將覆蓋背景區(qū)域確定標(biāo)志提供給確定標(biāo)志存儲(chǔ)幀緩沖器204，并且過(guò)程進(jìn)入步驟S211。
如果在步驟S208確定對(duì)處于相同位置的幀#n-2像素以及幀#n-1像素的確定結(jié)果為移動(dòng)，或者在步驟S209確定對(duì)處于相同位置的幀#n-1像素以及幀#n像素的確定結(jié)果為靜止，那么幀#n像素不屬于覆蓋背景區(qū)域。因此，跳過(guò)步驟S210的處理，并且過(guò)程進(jìn)入步驟S211。
在步驟S211，靜止/移動(dòng)確定部分202-2確定對(duì)處于相同位置的幀#n像素以及幀#n+1像素的確定結(jié)果是否為移動(dòng)。如果在步驟S211確定該確定結(jié)果為移動(dòng)，過(guò)程進(jìn)入步驟S212，其中靜止/移動(dòng)確定部分202-1確定對(duì)處于相同位置的幀#n+1像素以及幀#n+2像素的確定結(jié)果是否為靜止。
如果在步驟S212確定對(duì)處于相同位置的幀#n+1像素以及幀#n+2像素的確定結(jié)果為靜止，過(guò)程進(jìn)入步驟S213。在步驟S213中，區(qū)域確定部分203-1將與待處理像素相關(guān)聯(lián)的非覆蓋背景區(qū)域確定標(biāo)志設(shè)為“1”，表示該待處理像素屬于非覆蓋背景區(qū)域。區(qū)域確定部分203-1將非覆蓋背景區(qū)域確定標(biāo)志提供給確定標(biāo)志存儲(chǔ)幀緩沖器204，并且過(guò)程進(jìn)入步驟S214。
如果在步驟S211確定對(duì)處于相同位置的幀#n像素以及幀#n+1像素的確定結(jié)果為靜止，或者在步驟S212確定對(duì)處于相同位置的幀#n+1像素以及幀#n+2像素的確定結(jié)果為移動(dòng)，那么幀#n像素不屬于非覆蓋背景區(qū)域。因此，跳過(guò)步驟S213的處理，并且過(guò)程進(jìn)入步驟S214。
在步驟S214，區(qū)域指定單元103確定是否指定完畢幀#n中所有像素的區(qū)域。如果確定尚未指定幀#n中所有像素的區(qū)域，那么過(guò)程返回到步驟S202，并且對(duì)剩余像素重復(fù)區(qū)域指定處理。
如果在步驟S214確定指定完畢幀#n中所有像素的區(qū)域，那么過(guò)程進(jìn)入步驟S215。在步驟S215，合成器215根據(jù)存儲(chǔ)在確定標(biāo)志存儲(chǔ)幀緩沖器204中的非覆蓋背景區(qū)域確定標(biāo)志和覆蓋背景區(qū)域確定標(biāo)志，生成表示混合區(qū)域的區(qū)域信息，并且還生成表示每個(gè)像素屬于非覆蓋背景區(qū)域、靜止區(qū)域、移動(dòng)區(qū)域或覆蓋背景區(qū)域中的哪一個(gè)區(qū)域的區(qū)域信息，并且在確定標(biāo)志存儲(chǔ)幀緩沖器206中設(shè)置所生成的區(qū)域信息。然后處理結(jié)束。
如上所述，區(qū)域指定單元103能夠生成表示包含在幀中的每個(gè)像素屬于移動(dòng)區(qū)域、靜止區(qū)域、覆蓋背景區(qū)域或非覆蓋背景區(qū)域中的哪一個(gè)區(qū)域的區(qū)域信息。
區(qū)域指定單元103可以對(duì)與非覆蓋背景區(qū)域?qū)?yīng)的區(qū)域信息和與覆蓋背景區(qū)域?qū)?yīng)的區(qū)域信息應(yīng)用邏輯或操作，從而生成對(duì)應(yīng)于混合區(qū)域的區(qū)域信息，然后可以生成由表示包含在幀中的各個(gè)像素屬于移動(dòng)區(qū)域、靜止區(qū)域或混合區(qū)域中的哪一個(gè)區(qū)域的標(biāo)志組成的區(qū)域信息。
當(dāng)對(duì)應(yīng)于前景的對(duì)象具有紋理(texture)時(shí)，區(qū)域指定單元103能夠更精確地指定移動(dòng)區(qū)域。
區(qū)域指定單元103能夠輸出表示移動(dòng)區(qū)域的區(qū)域信息作為表示前景區(qū)域的區(qū)域信息，并且輸出表示靜止區(qū)域的區(qū)域信息作為表示背景區(qū)域的區(qū)域信息。
本實(shí)施例是假定對(duì)應(yīng)于背景的對(duì)象是靜止的而進(jìn)行描述的。然而，即使對(duì)應(yīng)于背景區(qū)域的圖像包含運(yùn)動(dòng)時(shí)，也可以應(yīng)用上述區(qū)域指定處理。例如，如果對(duì)應(yīng)于背景區(qū)域的圖像一致移動(dòng)，區(qū)域指定單元103根據(jù)該運(yùn)動(dòng)偏移整個(gè)圖像，從而以與對(duì)應(yīng)于背景的對(duì)象為靜止的情況類似的方式執(zhí)行處理。如果對(duì)應(yīng)于背景區(qū)域的圖像包含局部不同運(yùn)動(dòng)時(shí)，區(qū)域指定單元103選擇對(duì)應(yīng)于運(yùn)動(dòng)的像素，并且執(zhí)行上述處理。
圖31是區(qū)域指定單元103的另一結(jié)構(gòu)示例方框圖。圖31所示的區(qū)域指定單元103不使用運(yùn)動(dòng)向量。背景圖像生成器301生成對(duì)應(yīng)于輸入圖像的背景圖像，并且將所生成的背景圖像提供給二進(jìn)制對(duì)象圖像提取部分302。背景圖像生成器301提取例如與包含在輸入圖像中的背景對(duì)象對(duì)應(yīng)的圖像對(duì)象，并且生成背景圖像。
通過(guò)在時(shí)間方向上擴(kuò)展在對(duì)應(yīng)于前景對(duì)象的圖像的移動(dòng)方向上并排對(duì)齊的像素的像素值而獲得的模型示例如圖32所示。例如，如果對(duì)應(yīng)于前景對(duì)象的圖像的移動(dòng)方向相對(duì)于屏幕是水平的，圖32所示的模型是通過(guò)在時(shí)域內(nèi)擴(kuò)展在一條直線上并排排列的像素的像素值而獲得的模型。
在圖32中，幀#n直線與幀#n-1直線和幀#n+1直線相同。
在幀#n中，與包含在左起第六到第十七像素中的對(duì)象對(duì)應(yīng)的前景成分包含在幀#n-1中左起第二到第十三像素中，并且還包含在幀#n+1中左起第十到第二十一像素中。
在幀#n-1中，屬于覆蓋背景區(qū)域的像素為左起第十一到第十三像素，并且屬于非覆蓋背景區(qū)域的像素為左起第二到第四像素。在幀#n中，屬于覆蓋背景區(qū)域的像素為左起第十五到第十七像素，并且屬于非覆蓋背景區(qū)域的像素為左起第六到第八像素。在幀#n+1中，屬于覆蓋背景區(qū)域的像素為左起第十九到第二十一像素，并且屬于非覆蓋背景區(qū)域的像素為左起第十到第十二像素。
在幀#n-1中，屬于背景區(qū)域的像素為左起第一像素以及左起第十四到第二十一像素。在幀#n中，屬于背景區(qū)域的像素為左起第一到第五像素以及左起第十八到第二十一像素。在幀#n+1中，屬于背景區(qū)域的像素為左起第一到第九像素。
由背景圖像生成器301生成的對(duì)應(yīng)于圖32所示例子的背景圖像例子如圖33所示。背景圖像包括對(duì)應(yīng)于背景對(duì)象的像素，并且不包含對(duì)應(yīng)于前景對(duì)象的圖像成分。
二進(jìn)制對(duì)象圖像提取部分302根據(jù)背景圖像與輸入圖像的相關(guān)，生成一個(gè)二進(jìn)制對(duì)象圖像，并且將所生成的二進(jìn)制對(duì)象圖像提供給時(shí)間變化檢測(cè)器303。
圖34是二進(jìn)制對(duì)象圖像提取部分302的結(jié)構(gòu)方框圖。相關(guān)值計(jì)算器321計(jì)算從背景圖像生成器301提供的背景圖像與輸入圖像之間的相關(guān)，從而生成相關(guān)值，并且將所生成的相關(guān)值提供給閥值處理器322。
相關(guān)值計(jì)算器321將方程(4)應(yīng)用于例如圖35A所示的以X4為中心的3×3背景圖像塊，以及例如圖35B所示的對(duì)應(yīng)于該背景圖像塊的以Y4為中心的3×3背景圖像塊，從而計(jì)算對(duì)應(yīng)于Y4的相關(guān)值。 X‾=Σi=08Xi9---(5)]]>Y‾=Σi=08Yi9---(6)]]>相關(guān)值計(jì)算器321將如上所述為每個(gè)像素計(jì)算的相關(guān)值提供給閥值處理器322。
可選地，相關(guān)值計(jì)算器321可將方程(7)應(yīng)用于例如圖36A所示的以X4為中心的3×3背景圖像塊，以及例如圖36B所示的對(duì)應(yīng)于該背景圖像塊的以Y4為中心的3×3背景圖像塊，從而計(jì)算對(duì)應(yīng)于Y4的差值絕對(duì)值之和。 相關(guān)值計(jì)算器321將如上所述算出的差值絕對(duì)值之和作為相關(guān)值提供給閥值處理器322。
閥值處理器322將相關(guān)圖像的像素值與閥值th0進(jìn)行比較。如果相關(guān)值小于或等于閥值th0，那么將二進(jìn)制對(duì)象圖像的像素值設(shè)為1。如果相關(guān)值大于閥值th0，那么將二進(jìn)制對(duì)象圖像的像素值設(shè)為0。閥值處理器322然后輸出其像素值設(shè)為0或1的二進(jìn)制對(duì)象圖像。閥值處理器322可以預(yù)先將閥值th0存儲(chǔ)在其中，或者可以使用從外部源輸入的閥值th0。
圖37示出對(duì)應(yīng)于圖32所示輸入圖像模型的二進(jìn)制對(duì)象圖像。在二進(jìn)制對(duì)象圖像中，將與背景圖像具有更高相關(guān)的像素的像素值設(shè)為0。
圖38是時(shí)間變化檢測(cè)器303的結(jié)構(gòu)方框圖。當(dāng)確定幀#n像素的區(qū)域時(shí)，幀存儲(chǔ)器341存儲(chǔ)從二進(jìn)制對(duì)象圖像提取部分302提供的幀#n-1、幀#n和幀#n+1的二進(jìn)制對(duì)象圖像。
區(qū)域確定部分342根據(jù)幀#n-1、幀#n和幀#n+1的二進(jìn)制對(duì)象圖像，確定幀#n中每個(gè)像素的區(qū)域以生成區(qū)域信息，并且輸出所生成的區(qū)域信息。
圖39示出由區(qū)域確定部分342作出的確定。當(dāng)幀#n二進(jìn)制對(duì)象圖像的感興趣(interest)像素為0時(shí)，區(qū)域確定部分342確定幀#n的感興趣像素屬于背景區(qū)域。
當(dāng)幀#n中的二進(jìn)制對(duì)象圖像的感興趣像素為1，幀#n-1中的二進(jìn)制對(duì)象圖像的對(duì)應(yīng)像素為1，并且?guī)?n+1中的二進(jìn)制對(duì)象圖像的對(duì)應(yīng)像素為1時(shí)，區(qū)域確定部分342確定幀#n中的感興趣像素屬于前景區(qū)域。
當(dāng)幀#n中的二進(jìn)制對(duì)象圖像的感興趣像素為1，并且?guī)?n-1中的二進(jìn)制對(duì)象圖像的對(duì)應(yīng)像素為0時(shí)，區(qū)域確定部分342確定幀#n的感興趣像素屬于覆蓋背景區(qū)域。
當(dāng)幀#n二進(jìn)制對(duì)象圖像的感興趣像素為1，并且?guī)?n+1中的二進(jìn)制對(duì)象圖像的對(duì)應(yīng)像素為0時(shí)，區(qū)域確定部分342確定幀#n的感興趣像素屬于非覆蓋背景區(qū)域。
圖40示出時(shí)間變化檢測(cè)器303對(duì)與圖32所示輸入圖像模型對(duì)應(yīng)的二進(jìn)制對(duì)象圖像作出的確定結(jié)果示例。時(shí)間變化檢測(cè)器303確定幀#n中左起第一到第五像素屬于背景區(qū)域，因?yàn)閹?n中的二進(jìn)制對(duì)象圖像的對(duì)應(yīng)像素為0。
時(shí)間變化檢測(cè)器303確定左起第六到第九像素屬于非覆蓋背景區(qū)域，因?yàn)閹?n中的二進(jìn)制對(duì)象圖像的像素為1，并且?guī)?n+1的對(duì)應(yīng)像素為0。
時(shí)間變化檢測(cè)器303確定左起第十到第十三像素屬于前景區(qū)域，因?yàn)閹?n的二進(jìn)制對(duì)象圖像的像素為1，幀#n-1的對(duì)應(yīng)像素為1，并且?guī)?n+1的對(duì)應(yīng)像素為1。
時(shí)間變化檢測(cè)器303確定左起第十四到第十七像素屬于覆蓋背景區(qū)域，因?yàn)閹?n的二進(jìn)制對(duì)象圖像的像素為1，并且?guī)?n-1的對(duì)應(yīng)像素為0。
時(shí)間變化檢測(cè)器303確定左起第十八到第二十一像素屬于背景區(qū)域，因?yàn)閹?n的二進(jìn)制對(duì)象圖像的對(duì)應(yīng)像素為0。
下面將參照?qǐng)D41的流程圖對(duì)由區(qū)域指定單元103執(zhí)行的區(qū)域指定處理進(jìn)行描述。在步驟S301，區(qū)域指定單元103的背景圖像生成器301根據(jù)輸入圖像提取例如與包含在輸入圖像中的背景對(duì)象對(duì)應(yīng)的圖像對(duì)象，以生成背景圖像，并且將所生成的背景圖像提供給二進(jìn)制對(duì)象圖像提取部分302。
在步驟S302，二進(jìn)制對(duì)象圖像提取部分302根據(jù)例如參照?qǐng)D35A和35B所述的計(jì)算操作，計(jì)算輸入圖像與從背景圖像生成器301提供的背景圖像之間的相關(guān)值。在步驟S303，二進(jìn)制對(duì)象圖像提取部分302通過(guò)例如比較相關(guān)值與閥值th0，根據(jù)相關(guān)值與閥值th0計(jì)算二進(jìn)制對(duì)象圖像。
在步驟S304，時(shí)間變化檢測(cè)器303執(zhí)行區(qū)域確定處理，然后處理結(jié)束。
下面將參照?qǐng)D42的流程圖對(duì)步驟S304的區(qū)域確定處理的細(xì)節(jié)進(jìn)行描述。在步驟S321，時(shí)間變化檢測(cè)器303的區(qū)域確定部分342確定存儲(chǔ)在幀存儲(chǔ)器341中的幀#n的感興趣像素是否為0。如果確定幀#n的感興趣像素為0，過(guò)程進(jìn)入步驟S322。在步驟S322，確定幀#n的感興趣像素屬于背景區(qū)域，然后處理結(jié)束。
如果在步驟S321確定幀#n的感興趣像素為1，過(guò)程進(jìn)入步驟S323。在步驟S323，時(shí)間變化檢測(cè)器303的區(qū)域確定部分342確定存儲(chǔ)在幀存儲(chǔ)器341中的幀#n的感興趣像素是否為1，并且?guī)?n-1的對(duì)應(yīng)像素是否為0。如果確定幀#n的感興趣像素為1，并且?guī)?n-1的對(duì)應(yīng)像素為0，過(guò)程進(jìn)入步驟S324。在步驟S324，確定幀#n的感興趣像素屬于覆蓋背景區(qū)域，然后處理結(jié)束。
如果在步驟S323確定幀#n的感興趣像素為0，或者幀#n-1的對(duì)應(yīng)像素為1，過(guò)程進(jìn)入步驟S325。在步驟S325，時(shí)間變化檢測(cè)器303的區(qū)域確定部分342確定存儲(chǔ)在幀存儲(chǔ)器341中的幀#n的感興趣像素是否為1，并且?guī)?n+1的對(duì)應(yīng)像素是否為0。如果確定幀#n的感興趣像素為1，并且?guī)?n+1的對(duì)應(yīng)像素為0，過(guò)程進(jìn)入步驟S326。在步驟S326，確定幀#n的感興趣像素屬于非覆蓋背景區(qū)域，然后處理結(jié)束。
如果在步驟S325確定幀#n的感興趣像素為0，或者幀#n+1的對(duì)應(yīng)像素為1，過(guò)程進(jìn)入步驟S327。在步驟S327，時(shí)間變化檢測(cè)器303的區(qū)域確定部分342確定幀#n的感興趣像素屬于前景區(qū)域，然后處理結(jié)束。
如上所述，區(qū)域指定單元103能夠根據(jù)輸入圖像與對(duì)應(yīng)背景圖像之間的相關(guān)值指定輸入圖像的每個(gè)像素屬于前景區(qū)域、背景區(qū)域、覆蓋背景區(qū)域或非覆蓋背景區(qū)域中的哪個(gè)區(qū)域，并且生成對(duì)應(yīng)于指定結(jié)果的區(qū)域信息。
圖43是區(qū)域指定單元103的另一結(jié)構(gòu)方框圖。區(qū)域指定單元103使用從運(yùn)動(dòng)檢測(cè)器102提供的運(yùn)動(dòng)向量及其位置信息。用相同的標(biāo)號(hào)表示與圖31所示相同的單元，并且因此省略其說(shuō)明。
魯棒處理部分361根據(jù)從二進(jìn)制對(duì)象圖像提取部分302提供的N幀二進(jìn)制對(duì)象圖像生成魯棒二進(jìn)制對(duì)象圖像，并且將魯棒二進(jìn)制對(duì)象圖像輸出到時(shí)間變化檢測(cè)器303。
圖44是魯棒處理部分361的結(jié)構(gòu)方框圖。運(yùn)動(dòng)補(bǔ)償器381根據(jù)從運(yùn)動(dòng)檢測(cè)器102提供的運(yùn)動(dòng)向量及其位置信息，補(bǔ)償N幀二進(jìn)制對(duì)象圖像的運(yùn)動(dòng)，并且將經(jīng)過(guò)運(yùn)動(dòng)補(bǔ)償?shù)亩M(jìn)制對(duì)象圖像提供給開(kāi)關(guān)382。
下面將參照?qǐng)D45和46對(duì)由運(yùn)動(dòng)補(bǔ)償器381執(zhí)行的運(yùn)動(dòng)補(bǔ)償進(jìn)行討論。現(xiàn)在假定，例如要對(duì)幀#n的區(qū)域進(jìn)行處理。當(dāng)輸入圖45所示的幀#n-1、幀#n和幀#n+1的二進(jìn)制對(duì)象圖像時(shí)，運(yùn)動(dòng)補(bǔ)償器381根據(jù)從運(yùn)動(dòng)檢測(cè)器102提供的運(yùn)動(dòng)向量，如圖46所示的例子所示，補(bǔ)償幀#n-1的二進(jìn)制對(duì)象圖像和幀#n+1的二進(jìn)制對(duì)象圖像的運(yùn)動(dòng)，并且將經(jīng)過(guò)運(yùn)動(dòng)補(bǔ)償?shù)亩M(jìn)制對(duì)象圖像提供給開(kāi)關(guān)382。
開(kāi)關(guān)382將經(jīng)過(guò)運(yùn)動(dòng)補(bǔ)償?shù)牡谝粠M(jìn)制對(duì)象圖像輸出到幀存儲(chǔ)器383-1，并且將經(jīng)過(guò)運(yùn)動(dòng)補(bǔ)償?shù)牡诙M(jìn)制對(duì)象圖像輸出到幀存儲(chǔ)器383-2。類似地，開(kāi)關(guān)382將經(jīng)過(guò)運(yùn)動(dòng)補(bǔ)償?shù)牡谌降?N-1)幀二進(jìn)制對(duì)象圖像輸出到幀存儲(chǔ)器383-3到383-(N-1)，并且將經(jīng)過(guò)運(yùn)動(dòng)補(bǔ)償?shù)牡贜幀二進(jìn)制對(duì)象圖像輸出到幀存儲(chǔ)器383-N。
幀存儲(chǔ)器383-1存儲(chǔ)經(jīng)過(guò)運(yùn)動(dòng)補(bǔ)償?shù)牡谝粠M(jìn)制對(duì)象圖像，并且將所存儲(chǔ)的二進(jìn)制對(duì)象圖像輸出到加權(quán)部分384-1。幀存儲(chǔ)器383-2存儲(chǔ)經(jīng)過(guò)運(yùn)動(dòng)補(bǔ)償?shù)牡诙M(jìn)制對(duì)象圖像，并且將所存儲(chǔ)的二進(jìn)制對(duì)象圖像輸出到加權(quán)部分384-2。
類似地，幀存儲(chǔ)器383-3到383-(N-1)存儲(chǔ)經(jīng)過(guò)運(yùn)動(dòng)補(bǔ)償?shù)牡谌降?N-1)幀二進(jìn)制對(duì)象圖像，并且將所存儲(chǔ)的二進(jìn)制對(duì)象圖像輸出到加權(quán)部分384-3到384-(N-1)。幀存儲(chǔ)器383-N存儲(chǔ)經(jīng)過(guò)運(yùn)動(dòng)補(bǔ)償?shù)牡贜幀二進(jìn)制對(duì)象圖像，并且將所存儲(chǔ)的二進(jìn)制對(duì)象圖像輸出到加權(quán)部分384-N。
加權(quán)部分384-1將從幀存儲(chǔ)器383-1提供的經(jīng)過(guò)運(yùn)動(dòng)補(bǔ)償?shù)牡谝粠M(jìn)制對(duì)象圖像與預(yù)定權(quán)值w1進(jìn)行相乘，然后將經(jīng)過(guò)加權(quán)的二進(jìn)制對(duì)象圖像提供給累加器385。加權(quán)部分384-2將從幀存儲(chǔ)器383-2提供的經(jīng)過(guò)運(yùn)動(dòng)補(bǔ)償?shù)牡诙M(jìn)制對(duì)象圖像與預(yù)定權(quán)值w2進(jìn)行相乘，然后將經(jīng)過(guò)加權(quán)的二進(jìn)制對(duì)象圖像提供給累加器385。
同樣地，加權(quán)部分384-3到384-(N-1)將從幀存儲(chǔ)器383-3到383-(N-1)提供的經(jīng)過(guò)運(yùn)動(dòng)補(bǔ)償?shù)牡谌降?N-1)幀二進(jìn)制對(duì)象圖像與預(yù)定權(quán)值w3到w(N-1)進(jìn)行相乘，然后將經(jīng)過(guò)加權(quán)的二進(jìn)制對(duì)象圖像提供給累加器385。加權(quán)部分384-N將從幀存儲(chǔ)器383-N提供的經(jīng)過(guò)運(yùn)動(dòng)補(bǔ)償?shù)牡贜幀二進(jìn)制對(duì)象圖像與預(yù)定權(quán)值wN進(jìn)行相乘，然后將經(jīng)過(guò)加權(quán)的二進(jìn)制對(duì)象圖像提供給累加器385。
累加器385累加第一到第N幀的與權(quán)值w1到wN進(jìn)行相乘的經(jīng)過(guò)運(yùn)動(dòng)補(bǔ)償?shù)亩M(jìn)制對(duì)象圖像的像素值，并且將累加出的像素值與預(yù)定閥值th0進(jìn)行比較，從而生成二進(jìn)制對(duì)象圖像。
如上所述，魯棒處理部分361從N個(gè)二進(jìn)制對(duì)象圖像生成魯棒二進(jìn)制對(duì)象圖像，并且將它提供給時(shí)間變化檢測(cè)器303。因此，即使輸入圖像包含噪聲，如圖43所示構(gòu)造的區(qū)域指定單元103也能夠比圖31所示構(gòu)造的區(qū)域指定單元103更精確地指定區(qū)域。
下面將參照?qǐng)D47的流程圖對(duì)由如圖43所示構(gòu)造的區(qū)域指定單元103執(zhí)行的區(qū)域指定處理進(jìn)行描述。步驟S341到步驟S343的處理類似于參照?qǐng)D41所述的步驟S301到步驟S303的處理，并且因此省略其說(shuō)明。
在步驟S344，魯棒處理部分361執(zhí)行魯棒處理。
在步驟S345，時(shí)間變化檢測(cè)器303執(zhí)行區(qū)域確定處理，然后處理結(jié)束。步驟S345的處理的細(xì)節(jié)類似于參照?qǐng)D42的流程圖所述的處理，并且因此省略其說(shuō)明。
下面將參照?qǐng)D48的流程圖對(duì)與圖47中步驟S344的處理對(duì)應(yīng)的魯棒處理的細(xì)節(jié)進(jìn)行描述。在步驟S361，運(yùn)動(dòng)補(bǔ)償器381根據(jù)從運(yùn)動(dòng)檢測(cè)器102提供的運(yùn)動(dòng)向量及其位置信息，執(zhí)行對(duì)輸入二進(jìn)制對(duì)象圖像的運(yùn)動(dòng)補(bǔ)償。在步驟S362，幀存儲(chǔ)器383-1到383-N之一存儲(chǔ)通過(guò)開(kāi)關(guān)382提供的對(duì)應(yīng)經(jīng)過(guò)運(yùn)動(dòng)補(bǔ)償?shù)亩M(jìn)制對(duì)象圖像。
在步驟S363，魯棒處理部分361確定是否存儲(chǔ)了N個(gè)二進(jìn)制對(duì)象圖像。如果確定沒(méi)有存儲(chǔ)N個(gè)二進(jìn)制對(duì)象圖像，過(guò)程返回到步驟S361，并且重復(fù)二進(jìn)制對(duì)象圖像運(yùn)動(dòng)補(bǔ)償處理和二進(jìn)制對(duì)象圖像存儲(chǔ)處理。
如果在步驟S363確定存儲(chǔ)了N個(gè)二進(jìn)制對(duì)象圖像，過(guò)程進(jìn)入步驟S364，其中，執(zhí)行加權(quán)。在步驟S364，加權(quán)部分384-1到384-N將N個(gè)二進(jìn)制對(duì)象圖像與對(duì)應(yīng)的權(quán)值w1到wN進(jìn)行相乘。
在步驟S365，累加器385累加N個(gè)經(jīng)過(guò)加權(quán)的二進(jìn)制對(duì)象圖像。
在步驟S366，累加器385通過(guò)例如將累加值與預(yù)定閥值th1進(jìn)行比較，從累加圖像生成二進(jìn)制對(duì)象圖像，然后處理結(jié)束。
如上所述，如圖43所示構(gòu)造的區(qū)域指定單元103能夠根據(jù)魯棒二進(jìn)制對(duì)象圖像生成區(qū)域信息。
從前面描述可以看到，區(qū)域指定單元103能夠生成表示包含在幀中的每個(gè)像素屬于移動(dòng)區(qū)域、靜止區(qū)域、非覆蓋背景區(qū)域或覆蓋背景區(qū)域中的哪一個(gè)區(qū)域的區(qū)域信息。
圖49是混合比率計(jì)算器104的結(jié)構(gòu)方框圖。估計(jì)混合比率處理器401通過(guò)根據(jù)輸入圖像計(jì)算覆蓋背景區(qū)域的模型，為每個(gè)像素計(jì)算估計(jì)混合比率，并且將算出的估計(jì)混合比率提供給混合比率確定部分403。
估計(jì)混合比率處理器402通過(guò)根據(jù)輸入圖像計(jì)算非覆蓋背景區(qū)域的模型，為每個(gè)像素計(jì)算估計(jì)混合比率，并且將算出的估計(jì)混合比率提供給混合比率確定部分403。
因?yàn)榭梢约俣▽?duì)應(yīng)于前景的對(duì)象在快門(mén)時(shí)間內(nèi)勻速移動(dòng)，所以屬于混合區(qū)域的像素的混合比率α顯示出下面特性。也就是，混合比率α根據(jù)像素的位置變化而線性變化。如果像素的位置變化是一維的，可以線性地表示混合比率α的變化。如果像素的位置變化是二維的，可以在平面上表示混合比率α的變化。
由于一幀的周期很短，因此可以假定對(duì)應(yīng)于前景的對(duì)象是勻速移動(dòng)的剛體。
混合比率α的斜率與前景在快門(mén)時(shí)間內(nèi)的移動(dòng)量v成反比。
理想混合比率α的例子如圖50所示?；旌蠀^(qū)域中理想混合比率α的斜率1可以用移動(dòng)量v的倒數(shù)(reciprocal)來(lái)表示。
如圖50所示，理想混合比率α的值在背景區(qū)域中為1，在前景區(qū)域中為0，并且在混合區(qū)域中大于0且小于1。
在圖51所示的例子中，幀#n中左起第七像素的像素值C06可以通過(guò)使用幀#n-1中左起第七像素的像素值P06，用方程(8)來(lái)表示。C06=B06/v+B06/v+F01/v+F02/v]]>=P06/v+P06/v+F01/v+F02/v]]>=2/v·P06+Σi=12Fi/v]]>(8)在方程(8)中，像素值C06用混合區(qū)域像素的像素值M來(lái)表示，而像素值P06用背景區(qū)域像素的像素值B來(lái)表示。也就是，混合區(qū)域像素的像素值M和背景區(qū)域像素的像素值B可以分別用方程(9)和(10)來(lái)表示。
M＝C06 (9)B＝P06 (10)在方程(8)中，2/v對(duì)應(yīng)于混合比率α。由于移動(dòng)量v為4，因此幀#n中左起第七像素的混合比率α為0.5。
如上所述，把感興趣的幀n像素值C視為混合區(qū)域的像素值，而把幀#n之前的幀#n-1像素值P視為背景區(qū)域的像素值。
因此，表示混合比率α的方程(3)可以用方程(11)來(lái)表示C＝α·P+f (11)其中，方程(11)中的f表示包含在感興趣像素中的前景成分之和∑iFi/v。包含在方程(11)中的變量是兩個(gè)因子，即混合比率α和前景成分之和f。
類似地，通過(guò)在時(shí)間方向上擴(kuò)展非覆蓋背景區(qū)域中移動(dòng)量為4并且虛擬劃分部分的數(shù)目為4的像素值而獲得的模型如圖52所示。
如同覆蓋背景區(qū)域的表示，在非覆蓋背景區(qū)域中，把感興趣的幀n像素值C視為混合區(qū)域的像素，而把幀#n之后的幀n+1像素值N視為背景區(qū)域。因此，表示混合比率α的方程(3)可以用方程(12)表示C＝α·N+f(12)本實(shí)施例是假定背景對(duì)象是靜止的而進(jìn)行描述的。然而，通過(guò)使用與背景移動(dòng)量v對(duì)應(yīng)位置像素的像素值，方程(8)到(12)可以應(yīng)用于背景圖像為移動(dòng)的情況?，F(xiàn)在假定，例如，在圖51中，對(duì)應(yīng)于背景的對(duì)象的移動(dòng)量v為2，并且虛擬劃分部分的數(shù)目為2。在這種情況下，當(dāng)對(duì)應(yīng)于背景的對(duì)象在圖49中向右移動(dòng)時(shí)，方程(10)中背景區(qū)域像素的像素值B用像素值P04表示。
由于方程(11)和(12)都包含兩個(gè)變量，因此，不修改方程就不能確定混合比率α。一般，圖像具有強(qiáng)空間相關(guān)性，并且因此位置相近像素的像素值幾乎相同。
由于前景成分具有強(qiáng)空間相關(guān)性，因此修改方程使得從前一幀或后一幀中推導(dǎo)出前景成分之和f，從而確定混合比率α。
圖53中幀#n左起第七像素的像素值Mc可以用方程(13)表示Mc=2v·B06+Σi=1112Fi/v---(13)]]>方程(13)右邊的第一項(xiàng)2/v對(duì)應(yīng)于混合比率α。方程(13)右邊的第二項(xiàng)通過(guò)使用后一幀#n+1的像素值，可以用方程(14)表示。Σi=1112Fi/v=β·Σi=710Fi/v---(14)]]>現(xiàn)在假定，通過(guò)使用前景成分的空間相關(guān)性，方程(15)成立。
F＝F05＝F06＝F07＝F08＝F09＝F10＝F11＝F12(15)方程(14)利用方程(15)可以修改為方程(16)。Σi=1112Fi/v=2v·F---(16)]]>=β·4v·F]]>因而，β可以用方程(17)表示。
β＝2/4 (17)
如果假定如方程(15)所示，混合區(qū)域中的前景成分相等，那么方程(18)由于內(nèi)部比率對(duì)混合區(qū)域中的所有像素均成立。
β＝1-α (18)如果方程(18)成立，則方程(11)可以演變?yōu)榉匠?19)。C=α·P+f]]>=α·P+(1-α)·Σi=γγ+v-1Fi/v]]>=α·P+(1-α)·N---(19)]]>類似地，如果方程(18)成立，則方程(12)可以演變?yōu)榉匠?20)。C=α·N+f]]>=α·N+(1-α)·Σi=γγ+v-1Fi/v]]>=α·N+(1-α)·P---(20)]]>在方程(19)和(20)中，由于C、N和P是已知像素值，因此，包含在方程(19)和(20)中的變量只是混合比率α。方程(19)和(20)中C、N和P之間的關(guān)系如圖54所示。C是為其計(jì)算混合比率α的幀#n感興趣像素的像素值。N是位于空間上對(duì)應(yīng)于感興趣像素的位置的幀#n+1像素的像素值。P是位于空間上對(duì)應(yīng)于感興趣像素的位置的幀#n-1像素的像素值。
因此，由于在方程(19)和(20)中都包含一個(gè)變量，因此可以通過(guò)利用三個(gè)幀中的像素，計(jì)算混合比率α。用于通過(guò)求解方程(19)和(20)來(lái)求解正確混合比率α的條件如下所述。在混合區(qū)域內(nèi)具有相同前景成分的圖像對(duì)象中，即，在前景對(duì)象靜止時(shí)拍攝的前景圖像對(duì)象中，位于對(duì)應(yīng)于前景對(duì)象移動(dòng)方向的圖像對(duì)象邊界的連續(xù)像素的像素值，像素?cái)?shù)目為移動(dòng)量v的兩倍，必須不變。
如上所述，通過(guò)方程(21)計(jì)算屬于覆蓋背景區(qū)域的像素的混合比率α，并且通過(guò)方程(22)計(jì)算屬于非覆蓋背景區(qū)域的像素的混合比率α。
α＝(C-N)/(P-N)(21)α＝(C-P)/(N-P)(22)
圖55是估計(jì)混合比率處理器401的結(jié)構(gòu)方框圖。幀存儲(chǔ)器421以幀為單位存儲(chǔ)輸入圖像，并且將作為輸入圖像輸入的幀的后一幀提供給幀存儲(chǔ)器422和混合比率計(jì)算器423。
幀存儲(chǔ)器422以幀為單位存儲(chǔ)輸入圖像，并且將從幀存儲(chǔ)器421提供的幀的后一幀提供給混合比率計(jì)算器423。
因此，當(dāng)幀#n+1作為輸入圖像輸入到混合比率計(jì)算器423時(shí)，幀存儲(chǔ)器421將幀#n提供給混合比率計(jì)算器423，并且?guī)鎯?chǔ)器422將幀#n-1提供給混合比率計(jì)算器423。
混合比率計(jì)算器423根據(jù)幀#n感興趣像素的像素值C、所在位置對(duì)應(yīng)于感興趣像素位置的幀#n+1像素的像素值N以及所在位置對(duì)應(yīng)于感興趣像素位置的幀#n-1像素的像素值P，通過(guò)求解方程(21)計(jì)算感興趣的估計(jì)混合比率，并且輸出算出的估計(jì)混合比率。例如，當(dāng)背景靜止時(shí)，混合比率計(jì)算器423根據(jù)幀#n感興趣像素的像素值C、所在位置與感興趣像素位置相同的幀#n+1像素的像素值N以及所在位置與感興趣像素位置相同的幀#n-1像素的像素值P，計(jì)算感興趣像素的估計(jì)混合比率，并且輸出算出的估計(jì)混合比率。
通過(guò)這種方式，估計(jì)混合比率處理器401根據(jù)輸入圖像計(jì)算估計(jì)混合比率，并且將它提供給混合比率確定部分403。
估計(jì)混合比率計(jì)算器401通過(guò)求解方程(21)，計(jì)算感興趣像素的估計(jì)混合比率。除了估計(jì)混合比率計(jì)算器402通過(guò)求解方程(22)，計(jì)算感興趣像素的不同估計(jì)混合比率外，估計(jì)混合比率計(jì)算器402的操作類似于估計(jì)混合比率計(jì)算器401。因此，省略對(duì)估計(jì)混合比率計(jì)算器402的說(shuō)明。
圖56示出通過(guò)估計(jì)混合比率處理器401算出的估計(jì)混合比率的例子。圖56所示的估計(jì)混合比率是當(dāng)勻速移動(dòng)的前景對(duì)象的移動(dòng)量v為11時(shí)用一條線表示的結(jié)果。
可以看到，估計(jì)混合比率在混合區(qū)域中的變化幾乎是線性的，如圖50所示。
回到圖49，混合比率確定部分403根據(jù)從區(qū)域指定單元103提供并且表示要為其計(jì)算混合比率α的像素屬于前景區(qū)域、背景區(qū)域、覆蓋背景區(qū)域或非覆蓋背景區(qū)域中的哪個(gè)區(qū)域的區(qū)域信息，設(shè)置混合比率α。當(dāng)對(duì)應(yīng)像素屬于前景區(qū)域時(shí)，混合比率確定部分403將混合比率α設(shè)為0，并且當(dāng)對(duì)應(yīng)像素屬于背景區(qū)域時(shí)，將混合比率α設(shè)為1。當(dāng)對(duì)應(yīng)像素屬于覆蓋背景區(qū)域時(shí)，混合比率確定部分403將混合比率α設(shè)為從估計(jì)混合比率處理器401提供的估計(jì)混合比率。當(dāng)對(duì)應(yīng)像素屬于非覆蓋背景區(qū)域時(shí)，混合比率確定部分403將混合比率α設(shè)為從估計(jì)混合比率處理器402提供的估計(jì)混合比率?；旌媳嚷蚀_定部分403輸出根據(jù)區(qū)域信息設(shè)定的混合比率α。
圖57是混合比率計(jì)算器104的另一結(jié)構(gòu)方框圖。選擇器441根據(jù)從區(qū)域指定單元103提供的區(qū)域信息，將屬于覆蓋背景區(qū)域的像素以及前一幀和后一幀的對(duì)應(yīng)像素提供給估計(jì)混合比率處理器442。選擇器441根據(jù)從區(qū)域指定單元103提供的區(qū)域信息，將屬于非覆蓋背景區(qū)域的像素以及前一幀和后一幀的對(duì)應(yīng)像素提供給估計(jì)混合比率處理器443。
估計(jì)混合比率處理器442根據(jù)從選擇器441輸入的像素值，通過(guò)方程(21)所表示的計(jì)算操作，計(jì)算屬于覆蓋背景區(qū)域的感興趣像素的估計(jì)混合比率，并且將算出的估計(jì)混合比率提供給選擇器444。
估計(jì)混合比率處理器443根據(jù)從選擇器441輸入的像素值，通過(guò)方程(22)所表示的計(jì)算操作，計(jì)算屬于非覆蓋背景區(qū)域的感興趣像素的估計(jì)混合比率，并且將算出的估計(jì)混合比率提供給選擇器444。
根據(jù)從區(qū)域指定單元103提供的區(qū)域信息，當(dāng)感興趣像素屬于前景區(qū)域時(shí)，選擇器444選擇估計(jì)混合比率0，并且將它設(shè)為混合比率α，并且當(dāng)感興趣像素屬于背景區(qū)域時(shí)，選擇估計(jì)混合比率1，并且將它設(shè)為混合比率α。當(dāng)感興趣像素屬于覆蓋背景區(qū)域時(shí)，選擇器444選擇從估計(jì)混合比率處理器442提供的估計(jì)混合比率，并且將它設(shè)為混合比率α。當(dāng)感興趣像素屬于非覆蓋背景區(qū)域時(shí)，選擇器444選擇從估計(jì)混合比率處理器443提供的估計(jì)混合比率，并且將它設(shè)為混合比率α。選擇器444然后輸出根據(jù)區(qū)域信息所選擇并設(shè)置的混合比率α。
如上所述，如圖57所示構(gòu)造的混合比率計(jì)算器104能夠?yàn)榘趫D像中的每個(gè)像素計(jì)算混合比率α，并且輸出算出的混合比率α。
下面將參照?qǐng)D58的流程圖對(duì)由如圖49所示構(gòu)造的混合比率計(jì)算器104執(zhí)行的混合比率α計(jì)算處理進(jìn)行討論。在步驟S401，混合比率計(jì)算器104獲取從區(qū)域指定單元103提供的區(qū)域信息。在步驟S402，估計(jì)混合比率處理器401通過(guò)使用對(duì)應(yīng)于覆蓋背景區(qū)域的模型，執(zhí)行混合比率估計(jì)處理，并且將估計(jì)混合比率提供給混合比率確定部分403。下面將參照?qǐng)D59的流程圖對(duì)混合比率估計(jì)處理的細(xì)節(jié)進(jìn)行討論。
在步驟S403，估計(jì)混合比率處理器402通過(guò)使用對(duì)應(yīng)于非覆蓋背景區(qū)域的模型，執(zhí)行混合比率估計(jì)處理，并且將估計(jì)混合比率提供給混合比率確定部分403。
在步驟S404，混合比率計(jì)算器104確定是否估計(jì)完畢整個(gè)幀的混合比率。如果確定尚未估計(jì)整個(gè)幀的混合比率，過(guò)程返回到步驟S402，并且為下一像素執(zhí)行混合比率估計(jì)處理。
如果在步驟S404確定估計(jì)完畢整個(gè)幀的混合比率，過(guò)程進(jìn)入步驟S405。在步驟S405，混合比率確定部分403根據(jù)從區(qū)域指定單元103提供并且表示要為其計(jì)算混合比率α的像素屬于前景區(qū)域、背景區(qū)域、覆蓋背景區(qū)域或非覆蓋背景區(qū)域中的哪個(gè)區(qū)域的區(qū)域信息，設(shè)置混合比率。當(dāng)對(duì)應(yīng)像素屬于前景區(qū)域時(shí)，混合比率確定部分403將混合比率α設(shè)為0，并且當(dāng)對(duì)應(yīng)像素屬于背景區(qū)域時(shí)，將混合比率α設(shè)為1。當(dāng)對(duì)應(yīng)像素屬于覆蓋背景區(qū)域時(shí)，混合比率確定部分403將混合比率α設(shè)為從估計(jì)混合比率處理器401提供的估計(jì)混合比率。當(dāng)對(duì)應(yīng)像素屬于非覆蓋背景區(qū)域時(shí)，混合比率確定部分403將混合比率α設(shè)為從估計(jì)混合比率處理器402提供的估計(jì)混合比率。然后處理結(jié)束。
如上所述，混合比率計(jì)算器104能夠根據(jù)從區(qū)域指定單元103提供的區(qū)域信息以及輸入圖像，計(jì)算表示對(duì)應(yīng)于每個(gè)像素的特征量的混合比率α。
由如圖57所示構(gòu)造的混合比率計(jì)算器104執(zhí)行的混合比率α計(jì)算處理與參照?qǐng)D58所述的類似，并且因此省略其說(shuō)明。
現(xiàn)在將參照?qǐng)D59的流程圖對(duì)圖58的步驟S402中通過(guò)使用對(duì)應(yīng)于覆蓋背景區(qū)域的模型的混合比率估計(jì)處理進(jìn)行描述。
在步驟S421，混合比率計(jì)算器423從幀存儲(chǔ)器421獲取幀#n感興趣像素的像素值C。
在步驟S422，混合比率計(jì)算器423從幀存儲(chǔ)器422獲取與包含在輸入圖像中的感興趣像素對(duì)應(yīng)的幀#n-1像素的像素值P。
在步驟S423，混合比率計(jì)算器423獲取與包含在輸入圖像中的感興趣像素對(duì)應(yīng)的幀#n+1像素的像素值N。
在步驟S424，混合比率計(jì)算器423根據(jù)幀#n感興趣像素的像素值C、幀#n-1像素的像素值P以及幀#n+1像素的像素值N，計(jì)算估計(jì)混合比率。
在步驟S425，混合比率計(jì)算器423確定是否對(duì)整個(gè)幀完成估計(jì)混合比率計(jì)算處理。如果確定尚未對(duì)整個(gè)幀完成估計(jì)混合比率計(jì)算處理，過(guò)程返回到步驟S421，為下一像素重復(fù)估計(jì)混合比率計(jì)算處理。
如果在步驟S425確定對(duì)整個(gè)幀完成估計(jì)混合比率計(jì)算處理，則處理結(jié)束。
如上所述，估計(jì)混合比率處理器401能夠根據(jù)輸入圖像計(jì)算估計(jì)混合比率。
圖58的步驟S403中通過(guò)使用對(duì)應(yīng)于非覆蓋背景區(qū)域的模型而執(zhí)行的混合比率估計(jì)處理類似于通過(guò)使用對(duì)應(yīng)于覆蓋背景區(qū)域的模型而執(zhí)行的如圖59的流程圖所示的處理，并且因此省略其說(shuō)明。
圖57所示的估計(jì)混合比率處理器442和估計(jì)混合比率處理器443通過(guò)執(zhí)行類似于圖59的流程圖的處理，計(jì)算估計(jì)混合比率，并且因此省略其說(shuō)明。
本實(shí)施例是假定對(duì)應(yīng)于背景的對(duì)象是靜止的而進(jìn)行描述的。然而，即使對(duì)應(yīng)于背景區(qū)域的圖像包含運(yùn)動(dòng)，也可以應(yīng)用上述用于確定混合比率α的處理。例如，如果對(duì)應(yīng)于背景區(qū)域的圖像一致移動(dòng)，估計(jì)混合比率處理器401可以根據(jù)背景運(yùn)動(dòng)偏移整個(gè)圖像，從而以類似于對(duì)應(yīng)于背景的對(duì)象為靜止的情況的方式執(zhí)行處理。如果對(duì)應(yīng)于背景區(qū)域的圖像包含局部不同的運(yùn)動(dòng)時(shí)，估計(jì)混合比率處理器401選擇對(duì)應(yīng)于運(yùn)動(dòng)的像素作為屬于混合區(qū)域的對(duì)應(yīng)像素，并且執(zhí)行上述處理。
混合比率計(jì)算器104可以僅通過(guò)使用對(duì)應(yīng)于覆蓋背景區(qū)域的模型，為所有像素執(zhí)行混合比率估計(jì)處理，從而輸出算出的估計(jì)混合比率作為混合比率α。在這種情況下，混合比率α對(duì)于屬于覆蓋背景區(qū)域的像素表示背景成分比率，并且對(duì)于屬于非覆蓋背景區(qū)域的像素表示前景成分比率。對(duì)于屬于非覆蓋背景區(qū)域的像素，計(jì)算混合比率α與1的差值絕對(duì)值，并且將算出的絕對(duì)值設(shè)為混合比率α。然后，信號(hào)處理器12能夠?yàn)閷儆诜歉采w背景區(qū)域的像素確定表示背景成分比率的混合比率α。
類似地，混合比率計(jì)算器104可以僅通過(guò)使用對(duì)應(yīng)于非覆蓋背景區(qū)域的模型，為所有像素執(zhí)行混合比率估計(jì)處理，從而輸出算出的估計(jì)混合比率作為混合比率α。
下面討論由混合比率計(jì)算器104執(zhí)行的另一處理。
由于對(duì)應(yīng)于前景的對(duì)象勻速移動(dòng)，混合比率α根據(jù)像素位置變化而線性變化。通過(guò)利用該特性，在空間方向上近似混合比率α和前景成分之和f的方程可以成立。通過(guò)利用多組屬于混合區(qū)域的像素的像素值和屬于背景區(qū)域的像素的像素值，可以通過(guò)求解近似混合比率α和前景成分之和f的方程，計(jì)算混合比率α。
當(dāng)混合比率α變化近似為一條直線時(shí)，可以用方程(23)表示混合比率α。
α＝il+p(23)在方程(23)中，i表示感興趣像素的位置設(shè)為0時(shí)的空間索引，l表示混合比率α直線的斜率，并且p表示混合比率α直線的截距，并且還表示感興趣像素的混合比率α。在方程(23)中，索引i是已知的，而斜率l和截距p是未知的。
索引i、斜率l和截距p之間的關(guān)系如圖60所示。
通過(guò)將混合比率α近似為方程(23)，可以用兩個(gè)變量表示多個(gè)像素的多個(gè)不同混合比率α。在圖60所示的例子中，用兩個(gè)變量，即斜率l和截距p表示五個(gè)像素的五個(gè)混合比率。
當(dāng)在圖61所示的平面中近似混合比率α?xí)r，通過(guò)考慮對(duì)應(yīng)于兩個(gè)方向的運(yùn)動(dòng)v，即圖像的水平方向和垂直方向，將方程(23)推廣到平面中，并且可以用方程(24)表示混合比率α。
α＝j(luò)m+kq+p (24)在方程(24)中，當(dāng)感興趣像素的位置為0時(shí)，j是水平方向的索引，并且k是垂直方向的索引。在方程(24)中，m表示混合比率α在平面中的水平斜率，并且q表示混合比率α在平面中的垂直斜率。在方程(24)中，p表示混合比率α在平面中的截距。
例如，在圖51所示的幀#n中，方程(25)到(27)分別對(duì)于C05到C07成立。
C05＝α05·B05/v+f05 (25)C06＝α06·B06/v+f06 (26)C07＝α07·B07/v+f07 (27)假定位置相近的前景成分相等，即F01到F03相等，通過(guò)用fc替代F01到F03，方程(28)成立。
f(x)＝(1-α(x))·Fc (28)在方程(28)中，x表示空間方向上的位置。
當(dāng)用方程(24)替代α(x)時(shí)，方程(28)可以用方程(29)表示。
f(x)＝(1-(jm+kq+p))·Fc (29)＝j(luò)·(-m·Fc)+k·(-q·Fc)+((1-p)·Fc)＝j(luò)s+kt+u在方程(29)中，如方程(30)到(32)所示，分別對(duì)(-m·Fc)、(-q·Fc)和(1-p)·Fc進(jìn)行替代。
s＝-m·Fc (30)t＝-q·Fc (31)u＝(1-p)·Fc (32)在方程(29)中，當(dāng)感興趣像素的位置為0時(shí)，j是水平方向的索引，并且k是垂直方向的索引。
如上所述，由于可以假定對(duì)應(yīng)于前景的對(duì)象在快門(mén)周期內(nèi)勻速移動(dòng)，并且位置相近的前景成分相同，因此用方程(29)近似前景成分之和。
當(dāng)通過(guò)直線近似混合比率α?xí)r，可以用方程(33)表示前景成分之和。
f(x)＝is+u(33)通過(guò)使用方程(24)和(29)替代混合比率α和前景成分之和，可以用方程(34)表示像素值M。
M＝(jm+kq+p)·B+js+kt+u (34)＝j(luò)B·m+kB·q+B·p+j·s+k·t+u在方程(34)中，未知變量為六個(gè)因子，如混合比率α在平面中的水平斜率m、混合比率α在平面中的垂直斜率q和混合比率α在平面中的截距p、s、t和u。
根據(jù)鄰近于感興趣像素的像素在方程(34)中設(shè)置像素值M和像素值B，然后通過(guò)最小二乘法(least square)求解其中設(shè)有像素值M和像素值B的多個(gè)方程，從而計(jì)算混合比率α。
現(xiàn)在假定例如感興趣像素的水平索引j設(shè)為0，并且感興趣像素的垂直索引k設(shè)為0。在這種情況下，當(dāng)對(duì)于位于感興趣像素附近的3×3像素在方程(34)所示的普通方程中設(shè)置像素值M或像素值B時(shí)，獲得方程(35)到(43)。
M-1，-1＝(-1)·B-1，-1·m+(-1)·B-1，-1·q+B-1，-1·p+(-1)·s+(-1)·t+u(35)M0，-1＝(0)·B0，-1·m+(-1)·B0，-1·q+B0，-1·p+(0)·s+(-1)·t+u (36)M+1，-1＝(+1)·B+1，-1·m+(-1)·B+1，-1·q+B+1，-1·p+(+1)·s+(-1)·t+u (37)M-1，0＝(-1)·B-1，0·m+(0)·B-1，0·q+B-1，0·p+(-1)·s+(0)·t+u (38)M0，0＝(0)·B0，0·m+(0)·B0，0·q+B0，0·p+(0)·s+(0)·t+u(39)M+1，0＝(+1)·B+1，0·m+(0)·B+1，0·q+B+1，0·p+(+1)·s+(0)·t+u (40)M-1，+1＝(-1)·B-1，+1·m+(+1)·B-1，+1·q+B-1，+1·p+(-1)·s+(+1)·t+u (41)M0，+1＝(0)·B0，+1·m+(+1)·B0，+1·q+B0，+1·p+(0)·s+(+1)·t+u (42)M+1，+1＝(+1)·B+1，+1·m+(+1)·B+1，+1·q+B+1，+1·p+(+1)·s+(+1)·t+u (43)由于感興趣像素的水平索引j為0，并且感興趣像素的垂直索引k為0，因此感興趣像素的混合比率α等于在方程(24)中j為0且k為0時(shí)的值，也就是，混合比率α等于方程(24)的截距p。
因此，根據(jù)這九個(gè)方程，即方程(35)到(43)，通過(guò)最小二乘法計(jì)算水平斜率m、垂直斜率q和截距p、s、t和u，并且輸出截距p作為混合比率α。
用于通過(guò)應(yīng)用最小二乘法計(jì)算混合比率α的特定過(guò)程如下所述。
當(dāng)索引i和索引k用一個(gè)索引x來(lái)表示時(shí)，索引i、索引k和索引x之間的關(guān)系可以用方程(44)進(jìn)行表示。
x＝(j+1)·3+(k+1) (44)現(xiàn)在假定分別用w0、w1、w2、w3、w4和w5表示水平斜率m、垂直斜率q和截距p、s、t和u，并且jB、kB、B、j、k和l分別由a0、a1、a2、a3、a4和a5表示?？紤]到誤差ex，方程(35)到(43)可以修改為方程(45)。Mx=Σy=05ay·wy+ex---(45)]]>在方程(45)中，x是0到8之間的任一整數(shù)。
可以從方程(45)得到方程(46)。ex=Mx-Σy=05ay·wy---(46)]]>由于應(yīng)用最小二乘法，誤差的平方和E如下面的方程(47)所示進(jìn)行定義。E=Σx=08ex2---(47)]]>為使誤差最小，變量Wv關(guān)于誤差平方和E的偏導(dǎo)值(partialdifferentia lvalue)應(yīng)為0。v是0到5之間的任一整數(shù)。因此，確定wy以便滿足方程(48)。∂E∂Wv=2·Σx=08ex·∂ex∂Wv]]>=2·Σx=08ex·av---(48)]]>通過(guò)將方程(46)代入方程(48)，獲得方程(49)。Σx=08(av·Σy=08ay·Wy)=Σx=08av·Mx---(49)]]>例如，對(duì)由通過(guò)將方程(49)的v替代為0到5之間的一個(gè)整數(shù)而獲得的六個(gè)方程組成的普通方程應(yīng)用消元(sweep-out)法(Gauss-Jordan消元)，從而獲得wy。如上所述，w0是水平斜率m，w1是垂直斜率q，w2是截距p，w3是s，w4是t，并且w5是u。
如上所述，通過(guò)對(duì)其中設(shè)置像素值M和像素值B的方程應(yīng)用最小二乘法，可以確定水平斜率m、垂直斜率q以及截距p、s、t和u。
當(dāng)索引i和k為0時(shí)，截距p為混合比率α，也就是，截距p位于中心位置。因此，輸出截距p。
描述是通過(guò)假定包含在混合區(qū)域中的像素的像素值為M并且包含在背景區(qū)域中的像素的像素值為B參照方程(35)到(43)而給出的。在這種情況下，為感興趣像素包含在覆蓋背景區(qū)域中或者感興趣像素包含在非覆蓋背景區(qū)域中的每種情況設(shè)置普通方程是必要的。
例如，如果確定圖51所示的包含在幀#n的覆蓋背景區(qū)域中的像素的混合比率α，在普通方程中設(shè)置幀#n像素C04到C08和幀#n-1像素的像素值P04到P08。
如果確定圖52所示的包含在幀#n的非覆蓋背景區(qū)域中的像素的混合比率α，在普通方程中設(shè)置幀#n像素C28到C32和幀#n+1像素的像素值N28到N32。
而且，如果例如計(jì)算圖62所示的包含在覆蓋背景區(qū)域中的像素的混合比率α，設(shè)置下面方程(50)到(58)。為其計(jì)算混合比率α的像素的像素值為Mc5。
Mc1＝(-1)·Bc1·m+(-1)·Bc1·q+Bc1·p+(-1)·s+(-1)·t+u (50)Mc2＝(0)·Bc2·m+(-1)·Bc2·q+Bc2·p+(0)·s+(-1)·t+u(51)Mc3＝(+1)·Bc3·m+(-1)·Bc3·q+Bc3·p+(+1)·s+(-1)·t+u (52)Mc4＝(-1)·Bc4·m+(0)·Bc4·q+Bc4·p+(-1)·s+(0)·t+u(53)Mc5＝(0)·Bc5·m+(0)·Bc5·q+Bc5·p+(0)·s+(0)·t+u (54)Mc6＝(+1)·Bc6·m+(0)·Bc6·q+Bc6·p+(+1)·s+(0)·t+u(55)Mc7＝(-1)·Bc7·m+(+1)·Bc7·q+Bc7·p+(-1)·s+(+1)·t+u (56)Mc8＝(0)·Bc8·m+(+1)·Bc8·q+Bc8·p+(0)·s+(+1)·t+u(57)Mc9＝(+1)·Bc9·m+(+1)·Bc9·q+Bc9·p+(+1)·s+(+1)·t+u (58)當(dāng)計(jì)算幀#n中包含在覆蓋背景區(qū)域中的像素的混合比率α?xí)r，使用分別對(duì)應(yīng)于幀#n像素的方程(50)到(58)中幀#n-1背景區(qū)域像素的像素值Bc1到Bc9。
如果例如計(jì)算圖62所示的包含在非覆蓋背景區(qū)域中的像素的混合比率α，設(shè)置下面方程(59)到(67)。為其計(jì)算混合比率c的像素的像素值為Mu5。
Mu1＝(-1)·Bu1·m+(-1)·Bu1·q+Bu1·p+(-1)·s+(-1)·t+u (59)Mu2＝(0)·Bu2·m+(-1)·Bu2·q+Bu2·p+(0)·s+(-1)·t+u(60)Mu3＝(+1)·Bu3·m+(-1)·Bu3·q+Bu3·p+(+1)·s+(-1)·t+u (61)
Mu4＝(-1)·Bu4·m+(0)·Bu4·q+Bu4·p+(-1)·s+(0)·t+u (62)Mu5＝(0)·Bu5·m+(0)·Bu5·q+Bu5·p+(0)·s+(0)·t+u (63)Mu6＝(+1)·Bu6·m+(0)·Bu6·q+Bu6·p+(+1)·s+(0)·t+u (64)Mu7＝(-1)·Bu7·m+(+1)·Bu7·q+Bu7·p+(-1)·s+(+1)·t+u (65)Mu8＝(0)·Bu8·m+(+1)·Bu8·q+Bu8·p+(0)·s+(+1)·t+u (66)Mu9＝(+1)·Bu9·m+(+1)·Bu9·q+Bu9·p+(+1)·s+(+1)·t+u (67)當(dāng)計(jì)算幀#n中包含在非覆蓋背景區(qū)域中的像素的混合比率α?xí)r，使用分別對(duì)應(yīng)于幀#n像素的方程(59)到(67)中幀#n+1背景區(qū)域像素的像素值Bu1到Bu9。
圖63是估計(jì)混合比率處理器401的結(jié)構(gòu)方框圖。輸入到估計(jì)混合比率處理器401的圖像提供給延時(shí)部分501和加法器502。
延時(shí)電路501對(duì)輸入圖像延時(shí)一幀，并且將圖像提供給加法器502。當(dāng)幀#n作為輸入圖像提供給加法器502時(shí)，延時(shí)電路501將幀#n-1提供給加法器502。
加法器502在普通方程中設(shè)置與為其計(jì)算混合比率α的像素相鄰的像素的像素值，以及幀#n-1的像素值。例如，加法器502分別根據(jù)方程(50)到(58)設(shè)置普通方程中的像素值Mc1到Mc9和像素值Bc1到Bc9。加法器502將其中設(shè)置這些像素值的普通方程提供給計(jì)算器503。
計(jì)算器503通過(guò)采用例如消元法求解從加法器502提供的普通方程，確定估計(jì)混合比率，并且輸出所確定的估計(jì)混合比率。
通過(guò)這種方式，估計(jì)混合比率處理器401能夠根據(jù)輸入圖像計(jì)算估計(jì)混合比率，并且將它提供給混合比率確定部分403。
估計(jì)混合比率處理器402類似于估計(jì)混合比率處理器401進(jìn)行構(gòu)造，并且因此省略其說(shuō)明。
圖64示出由估計(jì)混合比率處理器401計(jì)算的估計(jì)混合比率的例子。圖64所示的估計(jì)混合比率是當(dāng)對(duì)應(yīng)于勻速移動(dòng)對(duì)象的前景的移動(dòng)v為11時(shí)用一條線表示并且通過(guò)以7×7像素塊為單位生成方程而執(zhí)行計(jì)算所獲得的結(jié)果。
估計(jì)混合比率在混合區(qū)域中的變化幾乎是線性的，如圖50所示。
混合比率確定部分403根據(jù)從區(qū)域指定單元103提供并且表示要為其計(jì)算混合比率的像素屬于前景區(qū)域、背景區(qū)域、覆蓋背景區(qū)域或非覆蓋背景區(qū)域中的哪個(gè)區(qū)域的區(qū)域信息，設(shè)置混合比率。當(dāng)對(duì)應(yīng)像素屬于前景區(qū)域時(shí)，混合比率確定部分403將混合比率設(shè)為0，并且當(dāng)對(duì)應(yīng)像素屬于背景區(qū)域時(shí)，將混合比率設(shè)為1。當(dāng)對(duì)應(yīng)像素屬于覆蓋背景區(qū)域時(shí)，混合比率確定部分403將混合比率設(shè)為從估計(jì)混合比率處理器401提供的估計(jì)混合比率。當(dāng)對(duì)應(yīng)像素屬于非覆蓋背景區(qū)域時(shí)，混合比率確定部分403將混合比率設(shè)為從估計(jì)混合比率處理器402提供的估計(jì)混合比率?；旌媳嚷蚀_定部分403輸出根據(jù)區(qū)域信息設(shè)定的混合比率。
下面將參照?qǐng)D65的流程圖對(duì)估計(jì)混合比率處理器401如圖63所示進(jìn)行構(gòu)造時(shí)由混合比率計(jì)算器102執(zhí)行的混合比率計(jì)算處理進(jìn)行討論。在步驟S501，混合比率計(jì)算器102獲取從區(qū)域指定單元101提供的區(qū)域信息。在步驟S502，估計(jì)混合比率處理器401通過(guò)使用對(duì)應(yīng)于覆蓋背景區(qū)域的模型，執(zhí)行混合比率估計(jì)處理，并且將估計(jì)混合比率提供給混合比率確定部分403。下面將參照?qǐng)D66的流程圖對(duì)混合比率估計(jì)處理的細(xì)節(jié)進(jìn)行討論。
在步驟S503，估計(jì)混合比率處理器402通過(guò)使用對(duì)應(yīng)于非覆蓋背景區(qū)域的模型，執(zhí)行混合比率估計(jì)處理，并且將估計(jì)混合比率提供給混合比率確定部分403。
在步驟S504，混合比率計(jì)算器102確定是否估計(jì)完畢整個(gè)幀的混合比率。如果確定尚未估計(jì)整個(gè)幀的混合比率，過(guò)程返回到步驟S502，并且為下一像素執(zhí)行混合比率估計(jì)處理。
如果在步驟S504確定估計(jì)完畢整個(gè)幀的混合比率，過(guò)程進(jìn)入步驟S505。在步驟S505，混合比率確定部分403根據(jù)從區(qū)域指定單元101提供并且表示要為其計(jì)算混合比率的像素屬于前景區(qū)域、背景區(qū)域、覆蓋背景區(qū)域或非覆蓋背景區(qū)域中的哪個(gè)區(qū)域的區(qū)域信息，設(shè)置混合比率。當(dāng)對(duì)應(yīng)像素屬于前景區(qū)域時(shí)，混合比率確定部分403將混合比率設(shè)為0，并且當(dāng)對(duì)應(yīng)像素屬于背景區(qū)域時(shí)，將混合比率設(shè)為1。當(dāng)對(duì)應(yīng)像素屬于覆蓋背景區(qū)域時(shí)，混合比率確定部分403將混合比率設(shè)為從估計(jì)混合比率處理器401提供的估計(jì)混合比率。當(dāng)對(duì)應(yīng)像素屬于非覆蓋背景區(qū)域時(shí)，混合比率確定部分403將混合比率設(shè)為從估計(jì)混合比率處理器402提供的估計(jì)混合比率。然后處理結(jié)束。
如上所述，混合比率計(jì)算器102能夠根據(jù)從區(qū)域指定單元101提供的區(qū)域信息以及輸入圖像，計(jì)算表示對(duì)應(yīng)于每個(gè)像素的特征量的混合比率α。
通過(guò)利用混合比率α，在保持包含在對(duì)應(yīng)于移動(dòng)對(duì)象的圖像中的運(yùn)動(dòng)模糊信息的同時(shí)，分離包含在像素值中的前景成分和背景成分，是可能的。
通過(guò)根據(jù)混合比率α組合圖像，創(chuàng)建包含與移動(dòng)對(duì)象速度一致的正確運(yùn)動(dòng)模糊并且忠實(shí)反映真實(shí)世界的圖像，也是可能的。
現(xiàn)在將參照?qǐng)D66的流程圖對(duì)圖65的步驟S502中通過(guò)使用覆蓋背景區(qū)域模型的混合比率估計(jì)處理進(jìn)行描述。
在步驟S521，加法器502在對(duì)應(yīng)于覆蓋背景區(qū)域模型的普通方程中設(shè)置包含在輸入圖像中的像素值以及包含在從延時(shí)電路221提供的圖像中的像素值。
在步驟S522，估計(jì)混合比率處理器401確定是否完成目標(biāo)像素的設(shè)置。如果確定尚未完成目標(biāo)像素的設(shè)置，過(guò)程返回到步驟S521，并且重復(fù)普通方程中像素值的設(shè)置處理。
如果在步驟S522確定完成目標(biāo)像素的設(shè)置，過(guò)程進(jìn)入步驟S523。在步驟S523，計(jì)算器173根據(jù)其中設(shè)置像素值的普通方程，計(jì)算估計(jì)混合比率，并且輸出算出的混合比率。
如上所述，估計(jì)混合比率處理器401能夠根據(jù)輸入圖像計(jì)算估計(jì)混合比率。
圖65的步驟S153中通過(guò)使用對(duì)應(yīng)于非覆蓋背景區(qū)域的模型而執(zhí)行的混合比率估計(jì)處理類似于通過(guò)使用對(duì)應(yīng)于非覆蓋背景區(qū)域模型的普通方程而執(zhí)行的如圖66的流程圖所示的處理，并且因此省略其說(shuō)明。
本實(shí)施例是假定對(duì)應(yīng)于背景的對(duì)象是靜止的而進(jìn)行描述的。然而，即使對(duì)應(yīng)于背景區(qū)域的圖像包含運(yùn)動(dòng)，也可以應(yīng)用上述混合比率計(jì)算處理。例如，如果對(duì)應(yīng)于背景區(qū)域的圖像一致移動(dòng)，估計(jì)混合比率處理器401可以根據(jù)背景運(yùn)動(dòng)偏移整個(gè)圖像，從而以類似于對(duì)應(yīng)于背景的對(duì)象為靜止的情況的方式執(zhí)行處理。如果對(duì)應(yīng)于背景區(qū)域的圖像包含局部不同的運(yùn)動(dòng)時(shí)，估計(jì)混合比率處理器401選擇對(duì)應(yīng)于運(yùn)動(dòng)的像素作為屬于混合區(qū)域的像素，并且執(zhí)行上述處理。
下面對(duì)前景/背景分離器105進(jìn)行討論。圖67是前景/背景分離器105的結(jié)構(gòu)示例方框圖。提供給前景/背景分離器105的輸入圖像提供給分離部分601、開(kāi)關(guān)602和開(kāi)關(guān)604。從區(qū)域指定單元103提供并且表示覆蓋背景區(qū)域和非覆蓋背景區(qū)域信息的區(qū)域信息提供給分離部分601。表示前景區(qū)域的區(qū)域信息提供給開(kāi)關(guān)602。表示背景區(qū)域的區(qū)域信息提供給開(kāi)關(guān)604。
從混合比率計(jì)算器104提供的混合比率α提供給分離部分601。
分離部分601根據(jù)表示覆蓋背景區(qū)域的區(qū)域信息、表示非覆蓋背景區(qū)域的區(qū)域信息以及混合比率α從輸入圖像中分離前景成分，并且將分離出的前景成分提供給合成器603。分離部分601還從輸入圖像中分離背景成分，并且將分離出的背景成分提供給合成器605。
當(dāng)根據(jù)表示前景區(qū)域的區(qū)域信息輸入對(duì)應(yīng)于前景的像素時(shí)，閉合開(kāi)關(guān)602，并且只將包含在輸入圖像中的對(duì)應(yīng)于前景的像素提供給合成器603。
當(dāng)根據(jù)表示背景區(qū)域的區(qū)域信息輸入對(duì)應(yīng)于背景的像素時(shí)，閉合開(kāi)關(guān)604，并且只將包含在輸入圖像中的對(duì)應(yīng)于背景的像素提供給合成器605。
合成器603根據(jù)從分離部分601提供的前景成分和從開(kāi)關(guān)602提供的對(duì)應(yīng)于前景的像素，合成前景成分圖像，并且輸出所合成的前景成分圖像。由于前景區(qū)域和混合區(qū)域不重疊，因此合成器603對(duì)前景成分和前景像素應(yīng)用例如邏輯或操作，從而合成前景成分圖像。
在前景成分圖像合成處理的開(kāi)始所執(zhí)行的初始化處理中，合成器603在內(nèi)置幀存儲(chǔ)器中存儲(chǔ)其像素值全為0的圖像。然后，在前景成分圖像合成處理中，合成器603存儲(chǔ)前景成分圖像(用前景成分圖像覆蓋前面圖像)。因此，在從合成器603輸出的前景成分圖像中對(duì)應(yīng)于背景區(qū)域的像素存儲(chǔ)0。
合成器605根據(jù)從分離部分601提供的背景成分和從開(kāi)關(guān)604提供的對(duì)應(yīng)于背景的像素，合成背景成分圖像，并且輸出所合成的背景成分圖像。由于背景區(qū)域和混合區(qū)域不重疊，因此合成器605對(duì)背景成分和背景像素應(yīng)用例如邏輯或操作，從而合成背景成分圖像。
在背景成分圖像合成處理的開(kāi)始所執(zhí)行的初始化處理中，合成器605在內(nèi)置幀存儲(chǔ)器中存儲(chǔ)其像素值全為0的圖像。然后，在背景成分圖像合成處理中，合成器605存儲(chǔ)背景成分圖像(用背景成分圖像覆蓋前面圖像)。因此，在從合成器605輸出的背景成分圖像中對(duì)應(yīng)于前景區(qū)域的像素存儲(chǔ)0。
圖68A示出輸入到前景/背景分離器105中的輸入圖像以及從前景/背景分離器105輸出的前景成分圖像和背景成分圖像。圖68B示出通過(guò)在時(shí)間方向上擴(kuò)展包括對(duì)應(yīng)于圖68A的屬于前景區(qū)域的像素、屬于背景區(qū)域的像素和屬于混合區(qū)域的像素且在一條線上排列的像素而獲得的模型。
如圖68A和68B所示，從前景/背景分離器105輸出的背景成分圖像包括屬于背景區(qū)域的像素和包含在混合區(qū)域像素中的背景成分。
如圖68A和68B所示，從前景/背景分離器105輸出的前景成分圖像包括屬于前景區(qū)域的像素和包含在混合區(qū)域像素中的前景成分。
混合區(qū)域中像素的像素值由前景/背景分離器105分離為背景成分和前景成分。分離出的背景成分與屬于背景區(qū)域的像素一起形成背景成分圖像。分離出的前景成分與屬于前景區(qū)域的像素一起形成前景成分圖像。
如上所述，在前景成分圖像中，對(duì)應(yīng)于背景區(qū)域的像素的像素值設(shè)為0，并且在對(duì)應(yīng)于前景區(qū)域的像素和對(duì)應(yīng)于混合區(qū)域的像素中設(shè)置有效像素值。類似地，在背景成分圖像中，對(duì)應(yīng)于前景區(qū)域的像素的像素值設(shè)為0，并且在對(duì)應(yīng)于背景區(qū)域的像素和對(duì)應(yīng)于混合區(qū)域的像素中設(shè)置有效像素值。
下面將對(duì)由分離部分601執(zhí)行的用于從屬于混合區(qū)域的像素中分離前景成分和背景成分的處理進(jìn)行描述。
圖69示出表示包括從圖69的左邊向右移動(dòng)的前景對(duì)象的兩個(gè)幀中前景成分和背景成分的圖像模型。在圖69所示的圖像模型中，移動(dòng)量v為4，并且虛擬劃分部分的數(shù)目為4。
在幀#n中，最左像素以及左起第十四到第十八像素只包括背景成分，并且屬于背景區(qū)域。在幀#n中，左起第二到四像素包括背景成分和前景成分，并且屬于非覆蓋背景區(qū)域。在幀#n中，左起第十一到第十三像素包括背景成分和前景成分，并且屬于覆蓋背景區(qū)域。在幀#n中，左起第五到第十像素只包括前景成分，并且屬于前景區(qū)域。
在幀#n+1中，左起第一到第五像素以及左起第十八像素只包括背景成分，并且屬于背景區(qū)域。在幀#n+1中，左起第六到八像素包括背景成分和前景成分，并且屬于非覆蓋背景區(qū)域。在幀#n+1中，左起第十五到第十七像素包括背景成分和前景成分，并且屬于覆蓋背景區(qū)域。在幀#n+1中，左起第九到第十四像素只包括前景成分，并且屬于前景區(qū)域。
圖70示出從屬于覆蓋背景區(qū)域的像素中分離前景成分的處理。在圖70中，α1到α18表示幀#n各個(gè)像素的混合比率。在圖70中，左起第十五到第十七像素屬于覆蓋背景區(qū)域。
可以用方程(68)表示幀#n中左起第十五像素的像素值C15C15＝B15/v+F09/v+F08/v+F07/v (68)＝α15·B15+F09/v+F08/v+F07/v＝α15·P15+F09/v+F08/v+F07/v其中，α15表示幀#n中左起第十五像素的混合比率，并且P15表示幀#n-1中左起第十五像素的像素值。
幀#n中左起第十五像素的前景成分之和f15可以根據(jù)方程(68)用方程(69)進(jìn)行表示。
f15＝F09/v+F08/v+F07/v (69)＝C15-α15·P15類似地，可以用方程(70)表示幀#n中左起第十六像素的前景成分之和f16，并且可以用方程(71)表示幀#n中左起第十七像素的前景成分之和f17。
f16＝C16-α16·P16 (70)f17＝C17-α17·P17 (71)通過(guò)這種方式，可以用方程(72)表示包含在屬于覆蓋背景區(qū)域的像素的像素值C中的前景成分fcfc＝C-α·P (72)其中，P表示前一幀中對(duì)應(yīng)像素的像素值。
圖71示出從屬于非覆蓋背景區(qū)域的像素中分離前景成分的處理。在圖71中，α1到α18表示幀#n各個(gè)像素的混合比率。在圖71中，左起第二到第四像素屬于非覆蓋背景區(qū)域。
可以用方程(73)表示幀#n中左起第二像素的像素值C02C02＝B02/v+B02/v+B02/v+F01/v (73)＝α2·B02+F01/v＝α2·N02+F01/v其中，α2表示幀#n中左起第二像素的混合比率，并且N02表示幀#n+1中左起第二像素的像素值。
幀#n中左起第二像素的前景成分之和f02可以根據(jù)方程(73)用方程(74)進(jìn)行表示。
f02＝F01/v (74)＝C02-α2·N02類似地，可以用方程(75)表示幀#n中左起第三像素的前景成分之和f03，并且可以用方程(76)表示幀#n中左起第四像素的前景成分之和f04。
f03＝C03-α3·N03 (75)f04＝C04-α4·N04 (76)
通過(guò)這種方式，可以用方程(77)表示包含在屬于非覆蓋背景區(qū)域的像素的像素值C中的前景成分fufu＝C-α·N (77)其中，N表示后一幀中對(duì)應(yīng)像素的像素值。
如上所述，分離部分601能夠根據(jù)包含在區(qū)域信息中的表示覆蓋背景區(qū)域和非覆蓋背景區(qū)域的信息以及每個(gè)像素的混合比率α，從屬于混合區(qū)域的像素中分離前景成分，并且從屬于混合區(qū)域的像素中分離背景成分。
圖72是用于執(zhí)行上述處理的分離部分601的結(jié)構(gòu)示例方框圖。輸入到分離部分601的圖像提供給幀存儲(chǔ)器621，并且從混合比率計(jì)算器104提供的表示覆蓋背景區(qū)域和非覆蓋背景區(qū)域的區(qū)域信息以及混合比率α提供給分離處理塊622。
幀存儲(chǔ)器621以幀為單位存儲(chǔ)輸入圖像。當(dāng)要處理的幀為幀#n時(shí)，幀存儲(chǔ)器621存儲(chǔ)幀#n-1(幀#n的前一幀)、幀#n和幀#n+1(幀#n的后一幀)。
幀存儲(chǔ)器621將幀#n-1、幀#n和幀#n+1中的對(duì)應(yīng)像素提供給分離處理塊622。
分離處理塊622根據(jù)表示覆蓋背景區(qū)域和非覆蓋背景區(qū)域的區(qū)域信息以及混合比率α，對(duì)從幀存儲(chǔ)器621提供的幀#n-1、幀#n和幀#n+1中的對(duì)應(yīng)像素的像素值應(yīng)用參照?qǐng)D70和71所述的計(jì)算操作，從而從幀#n中屬于混合區(qū)域的像素中分離前景成分和背景成分，并且將它們提供給幀存儲(chǔ)器623。
分離處理塊622由非覆蓋區(qū)域處理器631、覆蓋區(qū)域處理器632、合成器633和合成器634形成。
非覆蓋區(qū)域處理器631的乘法器641將從幀存儲(chǔ)器621提供的幀#n+1像素的像素值與混合比率α進(jìn)行相乘，并且將結(jié)果像素值輸出到開(kāi)關(guān)642。當(dāng)從幀存儲(chǔ)器621提供的幀#n像素(對(duì)應(yīng)于幀#n+1像素)屬于非覆蓋背景區(qū)域時(shí)，閉合開(kāi)關(guān)642，并且將從乘法器641提供的與混合比率α進(jìn)行相乘的像素值提供給計(jì)算器643和合成器634。從開(kāi)關(guān)642輸出的通過(guò)相乘幀#n+1像素的像素值和混合比率α而獲得的值相當(dāng)于幀#n中對(duì)應(yīng)像素的像素值的背景成分。
計(jì)算器643從由幀存儲(chǔ)器621提供的幀#n像素的像素值中減去從開(kāi)關(guān)642提供的背景成分，從而獲得前景成分。計(jì)算器643將屬于非覆蓋背景區(qū)域的幀#n像素的前景成分提供給合成器633。
覆蓋區(qū)域處理器632的乘法器651將從幀存儲(chǔ)器621提供的幀#n-1像素的像素值與混合比率α進(jìn)行相乘，并且將結(jié)果像素值輸出到開(kāi)關(guān)652。當(dāng)從幀存儲(chǔ)器621提供的幀#n像素(對(duì)應(yīng)于幀#n-1像素)屬于覆蓋背景區(qū)域時(shí)，閉合開(kāi)關(guān)652，并且將從乘法器651提供的與混合比率α進(jìn)行相乘的像素值提供給計(jì)算器653和合成器634。從開(kāi)關(guān)652輸出的通過(guò)相乘幀#n-1像素的像素值和混合比率α而獲得的值相當(dāng)于幀#n中對(duì)應(yīng)像素的像素值的背景成分。
計(jì)算器653從由幀存儲(chǔ)器621提供的幀#n像素的像素值中減去從開(kāi)關(guān)652提供的背景成分，從而獲得前景成分。計(jì)算器653將屬于覆蓋背景區(qū)域的幀#n像素的前景成分提供給合成器633。
合成器633組合屬于非覆蓋背景區(qū)域且從計(jì)算器643提供的像素的前景成分與屬于覆蓋背景區(qū)域且從計(jì)算器653提供的像素的前景成分，并且將所合成的前景成分提供給幀存儲(chǔ)器623。
合成器643組合屬于非覆蓋背景區(qū)域且從開(kāi)關(guān)642提供的像素的背景成分與屬于覆蓋背景區(qū)域且從開(kāi)關(guān)652提供的像素的背景成分，并且將所合成的背景成分提供給幀存儲(chǔ)器623。
幀存儲(chǔ)器623存儲(chǔ)從分離處理塊622提供的幀#n混合區(qū)域像素的前景成分和背景成分。
幀存儲(chǔ)器623輸出所存儲(chǔ)的幀#n混合區(qū)域像素的前景成分和所存儲(chǔ)的幀#n混合區(qū)域像素的背景成分。
通過(guò)利用表示特征量的混合比率α，可以完全分離包含在像素值中的前景成分和背景成分。
合成器603組合從分離部分601輸出的幀#n混合區(qū)域像素的前景成分和屬于前景區(qū)域的像素，從而生成前景成分圖像。合成器605組合從分離部分601輸出的幀#n混合區(qū)域像素的背景成分和屬于背景區(qū)域的像素，從而生成背景成分圖像。
圖73A示出對(duì)應(yīng)于圖69幀#n的前景成分圖像的例子。在分離前景和背景之前，最左像素以及左起第十四像素只包括背景成分，并且因此像素值設(shè)為0。
在分離前景和背景之前，左起第二到第四像素屬于非覆蓋背景區(qū)域。因此，背景成分設(shè)為0，并且保持前景成分。在分離前景和背景之前，左起第十一到第十三像素屬于覆蓋背景區(qū)域。因此，背景成分設(shè)為0，并且保持前景成分。左起第五到第十像素只包括前景成分，因此保持這些像素。
圖73B示出對(duì)應(yīng)于圖69幀#n的背景成分圖像的例子。在分離前景和背景之前，最左像素以及左起第十四像素只包括背景成分，并且因此保持這些背景成分。
在分離前景和背景之前，左起第二到第四像素屬于非覆蓋背景區(qū)域。因此，前景成分設(shè)為0，并且保持背景成分。在分離前景和背景之前，左起第十一到第十三像素屬于覆蓋背景區(qū)域。因此，前景成分設(shè)為0，并且保持背景成分。左起第五到第十像素只包括前景成分，因此像素值設(shè)為0。
下面將參照?qǐng)D74的流程圖對(duì)由前景/背景分離器105執(zhí)行的前景和背景分離處理進(jìn)行描述。在步驟S601，分離部分601的幀存儲(chǔ)器621獲取輸入圖像，并且與前一幀#n-1和后一幀#n+1一起存儲(chǔ)為其分離前景和背景的幀#n。
在步驟S602，分離部分601的分離處理塊622獲取從混合比率計(jì)算器104提供的區(qū)域信息。在步驟S603，分離部分601的分離處理塊622獲取從混合比率計(jì)算器104提供的混合比率α。
在步驟S604，非覆蓋區(qū)域處理器631根據(jù)區(qū)域信息和混合比率α，從由幀存儲(chǔ)器621提供的屬于非覆蓋背景區(qū)域的像素的像素值中提取背景成分。
在步驟S605，非覆蓋區(qū)域處理器631根據(jù)區(qū)域信息和混合比率α，從由幀存儲(chǔ)器621提供的屬于非覆蓋背景區(qū)域的像素的像素值中提取前景成分。
在步驟S606，覆蓋區(qū)域處理器632根據(jù)區(qū)域信息和混合比率α，從由幀存儲(chǔ)器621提供的屬于覆蓋背景區(qū)域的像素的像素值中提取背景成分。
在步驟S607，覆蓋區(qū)域處理器632根據(jù)區(qū)域信息和混合比率α，從由幀存儲(chǔ)器621提供的屬于覆蓋背景區(qū)域的像素的像素值中提取前景成分。
在步驟S608，合成器633組合在步驟S605的處理中提取的屬于非覆蓋背景區(qū)域的像素的前景成分與在步驟S607的處理中提取的屬于覆蓋背景區(qū)域的像素的前景成分。所合成的前景成分提供給合成器603。合成器603進(jìn)一步組合通過(guò)開(kāi)關(guān)602提供的屬于前景區(qū)域的像素和從分離部分601提供的前景成分，從而生成前景成分圖像。
在步驟S609，合成器634組合在步驟S604的處理中提取的屬于非覆蓋背景區(qū)域的像素的背景成分與在步驟S606的處理中提取的屬于覆蓋背景區(qū)域的像素的背景成分。所合成的背景成分提供給合成器605。合成器605進(jìn)一步組合通過(guò)開(kāi)關(guān)604提供的屬于背景區(qū)域的像素和從分離部分601提供的背景成分，從而生成背景成分圖像。
在步驟S610，合成器603輸出前景成分圖像。在步驟S611，合成器605輸出背景成分圖像。然后處理結(jié)束。
如上所述，前景/背景分離器105能夠根據(jù)區(qū)域信息和混合比率α從輸入圖像中分離前景成分和背景成分，并且輸出只包括前景成分的前景成分圖像和只包括背景成分的背景成分圖像。
圖75是運(yùn)動(dòng)模糊調(diào)整單元106的結(jié)構(gòu)示例方框圖。從運(yùn)動(dòng)檢測(cè)器102提供的運(yùn)動(dòng)向量及其位置信息提供給處理單元確定部分901和調(diào)整部分905。從區(qū)域指定單元103提供的區(qū)域信息提供給處理單元確定部分901。從前景/背景分離器105提供的前景成分圖像提供給計(jì)算器904。
處理單元確定部分901將根據(jù)運(yùn)動(dòng)向量及其位置信息以及區(qū)域信息生成的處理單元與運(yùn)動(dòng)向量一起提供給模型形成部分902。
如圖76的A所示，例如，由處理單元確定部分901生成的處理單元表示從對(duì)應(yīng)于前景成分圖像的覆蓋背景區(qū)域的像素開(kāi)始直至對(duì)應(yīng)于非覆蓋背景區(qū)域的像素的移動(dòng)方向上所排列的連續(xù)像素，或者表示從對(duì)應(yīng)于非覆蓋背景區(qū)域的像素開(kāi)始直至對(duì)應(yīng)于覆蓋背景區(qū)域的像素的移動(dòng)方向上所排列的連續(xù)像素。處理單元由兩個(gè)數(shù)據(jù)形成，這兩個(gè)數(shù)據(jù)例如表示左上點(diǎn)(由處理單元指定的圖像最左或最上像素位置)和右下點(diǎn)。
模型形成部分902根據(jù)運(yùn)動(dòng)向量和輸入處理單元形成模型。更具體地說(shuō)，例如，模型形成部分902可以根據(jù)包含在處理單元中的像素?cái)?shù)目、時(shí)間方向上像素值的虛擬劃分部分?jǐn)?shù)目以及每個(gè)像素的前景成分?jǐn)?shù)目，可以預(yù)先存儲(chǔ)多個(gè)模型。模型形成部分902然后可以根據(jù)處理單元和時(shí)間方向上像素值的虛擬劃分部分?jǐn)?shù)目，選擇例如圖77所示指定像素值和前景成分之間相關(guān)的模型。
現(xiàn)在假定例如對(duì)應(yīng)于處理單元的像素?cái)?shù)目為12，并且快門(mén)時(shí)間內(nèi)的移動(dòng)量v為5。然后，模型形成部分902將虛擬劃分部分設(shè)為5，并且選擇由八種類型的前景成分形成的模型，從而最左像素包含一個(gè)前景成分，左起第二像素包含兩個(gè)前景成分，左起第三像素包含三個(gè)前景成分，左起第四像素包含四個(gè)前景成分，左起第五像素包含五個(gè)前景成分，左起第六像素包含五個(gè)前景成分，左起第七像素包含五個(gè)前景成分，左起第八像素包含五個(gè)前景成分，左起第九像素包含四個(gè)前景成分，左起第十像素包含三個(gè)前景成分，左起第十一像素包含兩個(gè)前景成分，并且左起第十二像素包含一個(gè)前景成分。
代替從預(yù)先存儲(chǔ)的模型中選擇一個(gè)模型，當(dāng)提供運(yùn)動(dòng)向量和處理單元時(shí)，模型形成部分902可以根據(jù)運(yùn)動(dòng)向量和處理單元生成一個(gè)模型。
方程生成器903根據(jù)從模型形成部分902提供的模型生成方程。
下面將參照?qǐng)D77到79所示的前景成分模型，描述當(dāng)前景成分?jǐn)?shù)目為8，對(duì)應(yīng)于處理單元的像素?cái)?shù)目為12并且移動(dòng)量v為5時(shí)由方程生成器903生成的方程。
當(dāng)對(duì)應(yīng)于快門(mén)時(shí)間/v的包含在前景成分圖像中的前景成分為F01/v到F08/v時(shí)，可以用方程(78)到(89)表示F01/v到F08/v與像素值C01到C12之間的關(guān)系。
C01＝F01/v (78)C02＝F02/v+F01/v (79)C03＝F03/v+F02/v+F01/v (80)C04＝F04/v+F03/v+F02/v+F01/v (81)C05＝F05/v+F04/v+F03/v+F02/v+F01/v (82)C06＝F06/v+F05/v+F04/v+F03/v+F02/v (83)C07＝F07/v+F06/v+F05/v+F04/v+F03/v (84)C08＝F08/v+F07/v+F06/v+F05/v+F04/v (85)C09＝F08/v+F07/v+F06/v+F05/v (86)C10＝F08/v+F07/v+F06/v (87)C11＝F08/v+F07/v (88)C12＝F08/v (89)通過(guò)考慮像素值C12和C11，像素值C12只包含前景成分F08/v，如方程(90)所示，并且像素值C11包含前景成分F08/v與前景成分F07/v的乘積和。因此，可以通過(guò)方程(91)得到前景成分F07/v。
F08/v＝C12 (90)
F07/v＝C11-C12 (91)類似地，通過(guò)考慮包含在像素值C10到C01中的前景成分，可以分別通過(guò)方程(92)到(97)得到前景成分F06/v到F01/vF06/v＝C10-C11 (92)F05/v＝C09-C10 (93)F04/v＝C08-C09 (94)F03/v＝C07-C08+C12 (95)F02/v＝C06-C07+C11-C12 (96)F01/v＝C05-C06+C10-C11 (97)方程生成器903通過(guò)像素值之間的差值生成用于計(jì)算前景成分的方程，如方程(90)到(97)的例子所示。方程生成器903將所生成的方程提供給計(jì)算器904。
計(jì)算器904在從方程生成器903提供的方程中設(shè)置前景成分圖像的像素值，從而根據(jù)其中設(shè)有像素值的方程獲得前景成分。例如，當(dāng)從方程生成器903提供方程(90)到(97)時(shí)，計(jì)算器904在方程(90)到(97)中設(shè)置像素值C05到C12。
計(jì)算器904根據(jù)其中設(shè)有像素值的方程計(jì)算前景成分。例如，計(jì)算器904根據(jù)其中設(shè)有像素值C05到C12的方程(90)到(97)的計(jì)算操作，計(jì)算如圖78所示的前景成分F01/v到F08/v。計(jì)算器904將前景成分F01/v到F08/v提供給調(diào)整部分905。
調(diào)整部分905將從計(jì)算器904提供的前景成分與從處理單元確定部分901提供的包含在運(yùn)動(dòng)向量中的移動(dòng)量v進(jìn)行相乘，從而獲取其中消除了運(yùn)動(dòng)模糊的前景像素值。例如，當(dāng)從計(jì)算器904提供前景成分F01/v到F08/v時(shí)，調(diào)整部分905將每個(gè)前景成分F01/v到F08/v與移動(dòng)量v，即5，進(jìn)行相乘，從而獲得其中消除了運(yùn)動(dòng)模糊的前景像素值F01到F08，如圖79所示。
調(diào)整部分905將由如上所述算出的沒(méi)有運(yùn)動(dòng)模糊的前景像素值組成的前景成分圖像提供給運(yùn)動(dòng)模糊加法器906和選擇器907。
運(yùn)動(dòng)模糊加法器906能夠通過(guò)使用運(yùn)動(dòng)模糊調(diào)整量v′來(lái)調(diào)整運(yùn)動(dòng)模糊量，其中，運(yùn)動(dòng)模糊調(diào)整量v′不同于移動(dòng)量v，例如，運(yùn)動(dòng)模糊調(diào)整量v′是移動(dòng)量v值的一半，或者運(yùn)動(dòng)模糊調(diào)整量v′與移動(dòng)量v值無(wú)關(guān)。例如，如圖80所示，運(yùn)動(dòng)模糊加法器906將沒(méi)有運(yùn)動(dòng)模糊的前景像素值Fi除以運(yùn)動(dòng)模糊調(diào)整量v′，從而獲得前景成分Fi/v′。運(yùn)動(dòng)模糊加法器906然后計(jì)算前景成分Fi/v′之和，從而生成其中調(diào)整過(guò)運(yùn)動(dòng)模糊量的像素值。例如，當(dāng)運(yùn)動(dòng)模糊調(diào)整量v′為3時(shí)，像素值C02設(shè)為(F01)/v′，像素值C03設(shè)為(F01+F02)/v′，像素值C04設(shè)為(F01+F02+F03)/v′，并且像素值C05設(shè)為(F02+F03+F04)/v′。
運(yùn)動(dòng)模糊加法器906將其中調(diào)整過(guò)運(yùn)動(dòng)模糊量的前景成分圖像提供給選擇器907。
選擇器907根據(jù)反映用戶選擇的選擇信號(hào)，選擇從調(diào)整部分905提供的沒(méi)有運(yùn)動(dòng)模糊的前景成分圖像或者從運(yùn)動(dòng)模糊加法器906提供的其中調(diào)整過(guò)運(yùn)動(dòng)模糊量的前景成分圖像，并且輸出所選的前景成分圖像。
如上所述，運(yùn)動(dòng)模糊調(diào)整單元106能夠根據(jù)選擇信號(hào)和運(yùn)動(dòng)模糊調(diào)整量v′來(lái)調(diào)整運(yùn)動(dòng)模糊量。
下面將參照?qǐng)D81的流程圖對(duì)由運(yùn)動(dòng)模糊調(diào)整單元106執(zhí)行的用于調(diào)整前景運(yùn)動(dòng)模糊量的處理進(jìn)行描述。
在步驟S901，運(yùn)動(dòng)模糊調(diào)整單元106的處理單元確定部分901根據(jù)運(yùn)動(dòng)向量和區(qū)域信息生成處理單元，并且將所生成的處理單元提供給模型形成部分902和調(diào)整部分905。
在步驟S902，運(yùn)動(dòng)模糊調(diào)整單元106的模型形成部分902根據(jù)移動(dòng)量v和處理單元，選擇或生成模型。在步驟S903，方程生成器903根據(jù)所選擇或所生成的模型，生成用于通過(guò)前景成分圖像的像素值之間的差值來(lái)計(jì)算前景成分的方程。
在步驟S904，計(jì)算器904在所生成的方程中設(shè)置前景成分圖像的像素值，并且根據(jù)其中設(shè)置像素值的方程，通過(guò)使用像素值之間的差值，提取前景成分。在步驟S905，計(jì)算器904確定是否已提取對(duì)應(yīng)于處理單元的所有前景成分。如果確定尚未提取對(duì)應(yīng)于處理單元的所有前景成分，過(guò)程返回到步驟S904，并且重復(fù)前景成分提取處理。
如果在步驟S905確定已提取對(duì)應(yīng)于處理單元的所有前景成分，過(guò)程進(jìn)入步驟S906。在步驟S906，調(diào)整部分905根據(jù)移動(dòng)量v調(diào)整從計(jì)算器904提供的每個(gè)前景成分F01/v到F08/v，從而獲得其中消除了運(yùn)動(dòng)模糊的前景像素值F01/v到F08/v。
在步驟S907，運(yùn)動(dòng)模糊加法器906計(jì)算其中調(diào)整過(guò)運(yùn)動(dòng)模糊量的前景像素值，并且選擇器907選擇沒(méi)有運(yùn)動(dòng)模糊的圖像或者其中調(diào)整過(guò)運(yùn)動(dòng)模糊量的圖像，并且輸出所選的圖像。然后處理完成。
如上所述，如圖75所示構(gòu)造的運(yùn)動(dòng)模糊調(diào)整單元106能夠調(diào)整包含運(yùn)動(dòng)模糊的前景圖像的運(yùn)動(dòng)模糊。
用于部分消除運(yùn)動(dòng)模糊的已知技術(shù)如Wiener濾波器在理想狀態(tài)下使用時(shí)是有效的，但是對(duì)于經(jīng)過(guò)量化和包含噪聲的實(shí)際圖像是不夠的。相反，經(jīng)過(guò)證實(shí)，如圖75所示構(gòu)造的運(yùn)動(dòng)模糊調(diào)整單元106對(duì)于經(jīng)過(guò)量化和包含噪聲的實(shí)際圖像是足夠有效的。因此，以高精確度消除運(yùn)動(dòng)模糊是可能的。
圖82是信號(hào)處理器12的另一功能結(jié)構(gòu)方框圖。
用相同的標(biāo)號(hào)表示類似于圖4所示的單元，并且因此省略其說(shuō)明。
區(qū)域指定單元103將區(qū)域信息提供給混合比率計(jì)算器104和合成器1001。
混合比率計(jì)算器104將混合比率α提供給前景/背景分離器105和合成器1001。
前景/背景分離器105將前景成分圖像提供給合成器1001。
合成器1001根據(jù)從混合比率計(jì)算器104提供的混合比率α和從區(qū)域指定單元103提供的區(qū)域信息，組合特定背景圖像與從前景/背景分離器105提供的前景成分圖像，并且輸出其中組合特定背景圖像與前景成分圖像的合成圖像。
圖83示出合成器1001的結(jié)構(gòu)。背景成分生成器1021根據(jù)混合比率α和特定背景圖像生成背景成分圖像，并且將背景成分圖像提供給混合區(qū)域圖像合成部分1022。
混合區(qū)域圖像合成部分1022組合從背景成分生成器1021提供的背景成分圖像與前景成分圖像，從而生成混合區(qū)域合成圖像，并且將所生成的混合區(qū)域合成圖像提供給圖像合成部分1023。
圖像合成部分1023根據(jù)區(qū)域信息組合前景成分圖像、從混合區(qū)域圖像合成部分1022提供的混合區(qū)域合成圖像、以及特定背景圖像，從而生成合成圖像，并且對(duì)它進(jìn)行輸出。
如上所述，合成器1001能夠組合前景成分圖像和特定背景圖像。
通過(guò)根據(jù)作為特征量的混合比率α組合前景成分圖像和特定背景圖像而獲得的圖像與通過(guò)簡(jiǎn)單組合像素而獲得的圖像相比，看上去更自然。
圖84是用于調(diào)整運(yùn)動(dòng)模糊量的信號(hào)處理器12的另一功能結(jié)構(gòu)方框圖。圖4所示的信號(hào)處理器12順序執(zhí)行區(qū)域指定操作和混合比率α計(jì)算操作。與之相對(duì)，圖84所示的信號(hào)處理器12同時(shí)執(zhí)行區(qū)域指定操作和混合比率α計(jì)算操作。
用相同的標(biāo)號(hào)表示類似于圖4的方框圖中的功能單元，并且因此省略其說(shuō)明。
輸入圖像提供給混合比率計(jì)算器1101、前景/背景分離器1102、區(qū)域指定單元103和對(duì)象提取部分101。
混合比率計(jì)算器1101根據(jù)輸入圖像計(jì)算假定包含在輸入圖像中的每個(gè)像素屬于覆蓋背景區(qū)域時(shí)的估計(jì)混合比率，并且計(jì)算假定包含在輸入圖像中的每個(gè)像素屬于非覆蓋背景區(qū)域時(shí)的估計(jì)混合比率，然后將如上所述算出的估計(jì)混合比率提供給前景/背景分離器1102。
圖85是混合比率計(jì)算器1101的結(jié)構(gòu)示例方框圖。
圖85所示的估計(jì)混合比率處理器401與圖49所示的估計(jì)混合比率處理器401相同。圖85所示的估計(jì)混合比率處理器402與圖49所示的估計(jì)混合比率處理器402相同。
估計(jì)混合比率處理器401根據(jù)輸入圖像通過(guò)對(duì)應(yīng)于覆蓋背景區(qū)域模型的計(jì)算操作，為每個(gè)像素計(jì)算估計(jì)混合比率，并且輸出所算出的估計(jì)混合比率。
估計(jì)混合比率處理器402根據(jù)輸入圖像通過(guò)對(duì)應(yīng)于非覆蓋背景區(qū)域模型的計(jì)算操作，為每個(gè)像素計(jì)算估計(jì)混合比率，并且輸出所算出的估計(jì)混合比率。
前景/背景分離器1102根據(jù)從混合比率計(jì)算器1101提供的假定像素屬于覆蓋背景區(qū)域時(shí)算出的估計(jì)混合比率、從混合比率計(jì)算器1101提供的假定像素屬于非覆蓋背景區(qū)域時(shí)算出的估計(jì)混合比率、以及從區(qū)域指定單元103提供的區(qū)域信息，從輸入圖像中生成前景成分圖像，并且將所生成的前景成分圖像提供給運(yùn)動(dòng)模糊調(diào)整單元106和選擇器107。
圖86是前景/背景分離器1102的結(jié)構(gòu)示例方框圖。
用相同的標(biāo)號(hào)表示類似于圖67所示的前景/背景分離器105的單元，并且因此省略其說(shuō)明。
選擇器1121根據(jù)從區(qū)域指定單元103提供的區(qū)域信息，選擇從混合比率計(jì)算器1101提供的假定像素屬于覆蓋背景區(qū)域時(shí)算出的估計(jì)混合比率，或者從混合比率計(jì)算器1101提供的假定像素屬于非覆蓋背景區(qū)域時(shí)算出的估計(jì)混合比率，并且將所選估計(jì)混合比率作為混合比率α提供給分離部分601。
分離部分601根據(jù)從選擇器1121提供的混合比率α以及區(qū)域信息，從屬于混合區(qū)域的像素的像素值中提取前景成分和背景成分，并且將所提取的前景成分提供給合成器603，并且還將背景成分提供給合成器605。
分離部分601可以類似于圖72的對(duì)應(yīng)部分進(jìn)行構(gòu)造。
合成器603合成前景成分圖像，并且對(duì)它進(jìn)行輸出。合成器605合成背景成分圖像，并且對(duì)它進(jìn)行輸出。
圖84所示的運(yùn)動(dòng)模糊調(diào)整單元106可以類似于圖4的對(duì)應(yīng)部分進(jìn)行構(gòu)造。運(yùn)動(dòng)模糊調(diào)整單元106根據(jù)區(qū)域信息和運(yùn)動(dòng)向量，調(diào)整包含在從前景/背景分離器1102提供的前景成分圖像中的運(yùn)動(dòng)模糊量，并且輸出其中調(diào)整過(guò)運(yùn)動(dòng)模糊量的前景成分圖像。
圖84所示的選擇器107根據(jù)例如反映用戶選擇的選擇信號(hào)，選擇從前景/背景分離器1102提供的前景成分圖像或者從運(yùn)動(dòng)模糊調(diào)整單元106提供的其中調(diào)整過(guò)運(yùn)動(dòng)模糊量的前景成分圖像，并且輸出所選前景成分圖像。
如上所述，圖84所示的信號(hào)處理器12能夠調(diào)整包含在對(duì)應(yīng)于輸入圖像前景對(duì)象的圖像中的運(yùn)動(dòng)模糊量，并且輸出結(jié)果前景對(duì)象圖像。如同第一實(shí)施例，圖84所示的信號(hào)處理器12能夠計(jì)算作為嵌入信息的混合比率α，并且輸出所算出的混合比率α。
本實(shí)施例在上面是通過(guò)將混合比率α設(shè)為包含在像素值中的背景成分比率而進(jìn)行討論的。然而，混合比率α可以設(shè)為包含在像素值中的前景成分比率。
本實(shí)施例在上面是通過(guò)將前景對(duì)象的移動(dòng)方向設(shè)為從左到右的方向而進(jìn)行討論的。然而，移動(dòng)方向不限于上述方向。
在上面描述中，具有三維空間和時(shí)間軸信息的真實(shí)空間圖像通過(guò)使用視頻攝像機(jī)投影到具有二維空間和時(shí)間軸信息的時(shí)空中。然而，本發(fā)明不限于該例子，并且可以應(yīng)用于下面情況。當(dāng)一維空間中更大量的第一信息投影到二維空間中更小量的第二信息時(shí)，可以校正因投影而產(chǎn)生的失真，提取重要信息或者合成更自然的圖像。
傳感器11不限于CCD，并且可以是其它類型的傳感器，例如固態(tài)成像器件，例如CMOS(Complementary Metal Oxide Semiconductor，互補(bǔ)型金屬氧化物半導(dǎo)體)、BBD(Bucket Brigade Device，桶組器件)、CID(ChargeInjection Device，電荷注入器件)或者CPD(Charge Priming Device，電荷啟動(dòng)器件)。另外，傳感器不一定是其中以矩陣排列檢測(cè)器件的傳感器，并且可以是其中在一條線上排列檢測(cè)器件的傳感器。
其中記錄有本發(fā)明信號(hào)處理執(zhí)行程序的記錄介質(zhì)可以由其中記錄程序的包介質(zhì)形成，該包介質(zhì)采用與計(jì)算機(jī)分開(kāi)的方式分發(fā)給用戶，以提供該程序，如圖3所示，例如磁盤(pán)51(包括軟盤(pán))、光盤(pán)52(CD-ROM(compact discread-only memory，致密盤(pán)只讀存儲(chǔ)器)和DVD(Digital Versatile Disk，數(shù)字多功能盤(pán)))、光磁盤(pán)53(包括MD(Mini-Disk，微型盤(pán)))或者半導(dǎo)體存儲(chǔ)器54。該記錄介質(zhì)還可以由其中存儲(chǔ)有該程序的ROM 22或包含在存儲(chǔ)單元28中的硬盤(pán)形成，這種記錄介質(zhì)以預(yù)先存儲(chǔ)在計(jì)算機(jī)中的方式提供給用戶。
可以根據(jù)在本說(shuō)明書(shū)中所述的次序，按時(shí)間順序執(zhí)行形成記錄在記錄介質(zhì)中的程序的步驟。然而，不要求一定以時(shí)間序列方式執(zhí)行這些步驟，并且它們可以同時(shí)或單獨(dú)執(zhí)行。
工業(yè)應(yīng)用根據(jù)第一發(fā)明，可以調(diào)整包含在模糊圖像中的檢測(cè)信號(hào)中的運(yùn)動(dòng)模糊量。
根據(jù)第二發(fā)明，可以調(diào)整運(yùn)動(dòng)模糊量。
權(quán)利要求
1.一種圖像處理設(shè)備，用于處理由預(yù)定數(shù)目的像素?cái)?shù)據(jù)形成的圖像數(shù)據(jù)，其中，所述圖像數(shù)據(jù)是通過(guò)包括預(yù)定數(shù)目像素的成像器件來(lái)獲得的，每個(gè)像素均具有時(shí)間積累功能，所述圖像處理設(shè)備包括處理單元確定裝置，用于根據(jù)圖像數(shù)據(jù)和表示前景區(qū)域、背景區(qū)域和混合區(qū)域的區(qū)域信息，確定處理單元，其中，前景區(qū)域包括圖像數(shù)據(jù)中形成前景對(duì)象的前景對(duì)象成分，背景區(qū)域包括圖像數(shù)據(jù)中形成背景對(duì)象的背景對(duì)象成分，并且混合區(qū)域中混合有圖像數(shù)據(jù)中的前景對(duì)象成分和背景對(duì)象成分，混合區(qū)域包括在前景對(duì)象移動(dòng)方向的起始端形成的覆蓋背景區(qū)域，以及在前景對(duì)象移動(dòng)方向的結(jié)束端形成的非覆蓋背景區(qū)域，處理單元由位于與前景對(duì)象的移動(dòng)方向一致的至少一條直線上并且范圍從相對(duì)于前景區(qū)域的覆蓋背景區(qū)域外側(cè)到非覆蓋背景區(qū)域外側(cè)的像素?cái)?shù)據(jù)形成；聯(lián)立方程生成裝置，用于通過(guò)設(shè)置根據(jù)處理單元確定的處理單元內(nèi)像素的像素值，并且設(shè)置通過(guò)用設(shè)定數(shù)目的劃分部分對(duì)混合區(qū)域中的前景對(duì)象成分進(jìn)行劃分而獲得的劃分已知值，生成由多個(gè)關(guān)系表達(dá)式組成的聯(lián)立方程；以及計(jì)算裝置，用于通過(guò)求解聯(lián)立方程，計(jì)算其中調(diào)整過(guò)運(yùn)動(dòng)模糊量的前景對(duì)象成分。
2.如權(quán)利要求1所述的圖像處理設(shè)備，其中，通過(guò)利用下面特性從來(lái)自所述直線上混合區(qū)域一端的包含在第二像素中的前景對(duì)象成分減去來(lái)自混合區(qū)域該端的包含在第一像素中的前景對(duì)象成分，從而計(jì)算對(duì)應(yīng)于第二像素的單一前景對(duì)象成分，其中，第二像素在位置上相鄰于第一像素，所述計(jì)算裝置從與位于該端的像素對(duì)應(yīng)的關(guān)系表達(dá)式，順序求解聯(lián)立方程，從而計(jì)算其中調(diào)整過(guò)運(yùn)動(dòng)模糊量的前景對(duì)象成分。
3.如權(quán)利要求1所述的圖像處理設(shè)備，其中，所述聯(lián)立方程生成裝置根據(jù)按照前景對(duì)象移動(dòng)量的劃分部分?jǐn)?shù)目，生成聯(lián)立方程。
4.一種圖像處理方法，用于處理由預(yù)定數(shù)目的像素?cái)?shù)據(jù)形成的圖像數(shù)據(jù)，其中，所述圖像數(shù)據(jù)是通過(guò)包括預(yù)定數(shù)目像素的成像器件來(lái)獲得的，每個(gè)像素均具有時(shí)間積累功能，所述圖像處理方法包括處理單元確定步驟，根據(jù)圖像數(shù)據(jù)和表示前景區(qū)域、背景區(qū)域和混合區(qū)域的區(qū)域信息，確定處理單元，其中，前景區(qū)域包括圖像數(shù)據(jù)中形成前景對(duì)象的前景對(duì)象成分，背景區(qū)域包括圖像數(shù)據(jù)中形成背景對(duì)象的背景對(duì)象成分，并且混合區(qū)域中混合有圖像數(shù)據(jù)中的前景對(duì)象成分和背景對(duì)象成分，混合區(qū)域包括在前景對(duì)象移動(dòng)方向的起始端形成的覆蓋背景區(qū)域，以及在前景對(duì)象移動(dòng)方向的結(jié)束端形成的非覆蓋背景區(qū)域，處理單元由位于與前景對(duì)象的移動(dòng)方向一致的至少一條直線上并且范圍從相對(duì)于前景區(qū)域的覆蓋背景區(qū)域外側(cè)到非覆蓋背景區(qū)域外側(cè)的像素?cái)?shù)據(jù)形成；聯(lián)立方程生成步驟，通過(guò)設(shè)置根據(jù)處理單元確定的處理單元內(nèi)像素的像素值，并且設(shè)置通過(guò)用設(shè)定數(shù)目的劃分部分對(duì)混合區(qū)域中的前景對(duì)象成分進(jìn)行劃分而獲得的劃分已知值，生成由多個(gè)關(guān)系表達(dá)式組成的聯(lián)立方程；以及計(jì)算步驟，通過(guò)求解聯(lián)立方程，計(jì)算其中調(diào)整過(guò)運(yùn)動(dòng)模糊量的前景對(duì)象成分。
5.如權(quán)利要求4所述的圖像處理方法，其中，在所述計(jì)算步驟中，通過(guò)利用下面特性從來(lái)自所述直線上混合區(qū)域一端的包含在第二像素中的前景對(duì)象成分減去來(lái)自混合區(qū)域該端的包含在第一像素中的前景對(duì)象成分，從而計(jì)算對(duì)應(yīng)于第二像素的單一前景對(duì)象成分，其中，第二像素在位置上相鄰于第一像素，從與位于該端的像素對(duì)應(yīng)的關(guān)系表達(dá)式，求解聯(lián)立方程，從而計(jì)算其中調(diào)整過(guò)運(yùn)動(dòng)模糊量的前景對(duì)象成分。
6.如權(quán)利要求4所述的圖像處理方法，其中，在所述聯(lián)立方程生成步驟中，根據(jù)按照前景對(duì)象移動(dòng)量的劃分部分?jǐn)?shù)目，生成聯(lián)立方程。
7.一種記錄介質(zhì)，其中存儲(chǔ)有一個(gè)計(jì)算機(jī)可讀圖像處理程序，用于處理由預(yù)定數(shù)目的像素?cái)?shù)據(jù)形成的圖像數(shù)據(jù)，其中，所述圖像數(shù)據(jù)是通過(guò)包括預(yù)定數(shù)目像素的成像器件來(lái)獲得的，每個(gè)像素均具有時(shí)間積累功能，所述計(jì)算機(jī)可讀圖像處理程序包括處理單元確定步驟，根據(jù)圖像數(shù)據(jù)和表示前景區(qū)域、背景區(qū)域和混合區(qū)域的區(qū)域信息，確定處理單元，其中，前景區(qū)域包括圖像數(shù)據(jù)中形成前景對(duì)象的前景對(duì)象成分，背景區(qū)域包括圖像數(shù)據(jù)中形成背景對(duì)象的背景對(duì)象成分，并且混合區(qū)域中混合有圖像數(shù)據(jù)中的前景對(duì)象成分和背景對(duì)象成分，混合區(qū)域包括在前景對(duì)象移動(dòng)方向的起始端形成的覆蓋背景區(qū)域，以及在前景對(duì)象移動(dòng)方向的結(jié)束端形成的非覆蓋背景區(qū)域，處理單元由位于與前景對(duì)象的移動(dòng)方向一致的至少一條直線上并且范圍從相對(duì)于前景區(qū)域的覆蓋背景區(qū)域外側(cè)到非覆蓋背景區(qū)域外側(cè)的像素?cái)?shù)據(jù)形成；聯(lián)立方程生成步驟，通過(guò)設(shè)置根據(jù)處理單元確定的處理單元內(nèi)像素的像素值，并且設(shè)置通過(guò)用設(shè)定數(shù)目的劃分部分對(duì)混合區(qū)域中的前景對(duì)象成分進(jìn)行劃分而獲得的劃分已知值，生成由多個(gè)關(guān)系表達(dá)式組成的聯(lián)立方程；以及計(jì)算步驟，通過(guò)求解聯(lián)立方程，計(jì)算其中調(diào)整過(guò)運(yùn)動(dòng)模糊量的前景對(duì)象成分。
8.如權(quán)利要求7所述的記錄介質(zhì)，其中，在所述計(jì)算步驟中，通過(guò)利用下面特性從來(lái)自所述直線上混合區(qū)域一端的包含在第二像素中的前景對(duì)象成分減去來(lái)自混合區(qū)域該端的包含在第一像素中的前景對(duì)象成分，從而計(jì)算對(duì)應(yīng)于第二像素的單一前景對(duì)象成分，其中，第二像素在位置上相鄰于第一像素，從與位于該端的像素對(duì)應(yīng)的關(guān)系表達(dá)式，求解聯(lián)立方程，從而計(jì)算其中調(diào)整過(guò)運(yùn)動(dòng)模糊量的前景對(duì)象成分。
9.如權(quán)利要求7所述的記錄介質(zhì)，其中，在所述聯(lián)立方程生成步驟中，根據(jù)按照前景對(duì)象移動(dòng)量的劃分部分?jǐn)?shù)目，生成聯(lián)立方程。
10.一種成像設(shè)備，包括成像裝置，用于輸出主體圖像作為由預(yù)定數(shù)目的像素?cái)?shù)據(jù)形成的圖像數(shù)據(jù)，主體圖像由包括預(yù)定數(shù)目像素的成像器件進(jìn)行拍攝，每個(gè)像素均具有時(shí)間積累功能；處理單元確定裝置，用于根據(jù)圖像數(shù)據(jù)和表示前景區(qū)域、背景區(qū)域和混合區(qū)域的區(qū)域信息，確定處理單元，其中，前景區(qū)域包括圖像數(shù)據(jù)中形成前景對(duì)象的前景對(duì)象成分，背景區(qū)域包括圖像數(shù)據(jù)中形成背景對(duì)象的背景對(duì)象成分，并且混合區(qū)域中混合有圖像數(shù)據(jù)中的前景對(duì)象成分和背景對(duì)象成分，混合區(qū)域包括在前景對(duì)象移動(dòng)方向的起始端形成的覆蓋背景區(qū)域，以及在前景對(duì)象移動(dòng)方向的結(jié)束端形成的非覆蓋背景區(qū)域，處理單元由位于與前景對(duì)象的移動(dòng)方向一致的至少一條直線上并且范圍從相對(duì)于前景區(qū)域的覆蓋背景區(qū)域外側(cè)到非覆蓋背景區(qū)域外側(cè)的像素?cái)?shù)據(jù)形成；聯(lián)立方程生成裝置，用于通過(guò)設(shè)置根據(jù)處理單元確定的處理單元內(nèi)像素的像素值，并且設(shè)置通過(guò)用設(shè)定數(shù)目的劃分部分對(duì)混合區(qū)域中的前景對(duì)象成分進(jìn)行劃分而獲得的劃分已知值，生成由多個(gè)關(guān)系表達(dá)式組成的聯(lián)立方程；以及計(jì)算裝置，用于通過(guò)求解聯(lián)立方程，計(jì)算其中調(diào)整過(guò)運(yùn)動(dòng)模糊量的前景對(duì)象成分。
11.如權(quán)利要求10所述的成像設(shè)備，其中，通過(guò)利用下面特性從來(lái)自所述直線上混合區(qū)域一端的包含在第二像素中的前景對(duì)象成分減去來(lái)自混合區(qū)域該端的包含在第一像素中的前景對(duì)象成分，從而計(jì)算對(duì)應(yīng)于第二像素的單一前景對(duì)象成分，其中，第二像素在位置上相鄰于第一像素，所述計(jì)算裝置根據(jù)與位于該端的像素對(duì)應(yīng)的關(guān)系表達(dá)式，順序求解聯(lián)立方程，從而計(jì)算其中調(diào)整過(guò)運(yùn)動(dòng)模糊量的前景對(duì)象成分。
12.如權(quán)利要求10所述的成像設(shè)備，其中，所述聯(lián)立方程生成裝置根據(jù)按照前景對(duì)象移動(dòng)量的劃分部分?jǐn)?shù)目，生成聯(lián)立方程。
全文摘要
可以調(diào)整包含在模糊圖像中的運(yùn)動(dòng)模糊量。處理單元確定部分(901)確定由位于一行上的像素的像素?cái)?shù)據(jù)形成的處理單元。方程確定部分(903)根據(jù)處理單元從多個(gè)關(guān)系表達(dá)式定義聯(lián)立方程。算術(shù)部分(904)求解聯(lián)立方程以生成其中調(diào)整運(yùn)動(dòng)模糊量的前景對(duì)象成分。本發(fā)明可以應(yīng)用于其中考慮由傳感器產(chǎn)生的信號(hào)與真實(shí)世界之間的差別的圖像處理設(shè)備。
文檔編號(hào)G06T7/00GK1459078SQ02800582
公開(kāi)日2003年11月26日 申請(qǐng)日期2002年2月5日 優(yōu)先權(quán)日2001年2月5日
發(fā)明者近藤哲二郎, 藤原直樹(shù), 石橋淳一, 澤尾貴志, 永野隆浩, 三宅徹, 和田成司 申請(qǐng)人:索尼公司