專利名稱：圖像處理設(shè)備、方法和程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理設(shè)備、方法和程序，并且更特別地，涉及在編輯圖像時剪切對象(subject)并允許該對象移動到任意位置的圖像處理設(shè)備、方法和程序。
背景技術(shù)：
具有自由剪切圖像中的對象并且將該對象自由粘貼到任意位置的編輯功能的軟件已廣泛普及。已經(jīng)提出了包括在以上軟件中的可以通過將多個圖像疊加并因而組合多個對象以提供單一圖像來執(zhí)行編輯的軟件(參見日本未審查專利申請公開第2000-259822號)。而且，已經(jīng)提出了可以通過在圖像中附加各種圖標(biāo)來處理圖像的軟件(參見日本未審查專利申請公開第2006-081224號)。

發(fā)明內(nèi)容
然而，日本未審查專利申請公開第2000-259822號中所公開的技術(shù)僅疊加圖像， 卻不剪切對象或校正原始圖像中的對象的位置。而且，日本未審查專利申請公開第2006-0812 號中所公開的技術(shù)只提供了通過附加具有像星型的特定形狀的圖標(biāo)來進行的處理。例如，該技術(shù)并不剪切對象。鑒于這些情況，需要的是特別在圖像編輯期間自由剪切對象并將該對象粘貼到任意位置。根據(jù)本發(fā)明的實施例的圖像處理設(shè)備包括對象區(qū)域檢測裝置，其用于從輸入圖像中將對象存在的區(qū)域檢測為對象區(qū)域；剪切裝置，其用于從輸入圖像中剪切對象區(qū)域的圖像；優(yōu)先級計算裝置，其用于為輸入圖像計算與對象區(qū)域相關(guān)的邊界上的每個預(yù)定區(qū)域的優(yōu)先級；檢索裝置，其用于從對象區(qū)域的圖像被剪切之后的輸入圖像中檢索與如下預(yù)定區(qū)域的圖像相似的區(qū)域，該預(yù)定區(qū)域具有在與對象區(qū)域相關(guān)的邊界上的預(yù)定區(qū)域的優(yōu)先級當(dāng)中的最高優(yōu)先級；修復(fù)裝置，其用于通過復(fù)制相鄰區(qū)域的圖像并且將通過復(fù)制該相鄰區(qū)域而得到的圖像粘貼到與具有最高優(yōu)先級的預(yù)定區(qū)域相鄰并作為對象區(qū)域而被剪切的區(qū)域上，來修復(fù)對象區(qū)域，該相鄰區(qū)域相鄰于與由檢索裝置檢索到的預(yù)定區(qū)域相似的區(qū)域，并且包括與作為對象區(qū)域而被剪切的區(qū)域相對應(yīng)的區(qū)域；以及合成裝置，其用于組合由剪切裝置所剪切的對象區(qū)域的圖像和具有由修復(fù)裝置所修復(fù)的對象區(qū)域的圖像。圖像處理設(shè)備可以還包括附加區(qū)域輸入裝置，其用于輸入對應(yīng)于對象區(qū)域的附加區(qū)域；以及對象區(qū)域附加裝置，其用于附加具有被附加到對象區(qū)域的附加區(qū)域的區(qū)域作為對象區(qū)域。優(yōu)先級計算裝置可以重新計算與由修復(fù)裝置所修復(fù)的對象區(qū)域相關(guān)的邊界上的每個預(yù)定區(qū)域的優(yōu)先級。檢索裝置可以從對象區(qū)域的圖像被剪切之后的輸入圖像中檢索與如下預(yù)定區(qū)域的圖像相似的區(qū)域，該預(yù)定區(qū)域具有在與對象區(qū)域相關(guān)的邊界上的預(yù)定區(qū)域的所重新計算的優(yōu)先級當(dāng)中的最高優(yōu)先級。修復(fù)裝置可以通過復(fù)制相鄰區(qū)域的圖像并且將通過復(fù)制該相鄰區(qū)域而得到的圖像粘貼到與具有最高優(yōu)先級的預(yù)定區(qū)域相鄰并作為對象區(qū)域而被剪切的區(qū)域上，來修復(fù)對象區(qū)域，該相鄰區(qū)域相鄰于與由檢索裝置檢索到的預(yù)定區(qū)域相似的區(qū)域，并且包括與作為對象區(qū)域而被剪切的區(qū)域相對應(yīng)的區(qū)域。優(yōu)先級計算裝置、檢索裝置和修復(fù)裝置可以重復(fù)它們的處理，直到修復(fù)了對象區(qū)域的全部區(qū)域為止。如果所剪切的圖像的精確度足夠高，則可以省略合成裝置。提供了一種根據(jù)本發(fā)明的另一實施例的圖像處理設(shè)備的圖像處理方法。該圖像處理設(shè)備包括對象區(qū)域檢測裝置，其用于從輸入圖像中將對象存在的區(qū)域檢測為對象區(qū)域；剪切裝置，其用于從輸入圖像中剪切對象區(qū)域的圖像；優(yōu)先級計算裝置，其用于為輸入圖像計算與對象區(qū)域相關(guān)的邊界上的每個預(yù)定區(qū)域的優(yōu)先級；檢索裝置，其用于從對象區(qū)域的圖像被剪切之后的輸入圖像中檢索與如下預(yù)定區(qū)域的圖像相似的區(qū)域，該預(yù)定區(qū)域具有在與對象區(qū)域相關(guān)的邊界上的預(yù)定區(qū)域的優(yōu)先級當(dāng)中的最高優(yōu)先級；修復(fù)裝置，其用于通過復(fù)制相鄰區(qū)域的圖像并且將通過復(fù)制該相鄰區(qū)域而得到的圖像粘貼到與具有最高優(yōu)先級的預(yù)定區(qū)域相鄰并作為對象區(qū)域而被剪切的區(qū)域上，來修復(fù)對象區(qū)域，該相鄰區(qū)域相鄰于與由檢索裝置檢索到的預(yù)定區(qū)域相似的區(qū)域，并且包括與作為對象區(qū)域而被剪切的區(qū)域相對應(yīng)的區(qū)域；以及合成裝置，其用于組合由剪切裝置所剪切的對象區(qū)域的圖像和具有由修復(fù)裝置所修復(fù)的對象區(qū)域的圖像。該圖像處理方法包括以下步驟由對象區(qū)域檢測裝置從輸入圖像中將對象存在的區(qū)域檢測為對象區(qū)域；由剪切裝置從輸入圖像中剪切對象區(qū)域的圖像；由優(yōu)先級計算裝置為輸入圖像計算與對象區(qū)域相關(guān)的邊界上的每個預(yù)定區(qū)域的優(yōu)先級；由檢索裝置從對象區(qū)域的圖像被剪切之后的輸入圖像中檢索與如下預(yù)定區(qū)域的圖像相似的區(qū)域，該預(yù)定區(qū)域具有在與對象區(qū)域相關(guān)的邊界上的預(yù)定區(qū)域的優(yōu)先級當(dāng)中的最高優(yōu)先級；由修復(fù)裝置通過復(fù)制相鄰區(qū)域的圖像并且將通過復(fù)制該相鄰區(qū)域而得到的圖像粘貼到與具有最高優(yōu)先級的預(yù)定區(qū)域相鄰并作為對象區(qū)域而被剪切的區(qū)域上，來修復(fù)對象區(qū)域，該相鄰區(qū)域相鄰于與通過檢索而檢索到的預(yù)定區(qū)域相似的區(qū)域，并且包括與作為對象區(qū)域而被剪切的區(qū)域相對應(yīng)的區(qū)域；以及由合成裝置組合通過剪切所剪切的對象區(qū)域的圖像和具有通過修復(fù)所修復(fù)的對象區(qū)域的圖像。提供了一種根據(jù)本發(fā)明的又一實施例的、可由控制圖像處理設(shè)備的計算機執(zhí)行的圖像處理程序。該圖像處理設(shè)備包括對象區(qū)域檢測裝置，其用于從輸入圖像中將對象存在的區(qū)域檢測為對象區(qū)域；剪切裝置，其用于從輸入圖像中剪切對象區(qū)域的圖像；優(yōu)先級計算裝置，其用于為輸入圖像計算與對象區(qū)域相關(guān)的邊界上的每個預(yù)定區(qū)域的優(yōu)先級；檢索裝置，其用于從對象區(qū)域的圖像被剪切之后的輸入圖像中檢索與如下預(yù)定區(qū)域的圖像相似的區(qū)域，該預(yù)定區(qū)域具有在與對象區(qū)域相關(guān)的邊界上的預(yù)定區(qū)域的優(yōu)先級當(dāng)中的最高優(yōu)先級；修復(fù)裝置，其用于通過復(fù)制相鄰區(qū)域的圖像并且將通過復(fù)制該相鄰區(qū)域而得到的圖像粘貼到與具有最高優(yōu)先級的預(yù)定區(qū)域相鄰并作為對象區(qū)域而被剪切的區(qū)域上，來修復(fù)對象區(qū)域，該相鄰區(qū)域相鄰于與由檢索裝置檢索到的預(yù)定區(qū)域相似的區(qū)域，并且包括與作為對象區(qū)域而被剪切的區(qū)域相對應(yīng)的區(qū)域；以及合成裝置，其用于組合由剪切裝置所剪切的對象區(qū)域的圖像和具有由修復(fù)裝置所修復(fù)的對象區(qū)域的圖像。該圖像處理程序使得計算機執(zhí)行包括以下步驟的處理由對象區(qū)域檢測裝置從輸入圖像中將對象存在的區(qū)域檢測為對象區(qū)域；由剪切裝置從輸入圖像中剪切對象區(qū)域的圖像；由優(yōu)先級計算裝置為輸入圖像計算與對象區(qū)域相關(guān)的邊界上的每個預(yù)定區(qū)域的優(yōu)先級；由檢索裝置從對象區(qū)域的圖像被剪切之后的輸入圖像中檢索與如下預(yù)定區(qū)域的圖像相似的區(qū)域，該預(yù)定區(qū)域具有在與對象區(qū)域相關(guān)的邊界上的預(yù)定區(qū)域的優(yōu)先級當(dāng)中的最高優(yōu)先級；由修復(fù)裝置通過復(fù)制相鄰區(qū)域的圖像并且將通過復(fù)制該相鄰區(qū)域而得到的圖像粘貼到與具有最高優(yōu)先級的預(yù)定區(qū)域相鄰并作為對象區(qū)域而被剪切的區(qū)域上，來修復(fù)對象區(qū)域，該相鄰區(qū)域相鄰于與通過檢索而檢索到的預(yù)定區(qū)域相似的區(qū)域，并且包括與作為對象區(qū)域而被剪切的區(qū)域相對應(yīng)的區(qū)域；以及由合成裝置組合通過剪切所剪切的對象區(qū)域的圖像和具有通過修復(fù)所修復(fù)的對象區(qū)域的圖像。根據(jù)本發(fā)明的再一實施例，從輸入圖像中將對象存在的區(qū)域檢測為對象區(qū)域；從輸入圖像中剪切對象區(qū)域的圖像；為輸入圖像計算與對象區(qū)域相關(guān)的邊界上的每個預(yù)定區(qū)域的優(yōu)先級；從對象區(qū)域的圖像被剪切之后的輸入圖像中檢索與如下預(yù)定區(qū)域的圖像相似的區(qū)域，該預(yù)定區(qū)域具有在與對象區(qū)域相關(guān)的邊界上的預(yù)定區(qū)域的優(yōu)先級當(dāng)中的最高優(yōu)先級；通過復(fù)制相鄰區(qū)域的圖像并且將通過復(fù)制該相鄰區(qū)域而得到的圖像粘貼到與具有最高優(yōu)先級的預(yù)定區(qū)域相鄰并作為對象區(qū)域而被剪切的區(qū)域上，來修復(fù)對象區(qū)域，該相鄰區(qū)域相鄰于與檢索到的預(yù)定區(qū)域相似的區(qū)域，并且包括與作為對象區(qū)域而被剪切的區(qū)域相對應(yīng)的區(qū)域；以及組合所剪切的對象區(qū)域的圖像和具有所修復(fù)的對象區(qū)域的圖像。根據(jù)本發(fā)明的任何實施例的圖像處理設(shè)備可以是單獨提供的設(shè)備或者是執(zhí)行圖像處理的模塊。借助于本發(fā)明的任何實施例，對象可以在圖像編輯期間被剪切并移動到任意位置。


圖1是示出根據(jù)本發(fā)明的實施例的圖像處理設(shè)備的配置示例的框圖；圖2是說明由圖1中的圖像處理設(shè)備執(zhí)行的圖像編輯的示意圖； 圖3是示出對象區(qū)域檢測器的配置示例的框圖； 圖4是示出阿爾法遮掩(mask)圖像生成器的配置示例的框圖；圖5是說明圖4中的阿爾法遮掩圖像生成器的操作的示意圖；圖6是示出剪切單元的配置示例的框圖；圖7是示出遮掩圖像修復(fù)單元的配置示例的框圖；圖8是示出圖像合成單元的配置示例的框圖；圖9是說明由圖1中的圖像處理設(shè)備進行的圖像處理的流程圖；圖10是說明由圖3中的對象區(qū)域檢測器進行的對象區(qū)域檢測處理的流程圖；圖11是說明阿爾法遮掩圖像生成處理的流程圖；圖12是說明阿爾法遮掩圖像生成處理的示意圖；圖13是說明阿爾法遮掩圖像生成處理的示意圖；圖14是說明阿爾法遮掩圖像生成處理的示意圖；圖15是說明阿爾法遮掩圖像生成處理的示意圖；圖16是說明剪切處理的流程圖；圖17是說明剪切處理的示意圖18是說明剪切處理的示意圖；圖19是說明遮掩圖像修復(fù)處理的流程圖；圖20是說明圖像合成處理的流程圖；圖21是示出對象區(qū)域檢測器的另一配置示例的框圖；圖22是說明由圖21中的對象區(qū)域檢測器進行的對象區(qū)域檢測處理的流程圖；以及圖23是說明通用個人計算機的配置示例的示意圖。
具體實施例方式第一實施例圖像處理設(shè)備的配置示例圖1圖示了根據(jù)本發(fā)明的實施例的圖像處理設(shè)備中的硬件的配置示例。圖1中的圖像處理設(shè)備11通過從輸入圖像中剪切作為對象的物體的區(qū)域、修復(fù)剪切之后的區(qū)域并隨后自由移動所剪切的物體區(qū)域的圖像來執(zhí)行編輯。圖像處理設(shè)備11包括對象區(qū)域檢測器21、對象區(qū)域判斷單元22、輔助輸入信息附加單元23、對象區(qū)域設(shè)定單元M、對象剪切單元25、遮掩圖像修復(fù)單元沈、背景圖像存儲單元27、圖像合成單元觀、對象剪切圖像存儲單元四和輸出單元30。圖像處理設(shè)備11還包括顯示處理器31和顯示器32。對象區(qū)域檢測器21檢測輸入圖像中所包括的對象的區(qū)域，并將所檢測到的對象區(qū)域的信息和輸入圖像提供給對象區(qū)域判斷單元22和顯示處理器31。例如，在如圖2中的圖像Pl所示的狗的圖像的情況下，對象區(qū)域檢測器21檢測作為對象的狗的圖像存在的區(qū)域。在圖像Pl中，檢測到基本上包括狗存在的范圍的區(qū)域Z1。然而，在圖像Pl中，由粗線所表示的區(qū)域Zl可能不包括作為對象的狗的圖像的全部范圍，或者可能根本沒有檢測到對象區(qū)域。稍后將參照圖3描述對象區(qū)域檢測器21的詳細配置。對象區(qū)域判斷單元22基于對象區(qū)域檢測器21的檢測結(jié)果，判斷是否檢測到對象區(qū)域。如果由圖像處理設(shè)備11的用戶正確地檢測到對象區(qū)域，并且不再需要輔助輸入，則對象區(qū)域判斷單元22將所提供的對象檢測區(qū)域的信息提供給對象剪切單元25。相反地，如果沒有檢測到對象區(qū)域，或者如果檢測到對象區(qū)域但判斷出需要用戶的輔助輸入，則對象區(qū)域判斷單元22將對象區(qū)域和輸入圖像的信息提供給輔助輸入信息附加單元23。輔助輸入信息附加單元23基于指示信號，接收要被附加到對象區(qū)域的輔助區(qū)域的輸入，并且將輔助區(qū)域附加到對象區(qū)域，該指示信號是響應(yīng)于從作為鼠標(biāo)和/或鍵盤的操作單元34根據(jù)操作內(nèi)容輸出的操作信號而從指示單元33提供的。隨后，輔助輸入信息附加單元23將對象區(qū)域和輔助區(qū)域的信息提供給對象區(qū)域設(shè)定單元M和顯示處理器31。對象區(qū)域設(shè)定單元M通過將輔助區(qū)域附加到所提供的對象區(qū)域來編輯和設(shè)定對象區(qū)域，并且將所設(shè)定的對象區(qū)域提供給對象剪切單元25。具體地，在圖2中的圖像Pl中， 作為對象的狗的范圍沒有通過區(qū)域Zl被完整地檢測為對象區(qū)域。因而，借助于由用戶通過操作單元34所進行的操作，輔助區(qū)域被附加到對象區(qū)域，并且如圖2中的圖像P2中所示地設(shè)定對象區(qū)域。在圖2中的圖像P2中，由實線圓圈所表示的范圍是輔助區(qū)域?？商孢x地， 輔助輸入信息附加單元23可以被布置在對象剪切單元的下游。具體地，可以在對象被剪切之后附加輔助輸入，以校正被剪切的區(qū)域。對象剪切單元25包括阿爾法遮掩圖像生成器41和剪切單元42。對象剪切單元 25從輸入圖像中剪切由對象區(qū)域設(shè)定單元M或?qū)ο髤^(qū)域判斷單元22所提供的對象區(qū)域的圖像作為對象剪切圖像，并且在對象剪切圖像存儲單元四中存儲對象剪切圖像。而且，對象剪切圖像25將對象剪切圖像被剪切之后的輸入圖像作為遮掩圖像提供給遮掩圖像修復(fù)單元26。具體地，對象剪切單元25從圖像P2中所示的對象剪切區(qū)域的信息中獲取對象區(qū)域的完整邊界，剪切例如由圖2中的圖像P3所表示的僅包括狗的對象剪切圖像Dl，并且在對象剪切圖像存儲單元四中存儲對象剪切圖像Dl。而且，對象剪切單元25將不具有對象剪切圖像Dl的圖像P3的遮掩圖像提供給遮掩圖像修復(fù)單元26。稍后將參照圖4和6描述對象剪切單元25的阿爾法遮掩圖像生成器41和剪切單元42的詳細配置示例。遮掩圖像修復(fù)單元沈獲取如下輸入圖像作為遮掩圖像，該輸入圖像包括對象區(qū)域被剪切之后的區(qū)域作為遮掩。遮掩圖像修復(fù)單元26通過使用與對象區(qū)域相關(guān)的邊界附近的輸入圖像的信息，修復(fù)曾經(jīng)是對象區(qū)域的遮掩區(qū)域。因而，遮掩圖像修復(fù)單元沈生成不具有對象的背景圖像，并且在背景圖像存儲單元27中存儲背景圖像。稍后將參照圖7描述遮掩圖像修復(fù)單元26的詳細配置示例。圖像合成單元觀讀取通過由背景圖像存儲單元27修復(fù)遮掩區(qū)域而得到背景圖像；讀取存儲在對象剪切圖像存儲單元四中的對象剪切圖像；合成所讀取的圖像以生成合成圖像；并且將所生成的合成圖像提供給輸出單元30和顯示處理器31。此時，圖像合成單元觀組合這些圖像，同時根據(jù)來自指示單元33的指示內(nèi)容，以各種方式改變對象剪切圖像在背景圖像上的位置。稍后將參照圖8描述圖像合成單元觀的詳細配置示例。輸出單元30將合成圖像輸出到存儲介質(zhì)(諸如硬盤驅(qū)動器(HDD)或半導(dǎo)體存儲器)或輸出到包括其他顯示設(shè)備的外部設(shè)備(未示出)。顯示處理器31將從對象區(qū)域檢測器21和輔助輸入信息附加單元23所提供的對象區(qū)域和輔助區(qū)域的信息與輸入圖像相結(jié)合，并且使得顯示器32顯示合成圖像。顯示器 32可以是液晶顯示器(LCD)或有機電致發(fā)光(EL)顯示器。而且，顯示處理器31使得顯示器32顯示從圖像合成單元觀所提供的合成圖像。因而，用戶可以在觀看顯示器32的同時執(zhí)行系列操作。當(dāng)顯示器32在圖2中的圖像P4中的對象剪切圖像Dl的位置處顯示對象圖像時，例如，如果由通過操作單元34進行的操作將對象圖像移動到對象剪切圖像D2的位置，則執(zhí)行類似圖2中的圖像P4的編輯。當(dāng)做出確定操作時，如由圖像P5中的虛線所示地刪去被顯示為圖像P3中的對象剪切圖像Dl的、作為對象的狗的對象圖像，并且將該圖像編輯為只具有對象剪切圖像D2的圖像。對象區(qū)域檢測器的配置示例接著，以下將參照圖3描述對象區(qū)域檢測器21的配置示例。對象區(qū)域檢測器21包括亮度信息提取器51、顏色信息提取器52、邊緣信息提取器 53、對象信息提取器M、動作信息提取器55、對象映射生成器56和對象區(qū)域指定單元57。亮度信息提取器51至動作信息提取器55各自從所提供的輸入圖像中提取預(yù)定信息，并且基于包括所提取的信息的提取信息圖像，生成表示對象區(qū)域在輸入圖像的每個區(qū)域中的相似性的信息映射。信息映射中所包括的信息是表示在包括對象的區(qū)域中所包括的特征數(shù)量的信息，在該區(qū)域中包括較大的數(shù)量的這些特征。該信息被布置為與輸入圖像的每個區(qū)域相關(guān)聯(lián)，以生成信息映射。也就是說，信息映射是表示在輸入圖像的每個區(qū)域中所包括的特征數(shù)量的信息。對象是在用戶注視輸入圖像時所期待由用戶觀看到的輸入圖像上的物體，S卩，所期待由用戶關(guān)注的物體。因此，對象不一定是人。而且，亮度信息提取器51至動作信息提取器55生成亮度信息映射、顏色信息映射、邊緣信息映射、對象信息映射和動作信息映射作為信息映射。更具體地說，亮度信息提取器51通過使用包括所提供的輸入圖像的Y(亮度)分量的亮度圖像作為提取信息圖像，生成亮度信息映射，并且將亮度信息映射提供給對象映射生成器56。顏色信息提取器52通過使用包括所提供的輸入圖像的Cr分量的Cr圖像和包括所提供的輸入圖像的Cb分量的Cb圖像作為提取信息圖像，生成顏色信息映射，并且將顏色信息映射提供給對象映射生成器56。邊緣信息提取器53通過使用包括所提供的輸入圖像的每個區(qū)域中的邊緣強度的邊緣圖像作為提取信息映射，生成邊緣信息映射，并且將邊緣信息映射提供給對象映射生成器56。對象信息提取器M通過使用包括用于識別所提供的輸入圖像的每個區(qū)域中的對象的信息(例如，如果對象是人的話，與人臉相關(guān)的信息)的圖像作為提取信息圖像，生成臉部信息映射，并且將臉部信息映射提供給對象映射生成器56。動作信息提取器55通過使用包括與所提供的輸入圖像的每個區(qū)域中的動作相關(guān)的信息的圖像作為提取信息圖像，生成動作信息映射，并且將動作信息映射提供給對象映射生成器56。對象映射生成器56通過將從亮度信息提取器51至動作信息提取器55所提供的信息映射附加到一起，生成對象映射，并且將對象映射提供給對象區(qū)域指定單元57。對象映射是用于指定包括輸入圖像中的對象的區(qū)域的信息。對象區(qū)域指定單元57通過使用來自對象映射生成器56的對象映射，在所提供的輸入圖像上指定對象的區(qū)域，并且輸出指定結(jié)果。阿爾法遮掩圖像生成器的配置示例接著，將參照圖4描述對象剪切單元25的阿爾法遮掩圖像生成器41的詳細配置示例。阿爾法遮掩圖像生成器41通過簡單地從輸入圖像中選擇作為要被提取的前景物體圖像的對象圖像和背景圖像，生成用于生成提取對象圖像所需的阿爾法遮掩圖像(表示前景物體圖像的透明度比例的比例圖像)的試映射(tri-map)圖像。阿爾法遮掩圖像生成器41根據(jù)試映射圖像生成阿爾法遮掩圖像。在以下描述中，對象圖像有時被稱為前景圖像或前景物體圖像，并且對象圖像之外的圖像也可以被稱為背景圖像。阿爾法遮掩圖像生成器41包括輸入圖像獲取單元71、二值遮掩圖像生成器72、 擴展試映射圖像生成器73、阿爾法遮掩圖像生成器74、試映射圖像更新單元75、收斂 (settlement)判斷單元76和輸出單元77。輸入圖像獲取單元71獲取輸入圖像作為如下輸入圖像I，該輸入圖像I包括作為要被提取的對象圖像的前景物體圖像。輸入圖像獲取單元71將所獲取的輸入圖像I提供給二值遮掩圖像生成器72、擴展試映射圖像生成器73和阿爾法遮掩圖像生成器74。二值遮掩圖像生成器72基于從對象區(qū)域判斷單元22或?qū)ο髤^(qū)域設(shè)定單元M所提供的對象區(qū)域設(shè)定信息，根據(jù)輸入圖像I生成二值遮掩圖像B，并且將二值遮掩圖像B提供給擴展試映射圖像生成器73。更具體地說，對應(yīng)于圖2中的圖像P2，通過例如圖5中的圖像I’中所示地使用矩形框F(在圖2中，由對象區(qū)域設(shè)定單元M所設(shè)定的區(qū)域Z2)來從圖5中的輸入圖像I中選擇要被提取的前景物體圖像。在該情況下，在圖5中的輸入圖像I’中，選擇框F中的小狗的圖像作為前景物體圖像，并且選擇框F外的范圍作為背景圖像。當(dāng)針對輸入圖像I’進行抓取剪切處理時，二值遮掩圖像生成器72通過使用基于前景物體圖像和背景圖像中的采樣顏色的統(tǒng)計信息(分布的偏差)來分離前景物體圖像。也就是說，二值遮掩圖像生成器72分離前景物體圖像，使得前景物體圖像和背景圖像之間的邊界位于輸入圖像I’中的框F中的邊緣部分處。因此，如果像素的標(biāo)簽與前景物體圖像和背景圖像相關(guān)聯(lián)地為1或0，則二值遮掩圖像生成器72將具有標(biāo)簽1的前景物體圖像中的區(qū)域的像素值確定為白色，并且將具有標(biāo)簽0的其他像素值確定為黑色。借助于該處理，二值遮掩圖像生成器72生成如圖5的右上部分中所示的二值遮掩圖像B。擴展試映射圖像生成器73根據(jù)輸入圖像I和二值遮掩圖像B設(shè)定在前景物體圖像和背景圖像之間的邊界處具有預(yù)定寬度的未確定區(qū)域。特別地，擴展試映射圖像生成器 73將如下區(qū)域中的像素設(shè)定為未確定像素，該區(qū)域位于限定了前景物體圖像的區(qū)域和限定了背景圖像的區(qū)域之間的邊界附近，沿該邊界延伸，并且具有預(yù)定像素數(shù)目的寬度。因此， 生成了試映射圖像T，試映射圖像T包括三種類型的像素，S卩，屬于前景物體圖像的像素(標(biāo)簽=1)，屬于背景圖像的像素(標(biāo)簽=0)，以及未確定像素(標(biāo)簽=-1)。也就是說，擴展試映射圖像生成器73生成如圖5的左下部分中所示的包括三元 (ternary)像素的試映射圖像T，并且將試映射圖像T提供給阿爾法遮掩圖像生成器74。在圖5中的試映射圖像T中，將具有標(biāo)簽=1的前景物體圖像的區(qū)域中的像素值設(shè)定為白色 (最大像素值)。而且，將具有標(biāo)簽=0的背景圖像的區(qū)域中的像素值設(shè)定為黑色(最小像素值)。另外，將具有標(biāo)簽=-1的未確定區(qū)域中的像素值設(shè)定為灰色(中間像素值)。擴展試映射圖像生成器73將所生成的試映射圖像T提供給阿爾法遮掩圖像生成器74和收斂判斷單元76。阿爾法遮掩圖像生成器74在初始化處理中從擴展試映射圖像生成器73獲取試映射圖像T。而且，阿爾法遮掩圖像生成器74在初始化處理之后的處理中獲取從收斂判斷單元76所提供的試映射圖像T。而且，阿爾法遮掩圖像生成器74針對試映射圖像T執(zhí)行魯棒摳圖(robust matting)處理(參見 Jue Wang、MF Cohen 的 Optimized ColorSampling for Robust Matting, Computer Vision and Pattern Recognition，2007)，以生成如圖 5 的右下部分所示的阿爾法遮掩圖像A，并且將阿爾法遮掩圖像A提供給試映射圖像更新單元75和收斂判斷單元76。阿爾法遮掩圖像A是如下圖像，其中前景物體圖像的透明度α表達為α = 1， 背景圖像的透明度α表達為α =0，并且這些透明度α的中間透明度α基于像素表達為
0 < α <1。特別地，圖5中所示的作為前景物體圖像(對象圖像)的小狗覆蓋有長毛，并且毛的部分充當(dāng)與背景區(qū)域相關(guān)的邊界。前景物體圖像和背景圖像之間的邊界附近的像素具有包括前景區(qū)域中的小狗的毛的顏色和背景區(qū)域的顏色的混合顏色。對此，邊界附近的像素的透明度α常常符合0 < α < 1。因此，透明度α可以被看作輸入圖像的邊界區(qū)域中的像素的顏色的混合比例當(dāng)中前景物體區(qū)域的顏色的合成比例。試映射圖像更新單元75通過將具有0 < α < 1的透明度α的像素和該像素附近的像素確定為阿爾法遮掩圖像A中的未確定區(qū)域中的像素，生成試映射圖像Τ’。試映射圖像更新單元75將新生成的試映射圖像Τ’作為試映射圖像T的更新結(jié)果提供給收斂判斷單元76。收斂判斷單元76比較由試映射圖像更新單元75更新之前的試映射圖像T和由試映射圖像更新單元75所更新的試映射圖像Τ’，并且判斷這些試映射圖像是否彼此相同(或者是否基本上彼此相同)。更具體地說，收斂判斷單元76判斷更新之前的試映射圖像T的前景物體圖像(對象圖像)、未確定像素和背景圖像的分布是否與更新后的試映射圖像Τ’ 的前景物體圖像(對象圖像)、未確定像素和背景圖像的分布一致。如果這些試映射圖像不一致或者不基本上彼此一致，則收斂判斷單元76將試映射圖像Τ’作為試映射圖像T與判斷結(jié)果一起提供給阿爾法遮掩圖像生成器74。相反，如果收斂判斷單元76判斷這些試映射圖像彼此相同，則收斂判斷單元76將試映射圖像Τ’作為試映射圖像T與可以通過針對試映射圖像Τ’執(zhí)行魯棒摳圖而得到的阿爾法遮掩圖像A —起提供給輸出單元77。輸出單元77輸出從收斂判斷單元76所提供的試映射圖像T和通過針對試映射圖像T(T’ )執(zhí)行魯棒摳圖而得到的阿爾法遮掩圖像A作為處理結(jié)果。也就是說，輸入圖像I的每個像素乘以二值遮掩圖像B的值，并且因而可以提取小狗的圖像作為前景物體圖像。然而，如果通過該方法提取前景物體圖像，則作為前景物體圖像的小狗的外緣部分的毛的部分可能包括原本存在于背景圖像中的顏色污點。因此，例如， 當(dāng)該圖像與其他圖像相組合時，所提取的前景物體圖像可能看起來不自然。因而，圖像處理設(shè)備1重復(fù)如下處理通過例如魯棒摳圖來根據(jù)試映射圖像T生成阿爾法遮掩圖像Α，并且根據(jù)所生成的阿爾法遮掩圖像A得到試映射圖像Τ’。圖像處理設(shè)備1重復(fù)相似的處理，直到試映射圖像T和Τ’變得彼此相同或者基本上相同并且試映射圖像T和Τ’之間的變化收斂為止，使得圖像處理設(shè)備1得到適當(dāng)?shù)脑囉成鋱D像，并且從而得到對應(yīng)于試映射圖像的最優(yōu)阿爾法遮掩圖像。剪切單元的配置示例剪切單元42可以基于阿爾法遮掩圖像(表示作為對象圖像的前景物體圖像的透明度比例的比例圖像)Α，從輸入圖像I中提取不具有顏色污點的前景物體圖像(對象圖像)F。阿爾法遮掩圖像A是由阿爾法遮掩圖像生成器41生成的。剪切單元42包括輸入圖像獲取單元81、阿爾法遮掩圖像獲取單元82、確定值映射生成器83、像素權(quán)重映射生成器84、估計前景顏色圖像生成器85、拉普拉斯算子矩陣生成器86、能量函數(shù)生成器87、前景顏色圖像生成器88和遮掩圖像生成器89。輸入圖像獲取單元81獲取包括作為要被提取的對象圖像的前景物體圖像的輸入圖像I，并且將所獲取的輸入圖像I提供給確定值映射生成器83和估計前景顏色圖像生成器85。阿爾法遮掩圖像獲取單元82獲取阿爾法遮掩圖像(表示前景物體圖像的透明度比例的比例圖像)Α，其包括從阿爾法遮掩圖像生成器41所提供的前景物體圖像的以像素為單位表示透明度α的值(以下，也稱為α值)。隨后，阿爾法遮掩圖像獲取單元82將所獲取的阿爾法遮掩圖像A提供給確定值映射生成器83、像素權(quán)重映射生成器84、估計前景顏色圖像生成器85和拉普拉斯算子矩陣生成器86。稍后將參照圖2描述估計前景顏色圖像生成器85的詳細配置。確定值映射生成器83根據(jù)阿爾法遮掩圖像A和輸入圖像I生成確定值映射圖像 S。確定值映射圖像S包括被確定為作為對象圖像的前景物體圖像或者背景圖像的第一像素值的像素以及不屬于第一像素值的第二像素值的像素。隨后，確定值映射生成器83將所生成的確定值映射圖像S提供給像素權(quán)重映射生成器84和估計前景顏色圖像生成器85。 此處，不屬于前景物體圖像或背景圖像的像素是期待具有前景物體圖像中的顏色和背景圖像中的顏色的混合顏色的像素。例如，在確定值映射圖像S中，第一像素值被設(shè)定為1并且第二像素值被設(shè)定為0。此外，確定值映射生成器83將信息附加到確定值映射圖像S中的確定像素。該信息是用于識別確定像素是屬于前景物體圖像的像素還是屬于背景圖像的像像素權(quán)重映射生成器84根據(jù)確定值映射圖像S和阿爾法遮掩圖像A生成像素權(quán)重映射圖像Ds，并且將所生成的像素權(quán)重映射圖像Ds提供給能量函數(shù)生成器87。更具體地說，像素權(quán)重映射生成器84通過將與確定值映射圖像S中的未確定區(qū)域中的像素相對應(yīng)的阿爾法遮掩圖像A的像素值(即透明度α)設(shè)定為像素的權(quán)重，生成像素權(quán)重映射圖像 Ds。估計前景顏色圖像生成器85根據(jù)輸入圖像I、阿爾法遮掩圖像A和確定值映射圖像S生成估計前景顏色圖像F~，并且將所生成的估計前景顏色圖像F"提供給能量函數(shù)生成器87。更具體地說，估計前景顏色圖像85針對分別與確定值映射圖像S中的未確定區(qū)域中的像素相對應(yīng)的阿爾法遮掩圖像A的像素，通過Sobel濾波器來得到微分值。隨后，當(dāng)假設(shè)距離是從每個未確定像素到確定區(qū)域的邊界處的像素的路徑上存在的未確定像素的微分值的積分值時，估計前景顏色圖像生成器85將具有最小距離的確定像素設(shè)定為每個未確定像素的像素值。因此，當(dāng)距離是對應(yīng)于未確定像素的微分值的積分值時，可以得到包括具有最小距離的前景物體圖像的像素位置處的像素值的圖像，作為估計前景顏色圖像F~。拉普拉斯算子矩陣生成器86基于例如目標(biāo)像素的位置周圍的外圍像素的平均值和偏差，根據(jù)阿爾法遮掩圖像A來假定局部區(qū)域中的前景物體圖像和背景圖像的像素值的線性模型；計算外圍像素的貢獻度；并且生成拉普拉斯算子矩陣L。拉普拉斯算子矩陣L是具有對應(yīng)于阿爾法遮掩圖像A的所有像素的數(shù)目的行數(shù)和列數(shù)的正定對稱稀疏矩陣。拉普拉斯算子矩陣L的每個分量具有例如與相鄰像素相關(guān)的權(quán)重。假定線性模型使得在3X3像素的小區(qū)域中前景物體圖像的顏色和背景圖像的顏色是基本上恒定的，而只有α值是變化的。拉普拉斯算子矩陣L的每個分量通過中心像素周圍3X3像素的小區(qū)域的平均值和偏差來計算。該分量可以由中心像素的α值應(yīng)該與相鄰像素的α值相似的程度來定義。關(guān)于拉普拉斯算子矩陣L的細節(jié)，例如參見A. LeviruD. Lischinski、Y. Weiss 的 A Closed Form Solution to Natural Image Matting,2006Conference on Computer Vision and Pattern Recognition (CVPR 2006)，2006 年六月，61-68 頁。能量函數(shù)生成器87基于像素權(quán)重映射圖像Ds、拉普拉斯算子矩陣L和估計前景顏色圖像F~，通過使用前景顏色圖像F的RGB的顏色圖像Fc的向量χ作為參數(shù)來生成能量函數(shù)E，并且將所生成的能量函數(shù)E提供給前景顏色圖像生成器88。
前景顏色圖像生成器88得到具有最小能量函數(shù)E的RGB的顏色圖像Fc的向量X， 根據(jù)各個顏色的向量X得到前景顏色圖像F，并且輸出前景顏色圖像F作為從輸入圖像I中由阿爾法遮掩圖像A所定義的前景物體圖像。前景顏色圖像F是基于最終提取的阿爾法遮掩圖像A而從輸入圖像I中所提取的前景物體圖像。遮掩圖像生成器89從輸入圖像中剪切作為前景物體圖像的對象圖像；生成遮掩圖像，并且將遮掩圖像提供給遮掩圖像修復(fù)單元26。遮掩圖像修復(fù)單元的配置示例接著，以下將參照圖7描述遮掩圖像修復(fù)單元沈的配置示例。遮掩圖像修復(fù)單元沈包括輸入圖像存儲單元101、遮掩邊界設(shè)定單元102、遮掩邊界信息存儲單元103、區(qū)域優(yōu)先級計算器104、最高優(yōu)先級區(qū)域選擇器105、塊匹配處理器106、修復(fù)單元107、背景圖像輸出單元108、遮掩圖像獲取單元109和遮掩圖像存儲單元 110。輸入圖像存儲單元101存儲所提供的輸入圖像，并且將輸入圖像提供給遮掩邊界設(shè)定單元102和塊匹配處理器106。遮掩圖像獲取單元109獲取從對象剪切單元25所提供的遮掩圖像，并且在遮掩圖像存儲單元110中存儲遮掩圖像。遮掩邊界設(shè)定單元102讀取存儲在遮掩圖像存儲單元110中的遮掩圖像，設(shè)定在遮掩區(qū)域的邊界處存在的輸入圖像的區(qū)域，并且將遮掩圖像與所設(shè)定的遮掩邊界的信息一起提供給區(qū)域優(yōu)先級計算器104。區(qū)域優(yōu)先級計算器104將輸入圖像中的與遮掩圖像相關(guān)的邊界區(qū)域劃分成多個預(yù)定區(qū)域；針對所劃分的預(yù)定區(qū)域分別計算優(yōu)先級；并且將優(yōu)先級提供給最高優(yōu)先級區(qū)域選擇器105。區(qū)域優(yōu)先級計算器104可以首先處理具有很多邊緣區(qū)域的塊。關(guān)于用于由區(qū)域優(yōu)先級計算器104計算優(yōu)先級的方法的細節(jié)，參見A. Criminisi, P. Perez、K. Toyama的 ObjectRemoval by Exemplar-Based Inpainting, CVPR 2003。最高優(yōu)先級區(qū)域選擇器105從針對預(yù)定區(qū)域分別計算的優(yōu)先級當(dāng)中選擇具有優(yōu)先級的最大值(最高優(yōu)先級)的預(yù)定區(qū)域，并且將所選擇的區(qū)域的信息提供給塊匹配處理器 106。塊匹配處理器106通過使用具有最高優(yōu)先級的預(yù)定區(qū)域的圖像信息來驗證遮掩區(qū)域，并且通過塊匹配來檢索與具有最高優(yōu)先級的預(yù)定區(qū)域的圖像相似的圖像的區(qū)域。隨后，塊匹配處理器106將相鄰區(qū)域的信息提供給修復(fù)單元107，相鄰區(qū)域相鄰于與具有最高優(yōu)先級的預(yù)定區(qū)域最相似的區(qū)域，并且相鄰于如下位置，該位置與相鄰于該預(yù)定區(qū)域的遮掩區(qū)域相對應(yīng)。修復(fù)單元107從遮掩圖像存儲單元110中讀取遮掩圖像，并且將從塊匹配處理器 106所提供的相鄰區(qū)域的信息粘貼到如下區(qū)域上，以修復(fù)遮掩區(qū)域該區(qū)域是具有最高優(yōu)先級的預(yù)定區(qū)域，并且相鄰于與遮掩區(qū)域相對應(yīng)的位置。而且，修復(fù)單元107更新所修復(fù)的遮掩圖像的信息，并且在遮掩圖像存儲單元110中存儲所修復(fù)的信息。當(dāng)重復(fù)處理系列并且全部修復(fù)了遮掩區(qū)域時，修復(fù)單元107將修復(fù)的完成通知背景圖像輸出單元108，并且將存儲在遮掩圖像存儲單元110中的所修復(fù)的遮掩圖像存儲在背景圖像存儲單元27中作為背景圖像。圖像合成單元的配置示例接著，以下將參照圖8描述圖像合成單元觀的配置示例。圖像合成單元觀包括對象圖像梯度計算器121、背景圖像梯度計算器122、泊松方程生成器123、泊松方程運算器IM和合成處理器125。對象圖像梯度計算器121讀取存儲在對象剪切圖像存儲單元四中的對象剪切圖像，根據(jù)像素值或亮度值的分布得到對象圖像中的像素值或亮度值的梯度，并且將所得到的梯度提供給泊松方程生成器123。背景圖像梯度計算器122讀取存儲在背景圖像存儲單元27中的背景圖像，根據(jù)像素值或亮度值的分布得到背景圖像中的像素值或亮度值的梯度，并且將所得到的梯度提供給泊松方程生成器123。泊松方程生成器123通過使用對象剪切圖像的梯度的運算結(jié)果和背景圖像的梯度的運算結(jié)果，生成泊松方程，并且將所生成的泊松方程提供給泊松方程運算器124。泊松方程運算器IM通過算術(shù)運算來求解從泊松方程生成器123所提供的泊松方程，得到作為對象剪切圖像和背景圖像的合成結(jié)果而生成的邊界附近的分布，并且將運算結(jié)果提供給合成處理器125。合成處理器125根據(jù)泊松方程運算器IM的運算結(jié)果生成對象剪切圖像和背景圖像的合成圖像，并且將合成圖像提供給顯示處理器31，以在顯示器32上顯示合成圖像。也就是說，圖像合成單元觀通過所謂的泊松圖像合成處理，組合對象剪切圖像和背景圖像。圖像編輯處理接著，將參照圖9中的流程圖描述由圖1中的圖像處理設(shè)備11所進行的圖像編輯處理。在步驟Sll中，對象區(qū)域檢測器21執(zhí)行對象區(qū)域檢測處理，以從輸入圖像中檢測對象存在的區(qū)域，將檢測結(jié)果提供給對象區(qū)域判斷單元22并提供給顯示處理器31，并且在顯示器32上顯示檢測結(jié)果。此時，顯示處理器31在輸入圖像上疊加對象區(qū)域檢測結(jié)果，使得顯示器32顯示如圖2中的圖像Pl中所示的圖像。稍后將參照圖10中的流程圖描述對象區(qū)域檢測處理的細節(jié)。要注意的是，只要足以得到對象檢測結(jié)果，就不一定要顯示對象檢測結(jié)果。在步驟S12中，對象區(qū)域判斷單元22獲取從對象區(qū)域檢測器21所提供的對象區(qū)域檢測處理的處理結(jié)果，并且基于處理結(jié)果判斷是否在輸入圖像中檢測到對象區(qū)域。如果未由對象區(qū)域檢測處理檢測到對象存在的區(qū)域，則在步驟S13中，對象區(qū)域判斷單元22使得顯示處理器31在顯示器32上向用戶顯示用于輸入補充對象區(qū)域的輔助區(qū)域的請求。此外，對象區(qū)域判斷單元22根據(jù)與操作單元34的操作內(nèi)容相對應(yīng)的來自指示單元33的指示內(nèi)容，指示輔助輸入信息附加單元23以接收被附加到對象區(qū)域的輔助區(qū)域的輸入。即使檢測到對象區(qū)域，例如當(dāng)對象區(qū)域?qū)τ谌鐖D2中的圖像Pl中所示的作為對象的狗的圖像是不充分的時，用戶也可以確定未檢測到對象區(qū)域，并且用戶可以通過借助于操作單元34的操作來附加輔助區(qū)域的信息。在步驟S14中，輔助輸入信息附加單元23判斷是否輸入了響應(yīng)于與操作單元34 的操作內(nèi)容相對應(yīng)的指示單元33的指示信號來補充對象區(qū)域的輔助區(qū)域。在步驟S14中， 例如，如果操作了操作單元34，并且輸入了輔助區(qū)域，但是沒有輸入表示輸入操作的結(jié)束的信息，則重復(fù)步驟S13和S14中的處理，并且在顯示器32上持續(xù)顯示用于輸入輔助區(qū)域的請求的圖像。在步驟S14中，如由圖2中的圖像P2中的圓圈所表示的，如果由借助于操作單元34的操作來附加輔助區(qū)域，使得對象的狗的全部區(qū)域成為對象區(qū)域，并且指示了結(jié)束， 則認為指出了對象區(qū)域，并且處理前進到步驟S15。要注意的是，步驟S13和S14中的處理可以在步驟S16中的剪切處理(稍后描述)之后執(zhí)行。換言之，可以為剪切結(jié)果提供輔助輸入。在步驟S15中，輔助輸入信息附加單元23將所附加的輔助區(qū)域的信息和對象檢測結(jié)果提供給對象區(qū)域設(shè)定單元對。對象區(qū)域設(shè)定單元M通過將輔助區(qū)域附加到作為對象檢測結(jié)果的對象區(qū)域來更新對象區(qū)域，并且將所更新的對象區(qū)域提供給對象剪切單元25。 對象剪切單元25控制阿爾法遮掩圖像生成器41以使得阿爾法遮掩圖像生成器41執(zhí)行阿爾法遮掩圖像生成處理，并且因而生成阿爾法遮掩圖像。在步驟S12中，如果檢測到對象區(qū)域，則跳過步驟S13和S14中的處理，并且在步驟S15中，對象區(qū)域判斷單元22將對象區(qū)域的檢測結(jié)果提供給對象剪切單元25。對象剪切單元25基于作為對象區(qū)域檢測處理的處理結(jié)果的對象區(qū)域的信息，控制阿爾法遮掩圖像生成器41以執(zhí)行阿爾法遮掩圖像生成處理，并且因而生成阿爾法遮掩圖像。稍后將參照圖 11中的流程圖描述阿爾法遮掩圖像生成處理的細節(jié)。在步驟S16中，對象剪切單元25控制剪切單元42以使用阿爾法遮掩圖像和輸入圖像來執(zhí)行剪切處理，使得從輸入圖像中剪切對象區(qū)域，并且在對象剪切圖像存儲單元四中存儲對象區(qū)域作為對象剪切圖像。而且，剪切單元42使得遮掩圖像修復(fù)單元沈輸出遮掩圖像，其中通過由剪切處理從輸入圖像中剪切對象剪切圖像而得到的區(qū)域充當(dāng)遮掩區(qū)域。 稍后將參照圖16中的流程圖描述剪切處理的細節(jié)。在步驟S17中，遮掩圖像修復(fù)單元沈執(zhí)行遮掩圖像修復(fù)處理，并且生成背景圖像， 在遮掩圖像修復(fù)處理中，基于輸入圖像來修復(fù)通過從輸入圖像中剪切對象剪切圖像而得到的遮掩區(qū)域。遮掩圖像修復(fù)單元沈在背景圖像存儲單元27中存儲所生成的背景圖像。稍后將參照圖19中的流程圖描述遮掩圖像修復(fù)處理的細節(jié)。在步驟S18中，圖像合成單元28通過使用對象剪切圖像存儲單元四中的對象剪切圖像和背景圖像存儲單元27中的背景圖像，執(zhí)行圖像合成處理，組合對象剪切圖像和背景圖像，并且將合成圖像輸出到顯示處理器31。而且，圖像合成單元觀根據(jù)操作單元34的操作內(nèi)容，通過輸出單元30將合成圖像輸出到外部設(shè)備。稍后將參照圖20中的流程圖描述圖像合成處理的細節(jié)。在步驟S19中，顯示處理器31使得顯示器32顯示從圖像合成單元28所提供的合成圖像。在步驟S20中，圖像合成單元觀通過借助于操作單元34的操作來判斷是否指示了圖像編輯處理的結(jié)束。例如，如果未做出用于結(jié)束的指示，則處理前進到步驟S21。在步驟S21中，圖像合成單元觀判斷是否通過借助于操作單元34的操作由對象剪切圖像的操作再次指出并移動了對象剪切圖像在圖像上的位置。例如，如圖2中的圖像 P4中所示，如果通過借助于操作單元34的操作將作為狗的對象從對象剪切圖像Dl移動到對象剪切圖像D2，則認為發(fā)生了移動，并且處理返回步驟S18，在步驟S18中，針對被移動的位置執(zhí)行圖像合成處理。隨后，通過步驟S19中的處理，生成并且在顯示器32上顯示合成圖像，其中如圖2中的圖像P5中所示，對象被移動到對象剪切圖像D2。相反地，在步驟S20中，如果指示了處理的結(jié)束，則處理結(jié)束。
當(dāng)通過上述處理在輸入圖像中設(shè)定了對象區(qū)域時，對象可以在作為對象剪切圖像的圖像上被自由移動。而且，因為修復(fù)了當(dāng)移動對象區(qū)域圖像時在輸入圖像中所生成的遮掩區(qū)域，所以可以在希望的位置處組合所剪切的對象剪切圖像。對象區(qū)域檢測處理接著，將參照圖10中流程圖描述對象區(qū)域檢測處理。在步驟S31中，亮度信息提取器51執(zhí)行其中基于所提供的輸入圖像生成亮度信息映射的亮度信息提取處理，并且將所生成的亮度信息映射提供給對象映射生成器56。在步驟S32中，顏色信息提取器52執(zhí)行其中基于所提供的輸入圖像生成顏色信息映射的顏色信息提取處理，并且將所生成的顏色信息映射提供給對象映射生成器56。在步驟S33中，邊緣信息提取器53執(zhí)行其中基于所提供的輸入圖像生成邊緣信息映射的邊緣信息提取處理，并且將所生成的邊緣信息映射提供給對象映射生成器56。在步驟S34中，對象信息提取器M執(zhí)行其中基于所提供的輸入圖像生成對象信息映射的對象信息提取處理，并且將所生成的對象信息映射提供給對象映射生成器56。在步驟S35中，動作信息提取器陽執(zhí)行其中基于所提供的輸入圖像生成動作信息映射的動作信息提取處理， 并且將所生成的動作信息映射提供給對象映射生成器56。更具體地說，如果未將時間上持續(xù)捕獲的輸入圖像提供給動作信息提取器55，則不執(zhí)行動作信息提取處理。在步驟S36中，對象映射生成器56通過借助于權(quán)重將從亮度信息提取器51至動作信息提取器陽所提供的亮度信息映射至動作信息映射附加到一起，生成對象映射，并且將所生成的對象映射提供給對象區(qū)域指定單元57。例如，對象映射生成器56通過使用作為先前分別針對這些信息映射所得到的權(quán)重的信息權(quán)重恥，線性組合這些信息映射。也就是說，當(dāng)假設(shè)通過線性組合所得到的信息映射中的預(yù)定像素是目標(biāo)像素時，目標(biāo)像素的像素值是通過將與目標(biāo)像素的位置相同的位置處的各個信息映射的像素的像素值乘以針對各個信息映射的信息權(quán)重恥而得到的值的總和。接著，對象映射生成器56將具有sigmoid函數(shù)的運算處理應(yīng)用于通過線性組合所得到的信息映射(以下，也稱為線性組合信息映射)中的每個像素的像素值。更具體地說，對象映射生成器56預(yù)先保存通過sigmoid函數(shù)的表格化所得到的轉(zhuǎn)換表格。轉(zhuǎn)換表格包括作為輸入的預(yù)定值和通過將預(yù)定值代入sigmoid函數(shù)而得到的輸出值。如果通過轉(zhuǎn)換表格來轉(zhuǎn)換線性組合信息映射，則可以得到與借助于sigmoid函數(shù)來轉(zhuǎn)換線性組合信息映射時所得到的信息映射相似的信息映射。例如，sigmoid函數(shù)被看作如下表達式(1)中示出的雙曲正切函數(shù)f (x) = aXtanh(xXb). . . (1),其中，a和b是預(yù)定常數(shù)，并且χ是要被轉(zhuǎn)換的線性組合信息映射中的像素的像素值。當(dāng)雙曲正切函數(shù)是sigmoid函數(shù)時，設(shè)想轉(zhuǎn)換表格使得輸入值χ的范圍限于從-2 到2的范圍，并且輸入值χ是通過基于1/128的離散化得到的。借助于該轉(zhuǎn)換表格，如果輸入值χ小于_2，則輸入值χ被處理為_2，并且如果輸入值χ大于2，則輸入值χ被處理為2。 此外，借助于轉(zhuǎn)換表格，輸入值χ越大，輸出值f(x)越大。
對象映射生成器56通過將線性組合信息映射中的像素的像素值從像素值x(輸入值X)改變?yōu)閷?yīng)于像素值X的輸出值f(x)，轉(zhuǎn)換線性組合信息映射。也就是說，對象映射生成器56將通過使用轉(zhuǎn)換表格而轉(zhuǎn)換的線性組合信息映射看作是對其應(yīng)用了借助于 sigmoid函數(shù)的運算處理的線性組合信息映射。如上所述，通過使用轉(zhuǎn)換表格來轉(zhuǎn)換線性組合信息映射，與借助于實際使用 sigmoid函數(shù)執(zhí)行的轉(zhuǎn)換的情況相比，可以更簡單快速地執(zhí)行針對線性組合信息映射的轉(zhuǎn)換。此外，對象映射生成器56將借助于轉(zhuǎn)換表格所轉(zhuǎn)換的線性組合信息映射中的每個像素的像素值乘以作為為每個像素值預(yù)先得到的權(quán)重的對象權(quán)重Wc，并且因而得到對象映射。特別地，如果將要得到的對象映射中的感興趣的像素假設(shè)為目標(biāo)像素，則通過將位于與經(jīng)轉(zhuǎn)換的線性組合信息映射中的目標(biāo)像素相同位置處的像素的像素值乘以對象權(quán)重Wc而得到的值是目標(biāo)像素的像素值。更具體地說，用于生成對象映射的顏色信息映射包括Cr的顏色信息映射和Cb的顏色信息映射，并且邊緣信息映射包括在0、45、90和135度方向上的邊緣信息。而且，信息權(quán)重Wb和對象權(quán)重Wc是通過學(xué)習(xí)預(yù)先得到的。當(dāng)以這種方式生成了對象映射時，將對象映射從對象映射生成器56提供給對象區(qū)域指定單元57，并且處理前進到步驟S37。在步驟S37中，對象區(qū)域指定單元57通過使用從對象映射生成器56所提供的對象映射，指定所提供的輸入圖像上的對象的區(qū)域。例如，對象映射中的像素的像素值越大，與該像素相同位置處的輸入圖像中的像素的區(qū)域越有可能是對象的區(qū)域。在該情況下，對象區(qū)域指定單元57從對象映射中檢測包括彼此相鄰的像素、具有等于或大于預(yù)定閾值的像素值、并且具有預(yù)定面積(預(yù)定數(shù)目的像素)的區(qū)域，并且認為對應(yīng)于所檢測的區(qū)域的輸入圖像中的區(qū)域是包括對象的區(qū)域。當(dāng)對象區(qū)域指定單元57從輸入圖像中檢測到包括對象的區(qū)域時，對象區(qū)域指定單元57將檢測結(jié)果輸出到隨后的處理，并且結(jié)束對象區(qū)域指定處理?？商孢x地，對象區(qū)域指定單元57可以通過使用對象區(qū)域的檢測結(jié)果來針對輸入圖像應(yīng)用預(yù)定處理，并且輸出結(jié)果。以這種方式，根據(jù)輸入圖像生成對象映射，并且通過使用對象映射來指定輸入圖像中的對象的區(qū)域。阿爾法遮掩圖像生成處理接著，將參照圖11中的流程圖描述阿爾法遮掩圖像生成處理。在步驟S51中，輸入圖像獲取單元71判斷是否提供了輸入圖像I，并且重復(fù)相似的處理直到提供了輸入圖像為止。如果輸入了輸入圖像I，則處理前進到步驟S52。在步驟S52中，輸入圖像獲取單元71將輸入圖像I提供給二值遮掩圖像生成器 72、擴展試映射圖像生成器73和阿爾法遮掩圖像生成器74。二值遮掩圖像生成器72基于從對象區(qū)域判斷單元22或?qū)ο髤^(qū)域設(shè)定單元M所提供的對象區(qū)域設(shè)定信息，通過劃分作為對象圖像的前景物體圖像，根據(jù)輸入圖像I生成二值遮掩圖像B，并且將二值遮掩圖像B 提供給擴展試映射圖像生成器73。
簡言之，例如，針對作為對象圖像的前景物體圖像的區(qū)域設(shè)定標(biāo)簽=1。要注意的是，不在作為對象圖像的前景物體圖像和背景圖像之間的邊界處設(shè)定未確定區(qū)域。在步驟S53中，擴展試映射圖像生成器73在前景物體圖像和背景圖像之間的邊界附近的位置處設(shè)定具有預(yù)定寬度的未確定區(qū)域。例如，如果未確定區(qū)域的寬度是如果寬度對應(yīng)于數(shù)目w的像素的寬度)，則將標(biāo)簽“_1”應(yīng)用于未確定區(qū)域中的像素。此時，擴展試映射圖像生成器73通過包括針對二值遮掩圖像B中的所有像素的水平方向中的處理和垂直方向中的處理的兩個步驟的處理，得到未確定區(qū)域。具體地，在第一步驟中，擴展試映射圖像生成器73接收二值遮掩圖像B作為輸入， 并且檢查在處理目標(biāo)像素周圍左w個像素和右w個像素的范圍內(nèi)是否存在具有與中心處的處理目標(biāo)像素的標(biāo)簽不同的標(biāo)簽的像素。例如，如果存在具有與處理目標(biāo)像素的標(biāo)簽不同的標(biāo)簽的像素，則擴展試映射圖像生成器73認為處理目標(biāo)像素是包括在未確定區(qū)域中的， 并且應(yīng)用“_1”的標(biāo)簽。相反地，如果在處理目標(biāo)像素周圍左w個像素和右w個像素的范圍內(nèi)不存在具有與中心處的處理目標(biāo)像素的標(biāo)簽不同的標(biāo)簽的像素，則擴展試映射圖像生成器73不做改變地應(yīng)用處理目標(biāo)像素的標(biāo)簽。借助于該處理，擴展試映射圖像生成器73保存通過水平方向中的處理而得到的中間試映射圖像Tl。另外，在第二步驟中，擴展試映射圖像生成器73接收中間試映射圖像Tl作為輸入，并且像水平方向中的處理那樣，檢查在處理目標(biāo)像素周圍上w個像素和下w個像素的范圍內(nèi)是否存在具有與處理目標(biāo)像素的標(biāo)簽不同的標(biāo)簽的像素。例如，如果存在具有與處理目標(biāo)像素的標(biāo)簽不同的標(biāo)簽的像素，則擴展試映射圖像生成器73認為處理目標(biāo)像素是包括在未確定區(qū)域中的，并且放上“_1”的標(biāo)簽，更新試映射圖像Tl，并且生成試映射圖像T。借助于該處理，擴展試映射圖像生成器73通過將未確定像素的標(biāo)簽應(yīng)用于針對二值遮掩圖像B的每個像素的水平方向和垂直方向中的預(yù)定寬度wX2的范圍內(nèi)具有不同標(biāo)簽的像素，生成試映射圖像T。作為結(jié)果，生成了具有在如下區(qū)域中所設(shè)定的特定未確定區(qū)域的試映射圖像T，該區(qū)域在作為對象圖像的前景物體圖像的區(qū)域和背景圖像的區(qū)域之間的邊界附近。擴展試映射圖像生成器73將試映射圖像T提供給阿爾法遮掩圖像生成器74、試映射圖像更新單元75和收斂判斷單元76。在步驟S54中，阿爾法遮掩圖像生成器74基于試映射圖像T，例如通過魯棒摳圖 (參見 Jue Wang> MF Cohen 的 Optimized Color Samplingfor Robust Matting, Computer Vision and Pattern Recognition, 2007)生成阿爾法遮掩圖像A，并且將阿爾法遮掩圖像 A提供給試映射圖像更新單元75。在步驟S55中，試映射圖像更新單元75執(zhí)行其中將試映射圖像T更新為試映射圖像T’的試映射圖像更新處理，并且將所更新的試映射圖像T’提供給收斂判斷單元76?，F(xiàn)在將描述試映射圖像更新處理。在第一步驟中，針對每個像素得到邊緣流(flow)向量。具體地，阿爾法遮掩圖像A被轉(zhuǎn)換為亮度圖像，并且通過使用水平Sobel濾波器和垂直Sobel濾波器來檢測水平和垂直方向中的邊緣。因此，針對圖像的水平方向，得到相對于邊緣垂直的邊緣梯度流(微分向量的水平方向分量)。而且，針對圖像的垂直方向，得到相對于邊緣水平的邊緣梯度流(微分向量的垂直方向分量)。接著，將邊緣梯度流向量順時針旋轉(zhuǎn)90度，并且因而生成邊緣正切流向量。該邊緣正切流向量包括正規(guī)化的向量(大小為1的向量)的水平分量和垂直分量以及該向量的大小的信息。在以下描述中，邊緣正切流向量僅被稱為邊緣流向量。邊緣流向量是非線性平滑的，并且做出該處理使得在不改變每個向量的大小的情況下，在保存顯著邊緣的同時弱邊緣跟隨該弱邊緣周圍的顯著邊緣。因而，得到其向量方向平滑變化的邊緣流向量。具體地，針對每個像素(px，py)得到包括正規(guī)化的向量的元素(tx，ty)和向量的長度(mag)的信息的邊緣流向量。此外，當(dāng)?shù)玫竭吘壛飨蛄繒r，針對具有橢圓形狀的采樣來設(shè)定大小陣列svec。將具有橢圓形狀的采樣應(yīng)用于例如如下橢圓形狀內(nèi)的像素，該橢圓形狀其中心是圖12中的試映射圖像T上的像素PP(px，py)、具有3Xw的長半徑a和w的短半徑b、并且其長軸沿該像素位置處的邊緣流向量(tx，ty)布置。隨后，通過針對與短軸的位置相對應(yīng)的在長軸方向中設(shè)定的采樣點預(yù)先計算像素數(shù)目，設(shè)定大小陣列svec。大小是通過如下表達式⑵計算的χ = V ((I_y2/b2) Xa2). · · (2)。要注意的是，長軸和短軸的長度不一定是前面提到的長度，并且可以按期望來設(shè)定。更具體地說，假設(shè)在大小陣列svec中設(shè)定的采樣點被布置在如圖13中所示的整數(shù)坐標(biāo)的位置處。關(guān)于第一象限，例如，在與短軸上的b = 0相對應(yīng)的索引=0處，存在由白色點所表示的8個采樣點。因而，大小是8。相似地，在與短軸上的b = 1相對應(yīng)的索引 =1處，存在7個采樣點，并且因而大小是7。另外，相似地，在與短軸上的b = 2相對應(yīng)的索引=2處，存在5個采樣點，并且因而大小是5。在與短軸上的b = 3相對應(yīng)的索引=3 處，存在0個采樣點，并且因而大小是0。將第一象限中的索引和大小之間的關(guān)系設(shè)定為例如如圖14中所示的大小陣列
Svec0如果在阿爾法遮掩圖像A或試映射圖像T中存在未經(jīng)處理的像素，則將未經(jīng)處理的像素中的一個設(shè)定為對象目標(biāo)像素(px，py)。此外，如果作為處理目標(biāo)的阿爾法遮掩圖像A中的像素具有大于最小值Th_min 并且小于最大值Thjnax的透明度α，也就是說，如果該像素不屬于前景物體圖像或背景圖像，則執(zhí)行標(biāo)簽更新處理。借助于該標(biāo)簽更新處理，由試映射圖像T中的處理目標(biāo)像素所指定的橢圓范圍中的像素的標(biāo)簽被更新為未確定像素。具體地，標(biāo)簽更新處理是如下的處理短軸方向中的計數(shù)器t被設(shè)定為通過將負號分配給短軸的大小w而得到的值(t
="W) O接著，判斷計數(shù)器t是否小于或等于作為短軸的大小的W。例如，如果計數(shù)器t小于或等于w，則針對試映射圖像T中的處理目標(biāo)像素(px，py)通過具有如下表達式(3)的計算來確定要被設(shè)定為未確定像素的橢圓范圍中的像素位置(bx，by)bx = px+txXt,
by = py+tyXt. . . (3),其中，bx和by是基于處理目標(biāo)像素(px，py)所確定的例如圖15中的橢圓范圍中的t軸上的采樣點(黑色點)的坐標(biāo)(bx，by) ；tx和ty是處理目標(biāo)像素(px，py)處的邊緣流向量的sx方向分量和sy方向分量，并且t是計數(shù)器t的值。也就是說，圖15中的采樣點Sp7、Sp5、Sp4.....和Spl是根據(jù)計數(shù)器t的值順次
獲取的。在圖15中，圖15中的處理目標(biāo)像素(px，py)是試映射圖像T上的、采樣點Sp4所屬的表示為方格的像素TP。將負號應(yīng)用于其索引是根據(jù)計數(shù)器t的絕對值從大小陣列svec當(dāng)中設(shè)定的大小 (=sVeC[abS(t)])，并且該值被設(shè)定為計數(shù)器S。換言之，將應(yīng)用于在主軸方向中設(shè)定的大小當(dāng)中與借助于計數(shù)器t所設(shè)定的索引值相對應(yīng)的大小的、具有減號的值設(shè)定為計數(shù)器 s的值。此外，計數(shù)器s和t表示與應(yīng)該被設(shè)定為未確定像素的像素的位置相對應(yīng)的采樣點的s軸和t軸(對應(yīng)于流向量(tx，ty)的軸)的坐標(biāo)。因此，參照圖15，從在當(dāng)前與計數(shù)器t相對應(yīng)的位置處的t軸正交的線(或者與s軸平行的線)上設(shè)定的采樣點的s軸的坐標(biāo)當(dāng)中，判斷計數(shù)器s是否等于或小于在橢圓范圍中的最大值。例如，如果計數(shù)器t是0，則參照圖13，由與索引=0相對應(yīng)的svec
所表示的大小是8。因而，參照圖15，判斷計數(shù)器s是否在上至χ軸上最右上的采樣點的范圍中，即， 計數(shù)器s是否位于在與采樣點(s，t) = (8,0)相關(guān)的s軸方向中的左側(cè)上的坐標(biāo)位置，該采樣點具有由橢圓形狀所設(shè)定的范圍中的s軸的最大坐標(biāo)。相反地，如果計數(shù)器s小于大小陣列svec [abs(t)]，則通過具有如下表達式(4)的算術(shù)運算來確定橢圓范圍中的處理目標(biāo)位置(sx，sy)SX = round (bx+tx X s),sy = round (by+ty Xs)... (4)。這里，round (χ)表示丟棄數(shù)字χ的分數(shù)部分，并且處理目標(biāo)位置(sx，sy)代表由包括沿圖15中的s軸所設(shè)定的采樣點(白色點)的方格所表示的像素的坐標(biāo)。也就是說， 參照圖15，確定了與st空間中的采樣點相對應(yīng)的、在試映射圖像T上的sx-sy空間中的像素坐標(biāo)。隨后，將與采樣點(s，t)相對應(yīng)的坐標(biāo)(sx，sy)的像素位置處的試映射圖像T的像素的標(biāo)簽設(shè)定為表示未確定像素的“_1”。此外，計數(shù)器s遞增1，并且重復(fù)更新直到判斷計數(shù)器s等于或小于大小陣列 svec [abs (t)]為止。如果判斷計數(shù)器s不等于或小于大小陣列svec [abs (t)]，即，如果計數(shù)器s超過了針對采樣點設(shè)定的橢圓范圍，則計數(shù)器t遞增1，并且重復(fù)更新直到判斷計數(shù)器t不等于或小于w為止。在以上處理的總結(jié)中，參照圖15，如果試映射圖像T上的處理目標(biāo)像素是與橢圓范圍中的采樣點Sp4相對應(yīng)的像素TP，則將橢圓范圍設(shè)定為處理目標(biāo)范圍。隨后，管理短軸
方向中的坐標(biāo)的計數(shù)器t按Sp7、Sp6.....和Spl的順序依次設(shè)定t軸上的采樣點。此外，
從左到右依次設(shè)定與t軸上的位置相對應(yīng)的s軸上的采樣點，并且將所設(shè)定的采樣點所屬的、試映射圖像T上的像素(由圖15中有顏色的方格所表示的像素)的標(biāo)簽更新為表示未確定像素的“_1”。作為結(jié)果，將針對試映射圖像T上的處理目標(biāo)像素的橢圓范圍中存在的像素設(shè)定為未確定像素，該范圍具有預(yù)定大小，具有沿處理目標(biāo)像素的邊緣流向量延伸的長軸，并且以處理目標(biāo)像素為中心。因此，可以在明顯不屬于試映射圖像T上的前景物體圖像或者背景圖像的像素當(dāng)中，將取決于邊緣流向量而加權(quán)的周圍范圍中的像素設(shè)定為未確定像素。此處，描述返回試映射圖像更新處理。如果阿爾法遮掩圖像A上的處理目標(biāo)像素的透明度α不大于最小值Th_min或者不小于最大值Thjiiax，則跳過標(biāo)簽更新處理。換言之，如果阿爾法遮掩圖像上的像素是屬于前景物體圖像的區(qū)域的像素或者屬于背景圖像的像素，則跳過標(biāo)簽更新處理。借助于該處理，在阿爾法遮掩圖像A的像素當(dāng)中，僅針對不屬于前景物體圖像或者不屬于背景圖像的像素將標(biāo)簽設(shè)定為未確定像素。更具體地說，將與不屬于阿爾法遮掩圖像A上的前景物體圖像或背景圖像的像素相對應(yīng)的試映射圖像T上的像素的標(biāo)簽更新為借助于處理目標(biāo)像素的邊緣流向量而設(shè)定的橢圓范圍中的未確定像素的標(biāo)簽。此處，描述返回圖11中的流程圖。在步驟S56中，收斂判斷單元76比較由試映射圖像更新單元75進行的更新之前的試映射圖像T和由試映射圖像更新單元75所更新的試映射圖像T’，并且判斷這些試映射圖像是否彼此相同或者是否彼此基本上相同。例如，如果判斷出這些圖像不相同或者不基本上相同，則處理前進到步驟S57。在步驟S57中，收斂判斷單元76判斷從步驟SM到步驟S57的處理的次數(shù)是否達到預(yù)定數(shù)目。如果收斂判斷單元76判斷出處理的次數(shù)沒有達到預(yù)定數(shù)目，則處理前進到步驟 S58。在步驟S58中，收斂判斷單元76存儲所更新的試映射圖像T’作為最新的試映射圖像T，并且將試映射圖像T提供給阿爾法遮掩圖像生成器74。在步驟S59中，阿爾法遮掩圖像生成器74將魯棒摳圖處理應(yīng)用于從收斂判斷單元 76所提供的試映射圖像T，以便于生成新的阿爾法遮掩圖像A并且將阿爾法遮掩圖像A提供給試映射圖像更新單元75。隨后，處理返回步驟S55。換言之，重復(fù)從步驟S55到步驟S59的處理，直到由試映射圖像更新單元75進行的更新之前的試映射圖像T和所更新的試映射圖像T’變得彼此相同或者基本上相同，或者處理的次數(shù)達到預(yù)定數(shù)目為止。此時，在初始處理之后的處理中，阿爾法遮掩圖像生成器74 通過使用由最后所更新的試映射圖像T’所替換的試映射圖像T，而非由擴展試映射圖像生成器73所生成的試映射圖像T，生成阿爾法遮掩圖像A。在重復(fù)從步驟S55到步驟S59的處理之后，如果在步驟S56中判斷出更新之前的試映射圖像τ和所更新的試映射圖像T’彼此相同或者基本上相同，則處理前進到步驟S60。 可替選地，在重復(fù)從步驟S55到步驟S59的處理之后，如果在步驟S57中判斷出從步驟S55 到步驟S59的處理的次數(shù)達到預(yù)定數(shù)目，則處理相似地前進到步驟S60。在步驟S60中，收斂判斷單元76將已被與試映射圖像T’同時發(fā)送的阿爾法遮掩圖像A提供給輸出單元77。輸出單元77輸出所發(fā)送的阿爾法遮掩圖像A。以這種方式，基于阿爾法遮掩圖像A的以像素為單位的透明度α，重復(fù)用于將在預(yù)定的橢圓范圍的像素中的不屬于前景物體圖像或者背景圖像的像素設(shè)定為未確定像素的處理。通過重復(fù)該處理，例如，如果通過具有橢圓形狀的采樣所初始設(shè)定的橢圓范圍小， 則隨著重復(fù)試映射圖像更新處理，用于設(shè)定未確定像素的范圍通常變大。然而，隨著重復(fù)從步驟S55到步驟S59的處理，具有灰色的未確定像素的區(qū)域變大。如果重復(fù)該處理預(yù)定次數(shù)(例如，約20次)，則即使基于阿爾法遮掩圖像A更新試映射圖像T，用于更新試映射圖像T的阿爾法遮掩圖像A也變得基本上不改變。如以上所提到的，如果試映射圖像在更新前后不改變，則因為透明度α是最小值和最大值之間的中間值，所以認為不屬于阿爾法遮掩圖像A中的前景物體圖像或者背景圖像的透明度α的范圍是適當(dāng)?shù)摹Ｒ簿褪钦f，試映射圖像T的未確定像素的設(shè)定范圍是適當(dāng)?shù)摹Ｒ蚨?，通過設(shè)定試映射圖像Τ、通過魯棒摳圖等來根據(jù)試映射圖像T生成阿爾法遮掩圖像Α、以及重復(fù)用于基于阿爾法遮掩圖像A和邊緣流向量來更新為試映射圖像Τ’的處理，可以設(shè)定最優(yōu)的未確定區(qū)域。圖像剪切處理接著，將參照圖16中的流程圖描述剪切處理。在步驟S91中，輸入圖像獲取單元81和阿爾法遮掩圖像獲取單元82分別判斷是否提供了輸入圖像I和阿爾法遮掩圖像Α。重復(fù)相似的處理，直到提供了輸入圖像I和阿爾法遮掩圖像A為止。在步驟S92中，輸入圖像獲取單元81將輸入圖像I提供給確定值映射生成器83 和估計前景顏色圖像生成器85。而且，阿爾法遮掩圖像獲取單元82將所輸入的阿爾法遮掩圖像A提供給確定值映射生成器83、像素權(quán)重映射生成器84、估計前景顏色圖像生成器85 和拉普拉斯算子矩陣生成器86。此外，確定值映射生成器83根據(jù)阿爾法遮掩圖像A生成確定值映射圖像S。確定值映射圖像S包括被確定為前景物體圖像或者背景圖像的第一預(yù)定像素值的像素、和不屬于任何以上像素的第二預(yù)定像素值的像素。更具體地說，確定值映射生成器83通過例如針對作為確定其顏色為在前景物體圖像中的確定像素的、具有由α = 1或者α =0所定義的透明度α的像素，將像素值設(shè)定為1，并且針對其他未確定像素，將像素值設(shè)定為0，生成確定值映射圖像S。而且，從設(shè)定為確定像素的像素當(dāng)中，確定值映射生成器83將具有由α >0.5所定義的透明度α的像素設(shè)定為前景確定像素(屬于對象圖像的像素)，并且將具有α <0.5的透明度α的像素設(shè)定為背景確定像素(屬于對象圖像之外的圖像的像素)。確定像素不限于α = 1或者α = 0的像素，并且可以由特定閾值來定義。例如， 可以使用α >0.98和α < 0. 02的閾值。而且，可以將包括未確定像素的未確定區(qū)域向確定區(qū)域擴展約一個至若干個像素，以增加后續(xù)處理的精確度。借助于該處理，例如，即使因為輸入圖像I是通過上采樣得到的圖像而將確定像素和未確定像素的顏色計算為中間顏色，也可以精確地計算前景物體圖像的顏色而沒有顏色污點。在步驟S93中，像素權(quán)重映射生成器84根據(jù)確定值映射圖像S和阿爾法遮掩圖像 A生成像素權(quán)重映射圖像Ds，并且將所生成的像素權(quán)重映射圖像Ds提供給能量函數(shù)生成器 87。更具體地說，像素權(quán)重映射生成器84設(shè)定與確定值映射圖像S中的未確定區(qū)域的像素相對應(yīng)的阿爾法遮掩圖像A的像素值，S卩，將透明度α設(shè)定為像素的權(quán)重，并且生成像素權(quán)重映射圖像Ds。通過調(diào)整與像素權(quán)重映射圖像Ds的每個像素相對應(yīng)的值，改變能量函數(shù) E(稍后描述)的特性。例如，隨著與像素權(quán)重映射圖像Ds的每個像素相對應(yīng)的值變大，設(shè)定能量函數(shù)E使得更有可能得到接近估計前景顏色圖像的前景顏色圖像。相反地，隨著與像素權(quán)重映射圖像Ds的每個像素相對應(yīng)的值變小，該值變得更接近于由相鄰的前景物體圖像的像素值所補充的值。因而，可以得到具有平滑連續(xù)性的前景物體圖像的像素值。此處，針對像素權(quán)重映射圖像Ds的每個像素的權(quán)重使用每個像素的透明度 α (0 ^ α ^ 1)；然而，設(shè)定為權(quán)重的值可以是其他值。在步驟S94中，估計前景顏色圖像生成器85執(zhí)行估計前景顏色圖像生成處理，其中，根據(jù)輸入圖像I、阿爾法遮掩圖像A和確定值映射圖像S生成估計前景顏色圖像F~，并且將所生成的估計前景顏色圖像F~提供給能量函數(shù)生成器87。現(xiàn)在將描述估計前景顏色圖像生成處理。通過使用Sobel濾波器，將微分處理應(yīng)用于阿爾法遮掩圖像A的每個像素的α 值，使得生成由微分值Δ α所定義的微分圖像A’。隨后，基于微分圖像A’，對針對確定值映射圖像S的未確定區(qū)域中的每個像素的微分值Δ α進行積分，該像素在到與確定區(qū)域相關(guān)的邊界處的前景物體圖像的所有確定像素的所有路徑上。針對每個像素，假設(shè)具有微分值Δ α的最小積分值的路徑是到確定像素的最短路徑，并且讀取穿過該路徑的確定像素的像素位置。特別地，參照圖17，對從未確定區(qū)域中的像素Pd到邊界處的多個確定像素Pu的所有路徑PATH上的像素的微分值Δ α進行積分，并且通過具有如下表達式(5)的算術(shù)運算來檢索具有最小值的確定像素Pu d (pdf ρπ) = mi η I \Aa\dp
PATHp,,JO...(5),其中，d(Pd，Pu)屬于具有如下積分值當(dāng)中的最小積分值的確定像素Pu，這些積分值是從未確定區(qū)域中的像素Pd到與確定區(qū)域相關(guān)的邊界處的確定像素Pu的路徑PATH上存在的所有像素的微分值Δ α的絕對值的積分值。由微分值Δ α的積分值所定義的每個路徑的距離是所謂的測地距離。而且，通過依次耦合作為8個相鄰像素的關(guān)系中的節(jié)點的相鄰像素，設(shè)定每個路徑PATH。也就是說，像素TP可以選擇作為下一路徑的相鄰像素是8 個方向(即，向左、向右、向上、向下、右下方向、右上方向、左上方向和左下方向)中的像素 Pl 至 P8。在圖17中，區(qū)域Zll是包括未確定像素的未確定區(qū)域，并且區(qū)域Z12和Z13是包括前景物體圖像的確定像素的確定區(qū)域。而且，邊界B是未確定區(qū)域和確定區(qū)域之間的邊界。白色像素SFPl至SFP8和黑色像素Pd是邊界B上的確定像素。而且，在將作為最短路徑而得到的到最近的確定像素的距離(測地距離)設(shè)定為像素值的距離映射圖像M中，例如，將黑顏色分配給確定像素，取決于距離而分配更亮的顏色，并且將白顏色分配給最遠的像素。此外，未確定像素分別與作為最短路徑而檢索到的像素位置的信息相關(guān)聯(lián)，并且因而，生成最近前景像素映射圖像N。
隨后，基于最近前景像素映射圖像N，讀取針對未確定像素分別設(shè)定的像素位置處的輸入圖像I中的確定像素的像素值，并且將其設(shè)定為未確定像素的像素值。因而，生成估計前景顏色圖像F~。特別地，例如，參照圖17，將未確定像素Pu的像素值設(shè)定為與像素Pd 的像素位置相對應(yīng)的輸入圖像I的像素值，像素Pd是作為最近路徑而檢索到的最近的前景像素。此時，作為在最近前景像素映射圖像N中所設(shè)定的最短路徑而選擇的像素可能不是適當(dāng)?shù)南袼?。因而，通過將預(yù)定的權(quán)重應(yīng)用于作為最短路徑而選擇的像素周圍的邊界處的多個確定像素所得到的平均值可以被確定為未確定像素的像素值。更具體地說，參照圖17，針對與像素Pu相對應(yīng)的未確定像素，設(shè)定為最短路徑的像素Pd和位于邊界處的、像素Pd附近的確定像素SFPl至SFP8的平均值可以被得到并被確定為未確定像素Pu的像素值。關(guān)于像素I3U附近的像素，例如參見Jue Wang、MF Cohen的Optimized Color Sampling for Robust Matting, Computer Vision andPattern Recognition,2007。借助于以上處理，因為未確定像素被替代為前景物體圖像的像素，所以可以在前景物體圖像中再現(xiàn)自然顏色，未確定像素通過由微分值的最小積分值所提供的最短路徑， 到達前景物體圖像的像素。因此，可以在前景物體圖像和背景圖像之間的邊界附近的區(qū)域中限制前景物體圖像處的背景圖像的顏色污點。此處，描述返回圖16中的流程圖。在步驟S95中，拉普拉斯算子矩陣生成器86根據(jù)阿爾法遮掩圖像A生成拉普拉斯算子矩陣L，并且將拉普拉斯算子矩陣L提供給能量函數(shù)生成器87。具體地，拉普拉斯算子矩陣生成器86針對表示像素當(dāng)中的關(guān)系的圖結(jié)構(gòu)，以具有相等的行列數(shù)目的正方矩陣的形式，生成具有像素總數(shù)(節(jié)點的數(shù)目)X像素總數(shù)的正方矩陣的拉普拉斯算子矩陣。更具體地說，拉普拉斯算子矩陣生成器86生成拉普拉斯算子矩陣L，其中每行中的對角線分量是同一行中的對角線分量之外的分量的總和，并且符號相反。也就是說，當(dāng)每行中的分量被加到一起時，總和是0。例如，如圖18中所示地連接像素Pl至P6，并且由圖中的線段所連接的像素彼此相鄰。當(dāng)建立圖18中所示的關(guān)系時，拉普拉斯算子矩陣生成器86生成如以下表達式(6)所表示的拉普拉斯算子矩陣L :
權(quán)利要求
1.一種圖像處理設(shè)備，其包括對象區(qū)域檢測裝置，其用于從輸入圖像中將對象存在的區(qū)域檢測為對象區(qū)域； 剪切裝置，其用于從所述輸入圖像中剪切所述對象區(qū)域的圖像； 優(yōu)先級計算裝置，其用于為所述輸入圖像計算與所述對象區(qū)域相關(guān)的邊界上的每個預(yù)定區(qū)域的優(yōu)先級；檢索裝置，其用于從所述對象區(qū)域的圖像被剪切之后的所述輸入圖像中檢索與如下預(yù)定區(qū)域的圖像相似的區(qū)域，該預(yù)定區(qū)域具有在與所述對象區(qū)域相關(guān)的邊界上的預(yù)定區(qū)域的優(yōu)先級當(dāng)中的最高優(yōu)先級；修復(fù)裝置，其用于通過復(fù)制相鄰區(qū)域的圖像并且將通過復(fù)制該相鄰區(qū)域而得到的圖像粘貼到與具有所述最高優(yōu)先級的預(yù)定區(qū)域相鄰并作為所述對象區(qū)域而被剪切的區(qū)域上，來修復(fù)所述對象區(qū)域，該相鄰區(qū)域相鄰于與由所述檢索裝置檢索到的預(yù)定區(qū)域相似的區(qū)域， 并且包括與作為所述對象區(qū)域而被剪切的區(qū)域相對應(yīng)的區(qū)域；以及合成裝置，其用于組合由所述剪切裝置所剪切的所述對象區(qū)域的圖像和具有由所述修復(fù)裝置所修復(fù)的所述對象區(qū)域的圖像。
2.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，其還包括附加區(qū)域輸入裝置，其用于輸入對應(yīng)于所述對象區(qū)域的附加區(qū)域；以及對象區(qū)域附加裝置，其用于附加具有被附加到所述對象區(qū)域的附加區(qū)域的區(qū)域作為所述對象區(qū)域。
3.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，其中，所述優(yōu)先級計算裝置重新計算與由所述修復(fù)裝置所修復(fù)的所述對象區(qū)域相關(guān)的邊界上的每個預(yù)定區(qū)域的優(yōu)先級，其中，所述檢索裝置從所述對象區(qū)域的圖像被剪切之后的所述輸入圖像中檢索與如下預(yù)定區(qū)域的圖像相似的區(qū)域，該預(yù)定區(qū)域具有在與所述對象區(qū)域相關(guān)的邊界上的預(yù)定區(qū)域的所重新計算的優(yōu)先級當(dāng)中的最高優(yōu)先級，并且其中，所述修復(fù)裝置通過復(fù)制相鄰區(qū)域的圖像并且將通過復(fù)制該相鄰區(qū)域而得到的圖像粘貼到與具有所述最高優(yōu)先級的預(yù)定區(qū)域相鄰并作為所述對象區(qū)域而被剪切的區(qū)域上， 來修復(fù)所述對象區(qū)域，該相鄰區(qū)域相鄰于與由所述檢索裝置檢索到的預(yù)定區(qū)域相似的區(qū)域，并且包括與作為所述對象區(qū)域而被剪切的區(qū)域相對應(yīng)的區(qū)域。
4.根據(jù)權(quán)利要求3所述的圖像處理設(shè)備，其中，所述優(yōu)先級計算裝置、所述檢索裝置和所述修復(fù)裝置重復(fù)它們的處理，直到修復(fù)了所述對象區(qū)域的全部區(qū)域為止。
5.一種圖像處理設(shè)備的圖像處理方法，所述設(shè)備包括對象區(qū)域檢測裝置，其用于從輸入圖像中將對象存在的區(qū)域檢測為對象區(qū)域； 剪切裝置，其用于從所述輸入圖像中剪切所述對象區(qū)域的圖像； 優(yōu)先級計算裝置，其用于為所述輸入圖像計算與所述對象區(qū)域相關(guān)的邊界上的每個預(yù)定區(qū)域的優(yōu)先級；檢索裝置，其用于從所述對象區(qū)域的圖像被剪切之后的所述輸入圖像中檢索與如下預(yù)定區(qū)域的圖像相似的區(qū)域，該預(yù)定區(qū)域具有在與所述對象區(qū)域相關(guān)的邊界上的預(yù)定區(qū)域的優(yōu)先級當(dāng)中的最高優(yōu)先級；修復(fù)裝置，其用于通過復(fù)制相鄰區(qū)域的圖像并且將通過復(fù)制該相鄰區(qū)域而得到的圖像粘貼到與具有所述最高優(yōu)先級的預(yù)定區(qū)域相鄰并作為所述對象區(qū)域而被剪切的區(qū)域上，來修復(fù)所述對象區(qū)域，該相鄰區(qū)域相鄰于與由所述檢索裝置檢索到的預(yù)定區(qū)域相似的區(qū)域， 并且包括與作為所述對象區(qū)域而被剪切的區(qū)域相對應(yīng)的區(qū)域；以及合成裝置，其用于組合由所述剪切裝置所剪切的所述對象區(qū)域的圖像和具有由所述修復(fù)裝置所修復(fù)的所述對象區(qū)域的圖像； 所述方法包括以下步驟 由所述對象區(qū)域檢 測裝置從所述輸入圖像中將所述對象存在的區(qū)域檢測為所述對象區(qū)域；由所述剪切裝置從所述輸入圖像中剪切所述對象區(qū)域的圖像； 由所述優(yōu)先級計算裝置為所述輸入圖像計算與所述對象區(qū)域相關(guān)的邊界上的每個預(yù)定區(qū)域的優(yōu)先級；由所述檢索裝置從所述對象區(qū)域的圖像被剪切之后的所述輸入圖像中檢索與如下預(yù)定區(qū)域的圖像相似的區(qū)域，該預(yù)定區(qū)域具有在與所述對象區(qū)域相關(guān)的邊界上的預(yù)定區(qū)域的優(yōu)先級當(dāng)中的最高優(yōu)先級；由所述修復(fù)裝置通過復(fù)制相鄰區(qū)域的圖像并且將通過復(fù)制該相鄰區(qū)域而得到的圖像粘貼到與具有所述最高優(yōu)先級的預(yù)定區(qū)域相鄰并作為所述對象區(qū)域而被剪切的區(qū)域上，來修復(fù)所述對象區(qū)域，該相鄰區(qū)域相鄰于與通過所述檢索而檢索到的預(yù)定區(qū)域相似的區(qū)域， 并且包括與作為所述對象區(qū)域而被剪切的區(qū)域相對應(yīng)的區(qū)域；以及由所述合成裝置組合通過所述剪切所剪切的所述對象區(qū)域的圖像和具有通過所述修復(fù)所修復(fù)的所述對象區(qū)域的圖像。
6. 一種可由控制圖像處理設(shè)備的計算機執(zhí)行的程序，所述設(shè)備包括 對象區(qū)域檢測裝置，其用于從輸入圖像中將對象存在的區(qū)域檢測為對象區(qū)域； 剪切裝置，其用于從所述輸入圖像中剪切所述對象區(qū)域的圖像； 優(yōu)先級計算裝置，其用于為所述輸入圖像計算與所述對象區(qū)域相關(guān)的邊界上的每個預(yù)定區(qū)域的優(yōu)先級；檢索裝置，其用于從所述對象區(qū)域的圖像被剪切之后的所述輸入圖像中檢索與如下預(yù)定區(qū)域的圖像相似的區(qū)域，該預(yù)定區(qū)域具有在與所述對象區(qū)域相關(guān)的邊界上的預(yù)定區(qū)域的優(yōu)先級當(dāng)中的最高優(yōu)先級；修復(fù)裝置，其用于通過復(fù)制相鄰區(qū)域的圖像并且將通過復(fù)制該相鄰區(qū)域而得到的圖像粘貼到與具有所述最高優(yōu)先級的預(yù)定區(qū)域相鄰并作為所述對象區(qū)域而被剪切的區(qū)域上，來修復(fù)所述對象區(qū)域，該相鄰區(qū)域相鄰于與由所述檢索裝置檢索到的預(yù)定區(qū)域相似的區(qū)域， 并且包括與作為所述對象區(qū)域而被剪切的區(qū)域相對應(yīng)的區(qū)域；以及合成裝置，其用于組合由所述剪切裝置所剪切的所述對象區(qū)域的圖像和具有由所述修復(fù)裝置所修復(fù)的所述對象區(qū)域的圖像，所述程序使得所述計算機執(zhí)行包括以下步驟的處理由所述對象區(qū)域檢測裝置從所述輸入圖像中將所述對象存在的區(qū)域檢測為所述對象區(qū)域；由所述剪切裝置從所述輸入圖像中剪切所述對象區(qū)域的圖像； 由所述優(yōu)先級計算裝置為所述輸入圖像計算與所述對象區(qū)域相關(guān)的邊界上的每個預(yù)定區(qū)域的優(yōu)先級；由所述檢索裝置從所述對象區(qū)域的圖像被剪切之后的所述輸入圖像中檢索與如下預(yù)定區(qū)域的圖像相似的區(qū)域，該預(yù)定區(qū)域具有在與所述對象區(qū)域相關(guān)的邊界上的預(yù)定區(qū)域的優(yōu)先級當(dāng)中的最高優(yōu)先級；由所述修復(fù)裝置通過復(fù)制相鄰區(qū)域的圖像并且將通過復(fù)制該相鄰區(qū)域而得到的圖像粘貼到與具有所述最高優(yōu)先級的預(yù)定區(qū)域相鄰并作為所述對象區(qū)域而被剪切的區(qū)域上，來修復(fù)所述對象區(qū)域，該相鄰區(qū)域相鄰于與通過所述檢索而檢索到的預(yù)定區(qū)域相似的區(qū)域， 并且包括與作為所述對象區(qū)域而被剪切的區(qū)域相對應(yīng)的區(qū)域；以及由所述合成裝置組合通過所述剪切所剪切的所述對象區(qū)域的圖像和具有通過所述修復(fù)所修復(fù)的所述對象區(qū)域的圖像。
7. 一種圖像處理設(shè)備，其包括對象區(qū)域檢測器，其被配置成從輸入圖像中將對象存在的區(qū)域檢測為對象區(qū)域； 剪切單元，其被配置成從所述輸入圖像中剪切所述對象區(qū)域的圖像； 優(yōu)先級計算器，其被配置成為所述輸入圖像計算與所述對象區(qū)域相關(guān)的邊界上的每個預(yù)定區(qū)域的優(yōu)先級；檢索單元，其被配置成從所述對象區(qū)域的圖像被剪切之后的所述輸入圖像中檢索與如下預(yù)定區(qū)域的圖像相似的區(qū)域，該預(yù)定區(qū)域具有在與所述對象區(qū)域相關(guān)的邊界上的預(yù)定區(qū)域的優(yōu)先級當(dāng)中的最高優(yōu)先級；修復(fù)單元，其被配置成通過復(fù)制相鄰區(qū)域的圖像并且將通過復(fù)制該相鄰區(qū)域而得到的圖像粘貼到與具有所述最高優(yōu)先級的預(yù)定區(qū)域相鄰并作為所述對象區(qū)域而被剪切的區(qū)域上，來修復(fù)所述對象區(qū)域，該相鄰區(qū)域相鄰于與由所述檢索單元檢索到的預(yù)定區(qū)域相似的區(qū)域，并且包括與作為所述對象區(qū)域而被剪切的區(qū)域相對應(yīng)的區(qū)域；以及合成單元，其被配置成組合由所述剪切單元所剪切的所述對象區(qū)域的圖像和具有由所述修復(fù)單元所修復(fù)的所述對象區(qū)域的圖像。
全文摘要
本發(fā)明涉及圖像處理設(shè)備、方法和程序，該設(shè)備包括對象區(qū)域檢測器，從輸入圖像檢測對象區(qū)域；剪切單元，從輸入圖像剪切對象區(qū)域圖像；優(yōu)先級計算器，為輸入圖像計算與對象區(qū)域相關(guān)的邊界上的每個預(yù)定區(qū)域的優(yōu)先級；檢索單元，從對象區(qū)域圖像被剪切之后的輸入圖像檢索與具有優(yōu)先級中的最高優(yōu)先級的預(yù)定區(qū)域的圖像相似的區(qū)域；修復(fù)單元，通過復(fù)制相鄰于與檢索單元檢索的預(yù)定區(qū)域相似的區(qū)域并包括與作為對象區(qū)域被剪切的區(qū)域相應(yīng)的區(qū)域的相鄰區(qū)域的圖像、并將通過復(fù)制得到的圖像粘貼到與具有最高優(yōu)先級的預(yù)定區(qū)域相鄰并作為對象區(qū)域被剪切的區(qū)域上來修復(fù)對象區(qū)域；和合成單元，組合剪切單元剪切的對象區(qū)域圖像和具有修復(fù)單元修復(fù)的對象區(qū)域的圖像。
文檔編號G06T11/00GK102169587SQ20111004207
公開日2011年8月31日 申請日期2011年2月18日 優(yōu)先權(quán)日2010年2月25日
發(fā)明者德永陽, 村山淳, 橫川昌俊, 相坂一樹 申請人:索尼公司