圖像序列中的物體遮擋的確定的制作方法
【專利說明】
[0001] 對相關(guān)申請的奪叉參考
[0002] 本申請案主張2013年2月26日申請的第61/769, 311號(hào)美國臨時(shí)專利申請案的 權(quán)利，所述申請案的內(nèi)容是以引用方式全部并入本文。
技術(shù)領(lǐng)域
[0003] 本發(fā)明通常涉及數(shù)字圖像處理，且更特定地說涉及一種用于自動(dòng)確定一對圖像之 間的遮擋區(qū)域的存在、位置及類型的方法及系統(tǒng)。
【背景技術(shù)】
[0004] 在許多高值視頻處理任務(wù)（例如譯碼、幀速轉(zhuǎn)換、降噪等等）中時(shí)常面臨確定兩 個(gè)圖像（尤其是視頻幀及/或場的序列）之間的光流或運(yùn)動(dòng)向量場的問題。用于計(jì)算光 流的常規(guī)方法面臨若干障礙-其的許多解決方案在全部內(nèi)容以引用方式并入本文的第 8, 355, 534號(hào)美國專利（在下文，"'534專利"）中加以描述。如'534專利中所教學(xué)，物體 遮擋對于例如光流估計(jì)系統(tǒng)的任何運(yùn)動(dòng)估計(jì)系統(tǒng)均造成挑戰(zhàn)。
[0005] 圖1展示具有背景105及前景110的圖像對IOOaUOOb的實(shí)例，其中前景物體115 正在運(yùn)動(dòng)且圖1展示遮擋區(qū)域120及去遮擋區(qū)域125。當(dāng)前景物體115在視頻序列中運(yùn)動(dòng) 時(shí)，圖像IOOb的向前運(yùn)動(dòng)方向中的背景像素被隱藏（本文稱作遮擋或遮擋區(qū)域120)，而圖 像IOOb的運(yùn)動(dòng)后方的背景像素被顯示（本文稱作去遮擋或去遮擋區(qū)域125)。在圖像的遮 擋區(qū)域中，不存在歸因于背景的明確運(yùn)動(dòng)；同時(shí)，在圖像的去遮擋區(qū)域中，不存在歸因于前 景物體的明確運(yùn)動(dòng)。一對圖像內(nèi)的此兩種區(qū)域（本文統(tǒng)稱為遮擋區(qū)域）通常對運(yùn)動(dòng)估計(jì)且 特別對許多光流系統(tǒng)造成極大困難，這是因?yàn)榇祟悈^(qū)域中的錯(cuò)誤運(yùn)動(dòng)向量值趨向于傳播到 非遮擋區(qū)域中，從而不利地影響光流估計(jì)的總準(zhǔn)確度。除了改善光流及運(yùn)動(dòng)估計(jì)以外，遮擋 區(qū)域的確定對其它高值視頻分析任務(wù)（例如，視差及深度估計(jì)、圖像分段、物體識(shí)別及3D轉(zhuǎn) 換及投影）也具有許多益處。
[0006] 遮擋的檢測在運(yùn)動(dòng)估計(jì)、深度估計(jì)及圖像/視頻分段的背景中受到極大關(guān)注。 可顯式或隱式地估計(jì)或計(jì)算遮擋。遮擋邊界本身提供用于3D場景重構(gòu)的強(qiáng)烈暗示。如 A.Saxena、M.Sun及A.Y.Ng于2009年發(fā)表在PAMI第31版第824頁到第840頁的"3D制作： 學(xué)習(xí) 3D場景結(jié)構(gòu)形成單個(gè)圖像（Make3D:Learning3DScenestructureformaSingle Image) '，及D.Hoiem、A.A.Efros及A.Hebert于 2010 年發(fā)表在InternationalJournalon ComputerVision的第I頁到第19頁的"從圖像恢復(fù)遮擋邊界（RecoveringOcclusion BoundariesfromanImage)"中描述的方法提出使用單幀通過過度分段及監(jiān)督學(xué)習(xí)尋找遮 擋邊界。在沒有運(yùn)動(dòng)信息的情況下，遮擋邊界檢測是固有有歧義的問題。其它方法嘗試將輸 入視頻分層為靈活子畫面以推斷遮擋像素/區(qū)域（參見例如N.Jojic及B.J.Frey于2001 年發(fā)表在CVPR中的"學(xué)習(xí)視頻層中的靈活子畫面（LearningFlexibleSpritesinVideo layers) "）。分層方法提供對遮擋邊界的現(xiàn)實(shí)建模，但是此類方法需要具有連續(xù)區(qū)域、表面 的相對順序及預(yù)定運(yùn)動(dòng)。Sun,D.、Sudderth,E.B.、Black,M.J.在2010年發(fā)表在Advances inNeuralInformationProcessingSystems第 2226 頁到第 2234 頁的"具有顯式遮擋、 時(shí)間--致性及深度排序（Layeredimagemotionwithexplicitocclusions,temporal consistency,anddepthordering) "中描述的方法顯式地對遮擋建模且所得結(jié)果相對準(zhǔn) 確，但是所述方法具有龐大的計(jì)算負(fù)荷。尋找遮擋區(qū)域代表多視圖3D投影及顯示方法中的 常見問題。當(dāng)背景或前景區(qū)域中的底層像素?cái)?shù)據(jù)同質(zhì)或不具有紋理信息時(shí)，此領(lǐng)域中最近 研究得到的方法仍然傾向于發(fā)生嚴(yán)重錯(cuò)誤。
[0007]在Alvarez等人于 2007 年發(fā)表在InternationalJournalofComputerVision 75(3)第371頁到第385頁的"運(yùn)用遮擋檢測進(jìn)行對稱密集光流估計(jì)（Symmetricaldense opticalflowestimationwithocclusionsdetection)'，（下文，Alvarez)中，短暫地論 及擴(kuò)散張量的作用及后續(xù)的特征值分析，但是此只用于分析光流解決方案的前向和后向?qū)?稱性，且未用于直接改善光流計(jì)算或遮擋計(jì)算的準(zhǔn)確度。
[0008]Ince,S.、Konrad,J?于 2〇〇8 年發(fā)表在IEEETrans.ImageProcessingIT7 (8) 第1443頁到第1451頁的"遮擋感知光流估計(jì)（Occlusion-awareopticalflow estimation) "（下文，"Ince"）公開了一種用于光流和遮擋的聯(lián)合確定的方法及系統(tǒng)，但是 所述系統(tǒng)經(jīng)耦合且此方法不可適用于耦合到非光流運(yùn)動(dòng)估計(jì)系統(tǒng)（例如塊匹配）。此外， Ince忽略了圖像的擴(kuò)散張量或結(jié)構(gòu)張量的概念以改善健壯性。
[0009] 運(yùn)動(dòng)暗示對于識(shí)別遮擋區(qū)域及邊界極為重要。如上文描述，任何運(yùn)動(dòng)估計(jì)的目的 是為了計(jì)算表示兩個(gè)連續(xù)幀中的點(diǎn)運(yùn)動(dòng)的流場，且最準(zhǔn)確的運(yùn)動(dòng)估計(jì)技術(shù)應(yīng)能夠處理遮 擋。如Alvarez及Ince中描述的一些基于運(yùn)動(dòng)的遮擋檢測工作聯(lián)合估計(jì)后向和前向運(yùn)動(dòng)， 并將不一致像素標(biāo)記為遮擋區(qū)域。在此類境況中，遮擋被隱式地檢測且遮擋檢測與運(yùn)動(dòng)估 計(jì)方法本身耦合。此類方法在高度紋理化圖像區(qū)域內(nèi)會(huì)面臨問題且并未對于大的移位或遮 擋區(qū)域取得成功。
[0010]Xiao等人發(fā)表在ECCV2006 (Leonardis,A.、Bischof,H.、Pinz,A.(編輯））Part I.LNCS第3951卷第211頁到第224頁（海德堡，施普林格，2006)上的"運(yùn)用遮擋檢測的 基于雙邊濾波的光流估計(jì)（BilateralFiltering-BasedOpticalFlowEstimationwith OcclusionDetection) "公開了用于計(jì)算光流及遮擋的另一聯(lián)合方法，但是其兩次計(jì)算嚴(yán) 格耦合到聯(lián)合規(guī)則化框架中。此外，此方法需要多次迭代才能使所公開規(guī)則化函數(shù)收斂，且 因此不適用于例如1080及4K的當(dāng)代視頻分辨率的實(shí)時(shí)計(jì)算。
[0011] 即使運(yùn)用耦合遮擋檢測系統(tǒng)進(jìn)行的最佳常規(guī)運(yùn)動(dòng)估計(jì)方法也具有兩個(gè)主要缺點(diǎn)。 首先，此類方法的計(jì)算對于實(shí)時(shí)處理過于復(fù)雜。其次，其產(chǎn)生的遮擋區(qū)域圖固有地具有噪 聲。標(biāo)記為遮擋的像素可時(shí)常為假正值或假負(fù)值，從而使其在后續(xù)視頻處理及分析任務(wù)中 的使用面臨挑戰(zhàn)或不可能。
[0012] 因此，需要一種準(zhǔn)確、精確、低計(jì)算復(fù)雜度的遮擋估計(jì)系統(tǒng)及方法，其結(jié)合運(yùn)動(dòng)估 計(jì)系統(tǒng)在存在大的運(yùn)動(dòng)及相應(yīng)的大遮擋區(qū)域時(shí)增加此系統(tǒng)的健壯性及準(zhǔn)確度。

【發(fā)明內(nèi)容】

[0013] 通過提供一種用于一對圖像之間的遮擋區(qū)域檢測及測量的方法及系統(tǒng)在所屬領(lǐng) 域中解決上文描述的問題且實(shí)現(xiàn)技術(shù)解決方案。處理裝置接收第一圖像及第二圖像。處理 裝置估計(jì)第一圖像與第二圖像之間的運(yùn)動(dòng)向量場。處理裝置以第二圖像為目標(biāo)對第一圖像 進(jìn)行運(yùn)動(dòng)補(bǔ)償以獲得運(yùn)動(dòng)補(bǔ)償圖像。處理裝置比較所述運(yùn)動(dòng)補(bǔ)償圖像的多個(gè)像素值與第一 圖像的多個(gè)像素以估計(jì)誤差場。處理裝置將誤差場輸入到加權(quán)誤差成本函數(shù)以獲得初始遮 擋圖。處理裝置規(guī)則化初始遮擋圖以獲得經(jīng)規(guī)則化遮擋圖。
[0014] 在一個(gè)實(shí)例中，規(guī)則化可進(jìn)一步包括獲得經(jīng)規(guī)則化誤差場。在一個(gè)實(shí)例中，可重復(fù) 比較及規(guī)則化，直到基于經(jīng)規(guī)則化遮擋圖或經(jīng)規(guī)則化誤差場中的至少一者的值低于閾值為 止。在一個(gè)實(shí)例中，以第二圖像為目標(biāo)對第一圖像進(jìn)行運(yùn)動(dòng)補(bǔ)償包括對從第一圖像朝第二 圖像的運(yùn)動(dòng)向量場進(jìn)行圖像卷曲。在一個(gè)實(shí)例中，初始遮擋圖及經(jīng)規(guī)則化遮擋圖是各自基 于加權(quán)誤差成本函數(shù)。加權(quán)誤差成本函數(shù)可為以下項(xiàng)中的至少一者：平方差和度量、局部縮 放平方差和度量、標(biāo)準(zhǔn)化互相關(guān)度量，或零均值標(biāo)準(zhǔn)化互相關(guān)度量。加權(quán)誤差成本函數(shù)可基 于對局部支持區(qū)域的局部加權(quán)。在一個(gè)實(shí)例中，對局部支持區(qū)域的局部加權(quán)可基于對運(yùn)動(dòng) 補(bǔ)償圖像的局部結(jié)構(gòu)張量的特征系統(tǒng)分析。在另一實(shí)例中，對局部支持區(qū)域的局部加權(quán)是 對局部支持區(qū)域的梯度能量加權(quán)。對局部支持區(qū)域的梯度能量加權(quán)可為局部支持區(qū)域上的 統(tǒng)計(jì)方差或局部對比度的和。
[0015] 在一個(gè)實(shí)例中，規(guī)則化遮擋圖以獲得經(jīng)規(guī)則化遮擋圖可包括將多西格瑪規(guī)則化應(yīng) 用于遮擋圖。將多西格瑪規(guī)則化應(yīng)用于遮擋圖包括應(yīng)用4因子西格瑪濾波器于遮擋圖。用 于多因子西格瑪濾波器的輸入權(quán)重可包括初始大略遮擋場估計(jì)及第一圖像與第二圖像之 間的顏色值或亮度的相似度、運(yùn)動(dòng)向量方向的環(huán)形值的相似度或運(yùn)動(dòng)向量量值的相似度中 的一或多者。多因子西格瑪濾波器可并有一或多個(gè)權(quán)重，例如深度或范圍-目標(biāo)場的間斷 點(diǎn)。
[0016] 本公開的實(shí)例提供一種用于檢測及特征化遮擋區(qū)域而不需要進(jìn)行取決于場景類 型、運(yùn)動(dòng)類型或監(jiān)督學(xué)習(xí)數(shù)據(jù)集的任何假設(shè)的方法及系統(tǒng)。本公開的實(shí)例提供準(zhǔn)確及精確 的遮擋區(qū)域圖。遮擋檢測與運(yùn)動(dòng)估計(jì)本身無關(guān)聯(lián)，從而允許靈活地附加到任何適當(dāng)光流或 運(yùn)動(dòng)估計(jì)系統(tǒng)或方法。
【附圖說明】
[0017] 圖1展示具有背景及前景的圖像對的實(shí)例，其中前景物體正在運(yùn)動(dòng)，且展示了遮 擋及去遮擋區(qū)域。
[0018] 圖2是在其中可操作本公開的實(shí)例的用于檢測圖像序列中的一或多個(gè)遮擋區(qū)域 的實(shí)例計(jì)算系統(tǒng)的框圖。
[0019] 圖3展示示范性遮擋場/圖。
[0020] 圖4是說明用于使用圖2的計(jì)算系統(tǒng)檢測圖像序列中的遮擋區(qū)域及/或去遮擋區(qū) 域的方法的實(shí)例的流程圖。
[0021] 圖5是實(shí)施圖4的方法的模塊之間的實(shí)例數(shù)據(jù)流的框圖。
[0022] 圖6是實(shí)施圖5的加權(quán)距離場模塊的模塊之間的實(shí)例數(shù)據(jù)流的框圖。
[0023] 圖7