減小含有相互類似的信息的多個圖像的數(shù)據(jù)量的方法、程序及裝置,以及表現(xiàn)含有相互類...的制作方法【
技術領域：
】[0001]本發(fā)明涉及減小含有相互類似的信息的多個圖像的數(shù)據(jù)量(datasize)的方法、程序及裝置，以及表現(xiàn)含有相互類似的信息的多個圖像的數(shù)據(jù)結構。【
背景技術：
】[0002]現(xiàn)在，正在研宄用于實現(xiàn)超臨場感交流的各種技術。作為這種技術之一，有利用多視點圖像提供高精細立體影像的三維影像技術。這種立體影像是這樣實現(xiàn)的:從非常多視點(例如，200視點)拍攝被拍攝體，獲得視差圖像，從而利用視差圖像來實現(xiàn)立體影像。[0003]作為用于實用化這種立體影像的一個課題，提出了減小多視點圖像的數(shù)據(jù)量的方案。就多視點圖像而言，包括從多個視點分別觀察被拍攝體的信息，因此數(shù)據(jù)量大。對于這種課題，已經提出了各種提案。[0004]例如，非專利文獻I公開了稱為多視點圖像的適應式分散編程的方法。更具體而言，該方法基于模數(shù)運算器，針對從各視點得到的圖像，在互相不進行信息交換的狀態(tài)下進行編碼，并且，在解碼時允許視點間的信息交換。[0005]非專利文獻2及非專利文獻3都公開了基于圖像間的殘差(residual)及距離(depths)的方法。在這些方法中，使用一個以上的原形圖像及從原形圖像變形而來的圖像(warpedview)與相鄰圖像(neighborviews)之間的差。這樣變形的圖像是根據(jù)相鄰圖像生成的與原形圖像對應的假想圖像。[0006]現(xiàn)有技術文獻[0007]非專利文獻[0008]非專利文獻1:MehrdadPanahpourTehrani,ToshiakiFujii,MasayukiTanimoto,^TheAdaptiveDistributedSourceCodingofMulti_ViewImagesinCameraSensorNetworks〃，IEICETrans,E88-A(10),2835-2843,(2005)[0009]非專利文獻2:Κ.Mueller，A.Smolic，K.Dix，P.Merkle，P.KauffT.Wiegandj"Reliability-basedgenerat1nandviewsynthesisinlayereddepthvideo"，inProc.1EEEIntlConfonMMSPj34-39(Oct.2008)[0010]非專利文獻3；M.TanimotojM.Wildeboerj^FrameworksforFTVcoding^jinProc.PCS,1-4(May2009)[0011]非專利文獻4:R.SzeliskijR.ZabihjD.Scharsteinj0.Veksler,V.Kolmogorov,A.AgarwalajM.TappenandC.Rotherj^Acomparativestudyofenergyminimizat1nmethodsforMarkovrandomfieldswithsmoothness-basedpr1rs,^IEEETrans.PatternAnal.MachineIntell.，30(6)，1068-1080，(2008)[0012]非專利文獻5；Y.Boykov,0.VekslerandR.Zabihj^Fastapproximateenergyminimizat1nviagraphcuts,^IEEETrans.PatternAnal.Machinelntell.,23,1222-1239，(Nov.2001)[0013]非專利文獻6:Υ.Mori,Ν.FukushimajΤ.YendojΤ.FujiiandΜ.Tanimotoj"Viewgenerat1nwith3Dwarpingusingdepthinformat1nforFTV，"SignalProcess.:1mageCommun.，24，65-72，(Jan.2009)[0014]非專利文獻7:L.Yang，Τ.Yendo，Μ.PanahpourTehrani，Τ.FujiiandM.Tanimotoj"ProbabilisticreliabilitybasedviewsynthesisforFTV〃，inProc.1CIPj1785-1788，(Sep.2010)[0015]非專利文獻8:Ν.FukushimajΤ.Fujii，Y.1shibashijΤ.YendojandΜ.Tanimotoj"Real-timefreeviewpointimagerenderingbyusingfastmult1-passdynamicprogramming，"inProc.3DTV-C0N，(June2010)[0016]非專利文獻9:Α.Smolic，P.Kauff，S.Knorr，A.Hornung，Μ.Kunter，Μ.Muller,andM.Lang,"Three-Dimens1nalVideoPostproduct1nandProcessing"，inProc.1EEE,99(4)，607-625，(Apr.2011)[0017]非專利文獻10:Υ.Mori,N.FukushimajΤ.Fujii，andM.Tanimotoj^Viewgenerationwith3Dwarpingusingdepthinformat1nforFTVj"ImageCommunicat1n.,Vol.24，N0.1-2(2009)【
發(fā)明內容】[0018]發(fā)明要解決的問題[0019]上述的非專利文獻I所公開的方法，主要假設面向分散信源編碼、分散影像幀編碼等的應用，因此在編碼處理中沒有考慮到視點間的聯(lián)合。另外，在非專利文獻I所公開的方法中，在編碼處理及解碼處理中，雖然使用了邊信息(sideinformat1n)，但在與原形圖像的值之間的差大的區(qū)域中，邊信息的精度沒有那么高，因此有時導致解碼后的圖像品質低下。相反，在非專利文獻2及3所公開的方法中，相對于邊信息所含的原形圖像，在差小的區(qū)域，無法恰當復原其所含的信息。[0020]本發(fā)明為了解決上述問題，目的在于，提供一種高效降低含有相互類似的信息的多個圖像的數(shù)據(jù)量的方法、程序及裝置，以及表現(xiàn)含有相互類似的信息的多個圖像的數(shù)據(jù)結構。[0021]用于解決課題的手段[0022]根據(jù)本發(fā)明的一個方面，提供一種減小含有相互類似的信息的多個圖像的數(shù)據(jù)量的方法。本方法包括:取得多個圖像，并且，在多個圖像中選擇與對象圖像以及對象圖像類似的第一參照圖像及第二參照圖像的步驟；基于第一參照圖像及第二參照圖像，生成與對象圖像對應的合成圖像的步驟；生成掩模圖像的步驟，掩模圖像表示根據(jù)第一參照圖像及第二參照圖像生成的合成圖像相對于對象圖像的潛在誤差；生成與殘差對應的殘差圖像的步驟，殘差是指對象圖像與合成圖像之間的差；基于掩模圖像，對潛在誤差相對大的區(qū)域分配殘差圖像的對應的區(qū)域的信息，從而生成與對象圖像對應的變換后圖像的步驟；輸出第一參照圖像、第二參照圖像及變換后圖像，來作為表現(xiàn)對象圖像、第一參照圖像及第二參照圖像的信息的步驟。[0023]優(yōu)選地，在本方法中，還包括:對對象圖像的各像素位置的亮度值進行取模計算，計算出各像素位置的余數(shù)，從而生成由余數(shù)構成的余數(shù)圖像的步驟；在生成變換后圖像的步驟中包括:基于掩模圖像，對潛在誤差相對小的區(qū)域，分配余數(shù)圖像的對應的區(qū)域的信息的步驟。[0024]優(yōu)選地，在生成變換后圖像的步驟中包括:將掩模圖像的各像素位置的值與預定的閾值進行比較，從而區(qū)別潛在誤差相對大的區(qū)域和潛在誤差相對小的區(qū)域的步驟。[0025]優(yōu)選地，在生產殘差圖像的步驟中包括如下步驟:針對根據(jù)對象圖像與合成圖像的差生成的圖像進行比特平面變換。[0026]優(yōu)選地，在本方法中，還包括:取得所輸出的第一參照圖像、第二參照圖像及變換后圖像的步驟；基于所取得的第一參照圖像及第二參照圖像，生成與對象圖像對應的合成圖像的步驟；根據(jù)所取得的第一參照圖像及第二參照圖像，生成掩模圖像的步驟；基于掩模圖像，在變換后圖像中提取潛在誤差相對大的區(qū)域的信息，并且，基于所提取的該信息和合成圖像，決定對象圖像的對應的像素位置的亮度值的步驟。[0027]更優(yōu)選地，在本方法中還包括，基于掩模圖像，在變換后圖像中，對潛在誤差相對小的區(qū)域的信息進行逆取模計算，從而決定對象圖像的對應的像素位置的亮度值的步驟。[0028]更優(yōu)選地，在決定亮度值的步驟中，在變換后圖像的中對潛在誤差相對大的區(qū)域的信息進行比特平面變換，并且，對通過該比特平面變換而比特數(shù)增大的圖像與合成圖像相加，從而決定亮度值。[0029]更優(yōu)選地，進行輸出的步驟還包括輸出對象圖像的縮小圖像的步驟，在該方法中還包括:在根據(jù)所決定的亮度值重建的對象圖像中，對于與通過對縮小圖像進行增采樣而得的放大圖像之間的差相對大的區(qū)域，將其置換為放大圖像的對應的值。[0030]優(yōu)選地，進行選擇的步驟包括:在多個圖像是多視點圖像的情況下，基于基線距離，選擇對象圖像以及第一參照圖像及第二參照圖像的步驟；在多個圖像是影像幀列的情況下，基于幀速率，選擇對象圖像以及第一參照圖像及第二參照圖像的步驟。[0031]根據(jù)本發(fā)明的另一方面，提供一種減小含有相互類似的信息的多個圖像的數(shù)據(jù)量的程序。該程序使計算機執(zhí)行如下步驟:取得多個圖像，并且，在多個圖像中選擇與對象圖像以及對象圖像類似的第一參照圖像及第二參照圖像的步驟；基于第一參照圖像及第二參照圖像，生成與對象圖像對應的合成圖像的步驟；生成掩模圖像的步驟，掩模圖像表示根據(jù)第一參照圖像及第二參照圖像生成的合成圖像相對于對象圖像的潛在誤差；生成與殘差對應的殘差圖像的步驟，殘差是指對象圖像與合成圖像之間的差；基于掩模圖像，對潛在誤差相對大的區(qū)域分配殘差圖像的對應的區(qū)域的信息，從而生成與對象圖像對應的變換后圖像的步驟；輸出第一參照圖像、第二參照圖像及變換后圖像，來作為表現(xiàn)對象圖像、第一參照圖像及第二參照圖像的信息的步驟。[0032]根據(jù)本發(fā)明的另一其它方面，提供一種減小含有相互類似的信息的多個圖像的數(shù)據(jù)量的裝置。本裝置包括:取得多個圖像，并且，在多個圖像中選擇與對象圖像以及對象圖像類似的第一參照圖像及第二參照圖像的單元；基于第一參照圖像及第二參照圖像，生成與對象圖像對應的合成圖像的單元；生成掩模圖像的單元，掩模圖像表示根據(jù)第一參照圖像及第二參照圖像生成的合成圖像相對于對象圖像的潛在誤差；生成與殘差對應的殘差圖像的單元，殘差是指對象圖像與合成圖像之間的差；基于掩模圖像，對潛在誤差相對大的區(qū)域分配殘差圖像的對應的區(qū)域的信息，從而生成與對象圖像對應的變換后圖像的單元；輸出第一參照圖像、第二參照圖像及變換后圖像，來作為表現(xiàn)對象圖像、第一參照圖像及第二參照圖像的信息的單元。[0033]根據(jù)本發(fā)明的另一其它方面，提供一種表現(xiàn)含有相互類似的信息的多個圖像的數(shù)據(jù)結構。本數(shù)據(jù)結構具有:與多個圖像所含的對象圖像對應的變換后圖像；與對象圖像類似的第一參照圖像及第二參照圖像；在變換后圖像中，對于根據(jù)第一參照圖像及第二參照圖像生成的合成圖像相對于對象圖像的潛在誤差相對大的區(qū)域，分配與殘差對應的殘差圖像的對應的區(qū)域的信息，殘差是對象圖像與合成圖像之間的差。[0034]發(fā)明的效果[0035]通過本發(fā)明，能夠更加高效地減小含有相互類似的信息的多個圖像的數(shù)據(jù)量?！靖綀D說明】[0036]圖1是表示應用本實施方式的數(shù)據(jù)量減小方法的立體影像再生系統(tǒng)(3Ddisplaysreproduct1nsystem)I的圖。[0037]圖2是表示本實施方式的含有相互類似的信息的多個圖像(多視點圖像)的一例的示意圖。[0038]圖3是表示本實施方式的含有相互類似的信息的多個圖像(影像幀列)的一例的示意圖。[0039]圖4是表示圖1所示的發(fā)揮編碼器功能的信息處理裝置的硬件結構的示意圖。[0040]圖5是表示圖1所示的發(fā)揮解碼器功能的信息處理裝置的硬件結構的示意圖。[0041]圖6是表示本實施方式的數(shù)據(jù)量減小方法的全部處理步驟的流程圖。[0042]圖7是表示本實施方式的數(shù)據(jù)量減小方法的編碼處理的功能結構的框圖。[0043]圖8是表示本實施方式的數(shù)據(jù)量減小方法中的合成圖像的生成處理的結果的圖。[0044]圖9是用于說明本實施方式的數(shù)據(jù)量減小方法中的掩模圖像(maskimage)的生成處理的示意圖。[0045]圖10是表示本實施方式的數(shù)據(jù)量減小方法中的掩模圖像的生成處理的結果的圖。[0046]圖11是用于說明本實施方式的數(shù)據(jù)量減小方法中的殘差圖像的生成處理的示意圖。[0047]圖12是表示本實施方式的數(shù)據(jù)量減小方法中的殘差圖像的生成處理的結果的圖。[0048]圖13是表示圖7所示的余數(shù)圖像生成部的更詳細的功能結構的框圖。[0049]圖14是用于說明在本實施方式的數(shù)據(jù)量減小方法中用于邊信息選擇的誤差分布的計算處理的示意圖。[0050]圖15是表示在本實施方式中生成余數(shù)圖像時使用的查詢表(lookuptable)的一例的圖。[0051]圖16是表示本實施方式的余數(shù)圖像的生成處理的結果的圖。[0052]圖17是表示本實施方式的合成圖像的生成處理的結果的圖。[0053]圖18是表示本實施方式的合成圖像的生成處理的結果的圖。[0054]圖19是表示本實施方式的數(shù)據(jù)量減小方法的對解碼處理輸入的對象圖像的一例。[0055]圖20是表示根據(jù)圖19所示的對象圖像生成的殘差圖像的一例。[0056]圖21是表示根據(jù)圖19所示的對象圖像生成的余數(shù)圖像的一例。[0057]圖22是表示根據(jù)圖19所示的對象圖像生成的掩模圖像的一例。[0058]圖23是表示根據(jù)圖19所示的對象圖像生成的合成圖像的一例。[0059]圖24是表示本實施方式的數(shù)據(jù)量減小方法的解碼處理的功能結構的框圖。[0060]圖25是用于說明本實施方式的數(shù)據(jù)量減小方法的解碼處理的概要的示意圖。[0061]圖26是用于說明本實施方式的數(shù)據(jù)量減小方法中的重建圖像的生成處理的示意圖。[0062]圖27是表示圖24所示的余數(shù)圖像生成部的更詳細的功能結構的框圖。[0063]圖28是表示通過本實施方式的第三變形例的數(shù)據(jù)量減小方法來生成的余數(shù)圖像的一例。[0064]圖29是表示通過本實施方式的第四變形例當前第1頁1 2 3 4 5 6