專利名稱：多分辨率分割和填充的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理領(lǐng)域，更具體地，本發(fā)明涉及圖像的分割(segmentation)和數(shù)據(jù)填充(filling)。
背景技術(shù)：
JPM、JPEG 2000部分6是一種混合光柵內(nèi)容(MRC)文件格式。MRC是一種用于壓縮包含二進(jìn)制文本和連續(xù)色調(diào)圖像的復(fù)合圖像的方法。MRC使用多層成像模式來表示多壓縮算法的結(jié)果，所述多壓縮算法包括具體對于文本和圖像開發(fā)的算法。在JPM中，通過將圖像分解為層來壓縮圖像，所述層與掩蔽復(fù)合。利用例如JPEG、JPEG 2000、JBIG、MMR的適當(dāng)標(biāo)準(zhǔn)化的圖像壓縮器來壓縮分解后的圖像和掩蔽。關(guān)于JPM和MRC文件格式的更多信息，請參考“Information Technology-JPEG 2000 Image Coding Standard-Part 6Compound Image File Format，”ISO/IEC FDIS 15444-6；Boliek & Wu，“JPEG2000-like Access Using the JPM Compound Document File Format，”ICME 2003Proceedings，2003 Intemational Conference on Multimedia and Expo，Vol.1，6-9July 2003；de Queiroz，Buckley & Xu，“Mixed Raster Content(MRC)Model forCompound Image Compression，”Proc.IS&T/SPIE Symp.On Electronic Imaging.Visual Communications and Image Processing，San Jose，CA，SPIE Vol.3653，pp.1106-1117，F(xiàn)eb.1999。
JPM文件可以具有任意數(shù)量的復(fù)合層。JPM編碼器生成根據(jù)JPM文件格式存儲的數(shù)據(jù)。這種編碼器通常包括用于壓縮對應(yīng)于背景(background)和前景(foreground)圖像的連續(xù)色調(diào)圖像的連續(xù)色調(diào)壓縮器以及用于壓縮掩蔽(mask)的二進(jìn)制圖像壓縮器。
在現(xiàn)有技術(shù)中，圖像的二進(jìn)制化被執(zhí)行為用于光字符識別(OCR)的預(yù)處理操作。例如，請參考“Comparison of Some Thresholding Algorithms forText/Background Segmentation in Difficult Document Images，ICDAR 2003Proceedings of International Conference on Document Analysis and Recognition，Vol.2，pp.859-863，2003，Leedham等人”。
JPM編碼器的兩個(gè)重要功能未被標(biāo)準(zhǔn)化。這包括分割和數(shù)據(jù)填充。分割是指如何將圖像分解為前景和背景層并且生成掩蔽，而數(shù)據(jù)填充是指如何將值分配給前景和背景圖像中的“不關(guān)心(don’t care)”像素(當(dāng)使用掩蔽復(fù)合最后圖像時(shí)未使用層的像素)，從而前景和背景圖像壓縮良好。
現(xiàn)有技術(shù)中存在大量分割和數(shù)據(jù)填充技術(shù)。例如，現(xiàn)有的許多分割方法使用在空間域中的K-方式分簇(K-means clustering)用以圖像處理，現(xiàn)有的許多方法也基于塊。K-方式分簇使用每種顏色出現(xiàn)的次數(shù)，而不是顏色的空間關(guān)系。頁面(page)分割是基于形態(tài)變換在比例(scale)空間中進(jìn)行的。例如，請參考D.P.Mukherjee and S.T.Acton，“Document page segmentation usingmultiscale clustering，”Proc.IEEE Int.Conf.On Image Processing，Kobe，Japan，Oct.25-29，1999。
美國專利No.6633670公開了對兩個(gè)不同尺寸的塊進(jìn)行前景/背景分割，并且使用根據(jù)分簇、而不是迭代k-方式的最大梯度的值。
現(xiàn)有技術(shù)包括對于分割的多級方法，其不涉及多分辨率變換，例如對于分組像素使用不同塊大小和使用跨級的馬爾可夫鏈(Markov chain)計(jì)算概率。例如，在“A New Wavelet-Based Document Image Segmentation Scheme”(ZhaoJian等人，Journal of Systems Engineering and Electronics，vol.13，no.3，2002，pp.86-90)中，使用了多塊尺寸，并且使用了臨界取樣(非冗余)Haar變換的單個(gè)變換級。
基于邊緣(edge)和灰度形態(tài)(grayscale morphology)的自適應(yīng)過濾(filtering)、擴(kuò)散(diffusion)是公知的。存在用于混合文檔的非-MRC壓縮方法。例如，“Compound Image Compression Using Adaptive Wavelet Transform”(Guo等人，Journal of the Institute of Image Electronics Engineers of Japan，vol.30，no.2，pp.138-50)公開了使用基于分割的自適應(yīng)小波變換(adaptive wavelettransform)(基于二進(jìn)制數(shù)據(jù)的變換的5，3小波和提升)。
DjVu是指一種AT&T和Lizard Tech.聯(lián)合研發(fā)的產(chǎn)品。在DjVu中，對變化尺寸的塊使用K方式分簇的加權(quán)平均值執(zhí)行前景/背景分割。使用壓縮(臨界取樣(critically sampled)，比Haar更長的過濾器)小波系統(tǒng)通過迭代來執(zhí)行填充。更多信息請參考“High Quality Document Image Compression with DjVu”(Bottou等人，Journal of Electronic Imaging，vol.7，no.3，pp.410-425，SPIE，1998)。
這些范圍內(nèi)的一些現(xiàn)有技術(shù)方法被設(shè)計(jì)來捕獲諸如半色調(diào)(halftone)噪聲的精密標(biāo)度細(xì)節(jié)。Xerox已經(jīng)使用了MRC。例如，對于彩色版畫的圖像，K方式分割與自適應(yīng)基于區(qū)域的限制(thresholding)的組合之后是假象物清除(artifact cleaning)。更多信息請參考“Encoding and Processing of ColorEngravings(Using MRC)”(Misic，Buckley & Parker，2002 IEEE InternationalConference on Image Processing，Rochester，New York，Sept.22-25，2002)。一種公開的方法是使用初始掩蔽和最后掩蔽的多步驟方法，其目標(biāo)是保持掩蔽中打印處理(例如半色調(diào)噪聲)的結(jié)構(gòu)，并且不抑制它。
在一個(gè)現(xiàn)有技術(shù)參考中，公開了一種基于塊的分割方法，其中對于每一塊選擇閾值，以便分離背景和前景。更多信息請參考“Optimizing block-thresholding segmentation for MRC compression”(de Queiroz，F(xiàn)an&Tran，Proc.IEEE Intl.Conf.on Image Processing，ICIP，Vancouver，Canada，Vol.II，pp.597-600，Sept.2000)。對于灰度和N×N塊，存在至多N2個(gè)可能的閾值。對于8×8塊，諸如由JPEG使用的那些，可以搜索至多64個(gè)閾值來發(fā)現(xiàn)最佳閾值。例如，請參考美國專利No.6373981。而且，美國專利No.6400844公開了對于前景/背景分割使用關(guān)于塊的簡單閾值，并且具有其他分類方法來決定是否對塊進(jìn)行前景/背景分割。
存在一些已在現(xiàn)有技術(shù)中利用的填充方法。例如，一種這樣的填充技術(shù)包括通過平均形成多通(multiple pass)中四個(gè)鄰近區(qū)域的非不關(guān)心像素來執(zhí)行填充，直到所有不關(guān)心像素被填充。請參考“On data-filling algorithms forMRC layers”(de Queiroz，Proc.IEEE Intl.Conf.on Image Processing，ICIP，Vancouver，Canada，Vol.II，pp.586-589，Sept.2000)。另一現(xiàn)有技術(shù)的填充方法包括使用低通過濾器(filter)和放大不是“不關(guān)心”的位置的系數(shù)來進(jìn)行填充。又一種現(xiàn)有技術(shù)填充的方法包括使用DCT通過迭代來填充。存在幾個(gè)相關(guān)美國專利。例如，請參考美國專利Nos.6334001、6272255和6275620。
在“JPEG2000-Matched MRC Compression of Compound Documents”(Mukherjee等人，2002 IEEE International Conference on Image Processing，Rochester，New York，Sept.22-25，2002)中，公開了一種分割和填充方法。在所公開的方法中，以條形(stripe)執(zhí)行處理，并且對塊進(jìn)行分割并且在一次通過(one pass)時(shí)發(fā)生。高對比度的塊用K-方式、按亮度分割為背景(較亮)和(較暗)前景。根據(jù)相鄰塊來分配低對比度的塊。
LuraDocument是一種根據(jù)LuraTech(http//www.luratech.com/，Algo VisionLuraTech GmbH)的、執(zhí)行前景/背景分割和填充的JPM相關(guān)產(chǎn)品，其類似于JPM但未被標(biāo)準(zhǔn)化，這在EPO專利第EP 1104916A1號(德國)中被描述了；Thierschmann等人，“A Scalable DSP Architecture For High-Speed ColorDocument Compression，”Document Recognition and Retrieval VIII；和Kantor等人，編輯，Proceeding of SPIE Vol.4307(2001)，San Jose，CA，2001年1月。LuraDocument生成二進(jìn)制化的自適應(yīng)閾值。對于75dpi的減少的分辨率，應(yīng)用3×3最小和3×3最大過濾器，并且計(jì)算它們的差。如果所述差小于固定參數(shù)，則所述閾值初始為“不關(guān)心”；否則，所述閾值初始為最小值和最大值的平均值。不是“不關(guān)心”的初始閾值被3×3平均過濾器過濾，并且隨后被5×5平均過濾器傳播。使用平均不是“不關(guān)心”的所有值的7×7過濾器來分配“不關(guān)心”閾值。利用雙線性內(nèi)插將閾值插入滿圖像分辨率(full image resolution)。隨后將所述閾值與初始圖像進(jìn)行比較以便生成二進(jìn)制圖像。
LuraDocument根據(jù)文檔分辨率通過在限制內(nèi)的二進(jìn)制圖像的大小中發(fā)現(xiàn)連接的成分進(jìn)行文本檢測。對于每個(gè)連接的成分，如果它的內(nèi)方差在閾值以下并且具有堅(jiān)固的邊緣，則根據(jù)Soble和Laplace過濾器將其分類為文本。文本連接的成分被設(shè)定為掩蔽中的前景，并且其他位置被設(shè)定為背景。
LuraDocument生成在每一維度中其分辨率減少了系數(shù)3的前景圖像。按一個(gè)像素使掩蔽變細(xì)，以便選擇非邊界前景像素相對“不關(guān)心”像素。對于每一3×3塊，平均不是“不關(guān)心”的像素，并且將具有9個(gè)“不關(guān)心”像素的3×3塊標(biāo)記為“不關(guān)心”。使用5×5平均過濾器來傳播不關(guān)心值的平均值。使用另一5×5平均過濾器來抑制非文本區(qū)域中的前景顏色變成灰色。以類似的方式計(jì)算背景。
在檢查圖像壓縮中已經(jīng)使用了填充和分割操作。例如，在“Check imagecompression using a layered coding method”中(Huang等人，Journal of ElectronicImaging，7(3)，pp.426-442，1998年7月)中描述了一種用于檢查的完整系統(tǒng)(在銀行業(yè)中使用)，其中所述系統(tǒng)使用灰度形態(tài)結(jié)束作為分割的關(guān)鍵操作。所述系統(tǒng)確定獨(dú)立于小塊的構(gòu)造元素的大小(比例/分辨率)，執(zhí)行獨(dú)立像素的移動，并且使用平均值來執(zhí)行填充。

發(fā)明內(nèi)容
公開了一種多分辨率分割和填充的方法和裝置。在一個(gè)實(shí)施例中，所述方法包括使用多分辨率的圖像數(shù)據(jù)生成多個(gè)層；生成描述多個(gè)層組成的掩蔽，以便獲得圖像；和在多個(gè)層中的每一層中填充像素，在所述層中被填充的像素是當(dāng)復(fù)合多個(gè)層時(shí)對圖像沒有貢獻(xiàn)的那些像素。


從下列給出的詳細(xì)描述和本發(fā)明的各個(gè)實(shí)施例的附圖中，將會更全面理解本發(fā)明，然而，不應(yīng)當(dāng)將本發(fā)明限制為具體實(shí)施例，而只是用于解釋和理解。
圖1是編碼器的方框圖；圖2是可被用來執(zhí)行多分辨率分割和填充技術(shù)的分割器和填充器的一個(gè)實(shí)施例的方框圖；圖3是用于執(zhí)行多分辨率分割和填充的處理的流程圖；圖4是用于執(zhí)行多分辨率前景/背景分析的處理的一個(gè)實(shí)施例的流程圖；圖5是用于將低通系數(shù)分配給前景、背景或未確定(undecided)值的處理的一個(gè)實(shí)施例的流程圖；圖6是用于根據(jù)原始圖像以及初步背景和前景圖像、通過分類初步掩蔽中的每個(gè)像素位置而生成空間初步掩蔽的處理的一個(gè)實(shí)施例的流程圖；圖7是用于執(zhí)行多分辨率前景和背景生成的處理的一個(gè)實(shí)施例的流程圖；圖8是用于計(jì)算相應(yīng)于前景的低通系數(shù)的相反值的處理的一個(gè)實(shí)施例的流程圖；圖9是用于計(jì)算相應(yīng)于背景的低通系數(shù)的相反值的處理的一個(gè)實(shí)施例的流程圖；圖10是用于傳播前景分類值的處理的一個(gè)實(shí)施例的流程圖；圖11是用于傳播背景分類值的處理的一個(gè)實(shí)施例的流程圖；圖12是在最后掩蔽生成操作中使用的12像素相鄰范圍；圖13是用于生成最后掩蔽的處理的一個(gè)實(shí)施例的流程圖；圖14示出了3變換級的輸入和低通系數(shù)；圖15圖解說明了示例性的12像素的相鄰范圍(neighborhood)；
圖16示出了1-維信號的數(shù)值示例；圖17示出了繼續(xù)重復(fù)選擇的操作的示例；圖18圖解說明了前景的一個(gè)操作；圖19圖解說明了背景的一個(gè)操作；圖20圖解說明了2D有損(lossy)的邊緣；圖21圖解說明了1D有損的邊緣；圖22是可以執(zhí)行此處所描述的一個(gè)或多個(gè)操作的示例性計(jì)算機(jī)系統(tǒng)的方框圖；和圖23圖解說明了具有在有損的邊緣填充中使用的中間值的示例性加權(quán)。
具體實(shí)施例方式
公開了一種多分辨率前景和背景分割和填充技術(shù)。在一個(gè)實(shí)施例中，這些技術(shù)被組合在一起作為圖像處理過程的部分(例如，生成JPM文件)。在一個(gè)實(shí)施例中，前景和背景分割和填充技術(shù)使用一個(gè)輸入圖像，并且生成前景圖像、背景圖像和二進(jìn)制掩蔽圖像。分割技術(shù)確定二進(jìn)制掩蔽圖像的值，而填充算法確定兩個(gè)圖像層中的每一圖像層中的被填充(“不關(guān)心”)像素的值。在一個(gè)實(shí)施例中，在二進(jìn)制掩蔽是1的像素位置處，前景圖像具有與原始圖像相同的值，并且背景是必須被填充的“不關(guān)心”值，并且在二進(jìn)制掩蔽是0的像素位置處，背景圖像具有與原始圖像相同的值，并且前景是必須被填充的“不關(guān)心”值。如果前景、背景和掩蔽圖像未被量化，則能通過使用掩蔽組合前景和背景圖像來無損地恢復(fù)初始圖像。
此處所描述的分割是以多分辨率方式執(zhí)行的。在一個(gè)實(shí)施例中，通過對圖像數(shù)據(jù)和系數(shù)應(yīng)用小波變換(例如冗余Haar小波變換)來實(shí)現(xiàn)多分辨率分割。
此處所描述的分割和填充技術(shù)與現(xiàn)有技術(shù)的分割和填充技術(shù)存在許多不同之處。例如，在現(xiàn)有技術(shù)中沒有發(fā)現(xiàn)利用基于線性過濾/冗余小波變換的方法的分類(掩蔽的生成)以及冗余小波數(shù)據(jù)流和用于組合不同相位的平均方法的使用。而且，執(zhí)行掃描的半調(diào)色忽略半調(diào)色噪聲(scanned halftoned ignoringhalftone noise)的前景和背景分割的能力是對于現(xiàn)有技術(shù)方法的貢獻(xiàn)。
在下面的說明中，闡述了許多細(xì)節(jié)。然而，對于本領(lǐng)域的普通技術(shù)人員明顯的是，本發(fā)明可以在沒有這些具體細(xì)節(jié)的情況下實(shí)現(xiàn)。例如，為了避免使本發(fā)明不清楚，以方框的形式、而不是詳細(xì)地示出了公知結(jié)構(gòu)和設(shè)備。
以下的一部分詳細(xì)描述是對于在計(jì)算機(jī)存儲器內(nèi)的數(shù)據(jù)位操作的算法和符號表示。這些算法描述和表示是數(shù)據(jù)處理領(lǐng)域的技術(shù)人員使用來向本領(lǐng)域的其他技術(shù)人員最有效地傳遞它們的工作的實(shí)質(zhì)方式。此處，算法通常被認(rèn)為是產(chǎn)生期望結(jié)果的首尾一致順序的步驟。所述步驟需要物理數(shù)量的物理操縱。通常，盡管不是必需的，但是這些數(shù)量采取電或磁數(shù)據(jù)的形式，能夠被存儲、傳送、合并、比較或者其他方式被操縱。參考諸如位、值、元素、符號、字符、術(shù)語、數(shù)字等，主要由于共同使用而證明是方便的。
然而，應(yīng)當(dāng)記住，所有這些和類似條件與適當(dāng)?shù)奈锢頂?shù)量相關(guān)聯(lián)并且僅僅是適用于這些數(shù)量的方便的標(biāo)簽。除非從下列討論中明顯的特別陳述的其他方面，應(yīng)當(dāng)理解，整個(gè)描述中，利用諸如“處理”或者“計(jì)算”或“計(jì)算”或“確定”或“顯示”等術(shù)語的討論是指計(jì)算機(jī)系統(tǒng)或者類似電子計(jì)算設(shè)備的動作和處理，它們操縱和變換計(jì)算機(jī)系統(tǒng)的寄存器和存儲器內(nèi)表示為物理(電子)數(shù)量的數(shù)據(jù)為類似表示為計(jì)算機(jī)系統(tǒng)存儲器或寄存器或者其他這種信息存儲器、傳輸或顯示設(shè)備內(nèi)的物理數(shù)量的其他數(shù)據(jù)。
本發(fā)明也涉及用于執(zhí)行此處的操作的裝置。該裝置可被特別構(gòu)造用于所需目的，或者它可以包括由存儲在計(jì)算機(jī)中的計(jì)算機(jī)程序選擇性地激活或重新配置的通用計(jì)算機(jī)。這種計(jì)算機(jī)程序可被存儲在計(jì)算機(jī)可讀存儲介質(zhì)中，例如但不限于任何類型的盤，包括軟盤、光盤、CD-ROM和磁光盤、只讀存儲器(ROM)、隨機(jī)存儲存儲器(RAM)、EPROM、EEPROM、磁或光學(xué)卡、或者適合存儲電子指令的任意類型媒體，并且它們都耦合到計(jì)算機(jī)系統(tǒng)總線。
此處闡述的算法和顯示器并不特別涉及任意特定計(jì)算機(jī)或其他裝置。根據(jù)此處的示教，可以使用具有程序的各種通用系統(tǒng)，或者可以證明便于構(gòu)造更專業(yè)的裝置來執(zhí)行所需的方法步驟。從下面的描述中各種這些系統(tǒng)的所需結(jié)構(gòu)將是明顯的。另外，并未參考任意特定編程語言來描述本發(fā)明。應(yīng)當(dāng)理解，可以使用各種編程語言來實(shí)現(xiàn)此處所描述的本發(fā)明的示教。
機(jī)器可讀介質(zhì)包括用于存儲或傳送機(jī)器(例如計(jì)算機(jī))可讀形式的信息任意機(jī)構(gòu)。例如，機(jī)器可讀介質(zhì)包括只讀存儲器(“ROM”)；隨機(jī)存取存儲器(“RAM”)；磁盤存儲媒體；光存儲媒體；閃存設(shè)備；電、光、聲或其他形式的傳播信號(例如載波、紅外信號、數(shù)字信號等)等等。
圖1是編碼器的方框圖。參考圖1，具有分割器和填充器的、基于JPM的系統(tǒng)的示例將原始圖像分解為一個(gè)背景圖像、一個(gè)前景圖像和一個(gè)掩蔽。然后可以壓縮它們中的每一個(gè)。使用連續(xù)色調(diào)壓縮器(例如，JPEG 2000壓縮器)來壓縮背景和前景圖像，而使用二進(jìn)制圖像壓縮器(例如，JBIG或JBIG2壓縮器)來壓縮掩蔽。通過組合技術(shù)(art)的連續(xù)色調(diào)和二進(jìn)制圖像壓縮器，JPM能夠?qū)?fù)合文檔圖像提供比只有的當(dāng)前連續(xù)色調(diào)或二進(jìn)制圖像壓縮方法更好的壓縮性能。
圖2是可被用來執(zhí)行此處多分辨率分割和填充技術(shù)的分割器和填充器的一個(gè)實(shí)施例的方框圖。在一個(gè)實(shí)施例中，可以使用冗余Haar小波變換來執(zhí)行分割和填充。在一個(gè)實(shí)施例中，所述方法使用具有多分辨率變換的三個(gè)操作，所述多分辨率變換具有與冗余Haar小波變換相同的存儲器存取模式。
參考圖2，多分辨率前景/背景分析處理單元201對輸入圖像210執(zhí)行與多分辨率前景/背景分析相關(guān)聯(lián)的操作(這里稱作步驟I)，空間初步掩蔽處理單元202執(zhí)行與空間初步掩蔽的生成相關(guān)聯(lián)的操作(這里稱作步驟II)，多分辨率前景和背景處理單元203執(zhí)行與多分辨率前景/背景生成相關(guān)聯(lián)的操作(這里稱作步驟III)，空間最后掩蔽處理單元204執(zhí)行與空間最后掩蔽的生成相關(guān)聯(lián)的操作(這里稱作步驟IV)，并且多分辨率填充處理單元205執(zhí)行與執(zhí)行多分辨率填充操作相關(guān)的操作(這里稱作步驟V)。多分辨率填充單元的輸入是掩蔽以及前景和背景圖像。
一些多分辨率操作(步驟I、III和V)具有“正向”部分(子步驟Ia、IIIa、Va)和“反向”部分(子步驟Ib、IIIb和Vb)。步驟IV也具有幾個(gè)子操作。這些操作的描述如下。
圖3是用于執(zhí)行多分辨率分割和填充的處理的流程圖。通過可以包括硬件(例如，電路、專用邏輯電路等)、軟件(諸如在通用計(jì)算機(jī)系統(tǒng)或?qū)Ｓ脵C(jī)器上運(yùn)行的)、或者兩者組合的處理邏輯來執(zhí)行所述處理。
參考圖3，處理邏輯首先執(zhí)行多分辨率前景/背景分析(處理塊301)。多分辨率前景/背景分析根據(jù)低分辨率圖像數(shù)據(jù)生成初步前景和背景圖像。在一個(gè)實(shí)施例中，低分辨率數(shù)據(jù)來自多于一個(gè)原始圖像的更低的分辨率版本。
接著，處理邏輯生成空間初步掩蔽(處理塊302)。在一個(gè)實(shí)施例中，通過將掩蔽中像素位置劃分為前景、背景或此處稱作未確定的其它類別來執(zhí)行生成空間初步掩蔽。
在生成空間初步掩蔽之后，處理邏輯執(zhí)行多分辨率前景和背景生成(處理塊303)。在一個(gè)實(shí)施例中，處理邏輯將前景像素傳播到相鄰區(qū)域(neighbor)，并且使用遠(yuǎn)離任意前景像素的位置的原始圖像的黑、白或平滑版本(version)。通過將背景像素傳播到相鄰區(qū)域并使用遠(yuǎn)離任意背景像素位置的原始圖像的黑、白或平滑版本，可以將用于前景生成的處理用于背景生成。這一操作的結(jié)果是初步背景和前景圖像的生成。
在多分辨率前景和背景圖像生成之后，處理邏輯生成空間最后掩蔽(處理塊304)。在一個(gè)實(shí)施例中，處理邏輯通過基于原始圖像與在處理塊303(步驟III)中生成的背景和前景圖像的比較而生成最后掩蔽并且使用減少掩蔽中的噪聲的處理來產(chǎn)生空間最后掩蔽。在一個(gè)實(shí)施例中，處理邏輯也確保了前景和背景使用掩蔽精確復(fù)合成原始圖像。
在生成最后空間掩蔽之后，處理邏輯執(zhí)行多分辨率填充操作(處理塊305)。在一個(gè)實(shí)施例中，處理邏輯通過分別傳播前景和背景值、通過在最后前景和背景圖像中的“不關(guān)心”位置(復(fù)合中未使用的像素)的前景和背景圖像中填充像素來執(zhí)行多分辨率填充操作。
多分辨率前景/背景分析(步驟I)在一個(gè)實(shí)施例中，多分辨率前景/背景分析包括多個(gè)操作。多分辨率前景/背景分析的第一部分——此處稱作子步驟Ia——計(jì)算正向變換。在一個(gè)實(shí)施例中，所述變換包括冗余Haar正向小波變換。然而。也可以使用其他變換，例如，可以使用冗余或臨界取樣小波變換。除了Haar以外，可以使用更長的小波過濾器(filter)，例如在JPEG 2000中使用的5、3或者9、7過濾器、或者Daubechies或者樣條(spline)小波?？梢允褂美肎ausian的Laplacian錐形變換或其他低通過濾器。
在一個(gè)實(shí)施例中，使用正向小波變換來獲得三個(gè)分解級別。在這種情況下，計(jì)算3個(gè)變換級的低通系數(shù)。在一個(gè)實(shí)施例中，存儲了所有級別的低通系數(shù)，并且在多分辨率前景/背景分析的第二(反向)部分期間必要時(shí)計(jì)算高通系數(shù)(或者關(guān)于它們的信息)。
多分辨率前景/背景分析的第二操作(此處稱作子步驟Ib)檢查低通系數(shù)，并且從較低分辨率開始將低通系數(shù)分配給前景和背景，并且處理較高分辨率。也就是，使用較低分辨率低通系數(shù)(例如來自第三級小波變換的低通系數(shù))，嘗試將它們分配給部分背景或前景。
當(dāng)以較低分辨率級進(jìn)行分配時(shí)，通過其他較高分辨率級進(jìn)行傳播。在一個(gè)實(shí)施例中，對于較高分辨率通過將高通系數(shù)設(shè)定為零(到四個(gè)子系數(shù))而將分配傳播到其他較高分辨率級，并且使用冗余Haar反向變換來獲得平滑的結(jié)果。父系數(shù)是在一個(gè)分辨率級m處的系數(shù)。該系數(shù)包括來自原始圖像中的特定局部區(qū)域的信息。(父的子系數(shù)是在下一較高分辨率級m-1處的系數(shù)，它們一起覆蓋了與在級別m處的父系數(shù)相同的空間區(qū)域)。冗余Haar反向變換通過平均四個(gè)相位的結(jié)果來獲得平滑的結(jié)果。在另一實(shí)施例中，如果使用了臨界取樣變換，則僅存在一個(gè)相位，并且不執(zhí)行平均。
在最低分析分辨率處并且對于未通過傳播設(shè)定的較高分辨率，得到在2×2區(qū)域中最亮和最暗的低通系數(shù)。如果它們的差在閾值之上，則將最亮低通系數(shù)作為背景值分配給初步背景圖像，并且將最暗系數(shù)作為前景值分配給初步前景圖像。如果它們的差在閾值以下，則對于初步前景和背景圖像使用來自下一較高分辨率的低通系數(shù)。
在一個(gè)實(shí)施例中，對于0...255數(shù)據(jù)，級2與較高級低通系數(shù)之間的差的閾值是32N，并且對于級1系數(shù)之間的差的閾值是80N，其中N是組分(component)的數(shù)量(例如，對于RGB數(shù)據(jù)，為3)。在一個(gè)實(shí)施例中，不考慮原始像素值(級0)之間的差。在一個(gè)實(shí)施例中，使用L1范數(shù)來計(jì)算所述差。
多分辨率前景/背景分析的輸出是初步前景圖像和初步背景圖像。
圖4是用于執(zhí)行多分辨率前景/背景分析的處理的一個(gè)實(shí)施例的流程圖。通過可以包括硬件(例如，電路、專用邏輯電路等)、軟件(諸如在通用計(jì)算機(jī)系統(tǒng)或?qū)Ｓ脵C(jī)器上運(yùn)行的)、或者兩者組合的處理邏輯來執(zhí)行所述處理。
參考圖4，處理邏輯使用正向變換來生成多變換級的系數(shù)(處理塊401)。在一個(gè)實(shí)施例中，僅使用低通系數(shù)；因此，僅存儲低通系數(shù)。在一個(gè)實(shí)施例中，所述變換是冗余Haar變換。
可以執(zhí)行任意數(shù)量的變換級。在一個(gè)實(shí)施例中，處理邏輯生成三個(gè)變換級的系數(shù)。變換級的數(shù)量可被選擇為足以消除下面生成的初步掩蔽中的半色調(diào)噪聲的數(shù)量。所述變換級消除了初步前景和背景中的噪聲，從而噪聲在下一步驟中不再進(jìn)入初步掩蔽。
在使用正向變換生成多變換級的系數(shù)之后，處理邏輯將低通系數(shù)分配給前景、背景、或表示一種狀態(tài)的值，在該狀態(tài)中在前景或背景之間在它的分配時(shí)處理邏輯是未確定的(處理塊402)。
圖5是用于將低通系數(shù)分配給前景、背景或未確定值的處理的一個(gè)實(shí)施例的流程圖。通過可以包括硬件(例如，電路、專用邏輯電路等)、軟件(諸如在通用計(jì)算機(jī)系統(tǒng)或?qū)Ｓ脵C(jī)器上運(yùn)行的)、或者兩者組合的處理邏輯來執(zhí)行所述處理。參考圖5，所述處理以處理邏輯將當(dāng)前分辨率設(shè)定為最低分辨率并且對于每個(gè)區(qū)域?qū)?biāo)志設(shè)定為“未在較低分辨率處分配”來開始(處理塊511)。
處理邏輯比較當(dāng)前分辨率中每個(gè)區(qū)域中的最亮低通系數(shù)和最暗低通系數(shù)，其中當(dāng)且僅當(dāng)這些系數(shù)相差大于閾值時(shí)，所述比較為真(處理塊512)。在一個(gè)實(shí)施例中，根據(jù)亮度或色差度量，最亮系數(shù)是最接近白色的系數(shù)。類似地，最暗系數(shù)最接近黑色。在可替換的實(shí)施例中，處理邏輯比較第一較低分辨率版本中、每個(gè)區(qū)域中的兩個(gè)具有最大色差的低通系數(shù)。所述色差可以以ΔE單位來度量。在一個(gè)實(shí)施例中，處理邏輯使用長度度量(例如L1、L2、L∞范數(shù))來比較最亮和最暗低通系數(shù)。
在比較之后，對于每個(gè)區(qū)域，如果比較為真并且這一區(qū)域的標(biāo)記為“未在較低分辨率處分配”，則處理邏輯將最亮低通系數(shù)作為背景值分配(處理塊513)，并且對于每個(gè)區(qū)域，如果比較為真并且這一區(qū)域的標(biāo)記為“未在較低分辨率處分配”，則處理邏輯將最暗低通系數(shù)作為前景值分配(處理塊514)。
對于每個(gè)區(qū)域，如果比較為假并且這一區(qū)域的標(biāo)記為“未在較低分辨率處分配”，則處理邏輯將來自第二較低分辨率版本(為對于當(dāng)前較低分辨率版本的下一較高分辨率版本)的低通系數(shù)作為前景值和背景值分配(處理塊515)。或者，所述分配可以以類似于結(jié)合此處所描述的多分辨率前景和背景生成描述的前景/背景生成的方式為不關(guān)心值。
接著，對于每個(gè)區(qū)域，如果這一區(qū)域的標(biāo)記為“在較低分辨率處分配”，則處理邏輯用設(shè)定為零的高通系數(shù)計(jì)算反向小波變換(處理塊516)。
接著，對于每個(gè)區(qū)域，如果比較為真并且這一區(qū)域的標(biāo)記為“未在較低分辨率處分配”，則處理邏輯設(shè)定這一區(qū)域的標(biāo)記為“在較低分辨率處分配”(處理塊517)。
最后，如果當(dāng)前分辨率不是第二最高分辨率，則處理邏輯將當(dāng)前分辨率設(shè)定為比當(dāng)前分辨率高的一個(gè)分辨率(處理塊518)，并且重復(fù)處理塊512-518。
因此，分配低通系數(shù)通過檢查圖像的多個(gè)較低分辨率版本中的第一個(gè)中的低通系數(shù)而開始，并且隨后繼續(xù)到至少具有比第一較低分辨率版本高分辨率的第二較低分辨率版本。
因此，根據(jù)與原始圖像的多個(gè)較低分辨率版本有關(guān)的低分辨率圖像數(shù)據(jù)來生成初步前景和背景圖像。
在另一替換實(shí)施例中，代替發(fā)現(xiàn)最亮和最暗低通系數(shù)，可以使用具有最大L1色差或者其他色差對(pair)，或者最大Haar小波系數(shù)可以與閾值進(jìn)行比較。
重復(fù)來說，可以使用Haar以外的其他小波變換。
空間初步掩蔽生成(步驟II)在步驟II，根據(jù)原始圖像以及在多分辨率前景/背景分析期間生成的初步前景和背景圖像來生成初步掩蔽(步驟I)。在一個(gè)實(shí)施例中，初步掩蔽中的每個(gè)像素位置具有稱作前景、背景和未確定值的三個(gè)值之一。如果在特定像素位置處的初步前景和背景圖像不相差一個(gè)閾值(例如，64N)，則在掩蔽的相應(yīng)像素位置處的掩蔽值為未確定。否則，將該像素的原始圖像值與在前景圖像、背景圖像中對應(yīng)位置處的值以及在前景和背景圖像中對應(yīng)位置處的值之間的預(yù)定值比較。在一個(gè)實(shí)施例中，預(yù)定值是前景和背景圖像中相應(yīng)位置處的值之間的中間值(即，前景和背景值的平均值)。在另一實(shí)施例中，該預(yù)定值可以充分接近于該中間值(halfway)。所述值可以取決于分割數(shù)據(jù)(例如，半色調(diào)的文本、特定灰度值的半色調(diào)特性)。其他選擇包括諸如在自適應(yīng)閾值技術(shù)中使用的局部平均的統(tǒng)計(jì)度量。
如果所述值更接近于前景或背景值，則將其分類為前景或背景。如果它更接近于預(yù)定值(例如，平均值)，則掩蔽值被分類為未確定。與“中間(halfway)”值的比較的使用生成了前景和背景確定區(qū)域之間的“死區(qū)(dead zone)”。
圖6是用于根據(jù)原始圖像以及初步背景和前景圖像、通過分類初步掩蔽中的每個(gè)像素位置而生成空間初步掩蔽的處理的一個(gè)實(shí)施例的流程圖。通過可以包括硬件(例如，電路、專用邏輯電路等)、軟件(諸如在通用計(jì)算機(jī)系統(tǒng)或?qū)Ｓ脵C(jī)器上運(yùn)行的)、或者兩者組合的處理邏輯來執(zhí)行所述處理。
參考圖6，處理邏輯將圖像中的每個(gè)像素位置的值與前景和背景圖像中的相應(yīng)像素位置的值以及在前景和背景圖像中相應(yīng)像素位置處的值之間的預(yù)定值(例如中間值)進(jìn)行比較(處理塊601)。如果前景和背景之間的差小于閾值，則像素被分類為未確定(處理塊602)。如果它的值更接近于在前景圖像中的對應(yīng)像素位置處的像素值，則處理邏輯將像素位置分類為前景(處理塊603)。如果它的值更接近于在背景圖像中的對應(yīng)像素位置處的像素值，則處理邏輯將像素位置分類為背景(處理塊604)。如果它的值更接近于預(yù)定值(例如，中間值)，則處理邏輯將像素位置分類為未確定(處理塊605)。
多分辨率前景/背景生成(步驟III)在步驟III，分別以非前景和非背景值為代價(jià)，基于掩蔽(和掩蔽傳播到低分辨率)，在各個(gè)前景和背景圖像中擴(kuò)展前景和背景分類值的空間范圍。擴(kuò)展空間范圍以對前景分類值和背景分類值應(yīng)用正向變換來開始。在一個(gè)實(shí)施例中，使用三個(gè)變換級。注意，多分辨率前景/背景生成操作的第一部分，子步驟IIIa，類似于下述的冗余Haar正向變換的應(yīng)用，除了過濾器系數(shù)取決于初步掩蔽。在一個(gè)實(shí)施例中，僅計(jì)算和存儲低通系數(shù)。
更具體地，考慮對前景執(zhí)行變換。如果所有四個(gè)輸入值在被先分類為空間初步掩蔽中的前景，則正常計(jì)算低通系數(shù)并且將其分類為前景。如果四個(gè)輸入值中沒有一個(gè)被分類為前景(即，它們是背景或未確定)，則正常計(jì)算低通系數(shù)并將其分類為“不關(guān)心”。(“不關(guān)心”系數(shù)是在反向變換中沒有貢獻(xiàn)的系數(shù)。如下所討論的，這些是被加權(quán)值0相乘的系數(shù)。在某些情況下，這些“不關(guān)心”系數(shù)可用于邊界處理而不是鏡像。通常，“不關(guān)心”系數(shù)具有對應(yīng)于“不關(guān)心”像素的支持——它們都處于“不關(guān)心”位置。)如果不是所有的四個(gè)輸入值被在先分類為前景并且至少一個(gè)輸入值被分類為前景，則平均被分類為前景的1到3個(gè)輸入值，以便生成低通系數(shù)(這不是正常的Haar系數(shù))，并且該系數(shù)被分類為前景。對于具有分類背景和“不關(guān)心”(其中現(xiàn)在在“不關(guān)心”中包含前景)的背景，可以使用相同的處理。
注意，在一些情況下，系數(shù)與先前計(jì)算的系數(shù)相同，并且如果系數(shù)可從存儲器獲得，則不必再次計(jì)算。
多分辨率前景/背景生成操作的第二部分，步驟IIIb，將前景和背景分類值傳播到背景和前景圖像的更低分辨率版本。在前景的情況下，例如，當(dāng)所有四個(gè)輸入值被分類為前景，則使用反向冗余Haar小波平滑重建，其中所有高通系數(shù)被設(shè)定為0。如果1到3個(gè)輸入被分類為前景，則使用它們的平均值作為相反的變換值(而不是相反的正常Haar)。(如果使用了Haar以外的過濾器，則可以用過濾器的適當(dāng)縮短和標(biāo)準(zhǔn)化版本來代替平均)。如果沒有輸入被分類為前景，則新值可被分類為黑、白或相應(yīng)的正常Haar低通系數(shù)(或?qū)τ诩?的初始取樣)。對于被分類為背景的輸入可應(yīng)用相同的處理。當(dāng)從Haar低通值到白色的距離(例如L1范數(shù))小于信號的動態(tài)范圍的3/8(例如，96N)，則對于前景選擇黑色。類似地，當(dāng)從Haar低通值到黑色的距離小于動態(tài)范圍的3/8，則對于背景選擇白色。注意，3/8閾值的使用使得前景和背景具有類似大約50％閾值的值，這將減少分割假象物的可見性。
圖7示出了用于執(zhí)行多分辨率前景和背景生成的處理的一個(gè)實(shí)施例的流程圖。通過可以包括硬件(例如，電路、專用邏輯電路等)、軟件(諸如在通用計(jì)算機(jī)系統(tǒng)或?qū)Ｓ脵C(jī)器上運(yùn)行的)、或者兩者組合的處理邏輯來執(zhí)行所述處理。
參考圖7，處理邏輯最初計(jì)算多個(gè)變換級的前景分類值與背景分類值的低通系數(shù)(處理塊701)。
在計(jì)算多個(gè)變換級的低通系數(shù)之后，處理邏輯基于先前被分類為前景、背景和未確定的初步掩蔽中像素組中像素的數(shù)量，計(jì)算對應(yīng)于前景和背景的低通系數(shù)的相反值(處理塊702)。
圖8是用于計(jì)算對應(yīng)于前景的低通系數(shù)的相反值的處理的一個(gè)實(shí)施例的流程圖。通過可以包括硬件(例如，電路、專用邏輯電路等)、軟件(諸如在通用計(jì)算機(jī)系統(tǒng)或?qū)Ｓ脵C(jī)器上運(yùn)行的)、或者兩者組合的處理邏輯來執(zhí)行所述處理。
參考圖8，如果對應(yīng)于每組中的低通系數(shù)的所有像素值被分類為初步掩蔽中的前景，則處理邏輯計(jì)算每組低通系數(shù)的相反值作為通常的小波變換值(處理塊801)。如果對應(yīng)于所述每組中的低通系數(shù)的像素沒有被分類為在初步掩蔽中的前景，則處理邏輯指定每組低通系數(shù)的相反值為不關(guān)心值(處理塊802)。如果少于對應(yīng)于所述每組中的低通系數(shù)的所有像素值被分類為初始掩蔽中的前景，則處理邏輯計(jì)算每組低通系數(shù)的相反值作為低通系數(shù)的平均值，該低通系數(shù)對應(yīng)于被分類為所述初步掩蔽中的前景的像素值(處理塊803)。
圖9是用于計(jì)算對應(yīng)于背景的低通系數(shù)的相反值的處理的一個(gè)實(shí)施例的流程圖。通過可以包括硬件(例如，電路、專用邏輯電路等)、軟件(諸如在通用計(jì)算機(jī)系統(tǒng)或?qū)Ｓ脵C(jī)器上運(yùn)行的)、或者兩者組合的處理邏輯來執(zhí)行所述處理。參考圖9，如果對應(yīng)于每個(gè)組中的低通系數(shù)的所有像素值被分類為初步掩蔽中的背景，則處理邏輯將該組低通系數(shù)的相反值作為背景進(jìn)行計(jì)算(處理塊901)。如果在對應(yīng)于那個(gè)組中的低通系數(shù)的像素值沒有被分類為初步掩蔽中的背景，則處理邏輯指定該組低通系數(shù)的相反值為不關(guān)心值(處理塊902)。如果小于對應(yīng)于每組中的低通系數(shù)的所有像素值被分類為初始掩蔽中的背景，則處理邏輯計(jì)算該組低通系數(shù)的相反值作為對應(yīng)于在該組中被分類為在初步掩蔽中的背景的像素值的低通系數(shù)的平均值(處理塊903)。
返回參考圖7，在分類之后，處理邏輯將前景和背景分類值傳播到前景和背景圖像的較低分辨率版本(處理塊702)。圖10是用于傳播前景分類值的處理的一個(gè)實(shí)施例的流程圖。通過可以包括硬件(例如，電路、專用邏輯電路等)、軟件(諸如在通用計(jì)算機(jī)系統(tǒng)或?qū)Ｓ脵C(jī)器上運(yùn)行的)、或者兩者組合的處理邏輯來執(zhí)行所述處理。參考圖10，當(dāng)所有四個(gè)輸入值被分類為前景時(shí)，處理邏輯使用執(zhí)行反向冗余Haar小波平滑重建產(chǎn)生的值，其中所有高通系數(shù)被設(shè)定為0(處理塊t001)，如果僅一個(gè)到三個(gè)輸入值被分類為前景，則處理邏輯使用為被分類為前景的輸入值的平均值的值作為反向變換值(處理塊1002)，并且如果沒有輸入值被分類為前景，則處理邏輯使用一個(gè)新值(處理塊1003)。在一個(gè)實(shí)施例中，從黑色、白色或?qū)?yīng)正常Haar低通系數(shù)構(gòu)成的組中選擇新值。在一個(gè)實(shí)施例中，當(dāng)表示從Haar低通值到白色的距離的距離度量小于從對應(yīng)于黑色的值變化到對應(yīng)于白色的值的信號的動態(tài)范圍的3/8時(shí)，新值是前景的黑色。
圖11是用于傳播背景分類值的處理的一個(gè)實(shí)施例的流程圖。通過可以包括硬件(例如，電路、專用邏輯電路等)、軟件(諸如在通用計(jì)算機(jī)系統(tǒng)或?qū)Ｓ脵C(jī)器上運(yùn)行的)、或者兩者組合的處理邏輯來執(zhí)行所述處理。參考圖11，當(dāng)所有四個(gè)輸入值被分類為背景時(shí)，處理邏輯使用執(zhí)行反向冗余Haar小波平滑重建生成的值，其中所有高通系數(shù)被設(shè)定為0(處理塊1101)，如果僅一個(gè)至三個(gè)輸入值被分類為背景，則處理邏輯使用為被分類為背景的輸入值的平均值的值作為反向變換值(處理塊1102)，并且如果沒有輸入值被分類為背景，則處理邏輯使用新值(處理塊1103)。該新值是從由黑色、白色或?qū)?yīng)正常Haar低通系數(shù)構(gòu)成的組中選擇的一個(gè)。在一個(gè)實(shí)施例中，當(dāng)表示從Haar低通值到黑色的距離的距離度量小于從對應(yīng)于黑色的值變化到對應(yīng)于白色的值的信號的動態(tài)范圍的3/8時(shí)，該新值是背景的白色。
最后掩蔽生成(步驟IV)在一個(gè)實(shí)施例中，最后掩蔽生成操作具有三個(gè)部分。最后掩蔽生成操作的第一部分——此處稱作子步驟IVa“生成”——生成具有前景、背景或未確定值的掩蔽。在一個(gè)實(shí)施例中，生成具有前景、背景或未確定值的掩蔽包括計(jì)算初始像素值與其相應(yīng)背景和前景像素之間的距離以及這些背景與前景像素之間的距離。如果前景距離與背景距離之間的絕對差在閾值(例如，32N)之下，則所述值被分類為未確定；否則，根據(jù)所述兩個(gè)距離中哪一個(gè)較小將所述值分類為前景或背景。
圖12是在最后掩蔽生成使用的12像素相鄰范圍(步驟IVb)。在最后掩蔽生成操作的第二部分——此處稱作子步驟IVb“相鄰范圍”中，掩蔽值的相鄰范圍被用來將值重新分配給前景或背景。在一個(gè)實(shí)施例中，使用了掩蔽值的12像素相鄰范圍，如圖12所示。否則，如果至少6個(gè)相鄰是前景和背景，則將未確定值重新分配給前景。將與相鄰范圍相關(guān)的一個(gè)像素改變?yōu)橄噜彿秶鄶?shù)(majority)值。對于多分辨率前景/背景分析操作中未分配前景和背景的位置，將不匹配至少相鄰的閾值數(shù)(例如，5)的值改變?yōu)橄噜彿秶鄶?shù)值。
在最后掩蔽生成操作中的第二部分使用的操作涉及對于中間過濾的面積比算法和擴(kuò)展，這在“Check image compression using a layered coding method”中(Huang，Y.Wang和E.Wong，Journal of Electronic Imaging，7(3)，pp.426-442，1998年7月)中討論了。
12像素相鄰范圍的一個(gè)動機(jī)是保持非常小的字體的字母“i”上的點(diǎn)，所述字體使用與字母的其他部分相隔一個(gè)像素的單個(gè)像素點(diǎn)。
注意，窗口的形狀可以取決于附加信息(例如，來自O(shè)CR的字符的邊界(bounding)框)。
最后掩蔽生成操作的第三部分——此處稱作子步驟IVc“更新”——更新來自先前操作的前景和背景圖像，從而使用掩蔽的復(fù)合生成無損耗圖像。在一個(gè)實(shí)施例中，這是通過將被分類為前景或背景的像素分別設(shè)定為前景和背景圖像中的像素的初始圖像值而實(shí)現(xiàn)的。
圖13是用于生成最后掩蔽的處理的一個(gè)實(shí)施例的流程圖。通過可以包括硬件(例如，電路、專用邏輯電路等)、軟件(諸如在通用計(jì)算機(jī)系統(tǒng)或?qū)Ｓ脵C(jī)器上運(yùn)行的)、或者兩者組合的處理邏輯來執(zhí)行所述處理。
參考圖13，處理邏輯通過計(jì)算圖像中像素值與前景和背景圖像中對應(yīng)像素位置的值之間的距離(處理塊1301A)、和如果前景和背景圖像中的值之間的差在閾值之下則將中間掩蔽中的每個(gè)像素值分類為未確定(處理塊1301B)來生成中間掩蔽(處理塊1301)。
如果初始像素值與前景和背景圖像的每一個(gè)中的值之間的差在閾值之上，則處理邏輯也將每個(gè)像素值分類為前景或背景(處理塊1302)。在一個(gè)實(shí)施例中，如果圖像與前景圖像中的每個(gè)像素之間的距離小于圖像與背景圖像中的每個(gè)像素之間距離，則每個(gè)像素值被設(shè)定為前景；如果圖像與背景圖像中的每個(gè)像素之間的距離小于圖像與前景圖像中的每個(gè)像素之間的距離，則每個(gè)像素值被設(shè)定為背景。
處理邏輯根據(jù)作為輸出的最后掩蔽中的大量相鄰像素值的集分別是前景還是背景，將未確定值重新分配給中間掩蔽中的前景或背景(處理塊1303)。這生成了最后掩蔽。
隨后，如果在最后掩蔽中被分別分類為前景和背景，則處理邏輯設(shè)定前景和背景圖像中的值為圖像中的值(處理塊1304)。
因此，處理邏輯將原始圖像與使用第一圖像的多分辨率圖像數(shù)據(jù)生成的背景和前景圖像進(jìn)行比較，其中使用所述掩蔽從而前景和背景圖像復(fù)合成第一圖像。
多分辨率填充(步驟V)多分辨率填充操作類似于多分辨率前景/背景生成操作。所述兩個(gè)操作之間的不同之處僅僅如下。這一操作使生成前景和背景圖像最終化。在一個(gè)實(shí)施例中，使用五個(gè)變換級。使用最后掩蔽來代替初步掩蔽。在第二部分，子步驟Vb，如果沒有被分類為前景的輸入，則新的值是來自正常反向Haar變換的值。所述輸出為最后前景和背景圖像。
對于1-維信號的技術(shù)的數(shù)學(xué)描述下面以用于1-維信號和標(biāo)量(灰度)輸入的數(shù)學(xué)符號來解釋上述技術(shù)。為了數(shù)學(xué)描述，假設(shè)輸入為范圍0...255中的整數(shù)。
子步驟Ia圖14示出了3級(J＝3)的輸入(x)和低通系數(shù)(c)，多分辨率前景/背景分析的正向部分(子步驟Ia)。
處于級j(j＝1，...，J)和位置i的低通Haar小波系數(shù)c是cij=cij-1+ci+2j-1j-12---(1)]]>其中，輸入信號被用來代替級0的低通系數(shù)ci0=xi---(2)]]>并且其中被需要，可以使用在對于0≤i＜I定義信號的邊界處的鏡像(mirroring)c-1j=c0j]]>和cij=ci-1j---(3)]]>處于級j和位置i的高通Haar小波系數(shù)d為dij=cij-1-ci+2j-1j-1---(4)]]>(注意，計(jì)算了冗余或完全(over-complete)變換，因此對于所有級i＝1，2，3，...。等式(1)和(4)的變換也可以使用分母1、 或2來代替2和1進(jìn)行計(jì)算。在一個(gè)實(shí)施例中，逆變換具有確保正向和反向一起具有增益1的分母。)子步驟Ib多分辨率前景/背景分析的反向部分，步驟Ib，在級j＝J，...，1上循環(huán)。
首先，考慮系數(shù)之間的差。使用級相關(guān)閾值εj(j是索引，不是指數(shù))。εj的值的一個(gè)選擇為對于j＝1是80，對于j＞1是32。如果|cij-ci+2jj|>ϵj---(5)]]>并且這對于前一級(＞j)的位置i或i-2j+1不為真，則cb,ij=max(cij,ci+2jj)]]>cf,ij=min(cij,ci+2jj)---(6)]]>db,ik=0]]>df,ik=0]]>其中k＝1，...，j。否則cb,ij=cij]]>cf,ij=cij]]>db,ik=dik]]>df,ik=dik]]>(7)
對于k＝1，...，j其次，應(yīng)用反向Haar小波變換。下面給出前景的變換。以相同的方式計(jì)算背景的變換。該變換可被描述為cf,ij-1=cf,i-2j-1j-12df,i-2j-1j+cf,ij+12df,ij2---(8)]]>但是對于等式6的情況，它可被簡化為cf,ij-1=cf,i-2j-1j+cf,ij2---(9)]]>并且對于等式7的條件，它可被簡化為cf,ij-1=cij-1.---(10)]]>級j＝1的結(jié)果是初步前景圖像xf和初步背景圖像xb。因此，對于背景圖像使用相同的變換計(jì)算。
步驟II在一個(gè)實(shí)施例中，步驟II使用三個(gè)距離Df＝|x-xf|Db＝|x-xb|(11)Dx=|x-(xf+xb2)|]]>生成初步掩蔽 其中m~i=1]]>是背景，m~i=-1]]>是前景，m~i=0]]>是未確定，并且例如，t＝64。
子步驟IIIa在一個(gè)實(shí)施例中，對于級j(j＝1，...，J)的前景和背景wf，ij和wb，ij的加權(quán)計(jì)算如下
(13)其中i′是范圍0，...，2j-1-1中的任意值，并且，例如J＝3。
在一個(gè)實(shí)施例中，對于前景，假設(shè)sf,ij=wf,ij+wf,i+2j-1j.]]>如果sf,ij>0,]]>則cf,i′j=wf,ij·cf,i′j-1+wf,i+2j-1j·cf,i+2j-1′j-1sf,ij---(14)]]>其中cf,i′0=xf,i---(15)]]>否則，cf，i′j值是“不關(guān)心”(因?yàn)樽罱K它將乘以加權(quán)0或者僅作為邊界條件值使用)。如果期望某一值，則可以使用普通正向Haar變換，cf,i′j=cij.]]>以相同的方式計(jì)算背景。
子步驟IIIb在一個(gè)實(shí)施例中，對于前景，對于級j=J，...，1如下計(jì)算子步驟IIIb。設(shè)更新加權(quán)為 (16)其中 是范圍0，...，2j-1中的任意值。
設(shè)s^f,ij=w^f,i-2j-1j+w^f,ij---(17)]]>條件1如果s^f,ij>0,]]>則
c^f,i′J-1=w^f,i-2J-1J·cf,i-2J-1′J+w^f,iJ·cf,i′Jsf,iJ---(18)]]>條件2否則 對于背景使用稍微不同的函數(shù) 其中，例如，∈w＝160和∈b＝96。
條件3對于級j＜Jc^f,i′j-1=(c^f,i-2j-1′j+c^f,i′j2---(21)]]>以相同的方式計(jì)算背景。在一個(gè)實(shí)施例中，前景和背景結(jié)果如下xf,i′=c^f,i′0]]>xb,i′=c^b,i′0]]>(22)子步驟IVa在一個(gè)實(shí)施例中，計(jì)算下列距離Dfb′＝|xf′-xb′|Df′＝|xf′-x| (23)Db′＝|xb′-x|在一個(gè)實(shí)施例中，如下生成具有-1＝前景、1＝背景和0＝未確定的掩蔽mi′
其中，例如∈fb＝32。
子步驟IVb在一個(gè)實(shí)施例中，計(jì)算加權(quán) (25)在一個(gè)實(shí)施例中，在相鄰范圍N(i)′上相加加權(quán)。
sf,i′=Σn∈N′(i)wf,n′]]>sb,i′=Σn∈N′(i)wb,n′]]>(26)例如，對于1D，而不是圖12中2D相鄰范圍，對于N(i)′使用下列12像素相鄰區(qū)域，所以，n取做如圖15中所示的值i-6，...，j-1和i+1，...，i+6生成沒有未確定值的二進(jìn)制掩蔽m″ 其中m″＝1是前景，m″＝0是背景，例如，∈m1＝6。
在一個(gè)實(shí)施例中，如下計(jì)算所更新的加權(quán)
(29)在一個(gè)實(shí)施例中，在相鄰范圍N(j)′上相加加權(quán)。
s^f,i′=Σn∈N′a,(i)w^f,i′+Σn∈Nb,(i)′wf,i′]]>s^b,i′=Σn∈N′a,(i)w^b,i′+Σn∈Nb,(i)′wb,i′]]>(30)其中Na，(i)′和Nb，(i)′是被劃分為原因(即n＜i)和非因果(即，n＞i)區(qū)域的N(i)′。
在一個(gè)實(shí)施例中，最后掩蔽m是 其中，例如，如果xf，i＝xb，i(對于j＝1，子步驟Ib條件1和2)，則∈m2，i＝5，并且如果xf，i≠xb，i(對于j＝1，子步驟Ib條件3)，則∈m2，i＝1。
子步驟IVc在一個(gè)實(shí)施例中，給定最后掩蔽，則如下更新前景和背景圖像。
(32)子步驟Va計(jì)算新的低通系數(shù)。在一個(gè)實(shí)施例中，對于級j，j＝1，...，J的前景和背景wf，i″j和wb，i″j的加權(quán)計(jì)算如下
(33)其中i′是范圍0，...，2j-1-1中的任意值，并且，例如J＝5。
對于前景，假設(shè)sf,i′′j=wf,i′′j+wf,i+2j-1.′′j]]>如果s′′f,ij>0,]]>則cf,i′′j=wf,i′′j·cf,i′′j-1+wf,i+2j-1′′j·cf,i+2j-1′′j-1sf,i′′j---(34)]]>其中cf,i′′0=xf,i′′---(35)]]>否則，可以使用通常的正向Haar變換(其可在前一步驟中已被計(jì)算)，cf,i′′j=cf,i′′j-1+cf,i+2j-1′′j-12---(36)]]>以相同的方式計(jì)算背景。
子步驟Vb在一個(gè)實(shí)施例中，對于前景，對于級j＝J...1如下計(jì)算子步驟Vb。
條件1如果wf,i′′j-1=1,]]>則cf,i′′j-1=cf,i′′j-1]]>未變化。否則，在一個(gè)實(shí)施例中，如下計(jì)算所更新的加權(quán)， (37)其中 是范圍∑k＝1J-j-2J-1-k，...，2J-1中的任意值
s^f,i′′j=w^f,i-2j-1′′j+w^f,i′′j---(38)]]>條件2a如果s^f,i′′j>0]]>則c^f,i′′j-1=w^f,i-2j-1′′j·cf,i-2j-1′′j+w^f,i′′j·cf,i′′js^f,i′′j---(39)]]>條件2b否則，c^f,i′′j-1=cf,i-2j-1′′j+cf,i′′j2---(40)]]>以相同的方式計(jì)算背景。在一個(gè)實(shí)施例中，最后前景和背景結(jié)果如下x^f,i=c^f,i′′0]]>x^b,i=c^b,i′′0]]>(41)數(shù)字的1-維示例圖16示出了對于1-維信號x的步驟I到IIIa數(shù)字示例。對于子步驟Ib，如果差|cij-ci+2jj|超過閾值∈j，則對差|cij-ci+2jj|下劃線，如果前一級的對應(yīng)差超過閾值，則不計(jì)算差|cij-ci+2jj|(在表中示出為“---”)。對于步驟II，如果差|xf，i-xb，i|超過閾值t，則對差|xf，i-xb，i|下劃線。對于步驟IIIa，“不關(guān)心”值所示為“---”。
圖17通過重復(fù)子步驟IIIa和示出步驟IIIb到IV來繼續(xù)示例。
圖18和19分別示出了前景和背景的步驟V?！安魂P(guān)心”值所示為“---”。在子步驟Va和子步驟Vb的第一級中，第一次位置(索引i)所示為下劃線，所述位置(索引i)是先前分配的“不關(guān)心”值。對于子步驟Vb中的剩余級，未改變值的情況所示為下劃線。
擴(kuò)展到2-維和顏色對以上給出的1-維的數(shù)學(xué)描述的幾個(gè)擴(kuò)展允許處理圖像數(shù)據(jù)、顏色數(shù)據(jù)和其他更高維的數(shù)據(jù)。當(dāng)處理顏色數(shù)據(jù)而不是灰度數(shù)據(jù)(或者更通常為矢量數(shù)據(jù)而不是標(biāo)量數(shù)據(jù))時(shí)，用于距離的絕對值可以被諸如L1、L2、L∞的范數(shù)代替或者被諸如ΔE的色差度量代替。在分割和填充之前可以對顏色數(shù)據(jù)應(yīng)用諸如RGB到Y(jié)UV的顏色變換。應(yīng)當(dāng)將閾值調(diào)節(jié)為與范數(shù)或色差度量一致，例如，當(dāng)使用L1度量時(shí)可以將閾值與顏色分量的數(shù)量相乘。
從1-維信號到2-維信號的擴(kuò)展、例如圖像或者諸如音量(volume)數(shù)據(jù)的更高維信號可以在這些更高維數(shù)中使用Haar變換。通常，上述等式中的索引i可被每個(gè)維的索引代替。對于2-維，計(jì)算i和i±2j可被在i，l；i±2j-，l；i，l±2j；和i±2j，l±2j代替。
替換或者改進(jìn)可以僅對區(qū)域中的文本和/或線條使用一種使用頁面分割或文檔布局分析來發(fā)現(xiàn)文本和/或藝術(shù)線條區(qū)域的方法。如果使用頁面分割，則利用每個(gè)具有前景圖像、背景圖像和掩蔽的多個(gè)區(qū)域可以生成JPM圖像。在JPM文件中，背景圖像將是自身掩蔽圖像對象，并且掩蔽將是前景圖像相同的對象。
使實(shí)心背景與圖像分離將在某些情況下提高主觀質(zhì)量。
在步驟1、3和5中的分辨率級J可以取決于附加的可用分類數(shù)據(jù)(例如半色調(diào)比非半色調(diào)分類)。
基于掩蔽修改過濾器系數(shù)的替換方法使用上述等式中的符號，可以描述大量的替換實(shí)現(xiàn)。在一個(gè)實(shí)施例中，步驟IIIa中的等式13用下列兩種替換方法來代替以計(jì)算wf，ij和wb，ij。在一個(gè)實(shí)施例中，在步驟IIIb中對于 和 在步驟Va中對于wf，i″j和wb，i″j、以及在步驟Vb中對于 和 進(jìn)行類似的改變。這些改變過濾器系數(shù)的方式會受到不同掩蔽影響。對于這些操作中的每一個(gè)，可以獨(dú)立選擇三個(gè)替換(等式13、42或43)中的任一個(gè)。
wf,ij=Σk=1i+i′1-m~i+i′2]]>wb,ij=Σk=1i+i′1-m~i+i′2]]>(42) (43)有損的壓縮盡管多分辨率分割和填充技術(shù)有助于無損耗壓縮，但是它可用于有損耗壓縮或者這兩者。例如，附加的處理步驟可應(yīng)用于前景/背景圖像(例如，噪聲消除，這會導(dǎo)致有損耗的壓縮)。
如上所述，對于無損耗壓縮(或者無損耗和有損耗壓縮)，前景和背景通過掩蔽匹配對于被分別選作前景和背景的像素的原始圖像，并且前景、背景和掩蔽被無損耗壓縮。僅對于有損耗壓縮、可以緩解前景和背景匹配原始圖像的要求，尤其在非常高的壓縮率。這對于有損耗壓縮可以給出更好的失真率。
在一個(gè)實(shí)施例中，前景和/或背景圖像被定標(biāo)為較低分辨率。(前景和背景圖像匹配于在由掩蔽選擇的原始圖像的較低分辨率版本中的它們對應(yīng)的部分)。對于打印分辨率圖像(例如，300、400、600、800、1200DPI或更高)，前景(和背景)可被定標(biāo)為諸如75、100、150或200DPI的較低分辨率。另外，高分辨率圖像在應(yīng)用此處所描述的技術(shù)之前可被定標(biāo)為較低分辨率，這降低了前景、背景和掩蔽的分辨率。
在另一實(shí)施例中，替代匹配精確的匹配需要，前景(背景)區(qū)域匹配，而不要求在邊緣進(jìn)行匹配。對應(yīng)于邊緣的區(qū)域可以根據(jù)成像系統(tǒng)諸如相鄰的不同分類的像素的像素或者根據(jù)DPI(分辨率、對比度和人類視覺系統(tǒng)對比靈敏性函數(shù))來定義。區(qū)域的非邊緣部分是“內(nèi)部”。與“嚴(yán)格”填充相比，這將被稱作“有損耗邊緣”填充。有損耗邊緣填充可以利用人類視覺系統(tǒng)視覺掩蔽屬性，其是粗邊緣在這些邊緣位置減少了其他較低幅度壓縮后假象物的可見性。當(dāng)生成前景(和背景)時(shí)，如果·(普通條件)對于前景(背景)掩蔽沒有選擇它們或者如果·(有損耗邊緣情況)對于前景(背景)，掩蔽選擇了它們，掩蔽沒有選擇相鄰位置，并且至少一個(gè)相鄰范圍具有它的所有被選領(lǐng)域范圍，位置被認(rèn)為是“不關(guān)心”相鄰位置可以是4-連接的、8-連接的或者由一些其他形態(tài)學(xué)結(jié)構(gòu)元素定義的。所述條件的“至少一個(gè)相鄰范圍具有它的所有被選相鄰范圍”部分防止了前景(背景)區(qū)域比來自整個(gè)“不關(guān)心”的領(lǐng)域范圍更小。(在掩蔽的生成中，可能期望最小化、或者至少減少小區(qū)域的生成，或者確保從未生成小區(qū)域。如果從未生成小于相鄰范圍大小的區(qū)域，則簡化了有損耗邊緣填充)。在圖20中圖解了示例。這類似于形態(tài)擴(kuò)大(morhpological dilation)，但是避免了消除小于結(jié)構(gòu)元素的區(qū)域。在替換實(shí)施例中，代替將邊緣處的位置作為“不關(guān)心”，在等式(33)中使用加權(quán)來計(jì)算被填充的值(例如w”f，i和w”b，i)，從而靠近邊緣的位置具有寬度諸如0.25或0.5而不是0(“不關(guān)心”)或1(無損耗)的中間值。這避免必須使區(qū)域小于相鄰范圍或者使用復(fù)雜的變細(xì)算法(參考圖23)。使邊緣“有損耗”通常具有使邊緣更鋒利的期望效果。在圖21中圖解了一個(gè)示例。這尤其值得用于掃描文本。有損耗邊緣情況是對比靈敏性函數(shù)，其可被應(yīng)用于前景和背景圖像以便執(zhí)行視覺掩蔽。
示例性計(jì)算機(jī)系統(tǒng)圖22是可以執(zhí)行此處所描述的一個(gè)或多個(gè)操作的示例性計(jì)算機(jī)系統(tǒng)的方框圖。參考圖22，計(jì)算機(jī)系統(tǒng)2200可以包括示例性客戶端或服務(wù)器端計(jì)算機(jī)系統(tǒng)。計(jì)算機(jī)系統(tǒng)2200包括用于傳送信息的通信機(jī)構(gòu)或總線2211、和與總線2211耦合的用于處理信息的處理器2212。處理器2212包括微處理器，例如PentiumTM、PowerPCTM、AlphaTM，但是不限于微處理器。
系統(tǒng)2200還包括耦合到總線2211的隨機(jī)存取存儲器(RAM)、或其他動態(tài)存儲設(shè)備2204(稱作主存儲器)，用于存儲將被處理器2212執(zhí)行的信息和指令。主存儲器2204也可被用來在處理器2212執(zhí)行指令期間存儲臨時(shí)變量或其他中間信息。
計(jì)算機(jī)系統(tǒng)2200也包括耦合到總線2211的只讀存儲器(ROM)和/或其他靜態(tài)存儲設(shè)備2206，用于存儲處理器2212的靜態(tài)信息和指令；和數(shù)據(jù)存儲設(shè)備2207，例如磁盤或光盤及其相應(yīng)的盤驅(qū)動器。數(shù)據(jù)存儲設(shè)備2207耦合到總線2211，用于存儲信息和指令。
計(jì)算機(jī)系統(tǒng)2200還可以耦合到與總線2211耦合的諸如陰極射線管(CRT)或液晶顯示器(LCD)的顯示設(shè)備2221，用于向計(jì)算機(jī)用戶顯示信息。包括字母與數(shù)字和其他按鍵的字母與數(shù)字輸入設(shè)備2222也可以耦合到總線2211，用于向處理器2212通信信息和命令選擇。附加的用戶輸入設(shè)備是耦合到總線2211的諸如鼠標(biāo)、軌跡球、軌跡板、記錄筆或光標(biāo)方向鍵的光標(biāo)控制設(shè)備2223，用于向處理器2212傳送方向信息和命令選擇，并且用于控制顯示器2221上光標(biāo)運(yùn)動。
可耦合到總線2211的另一設(shè)備是硬拷貝設(shè)備2224，其可用于在諸如紙張、膠片或相似類型介質(zhì)的介質(zhì)上打印指令、數(shù)據(jù)或其他信息。而且，諸如揚(yáng)聲器和/或麥克風(fēng)等的聲音記錄和播放設(shè)備可選地耦合到總線2211，以便與計(jì)算機(jī)系統(tǒng)2200進(jìn)行音頻連接?？神詈系娇偩€2211的另一設(shè)備是無線/有線通信接口2225，用于與電話或手持掌中設(shè)備進(jìn)行通信。
注意，在本發(fā)明中可以使用系統(tǒng)2200的任意或所有組件和相關(guān)硬件。然而，可以理解，其他配置的計(jì)算機(jī)系統(tǒng)可以包括一些或全部所述設(shè)備。
盡管對于閱讀了上述描述之后的本領(lǐng)域的普通技術(shù)人員來說，本發(fā)明的許多變化和修改將毫無疑問地變得明顯，但是應(yīng)當(dāng)理解，通過舉例示出和描述的任何特定實(shí)施例決不能被認(rèn)為是限制。因此，對各種實(shí)施例的細(xì)節(jié)的參考不會限制所附權(quán)利要求的范圍，在所述權(quán)利要求中僅闡述了被認(rèn)為對本發(fā)明重要的那些特征。
權(quán)利要求
1.一種方法，包括使用多分辨率的圖像數(shù)據(jù)生成多個(gè)層；生成描述多個(gè)層組成的掩蔽，以便獲得圖像；和在多個(gè)層中的每一層中填充像素，其中被填充的像素是當(dāng)復(fù)合多個(gè)層時(shí)對圖像沒有貢獻(xiàn)的那些像素。
2.如權(quán)利要求1定義的方法，還包括壓縮層圖像和掩蔽。
3.如權(quán)利要求1定義的方法，其中，多個(gè)層包括背景圖像和前景圖像。
4.如權(quán)利要求3定義的方法，還包括壓縮層圖像和掩蔽，其包括使用連續(xù)色調(diào)壓縮器壓縮包含在多個(gè)層中的背景圖像和前景圖像；和使用二進(jìn)制壓縮器壓縮掩蔽。
5.如權(quán)利要求3定義的方法，還包括根據(jù)與多個(gè)較低分辨率版本的圖像相關(guān)的低分辨率圖像數(shù)據(jù)而生成初步前景圖像和初步背景圖像。
6.如權(quán)利要求5定義的方法，還包括使用正向變換生成多個(gè)變換級的系數(shù)；將低通系數(shù)分配給前景或背景。
7.如權(quán)利要求6定義的方法，其中分配低通系數(shù)包括比較多個(gè)較低分辨率版本的第一個(gè)中的多個(gè)區(qū)域的每一個(gè)中的最亮低通系數(shù)和最暗低通系數(shù)；如果最亮與最暗低通系數(shù)之間的差在第一分解級的閾值之上，則對于多個(gè)區(qū)域中的每一個(gè)，分配最亮低通系數(shù)為背景值或前景值中的一個(gè)；和如果最亮與最暗低通系數(shù)之間的差在所述閾值之上，則對于多個(gè)區(qū)域中的每一個(gè)，分配最暗低通系數(shù)為背景值或前景值中的另一個(gè)。
8.一種具有一個(gè)或多個(gè)其上存儲了指令的可記錄媒體的產(chǎn)品，當(dāng)所述指令被系統(tǒng)執(zhí)行時(shí)，使得該系統(tǒng)執(zhí)行一種方法，所述方法包括使用多分辨率的圖像數(shù)據(jù)生成多個(gè)層；生成描述多個(gè)層組成的掩蔽，以便獲得圖像；和在多個(gè)層中的每一層中填充像素，其中被填充的像素是當(dāng)復(fù)合多個(gè)層時(shí)對圖像沒有貢獻(xiàn)的那些像素。
9.如權(quán)利要求8定義的產(chǎn)品，其中所述方法還包括壓縮層圖像和掩蔽。
10.如權(quán)利要求9定義的產(chǎn)品，其中，多個(gè)層包括背景圖像和前景圖像。
11.如權(quán)利要求9定義的產(chǎn)品，其中，壓縮層圖像和掩蔽包括使用連續(xù)色調(diào)壓縮器壓縮背景圖像和前景圖像；和使用二進(jìn)制壓縮器壓縮掩蔽。
12.如權(quán)利要求8定義的產(chǎn)品，其中，所述方法還包括根據(jù)與多個(gè)較低分辨率版本的圖像相關(guān)的低分辨率圖像數(shù)據(jù)而生成初步前景圖像和初步背景圖像。
13.如權(quán)利要求12定義的產(chǎn)品，其中所述方法還包括使用正向變換生成多個(gè)變換級的系數(shù)；將低通系數(shù)分配給前景或背景。
14.如權(quán)利要求13定義的產(chǎn)品，其中分配低通系數(shù)以檢查圖像的多個(gè)較低分辨率版本的第一個(gè)中的低通系數(shù)開始，并且隨后處理到至少具有高于第一較低分辨率版本的分辨率的第二較低分辨率版本，并且包括比較多個(gè)較低分辨率版本的第一個(gè)中的多個(gè)區(qū)域中每一個(gè)的最亮低通系數(shù)和最暗低通系數(shù)；如果最亮與最暗低通系數(shù)之間的差在第一分解級的閾值之上，則對于多個(gè)區(qū)域中的每一個(gè)，分配最亮低通系數(shù)為背景值或前景值中的一個(gè)；和如果最亮與最暗低通系數(shù)之間的差在閾值之上，則對于多個(gè)區(qū)域中的每一個(gè)，分配最暗低通系數(shù)為背景值或前景值中的另一個(gè)。
15.一種裝置，包括第一單元，用于使用多分辨率的圖像數(shù)據(jù)生成多個(gè)層；第二單元，用于生成描述多個(gè)層組成的掩蔽，以便獲得圖像；和第三單元，用于在多個(gè)層中的每一層中填充像素，其中被填充的像素是當(dāng)復(fù)合多個(gè)層時(shí)對圖像沒有貢獻(xiàn)的那些像素。
16.如權(quán)利要求15定義的裝置，還包括用于壓縮層圖像和掩蔽的壓縮器。
17.如權(quán)利要求16定義的裝置，其中，多個(gè)層包括背景圖像和前景圖像。
18.如權(quán)利要求17定義的裝置，其中，壓縮器包括用于壓縮背景圖像和前景圖像的連續(xù)色調(diào)壓縮器；和用于壓縮掩蔽的二進(jìn)制壓縮器。
19.如權(quán)利要求15定義的裝置，其中，所述第一單元根據(jù)與多個(gè)較低分辨率版本的圖像相關(guān)的低分辨率圖像數(shù)據(jù)而生成初步前景圖像和初步背景圖像。
20.如權(quán)利要求19定義的裝置，其中，所述第二單元通過從圖像以及初步背景和前景圖像生成初步掩蔽而部分生成掩蔽。
21.如權(quán)利要求15定義的裝置，其中，第二單元計(jì)算多個(gè)變換級的前景和背景分類值的低通系數(shù)；和根據(jù)在先前被分類為前景、背景和未確定的初步掩蔽中的像素組中像素的數(shù)量，計(jì)算對應(yīng)于前景和背景的低通系數(shù)的相反值。
22.如權(quán)利要求15定義的裝置，其中，所述第二單元將第一圖像與使用來自多分辨率的第一圖像的圖像數(shù)據(jù)生成的背景和前景圖像進(jìn)行比較，所述掩蔽是這樣的掩蔽，使用所述掩蔽，從而前景和背景圖像復(fù)合成第一圖像。
23.如權(quán)利要求22定義的裝置，其中，所述第二單元通過下列步驟生成中間掩蔽計(jì)算圖像中的像素值與前景和背景圖像中相應(yīng)像素位置的值之間的距離，如果前景和背景圖像中的值之間的差在閾值之下，則將中間掩蔽中的每個(gè)像素值分類為未確定；如果前景和背景圖像中的值之間的差在閾值之上，則將所述每個(gè)像素值分類為前景或背景，如果圖像和前景圖像中的所述每個(gè)像素之間的距離小于圖像與背景圖像中所述每個(gè)像素之間的距離，則所述每個(gè)像素值被設(shè)定為前景，如果圖像和背景圖像中的所述每個(gè)像素之間的距離小于圖像與前景圖像中所述每個(gè)像素之間的距離，則所述每個(gè)像素值被設(shè)定為背景；根據(jù)中間掩蔽中的大量相鄰像素值集是否分別為前景或背景，將未確定值重新分配給中間掩蔽中的前景或背景；和如果在中間掩蔽中分別被分類為前景和背景，則設(shè)定前景和背景圖像中的值為圖像中的值。
24.一種裝置，包括用于使用多分辨率的圖像數(shù)據(jù)生成多個(gè)層的部件；用于生成描述多個(gè)層組成的掩蔽以便獲得圖像的部件；和用于在多個(gè)層中的每一層中填充像素的部件，其中被填充的像素是當(dāng)復(fù)合多個(gè)層時(shí)對圖像沒有貢獻(xiàn)的那些像素。
全文摘要
公開了一種多分辨率分割和填充技術(shù)。在一個(gè)實(shí)施例中，所述方法包括使用多分辨率的圖像數(shù)據(jù)生成多個(gè)層；生成描述多個(gè)層組成的掩蔽，以便獲得圖像；和在多個(gè)層中的每一層中填充像素，其中被填充的像素是當(dāng)復(fù)合多個(gè)層時(shí)對圖像沒有貢獻(xiàn)的那些像素。
文檔編號G06T5/00GK1744657SQ20051009660
公開日2006年3月8日 申請日期2005年8月25日 優(yōu)先權(quán)日2004年8月25日
發(fā)明者愛德華·L·施瓦茨, 凱瑟琳·伯克納 申請人:株式會社理光