專(zhuān)利名稱(chēng)：圖像處理裝置、圖像處理方法及圖像處理程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理裝置、圖像處理方法及圖像處理程序。本申請(qǐng)基于2010年12月3日在日本申請(qǐng)的特愿2010-270735號(hào)主張優(yōu)先權(quán)，并在此援引其內(nèi)容。
背景技術(shù)：
圖像生成裝置在生成有進(jìn)深的圖像時(shí)，關(guān)于圖像的進(jìn)深方向，針對(duì)位于照相機(jī)的焦點(diǎn)區(qū)域的對(duì)象生成輪廓鮮明的圖像，針對(duì)偏離了照相機(jī)的焦點(diǎn)區(qū)域的對(duì)象生成輪廓模糊的圖像。由此，圖像生成裝置生成以接近現(xiàn)實(shí)世界的形態(tài)表現(xiàn)了遠(yuǎn)近感的圖像。專(zhuān)利文獻(xiàn)I記載了推測(cè)物體輪廓線上不連續(xù)地 變化的視差的視差推測(cè)方法。該視差推測(cè)方法計(jì)算2個(gè)圖像的初始視差和初始視差的可靠性評(píng)價(jià)值，設(shè)定成使初始視差的可靠性低的區(qū)域內(nèi)的視差圓滑地與周?chē)囊暡钕噙B，且決定成在物體輪廓線上變化。專(zhuān)利文獻(xiàn)2記載了生成如現(xiàn)實(shí)世界的視野圖像那樣聚焦的圖像的圖像生成系統(tǒng)。該圖像生成系統(tǒng)設(shè)定與原始圖像的各像素的進(jìn)深值相應(yīng)的α值，基于對(duì)各像素設(shè)定的α值合成原始圖像和與該原始圖像對(duì)應(yīng)的模糊圖像，從而生成聚焦的圖像。此外，專(zhuān)利文獻(xiàn)3記載了生成根據(jù)距視點(diǎn)的距離聚焦的圖像的圖像處理程序。該圖像處理程序包括:根據(jù)基準(zhǔn)圖像的各像素的進(jìn)深值設(shè)定各像素的α值的設(shè)定步驟、和在相鄰的2個(gè)像素中增加對(duì)α值小的像素設(shè)定的α值的增加步驟。并且，該圖像處理程序基于對(duì)增加步驟處理后的各像素設(shè)定的α值，合成基準(zhǔn)圖像和與該基準(zhǔn)圖像對(duì)應(yīng)的模糊圖像，從而生成聚焦的圖像。在先技術(shù)文獻(xiàn)專(zhuān)利文獻(xiàn)專(zhuān)利文獻(xiàn)I JP特開(kāi)2004-7707號(hào)公報(bào)專(zhuān)利文獻(xiàn)2 JP特開(kāi)2001-175884號(hào)公報(bào)專(zhuān)利文獻(xiàn)3 JP特開(kāi)2008-225767號(hào)公報(bào)

發(fā)明內(nèi)容
(發(fā)明所要解決的課題)在如專(zhuān)利文獻(xiàn)I那樣推測(cè)視差的情況下，在將圖像的各像素中的視差值作為圖像來(lái)顯示的視差圖中，會(huì)生成比被攝體的大小還大的膨脹了的視差圖。在此，視差值是指，在2處觀測(cè)地點(diǎn)的位置上拍攝到的圖像中，拍攝到圖像中的對(duì)象點(diǎn)在2個(gè)圖像中沿著水平方向相遠(yuǎn)離的像素?cái)?shù)。由于生成了比被攝體的大小還大的膨脹了的視差圖，在現(xiàn)有的圖像生成裝置生成了對(duì)基準(zhǔn)圖像和模糊圖像進(jìn)行合成后的合成圖像的情況下，在該合成圖像中，被攝體與背景之間的邊界附近的背景圖像會(huì)變得特別顯眼。即，現(xiàn)有的圖像生成裝置具有在被攝體與背景之間的邊界區(qū)域形成不自然的模糊的問(wèn)題。專(zhuān)利文獻(xiàn)2及專(zhuān)利文獻(xiàn)3記載的圖像生成系統(tǒng)或圖像處理程序中也沒(méi)能解決該問(wèn)題。因此，本發(fā)明是鑒于上述問(wèn)題而完成的，其課題是提供一種能夠生成在被攝體與背景或前景之間的邊界區(qū)域成為自然的模糊的圖像的圖像處理裝置、圖像處理方法及圖像處理程序。(解決課題的手段)(I)為了解決上述問(wèn)題，本發(fā)明的一個(gè)方式的圖像處理裝置具備:圖用濾波處理部，其對(duì)基于針對(duì)圖像的各像素的視差值的視差圖施加濾波器；模糊圖像生成部，其根據(jù)所述圖像來(lái)生成所述圖像的模糊圖像；和圖像合成部，其基于由所述圖用濾波處理部進(jìn)行了濾波后的視差圖，生成對(duì)所述圖像和所述模糊圖像進(jìn)行合成后的合成圖像。(2)上述圖像處理裝置還可以具備濾波器尺寸選擇部，其根據(jù)由所述圖用濾波處理部施加了濾波器的視差圖來(lái)選擇圖像用濾波器的尺寸，所述模糊圖像生成部也可以通過(guò)對(duì)所述圖像施加所述圖像用濾波器來(lái)生成所述模糊圖像。(3)上述圖像處理裝置還可以具備區(qū)域分割部，其將所述圖像根據(jù)所述視差值而分割為規(guī)定的區(qū)域，并按每個(gè)所述區(qū)域?qū)σ暡钪颠M(jìn)行變換，所述圖用濾波處理部也可以對(duì)由所述區(qū)域分割部變換了視差值的視差圖施加濾波器。(4)上述圖像處理裝置還可以具備縮小所述圖像的尺寸的圖像縮小部，所述模糊圖像生成部也可以生成被所述圖像縮小部縮小后的圖像的模糊圖像，所述圖像處理裝置還可以具備將所述縮小后的圖像的模糊圖像放大到規(guī)定的尺寸的圖像放大部。(5)上述圖像處理裝置中，所述模糊圖像生成部還可以具備:基準(zhǔn)模糊圖像生成部，其從視差圖中選擇多個(gè)值，生成具有與選出的所述多個(gè)值的每個(gè)值相應(yīng)的模糊量的基準(zhǔn)模糊圖像；基準(zhǔn)模糊圖像選擇部，其按照所述圖像的每個(gè)關(guān)注像素，基于所述關(guān)注像素的所述濾波后的視差圖的值與所述選出的值之間的比較，從所述基準(zhǔn)模糊圖像中選擇基準(zhǔn)模糊圖像；和像素值插值部，其基 于所述選出的基準(zhǔn)模糊圖像中相當(dāng)于所述關(guān)注像素的位置的像素的像素值、所述關(guān)注像素的濾波后的視差圖的值、和所述選出的值，計(jì)算出所述關(guān)注像素的像素值。(6)在上述圖像處理裝置中，所述像素值插值部也可以通過(guò)使用了基于所述關(guān)注像素的濾波后的視差圖的值與所述選出的值的值、以及所述選出的基準(zhǔn)模糊圖像中相當(dāng)于所述關(guān)注像素的位置的像素的像素值的插值，計(jì)算出所述關(guān)注像素的像素值。(7)此外，在本發(fā)明的一個(gè)方式的圖像處理方法中，對(duì)基于針對(duì)圖像的各像素的視差值的視差圖施加濾波器，根據(jù)所述圖像來(lái)生成所述圖像的模糊圖像，基于施加了濾波器后的視差圖，生成對(duì)所述圖像和所述模糊圖像進(jìn)行合成后的合成圖像。(8)此外，本發(fā)明的一個(gè)方式的圖像處理程序使圖像處理裝置的計(jì)算機(jī)進(jìn)行如下動(dòng)作:對(duì)基于針對(duì)圖像的各像素的視差值的視差圖施加濾波器，根據(jù)所述圖像來(lái)生成所述圖像的模糊圖像，基于施加了濾波器后的視差圖，生成對(duì)所述圖像和所述模糊圖像進(jìn)行合成后的合成圖像。(發(fā)明效果)根據(jù)本發(fā)明，能夠生成在被攝體與背景或前景之間的邊界區(qū)域中成為自然的模糊的圖像。


圖1是表示本發(fā)明的各實(shí)施方式中的圖像處理裝置的處理概要的圖。圖2是本發(fā)明的第I實(shí)施方式中的圖像處理裝置的結(jié)構(gòu)框圖。圖3是用于說(shuō)明模糊系數(shù)計(jì)算處理部的處理的詳細(xì)內(nèi)容的圖。圖4A是表示了 LPF的核尺寸(kernel size)的橫向?qū)挾缺纫暡顖D生成時(shí)的窗尺寸的橫向?qū)挾却髸r(shí)的、應(yīng)用LPF后的視差值的圖。圖4B是表示了 LPF的核尺寸的橫向?qū)挾葹橐暡顖D生成時(shí)的窗尺寸的橫向?qū)挾鹊囊话霑r(shí)的、應(yīng)用LPF后的視差值的圖。圖4C是表示了 LPF的核尺寸的橫向?qū)挾葹橐暡顖D生成時(shí)的窗尺寸的橫向?qū)挾葧r(shí)的、應(yīng)用LPF后的視差值的圖。圖5A是表不了原始視差值的一例的圖。圖5B是表示了通過(guò)區(qū)域分割而變換后的視差值的一例的圖。圖5C是表示了應(yīng)用LPF后被平滑化的視差值的一例的圖。圖6是表示了生成弱模糊量的圖像時(shí)使用的核的一例的圖。圖7是表示了生成中等程度模糊量的圖像時(shí)使用的核的一例的圖。圖8是表示了生成強(qiáng)模 糊量的圖像時(shí)使用的核的一例的圖。圖9是模糊圖像生成處理部的結(jié)構(gòu)框圖。圖10是用于說(shuō)明通過(guò)線性插值計(jì)算出模糊圖像的各像素的像素值的方法的圖。圖11是表示了本發(fā)明的第I實(shí)施方式中的圖像處理裝置的處理流程的流程圖。圖12是表示了本發(fā)明的第I實(shí)施方式中的模糊圖像生成處理部30的處理流程的流程圖。圖13是本發(fā)明的第2實(shí)施方式中的圖像處理裝置的結(jié)構(gòu)框圖。圖14是表示了本發(fā)明的第2實(shí)施方式中的圖像處理裝置的處理流程的流程圖。
具體實(shí)施例方式圖1是表示了本發(fā)明的各實(shí)施方式中的圖像處理裝置的處理概要的圖。作為一例，輸入圖像I是在整個(gè)面的背景區(qū)域的中央處存在對(duì)焦了的(與攝像機(jī)的焦點(diǎn)對(duì)焦)平房民宅100(被攝體)的圖像。視差圖2是隨著從輸入圖像I的對(duì)焦的民宅100的邊緣101向背景區(qū)域遠(yuǎn)離，使背景區(qū)域的視差變化平緩的圖像。具體而言，對(duì)作為被攝體的民宅100的圖像施加LPF(L0W Pass Filter)，使被攝體100的邊緣101和背景區(qū)域的視差的變化平緩，從而獲得視差圖2。背景模糊圖像3是利用輸入圖像I和視差圖2抽出了對(duì)背景進(jìn)行模糊處理后的背景模糊圖像的圖像。被攝體4是利用輸入圖像I和視差圖2抽出了位于對(duì)焦區(qū)域的被攝體(民宅100)的圖像。輸出圖像5是合成了背景模糊圖像3、和位于對(duì)焦區(qū)域的被攝體4的圖像后的圖像。該輸出圖像5使被攝體邊緣101和背景區(qū)域的邊界區(qū)域平緩(自然)地模糊。<第I實(shí)施方式>圖2是本發(fā)明的第I實(shí)施方式中的圖像處理裝置10的結(jié)構(gòu)的示意框圖。圖像處理裝置10具備存儲(chǔ)部11、視差圖生成部12、模糊系數(shù)計(jì)算處理部20、模糊圖像生成處理部30和圖像合成部40。模糊系數(shù)計(jì)算處理部20還具備按區(qū)域的視差值變換部(區(qū)域分割部)21、LPF處理部(有時(shí)稱(chēng)為“濾波處理部”)22和模糊量選擇部(濾波器尺寸選擇部)23。在存儲(chǔ)部11中存儲(chǔ)有:表示從外部輸入的前景邊界的對(duì)焦視差值FF的信息；表示背景邊界的對(duì)焦視差值FR的信息；表示將視差值分割為區(qū)段時(shí)的分割寬度、即步寬DW的信息；表示LPF的核尺寸Wff的信息；表示生成多個(gè)基準(zhǔn)模糊圖像時(shí)使用的核尺寸、即多個(gè)核尺寸KS的信息；以及表示與所述多個(gè)核尺寸KS分別對(duì)應(yīng)的模糊系數(shù)GC的信息。在此，LPF的核尺寸Wff是視差圖生成時(shí)的窗尺寸。多個(gè)核尺寸KS中的I個(gè)尺寸可以是與LPF的核尺寸Wff相同的值。此外，在存儲(chǔ)部11中存儲(chǔ)的核尺寸KS的數(shù)量與要生成的模糊圖像的數(shù)量相同。視差圖生成部12通過(guò)使用了規(guī)定的窗尺寸(例如與LPF的核尺寸Wff相同的尺寸)的公知的塊匹配法，根據(jù)從外部輸入的基準(zhǔn)圖像的數(shù)據(jù)IMGDATA和參照?qǐng)D像的數(shù)據(jù)REFDATA，生成具有與各圖像的像素位置對(duì)應(yīng)的視差值的視差圖。視差圖生成部12向模糊系數(shù)計(jì)算處理部20的 后述的按區(qū)域的視差值變換部21輸出形成所生成的視差圖的視差值數(shù)據(jù) DisparityData。模糊系數(shù)計(jì)算處理部20基于從視差圖生成部12輸入的形成視差圖的視差值數(shù)據(jù)DisparityData，計(jì)算出模糊量GA(模糊程度)。然后，模糊系數(shù)計(jì)算處理部20向模糊圖像生成處理部30輸出表示計(jì)算出的模糊量GA的信息、和視差值d"。模糊圖像生成處理部30基于輸入的表示模糊量GA的信息、和基準(zhǔn)圖像的數(shù)據(jù)IMGDATA,生成前景區(qū)域及背景區(qū)域的模糊圖像GP。圖3是用于說(shuō)明模糊系數(shù)計(jì)算處理部20的處理的詳細(xì)內(nèi)容的圖。按區(qū)域的視差值變換部21從存儲(chǔ)部11讀出表示前景邊界的對(duì)焦視差值FF的信息、和表示背景邊界的對(duì)焦視差值FR的信息。按區(qū)域的視差值變換部21在從外部輸入的視差值數(shù)據(jù)DisparityData的值d小于背景邊界的對(duì)焦視差值FR的情況下，即是背景區(qū)域時(shí)，將變換后的視差值數(shù)據(jù)d'設(shè)為FR-do另一方面，在視差值數(shù)據(jù)DisparityData的值d大于前景邊界的對(duì)焦視差值FF的情況下，即是前景區(qū)域時(shí)，按區(qū)域的視差值變換部21將變換后的視差值數(shù)據(jù)d'設(shè)為d-FF。此外，在視差值數(shù)據(jù)DisparityData的值d為背景邊界的對(duì)焦視差值FR以上且前景邊界的對(duì)焦視差值FF以下的情況下，即是對(duì)焦區(qū)域時(shí)，按區(qū)域的視差值變換部21將變換后的視差值數(shù)據(jù)d'設(shè)為O。S卩，按區(qū)域的視差值變換部21將保持圖像的各像素的視差值的視差圖根據(jù)其視差值而分割成規(guī)定的區(qū)域，并根據(jù)該區(qū)域變換視差值。并且，按區(qū)域的視差值變換部21向LPF處理部(圖用濾波處理部)22輸出變換后的視差值數(shù)據(jù)d'。LPF處理部(圖用濾波處理部)22從存儲(chǔ)部11讀出表示核尺寸Wff的信息和表示其模糊系數(shù)GC的信息。LPF處理部(圖用濾波處理部)22利用讀出的核尺寸Wff及其模糊系數(shù)GC，對(duì)由變換后的視差值數(shù)據(jù)(T構(gòu)成的視差圖施加LPF。由此，LPF處理部(圖用濾波處理部)22對(duì)前景區(qū)域、背景區(qū)域、對(duì)焦區(qū)域之間進(jìn)行平滑化，使視差值不會(huì)急劇變化。
接著，說(shuō)明在圖2的LPF處理部(圖用濾波處理部)22中使用的核尺寸WW。圖4A 圖4C是用于說(shuō)明在LPF處理部(圖用濾波處理部)22中使用的核尺寸Wff的圖。圖4A是表示了 LPF的核尺寸的橫向?qū)挾?11及412大于視差圖生成時(shí)的窗尺寸的橫向?qū)挾葧r(shí)的、應(yīng)用LPF后的視差值的圖。另外，在圖4A中，符號(hào)413表示被攝體的邊緣。此外，符號(hào)414表不應(yīng)用LPF后的視差值。此外,符號(hào)415表不背景。此外,符號(hào)416表不與窗尺寸的半值寬度相應(yīng)的膨脹區(qū)域。圖4A相對(duì)于圖像的橫向坐標(biāo)(以下，稱(chēng)為圖像橫坐標(biāo))示出了應(yīng)用LPF前的視差值和應(yīng)用LPF后的視差值。在圖4A中，被圓417包圍著表示的應(yīng)用LPF后的視差值無(wú)論是否為對(duì)焦區(qū)域，都作為背景區(qū)域而被施加了 LPF。因此，與由圓417表示的應(yīng)用LPF后的視差值對(duì)應(yīng)的合成圖像的對(duì)焦區(qū)域的一部分中存在模糊的問(wèn)題。圖4B是表示了 LPF的核尺寸的橫向?qū)挾?21及422為視差圖生成時(shí)的窗尺寸的橫向?qū)挾鹊囊话霑r(shí)的、應(yīng)用LPF后的視差值的圖。另外，在圖4B中，符號(hào)423表示被攝體的邊緣。此外，符號(hào)424表示應(yīng)用LPF后的視差值。此外，符號(hào)425表示背景。此外，符號(hào)426表示與窗尺寸的半值寬度相應(yīng)的量的膨脹區(qū)域。圖4B相對(duì)于圖像橫坐標(biāo)示出了應(yīng)用LPF前的視差值和應(yīng)用LPF后的視差值。在圖4B中，由圓427包圍示出的應(yīng)用LPF后的視差值無(wú)論是否為背景區(qū)域，都作為對(duì)焦區(qū)域而不施加LPF。因此，存在由圓427表示的與應(yīng)用LPF后的視差值對(duì)應(yīng)的合成圖像的背景區(qū)域的一部分不模糊的問(wèn)題。圖4C是表示了 LPF的核尺寸的橫向?qū)挾?31及432為視差圖生成時(shí)的窗尺寸的橫向?qū)挾葧r(shí)的、應(yīng)用LPF后的視差值的圖。另外，在圖4C中，符號(hào)433表示被攝體的邊緣。此外，符號(hào)434表不應(yīng)用LPF后的視差值。此外,符號(hào)435表不背景。此外,符號(hào)436表不與窗尺寸的半值寬度相應(yīng)的量的膨脹區(qū)域。圖4C相對(duì)于圖像的橫方向的坐標(biāo)(以下，稱(chēng)為圖像橫坐標(biāo))示出了應(yīng)用LPF前的視差值和應(yīng)用LPF后的視差值。在圖4C中，不會(huì)對(duì)對(duì)焦區(qū)域施加LPF，不會(huì)產(chǎn)生最終的合成圖像的對(duì)焦區(qū)域的一部分模糊的問(wèn)題。此外，可從被攝體的邊緣到背景，對(duì)變換后的視差值施加LPF。因此，能夠使最終的合成圖像的被攝體的邊緣到背景都模糊。此外，由于應(yīng)用LPF后的視差值從被攝體邊緣到背景平緩地變化，因此合成圖像的背景區(qū)域中的模糊平緩地變化。因此，LPF處理部(圖用濾波處理部)22以與視差圖生成時(shí)的窗尺寸相同的核尺寸WW對(duì)視差圖施加LPF，計(jì)算出應(yīng)用LPF后的視差值d"。LPF處理部(圖用濾波處理部)22向模糊量選擇部23輸出表示應(yīng)用LPF后的視差值d"的信息。圖5A 圖5C是示出了原始的視差值d(圖5A)、通過(guò)按區(qū)域的視差值變換而變換后的視差值d'(圖5B)、應(yīng)用LPF后的視差值d"(圖5C)的一例的圖。圖5A表不原始的視差值與圖像橫坐標(biāo)的關(guān)系的一例。在圖5A中，橫軸是圖像橫坐標(biāo)，縱軸是視差值d。在該例中，在圖像橫坐標(biāo)上，面向圖面，左側(cè)(靠近原點(diǎn)的一方 )是前景區(qū)域，正中間是對(duì)焦區(qū)域，右側(cè)(遠(yuǎn)離了原點(diǎn)的一方)是背景區(qū)域。上述3個(gè)區(qū)域中，前景區(qū)域的視差值高，對(duì)焦區(qū)域的視差值為中等程度，背景區(qū)域的視差值低。圖5B示出了通過(guò)按區(qū)域的視差值變換部21進(jìn)行的按區(qū)域的視差值變換而變換后的視差值相對(duì)于圖像橫坐標(biāo)的一例。圖5B表示對(duì)圖5A進(jìn)行了按區(qū)域的視差值變換的情況。在圖5B中，橫軸是圖像橫坐標(biāo)，縱軸是變換后的視差值(T。在該例中，在圖像橫坐標(biāo)上，面向圖面，左側(cè)是前景區(qū)域，正中間是對(duì)焦區(qū)域，右側(cè)是背景區(qū)域。前景區(qū)域及背景區(qū)域的變換后的視差值d'取正值，而在對(duì)焦區(qū)域中取O。在此，在前景區(qū)域與對(duì)焦區(qū)域的邊界、或?qū)箙^(qū)域與背景區(qū)域的邊界，變換后的視差值d'相對(duì)于圖像橫坐標(biāo)而急劇變化。圖5C根據(jù)本實(shí)施方式表不了基于LPF處理部22的應(yīng)用LPF后的視差值相對(duì)于圖像橫坐標(biāo)的一例。在圖5C中，橫軸是圖像橫坐標(biāo)，縱軸是應(yīng)用LPF后的視差值d"。在該例中，在圖像橫坐標(biāo)上，面向圖面，左側(cè)是前景區(qū)域，正中間是對(duì)焦區(qū)域，右側(cè)是背景區(qū)域。在此，在前景區(qū)域與對(duì)焦區(qū)域的邊界、或?qū)箙^(qū)域與背景區(qū)域的邊界，應(yīng)用LPF后的視差值d"相對(duì)于圖像橫坐標(biāo)而平緩地變化。圖5C表示對(duì)圖5B進(jìn)行了 LPF處理后的情況。如以上所述，LPF處理部(圖用濾波處理部)22對(duì)視差圖施加LPF。由此，在前景區(qū)域與對(duì)焦區(qū)域的邊界、或?qū)箙^(qū)域與背景區(qū)域的邊界中，能夠使應(yīng)用LPF后的視差值d"的變化相對(duì)于圖像橫坐標(biāo)而變得平緩。此外，在圖像處理裝置10中，按區(qū)域的視差值變換部21將基準(zhǔn)圖像劃分為前景區(qū)域、背景區(qū)域和對(duì)焦區(qū)域，變換了視差值之后，LPF處理部(圖用濾波處理部)22進(jìn)行LPF的處理。由此，在合成圖像中的對(duì)焦區(qū)域和背景區(qū)域相接近的附近，能夠防止在背景區(qū)域側(cè)產(chǎn)生因?qū)箙^(qū)域的邊緣附近圖像引起的輪廓。如圖5A所示，在按照前景、對(duì)焦、背景的順序產(chǎn)生變化的情況下，在合成圖像中，在前景與背景之間會(huì)出現(xiàn)對(duì)焦區(qū)域的圖像。因此，若圖像處理裝置10不進(jìn)行按區(qū)域的視差值變換(直接使用輸入視差圖)，則即便進(jìn)行LPF處理視差值也不會(huì)成為O。但是，在合成圖像中，前景區(qū)域和背景區(qū)域重疊的情況下，S卩，前景區(qū)域之后是背景區(qū)域，沒(méi)有對(duì)焦區(qū)域，則圖像處理裝置同樣地不進(jìn)行按區(qū)域的視差值變換而直接使用輸入視差圖來(lái)執(zhí)行LPF處理時(shí)，視差值成為O。因此，具有在原本合成圖像中不存在對(duì)焦區(qū)域的位置處出現(xiàn)對(duì)焦后的圖像的問(wèn)題。按區(qū)域的視差值變換部21通過(guò)進(jìn)行按區(qū)域的視差值變換，從而變換后的前景及背景的視差值不包含對(duì)焦區(qū)域的視差值，因此該變換后的視差值不會(huì)成為O。因此，在合成圖像中，在前景區(qū)域和背景區(qū)域重疊的情況下，若圖像處理裝置10進(jìn)行按區(qū)域的視差值變換后執(zhí)行LPF處理，則不會(huì)生成視差值為O的區(qū)域。在本實(shí)施方式中，按區(qū)域的視差值變換部21進(jìn)行按區(qū)域的視差值變換后，LPF處理部22進(jìn)行LPF處理。由此，在合成圖像中的從前景區(qū)域變化到背景區(qū)域的區(qū)域內(nèi)，能夠防止出現(xiàn)對(duì)焦后的圖像。另外，LPF處理部(圖用濾波處理部)22在對(duì)視差圖施加濾波器時(shí)，也可以使用圖6至圖8所示的隨著從表格Tl T3的中心向端部移動(dòng)而要素的值變小的核。另外，并不限于此，也可以使用核 的要素全部相同的核。例如，在核為3X3時(shí)，所有要素是1/9。此外，LPF處理部(圖用濾波處理部)22，按照使應(yīng)用LPF后的視差值如圖4C那樣從相當(dāng)于被攝體的邊緣的位置開(kāi)始視差值平緩地變化的方式進(jìn)行了濾波，但是并不限于此。例如，也可以按照如下方式進(jìn)行濾波，即，應(yīng)用LPF后的視差值如圖4A那樣，從與比被攝體的邊緣更靠被攝體內(nèi)部的像素相當(dāng)?shù)奈恢瞄_(kāi)始視差值平緩地變化。此時(shí)，從深入被攝體內(nèi)部的像素開(kāi)始，圖像開(kāi)始模糊?；氐綀D3的說(shuō)明，模糊量選擇部23從存儲(chǔ)部11讀出表示步寬DW的信息、和表示多個(gè)核尺寸KS的信息。模糊量選擇部23按每個(gè)步寬DW，設(shè)定與核尺寸KS的種類(lèi)數(shù)相同的數(shù)量的閾值。例如，核尺寸KS的種類(lèi)數(shù)是3，因此模糊量選擇部23將DW、DWX 2、DWX 3設(shè)定為閾值。模糊量選擇部23在應(yīng)用LPF后的視差值d"為O的情況下，即是對(duì)焦區(qū)域的情況下，將對(duì)保持對(duì)圖像施加LPF時(shí)的核的信息的表格進(jìn)行識(shí)別的模糊量表格設(shè)為0，建立對(duì)焦標(biāo)記FA。另一方面，模糊量選擇部23在應(yīng) 用LPF后的視差值d"小于步寬DW的情況下，即是弱模糊量時(shí)，將模糊量表格設(shè)為1，不建立對(duì)焦標(biāo)記。在上述以外的情況下，模糊量選擇23在應(yīng)用LPF后的視差值d"小于步寬DW的2倍時(shí)，即是中等程度的模糊量時(shí)，將模糊量表格設(shè)為2，不建立對(duì)焦標(biāo)記。在上述以外的情況下，模糊量選擇23在應(yīng)用LPF后的視差值d"小于步寬DW的3倍時(shí)，即是強(qiáng)模糊量時(shí)，將模糊量表格設(shè)為3，不建立對(duì)焦標(biāo)記。在上述以外的情況下，即應(yīng)用LPF后的視差值d"超過(guò)步寬DW的3倍時(shí)，模糊量選擇23將模糊量表格設(shè)為4，不建立對(duì)焦標(biāo)記。模糊量選擇部23向圖像合成部40輸出表示對(duì)焦標(biāo)記的信息，向模糊圖像生成處理部30輸出表示模糊量表格GT的信息、和表示應(yīng)用LPF后的視差值d"的信息。另外，圖3所示的步寬DWl到DW3的各間隔不需要一定是固定長(zhǎng)度(步寬DW的間隔始終恒定)，也可以是可變的?；氐綀D2的說(shuō)明，模糊圖像生成處理部30基于從模糊量選擇部23輸入的表示模糊量的信息、和從外部輸入的基準(zhǔn)圖像的數(shù)據(jù)MGDATA，生成模糊圖像。然后，模糊圖像生成處理部30向圖像合成部40輸出表示模糊圖像GP的信息。圖9是模糊圖像生成處理部30 (圖2參照)的結(jié)構(gòu)框圖。模糊圖像生成處理部30具備基準(zhǔn)模糊圖像生成部31、基準(zhǔn)模糊圖像選擇部32和像素值插值部33?；鶞?zhǔn)模糊圖像生成部31生成的基準(zhǔn)模糊圖像的數(shù)量是核尺寸KS的種類(lèi)數(shù)。在此，作為一例，說(shuō)明核尺寸KS的種類(lèi)數(shù)為3的情況。另外，核尺寸KS的種類(lèi)數(shù)只要是I種以上即可?；鶞?zhǔn)模糊圖像生成部31生成的基準(zhǔn)模糊圖像的數(shù)量越多，越能夠從基準(zhǔn)模糊圖像正確地插值模糊圖像的各像素值。因此，圖像處理裝置10能夠生成對(duì)應(yīng)于與被攝體之間的距離的圓滑的模糊圖像?；鶞?zhǔn)模糊圖像生成部31對(duì)具有3個(gè)不同的核尺寸的核的模糊系數(shù)GC的每一個(gè)系數(shù)、與從外部提供的基準(zhǔn)圖像的數(shù)據(jù)MGDATA進(jìn)行卷積，生成3種基準(zhǔn)模糊圖像。具體而言，基準(zhǔn)模糊圖像生成部31通過(guò)對(duì)圖6所示的表格Tl (3X3)的核與基準(zhǔn)圖像的數(shù)據(jù)MGDATA進(jìn)行卷積，從而生成第I基準(zhǔn)模糊圖像(弱模糊圖像)?；鶞?zhǔn)模糊圖像生成部31通過(guò)對(duì)圖7所示的表格T2(7X7)的核與基準(zhǔn)圖像的數(shù)據(jù)MGDATA進(jìn)行卷積，從而生成第2基準(zhǔn)模糊圖像(中等模糊圖像)。基準(zhǔn)模糊圖像生成部31通過(guò)對(duì)圖8所示的表格Τ3(15Χ15)的核與基準(zhǔn)圖像的數(shù)據(jù)MGDATA進(jìn)行卷積，從而生成第3基準(zhǔn)模糊圖像(強(qiáng)模糊圖像)。在此，說(shuō)明與各個(gè)模糊圖像對(duì)應(yīng)的核的模糊系數(shù)。圖6是表示了生成弱模糊量的圖像時(shí)使用的核的模糊系數(shù)的一例的圖。在圖6中，作為在與圖3的步寬DWl對(duì)應(yīng)的模糊圖像(弱模糊)的生成中所使用的核的模糊系數(shù)的例子，表示了 3X3的表格Tl。在表格Tl中，在所有要素中，中心的要素為0.3446，是最大的，4角的要素為0.0386，是最小的。圖7是表示了在生成中等模糊量的圖像時(shí)所使用的核的模糊系數(shù)的一例的圖。在圖7中，作為在與圖3的步寬DW2對(duì)應(yīng)的模糊圖像(中等模糊)生成中使用的核的模糊系數(shù)的例子，表示了 7X7的表格T2。在表格T2中，所有要素中，中心的要素為
0.0324，是最大的，越靠近端部要素越小，4角的要素為0.0103，是最小的。圖8是表示了生成強(qiáng)模糊量的圖像時(shí)使用的核的模糊系數(shù)的一例的圖。在圖8中，作為在與圖3的步寬DW3對(duì)應(yīng)的模糊圖像(強(qiáng)模糊)生成中使用的核的模糊系數(shù)的例子，表不了 15X15的表格T3。在表格T3中，與表格T2同樣,在所有要素中，中心的要素為0.006741，是最大的，越靠近端部要素越小，4角的要素為0.002038，是最小的。一般，核的大 小(在此說(shuō)明的表格的尺寸)越大，使用該核施加濾波器后的圖像的模糊就越大。例如，在此，表格T2的尺寸大于表格Tl。因此，通過(guò)對(duì)表格T2示出的核與圖像進(jìn)行卷積而生成的圖像的模糊量，大于通過(guò)對(duì)表格Tl示出的核與圖像進(jìn)行卷積而生成的圖像的模糊量。另外，在此，表格T3的尺寸大于表格T2。因此，通過(guò)對(duì)表格T3示出的核與圖像進(jìn)行卷積而生成的圖像的模糊量，大于通過(guò)對(duì)表格T2示出的核與圖像進(jìn)行卷積而生成的圖像的模糊量。回到圖9的說(shuō)明，基準(zhǔn)模糊圖像生成部31向基準(zhǔn)模糊圖像選擇部32輸出表示所生成的3種基準(zhǔn)模糊圖像SG的信息?；鶞?zhǔn)模糊圖像選擇部32使用從模糊量選擇部23輸入的表示模糊量的信息，按模糊圖像的每個(gè)像素，選擇2個(gè)在關(guān)注像素的視差值附近的模糊圖像。例如，若模糊量為1，則基準(zhǔn)模糊圖像選擇部32選擇基準(zhǔn)圖像和弱模糊圖像。若模糊量為2，則基準(zhǔn)模糊圖像選擇部32選擇弱模糊圖像和中等模糊圖像。若模糊量為3，則基準(zhǔn)模糊圖像選擇部32選擇中等模糊圖像和強(qiáng)模糊圖像。若模糊量為4，則基準(zhǔn)模糊圖像選擇部32僅選擇強(qiáng)模糊圖像，不通過(guò)像素值插值部33進(jìn)行插值，而是將表示強(qiáng)模糊圖像的信息原樣輸出給圖像合成部40。并且，進(jìn)行選擇之后，基準(zhǔn)模糊圖像選擇部32向像素值插值部33輸出表示選擇了哪個(gè)模糊圖像的選擇信息。像素值插值部33根據(jù)表示從基準(zhǔn)模糊圖像選擇部32輸入的模糊圖像之中選擇了哪個(gè)模糊圖像的選擇信息，讀出該選出的2個(gè)模糊圖像的視差值d"、和表示步寬DW的信息。并且，像素值插值部33基于讀出的視差值d"，通過(guò)線性插值計(jì)算出關(guān)注像素的視差值的對(duì)應(yīng)的模糊圖像的像素值。另外，利用圖10說(shuō)明像素值插值部33的處理的詳細(xì)內(nèi)容。圖10是用于說(shuō)明通過(guò)線性插值計(jì)算出模糊圖像的各像素的像素值的方法的圖。
在圖10中，在靠上的橫軸上表示了之后生成的模糊圖像的像素值(模糊圖像數(shù)據(jù))，在靠下的橫軸上表示了應(yīng)用LPF后的視差值d"。在作為應(yīng)用LPF后的視差值d"之一的輸入視差值d" 位于步寬DWl與步寬DW2之間時(shí)，計(jì)算出作為該輸入視差值d" IN與步寬DWl之差的a( = d" in-DW1)、和作為該輸入視差值d" IN與步寬DW2之差的b ( = DW2-d" IN)。若將弱模糊的亮度值設(shè)為Y1、中等模糊的亮度值設(shè)為Y2,則模糊圖像的亮度值(插值數(shù)據(jù))Y是通過(guò)以下的式(I)計(jì)算出的。Y= (Y1Xb+Y2Xa)/(a+b) (I)像素值插值部33使用式(I)，針對(duì)RGB(Red、Green、Blue)各自的亮度值計(jì)算出模糊圖像的亮度值(插值數(shù)據(jù))。此外，像素值插值部33針對(duì)對(duì)焦區(qū)域根據(jù)基準(zhǔn)圖像生成對(duì)焦圖像。像素值插值部33通過(guò)對(duì)所有像素進(jìn)行上述的處理，生成模糊圖像。由此，像素值插值部33通過(guò)使用了基于關(guān)注像素的濾波后的視差圖的值和從視差圖中選出的值的值、以及在選出的基準(zhǔn)模糊圖像中相當(dāng)于關(guān)注像素的位置的像素的像素值的插值，能夠計(jì)算出關(guān)注像素的像素值。由此，像素值插值部33能夠生成與視差值相應(yīng)的適當(dāng)?shù)哪：龍D像。另外，如前所述，圖10的步寬DWl至步寬DW3的各間隔不需要一定是固定長(zhǎng)度(即，DW的間隔始終恒定)，各間隔可以是可變的。此外，在將各間隔設(shè)為可變的情況下，式(I)的分母(a+b)的值隨著步寬DWl至步寬DW3的各間隔而變化。另外，如基準(zhǔn)模糊圖像生成部31的說(shuō)明那樣，步寬DW的個(gè)數(shù)(核尺寸KS的種類(lèi)數(shù))只要是I以上即可。步寬DW的個(gè)數(shù)越多，越能夠從基準(zhǔn)模糊圖像正確地插值模糊圖像的各像素值，因此圖像處理裝置10能夠生成與被攝體之間的距離相應(yīng)的圓滑的模糊圖像。模糊圖像生成處理部30對(duì)前景區(qū)域和背景區(qū)域分別進(jìn)行上述的一系列的模糊圖像生成處理，生成前景區(qū)域的模糊圖像和背景區(qū)域的模糊圖像。模糊圖像生成處理部30向圖像合成部40輸出所生成的前景區(qū)域的模糊圖像GPl的數(shù)據(jù)、和背景區(qū)域的模糊圖像GP2的數(shù)據(jù)。返回圖2的說(shuō)明，圖像合成部40針對(duì)從模糊量選擇部23輸入的對(duì)焦標(biāo)記為I的像素，將基準(zhǔn)圖像的數(shù)據(jù)在對(duì)焦區(qū)域中的亮度值設(shè)為合成圖像的亮度值。另一方面，圖像合成部40針對(duì)從模糊量選擇部23輸入的對(duì)焦標(biāo)記為O的像素，將模糊圖像的亮度值設(shè)為合成圖像的亮度值。由此，圖像合成部40能夠僅使非對(duì)焦區(qū)域模糊，使對(duì)焦區(qū)域的像素保持原樣。圖像合成部40通過(guò)按照背景區(qū)域、對(duì)焦區(qū)域、前景區(qū)域的順序?qū)⒏鲄^(qū)域的亮度值代入合成圖像的亮度值，從而生成合成圖像。圖像合成部40向外部輸出所生成的合成圖像數(shù)據(jù) IMGDATA0UT。圖11是表示了本發(fā)明的第I實(shí)施方式中的圖像處理裝置10(圖2參照)的處理流程的流程圖。首先，視差圖生成部12通過(guò)塊匹配而根據(jù)基準(zhǔn)圖像及參照?qǐng)D像來(lái)生成視差圖(步驟 S101)。接 著，按區(qū)域的視差值變換部21將基準(zhǔn)圖像及視差圖分割為前景區(qū)域、對(duì)焦區(qū)域、背景區(qū)域，通過(guò)前述的方法對(duì)視差值進(jìn)行變換(步驟S102)。接著，LPF處理部(圖用濾波處理部)22對(duì)變換后的視差圖施加LPF (步驟S103)。接著，模糊量選擇部23針對(duì)前景區(qū)域計(jì)算出與變換后的視差值對(duì)應(yīng)的模糊量(表格)(步驟S104)。接著，模糊圖像生成處理部30針對(duì)前景區(qū)域，從模糊量(表格)中選擇對(duì)應(yīng)的核尺寸的模糊圖像，進(jìn)行與變換后的視差值相應(yīng)的模糊圖像生成處理(步驟S105)。接著，模糊量選擇部23針對(duì)背景區(qū)域計(jì)算出與變換后的視差值對(duì)應(yīng)的模糊量(表格)(步驟S106)。接著，模糊圖像生成處理部30針對(duì)背景區(qū)域，從模糊量(表格)中選擇對(duì)應(yīng)的核尺寸的模糊圖像，進(jìn)行與變換后的視差值相應(yīng)的模糊圖像生成處理(步驟S107)。接著，模糊圖像生成處理部30針對(duì)對(duì)焦區(qū)域而根據(jù)基準(zhǔn)圖像來(lái)生成對(duì)焦圖像(步驟 S108)。接著，圖像合成部40重疊背景區(qū)域、對(duì)焦區(qū)域、前景區(qū)域的各區(qū)域來(lái)進(jìn)行合成(步驟 S109)。以上，結(jié)束圖 11的流程圖的處理。接著，利用圖12，詳細(xì)說(shuō)明圖11的步驟S105和步驟S107的模糊圖像生成處理部30進(jìn)行的模糊圖像生成處理。圖12是表示了本發(fā)明的第I實(shí)施方式中的模糊圖像生成處理部30的處理流程的流程圖。首先，基準(zhǔn)模糊圖像生成部31以3種核尺寸生成模糊圖像(步驟S201)。接著，基準(zhǔn)模糊圖像選擇部32按每個(gè)像素選擇2個(gè)在關(guān)注像素的視差值附近的模糊圖像(步驟S202)。接著，像素值插值部33通過(guò)線性插值，根據(jù)2個(gè)模糊圖像的視差值生成與關(guān)注像素的視差值對(duì)應(yīng)的模糊圖像(步驟S203)。以上，結(jié)束圖12的流程圖的處理。通過(guò)以上處理，圖像處理裝置10能夠?qū)σ暡顖D從相當(dāng)于被攝體邊緣的位置開(kāi)始施加LPF來(lái)進(jìn)行變換，使膨脹區(qū)域的視差值平緩地變化。由此，圖像處理裝置10能夠根據(jù)應(yīng)用LPF后的視差值，變更模糊中使用的濾波器尺寸。通過(guò)對(duì)視差圖從相當(dāng)于被攝體邊緣的位置開(kāi)始施加LPF的作用，即使是膨脹了的視差圖，也能夠使前景區(qū)域至對(duì)焦區(qū)域的模糊平緩地變化，能夠使前景與對(duì)焦區(qū)域的切換部分的邊界不顯眼。此外，由于能夠設(shè)為對(duì)焦區(qū)域周邊的背景區(qū)域圖像不包含于對(duì)焦區(qū)域，因此能夠使在對(duì)焦與背景區(qū)域的切換部分處發(fā)生在背景區(qū)域圖像中的對(duì)焦成分的像素值并不顯眼。此外，圖像處理裝置10生成具有與從應(yīng)用LPF后的視差值中選出的多個(gè)值相應(yīng)的模糊量的多個(gè)模糊圖像，根據(jù)應(yīng)用LPF后的視差值，能夠通過(guò)使用了模糊圖像的像素值的線性插值來(lái)生成合成圖像。由此，在前景區(qū)域及背景區(qū)域內(nèi)，能夠根據(jù)縱深使圖像的模糊成為自然的模糊?！吹?實(shí)施方式〉接著，說(shuō)明本發(fā)明的第2實(shí)施方式。圖13是本發(fā)明的第2實(shí)施方式中的圖像處理裝置IOb的結(jié)構(gòu)框圖。另外，對(duì)與圖2相同的要素附加同一符號(hào)，并省略其說(shuō)明。圖13的圖像處理裝置IOb的構(gòu)成與圖2的圖像處理裝置10的構(gòu)成相比，追加了圖像縮小部24、標(biāo)記放大部25和圖像放大部34。此外，圖13的圖像處理裝置IOb的構(gòu)成與圖2的圖像處理裝置10的構(gòu)成相比，視差圖生成部12被變更為視差圖生成部12b。此外，模糊系數(shù)計(jì)算處理部20被變更為模糊系數(shù)計(jì)算處理部20b。此外，模糊量選擇部23被變更為模糊量選擇部23b。此外，模糊圖像生成處理部30被變更為模糊圖像生成處理部30b。此外，圖像合成部40被變更為圖像合成部40b。圖像縮小部24以規(guī)定倍率(例如4分之I)縮小從外部輸入的基準(zhǔn)圖像和參照?qǐng)D像。并且，圖像縮小部24向視差圖生成部12b輸出縮小后的基準(zhǔn)圖像的數(shù)據(jù)和縮小后的參照?qǐng)D像的數(shù)據(jù)。此外，圖像縮小部24向模糊圖像生成處理部30b輸出縮小后的基準(zhǔn)圖像的數(shù)據(jù)。視差圖生成部12b與第I實(shí)施方式的視差圖生成部12同樣地，根據(jù)從圖像縮小部24輸入的縮小后的基準(zhǔn)圖像的數(shù)據(jù)和縮小后的參照?qǐng)D像的數(shù)據(jù)，通過(guò)使用了規(guī)定的窗尺寸WW的公知的塊匹配法，生成視差圖。視差圖生成部12b向模糊系數(shù)計(jì)算處理部20的按區(qū)域的視差值變換部21輸出形成所生成的視差圖的視差值數(shù)據(jù)DisparityData。模糊量選擇部23b與第I實(shí)施方式的模糊量選擇部23同樣地，計(jì)算出模糊量和對(duì)焦標(biāo)記，并向標(biāo)記放大部25輸出表示對(duì)焦標(biāo)記的信息。此外,模糊量選擇部23b向模糊圖像生成處理部30b輸出表示計(jì)算出的模糊量的信息。標(biāo)記放大部25根據(jù)從濾波器尺寸選擇部23b輸入的表示對(duì)焦標(biāo)記的信息，以與后述的圖像放大部34放大模糊圖像的倍率(例如4倍)相同的倍率，放大作為對(duì)焦標(biāo)記為I的區(qū)域的對(duì)焦區(qū)域。標(biāo)記放大部25向圖像合成部40b輸出放大后的對(duì)焦區(qū)域的信息。

模糊圖像生成處理部30b與第I實(shí)施方式的模糊圖像生成處理部30同樣地，基于輸入的表示模糊量的信息、和縮小后的基準(zhǔn)圖像的數(shù)據(jù)，生成前景區(qū)域及背景區(qū)域的模糊圖像。模糊圖像生成處理部30b向圖像放大部34輸出所生成的前景區(qū)域的模糊圖像的數(shù)據(jù)、和背景區(qū)域的模糊圖像的數(shù)據(jù)。圖像放大部34通過(guò)公知的雙線性插值，以圖像縮小部24中的縮小倍率的倒數(shù)的倍率(例如4倍)，放大所輸入的前景區(qū)域的模糊圖像。同樣地，圖像放大部34通過(guò)雙線性插值，以圖像縮小部24中的縮小倍率的倒數(shù)的倍率(例如4倍)，放大所輸入的背景區(qū)域的模糊圖像。另外，上述插值并不限于雙線性插值。圖像放大部34向圖像合成部40b輸出放大后的前景區(qū)域的模糊圖像的數(shù)據(jù)、和放大后的背景區(qū)域的模糊圖像的數(shù)據(jù)。另外，圖像放大部34以圖像縮小部24中的縮小倍率的倒數(shù)的倍率放大了模糊圖像，但是并不限于此，也可以以與最終想要取得的合成圖像的圖像尺寸一致的倍率放大模糊圖像。圖像合成部40b使用從標(biāo)記放大部25輸入的放大后的對(duì)焦區(qū)域的信息，針對(duì)放大后的對(duì)焦區(qū)域，基于從外部輸入的縮小前的基準(zhǔn)圖像生成對(duì)焦圖像。圖像合成部40b與圖像合成部40同樣地，按照背景區(qū)域、對(duì)焦區(qū)域、前景區(qū)域的順序合成各區(qū)域來(lái)生成合成圖像。圖像合成部40b向外部輸出所生成的合成圖像的數(shù)據(jù)MGDATA0UT。
圖14是表示了本發(fā)明的第2實(shí)施方式中的圖像處理裝置IOb的處理流程的流程圖。首先，圖像縮小部24將基準(zhǔn)圖像及參照?qǐng)D像縮小至規(guī)定倍率(例如4分之I)(步驟S301)。接著，視差圖生成部12b根據(jù)縮小后的基準(zhǔn)圖像及縮小后的參照?qǐng)D像，通過(guò)塊匹配來(lái)求出視差圖(步驟S302)。接著，按區(qū)域的視差值變換部21將縮小后的基準(zhǔn)圖像及視差圖分割為前景區(qū)域、對(duì)焦區(qū)域、背景區(qū)域(步驟S303)。接著，LPF處理部(圖用濾波處理部)22對(duì)視差圖施加LPF (步驟S304)。接著，模糊圖像生成處理部30b針對(duì)縮小后的基準(zhǔn)圖像的前景區(qū)域，計(jì)算出與變換后的視差值對(duì)應(yīng)的模糊量(表格)(步驟S305)。接著，模糊圖像生成處理部30b針對(duì)縮小后的基準(zhǔn)圖像的前景區(qū)域，通過(guò)圖12所示的處理流程，從模糊量(表格)中選擇對(duì)應(yīng)的核尺寸的模糊圖像，進(jìn)行與變換后的視差值相應(yīng)的模糊圖像生成處理(步驟S306)。接著，模糊圖像生成處理部30b針對(duì)縮小后的基準(zhǔn)圖像的背景區(qū)域，計(jì)算出與變換后的視差值對(duì)應(yīng)的模糊量(表格)(步驟S307)。接著，模糊圖像生成處理部30b針對(duì)縮小后的基準(zhǔn)圖像的背景區(qū)域，通過(guò)圖12所示的處理流程，從模糊量(表格)中選擇對(duì)應(yīng)的核尺寸的模糊圖像，進(jìn)行與變換后的視差值相應(yīng)的模糊圖像生成處理(步驟S308)。接著，圖像放大部34使用雙線性插值，以規(guī)定倍率(例如4倍)放大前景區(qū)域的模糊圖像及背景區(qū)域的模糊圖像。接著，標(biāo)記放大部25通過(guò)近鄰取樣(nearest neighbor)法放大對(duì)焦標(biāo)記(步驟S 310)。接著，圖像合成部40b使用放大后的對(duì)焦標(biāo)記，根據(jù)縮小前的基準(zhǔn)圖像來(lái)生成對(duì)焦圖像(步驟S311)。接著，圖像合成部40b按照背景區(qū)域、對(duì)焦區(qū)域、前景區(qū)域的順序合成各區(qū)域(步驟 S312)。以上，結(jié)束圖14的流程圖的處理。由此，圖像處理裝置IOb中，由于作為輸入圖像的基準(zhǔn)圖像和參照?qǐng)D像的縮小，縱深分辨率會(huì)降低，I個(gè)被攝體內(nèi)的縱深值的變化減小。因此，能夠削減從沿著進(jìn)深方向變化的被攝體的中途開(kāi)始產(chǎn)生模糊的頻度。此外，也可以在計(jì)算機(jī)可讀取的記錄介質(zhì)中，記錄用于執(zhí)行本發(fā)明的第I實(shí)施方式的圖像處理裝置10(圖2參照)及本發(fā)明的第2實(shí)施方式的圖像處理裝置IOb (圖13參照)的各處理的程序。并且，可以通過(guò)使計(jì)算機(jī)系統(tǒng)讀取并執(zhí)行記錄于該記錄介質(zhì)中的程序，從而進(jìn)行圖像處理裝置10、圖像處理裝置IOb的上述的各種處理。另外,這里的“計(jì)算機(jī)系統(tǒng)”也可以包括OS (Operating System)或外圍設(shè)備等硬件。此外，在“計(jì)算機(jī)系統(tǒng)”利用WWW (World Wide Web)系統(tǒng)的情況下，還包括主頁(yè)提供環(huán)境(或者顯示環(huán)境)。此外，“計(jì)算機(jī)可讀取的記錄介質(zhì)”是指軟盤(pán)、光磁盤(pán)、R0M(Read OnlyMemory)、閃存等可改寫(xiě)的非易失性存儲(chǔ)器、CD-ROM (Compact Disc-Read Only Memory)等可移動(dòng)介質(zhì)、計(jì)算機(jī)系統(tǒng)中內(nèi)置的硬盤(pán)等存儲(chǔ)裝置。另外，“計(jì)算機(jī)可讀取的記錄介質(zhì)”還包括經(jīng)由因特網(wǎng)等網(wǎng)絡(luò)或電話線路等通信線路發(fā)送了程序時(shí)的服務(wù)器或成為客戶(hù)機(jī)程序的計(jì)算機(jī)系統(tǒng)內(nèi)部的易失性存儲(chǔ)器(例如DRAM(Dynamic Random Access Memory))那樣在一定時(shí)間內(nèi)保持程序的介質(zhì)。此外，上述程序也可以從在存儲(chǔ)裝置等中保存了該程序的計(jì)算機(jī)系統(tǒng)經(jīng)由傳送介質(zhì)或者傳送介質(zhì)中的傳送波而傳送到其他計(jì)算機(jī)系統(tǒng)。在此，傳送程序的“傳送介質(zhì)”是指，如因特網(wǎng)等網(wǎng)絡(luò)(通信網(wǎng))或電話線路等通信線路(通信線)那樣具有傳送信息的功能的介質(zhì)。此外，上述程序也可以實(shí)現(xiàn)前述功能的一部分。另外，也可以是通過(guò)與計(jì)算機(jī)系統(tǒng)中全部記錄的程序的組合來(lái)實(shí)現(xiàn)前述的功能的所謂的差分文件(difference file)(差分程序)。以上，參照附圖詳細(xì)說(shuō)明了本發(fā)明的實(shí)施方式，但是具體的構(gòu)成并不限于該實(shí)施方式，還包括不超出該發(fā)明的宗旨的范圍的設(shè)計(jì)等。(產(chǎn)業(yè)上的可利用性)本發(fā)明能夠應(yīng)用于生成使被攝體與背景或前景的邊界區(qū)域成為平緩的模糊的圖像的圖像處理裝置、圖像處理方法及圖像處理程序等。符號(hào)說(shuō)明10、IOb…圖像處理裝置1L...存儲(chǔ)部12、12b…視差 圖生成部20、20b…模糊系數(shù)計(jì)算處理部21…按區(qū)域的視差值變換部(區(qū)域分割部)22…LPF處理部(圖用濾波處理部)23…模糊區(qū)域選擇部(濾波器尺寸選擇部)24…圖像縮小部25…標(biāo)記放大部30…模糊圖像生成處理部31…基準(zhǔn)模糊圖像生成部32…基準(zhǔn)模糊圖像選擇部33…像素值插值部34…圖像放大部40、40b…圖像合成部
權(quán)利要求
1.一種圖像處理裝置，具備: 圖用濾波處理部，其對(duì)基于針對(duì)圖像的各像素的視差值的視差圖施加濾波器； 模糊圖像生成部，其根據(jù)所述圖像來(lái)生成所述圖像的模糊圖像；和 圖像合成部，其基于由所述圖用濾波處理部進(jìn)行了濾波后的視差圖，生成對(duì)所述圖像和所述模糊圖像進(jìn)行合成后的合成圖像。
2.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中，所述圖像處理裝置還具備濾波器尺寸選擇部，該濾波器尺寸選擇部根據(jù)由所述圖用濾波處理部施加了濾波器后的視差圖來(lái)選擇圖像用濾波器的尺寸，所述模糊圖像生成部通過(guò)對(duì)所述圖像施加所述圖像用濾波器來(lái)生成所述模糊圖像。
3.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中，所述圖像處理裝置還具備區(qū)域分割部，該區(qū)域分割部將所述圖像根據(jù)所述視差值而分割為規(guī)定的區(qū)域，并按每個(gè)所述區(qū)域?qū)σ暡钪颠M(jìn)行變換，所述圖用濾波處理部對(duì)由所述區(qū)域分割部變換了視差值后的視差圖施加濾波器。
4.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中，所述圖像處理裝置還具備縮小所述圖像的尺寸的圖像縮小部，所述模糊圖像生成部生成被所述圖像縮小部縮小后的圖像的模糊圖像，所述圖像處理裝置還具備將所述縮小后的圖像的模糊圖像放大到規(guī)定的尺寸的圖像放大部。
5.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中，所述模糊圖像生成部具備: 基準(zhǔn)模糊圖像生成部，其從視差圖中選擇多個(gè)值，生成具有與選出的所述多個(gè)值的每個(gè)值相應(yīng)的模糊量的基準(zhǔn)模糊圖像； 基準(zhǔn)模糊圖像選擇部，其按所述圖像的每個(gè)關(guān)注像素，基于所述關(guān)注像素的所述濾波后的視差圖的值與所述選出的值之間的比較，從所述基準(zhǔn)模糊圖像中選擇基準(zhǔn)模糊圖像；和 像素值插值部，其基于所述選出的基準(zhǔn)模糊圖像中相當(dāng)于所述關(guān)注像素的位置的像素的像素值、所述關(guān)注像素的濾波后的視差圖的值、和所述選出的值，計(jì)算出所述關(guān)注像素的像素值。
6.根據(jù)權(quán)利要求5所述的圖像處理裝置，其中，所述像素值插值部通過(guò)使用了基于所述關(guān)注像素的濾波后的視差圖的值與所述選出的值的值、以及所述選出的基準(zhǔn)模糊圖像中相當(dāng)于所述關(guān)注像素的位置的像素的像素值的插值，計(jì)算出所述關(guān)注像素的像素值。
7.一種圖像處理方法，其中，對(duì)基于針對(duì)圖像的各像素的視差值的視差圖施加濾波器，根據(jù)所述圖像來(lái)生成所述圖像的模糊圖像，基于施加了濾波器后的視差圖，生成對(duì)所述圖像和所述模糊圖像進(jìn)行合成后的合成圖像。
8.一種圖像處理程序，使圖像處理裝置的計(jì)算機(jī)進(jìn)行如下動(dòng)作: 對(duì)基于針對(duì)圖像的各像素的視差值的視差圖施加濾波器，根據(jù)所述圖像來(lái)生成所述圖像的模糊圖像，基于施加了濾波器后的視差圖，生成對(duì)所述圖像和所述模糊圖像進(jìn)行合成后的合成圖像。
全文摘要
本發(fā)明提供一種圖像處理裝置、圖像處理方法及圖像處理程序。圖像處理裝置具備圖用濾波處理部，其對(duì)基于針對(duì)圖像的各像素的視差值的視差圖施加濾波器；模糊圖像生成部，其根據(jù)所述圖像來(lái)生成所述圖像的模糊圖像；和圖像合成部，其基于由所述圖用濾波處理部進(jìn)行了濾波后的視差圖，生成對(duì)所述圖像和所述模糊圖像進(jìn)行合成后的合成圖像。
文檔編號(hào)G06T5/20GK103238168SQ201180058210
公開(kāi)日2013年8月7日 申請(qǐng)日期2011年9月13日 優(yōu)先權(quán)日2010年12月3日
發(fā)明者紫村智哉, 田中誠(chéng)一, 有田真一, 岡本卓也, 安本隆 申請(qǐng)人:夏普株式會(huì)社