專利名稱：圖像處理裝置及圖像處理方法
技術(shù)領(lǐng)域：
本發(fā)明涉及將多個圖像合成來生成高畫質(zhì)的圖像的圖像處理裝置及圖像處理方法。
背景技術(shù)：
目前，作為謀求改善拍攝圖像的畫質(zhì)的技術(shù)，已知有由拍攝同一對象得到的兩個圖像生成合成圖像的技術(shù)(例如參照專利文獻I)。專利文獻I記載的技術(shù)(以下稱作“現(xiàn)有技術(shù)”)中，從拍攝同一對象的短時間曝光圖像和長時間曝光圖像按每個對應的像素對使像素值重疊，由此生成合成圖像。此時，現(xiàn)有技術(shù)中，對長時間曝光圖像中的物體的邊緣的抖動范圍提高短時間曝光圖像的像素值的比率。短時間曝光圖像的噪聲多，但邊緣清晰。長時間曝光圖像的邊緣不清晰，但噪聲少。因此，現(xiàn)有技術(shù)中，可以作為整體將像素值的動態(tài)范圍設為2倍，并且生成發(fā)揮了兩圖像的優(yōu)點的合成圖像。現(xiàn)有技術(shù)文獻專利文獻專利文獻1:日本特開2007-324770號公報

發(fā)明內(nèi)容
發(fā)明所要解決的問題但是，現(xiàn)有技術(shù)具有如下問題，在長時間曝光圖像中，運動物體的抖動或相機抖動帶來的拍攝對象的抖動殘留于合成圖像中，結(jié)果導致拍攝物體邊界不清晰。這是因為僅由邊緣信息無法判定物體的邊界，可以在跨邊界的范圍內(nèi)進行合成等計算處理。本發(fā)明的目的在于，提供一種圖像處理裝置及圖像處理方法，能夠抑制拍攝物體邊界的不清晰并擴大動態(tài)范圍，改善拍攝圖像的畫質(zhì)。用于解決問題的方案本發(fā)明提供一種圖像處理裝置，其由通過拍攝得到的兩個圖像生成合成圖像，其具有圖像/距離獲取單元，其獲取所述兩個圖像間的對應像素對和所述對應像素對的深度信息及匹配得分；權(quán)重信息計算單元，其對每個所述對應像素對，基于所述深度信息及所述匹配得分對包含該對應像素對作為關(guān)注像素的規(guī)定區(qū)域范圍的各像素決定權(quán)重；以及像素值重疊單元，其對所述兩個圖像的至少一個圖像，按每個所述對應像素對，在所述規(guī)定區(qū)域范圍對像素值適用所述權(quán)重并進行平滑化，且用通過所述平滑化得到的值置換所述規(guī)定區(qū)域范圍的所述關(guān)注像素的像素值，并以像素為單位將所述兩個圖像重疊。本發(fā)明提供一種圖像處理方法，其由通過拍攝得到的兩個圖像生成合成圖像，其包括獲取所述左眼圖像和所述右眼圖像之間的對應像素對和所述對應像素對的深度信息及匹配得分的步驟；對每個所述對應像素對，基于所述深度信息及所述匹配得分對包含該對應像素對作為關(guān)注像素的規(guī)定區(qū)域范圍的各像素決定權(quán)重的步驟；對所述兩個圖像的至少一個圖像，按每個所述對應像素對，在所述規(guī)定區(qū)域范圍對像素值適用所述權(quán)重并進行平滑化，用通過所述平滑化得到的值置換所述規(guī)定區(qū)域范圍的所述關(guān)注像素的像素值，并以像素為單位將所述兩個圖像重疊的步驟。發(fā)明效果根據(jù)本發(fā)明，能夠抑制拍攝物體邊界的不清晰化并擴大動態(tài)范圍，改善拍攝圖像的畫質(zhì)。


圖1是表示本發(fā)明實施方式I的圖像處理裝置的結(jié)構(gòu)的框圖；圖2是表示包含本發(fā)明實施方式2的圖像處理裝置的拍攝系統(tǒng)的結(jié)構(gòu)的系統(tǒng)結(jié)構(gòu)圖；圖3是表示本發(fā)明實施方式2的圖像處理裝置的結(jié)構(gòu)之一例的框圖；圖4是表示本發(fā)明實施方式2的利用范圍尺寸信息的內(nèi)容之一例的圖；圖5是表不本發(fā)明實施方式2的權(quán)重設定信息的內(nèi)容例的第一圖；圖6是表示本發(fā)明實施方式2的權(quán)重設定信息的內(nèi)容例的第二圖；圖7是表示本發(fā)明實施方式2的圖像處理裝置的動作之一例的流程圖；圖8是表示本發(fā)明實施方式2的圖像校準處理之一例的流程圖；圖9是示意性表示本發(fā)明實施方式2的圖像校準處理的情形的圖；圖10是表示本發(fā)明實施方式2的權(quán)重計算處理之一例的流程圖；圖11是表示本發(fā)明實施方式2的合成圖像生成處理之一例的流程圖；圖12是示意性表示本發(fā)明實施方式2的歸一化后權(quán)重及平滑化后像素值的計算的情形的圖。符號說明100圖像處理裝置200圖像/距離獲取單元210區(qū)域分割單元220分割區(qū)域特征點提取單元230圖像特征點提取單元240區(qū)域網(wǎng)格生成單元250區(qū)域變形單元260利用范圍計算單元300權(quán)重信息計算單元400像素值重疊單元410色調(diào)/范圍調(diào)整單元420圖像輸出單元500拍攝系統(tǒng)510立體相機520圖像顯示裝置
具體實施例方式下面，參照附圖詳細說明本發(fā)明的各實施方式。(實施方式I)本發(fā)明的實施方式I是本發(fā)明的基本方式之例。圖1是表示本實施方式的圖像處理裝置的結(jié)構(gòu)的框圖。圖1中，圖像處理裝置100是由通過同時拍攝得到的兩個圖像生成合成圖像的裝置。圖像處理裝置100具有圖像/距離獲取單元200、權(quán)重信息計算單元300及像素值重疊單元400。圖像/距離獲取單元200獲取同時拍攝的兩個圖像之間的對應像素對和對應像素對的深度信息及匹配得分。此外，對應像素對是一圖像的像素和另一圖像的像素的組中被估計為拍攝同一位置(同一點)的像素的組。另外，深度①印訪)信息是表示從進行上述立體拍攝的立體相機到像素拍攝的對象(點)的推定距離(以下簡稱為“距離”)的信息。另外，匹配得分是表示似然度的值，該似然度是表示一圖像的像素和另一圖像的像素為同一物體或背景部分的似然度。權(quán)重信息計算單元300對每個對應像素對，基于深度信息及匹配得分對包含該對應像素對作為關(guān)注像素的規(guī)定區(qū)域范圍的各像素決定權(quán)重。像素值重疊單元400對兩個圖像的至少一個圖像，按每個對應像素對在上述規(guī)定區(qū)域范圍，對像素值適用權(quán)重并進行平滑化(加權(quán)和)。而且，像素值重疊單元400用通過平滑化得到的值置換該規(guī)定區(qū)域范圍的關(guān)注像素的像素值，并以像素為單位將兩個圖像重疊(相加)。此外，圖像處理裝置100例如分別具有CPU(central processing unit,中央處理器)、存儲控制程序的ROM (read only memory,只讀存儲器)等存儲介質(zhì)及RAM (randomaccess memory,隨機存取存儲器)等工作存儲器。該情況下，上述各裝置部的功能通過CPU執(zhí)行控制程序而與硬件協(xié)作實現(xiàn)。這樣的圖像處理裝置100由同時拍攝到的兩個拍攝圖像生成合成圖像。另外，圖像處理裝置100按每個對應像素對將對包含該對應像素對的規(guī)定區(qū)域范圍的像素值平滑化而得到的值重疊，生成合成圖像。另外，圖像處理裝置100在進行該平滑化之前將基于深度信息而決定的權(quán)重適用于各像素。由此，圖像處理裝置100由于使用深度信息，因此，可以在將距離不同的物體的邊緣的內(nèi)側(cè)部分和外側(cè)部分分開的狀態(tài)下進行用于除去噪聲的平滑化并生成合成圖像。即，圖像處理裝置100可以抑制拍攝物體邊界的不清晰化并擴大動態(tài)范圍，改善拍攝圖像的畫質(zhì)。此外，本實施方式的圖像處理裝置100例如通過適用于立體相機可實現(xiàn)同時拍攝被攝體的無移動錯位等的兩個圖像，且不需要用于圖像拍攝的特別的裝置。即，圖像處理裝置100通過對已有的立體相機進行輕微的變更，可以得到抑制邊界的不清晰度并擴大動態(tài)范圍的上述效果。(實施方式2)本發(fā)明的實施方式2是作為本發(fā)明的具體的方式將本發(fā)明的圖像處理裝置適用于使用立體相機進行拍攝的拍攝系統(tǒng)的例子。首先，對本實施方式的圖像處理裝置及包含該圖像處理裝置的拍攝系統(tǒng)的結(jié)構(gòu)進行說明。圖2是表示包含本發(fā)明的實施方式2的圖像處理裝置的拍攝系統(tǒng)的結(jié)構(gòu)的系統(tǒng)結(jié)構(gòu)圖。圖2中，拍攝系統(tǒng)500具有立體相機510、圖像處理裝置100及圖像顯示裝置520。立體相機510通過立體拍攝，同時獲取左眼圖像及右眼圖像(以下適宜稱作“立體圖像”)，將所獲取的立體圖像通過 有線通信或無線通信輸出到圖像處理裝置100。立體相機510例如是具備CMOS (complementary metal oxidesemiconductor,互補金屬氧化物半導體)等圖像傳感器的立體數(shù)碼攝像機。圖像處理裝置100對所輸入的左眼圖像及右眼圖像中的至少一個圖像，按立體圖像的每個對應像素對，在包含該對應像素對的規(guī)定區(qū)域范圍(以下稱作“利用范圍”)對像素值適用權(quán)重并進行平滑化。而且，圖像處理裝置100用通過平滑化得到的值置換該利用范圍的關(guān)注像素的像素值，并以像素為單位將左眼圖像和右眼圖像重疊(相加)。此時，圖像處理裝置100對利用范圍內(nèi)的每個像素基于其深度信息決定權(quán)重。成為重疊的對象的像素值例如是每個顏色的亮度值。圖像處理裝置100對每個對應像素對，將所得到的重疊結(jié)果設為新的像素值，由此生成合成圖像。而且，圖像處理裝置100將所生成的合成圖像通過有線通信、無線通信或經(jīng)由可拆裝的信息存儲介質(zhì)的傳輸?shù)容敵龅綀D像顯示裝置520。圖像顯示裝置520將所輸入的合成圖像顯示于畫面。圖像顯示裝置520例如是液晶顯示裝置。這樣的拍攝系統(tǒng)500可進行立體拍攝，從同時得到的立體圖像生成改善了畫質(zhì)的合成圖像并進行顯示。此外，在本實施方式中，拍攝系統(tǒng)500以左眼圖像為基準圖像生成合成圖像。圖3是表示圖像處理裝置100的結(jié)構(gòu)之一例的框圖。圖3中，圖像處理裝置100具有圖像/距離獲取單元200、區(qū)域分割單元210、分割區(qū)域特征點提取單元220、圖像特征點提取單元230、區(qū)域網(wǎng)格生成單元240、區(qū)域變形單元250、利用范圍計算單元260、權(quán)重信息計算單元300、像素值重疊單元400、色調(diào)/范圍調(diào)整單元410及圖像輸出單元420。圖像/距離獲取單元200從立體相機510 (參照圖2)獲取立體圖像。而且，圖像/距離獲取單元200對左眼圖像的所有像素獲取立體圖像的對應像素對、深度信息以及匹配得分。具體而言，例如，圖像/距離獲取單元200在左眼圖像和右眼圖像之間進行圖像匹配，按左眼圖像的像素和右眼圖像的像素的每個組合計算匹配得分。匹配得分是表示左眼圖像的像素和右眼圖像的像素是拍攝同一物體或背景部分的似然度的值。作為圖像匹配的手法，例如可以使用將兩圖像區(qū)塊化且求區(qū)塊間的一致度的方法。該情況下，可以將基于這種一致度的值作為匹配得分使用。作為區(qū)塊間的一致度的評價方法，例如可使用亮度差的總和(SAD SumofAbsolute Difference)、亮度值的平方和(SSD :Sum of Squared Difference)、或歸一化互相關(guān)(NCC !Normalized Cross-Correlation)。
SAD例如通過以下的式(I)表示為M(XL, Xe)。在此，(xL, yL)和(xR, yR)是對應像素對在左眼圖像中的坐標及在右眼圖像中的坐標。L是對應像素對的在左眼圖像中的像素值(例如亮度值)，Ik是對應像素對的在右眼圖像中的像素值(例如亮度值)。[式I]
權(quán)利要求
1.圖像處理裝置，由通過拍攝得到的兩個圖像生成合成圖像，其具有圖像/距離獲取單元，其獲取所述兩個圖像間的對應像素對和所述對應像素對的深度信息及匹配得分；權(quán)重信息計算單元，其對每個所述對應像素對，基于所述深度信息及所述匹配得分對包含該對應像素對作為關(guān)注像素的規(guī)定區(qū)域范圍的各像素決定權(quán)重；以及像素值重疊單元，其對所述兩個圖像的至少一個圖像，按每個所述對應像素對，在所述規(guī)定區(qū)域范圍對像素值適用所述權(quán)重并進行平滑化，且用通過所述平滑化得到的值置換所述規(guī)定區(qū)域范圍的所述關(guān)注像素的像素值，并以像素為單位將所述兩個圖像重疊。
2.如權(quán)利要求1所述的圖像處理裝置，所述權(quán)重信息計算單元，對所述關(guān)注像素及所述規(guī)定區(qū)域范圍的所述關(guān)注像素以外的像素即周邊像素決定所述權(quán)重，所述權(quán)重為該像素的所述深度信息和所述關(guān)注像素的所述深度信息之間的距離差值越大則其值越低的權(quán)重。
3.如權(quán)利要求2所述的圖像處理裝置，還具有利用范圍計算單元，該利用范圍計算單元對每個所述對應像素對，以該對應像素對的所述匹配得分越低則范圍越寬的方式?jīng)Q定所述規(guī)定區(qū)域范圍。
4.如權(quán)利要求3所述的圖像處理裝置，所述權(quán)重信息計算單元以每個所述對應像素對的所述規(guī)定區(qū)域范圍中的所述權(quán)重的總和恒定的方式?jīng)Q定所述權(quán)重。
5.如權(quán)利要求4所述的圖像處理裝置，所述利用范圍計算單元將以所述關(guān)注像素為中心的同心圓狀的區(qū)域決定為所述規(guī)定區(qū)域范圍，所述權(quán)重信息計算單元將所述距離差值為規(guī)定閾值以上的所述周邊像素的所述權(quán)重設為O。
6.如權(quán)利要求5所述的圖像處理裝置，所述權(quán)重信息計算單元使用所述關(guān)注像素的所述距離差值越小則值越小的所述規(guī)定閾值。
7.如權(quán)利要求6所述的圖像處理裝置，還具有區(qū)域分割單元，獲取所述兩個圖像間的對應圖像區(qū)域?qū)?；以及區(qū)域變形單元，對于每個所述對應圖像區(qū)域?qū)Γ顾龊铣蓤D像中的區(qū)域形狀一致。
8.如權(quán)利要求1所述的圖像處理裝置，所述兩個圖像為通過立體圖像得到的左眼圖像及右眼圖像。
9.圖像處理方法，由通過拍攝得到的兩個圖像生成合成圖像，其包括獲取所述兩個圖像間的對應像素對和所述對應像素對的深度信息及匹配得分的步驟；對每個所述對應像素對，基于所述深度信息及所述匹配得分對包含該對應像素對作為關(guān)注像素的規(guī)定區(qū)域范圍的各像素決定權(quán)重的步驟；以及對所述兩個圖像的至少一個圖像，按每個所述對應像素對，在所述規(guī)定區(qū)域范圍對像素值適用所述權(quán)重并進行平滑化，且用通過所述平滑化得到的值置換所述規(guī)定區(qū)域范圍的所述關(guān)注像素的像素值，并以像素為單位將所述兩個圖像重疊的步驟。
全文摘要
在抑制拍攝物體邊界的不清晰化的狀態(tài)下改善拍攝圖像的畫質(zhì)。圖像處理裝置(100)具有圖像/距離獲取單元(200)，其獲取左眼圖像和右眼圖像間的對應像素對和對應像素對的深度信息及匹配得分；權(quán)重信息計算單元(300)，其對每個對應像素對，基于深度信息及匹配得分對包含該對應像素對作為關(guān)注像素的規(guī)定區(qū)域范圍的各像素決定權(quán)重；像素值重疊單元(400)，其對兩個圖像的至少一個圖像，按每個對應像素對，在所述規(guī)定區(qū)域范圍對像素值適用權(quán)重并進行平滑化，且用通過平滑化得到的值置換規(guī)定區(qū)域范圍的關(guān)注像素的像素值，然后以像素為單位將兩個圖像重疊。
文檔編號G06T5/00GK103026380SQ20128000214
公開日2013年4月3日 申請日期2012年3月23日 優(yōu)先權(quán)日2011年4月8日
發(fā)明者早田啟介, 富田裕人, 木村智生 申請人:松下電器產(chǎn)業(yè)株式會社