專利名稱：：利用二階影像區(qū)塊的模糊影像還原方法
技術領域：
：本發(fā)明有關一種動態(tài)模糊影像的還原方法，且特別是有關于一種利用二階區(qū)塊來還原動態(tài)模糊影像的方法。
背景技術：
：在科技發(fā)展日新月異的現(xiàn)今時代中，利用數(shù)字攝影機、數(shù)字相機、或具有照相功能的手機來拍攝影像(比如動態(tài)影像)，已成為現(xiàn)代人生活中的普遍行為。在進行影像拍攝時，為了有較佳的影像品質(zhì)，使用者可將數(shù)字相機等固定在腳架上，以穩(wěn)定數(shù)字相機，避免數(shù)字相機的晃動。雖然現(xiàn)已有折疊式腳架，減少攜帶的不便，然而，隨身帶著腳架終究不太方便?？墒?，不將數(shù)字相機固定在腳架上，拍攝影像時，容易因為手部的晃動，而拍攝出模糊影像(blurredimage)。故而，需要有一種模糊影像的還原方法，將模糊影像還原，得到品質(zhì)較佳的影像。
發(fā)明內(nèi)容本發(fā)明的一目的是提供一種影像還原方法，將模糊影像給予還原(restoration)，并根據(jù)此模糊影像的內(nèi)部二階影像區(qū)域來評估出動態(tài)模糊核心(motionblurkernel)。在此盲式(blind)影像還原時，會進行模糊核心的評估與影像的還原。本發(fā)明的另一目的是提供一種影像還原方法，在評估模糊核心時，會迭代地求出模糊核心。而且，在評估模糊核心時，亦可導入稀疏(sparse)事前機率，以避免模糊核心太過于平滑(smooth)，也就是使得能量集中。本發(fā)明又一方面是提供一種影像還原方法，在將影像還原時，會利用影像事前機率(imageprior)，這些影像事前機率有助于達成較好的還原結(jié)果，且能減少環(huán)效應(ringingartifact)。本發(fā)明提供一種影像還原方法，應用于一影像擷取裝置內(nèi)。該方法包括接收一模糊影像；選擇該模糊影像中的至少一第一影像區(qū)塊；對該第一影像區(qū)塊進行一臨界化及一亮度補償，以得到一第二影像區(qū)域；根據(jù)該第一影像區(qū)塊、該第二影像區(qū)塊與一第一影像事前機率，評估出該模糊影像的一模糊核心；根據(jù)該模糊核心、該第一影像事前機率、一第二影像事前機率與一第三影像事前機率，還原該第二影像區(qū)塊；以及如果還原后的該第二影像區(qū)塊已收斂，則根據(jù)該模糊核心、該第一影像事前機率、該第二影像事前機率與該第三影像事前機率，還原該模糊影像，并輸出還原后的該模糊影像。為讓本發(fā)明的上述內(nèi)容能更明顯易懂，下面將配合附圖對本發(fā)明的較佳實施例作詳細說明，其中圖1顯示根據(jù)本發(fā)明實施例的模糊影像還原方法的流程圖。圖2A顯示一模糊影像中的一影像區(qū)域。圖2B顯示將圖2A的影像區(qū)域進行臨界化后所得的結(jié)果。圖2C顯示一模糊核心，其是根據(jù)圖2A與圖2B所評估出。圖2D顯示，根據(jù)所評估出的模糊核心，進行還原后的影像區(qū)塊。具體實施例方式在本發(fā)明實施例中，將動態(tài)模糊影像給予還原(restoration)，其中，可根據(jù)此模糊影像的內(nèi)部二階影像區(qū)域來評估出模糊核心，以進行還原。在該盲式(blind)影像還原時，會進行模糊核心的評估與影像的還原。在評估模糊核心時，會迭代地求出模糊核心。在將影像區(qū)域還原時，會利用影像事前機率(prior)。這些影像事前機率有助于達成較好的還原結(jié)果，且能減少環(huán)效應(ringingartifact)。此外，在評估模糊核心時，亦可導入稀疏(sparse)事前機率，以避免模糊核心太過于平滑(smooth)，也就是使得能量集中。所謂的盲式影像還原是指，在輸入模糊影像時，并不知模糊核心；亦即，要從所輸入的模糊影像，評估出模糊核心。圖1顯示根據(jù)本發(fā)明實施例的模糊影像還原方法的流程圖。如圖1所示，首先，輸入模糊影像，如步驟110所示。此模糊影像比如由影像擷取裝置(數(shù)字相機、數(shù)字攝影機、具照相功能的手機等)所擷取。接著，于步驟115中，從模糊影像中選擇出至少一個模糊二階影像區(qū)塊。在此，模糊影像區(qū)塊比如是矩形的影像區(qū)域。圖2A顯示一模糊影像中的一影像區(qū)域。接著，于步驟120中，將這些模糊影像區(qū)塊進行臨界化(thresholding)，及進行亮度補償。在此，所謂的臨界化是指，根據(jù)一臨界值，將模糊影像區(qū)塊中的所有像素的灰階值進行分類與重新設定。以8位為例(其灰階值分布為0～255)，假設臨界值為127。當進行臨界化時，將模糊影像區(qū)塊中的低于127的像素灰階值重新設定為0(黑色)，并將模糊影像區(qū)塊中的高于127的像素灰階值重新設定為255(白色)。如此，即可得到只含兩種顏色(白與黑)的模糊影像區(qū)塊。圖2B顯示將圖2A的影像區(qū)域進行臨界化后所得的結(jié)果。接著，于步驟125中，進行影像區(qū)域的還原。在還沒有評估出模糊核心之前，步驟120所得的結(jié)果就是步驟125所得的結(jié)果(也就是將臨界化后的影像區(qū)塊視為第1次的還原后影像)。接著，于步驟130中，判斷所還原的影像區(qū)域是否收斂。如果否的話，則流程接續(xù)至步驟135；反之，如果是的話，則流程接續(xù)至步驟145。于步驟135中，根據(jù)模糊影像區(qū)塊(在步驟115中所選出)與經(jīng)過還原后的影像區(qū)域(在步驟125中所還原的)，進行模糊核心的評估。在本實施例中，所評估出的模糊核心是灰階的二維影像(或者說，其為矩形影像)，其用以代表晃動的軌跡。圖2C顯示一模糊核心，其是根據(jù)圖2A與圖2B所評估出。之后，于步驟140中，根據(jù)所評估出的模糊核心，來還原影像區(qū)域。圖2D顯示，根據(jù)所評估出的模糊核心所還原的影像區(qū)塊。之后，流程回到步驟130，判斷還原后的影像區(qū)域是否收斂。如果還原后的影像區(qū)域已收斂(這意味著，所評估出的模糊核心已屬不錯)，則，于步驟145中，根據(jù)所評估出的模糊核心進行整個模糊影像的還原。接著，于步驟150中，將還原后的影像輸出。比如，以數(shù)字相機為例，還原后的影像就是使用者在相機屏幕上所看到的影像，而原始的模糊影像將不會被使用者所看到。此外，在本發(fā)明實施例中，迭代地評估模糊核心直到還原后的影像區(qū)塊收斂為止，僅為眾多作法之一。當還原后的影像區(qū)塊不收斂時，亦可用其它方式處理?，F(xiàn)將說明在本實施例中，如何進行模糊核心的評估與影像區(qū)塊(及整個影像)的還原。在本實施例中，利用機率模型，將模糊核心評估與二階影像還原合并于最大事后機率(maximumaposteriori，MAP)算式中。所謂的二階影像是指，經(jīng)過臨界化后的影像區(qū)域。如圖1所示，影像區(qū)塊還原步驟會迭代于模糊核心評估與后續(xù)影像評估(評估其是否收斂)之間，如此，以得到較好的模糊核心與較好的影像還原效果。在本實施例中，影像還原是根據(jù)貝氏(Bayesian)機率模型。根據(jù)貝氏機率模型及假設還原后影像F與模糊核心H是彼此獨立的，事后機率(posteriori)P(F，H|G)可寫成如下P(F，H|G)∝P(G|F，H)P(F)P(H)(1)其中，P(G|F，H)代表可能性(likelihood)，P(F)代表影像F的事前機率(prior)而P(H)代表模糊核心H的事前機率。在此，要找出能使得事后機率P(G|F，H)為最大值的影像F與模糊核心H。G代表模糊影像。在本實施例中，影像F是在圖1的步驟125中所得到(還原)的影像或影像區(qū)塊。假設給定影像F與模糊核心H，則模糊影像G的可能性可由影像噪聲N＝G-所決定。甚至，假設影像噪聲N的分布為獨立的相同分布(independentandidenticallydistributed，iid)，且各像素的灰階值的分布可模擬為高斯分布。則可能性P(G|F，H)可表示如下其中，η代表高斯分布的標準誤差(standarddeviation)，而||●||代表2-范數(shù)(norm)運算子。是精確限制條件(fidelityconstraint)，其用以代表模糊影像與卷積值間的差值，卷積值是(還原后)影像F與所評估出的模糊核心H的卷積值。也就是說，模糊影像可用(還原后)影像F與所評估出的模糊核心H的卷積值來代表。因為在成像過程(亦即影像擷取過程)中所出現(xiàn)的噪聲，在還原時，將無法得到穩(wěn)定的解。故而，為克服此問題，在本實施例中，需要將影像事前機率(imageprior)導入于影像還原中。在本實施例的模型中，還原后影像F的影像事前機率P(F)包括三個成份，也就是說，P(F)可表示如下P(F)∝Pb(F)Ps(F)Pm(F)(3)其中，Pb(F)代表二階事前機率(bi-levelprior)，Ps(F)代表稀疏事前機率(sparseprior)而Pm(F)代表區(qū)域平滑事前機率(locallysmoothprior)。底下將分別說明此三種影像事前機率的細節(jié)。在本實施例中，將影像F正規(guī)化后，可將Pb(F)表示為其中，λ1代表比率參數(shù)(rateparameter)，F(xiàn)i代表經(jīng)過正規(guī)化后的像素的影像強度值(intensity)，而正規(guī)化的作法為將影像強度值作線性轉(zhuǎn)換至-1到1的區(qū)間(即將黑色對應到-1，白色對應到1)，ΩF代表影像F中的所有像素的集合。請注意，參數(shù)要愈接近0愈好，也就是，對還原后影像F進行正規(guī)化后，各像素的影像強度要盡量為1或-1。亦即，經(jīng)過還原后的影像最好只包括2種顏色(白與黑)。在本實施例中，根據(jù)觀察，二階影像的微分也遵循著厚尾(heavy-tailed)分布，這表示影像的梯度(gradient)大多為零或是很小的值。因此，稀疏事前機率Ps(F)可利用厚尾函數(shù)來模型化，其表示如下其中，λ2是比率參數(shù)，x與y分代表水平微分與垂直微分，函數(shù)Φ是厚尾函數(shù)，在此，假設Φ(x)＝|x|0.8。在本實施例中，將動態(tài)模糊視為平滑化法。所以，對于模糊影像的平滑區(qū)塊要盡量相似于還原后影像的平滑區(qū)塊，亦即，模糊影像(亦即，步驟115中所選的該影像區(qū)塊)的平滑區(qū)塊內(nèi)的像素的梯度(gradient)盡量相似于還原后影像的平滑區(qū)塊內(nèi)的像素的梯度。為模型化此區(qū)域平滑特征值，首先，定位出模糊影像的平滑區(qū)塊。其定位方式如后對于在模糊影像中的各像素，以該像素為中心，設定一個矩形并計算此矩形中像素的強度值的標準誤差。當標準誤差小于預先設定的臨界值時，此像素將被放置于模糊影像中的平滑區(qū)塊內(nèi)。如此，即可定位出模糊影像中的平滑區(qū)塊。接著，根據(jù)模糊影像中的平滑區(qū)塊，來定位出還原后影像中的平滑區(qū)塊。比如，此兩種平滑區(qū)塊具有相同的實際位置。在本實施例中，區(qū)域平滑事前機率較好能使得，模糊影像的平滑區(qū)塊ΨF會相似于還原后影像的平滑區(qū)塊。因此，區(qū)域平滑特征值Pm(F)可表示為λ3是權(quán)重參數(shù)，其相關于此區(qū)域平滑事前機率。由于模糊核心是描述在成像(比如曝光)過程中的動態(tài)路徑。由于模糊核心會傾向于稀疏，也就是其大部份的值會為0。所以，在本實施例中，亦可將稀疏事前機率應用于模糊核心的評估。所以，根據(jù)稀疏事前機率的公式(5)，模糊核心的影像事前機率P(H)可表示如下其中，λ4是比率參數(shù)，ΩH是模糊影像中的所有像素的集合，而厚尾函數(shù)Φ則如上式(5)所述。綜合上述公式，在影像還原時，要將下列事后機率極大化，以得到較佳影像還原結(jié)果在給定最大化事后機率(MAP)公式后，為解出公式(8)，可先對公式(8)的右邊項數(shù)取對數(shù)再取負值，其結(jié)果可表示如下其中，α1＝2η2λ1，α2＝2η2λ2，α3＝2η2λ3，α4＝2η2λ4。如此，最大化事后機率公式(8)則轉(zhuǎn)變?yōu)榍蟪龉?9)中的E(F，H)的極小值。也就是說，如果能求出E(F，H)的極小值，則等同于最大化事后機率，會有較好的影像還原結(jié)果。E(F，H)的極小值的求法如下。假設給定模糊核心H，以求出最佳的理想影像F。此外，假設給定理想影像F，以求出最佳的模糊核心H。其方式分別如下。給定模糊核心H，以求出最佳的理想影像F首先，假設目前所評估出的模糊核心H是固定(亦即將其視為已知)，將公式(9)極小化，即可得到最佳的理想影像F。假設忽略影像噪聲N(亦即將影像噪聲設為0)，則可改寫并將卷積改為矩陣相乘而得到其中，Ch是L×L的二維矩陣，其由所估出的模糊核心來決定，f與g是一維向量，其用以代表影像F與模糊影像G。在此，L是模糊影像的高度與寬度的乘積。在移去常數(shù)項(已知項)后，E(F，H)可簡化成EF(f)并表示如下其中，Cgh與Cgv代表由水平微分濾波器(derivativefilter)[1，-1]與垂直微分濾波器[1，-1]所決定的矩陣。Ws是對角二元式遮罩(diagonalbinarymask)，其可表示如下Ws(i，i)＝1iffi∈ΨF(12A)Ws(i，i)＝0otherwise(12B)為將公式(11)的EF(f)極小化，首先，利用Φ(x)＝|x|2的高斯事前機率來解公式(11)。如此一來，將公式(11)對f微分并將微分設為0，以得到一組稀疏線性公式。所以，可得到下列公式其中，是對角權(quán)重矩陣，其初始化為單位矩陣(identitymatrix)。Wb是對角二元式遮罩，其可表示如下Wb(i，i)＝1when-1＜fi＜1(14A)Wb(i，i)＝-1otherwise(14B)利用共軛梯度法(ConjugateGradientMethod)以計算公式(13)。接著，利用迭代再加權(quán)最小平方法(iterativere-weightedleastsquaresprocess(IRLS))來將公式(13)最佳化。再加權(quán)項目(re-weightingterm)可表示如下其中，t代表在IRLS中的第t次迭代(iteration)，參數(shù)ε用以避免除以0(divisionbyzero)。此外，參數(shù)α3是可隨著迭代而調(diào)整的(adjustableoveriteration)。因為初始的模糊核心通常是不夠好的，區(qū)域平滑事前機率可用以還原影像，并降低環(huán)效應。然而，這樣可能會導致所還原的影像具有某些模糊區(qū)塊。所以，要降低參數(shù)α3的值以避免環(huán)效應。給定理想影像F，以求出最佳的模糊核心H接著，將說明在本實施例中，對于給定的理想影像F，如何求出最佳的模糊核心H。同樣地，舍棄影像噪聲N，改寫并將卷積改為矩陣相乘以得到如下的公式其中，矩陣A是由影像F所組成；h是K2的一維向量，K代表模糊核心的大小(長或?qū)?；g則是代表模糊影像G的一維向量。對于給定的影像F，E(F，H)可簡化成EH(h)并表示如下其中，Cgk的定義同公式(11)。為將公式(17)最佳化，令函數(shù)Φ(z)＝|z|2，則計算一階最佳條件(firstorderoptimalitycondition)可得到如下的線性等式其中，的定義同公式(13)。此外，可利用共軛梯度法來評估未知數(shù)。之后，利用IRLS來進行最佳化，而再加權(quán)項目可表示如下類似地，t代表在IRLS中的第t次迭代，參數(shù)ε用以避免除以0(divisionbyzero)。綜上所述，在本發(fā)明實施例中，利用根據(jù)所輸入的模糊影像來迭代地評估出模糊核心，以求出最佳的模糊核心。之后，利用所評估出的模糊核心，來還原模糊影像。在評估模糊核心時，可導入影像事前機率。這些影像事前機率有助于達成較好的還原結(jié)果，并能減少環(huán)效應。綜上所述，雖然本發(fā)明已以一實施例揭露如上，然而其并非用以限定本發(fā)明。本發(fā)明所屬
技術領域：
中具有通常知識者，在不脫離本發(fā)明的精神和范圍內(nèi)，當可作各種等同的改變或替換。因此，本發(fā)明的保護范圍當視后附的本申請權(quán)利要求范圍所界定的為準。權(quán)利要求1.一種影像還原方法，應用于一影像擷取裝置內(nèi)，其特征在于，包括接收一模糊影像；選擇該模糊影像中的至少一第一影像區(qū)塊；對該第一影像區(qū)塊進行一臨界化及一亮度補償，以得到一第二影像區(qū)域；根據(jù)該第一影像區(qū)塊、該第二影像區(qū)塊與一第一影像事前機率，評估出該模糊影像的一模糊核心；根據(jù)該模糊核心、該第一影像事前機率、一第二影像事前機率與一第三影像事前機率，還原該第二影像區(qū)塊；以及如果還原后的該第二影像區(qū)塊已收斂，則根據(jù)該模糊核心、該第一影像事前機率、該第二影像事前機率與該第三影像事前機率，還原該模糊影像，并輸出還原后的該模糊影像。2.根據(jù)權(quán)利要求1所述的影像還原方法，其特征在于，該臨界化步驟包括根據(jù)一第一臨界值，將該第一影像區(qū)塊中的所有像素灰階值進行分類與重新設定；低于該第一臨界值的該些像素灰階值重新設定為一第一值；以及高于該第一臨界值的該些像素灰階值重新設定為一第二值。3.根據(jù)權(quán)利要求1所述的影像還原方法，其特征在于，該模糊核心為灰階的一二維影像，其代表一晃動軌跡。4.根據(jù)權(quán)利要求1所述的影像還原方法，其特征在于，還包括假設該模糊核心與還原后的該第二影像區(qū)塊彼此是獨立的。5.根據(jù)權(quán)利要求1所述的影像還原方法，其特征在于，該第一影像事前機率包括一稀疏事前機率；該第二影像事前機率包括一二階事前機率；以及該第三影像事前機率包括一區(qū)域平滑事前機率。6.根據(jù)權(quán)利要求1所述的影像還原方法，其特征在于，還原該第二影像區(qū)塊的該步驟包括假設給定還原后的該第二影像區(qū)塊與該模糊核心，則該模糊影像的一可能性由一影像噪聲決定。7.根據(jù)權(quán)利要求1所述的影像還原方法，其特征在于，該模糊影像由還原后的該第二影像區(qū)塊與該模糊核心的一卷積值來代表。8.根據(jù)權(quán)利要求1所述的影像還原方法，其特征在于，正規(guī)化還原后的該第二影像區(qū)塊，以求出該第二影像事前機率。9.根據(jù)權(quán)利要求1所述的影像還原方法，還包括對該第一影像區(qū)塊與該第二影像區(qū)塊，分別定位出一第一與一第二平滑區(qū)塊；其中，該第一影像區(qū)塊的該第一平滑區(qū)塊相似于還原后的該第二影像區(qū)塊的該第二平滑區(qū)塊。10.根據(jù)權(quán)利要求9所述的影像還原方法，其特征在于，該第一影像區(qū)塊的該第一平滑區(qū)塊內(nèi)的像素梯度相似于還原后的該第二影像區(qū)塊的該第二平滑區(qū)塊內(nèi)的像素梯度。11.根據(jù)權(quán)利要求9所述的影像還原方法，其特征在于，定位該第一平滑區(qū)塊的該步驟還包括對于在該第一影像區(qū)塊中的各像素，設定一第二臨界值，以該像素為中心設定一個矩形，并計算該矩形內(nèi)像素強度值的標準誤差值；當一像素的一強度值的標準誤差值小于該第二臨界值時，該像素被放置于該第一影像區(qū)塊中的該平滑區(qū)塊內(nèi)；以及根據(jù)該第一影像區(qū)塊的該第一平滑區(qū)塊，定位出還原后的該第二影像區(qū)塊的該第二平滑區(qū)塊。12.根據(jù)權(quán)利要求1所述的影像還原方法，其特征在于，還包括假設給定該模糊核心，以求出最佳的還原后的該第二影像區(qū)塊；以及假設給定還原后的該第二影像區(qū)塊，以求出最佳的該模糊核心。13.根據(jù)權(quán)利要求1所述的影像還原方法，其特征在于，還包括如果還原后的該第二影像區(qū)塊尚未收斂，則迭代地評估該模糊核心，直到還原后的該第二影像區(qū)塊收斂為止。全文摘要本發(fā)明是一種利用二階影像區(qū)塊的模糊影像還原方法，即盲式(blind)影像還原方法以還原(restoration)動態(tài)模糊影像，并根據(jù)此動態(tài)模糊影像的內(nèi)部二階(bi-level)影像區(qū)塊來評估出模糊核心。此外，迭代地評估模糊核心(blurkernel)。在迭代評估模糊核心時，會導入二階影像事前機率(priors)，以達成更好的影像還原結(jié)果。文檔編號H04N5/14GK101790044SQ20091000988公開日2010年7月28日申請日期2009年1月23日優(yōu)先權(quán)日2009年1月23日發(fā)明者林育模,黃柏豪,賴尚宏,黃至治,游舒涵,彭昱鈞申請人:聯(lián)詠科技股份有限公司