專利名稱：超解析影像的產(chǎn)生方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種超解析(super resolution, SR)影像的產(chǎn)生方法，特別是一種低資源需求的超解析影像的產(chǎn)生方法。
背景技術(shù)：
數(shù)字相機在現(xiàn)今已非常普及，且隨著科技的發(fā)展，其所具備的功能也越來越多。除了具有傳統(tǒng)的照相功能的拍攝模式以外，數(shù)字相機發(fā)展成具有可錄制視頻(video)的錄像模式。但是因為數(shù)字相機本身資源有限，錄像模式時所擷取的圖框(frame，也稱為影像框) 的分辨率相當(dāng)?shù)?。舉例而言，為了得到畫面夠連續(xù)的視頻，一般的數(shù)字相機或攝錄像機在錄像模式下每秒需擷取至少30到60個影像。也就是說，數(shù)字相機也必須每秒處理至少30到 60個影像。但是數(shù)字相機的微處理器的處理速度以及緩沖器的容量均有限，因此只好降低影像的分辨率，以在單位時間內(nèi)處理更多的影像。雖然使用者可以使用同一臺數(shù)字相機拍攝相片或錄像，卻難以在錄制視頻的同時進(jìn)行高分辨率影像的拍攝。使用者需要停止錄像并將數(shù)字相機切換回拍攝模式之后才能拍攝高分辨率的相片。但是拍攝模式與錄像模式之間的切換需花費一段時間，而使得使用者錯失想要拍攝的畫面。若要讓使用者不需切換模式而在錄像同時得到想要的靜止影像 (still image)，可考慮的做法有兩種。第一種方法是使用高速的傳感器擷取視頻的所有圖框，再配合高速的處理器進(jìn)行后續(xù)處理。極少數(shù)特殊應(yīng)用的數(shù)字相機能在錄像時直接就以高分辨率進(jìn)行。其先處理高分辨率的圖框后再根據(jù)實際需求將其轉(zhuǎn)變成較低分辨率的視頻，因此能從原來擷取的連續(xù)圖框中獲得較高解析的靜態(tài)影像。但是這種數(shù)字相機需要使用相當(dāng)高階的傳感器與高速計算處理單元，因此不但零件成本高也非常耗電，而不適合一般消費者使用。此外，在較暗的場景下，這種方式容易產(chǎn)生較高噪聲的輸出影像。第二種方法則將視頻中的一張圖框單獨另外壓縮處理成一個靜止影像給使用者。 基于成本與電力的耗損的考慮，一般消費性機種的數(shù)字相機所使用的傳感器無法實時輸出高解析的影像。且考慮到錄像的持久性與成本，也不會事先處理較高分辨率的影像后再轉(zhuǎn)成低解析的影像來儲存。因此在錄像模式下，都直接先由傳感器轉(zhuǎn)成較低的分辨率的圖框并輸出較高速的影像序列(即視頻)。而當(dāng)需要輸出靜止影像時，則直接從低解析的錄像序列中擷取其特定的圖框輸出。但是也由于錄像模式下的影像分辨率都不高，因此輸出的靜態(tài)影像的分辨率遠(yuǎn)低于在拍攝模式之下所能獲得的靜態(tài)影像的分辨率。也就是說，傳統(tǒng)上不切換模式而在錄像同時得到想要的靜止影像的方法具有所需成本及資源過高、得到的靜止影像分辨率低，甚至得到有噪聲的影像等問題。

發(fā)明內(nèi)容
本發(fā)明所要解決的技術(shù)問題在于提供一種超解析(super resolution, SR)影像的產(chǎn)生方法，以解決現(xiàn)有技術(shù)不切換模式而在錄像同時得到想要的靜止影像的方法得到的靜止影像分辨率低的缺陷。本發(fā)明提供一種超解析(super resolution, SR)影像的產(chǎn)生方法，其適用于一數(shù)字相機。超解析影像的產(chǎn)生方法包括接收對應(yīng)于同一拍攝目標(biāo)的多個影像；選取這些影像之一作為一基準(zhǔn)影像，并將基準(zhǔn)影像之外的影像作為多個參考影像；依據(jù)基準(zhǔn)影像，以一幾何坐標(biāo)校正程序處理參考影像，以產(chǎn)生個別對應(yīng)于參考影像的多個校正影像；以及對基準(zhǔn)影像以及校正影像執(zhí)行一提高分辨率程序，以產(chǎn)生一超解析影像。而超解析影像的產(chǎn)生方法是可通過數(shù)字相機的一微處理器執(zhí)行。較佳的是，幾何坐標(biāo)校正程序僅被執(zhí)行一次，以降低產(chǎn)生超解析影像時的資源需求。根據(jù)本發(fā)明的一實施范例，在“依據(jù)基準(zhǔn)影像，以一幾何坐標(biāo)校正程序處理參考影像，以產(chǎn)生個別對應(yīng)于參考影像的多個校正影像”的步驟之后，超解析影像的產(chǎn)生方法另可包括對基準(zhǔn)影像以及校正影像執(zhí)行一去噪聲程序。其中去噪聲程序可包括以中值濾波器(median filter)處理基準(zhǔn)影像以及校正影像。而“對基準(zhǔn)影像以及校正影像執(zhí)行一提高分辨率程序，以產(chǎn)生一超解析影像”的步驟可包括對基準(zhǔn)影像以及校正影像執(zhí)行提高分辨率程序，并產(chǎn)生一高解析影像；計算高解析影像的一誤差值；判斷誤差值是否小于一閾值；以及當(dāng)誤差值小于閾值時，將高解析影像作為超解析影像?！皩鶞?zhǔn)影像以及校正影像執(zhí)行一提高分辨率程序，以產(chǎn)生一超解析影像”的步驟更可包括當(dāng)誤差值大于或等于閾值時，回到“對基準(zhǔn)影像以及校正影像執(zhí)行提高分辨率程序，并產(chǎn)生一高解析影像”的步驟，以重新產(chǎn)生高解析影像。其中提高分辨率程序可包括以迭代反投影法(iterative back projection, IBP)處理基準(zhǔn)影像以及校正影像。且提高分辨率程序更可包括以移動估計法(motion estimation)處理基準(zhǔn)影像以及校正影像的局部。根據(jù)本發(fā)明的一實施范例，在時間軸上，基準(zhǔn)影像最接近這些影像的中央。此外， 可于一在線模式(on-line mode)或是一離線模式(off-line mode)之下接收影像并產(chǎn)生超解析影像。綜上所述，超解析影像的產(chǎn)生方法依據(jù)視頻的多個影像產(chǎn)生清晰且分辨率較高的超解析影像。且由于幾何坐標(biāo)校正程序僅需被執(zhí)行一次，超解析影像的產(chǎn)生方法所需的資源較低，而不需要用到高階的微處理器。因此超解析影像的產(chǎn)生方法所適用的數(shù)字相機的成本，遠(yuǎn)低于以高階感應(yīng)器及處理器產(chǎn)生高解析影像的傳統(tǒng)相機。以下結(jié)合附圖和具體實施例對本發(fā)明進(jìn)行詳細(xì)描述，但不作為對本發(fā)明的限定。


圖1為根據(jù)本發(fā)明一實施范例的數(shù)字相機的方塊圖；圖2為根據(jù)本發(fā)明一實施范例的超解析影像的產(chǎn)生方法的流程圖；圖3為根據(jù)本發(fā)明一實施范例的基準(zhǔn)影像與參考影像的示意圖；圖4為根據(jù)本發(fā)明一實施范例的基準(zhǔn)影像與校正影像的示意圖；圖5為根據(jù)本發(fā)明一實施范例的步驟S130的流程圖；以及圖6為根據(jù)本發(fā)明另一實施范例的超解析影像的產(chǎn)生方法的流程圖。其中，附圖標(biāo)記
20數(shù)位相機
22鏡頭單元
24感光單元
26微處理器
28儲存單元
30影像
32基準(zhǔn)影像
34參考影像
36，36a，36b 校正影像
38目標(biāo)像素
具體實施例方式以下在實施方式中詳細(xì)敘述本發(fā)明的詳細(xì)特征以及優(yōu)點，其內(nèi)容足以使任何本領(lǐng)域技術(shù)人員了解本發(fā)明的技術(shù)內(nèi)容并據(jù)以實施，且根據(jù)本說明書所揭露的內(nèi)容、權(quán)利要求及圖式，任何本領(lǐng)域技術(shù)人員可輕易地理解本發(fā)明相關(guān)的目的及優(yōu)點。本發(fā)明關(guān)于一種超解析(super resolution, SR)影像的產(chǎn)生方法，其適用于一數(shù)字相機。超解析影像的產(chǎn)生方法依據(jù)多個低分辨率的影像以產(chǎn)生高分辨率且清晰的一超解析影像。請參照圖1，其為根據(jù)本發(fā)明一實施范例的數(shù)字相機的方塊圖。數(shù)字相機20可包括一鏡頭單元(lens unit) 22、一感光單元(photosensitive unit) 24、一微處理器(micro processor unit) 26 以及一儲存單元(storage unit) 28。當(dāng)擷取影像時，數(shù)字相機20是將鏡頭單元22對焦于一對焦距離(focusing distance)上。微處理器沈控制鏡頭單元22至對應(yīng)此對焦距離的一對焦位置，并將透過鏡頭單元22以及感光單元M得到的影像存進(jìn)儲存單元觀之中。而超解析影像的產(chǎn)生方法可通過微處理器沈執(zhí)行。請參照圖2，其為根據(jù)本發(fā)明一實施范例的超解析影像的產(chǎn)生方法的流程圖。首先，通過鏡頭單元22以及感光單元M接收對應(yīng)于同一拍攝目標(biāo)(或是場景)的影像(步驟S100)。更詳細(xì)地說，這些影像可以是在數(shù)字相機20的一錄像模式底下針對某一個拍攝目標(biāo)被擷取，并且是被擷取的視頻的一部份的連續(xù)圖框(frame，也稱為影像框)。接收影像之后，微處理器沈選取這些影像之一作為一基準(zhǔn)影像，并將基準(zhǔn)影像之外的影像作為多個參考影像(步驟S110)。請同時參照圖3，其為根據(jù)本發(fā)明一實施范例的基準(zhǔn)影像與參考影像的示意圖。根據(jù)本發(fā)明的一實施范例，在時間軸上，基準(zhǔn)影像32為最接近這些影像30的中央。換句話說，將這些影像30按照被擷取的順序在時間軸上排列時， 最接近這些影像30的中央的那一個影像30被選為基準(zhǔn)影像32。但根據(jù)本發(fā)明的另一實施范例，基準(zhǔn)影像32也可以是這些影像30中的第一個影像30或是最后一個影像30。超解析影像的產(chǎn)生方法并不對基準(zhǔn)影像32的選取方式有所限定。每一個影像30都具有各自的影像坐標(biāo)(pixel coordinates)。雖然這些影像30 是對應(yīng)于同一拍攝目標(biāo)，但是可能因為擷取時的角度改變或是拍攝目標(biāo)移動位置，而使得這些影像30的影像坐標(biāo)不一致。舉例而言，對一個行走中的人錄制視頻時，被攝人物可能會在視頻中的每一個圖框呈現(xiàn)不同的位置。也就是說，每個影像30中多多少少有存在一些微小的差別。超解析影像的產(chǎn)生方法便是將這些微小的差異整合到一高解析影像中，以提高輸出影像的分辨率。為了正確地整合每個影像30間彼此的細(xì)微差異，接著需要依據(jù)基準(zhǔn)影像32，以一幾何坐標(biāo)校正程序處理參考影像34，以產(chǎn)生個別對應(yīng)于參考影像34的多個校正影像(步驟 S120)。幾何坐標(biāo)校正程序可先以各種數(shù)字影像處理(digital image processing, DIP)的手段找出基準(zhǔn)影像32以及參考影像34中的多個特征點，并計算特征點的影像坐標(biāo)。依據(jù)特征點，也可更進(jìn)一步地對這些影像30進(jìn)行影像分割(image segmentation)，以得到影像 30的畫面的構(gòu)成狀況。而依據(jù)足夠多的特征點的坐標(biāo)，幾何坐標(biāo)校正程序可以以基準(zhǔn)影像 32為準(zhǔn)產(chǎn)生個別對應(yīng)于參考影像34的多個轉(zhuǎn)換矩陣，再以轉(zhuǎn)換矩陣修改參考影像34的影像坐標(biāo)作為校正影像。請參照圖4，其為根據(jù)本發(fā)明一實施范例的基準(zhǔn)影像與校正影像的示意圖。同一個被攝物(例如人的發(fā)尾或是樹上的某一片樹葉)在基準(zhǔn)影像32或是校正影像36之中具有相同的影像坐標(biāo)。換句話說，基準(zhǔn)影像32、校正影像36a以及校正影像36b之中的一目標(biāo)像素38對應(yīng)于相同的被攝物。而坐標(biāo)校正程序使用多種數(shù)字影像處理技術(shù)以及大量的矩陣運算，因此可能消耗微處理器沈較多的資源。較佳的是，步驟S120與幾何坐標(biāo)校正程序僅被執(zhí)行一次，以降低產(chǎn)生超解析影像時的資源需求。依據(jù)基準(zhǔn)影像32校正參考影像34以得到校正影像36之后，微處理器沈?qū)鶞?zhǔn)影像32以及校正影像36執(zhí)行一提高分辨率程序，以產(chǎn)生超解析影像(步驟130)。請同時參照圖5，其為根據(jù)本發(fā)明一實施范例的步驟S130的流程圖。微處理器沈首先對基準(zhǔn)影像32以及校正影像36執(zhí)行一提高分辨率程序，并產(chǎn)生一高解析(high resolution, HR)影像 P (步驟 S132)。其中提高分辨率程序可包括以迭代反投影法(iterative back projection, IBP)處理基準(zhǔn)影像32以及校正影像36。迭代反投影法是通過反復(fù)地仿真低分辨率影像以及觀測低分辨率影像間的差異，進(jìn)行迭代反投影以得到高解析影像P。首先可利用一般簡易的影像內(nèi)插方式，將基準(zhǔn)影像32直接放大到目標(biāo)的高分辨率作為此高解析影像P。接著將高解析影像P縮小成與基準(zhǔn)影像32以及校正影像36相同分辨率，以作為一基礎(chǔ)影像LP。 微處理器沈分別計算縮小得到的基礎(chǔ)影像LP與基準(zhǔn)影像32以及校正影像36的差異，再將這些差異反饋整合至高解析影像P。若數(shù)字相機20具有足夠的運算資源，提高分辨率程序更可以以移動估計法 (motion estimation)處理基準(zhǔn)影像32以及校正影像36的局部，以得到細(xì)節(jié)更清晰的高解析影像P。接著微處理器沈計算高解析影像P的一誤差值(步驟S134)，并判斷誤差值是否小于閾值(步驟S136)。誤差值可以是基礎(chǔ)影像LP與這些校正影像36以及基準(zhǔn)影像32 間的平均差異值。其中差異值例如可以是基礎(chǔ)影像LP與這些校正影像36和基準(zhǔn)影像32 中，每一個對應(yīng)于相同影像坐標(biāo)的像素的值的差。若誤差值小于閾值，表示高解析影像P中已整合了基準(zhǔn)影像32以及校正影像36中各種細(xì)微的影像信息，使得高解析影像P是足夠清晰的。因此當(dāng)誤差值小于閾值時，便可將高解析影像P作為超解析影像進(jìn)行輸出(步驟 S138)。
相對地，若誤差值大于或等于閾值，表示目前的高解析影像P可能還不夠清楚。因此可以回到對基準(zhǔn)影像32以及校正影像36執(zhí)行提高分辨率程序，并產(chǎn)生高解析影像P的步驟S132，以重新產(chǎn)生高解析影像P。換句話說，可以重復(fù)執(zhí)行步驟S132，繼續(xù)將基準(zhǔn)影像 32以及校正影像36之間的差異整合進(jìn)高解析影像P中，以增進(jìn)高解析影像P的清晰度。請參照圖6，其為根據(jù)本發(fā)明另一實施范例的超解析影像的產(chǎn)生方法的流程圖。若是數(shù)字相機20尚具有足夠的運算資源，于步驟S120產(chǎn)生校正影像36之后，超解析影像的產(chǎn)生方法另可對基準(zhǔn)影像32以及校正影像36執(zhí)行一去噪聲程序(步驟S125)。其中去噪聲程序可以包括以中值濾波器(median filter)處理基準(zhǔn)影像32以及校正影像36。除了利用中值濾波器之外，去噪聲程序也可采用低通濾波(low pass filter)等其它方法，超解析影像的產(chǎn)生方法并不對其限制。根據(jù)本發(fā)明的一實施范例，微處理器沈可于一在線模式(on-line mode)或是一離線模式(off-line mode)之下接收影像30并產(chǎn)生超解析影像。在線模式是指數(shù)位相機 20處于錄像模式中。微處理器沈?qū)崟r(real-time)處理正在錄制的視頻，并實時依據(jù)影像 30產(chǎn)生超解析影像。而于離線模式，數(shù)字相機20已結(jié)束錄像或是拍攝照片；微處理器沈從儲存單元觀將視頻中的部分圖框讀入作為用以產(chǎn)生超解析影像的影像30。由于在離線模式時數(shù)字相機20不需分配資源擷取視頻或相片，因此，可使用較多的影像30來產(chǎn)生質(zhì)量更好的超解析影像。綜上所述，超解析影像的產(chǎn)生方法將視頻的多個影像處理一次的幾何坐標(biāo)校正程序，并重復(fù)提高分辨率程序以得到清晰且分辨率較高的超解析影像。由于幾何坐標(biāo)校正程序僅被執(zhí)行一次，超解析影像的產(chǎn)生方法所需的運算以及暫存資源都很低，而能夠適用于一般消費型的數(shù)字相機。若數(shù)字相機的資源充足，超解析影像的產(chǎn)生方法也可額外以去噪聲程序或是移動估計法等技術(shù)進(jìn)一步地提高超解析影像的畫質(zhì)。此外直接將視頻的圖框作為輸出的傳統(tǒng)方法會因壓縮產(chǎn)生很明顯區(qū)塊效應(yīng) (block effect) 0但即使在離線模式下，超解析影像的產(chǎn)生方法能大幅降低產(chǎn)生的超解析影像的區(qū)塊效應(yīng)。當(dāng)然，本發(fā)明還可有其它多種實施例，在不背離本發(fā)明精神及其實質(zhì)的情況下，熟悉本領(lǐng)域的技術(shù)人員可根據(jù)本發(fā)明作出各種相應(yīng)的改變和變形，但這些相應(yīng)的改變和變形都應(yīng)屬于本發(fā)明權(quán)利要求的保護(hù)范圍。
權(quán)利要求
1.一種超解析影像的產(chǎn)生方法，其適用于一數(shù)字相機，其特征在于，該超解析影像的產(chǎn)生方法包括接收對應(yīng)同一拍攝目標(biāo)的多個影像；選取該些影像之一作為一基準(zhǔn)影像，并將該基準(zhǔn)影像之外的該些影像作為多個參考影像；依據(jù)該基準(zhǔn)影像，以一幾何坐標(biāo)校正程序處理該些參考影像，以產(chǎn)生個別對應(yīng)于該些參考影像的多個校正影像；以及對該基準(zhǔn)影像以及該些校正影像執(zhí)行一提高分辨率程序，以產(chǎn)生一超解析影像。
2.根據(jù)權(quán)利要求1所述的超解析影像的產(chǎn)生方法，其特征在于，該幾何坐標(biāo)校正程序僅被執(zhí)行一次。
3.根據(jù)權(quán)利要求1所述的超解析影像的產(chǎn)生方法，其特征在于，在時間軸上，該基準(zhǔn)影像最接近該些影像的中央。
4.根據(jù)權(quán)利要求1所述的超解析影像的產(chǎn)生方法，其特征在于，該依據(jù)該基準(zhǔn)影像，以一幾何坐標(biāo)校正程序處理該些參考影像，以產(chǎn)生個別對應(yīng)于該些參考影像的多個校正影像的步驟之后另包括對該基準(zhǔn)影像以及該些校正影像執(zhí)行一去噪聲程序。
5.根據(jù)權(quán)利要求4所述的超解析影像的產(chǎn)生方法，其特征在于，該去噪聲程序包括 以中值濾波器處理該基準(zhǔn)影像以及該些校正影像。
6.根據(jù)權(quán)利要求1所述的超解析影像的產(chǎn)生方法，其特征在于，該對該基準(zhǔn)影像以及該些校正影像執(zhí)行一提高分辨率程序，以產(chǎn)生一超解析影像的步驟包括對該基準(zhǔn)影像以及該些校正影像執(zhí)行該提高分辨率程序，并產(chǎn)生一高解析影像； 計算該高解析影像的一誤差值； 判斷該誤差值是否小于一閾值；以及當(dāng)該誤差值小于該閾值時，將該高解析影像作為該超解析影像。
7.根據(jù)權(quán)利要求6所述的超解析影像的產(chǎn)生方法，其特征在于，該對該基準(zhǔn)影像以及該些校正影像執(zhí)行一提高分辨率程序，以產(chǎn)生一超解析影像的步驟另包括當(dāng)該誤差值大于或等于該閾值時，回到該對該基準(zhǔn)影像以及該些校正影像執(zhí)行該提高分辨率程序，并產(chǎn)生一高解析影像的步驟，以重新產(chǎn)生該高解析影像。
8.根據(jù)權(quán)利要求1所述的超解析影像的產(chǎn)生方法，其特征在于，是于一在線模式或一離線模式之下接收該些影像，并產(chǎn)生該超解析影像。
9.根據(jù)權(quán)利要求1所述的超解析影像的產(chǎn)生方法，其特征在于，該提高分辨率程序包括以迭代反投影法處理該基準(zhǔn)影像以及該些校正影像。
10.根據(jù)權(quán)利要求9所述的超解析影像的產(chǎn)生方法，其特征在于，該提高分辨率程序另包括以移動估計法處理該基準(zhǔn)影像以及該些校正影像的局部。
全文摘要
本發(fā)明涉及一種超解析影像的產(chǎn)生方法，其包括接收對應(yīng)于同一拍攝目標(biāo)的多個影像；選取影像之一作為基準(zhǔn)影像，并將基準(zhǔn)影像之外的影像作為參考影像；依據(jù)基準(zhǔn)影像，以幾何坐標(biāo)校正程序處理參考影像，以產(chǎn)生個別對應(yīng)于參考影像的校正影像；以及對基準(zhǔn)影像以及校正影像執(zhí)行提高分辨率程序，以產(chǎn)生超解析影像。
文檔編號G06T1/00GK102377935SQ201010260680
公開日2012年3月14日 申請日期2010年8月20日 優(yōu)先權(quán)日2010年8月20日
發(fā)明者周詹閔, 李運錦 申請人:華晶科技股份有限公司