專利名稱：影像校正方法及影像校正裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明與影像處理技術(shù)相關(guān)，并且尤其與用以校正形變的影像處理技術(shù)相關(guān)。
背景技術(shù)：
隨著制造各種消費性電子產(chǎn)品的技術(shù)日趨成熟，近年來許多車輛的駕駛座前方都裝設(shè)有小型顯示屏幕，用來播放影片、呈現(xiàn)多媒體系統(tǒng)的控制畫面，或是顯示導航軟體提供的地圖。除了上述功能外，目前有些屏幕還可以進一步配合裝設(shè)在車輛前端或后端的攝影裝置，呈現(xiàn)車輛外部的影像，協(xié)助使用者掌控鄰近區(qū)域的狀況。為了擴大可提供給駕駛?cè)说膮⒖挤秶?，上述車用攝影裝置通常會采用廣角鏡頭。 然而，當被攝物和攝影裝置之間的距離不夠大，廣角鏡頭所拍攝的畫面邊緣不可避免地會存在枕形形變或是桶形形變。換句話說，屏幕上所呈現(xiàn)的影像與實際上車外物體的尺寸比例、距離或是形狀皆有或多或少的差異。這樣的差異可能會導致駕駛?cè)苏`判情勢，甚至造成意外事故。已知技術(shù)中已存在修正拍攝結(jié)果的形變的方案?，F(xiàn)有的方案大多是在攝影裝置和顯示裝置之間設(shè)置采用二維引擎OD engine)的影像處理晶片，用以即時分析每一張拍攝結(jié)果的形變情況，再針對該種形變進行還原運算，產(chǎn)生修正后影像。這種方式的缺點在于影像處理晶片所需負荷的運算量相當龐大，且能勝任復雜即時運算的影像處理晶片通常較為
曰蟲印貝。

發(fā)明內(nèi)容
為解決上述問題，本發(fā)明提出了一種影像校正方法及影像校正裝置。利用紋理映射處理以及針對個別攝影裝置預先建立的映射數(shù)據(jù)，影像中因攝影裝置的光學鏡頭造成的形變可被有效校正。根據(jù)本發(fā)明的方法及裝置可被廣泛應(yīng)用在各種配備有外部影像監(jiān)控系統(tǒng)的交通工具中，也可應(yīng)用于各種存在影像形變問題的攝影系統(tǒng)。本發(fā)明揭露一種影像校正裝置，用以校正一攝影裝置所拍攝的一原始影像，其中包含一儲存模塊和一紋理映射模塊。該儲存模塊用以儲存與該攝影裝置中的一光學鏡頭所造成的一影像形變相關(guān)的一映射數(shù)據(jù)。該紋理映射模塊則用以根據(jù)該映射數(shù)據(jù)，透過一紋理映射處理校正該原始影像，以產(chǎn)生一校正后影像。本發(fā)明亦揭露一種影像校正方法。該方法首先執(zhí)行接收由攝影裝置所拍攝的一原始影像的步驟。接著，該方法所執(zhí)行的步驟為根據(jù)與該攝影裝置中的一光學鏡頭所造成的一影像形變相關(guān)的一映射數(shù)據(jù)，透過一紋理映射處理校正該原始影像，以產(chǎn)生一校正后影像。關(guān)于本發(fā)明的優(yōu)點與精神可以藉由以下的發(fā)明詳述及附圖得到了解。


圖1為根據(jù)本發(fā)明的一具體實施例中的影像校正方法的流程圖。
圖2㈧為特定已知紋路物體的范例，圖2 (B)為相對應(yīng)的拍攝結(jié)果的范例，圖2 (C) 為包含多個三角形的網(wǎng)格圖樣的范例。圖3(A)為原始影像的范例，圖3(B)為參考影像的范例，圖3(C)為校正后影像的范例。圖3(D)為網(wǎng)格圖樣的范例，圖3(E)為原始影像的范例，圖3(F)為校正后影像的范例。圖4為紋理映射處理的一詳細實施流程范例。圖5為根據(jù)本發(fā)明的一具體實施例中的影像校正裝置的方塊圖；圖6為該影像校正裝置的一詳細實施范例。主要元件符號說明20:拍攝結(jié)果畫面21A、21B、22A、22B 座標點S12 S14:流程步驟Tl:目標四角形T2:原始四角形T3:四角形區(qū)域S14A S14C 流程步驟50 影像校正裝置52:儲存模塊54:紋理映射模塊54A:選擇單元54B:映射單元
具體實施例方式根據(jù)本發(fā)明的一具體實施例為一影像校正方法。圖1為此方法的流程圖。舉例而言，一攝影裝置可被裝設(shè)在車輛的前端或后端，用以拍攝車輛外部的周邊情況。于此實施例中，與該攝影裝置相關(guān)的一映射數(shù)據(jù)被預先建置、并儲存于實施本方法的硬件內(nèi)。該方法首先執(zhí)行步驟S12，接收由該攝影裝置所拍攝的一原始影像。接著，步驟S14為根據(jù)該映射數(shù)據(jù)，透過一紋理映射處理(texture mapping procedure)校正該原始影像，以產(chǎn)生一校正后影像。該映射數(shù)據(jù)可被設(shè)計為與攝影裝置中的光學鏡頭所造成的影像形變相關(guān)，用以補償、還原光學鏡頭所造成的影像失真。舉例而言，設(shè)計者可利用該攝影裝置拍攝具有特定已知紋路的物體，再藉由比較拍攝結(jié)果與實際物體的差異來決定該映射數(shù)據(jù)。圖2(A)所示的矩形網(wǎng)格為上述特定已知紋路物體的范例，圖2(B)中的實線矩形20及其中的虛線線條則是拍攝結(jié)果的范例。受到光學鏡頭本身或是攝影裝置其他非理想特性影響，拍攝結(jié)果的邊緣區(qū)域通常會發(fā)生如圖2(B)所示的形變；實際物體原本為直線的線條在拍攝結(jié)果中被不規(guī)則地扭曲、伸展或是壓縮。步驟S14中所采用的映射數(shù)據(jù)包含對應(yīng)于原始影像與校正后影像間的映射關(guān)系。 該映射關(guān)系可以是座標與座標之間的對應(yīng)關(guān)系，也可以是描述該對應(yīng)關(guān)系的數(shù)學模型。舉例而言，若以畫面20中所包含的虛線圖樣的網(wǎng)格圖樣(mesh pattern)，該網(wǎng)格圖樣即包含多多個形狀不一的四角形，且每一四角形對應(yīng)至校正后影像中的一四角形。若圖2(A)中各線條的長度及其間的實際距離為已知，利用標示比例尺或是座標點的方式，可找出圖2(A) 和圖2(B)中兩影像間的映射關(guān)系。于此范例中，圖2(A)中的座標點21A對應(yīng)于圖2(B)中的座標點21B，圖2(A)中的座標點22A則是對應(yīng)于圖2(B)中的座標點22B，而該映射數(shù)據(jù)包含對應(yīng)于原始影像的一網(wǎng)格圖樣的各個格子點與對應(yīng)于校正后影像的一網(wǎng)格圖樣的各個格子點間的映射關(guān)系。實務(wù)上，對應(yīng)于原始影像的網(wǎng)格圖樣及對應(yīng)于校正后影像的網(wǎng)格圖樣各可包含多個N角形，N為大于2的一正整數(shù)，例如等于3。圖2(C)即為包含多個三角形的網(wǎng)格圖樣的范例。需說明的是，每一個攝影裝置所適用的映射數(shù)據(jù)可能都不相同。易言之，在配合不同的攝影裝置時可采用不同的映射數(shù)據(jù)，即不同的原始影像的網(wǎng)格圖樣與校正后影像的網(wǎng)格圖樣間的映射關(guān)系，以達到較佳的校正效果。根據(jù)該映射數(shù)據(jù)，校正前的拍攝結(jié)果(例如圖 2(B))可藉由紋理映射處理而產(chǎn)生校正后影像，進而使校正后影像接近如圖2(A)所示的原始影像。于本發(fā)明的另一個實施例中，設(shè)計者可首先拍攝任一畫面或物件做為原始影像； 如圖3(A)所示，此原始影像具有光學鏡頭所造成的影像形變。如圖3(B)所示，該原始影像上可被標示虛擬的格線，成為一參考影像。接著，設(shè)計者可憑肉眼及經(jīng)驗判斷應(yīng)如何拉伸或壓縮該參考影像，以消除影像形變的影響。圖3(C)即為經(jīng)過拉伸/壓縮的結(jié)果范例。如圖 3(C)所示，除了原始影像包含的內(nèi)容之外，這些虛擬格線也一并被拉伸/壓縮。比較圖3(B) 和圖3(C)中的格線，也可以找出步驟S14中所采用的映射數(shù)據(jù)，亦即原始影像與校正后影像間的映射關(guān)系。于此范例中，校正圖3(A)所示的原始影像的方式為拉伸該原始影像的四個角落，或是相對壓縮該原始影像的上下兩邊界。實務(wù)上，步驟S14中所采用的映射數(shù)據(jù)可以為圖3(C)中經(jīng)過拉伸/壓縮的虛線格線與圖3 (B)中的原始影像的虛線格線間的映射關(guān)系。在其它實施例中，亦可藉由影像分析處理來分析原始影像中的形變，再據(jù)以得到適當?shù)挠成鋽?shù)據(jù)，以消除影像形變。在建立映射數(shù)據(jù)之后，后續(xù)由該攝影裝置拍攝的影像皆可根據(jù)該映射數(shù)據(jù)藉由紋理映射處理而被校正，以產(chǎn)生校正后影像。換句話說，針對某一攝影裝置，設(shè)計者只需要在一開始建立一映射數(shù)據(jù)做為后續(xù)的處理基準即可，不需要在每次拍攝影像時重新尋找形變模式及相對應(yīng)的校正標準。以采用圖3(D)所示的虛線格線為網(wǎng)格圖樣的情況為例，步驟S14中的紋理映射處理可包含如圖4所示的步驟。首先，步驟S14A為由網(wǎng)格圖樣的多個N角形中選擇一目標N 角形，例如圖3(D)中的目標四角形Tl。步驟S14B為根據(jù)該映射數(shù)據(jù)中該網(wǎng)格圖樣所對應(yīng)的映射關(guān)系，由該原始影像中找出對應(yīng)于該目標N角形的一原始N角形，例如圖3(E)中的原始四角形T2。接著，步驟S14C為藉由紋理映射處理將該原始N角形映射為該校正后影像中的一 N角形區(qū)域，例如圖3(F)中的四角形區(qū)域T3。更明確地說，四角形區(qū)域T3為消除形變之后的影像區(qū)塊，亦即較接近被拍攝物體的真實樣貌的影像。為將校正后影像呈現(xiàn)于一顯示裝置上，需對校正后影像進行裁切以截去其四個角落較不規(guī)則的部份，使顯示裝置最終所呈現(xiàn)的校正后影像僅包含位在圖3(F)中央的矩形區(qū)域。攝影裝置的拍攝結(jié)果(亦即上述原始影像)和該校正后影像通常存在一定的映射關(guān)系。如上所述，該映射數(shù)據(jù)即包含此映射關(guān)系。設(shè)計者可預先決定該目標四角形Tl的四個頂點與該原始影像的對應(yīng)關(guān)系，例如令目標四角形Tl的四個頂點各自對應(yīng)于原始影像中的四個預設(shè)座標。在已知這些對應(yīng)關(guān)系的狀況下，步驟S14B的詳細實施方式可為根據(jù)這些預設(shè)座標找出原始四角形T2在原始影像中涵蓋的范圍。于實際應(yīng)用中，原始四角形T2的四個頂點可分別為一像素，每一個頂點像素又可各自對應(yīng)于一組原始影像數(shù)據(jù)。在找出原始四角形T2之后，步驟S14C的詳細實施方式可為根據(jù)這四組原始影像數(shù)據(jù)決定四角形區(qū)域T3的至少一校正后影像數(shù)據(jù)。舉例而言，假設(shè)四角形區(qū)域Τ3包含M個像素(Μ為一正整數(shù))，步驟S14C可包含以插補等方式根據(jù)原始四角形Τ2決定該M個像素中的每一個像素各自對應(yīng)的一組校正后影像數(shù)據(jù)?；蛘?，步驟S14C 可為根據(jù)原始四角形Τ2決定填入四角形區(qū)域Τ3中的至少一影像紋理。于實際應(yīng)用中，步驟S14中的紋理映射處理可包含利用紋理過濾決定各像素的影像數(shù)據(jù)。目前普遍使用的方法是鄰近區(qū)域插補法(nearest-neighborinterpolation)。此夕卜，雙線性插補法(bilinear interpolation)禾口三線插補法(trilinear interpolation) 具有可降低失真和鋸齒問題的優(yōu)點，也常被采用。目前許多交通工具中配備有用以處理多媒體數(shù)據(jù)或是配合導航裝置的立體圖像引擎(graphic three-dimension engine)，此立體圖像引擎即可在原有的功能之外，進一步被用來執(zhí)行步驟S14中的紋理映射處理。由于紋理映射處理為立體圖像引擎中基本的功能，直接利用導航裝置中的立體圖像引擎來進行紋理映射處理，可省去另外設(shè)置專門用以校正影像失真的影像處理晶片的成本。須注意的是，步驟S14中的紋理映射處理可藉由其他圖像引擎完成，不以立體圖像引擎為限。實務(wù)上，立體圖像引擎固有的紋理映射、紋理陰影(texture shading)功能和紋理過濾(texture filtering)等功能都可以用以協(xié)助完成步驟S14中的紋理映射處理。針對網(wǎng)格圖樣中的各個N角形，上述決定校正后影像數(shù)據(jù)的程序可被依序重復執(zhí)行，以找出對應(yīng)于各個N角形的校正后影像數(shù)據(jù)，再根據(jù)這些數(shù)據(jù)產(chǎn)生完整的校正后影像， 亦即步驟S14的最終結(jié)果。根據(jù)本發(fā)明的另一具體實施例為如圖5所示的影像校正裝置50，用以校正一攝影裝置所拍攝的一原始影像，影像校正裝置50包含一儲存模塊52和一紋理映射模塊54。儲存模塊52用以儲存與該攝影裝置相關(guān)的一映射數(shù)據(jù)，該映射數(shù)據(jù)可被設(shè)計為與攝影裝置中的光學鏡頭所造成的影像形變相關(guān)，用以補償、還原光學鏡頭所造成的影像失真。紋理映射模塊 54則用以根據(jù)該映射數(shù)據(jù)，透過一紋理映射處理校正該原始影像，以產(chǎn)生一校正后影像。如先前所述，交通工具中原本即配備有的立體圖像引擎可被用以執(zhí)行該紋理映射處理。易言之，紋理映射模塊M可為影像校正裝置50所處的系統(tǒng)中固有的立體圖像引擎。 這種共用硬件的做法可以省去另外設(shè)置高階影像處理晶片的成本。圖6所示為影像校正裝置50的一詳細實施范例。此范例中的紋理映射模塊M包含一選擇單元54A和一映射單元MB。選擇單元54A用以由映射數(shù)據(jù)中的網(wǎng)格圖樣的多個 N角形中選擇一目標N角形。映射單元54B則用以根據(jù)映射數(shù)據(jù)中的映射關(guān)系由該原始影像中找出對應(yīng)于該目標N角形的一原始N角形，并將該原始N角形映射為該校正后影像中的一 N角形區(qū)域。如上所述，本發(fā)明提出了一種影像校正方法及影像校正裝置，利用紋理映射處理以及針對個別攝影裝置預先建立的映射數(shù)據(jù)，有效校正影像中因攝影裝置的光學鏡頭造成的形變。根據(jù)本發(fā)明的方法及裝置可被廣泛應(yīng)用在各種配備有外部影像監(jiān)控系統(tǒng)的交通工具中，也可應(yīng)用于各種存在影像形變問題的攝影系統(tǒng)。藉由以上較佳具體實施例的詳述，以更加清楚描述本發(fā)明的特征與精神，而并非以上述所揭露的較佳具體實施例來對本發(fā)明的范疇加以限制。本發(fā)明可由熟悉本技術(shù)領(lǐng)域者任施匠思而為諸般修飾，皆不脫權(quán)利要求書限定的保護范圍。
權(quán)利要求
1.一種影像校正方法，包含下列步驟(a)接收由一攝影裝置所拍攝的一原始影像；以及(b)根據(jù)與該攝影裝置中的一光學鏡頭所造成的一影像形變相關(guān)的一映射數(shù)據(jù)，透過一紋理映射處理校正該原始影像，以產(chǎn)生一校正后影像。
2.如權(quán)利要求1所述的影像校正方法，其特征在于，該映射數(shù)據(jù)包含多個N角形的數(shù)據(jù)，N為大于2的一正整數(shù)，該紋理映射處理包含下列步驟(bl)由這些N角形中選擇一目標N角形；(b2)由該原始影像中找出對應(yīng)于該目標N角形的一原始N角形；以及(b3)將該原始N角形映射為該校正后影像中的一 N角形區(qū)域。
3.如權(quán)利要求2所述的影像校正方法，其特征在于，該正整數(shù)N等于3。
4.如權(quán)利要求2所述的影像校正方法，其特征在于，該目標N角形包含N個頂點，該N 個頂點各自對應(yīng)于該原始影像中的一預設(shè)座標，并且步驟( )根據(jù)這些預設(shè)座標找出該原始N角形。
5.如權(quán)利要求2所述的影像校正方法，其特征在于，該原始N角形具有N個頂點像素， 每一個頂點像素各自對應(yīng)于一組原始影像數(shù)據(jù)，并且步驟(b3)根據(jù)該N組原始影像數(shù)據(jù)決定該N角形區(qū)域的至少一校正后影像數(shù)據(jù)。
6.如權(quán)利要求2所述的影像校正方法，其特征在于，步驟(b3)包含根據(jù)該原始N角形決定填入該N角形區(qū)域中的至少一影像紋理。
7.如權(quán)利要求2所述的影像校正方法，其特征在于，該N角形區(qū)域包含M個像素，并且步驟(b!3)包含根據(jù)該原始N角形決定該M個像素中的每一個像素各自對應(yīng)的一組校正后影像數(shù)據(jù)，M為一正整數(shù)。
8.如權(quán)利要求1所述的影像校正方法，其特征在于，該紋理映射處理藉由一立體圖像引擎所完成。
9.一種影像校正裝置，用以校正一攝影裝置所拍攝的一原始影像，包含一儲存模塊，用以儲存與該攝影裝置中的一光學鏡頭所造成的一影像形變相關(guān)的一映射數(shù)據(jù)；以及一紋理映射模塊，用以根據(jù)該映射數(shù)據(jù)，透過一紋理映射處理校正該原始影像，以產(chǎn)生一校正后影像。
10.如權(quán)利要求9所述的影像校正裝置，其特征在于，該紋理映射模塊為一立體圖像引擎。
11.如權(quán)利要求9所述的影像校正裝置，其特征在于，該映射數(shù)據(jù)包含多個N角形的數(shù)據(jù)，N為大于2的正整數(shù)，該紋理映射模塊包含一選擇單元，用以由這些N角形中選擇一目標N角形；以及一映射單元，用以由該原始影像中找出對應(yīng)于該目標N角形的一原始N角形，并將該原始N角形映射為該校正后影像中的一 N角形區(qū)域。
12.如權(quán)利要求11所述的影像校正裝置，其特征在于，該正整數(shù)N等于3。
13.如權(quán)利要求11所述的影像校正裝置，其特征在于，該目標N角形包含N個頂點，該 N個頂點各自對應(yīng)于該原始影像中的一預設(shè)座標，并且該映射單元根據(jù)這些預設(shè)座標找出該原始N角形。
14.如權(quán)利要求11所述的影像校正裝置，其特征在于，該原始N角形具有N個頂點像素，每一個頂點像素各自對應(yīng)于一組原始影像數(shù)據(jù)，并且該映射單元根據(jù)該N組原始影像數(shù)據(jù)決定該N角形區(qū)域的至少一校正后影像數(shù)據(jù)。
15.如權(quán)利要求11所述的影像校正裝置，其特征在于，該映射單元根據(jù)該原始N角形決定填入該N角形區(qū)域中的至少一影像紋理。
16.如權(quán)利要求11所述的影像校正裝置，其特征在于，該N角形區(qū)域包含M個像素，并且該映射單元根據(jù)該原始N角形決定該M個像素中的每一個像素各自對應(yīng)的一組校正后影像數(shù)據(jù)，M為一正整數(shù)。
全文摘要
發(fā)明提供一種影像校正裝置，用以校正一攝影裝置所拍攝的一原始影像，其中包含一儲存模塊和一紋理映射模塊。該儲存模塊用以儲存與該攝影裝置相關(guān)的一映射數(shù)據(jù)。該紋理映射模塊則用以根據(jù)該映射數(shù)據(jù)，透過一紋理映射處理校正該原始影像，以產(chǎn)生一校正后影像。
文檔編號G06T5/00GK102469249SQ20101054447
公開日2012年5月23日 申請日期2010年11月4日 優(yōu)先權(quán)日2010年11月4日
發(fā)明者林士欽 申請人:晨星半導體股份有限公司, 晨星軟件研發(fā)(深圳)有限公司