專利名稱：用于校正廣角攝取的圖像的設(shè)備和方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種具有數(shù)字式光學(xué)攝取裝置和具有存儲裝置的設(shè)備，該數(shù)字式光學(xué)攝取裝置用于廣角攝取人員、生物或?qū)ο蟮膱D像，其中該對象的空間定向和該對象的典型圖像特征基本上是確定的，該存儲裝置用于電子存放所述圖像。本發(fā)明還涉及一種用于校正這種圖像的方法。
上述的那種設(shè)備的實例是市面上流行的數(shù)碼相機(jī)，其中尤其是在肖像攝影時生成和存儲數(shù)字圖像。恰恰在已經(jīng)談及的肖像攝影時，基本上確定了要攝取的對象的空間定向和典型的圖像特征。
不久以前同樣在移動電話中采用了數(shù)碼相機(jī)，以便允許移動電話的使用者借助通信連接將自己本身的或在他周圍的某些對象的照片向所希望的目的地傳送，該目的地同樣配置有通信裝置。
通常正是將廣角鏡頭用于肖像攝影，以便使用者可以給自己本身錄像(filmen)(視頻錄像，Videofonie)或攝影(單個圖像)。在集成到移動電話中的數(shù)碼相機(jī)和想由自身進(jìn)行攝影的使用者的頭部之間的典型距離約為40cm-60cm，以至于廣角鏡頭的使用顯得對于數(shù)碼相機(jī)來說是必須的。
但是廣角鏡頭具有強(qiáng)烈的遠(yuǎn)景失真/畸變的缺點(diǎn)。不成比例大(ueberproportional gross)地攝取要攝取的對象的比較近的片斷，而不成比例小地示出較遠(yuǎn)的對象。這導(dǎo)致在肖像攝影時，例如異常大(ueberdurchschnittlich gross)地攝取人員的嘴與鼻，但是與此相反地異常小地攝取頭部輪廓。
所以本發(fā)明所基于的任務(wù)是，創(chuàng)造一種具有用于廣角攝取對象圖像的數(shù)字式光學(xué)攝取裝置的設(shè)備以及一種方法，在該設(shè)備和方法中實現(xiàn)對所攝取的圖像的有效校正。
該任務(wù)在文章開頭所提到的那種設(shè)備方面通過用于二維檢測所攝取對象的典型圖像特征彼此的相對位置的檢測裝置、包含典型圖像特征彼此對應(yīng)于標(biāo)準(zhǔn)配置(Standard-Anordnung)的相對位置的參考存儲裝置、和校正裝置來解決，該校正裝置被構(gòu)造用于讀出存放在存儲裝置中的圖像，并且用于根據(jù)來自檢測裝置的所攝取對象的典型圖像特征的相對位置與來自參考存儲裝置的典型圖像特征對應(yīng)于標(biāo)準(zhǔn)配置的相對位置的比較來校正所存放的圖像。
在本說明書的意義上，將“廣角攝取”理解為采集圖像片斷的攝取，該圖像片斷大于被映射到人眼的視網(wǎng)膜上的那個圖像片斷。這例如適用于在具有24×36mm膠片片斷的縮微照相中的、小于50mm的鏡頭焦距。
該設(shè)備因此適用于，借助檢測裝置來識別所攝取對象的典型圖像特征(這在人的臉部上例如是嘴、鼻和耳)，以及檢測所識別的典型圖像特征的相對位置。以動用標(biāo)準(zhǔn)配置的方式來實現(xiàn)對所攝取的圖像的真正的校正，在該標(biāo)準(zhǔn)配置中相互確定典型圖像特征的相應(yīng)的相對位置。
校正裝置優(yōu)選地至少部分地非線性地工作。與此相關(guān)地可以確定，線性化算法一般可以得到采用，這些線性化算法在某些值域中非線性地工作，而在另外的值域中線性地工作。
于是所進(jìn)行的比較給出關(guān)于以下情況的說明，即在所攝取對象上和在標(biāo)準(zhǔn)配置中典型圖像特征的相對位置彼此不同到何種程度。于是在校正時，可以使所攝取的圖像在其典型圖像特征的位置方面接近標(biāo)準(zhǔn)配置。關(guān)于這一點(diǎn)，優(yōu)選地如此來選擇典型圖像特征，使得它們部分地位于所攝取對象的外部區(qū)域中并且部分地位于所攝取對象的內(nèi)部區(qū)域中。由此產(chǎn)生了可歸因于廣角鏡頭的畸變的、特別有代表性的圖像。優(yōu)選地如此來構(gòu)造校正裝置，使得在比較時確定這樣一個變量的值，該變量再現(xiàn)了在來自檢測裝置的所攝取對象的典型圖像特征的相對位置、和來自參考存儲裝置的典型圖像特征對應(yīng)于標(biāo)準(zhǔn)配置的相對位置之間的相關(guān)性，其中根據(jù)該值的大小進(jìn)行或不進(jìn)行所攝取對象的校正。
以此方式可以確定，剛才所攝取的對象是否與所規(guī)定的典型特征的標(biāo)準(zhǔn)配置相配。例如可以以此方式查明，剛才所進(jìn)行的攝影是否是肖像攝影。關(guān)于這一點(diǎn)，可以設(shè)想有不同對象的典型特征的多個標(biāo)準(zhǔn)配置可供使用，以便在校正的范圍內(nèi)進(jìn)行比較。
在作為圖像的人的肖像中，可以優(yōu)選地將嘴、鼻、眼、耳、頭部范圍和/或頭部輪廓用作典型圖像特征。
優(yōu)選地將校正裝置構(gòu)造用于圖像片斷的放大和縮小，使得可以有效地補(bǔ)償由所采用的廣角鏡頭引起的畸變。不僅可以在像素平面上而且可以在面積平面上進(jìn)行校正。
在像素平面上進(jìn)行校正時，為了縮小圖像片斷，可以對所攝取的圖像的相應(yīng)像素求平均值，以便計算出所屬的縮小的圖像片斷的像素值。優(yōu)選地為此構(gòu)造校正裝置。
為了放大圖像片斷，可以將校正裝置構(gòu)造用于通過基于所攝取的圖像的相鄰像素的內(nèi)插來計算出所屬的放大的圖像片斷的像素值。在此情況下，根據(jù)所攝取的圖像片斷的放大得出附加的像素值，可以給這些附加的像素值分配亮度值和色值。借助用于生成新像素的內(nèi)插來閉合這種由于放大而產(chǎn)生的“空隙”。
上述任務(wù)在方法方面通過一種用于校正對象的用數(shù)字方式廣角攝取的圖像的方法來解決，該方法具有用數(shù)字方式攝取和存儲圖像的步驟，其中該對象的空間定向和該對象的典型圖像特征基本上是確定的，其中附加地設(shè)置有以下步驟二維地檢測所攝取對象的典型圖像特征彼此的相對位置，提供典型圖像特征對應(yīng)于標(biāo)準(zhǔn)配置的相對位置，以及非線性地校正所存儲的所攝取的圖像，其中，讀出所攝取的圖像，并且根據(jù)來自檢測裝置的所攝取對象的典型圖像特征的相對位置、與來自參考存儲裝置的典型圖像特征對應(yīng)于標(biāo)準(zhǔn)配置的相對位置的比較來校正所攝取的圖像。
上面已經(jīng)借助對設(shè)備的說明闡述了該方法及其按照從屬權(quán)利要求8-12的優(yōu)選實施形式的優(yōu)點(diǎn)。
在另一種優(yōu)選實施形式中，可以基于在校正時的比較確定所攝取對象的典型特征彼此的相對位置和典型特征在標(biāo)準(zhǔn)配置中彼此的相對位置之間的進(jìn)入校正的尺寸比例。
通過該措施考慮以下事實，即在某些情況下在對象在圖像中的絕對尺寸和對象在標(biāo)準(zhǔn)配置中的絕對尺寸方面可能存在顯著的差別。通過以上述方式確定尺寸比例，可以補(bǔ)償這種差別。
特別優(yōu)選地將兩個典型特征在所攝取對象上的位置之間的距離、和相同的兩個典型特征在標(biāo)準(zhǔn)配置中的位置之間的距離之比用作尺寸比例。以肖像攝影為例，可以將瞳距用于尺寸比例的形成。
雖然要攝取的對象的空間定向以及它的典型特征基本上是確定的，但仍然可以通過以下方式來改進(jìn)校正，即在檢測所攝取對象的典型特征彼此的相對位置時，確定用圖像示出的對象的空間定向，并且為了進(jìn)行比較而適配標(biāo)準(zhǔn)配置的空間定向。如果在典型的正視圖的意義上例如將肖像攝影的典型特征作為標(biāo)準(zhǔn)配置存儲，而在所攝取的圖像中已經(jīng)以遠(yuǎn)景視圖攝取了人的頭部，則該措施可能是合理的。在這些情況下，可以在識別人臉部的諸如眼和耳等等的典型特征的范圍內(nèi)確定所攝取圖像的空間定向，并且基于該圖像來適配標(biāo)準(zhǔn)配置的空間定向。當(dāng)然也可以通過電子途徑來改變所攝取對象的空間定向，即與標(biāo)準(zhǔn)配置的空間定向適配。
應(yīng)強(qiáng)調(diào)的是，不僅在該設(shè)備中而且在該方法中可以對例如已經(jīng)以像JPEG那樣的壓縮數(shù)據(jù)格式存在的靜止圖像進(jìn)行校正以及在多個圖像彼此連接的錄像中進(jìn)行校正。因此可以實時地、即在通過通信連接的傳輸期間、也可以時移地執(zhí)行校正。
以下還將詳細(xì)地闡述本發(fā)明的實施例。
該實施例涉及借助集成在移動電話中的數(shù)碼相機(jī)來進(jìn)行的肖像攝影。該數(shù)碼相機(jī)配備有廣角鏡頭，以便使其使用者能夠在舒適地手持移動電話時也可以對其自己進(jìn)行攝影。
首先借助軟件實現(xiàn)的檢測裝置來執(zhí)行對使用者頭部的典型圖像特征的相對位置的二維檢測。在此情況下，檢測諸如眼、耳、嘴、頭部大小和頭部輪廓那樣的典型圖像特征。借助檢測裝置來識別這些特征。此外還確定它們的位置并因此確定它們彼此的相對位置。
然后訪問參考存儲裝置，該參考存儲裝置包含人頭部的所述典型圖像特征對應(yīng)于標(biāo)準(zhǔn)配置的相對位置。
非線性工作的校正裝置從存儲裝置中讀出暫存的使用者頭部的圖像。緊隨此后實現(xiàn)對所存放的圖像的、如以下所述那樣的校正。該校正基于所攝取的使用者頭部的典型圖像特征的相對位置、與典型圖像特征根據(jù)標(biāo)準(zhǔn)配置的相對位置的比較。在該標(biāo)準(zhǔn)配置中存儲有例如可以從“平均臉”中獲得的典型特征的相對位置和位置。
下面將如下分析該比較，即在所攝取對象(這里為使用者頭部)的典型圖像特征的相對位置和由參考存儲裝置所提供的相對位置之間是否存在著顯著的相關(guān)性。這例如可以借助最小誤差平方法來實現(xiàn)，該方法提供所攝取的圖像的像素值和標(biāo)準(zhǔn)配置的像素值之間的相關(guān)性的代表值。如果不存在足夠的相關(guān)性，則不進(jìn)行校正。以此方式避免了在非肖像攝影情況下執(zhí)行在這里所述的實施例中的基于涉及人臉部的標(biāo)準(zhǔn)配置的校正。
也在這樣的方面分析該比較，即在校正時確定所攝取對象的典型特征彼此的相對位置和典型特征在標(biāo)準(zhǔn)配置中的相對位置之間的尺寸比例。以此方式在真正的校正之前識別，在所攝取的圖像和標(biāo)準(zhǔn)配置之間是否可能存在著顯著的絕對的尺寸差別?？梢詫⒃谶@里所討論肖像攝影的標(biāo)準(zhǔn)配置中的兩個眼睛之間的距離與所攝取的圖像中的瞳距進(jìn)行比較，以便獲得尺寸比例的合適的值。
分析由檢測裝置所提供的關(guān)于典型圖像特征的位置的結(jié)果，以便確定用所攝取的圖像來表示的人頭部的空間定向。基于所攝取的使用者頭部的眼、耳等等的識別和位置，可以推斷出空間定向。
按這種方式，以合適的方式來評價對于校正來說所有必要的邊界條件。
典型地在真正的校正時，在放大外部的圖像片斷的同時，縮小內(nèi)部的圖像片斷。在像素平面上為了縮小而求出所攝取的圖像的一部分像素的平均值，使得獲得再現(xiàn)原始圖像片斷中的該部分像素的像素的亮度值和色值。
在僅放大圖像片斷的情況下產(chǎn)生“像素空隙”，這些“像素空隙”應(yīng)根據(jù)所攝取的圖像中的相鄰像素來補(bǔ)滿。這借助基于所攝取的圖像中相鄰像素的亮度值和色值的內(nèi)插來實現(xiàn)。
從所攝取的圖像的如此執(zhí)行的校正中可以獲得成像規(guī)范(Abbildungsvorschrift)，按照該成像規(guī)范可以針對每個新攝取的圖像對在肖像攝影時人頭部和廣角鏡頭之間的某個距離自動進(jìn)行校正。
權(quán)利要求
1.具有數(shù)字式光學(xué)攝取裝置和具有存儲裝置的設(shè)備，所述數(shù)字式光學(xué)攝取裝置用于廣角攝取人員、生物或?qū)ο蟮膱D像，其中所述對象的空間定向和其典型圖像特征基本上是確定的，所述存儲裝置用于電子存放所述圖像，其特征在于，檢測裝置，用于二維檢測所攝取對象的所述典型圖像特征彼此的相對位置，參考存儲裝置，包含所述典型圖像特征彼此對應(yīng)于標(biāo)準(zhǔn)配置的相對位置，以及校正裝置，該校正裝置被構(gòu)造用于讀出存放在所述存儲裝置中的圖像，并且用于根據(jù)來自所述檢測裝置的所攝取對象的典型圖像特征的相對位置、與來自所述參考存儲裝置的所述典型圖像特征對應(yīng)于所述標(biāo)準(zhǔn)配置的相對位置的比較來校正所存放的圖像。
2.按權(quán)利要求1的設(shè)備，其特征在于，所述校正裝置被如此構(gòu)造，使得在所述比較時確定變量的值，該變量再現(xiàn)來自所述檢測裝置的所攝取對象的典型圖像特征的相對位置、和來自所述參考存儲裝置的所述典型圖像特征對應(yīng)于所述標(biāo)準(zhǔn)配置的相對位置之間的相關(guān)性，并且根據(jù)所述值的大小來進(jìn)行對所攝取對象的校正。
3.按權(quán)利要求1或2之一的設(shè)備，其特征在于，在作為所述圖像的人的肖像中，可以將嘴、鼻、眼、耳、頭部范圍和/或頭部輪廓用作所述典型圖像特征。
4.按權(quán)利要求1至3之一的設(shè)備，其特征在于，所述校正裝置被構(gòu)造用于放大和用于縮小所述圖像的片斷。
5.按權(quán)利要求4的設(shè)備，其特征在于，為了縮小圖像片斷，所述校正裝置被構(gòu)造用于通過對所攝取的圖像的相應(yīng)像素求平均值來計算出所屬的縮小的圖像片斷的像素值。
6.按權(quán)利要求4或5的設(shè)備，其特征在于，為了放大圖像片斷，所述校正裝置被構(gòu)造用于通過基于所攝取的圖像的相鄰像素的內(nèi)插來計算出所屬的放大的圖像片斷的像素值。
7.用于校正人員、生物或?qū)ο蟮挠脭?shù)字方式廣角攝取的圖像的方法，其中所述對象的空間定向和其典型圖像特征基本上是確定的，所述方法具有用數(shù)字方式攝取和存儲圖像的步驟，其特征在于以下其它的步驟二維地檢測所攝取對象的所述典型圖像特征彼此的相對位置，提供所述典型圖像特征對應(yīng)于標(biāo)準(zhǔn)配置的相對位置，以及非線性地校正所存儲的所攝取的圖像，其中讀出所攝取的圖像，并且根據(jù)來自所述檢測裝置的所攝取對象的典型圖像特征的相對位置、與來自所述參考存儲裝置的所述典型圖像特征對應(yīng)于所述標(biāo)準(zhǔn)配置的相對位置的比較來校正所攝取的圖像。
8.按權(quán)利要求7的方法，其特征在于，在所述比較時在所述校正的范圍內(nèi)確定變量的值，該變量再現(xiàn)所攝取對象的典型圖像特征的相對位置、和所述典型圖像特征對應(yīng)于所述標(biāo)準(zhǔn)配置的相對位置之間的相關(guān)性，并且根據(jù)所述值的大小來進(jìn)行對所攝取的圖像的校正。
9.按權(quán)利要求7或8之一的方法，其特征在于，在作為所述圖像的人的肖像中，將嘴、鼻、眼、耳、頭部范圍和/或頭部輪廓用作所述典型圖像特征。
10.按權(quán)利要求7或8之一的方法，其特征在于，將所述校正裝置構(gòu)造用于放大和用于縮小所述圖像的片斷。
11.按權(quán)利要求10的方法，其特征在于，為了縮小圖像片斷，對所攝取的圖像的相應(yīng)像素求平均值，以便計算出所屬的縮小的圖像片斷的像素值。
12.按權(quán)利要求10的方法，其特征在于，為了放大圖像片斷，實現(xiàn)基于所攝取的圖像的相鄰像素的內(nèi)插，以便計算出所屬的放大的圖像片斷的像素值。
13.按權(quán)利要求7至12之一的方法，其特征在于，根據(jù)所述比較，在所述校正時確定所攝取對象的所述典型特征彼此的相對位置和所述典型特征在所述標(biāo)準(zhǔn)配置中彼此的相對位置之間的進(jìn)入所述校正的尺寸比例。
14.按權(quán)利要求13的方法，其特征在于，將兩個典型特征在所攝取對象中的位置之間的距離和相同的兩個典型特征在所述標(biāo)準(zhǔn)配置中的位置之間的距離之比用作所述尺寸比例。
15.按權(quán)利要求7至14之一的方法，其特征在于，在檢測所攝取對象的所述典型特征彼此的相對位置時，確定用所述圖像來表示的對象的空間定向，并且為了進(jìn)行所述比較而適配所述標(biāo)準(zhǔn)配置的空間定向。
全文摘要
在具有數(shù)字式光學(xué)攝取裝置和具有存儲裝置的設(shè)備中，該數(shù)字式光學(xué)攝取裝置用于廣角攝取人員、生物或?qū)ο蟮膱D像，其中該對象的空間定向和其典型圖像特征基本上是確定的，該存儲裝置用于電子存放所述圖像，通過以下的裝置來解決提供有效的二維校正的任務(wù)檢測裝置，用于二維檢測所攝取對象的典型圖像特征彼此的相對位置；參考存儲裝置，包含所述典型圖像特征彼此對應(yīng)于標(biāo)準(zhǔn)配置的相對位置；以及校正裝置，該校正裝置被構(gòu)造用于讀出存放在存儲裝置中的圖像，并且用于根據(jù)來自檢測裝置的所攝取對象的典型圖像特征的相對位置、與來自參考存儲裝置的典型圖像特征對應(yīng)于標(biāo)準(zhǔn)配置的相對位置的比較來校正所存放的圖像。此外還說明了一種用于校正廣角攝取的圖像的方法。
文檔編號G06T5/00GK1751322SQ200480004557
公開日2006年3月22日 申請日期2004年1月23日 優(yōu)先權(quán)日2003年2月19日
發(fā)明者R·奧鮑爾 申請人:西門子公司