專利名稱：拍攝全景圖像的方法
技術(shù)領(lǐng)域：
本發(fā)明涉及在包括數(shù)碼相機(jī)和設(shè)置有相機(jī)模塊的移動終端的設(shè)備中的數(shù)字圖像拍攝，具體來說，涉及一種拍攝全景圖像的方法。
背景技術(shù)：
傳統(tǒng)地，數(shù)字圖像拍攝設(shè)備中的圖像捕捉單元可獲得在其鏡頭的焦距內(nèi)形成的圖像。這里，獲得的圖像在小于人類視角(大約在150°到200°之間)的視角范圍內(nèi)(對于一般相機(jī)來說，大約在30°到50°之間)。存在這樣一種傳統(tǒng)的方法,所述方法在適當(dāng)?shù)馗淖円暯堑耐瑫r拍攝多幅圖像，并順序地將拍攝的多幅圖像進(jìn)行拼接，以將它們重組為一幅連續(xù)的圖像。因此，可以獲得具有與人類視角相似或者大于人類視角的畫面。這種方法被稱為全景圖像拍攝方法。在全景圖像拍攝模式中，傳統(tǒng)數(shù)字圖像拍攝設(shè)備拍攝將被水平或者垂直拼接的幾幅圖像，并隨后將它們存儲在存儲器中。存儲在存儲器中的圖像被稍后提供給適當(dāng)?shù)膬?nèi)部/外部圖像處理器，并被拼接為一幅連續(xù)的圖像。為了去除圖像之間邊緣處的色差和圖像不一致(discord)，數(shù)字圖像拍攝設(shè)備拍攝其邊緣間充分重疊的多幅圖像，并隨后通過調(diào)整它們的邊緣來對準(zhǔn)(align)所述圖像。此后，對它們執(zhí)行包括縫合(stitching)和彎曲(bending)的圖像處理。通過這種處理，獲得包括自然拼接的多幅圖像的單一圖像。在拍攝全景圖像中對準(zhǔn)精度是最高優(yōu)先級。為此，用戶通常在手動拍攝中使用諸如三腳架的附屬設(shè)備。近來，已經(jīng)提出了這樣一種方法，其中，相應(yīng)的拍攝設(shè)備被安裝在三腳架上等，并且在全景拍攝中根據(jù)各個圖像來旋轉(zhuǎn)安裝的拍攝設(shè)備。這種方法的一個示例在由Samsung Techwin有限公司于2003年7月29日提交的、第2003-0052444號、標(biāo)題為 “Camera And Method for Photographing Panorama Picture，，的、發(fā)明人為 BAESung-cheol的韓國專利申請中被公開。作為上述方法的補(bǔ)充，可在相應(yīng)的拍攝設(shè)備上附加地安裝可檢測旋轉(zhuǎn)角度的設(shè)備。用戶預(yù)先設(shè)置拍攝設(shè)備的旋轉(zhuǎn)角度。因此，在全景拍攝中，通過在拍攝設(shè)備的旋轉(zhuǎn)角度上的旋轉(zhuǎn)位移來拍攝各個圖像，該旋轉(zhuǎn)角度是由用戶預(yù)設(shè)的。這種方法也已經(jīng)被提出。此外，為了當(dāng)在沒有在相應(yīng)拍攝設(shè)備上安裝附屬或者附加硬件的情況下拍攝全景圖像時更精確地對準(zhǔn)各個圖像，已經(jīng)提出了另一種方法。當(dāng)拍攝各個圖像時，提供的方法使用先前拍攝的圖像的邊緣的部分區(qū)域，該先前拍攝圖像表現(xiàn)為與當(dāng)前拍攝的圖像適當(dāng)重疊。因此，用戶可通過調(diào)整先前拍攝的圖像和當(dāng)前拍攝的圖像來控制合適的拍攝位置。這種方法的示例在2003年3月31日提交的第2004/0189849號、標(biāo)題為“Panoramic SequenceGuide”、發(fā)明人為Gregory V.Hofer的美國專利中被公開。與拍攝一般的單幅圖像相比，拍攝全景圖像要求用戶具有更好的技巧和熟練度。這已經(jīng)成為處理和拍攝圖像的更好、更方便的解決方案的必要條件。

發(fā)明內(nèi)容
因此，提出本發(fā)明以解決發(fā)生在現(xiàn)有技術(shù)中的上述問題。本發(fā)明提供了一種拍攝全景圖像的方法，其中，用戶可在沒有附加設(shè)備和硬件的情況下更加容易地操縱拍攝設(shè)備，并且更加精確地拍攝全景圖像。根據(jù)本發(fā)明的一方面，提供了一種拍攝全景圖像的方法，所述方法包括以下步驟:當(dāng)拍攝組成全景圖像的各個圖像時，比較(例如，實時比較)輸入的當(dāng)前圖像和前一圖像，以獲得相應(yīng)拍攝設(shè)備的移動信息；基于獲得的移動信息至少識別相應(yīng)拍攝設(shè)備的移動角度；和當(dāng)識別的移動角度(degree)滿足預(yù)設(shè)移動距離參考時，通過手動輸入拍攝相應(yīng)圖像或者自動拍攝相應(yīng)圖像。


通過以下結(jié)合附圖的詳細(xì)描述，本發(fā)明將變得更加清楚，其中:圖1是示出根據(jù)本發(fā)明的移動終端的框圖。圖2是示出根據(jù)本發(fā)明的實施例的拍攝全景圖像的操作的流程圖。圖3示出了當(dāng)拍攝全景圖像時相機(jī)的移動狀態(tài)的示例。圖4A和圖4B示出了根據(jù)本發(fā)明實施例的在拍攝全景圖像時圖像之間的比較方案。圖5示出了根據(jù)本發(fā)明實施例的在圖像幀的比較區(qū)域中的像素塊的劃分方案和移動信息檢測方案，以在拍攝全景圖像時對圖像進(jìn)行互相比較。圖6示出了根據(jù)本發(fā)明實施例的在拍攝全景圖像時檢測到的拍攝設(shè)備的移動方向的指示狀態(tài)。圖7A、圖7B和圖7C是根據(jù)本發(fā)明實施例的用于在拍攝全景圖像時根據(jù)拍攝設(shè)備的移動方向指導(dǎo)拍攝方向的屏幕上的預(yù)覽圖像的示例。
具體實施例方式以下，將參照附圖描述根據(jù)本發(fā)明的一個示例性實施例。在以下描述中，示出了諸如具體構(gòu)成設(shè)備的很多具體項，然而本發(fā)明技術(shù)領(lǐng)域的技術(shù)人員將理解，給出它們僅用于提供對本發(fā)明的總體理解。圖1是示出根據(jù)本發(fā)明的移動終端的框圖。多種設(shè)備具有數(shù)字圖像拍攝功能，首先將使用圖1中示出的移動終端的示例來描述基于硬件的設(shè)備。參照圖1，根據(jù)本發(fā)明具有數(shù)字圖像拍攝功能的移動終端包括:相機(jī)20、圖像處理器22、顯示單元24、控制器14、存儲器單元16、鍵輸入部分18、射頻(RF)單元10和無線數(shù)據(jù)處理器12。RF單元10將用戶語音、文本消息和控制數(shù)據(jù)調(diào)制為無線信號。將調(diào)制的無線信號發(fā)送到移動無線電通信網(wǎng)絡(luò)的基站(未示出)。從基站接收無線信號。隨后RF單元10將所述信號解調(diào)為語音、文本消息、控制數(shù)據(jù)等以輸出。無線數(shù)據(jù)處理器12在控制器14的控制下對從RF單元10接收的語音數(shù)據(jù)進(jìn)行解碼，以經(jīng)過揚(yáng)聲器輸出可聽到的聲音。無線數(shù)據(jù)處理器12還將從麥克風(fēng)輸入的用戶語音信號進(jìn)行數(shù)字化，以將其輸出到RF單元10，并將經(jīng)過RF單元10輸入的文本消息和控制數(shù)據(jù)提供給控制器14。相機(jī)20在控制器14的控制下執(zhí)彳了一般的數(shù)子相機(jī)功能，并拍攝從外部拍攝對象輸入的可見光線。相機(jī)20包括由電荷耦合裝置(CCD)拍攝裝置等構(gòu)成的圖像捕捉單元20-2、用于測量亮度的亮度傳感器20-4和用于測量到對象的焦距的距離傳感器20-6。圖像處理器22對從相機(jī)20輸出的圖像數(shù)據(jù)進(jìn)行處理，以將處理的數(shù)據(jù)轉(zhuǎn)換為適當(dāng)格式的數(shù)字圖像數(shù)據(jù)。用于從用戶接收電話號碼或者文本消息的鍵輸入部分18包括用于輸入數(shù)字和文本消息信息的多個鍵和用于設(shè)置不同功能的多個功能鍵，并且鍵輸入部分18將它們的輸入信號輸出到控制器14。顯示單元24可由諸如液晶顯示器(LCD)等的顯示裝置構(gòu)成，并且在控制器14的控制下顯示拍攝的數(shù)字圖像數(shù)據(jù)，所述拍攝的數(shù)字圖像數(shù)據(jù)包括與相應(yīng)移動終端的各種操作狀態(tài)對應(yīng)的消息?？刂破?4通過各個功能單元的一般控制來控制移動通信終端的一般操作。S卩，控制器14根據(jù)經(jīng)鍵輸入部分18輸入的數(shù)字和菜單選擇信號執(zhí)行處理，經(jīng)相機(jī)20接收外部拍攝信號以進(jìn)行相應(yīng)處理，并通過顯示單元24輸出由相機(jī)20拍攝的圖像以及不同操作所必需的圖像輸出信號。控制器14引入(bring)存儲在存儲器單兀16中的用于輸出的內(nèi)容，或者將內(nèi)容存儲在存儲器單元16中。存儲器單元16存儲與控制器14的操作相關(guān)的多個程序和數(shù)據(jù)。存儲器單元16用于存儲操作移動終端所需的信息以及相機(jī)拍攝圖像信息。設(shè)置有這些配置的移動終端執(zhí)行相機(jī)功能以及與傳統(tǒng)移動通信服務(wù)相關(guān)的操作?？刂破?4還根據(jù)本發(fā)明的特征執(zhí)行全景圖像拍攝的操作。此外，存儲器單元16將用于全景圖像拍攝操作的相關(guān)信息和操作程序存儲在控制器14中。根據(jù)本發(fā)明，必要時將相應(yīng)信息輸出到控制器14。移動終端將當(dāng)前輸入圖像與前一圖像進(jìn)行比較，以獲得相應(yīng)移動終端的移動信息，并識別移動方向和移動角度。例如，當(dāng)在拍攝全景圖像的情況下，根據(jù)本發(fā)明的移動終端接收的對象的圖像，如實時運(yùn)動畫面，并且根據(jù)全景圖像的拍攝方向由用戶或者由設(shè)置在相應(yīng)移動終端上的附加設(shè)備移動并自動旋轉(zhuǎn)所述移動終端時，這是必要的。以這種方式，獲得與用于創(chuàng)建適當(dāng)?shù)娜皥D像的連續(xù)圖像相應(yīng)的圖像。此后，將參照附圖描述根據(jù)本發(fā)明實施例的全景拍攝操作。圖2是示出根據(jù)本發(fā)明的示例性實施例的拍攝全景圖像的操作的流程圖。參照圖2，在步驟200設(shè)置拍攝全景圖像的環(huán)境，該步驟發(fā)生在實際全景圖像拍攝之前。在步驟200，設(shè)置拼接拍攝方向，例如，形成全景圖像的各個圖像的上、下、左、右的方向。此外，被表示為拍攝設(shè)備的移動距離值的移動距離參考信息(變量Move_Threshold值)被設(shè)置為用于識別拍攝點的參考值。這用于設(shè)置全景圖像的各個圖像的拍攝點。此外，還設(shè)置將被拼接以形成全景圖像的拍攝圖像的數(shù)量(變量cnt_img)。根據(jù)步驟200的全景圖像拍攝環(huán)境的設(shè)置操作可被執(zhí)行為選擇(例如，用于在傳統(tǒng)移動終端中設(shè)置不同功能以從用戶接收各個環(huán)境設(shè)置值的相機(jī)拍攝菜單的子菜單的全景圖像環(huán)境設(shè)置模式)。用戶預(yù)先將配置和操作程序提供給移動終端，所述配置和操作程序用于顯示選擇操作以及確認(rèn)到鍵輸入部分的鍵輸入的相應(yīng)菜單。此外，在步驟200由用戶設(shè)置的一些或者全部的各個全景圖像拍攝環(huán)境模式可被固定為由開發(fā)者適當(dāng)?shù)卦O(shè)置的值，以提供給用戶。此后，在步驟201，用戶可從移動終端的相機(jī)拍攝菜單的子菜單中選擇全景圖像拍攝模式。此后，通過拍攝全景圖像的第一幅圖像來開始拍攝全景圖像。作為與傳統(tǒng)拍攝相似的方法，通過用戶的快門輸入來存儲全景圖像的第一幅圖像。接下來的圖像拍攝將基于根據(jù)本發(fā)明示例性實施例的全景圖像拍攝方法來進(jìn)行。當(dāng)開始全景圖像拍攝時，從視點實時地輸入到拍攝設(shè)備的圖像被輸入并存儲在存儲器中。隨后，使用存儲的圖像獲得拍攝設(shè)備的移動信息。在步驟202，用于識別拍攝設(shè)備的移動角度的移動距離變量mV_sum被初始化為零。在步驟204，通過使用當(dāng)前輸入圖像和前一輸入圖像來檢測拍攝設(shè)備(即，相機(jī))的移動。如圖2所示，在步驟204，當(dāng)全景圖像拍攝的方向是向右時，用戶應(yīng)當(dāng)使相機(jī)向右移動。輸入到相機(jī)的圖像作為運(yùn)動畫面，被輸入。通過比較前一圖像信息(前一幀)和當(dāng)前圖像信息(當(dāng)前幀)來提取移動信息變量mv_w和mv_h。將參照圖4A、圖4B和圖5更加詳細(xì)地描述步驟204中的提取移動信息的方法。圖4A、圖4B示出了為獲得拍攝設(shè)備的移動信息的圖像幀中的第一必要區(qū)域。根據(jù)本發(fā)明，為了按時間順序從當(dāng)前圖像(幀)和前一圖像(幀)獲得相機(jī)移動信息，(I)將整個幀區(qū)域中設(shè)置的足夠范圍設(shè)置為移動區(qū)域跟蹤部分(區(qū)域A)，并且(2)將包括在當(dāng)前幀的移動區(qū)域跟蹤部分(區(qū)域A)中的圖像與前一幀進(jìn)行比較，以獲得移動信息。在相應(yīng)的移動區(qū)域跟蹤部分(區(qū)域A)中設(shè)置具有適當(dāng)?shù)拇笮?，例?00(10X10)像素塊或者400 (20 X 20)像素塊(區(qū)域B)的至少一個或者多個像素塊(通常為多個像素)。設(shè)置所述像素塊，以檢測與各個像素塊相同或者最相似的前一幀的多個像素塊(例如，區(qū)域D)。隨后，使用各個相應(yīng)像素塊之間的相對位置變量(例如，移動向量)的角度來獲得移動信息。在當(dāng)前幀和前一幀之間比較具有適當(dāng)大小的像素塊以及通過該處理獲得移動信息的方法可與當(dāng)對運(yùn)動畫面編碼并解碼時在傳統(tǒng)運(yùn)動估計和運(yùn)動補(bǔ)償技術(shù)中使用的方法相似。當(dāng)在當(dāng)前幀中的移動區(qū)域跟蹤部分(區(qū)域A)被設(shè)置時，可將所述幀的整個區(qū)域設(shè)置為移動區(qū)域跟蹤部分。然而，如圖4A所示，在輸入圖像中的中心部分的足夠范圍內(nèi)而不是整個圖像內(nèi)選擇移動區(qū)域跟蹤部分的原因在于，在輸入圖像的邊緣區(qū)域中很有可能沒有與前一圖像相應(yīng)的圖像信息。在邊緣區(qū)域中，引起在獲得精確的移動信息中的錯誤因素的可能性很大。此外，在任意位置上的不連續(xù)像素塊可被設(shè)置為移動區(qū)域跟蹤部分(區(qū)域A)中的具有適當(dāng)大小的多個像素塊。如圖5所示，整個移動區(qū)域跟蹤部分(區(qū)域A)被分為多個子區(qū)域，并且各個子區(qū)域可被設(shè)置為像素塊。當(dāng)檢測到與各個像素塊相同或者最相似的前一幀的像素塊時，可以使用比較前一幀的整個區(qū)域中的多個像素塊的方法。然而，為了簡化計算量和提高計算速度，可設(shè)置具有以每個像素塊為中心的上下以及左右的足夠范圍的搜索區(qū)域(區(qū)域C)。當(dāng)前幀的各個像素塊具有與在前一幀中其自身的像素塊相應(yīng)的搜索區(qū)域(例如，區(qū)域C)，并且對具有與相應(yīng)搜索區(qū)域相同大小的像素塊進(jìn)行比較，以檢測最相似的像素塊。此后，彼此相對的位置值被用于移動信息。參照圖5,關(guān)于各個像素塊的移動信息可被指示為[mv_wl, mv_hl]、[mv_w2, mv_h2]......和[mv_wn,mv_hn]。在將這些移動信息相加并將其除以相應(yīng)像素塊的數(shù)量(n)(即，計算所有移動信息的平均值)之后，可獲得當(dāng)前視點的相機(jī)移動信息的變量mv_w和mv_h。這里，變量mv_w是水平移動向量,變量mv_h是垂直移動向量。這些變量可以是負(fù)數(shù)或者正數(shù)，并且其絕對值基于移動的角度變大。在下表I中示出了通過使用水平移動向量11^_￥和垂直移動向量mv_h檢測移動方向的具體程序代碼的示例。表權(quán)利要求
1.一種拍攝全景圖像的方法，所述方法包括以下步驟: 當(dāng)拍攝組成全景圖像的各個圖像時，比較輸入的當(dāng)前圖像和前一圖像，以獲得相應(yīng)拍攝設(shè)備的移動信息； 基于獲得的移動信息至少識別相應(yīng)拍攝設(shè)備的移動角度；和 當(dāng)識別的移動角度滿足預(yù)設(shè)移動距離參考時，通過手動輸入拍攝相應(yīng)圖像或者自動拍攝相應(yīng)圖像。
2.如權(quán)利要求1所述的方法，其中，實時地比較輸入的當(dāng)前圖像和前一圖像。
3.如權(quán)利要求1所述的方法，其中，在識別移動角度的步驟中，還對相應(yīng)拍攝設(shè)備的移動方向進(jìn)行識別。
4.如權(quán)利要求3所述的方法，還包括以下步驟:輸出用戶界面，所述用戶界面用于指導(dǎo)相應(yīng)拍攝設(shè)備從識別的 移動方向到用于全景圖像拍攝的預(yù)設(shè)方向的移動。
5.如權(quán)利要求2所述的方法，其中，在實時比較輸入的當(dāng)前圖像和前一圖像的步驟中，當(dāng)前幀的整個區(qū)域中的預(yù)設(shè)范圍被設(shè)置為移動區(qū)域跟蹤部分，并且將包括在移動區(qū)域跟蹤部分中的圖像與前一幀進(jìn)行比較，以獲得移動信息；和 設(shè)置在移動區(qū)域跟蹤部分中具有預(yù)設(shè)大小的至少一個或者多個像素塊，檢測與相應(yīng)像素塊最相似的相應(yīng)于前一幀的多個像素塊，并且使用相應(yīng)像素塊間的相對位置變量的角度來獲得移動息。
6.如權(quán)利要求5所述的方法，其中，所述移動區(qū)域跟蹤部分被設(shè)置為不包括所述幀的邊緣部分。
7.如權(quán)利要求5所述的方法，其中，當(dāng)檢測與當(dāng)前幀的移動區(qū)域跟蹤部分中的像素塊最相似的前一幀中的多個像素塊時，檢測位于在前一幀中的搜索區(qū)域的相應(yīng)像素塊，所述搜索區(qū)域設(shè)置在具有以當(dāng)前幀的像素塊為中心的預(yù)設(shè)范圍的相應(yīng)位置。
8.如權(quán)利要求5到7中任意一個所述的方法，其中，當(dāng)在當(dāng)前幀的移動區(qū)域跟蹤部分中設(shè)置的像素塊是多個時，通過各個像素塊的相對位置變量的角度的平均值來獲得所述移動信息。
9.一種拍攝全景圖像的方法，所述方法包括以下步驟: 當(dāng)拍攝組成全景圖像的各個圖像時，比較輸入的當(dāng)前圖像和前一圖像，以獲得相應(yīng)拍攝設(shè)備的移動信息； 基于獲得的移動信息來至少識別相應(yīng)拍攝設(shè)備的移動方向；和 輸出用戶界面，所述用戶界面用于指導(dǎo)所述相應(yīng)拍攝設(shè)備從識別的移動方向到用于全景圖像拍攝的預(yù)設(shè)方向的移動。
10.如權(quán)利要求9所述的方法，其中，實時地比較輸入的當(dāng)前圖像和前一圖像。
11.如權(quán)利要求10所述的方法，其中，在實時比較輸入的當(dāng)前圖像和前一圖像的步驟中，當(dāng)前幀的整個區(qū)域中的預(yù)設(shè)范圍被設(shè)置為移動區(qū)域跟蹤部分，并且將包括在移動區(qū)域跟蹤部分中的圖像與前一幀進(jìn)行比較，以獲得移動信息；和 設(shè)置在移動區(qū)域跟蹤部分中具有預(yù)設(shè)大小的至少一個像素塊，檢測與相應(yīng)像素塊最相似的相應(yīng)于前一幀的多個像素塊，并且使用相應(yīng)像素塊間的相對位置變量的角度來獲得移動信息。
12.如權(quán)利要求10所述的方法，其中，所述移動區(qū)域跟蹤部分被設(shè)置為不包括所述幀的邊緣部分。
13.如權(quán)利要求10所述的方法，其中，當(dāng)檢測與當(dāng)前幀的移動區(qū)域跟蹤部分中的像素塊最相似的前一幀中的多個像素塊時，檢測位于在前一幀中的的搜索區(qū)域的相應(yīng)像素塊，所述搜索區(qū)域設(shè)置在具有以當(dāng)前幀的像素塊為中心的預(yù)設(shè)范圍的相應(yīng)位置。
14.如權(quán)利要求10所述的方法，其中，當(dāng)在當(dāng)前幀的移動區(qū)域跟蹤部分中設(shè)置的像素塊是多個時，通過各個像 素塊的相對位置變量的角度的平均值來獲得所述移動信息。
全文摘要
公開了一種拍攝全景圖像的方法。所述方法包括當(dāng)拍攝組成全景圖像的各個圖像時，比較輸入的當(dāng)前圖像和前一圖像，以獲得相應(yīng)拍攝設(shè)備的移動信息；基于獲得的移動信息至少識別相應(yīng)拍攝設(shè)備的移動角度；和當(dāng)識別的移動角度滿足預(yù)設(shè)移動距離參考時，通過手動輸入拍攝相應(yīng)圖像或者自動拍攝相應(yīng)圖像。
文檔編號G03B37/04GK103179347SQ20131008439
公開日2013年6月26日 申請日期2007年12月27日 優(yōu)先權(quán)日2006年12月27日
發(fā)明者鄭榮民, 趙成大, 鄭熙遠(yuǎn) 申請人:三星電子株式會社