專利名稱：：拍攝全景畫面的方法
技術(shù)領(lǐng)域：
：本發(fā)明涉及一種在具有拍攝數(shù)字圖像功能的多種復(fù)雜設(shè)備中的數(shù)字圖像拍攝，所述多種復(fù)雜設(shè)備包括數(shù)碼相機(jī)以及具有相機(jī)模塊的移動(dòng)通信終端。更具體地講，本發(fā)明涉及一種拍攝全景圖像和用于構(gòu)成全景圖像的多個(gè)圖像的方法。
背景技術(shù)：
：通常，在數(shù)字圖像拍攝設(shè)備中，圖像捕獲單元具有獲得圖像的功能，并可獲得在其透鏡的焦距內(nèi)形成的圖像。這里，獲得的圖像在比實(shí)際人的視角(大約在150°到200°之間)小的視角(對(duì)于普通相機(jī)大約在30°到50°之間)的范圍內(nèi)。拍攝多個(gè)圖像的傳統(tǒng)方法包括在適當(dāng)改變視角的同時(shí)獲取圖像；使拍攝的圖像順序相互連接，以將這些圖像識(shí)別為一個(gè)連續(xù)圖像，從而獲得具有與人的視角相似或比人的視角大的視角的畫面。將這種傳統(tǒng)方法稱為全景圖像拍攝方法。在全景圖像拍攝方法中，傳統(tǒng)的數(shù)字圖像拍攝設(shè)備捕獲將被水平或垂直地相互連接的幾個(gè)圖像，然后將所述幾個(gè)圖像存儲(chǔ)在存儲(chǔ)器中。存儲(chǔ)器中存儲(chǔ)的圖像稍后被提供給適當(dāng)?shù)膬?nèi)部/外部圖像處理器，并被相互連接成一個(gè)連續(xù)圖像。此時(shí)，為了消除圖像之間的邊界處的色差和圖像的不一致，數(shù)字圖像拍攝設(shè)備拍攝在圖像的邊界之間具有充足重疊的多個(gè)圖像，然后通過調(diào)整它們的邊界來對(duì)齊圖像。其后，數(shù)字圖像拍攝設(shè)備執(zhí)行包括縫合和彎曲的圖像處理。通過該處理，獲得包括自然地相互連接的多個(gè)圖像的單個(gè)圖像。因此，在拍攝全景圖像中的高優(yōu)先級(jí)與盡可能準(zhǔn)確對(duì)齊的這些圖像的捕獲一致。為此，在用戶手動(dòng)拍攝中通常使用諸如三腳架的附屬設(shè)備。最近，提出了這樣一種方法，其中，將相應(yīng)的拍攝設(shè)備安裝在三腳架等上，并根據(jù)全景拍攝中各個(gè)圖像來旋轉(zhuǎn)安裝的拍攝設(shè)備。在2003年7月29日提交的標(biāo)題為"CameraAndMethodforPhotographingPanoramaPicture(用于拍才聶全景畫面的相才幾和方法)"第2003-0052444號(hào)韓國專利申請(qǐng)中公開了這種方法的示例，該申請(qǐng)的申請(qǐng)人是SamsungTechwinCo.Ltd,發(fā)明人是BAE,Sung-cheol。對(duì)于以上描述的方法，還提出了這樣一種方法具有^r測旋轉(zhuǎn)角度功能的設(shè)備可被另外安裝在相應(yīng)的拍攝設(shè)備上，用戶預(yù)先設(shè)置拍攝設(shè)備的旋轉(zhuǎn)角度，從而通過在全景拍攝中通過由用戶預(yù)設(shè)的拍攝設(shè)備的旋轉(zhuǎn)角度上的旋轉(zhuǎn)位移來拍攝各個(gè)圖像。此外，為了當(dāng)在相應(yīng)的拍攝設(shè)備上沒有安裝附屬部件或附加硬件的情況下拍攝全景圖像時(shí)更準(zhǔn)確地對(duì)齊各個(gè)圖像，還提出了這樣一種方法當(dāng)拍攝各個(gè)圖像時(shí)，先前拍攝的圖像的邊界的部分區(qū)域與正拍攝的當(dāng)前圖像適當(dāng)重疊地再現(xiàn)，從而用戶可通過用當(dāng)前拍攝的圖像調(diào)整先前拍攝的圖像來控制拍攝的適當(dāng)位置。在2003年3月31日提交的發(fā)明人姓名為GregoryV.Hofer的標(biāo)題為"PanoramicSequenceGuide(全景順序指南)"的第2004/0189849號(hào)美國公開中公開了這種方法的示例。與拍攝一般的單個(gè)圖像相比，拍攝全景圖像更復(fù)雜并需要更好的熟練程度，該過程較長，對(duì)操作和拍攝圖像需要更好和更方便的解決方案。同時(shí)，圖1是示出在構(gòu)成全景圖像的各個(gè)拍攝的圖像之間的關(guān)系的示圖。在相機(jī)以其在水平方向上旋轉(zhuǎn)e度的方式獲得圖像的情況下，相機(jī)將實(shí)際的三維圖像(例如，第一對(duì)象(subject)或第二對(duì)象等)轉(zhuǎn)換成第一圖像或第二二維圖像，以對(duì)其進(jìn)行顯示。在將這些圖像彼此組合以實(shí)現(xiàn)畫面的情況下，由于透視不同產(chǎn)生了變形，從而難以估計(jì)彼此不同的圖像之間的重疊部分。結(jié)果，無法形成真實(shí)自然的全景畫面。例如，在通過如圖1所示的方法獲得的第一圖像和第二圖像分別是圖2A和圖2B的圖像，并且通過拍攝相同區(qū)域獲得的兩個(gè)圖像的各個(gè)部分彼此重疊的情況下，如圖3所示，通過拍攝相同區(qū)域獲得的部分彼此不相等，并且重疊部分變形。因此，需要一種以通過拍攝相同區(qū)域獲得的多個(gè)圖像的各個(gè)部分彼此相等的方式產(chǎn)生更準(zhǔn)確的全景畫面的方法。
發(fā)明內(nèi)容因此，本發(fā)明提供了一種全景畫面拍攝方法，所述全景畫面拍攝方法比以前已知的方法運(yùn)行更簡單，并在不用附加裝備、單獨(dú)裝置或硬件的情況下允許用戶拍攝對(duì)象的圖像(具體地講，對(duì)象的全景圖像)。另外，本發(fā)明提供了這樣一種方法所述方法以考慮相機(jī)捕獲的圖像與對(duì)象的實(shí)際圖像之間的關(guān)系對(duì)相機(jī)捕獲的圖像進(jìn)行校正的方式檢測相機(jī)的移動(dòng)，并反映校正的圖像。根據(jù)本發(fā)明的示例性方面，提供了一種全景畫面拍攝方法，所述全景畫面拍攝方法包括以下步驟在拍攝構(gòu)成全景畫面的每個(gè)圖像中將在每個(gè)預(yù)定時(shí)間單位連續(xù)輸入的圖像投影到具有相同焦距的虛曲面以獲得投影的圖像；通過使用應(yīng)用了曝光校正的運(yùn)動(dòng)估計(jì)技術(shù)以將投影的圖像和先前圖像進(jìn)行實(shí)時(shí)比較的方式來確認(rèn)相應(yīng)拍攝設(shè)備的移動(dòng)；通過確認(rèn)才艮據(jù)拍攝方向的相應(yīng)拍攝設(shè)備的確認(rèn)的移動(dòng)達(dá)到預(yù)定臨界值的事實(shí)來確定每個(gè)圖像的拍攝時(shí)刻；根據(jù)被動(dòng)輸入或根據(jù)自動(dòng)方式在每個(gè)圖像的拍攝時(shí)刻拍攝每個(gè)圖像。根據(jù)本發(fā)明的另一示例性方面，提供了一種全景畫面拍攝方法，在所述方法中，確認(rèn)拍攝設(shè)備的移動(dòng)，所述方法包括將實(shí)時(shí)輸入的圖像投影到具有相同焦距的虛曲面，并獲得投影的圖像；確認(rèn)投影的圖像的當(dāng)前輸入幀和先前幀之間的匹配圖像塊；通過獲得確認(rèn)的匹配圖像塊之間的運(yùn)動(dòng)矢量來確認(rèn)拍攝設(shè)備的移動(dòng)，其中，在確認(rèn)彼此匹配的圖像塊的步驟中，根據(jù)相應(yīng)圖像塊的平均值來校正各個(gè)幀的圖像塊的各個(gè)像素，并通過使用關(guān)于在各個(gè)幀的圖像塊之間彼此進(jìn)行比較的各個(gè)校正的像素的誤差信息來獲得匹配圖像塊之間的運(yùn)動(dòng)矢量。從下面結(jié)合附圖的詳細(xì)的描述，本發(fā)明的以上和其他方面、特征和優(yōu)點(diǎn)將變得更清楚，其中圖1是示出在拍攝全景畫面中各個(gè)拍攝圖像之間的關(guān)系的示圖2A和圖2B是示出通過拍攝圖1的第一圖像和第二圖像獲得的畫面的示例的示圖3是示出考慮圖2的第一圖像和第二圖像的每個(gè)相同部分來布置第一圖像和第二圖像的畫面的示圖4是應(yīng)用了本發(fā)明的便攜式終端的框圖5是示出根據(jù)本發(fā)明的一個(gè)示例性實(shí)施例的全景畫面拍攝方法的示例性操作步驟的流程圖6A和圖6B是示出通過將圖2的第一圖像和第二圖像投影到圓柱體獲得的合成圖像的示圖7是示出根據(jù)依據(jù)本發(fā)明的一個(gè)示例性實(shí)施例的全景畫面拍攝方法的圖像幀、投影的圖像和對(duì)象之間的關(guān)系的構(gòu)思的示圖8是示出根據(jù)本發(fā)明的一個(gè)示例性實(shí)施例的在拍攝全景拼接畫面中基于投影到圓柱體的曲面的圖像的中心的畫面的對(duì)稱結(jié)構(gòu)的示圖9是示出根據(jù)本發(fā)明的一個(gè)示例性實(shí)施例的將平方根計(jì)算實(shí)現(xiàn)為整數(shù)計(jì)算的構(gòu)思的示圖IO是圖5中檢查相機(jī)的移動(dòng)的操作的詳細(xì)流程圖ll是示出用于檢測圖10中的運(yùn)動(dòng)矢量的具有可變大小的圖像塊的示例的示圖12A和圖12B是示出整個(gè)圖像的示例的示圖。具體實(shí)施例方式以下，將參照附圖描述根據(jù)本發(fā)明的示例性實(shí)施例。在這里以下的描述中，僅為了示出的目的描述了許多具體項(xiàng)(例如，詳細(xì)的部件裝置)以向本領(lǐng)域的普通技術(shù)人員提供本發(fā)明的一般理解，要求保護(hù)的拍攝全景畫面的方法不限于這里顯示和描述的示例。另外，本領(lǐng)域的普通技術(shù)人員理解和明白，在不脫離本發(fā)明的精神和權(quán)利要求的范圍的情況下，可在本發(fā)明的形式和細(xì)節(jié)方面進(jìn)行各種改變。圖4是應(yīng)用了本發(fā)明的便攜式終端的示例性框圖。在本發(fā)明中，如圖4所示，首先，便攜式終端是在可執(zhí)行以下描述的數(shù)字圖像拍攝功能的各種設(shè)備之中基于硬件類型的設(shè)備的示例。參照?qǐng)D4,具有數(shù)字圖像拍攝功能的便攜式終端包括相機(jī)20、圖像處理器22、顯示單元24、控制器14、存儲(chǔ)單元16、鍵輸入單元18、無線單元10和無線ft據(jù)處理器12。無線(RF)單元10將用戶的語音、字符和控制凄t據(jù)轉(zhuǎn)換成無線信號(hào)，以將它們發(fā)送到移動(dòng)通信網(wǎng)絡(luò)的基站(未示出)。另外，無線單元10從基站接收無線信號(hào)，并將它們解調(diào)成語音、字符、控制數(shù)據(jù)等，以將它們輸出。通過控制器14捧作無線數(shù)據(jù)處理器12。無線數(shù)據(jù)處理器12對(duì)由無線單元10接收的語音數(shù)據(jù)解碼，并通過揚(yáng)聲器將其向用戶輸出為可聽聲。另外，無線數(shù)據(jù)處理器12將通過麥克風(fēng)輸入的用戶的語音信號(hào)轉(zhuǎn)換成數(shù)據(jù)，并將其輸出到無線單元10。另外，無線數(shù)據(jù)處理器12將輸入的字符和控制數(shù)據(jù)提供給控制器14。本領(lǐng)域的普通技術(shù)人員理解并明白，圖4中示出的RF單元10和無線數(shù)據(jù)處理器12的功能可組合成單個(gè)方框。相機(jī)20在控制器14的控制下執(zhí)行數(shù)碼相機(jī)功能，從而相機(jī)20接收從對(duì)象反射的特定波段的可見光信號(hào)。相機(jī)20具有由例如電荷耦合裝置(CCD)等構(gòu)成的拍攝單元20-2。另夕卜，相機(jī)20可包括用于測量對(duì)象的焦距的距離傳感器20-6等。圖像處理器22處理從相機(jī)20輸出的圖像數(shù)據(jù)，并將該數(shù)據(jù)轉(zhuǎn)換成合適的數(shù)字圖像數(shù)據(jù)格式。輸入單元18是用于接收用戶輸入的電話號(hào)碼或字符的設(shè)備。輸入單元18通常包括用于輸入數(shù)字信息或字符信息的功能鍵和用于安裝各種功能的功能鍵，并將通過這些鍵輸入的信號(hào)輸出到控制器14。在權(quán)利要求的范圍和本發(fā)明的精神內(nèi)，輸入還可包括語音激活功能，所述語音激活功能補(bǔ)充或代替所述功能4建的一些/全部。顯示單元24可以是諸如液晶顯示器(LCD)等的顯示設(shè)備，并在控制器14的控制下，顯示通過拍攝獲得的數(shù)字圖像數(shù)據(jù)以及與相應(yīng)終端的各種操作狀態(tài)有關(guān)的消息。通過控制器14的操作，以整體控制每個(gè)功能單元的操作的方式來控制移動(dòng)通信終端的整體操作。具體地講，控制器14根據(jù)通過鍵輸入單元18輸入的數(shù)字和菜單選擇信號(hào)執(zhí)行處理，通過相機(jī)20接收外部拍攝信號(hào)，根據(jù)外部拍攝信號(hào)執(zhí)行相應(yīng)處理，并輸出各種操作所需的圖像輸出信號(hào)(包括通過顯示單元24輸出相機(jī)拍攝圖像)。此時(shí)，根據(jù)需要，控制器14使存儲(chǔ)在存儲(chǔ)單元16中的內(nèi)容輸出，或?qū)?nèi)容存儲(chǔ)在存儲(chǔ)單元16中。存儲(chǔ)單元16存儲(chǔ)與控制器14的操作有關(guān)的多個(gè)程序和數(shù)據(jù)，還存儲(chǔ)使用便攜式終端所需的信息和相機(jī)拍攝圖像信息。具有這種配置的便攜式終端執(zhí)行與移動(dòng)通信服務(wù)有關(guān)的典型操作(包括相機(jī)功能)。此時(shí)，除了以上描述的功能，控制器14執(zhí)行根據(jù)本發(fā)明的全景圖像拍攝功能。另外，存儲(chǔ)單元16存儲(chǔ)用于在控制器14中執(zhí)行的根據(jù)本發(fā)明的全景圖像拍攝操作的操作程序和相關(guān)信息，并將相應(yīng)信息輸出到控制器14。根據(jù)本發(fā)明的示例性方面，當(dāng)執(zhí)行全景拍攝操作時(shí)，便攜式終端實(shí)時(shí)接收對(duì)象的圖像(與運(yùn)動(dòng)畫面類似)。另外，在便攜式終端移動(dòng)(可由用戶引起頁根據(jù)拍攝方向引起的移動(dòng))或由單獨(dú)的設(shè)備移動(dòng)便攜式終端(所述單獨(dú)的設(shè)備以所述終端與該設(shè)備一起裝配的方式允許便攜式終端自動(dòng)旋轉(zhuǎn))的情況下，便攜式終端通過將正輸入的當(dāng)前圖像與先前圖像進(jìn)行比較來確定/計(jì)算相應(yīng)便攜式終端的移動(dòng)，并檢測移動(dòng)方向和移動(dòng)程度。接著，便攜式終端執(zhí)行為獲得用于產(chǎn)生適當(dāng)?shù)娜皥D像的順序圖像的操作。以下，將參照附圖更詳細(xì)地描述根據(jù)本發(fā)明的圖像拍攝操作。圖5是示出根據(jù)本發(fā)明的示例性實(shí)施例的全景圖像拍攝操作的一個(gè)具體示例性操作的流程圖。參照?qǐng)D5，首先，在步驟200，設(shè)置用于全景圖像拍攝的各種拍攝環(huán)境，這在執(zhí)行實(shí)際全景圖像拍攝操作之前預(yù)先"^丸行。在步驟200,設(shè)置連接方向(例如，構(gòu)成全景畫面的每個(gè)圖像的上、下、左和右方向)，即拍攝方向。另外，設(shè)置將被連接以構(gòu)成全景畫面的拍攝圖像的數(shù)量。在步驟200,響應(yīng)于檢測到的通常由便攜式終端執(zhí)行的設(shè)置各種功能的菜單項(xiàng)(例如，在相機(jī)拍攝菜單的子菜單中的"全景畫面拍攝環(huán)境設(shè)置模式"菜單)的選擇來執(zhí)行全景畫面拍攝環(huán)境設(shè)置操作，從而將每個(gè)環(huán)境設(shè)置值設(shè)置為用戶的選擇。當(dāng)然，在便攜式終端中預(yù)先準(zhǔn)備了配置和操作程序，所述配置和操作程序?yàn)檫@種菜單選擇操作顯示相應(yīng)菜單項(xiàng)，并確認(rèn)從用戶到鍵輸入單元的鍵輸入。另外，在步驟200由用戶設(shè)置的全景畫面拍攝環(huán)境項(xiàng)的一些或全部可被固定為合適的值，例如，由開發(fā)人員預(yù)先設(shè)置和提供的默認(rèn)值。然后，在步驟210,響應(yīng)于檢測到的在便攜式終端的菜單項(xiàng)中(例如，在相機(jī)拍攝菜單的子菜單中)的"全景圖像拍攝模式"的選擇，可通過拍攝全景照片的第一全景圖像開始執(zhí)行全景拍攝。此時(shí)，通過類似于通常拍攝方法的方法通過從用戶輸入的快門來存儲(chǔ)全景畫面的第一圖像。然后，可基于將被描述的根據(jù)本發(fā)明的全景圖像拍攝方法來執(zhí)行后面的圖像拍攝處理。同樣地，當(dāng)開始全景畫面拍攝時(shí)，從開始點(diǎn)每預(yù)定時(shí)間單位(例如，一秒的1/15)實(shí)時(shí)地將輸入到拍攝設(shè)備的圖像存儲(chǔ)在存儲(chǔ)器中。即，輸入到拍攝設(shè)備中的圖像類似于運(yùn)動(dòng)畫面被輸入，從而構(gòu)成圖像的幀被存儲(chǔ)到每個(gè)存儲(chǔ)器中。這里，構(gòu)成圖像的幀是用于確認(rèn)相機(jī)的移動(dòng)的圖像。該幀可以僅用于運(yùn)動(dòng)確認(rèn)，或可以是全景畫面的一部分。因此，所述幀可以是與構(gòu)成全景畫面的圖像不同的圖像。在所述幀僅用于確認(rèn)相機(jī)的移動(dòng)的情況下，如果所述幀的圖像的質(zhì)量是在確認(rèn)相機(jī)的移動(dòng)的步驟(這將在下面進(jìn)行描述)中所需的質(zhì)量，則所述質(zhì)量足夠。換句話講，可將幀的像素?cái)?shù)量設(shè)置為確認(rèn)相機(jī)的移動(dòng)所需的像素?cái)?shù)量。在步驟215，如果從拍攝設(shè)備輸入了幀，則轉(zhuǎn)換幀，以將所述幀沖殳影到具有相同焦距的曲面(例如，圓柱面、球面等)。即，在步驟215,將構(gòu)成圖像幀的每個(gè)像素的色度值和顏色值應(yīng)用于圖像投影算法，從而產(chǎn)生被投影到圓柱面或球面的新圖像。例如，如果通過步驟210輸入的幀是圖2A和2B示出的圖像，則通過步驟215產(chǎn)生的新圖像可以是被轉(zhuǎn)換為與圖6A和圖6B示出的圖像相同的圖像。然后，在步驟220中使用通過步驟215產(chǎn)生的圖像。即，在以實(shí)時(shí)轉(zhuǎn)換按預(yù)定時(shí)間單位順序地輸入的圖像幀的方式產(chǎn)生的圖像中，通過使用在當(dāng)前時(shí)間單位輸入的圖像和在前一時(shí)間單位輸入的圖像來確認(rèn)相應(yīng)設(shè)備(即，相機(jī))的移動(dòng)。優(yōu)選地，在步驟220，獲得塊之間的運(yùn)動(dòng)矢量，并可確認(rèn)相機(jī)的移動(dòng)。另外，可通過將當(dāng)前幀和先前幀的具有適當(dāng)設(shè)置大小的圖像塊進(jìn)行相互比較和匹配來獲得塊之間的運(yùn)動(dòng)矢量。例如，可通過與當(dāng)對(duì)運(yùn)動(dòng)畫面編碼和解碼時(shí)傳統(tǒng)運(yùn)動(dòng)估計(jì)和運(yùn)動(dòng)補(bǔ)償技術(shù)中使用的方法類似的方法來獲得塊之間的運(yùn)動(dòng)矢量。在本發(fā)明的描述中，將與橫向方向(即，x軸)相應(yīng)的運(yùn)動(dòng)矢量定義為mi,x，將與垂直方向(即，y軸)相應(yīng)的運(yùn)動(dòng)矢量定義為mi,y(這里，i是幀號(hào))。然后，在步驟230，通過合適的用戶接口(UI)使用視覺或聽覺提示或者二者通知用戶移動(dòng)方向(相機(jī)需要在所述移動(dòng)方向上移動(dòng)，以根據(jù)在步驟220檢查到的相機(jī)的移動(dòng)拍攝全景圖像)。此時(shí)，可通過使用合適的圖標(biāo)等通過顯示單元來顯示相才幾優(yōu)選移動(dòng)的當(dāng)前方向。例如，在從左邊到右邊執(zhí)行當(dāng)前全景畫面拍攝的情況下，如果檢測到當(dāng)前相^/L正在左方向Af亭止/右方向移動(dòng)了x軸的運(yùn)動(dòng)矢量mi,x,則相^L可在預(yù)覽屏幕上顯示指示右方向的箭頭的圖標(biāo)，以引導(dǎo)用戶在合適的全景畫面拍攝方向上移動(dòng)相機(jī)。例如，代替視覺提示或除了視覺提示之外，還可輸出聽覺提示(例如，諸如"向右移動(dòng)"的字或短語)。另外，在根據(jù)下面的式(1)將y軸的運(yùn)動(dòng)矢量mi,y累加從而當(dāng)前相機(jī)的位置值向向上或向下方向偏離預(yù)定臨界值(下面式(1)中的％)的情況下，可在預(yù)覽屏幕上顯示用于警告用戶相機(jī)偏離的合適形狀的圖標(biāo)。糊4…(1)然后，在步驟240,根據(jù)在步驟220確認(rèn)的相機(jī)的移動(dòng)來確認(rèn)當(dāng)前時(shí)間是否為每個(gè)圖像必須被拍攝的時(shí)刻。如果是每個(gè)圖像被拍攝的時(shí)刻，則步驟240進(jìn)行到步驟250，否則，步驟240進(jìn)行到步驟220,從而重復(fù)執(zhí)行以上描述的過程。例如，在從左方向到右方向執(zhí)行當(dāng)前全景圖像拍攝的情況下，根據(jù)式(2)累加x軸的運(yùn)動(dòng)矢量mi,x。如果如式(2)所示累加的值達(dá)到預(yù)定臨界值(下面式(2)中的5),則可確定現(xiàn)在是當(dāng)前圖像的拍攝時(shí)刻。2辦(,r^…(2)然后，在步驟250，獲得相應(yīng)圖像，此時(shí)，可與關(guān)于相機(jī)方向的通知類似地通過合適的UI通知用戶相機(jī)的當(dāng)前位置對(duì)應(yīng)于圖像拍攝時(shí)刻的事實(shí)。另外，通過基于預(yù)定拍攝環(huán)境(例如，基于以被動(dòng)方式還是以自動(dòng)方式拍攝全景畫面)根據(jù)通過用戶輸入的快門執(zhí)行圖像拍攝操作來獲得圖像，或可自動(dòng)執(zhí)行圖像拍攝操作。當(dāng)然，在步驟200,可與全景畫面拍攝環(huán)境的設(shè)置一起來執(zhí)行全景畫面被動(dòng)/自動(dòng)拍攝的設(shè)置。此外，在自動(dòng)執(zhí)行拍攝操作的情況下，沒有任何改變地使用輸入以確認(rèn)相機(jī)的移動(dòng)的圖像幀，或可獲得被投影到圓柱面或球面的圖像幀作為構(gòu)成全景畫面的圖像。另外，可以以將拍攝獲得的圖像投影到具有相同焦距的曲面的方式來生成構(gòu)成全景畫面的圖像。接著，在拍攝圖像的步驟250之后，在步驟260，確認(rèn)拍攝的當(dāng)前圖像的數(shù)量是否達(dá)到預(yù)定圖像的總數(shù)量。如果確認(rèn)拍攝的當(dāng)前圖像的數(shù)量沒有達(dá)到總數(shù)量，則步驟260返回步驟220,以重復(fù)執(zhí)行上述過程。如果確認(rèn)拍攝的當(dāng)前圖像的數(shù)量已達(dá)到總數(shù)量，則全景拍攝完成。此時(shí)，當(dāng)步驟260返回步驟220時(shí)，將運(yùn)動(dòng)矢量(具體地講，作為x軸的運(yùn)動(dòng)矢量mu的總和的I])的值復(fù)位為初始值(O)。另外，在完成全景拍攝之后，將拍攝的全景圖像彼此連接，以產(chǎn)生一個(gè)全景畫面。為了平滑地連接這些圖像，可應(yīng)用通常的圖像處理方法(例如，對(duì)齊、縫合或彎曲)。根據(jù)圖5示出的整個(gè)過程，可理解，例如在拍攝全景的過程中可根據(jù)拍攝方向從左邊到右邊來移動(dòng)拍攝設(shè)備。盡管以上將移動(dòng)公開為由用戶實(shí)現(xiàn)，但可存在圖像捕獲的自動(dòng)移動(dòng)，并且視覺或聽覺提示不是必須的。在本發(fā)明中，假設(shè)以預(yù)定速度輸入圖像幀，以在全景畫面拍攝的操作期間將所述圖像幀投影到圓柱面或球面。另外，假設(shè)在所有輸入的圖像幀上沒有發(fā)生運(yùn)動(dòng)模糊現(xiàn)象。因此，盡管相機(jī)執(zhí)行全景畫面拍攝，^a相機(jī)以預(yù)定速度從左邊移動(dòng)到右邊，以獲得具有預(yù)定寬度的圖像，所述圖像彼此自動(dòng)重疊。另外，將根據(jù)拍攝方向(例如，從左邊到右邊的方向)的輸入圖像的運(yùn)動(dòng)矢量(例如，x軸的運(yùn)動(dòng)矢量mi，x)累加。因此，每當(dāng)累加的值達(dá)到預(yù)定臨界值(W時(shí)，可獲得每個(gè)圖像。基于此，如果當(dāng)設(shè)置全景畫面拍攝環(huán)境時(shí)設(shè)置全景畫面被自動(dòng)拍攝，則當(dāng)用戶移動(dòng)拍攝設(shè)備時(shí)構(gòu)成全景畫面的每個(gè)圖像在適當(dāng)?shù)奈恢锰幈蛔詣?dòng)獲得(根據(jù)臨界值q)。同時(shí)，以下將描述包括步驟215的詳細(xì)過程的通過投影輸入的圖像幀來獲得新圖像(以下，稱為投影的圖像)的方法。盡管描述了根據(jù)將在下面描述的方法將圖像幀投影到圓柱空間，但這僅為了示出的目的以幫助理解，而不限制本發(fā)明。圖7是示出根據(jù)依據(jù)本發(fā)明的一個(gè)示例性實(shí)施例的全景畫面拍攝方法的圖像幀、投影的圖像和對(duì)象之間的關(guān)系的構(gòu)思的示圖。參照?qǐng)D7，通過使用坐標(biāo)(X，Y，Z)指示對(duì)象的三維空間的點(diǎn)，通過使用(x,y)指示通過相機(jī)被處理為二維的圖像幀的點(diǎn)。圖像坐標(biāo)系將圖像幀的中心作為原點(diǎn)。將圖像幀I的寬度定義為W,將圖像幀I的高度定義為H。將與通過相機(jī)輸入的圖像幀的坐標(biāo)(x,y)相應(yīng)的〗象素定義為I(x，y)。在(x,y)為整lt的情況下，I(x,y)準(zhǔn)確地指示與(x，y)相應(yīng)的像素值，在(x,y)為實(shí)數(shù)的情況下，I(x，y)指示通過使用從四個(gè)周圍的像素通過線性插值獲得的結(jié)果來表示的i象素值?？赏ㄟ^使用下面的式(3)將作為三維空間的坐標(biāo)的P-(X,Y，Z)轉(zhuǎn)換成作為半徑為R的圓柱體的圓柱坐標(biāo)的(賊"一，逸,。<formula>formulaseeoriginaldocumentpage13</formula>此時(shí)，假設(shè)相機(jī)朝著z軸，而相機(jī)的中心被設(shè)置為三維空間的坐標(biāo)的中心，相機(jī)的y軸旋轉(zhuǎn)平行地對(duì)應(yīng)于圓柱面的水平方向上的移動(dòng)，從而三維的點(diǎn)P-(X，Y，Z)可對(duì)應(yīng)于圖像和圓柱坐標(biāo)的點(diǎn)，如下面的式(4)所示。<formula>formulaseeoriginaldocumentpage13</formula>因此，位于拍攝的圖像幀的點(diǎn)(x,y)對(duì)應(yīng)于圓柱坐標(biāo)上的<formula>formulaseeoriginaldocumentpage14</formula>的圖像幀上的點(diǎn)<formula>formulaseeoriginaldocumentpage14</formula>,相反，圓柱坐標(biāo)上的點(diǎn)<formula>formulaseeoriginaldocumentpage14</formula>對(duì)應(yīng)于拍攝結(jié)果，圓柱體上的<formula>formulaseeoriginaldocumentpage14</formula>可被表示為<formula>formulaseeoriginaldocumentpage14</formula>可將代入了<formula>formulaseeoriginaldocumentpage14</formula>的位于通過計(jì)算的拍攝的圖像幀的點(diǎn)(x,y)轉(zhuǎn)換成圓柱體上的點(diǎn)(u，v)?；诖?，可將位于拍攝的圖像幀的點(diǎn)(x,y)轉(zhuǎn)換成圓柱體上的點(diǎn)(u,v),從而可將拍攝的圖像幀(I)^L影到圓柱體空間。此外，在通過使用以上描述的方案將拍攝的圖像幀投影到圓柱體空間的情況下，計(jì)算量大，從而會(huì)難以在有限硬件水平下實(shí)時(shí)實(shí)現(xiàn)這種計(jì)算。優(yōu)選地，通過使用該方案將圖像幀投影到圓柱體空間，這將在下面進(jìn)行描述。如果通過使用反投影方案獲得圓柱體空間的投影的結(jié)果，則如上所述，結(jié)果與式(5)相同，從而可針對(duì)圓柱體空間上的特定點(diǎn)獲得適當(dāng)?shù)南袼刂怠?lt;formula>formulaseeoriginaldocumentpage14</formula>然而，難以僅通過固定點(diǎn)計(jì)算來獲得式(5)。因此，在本發(fā)明中，為了解決實(shí)現(xiàn)傳統(tǒng)浮點(diǎn)計(jì)算的問題，可按將式(5)近似為式(6)的方式來將式(5)改變成適合固定點(diǎn)計(jì)算。<formula>formulaseeoriginaldocumentpage14</formula>以下，在式(6)中實(shí)現(xiàn)近似""Asm("'",可將圓柱體空間坐標(biāo)的點(diǎn)爭,對(duì)=(朋民疇表示為根據(jù)下面的式(7)定義的拍攝的圖像。<formula>formulaseeoriginaldocumentpage14</formula>近似式(例如，式(7))的最大優(yōu)點(diǎn)是不用實(shí)數(shù)計(jì)算就可實(shí)現(xiàn)。不用實(shí)數(shù)計(jì)算就可計(jì)算平方根式。因此，在無法進(jìn)行浮點(diǎn)計(jì)算的情況下，可按較簡單的方式實(shí)現(xiàn)這種近似式。同時(shí)，根據(jù)下面的式(8)可定義R,以使輸出圖像的放大大約等于輸入圖像的放大。<formula>formulaseeoriginaldocumentpage15</formula>(8)最后，當(dāng)在近似滿足-杯12^a,/2、-^/2"《iZ/2的范圍內(nèi)(u,v)變成式(9)的值時(shí)，可獲得投影到圓柱體空間的圖像。即，可通過下面的式(9)的計(jì)算來獲得投影到圓柱體空間的圖像。<formula>formulaseeoriginaldocumentpage15</formula>(9)此外，如果執(zhí)行以上計(jì)算的程序被實(shí)現(xiàn)為偽代碼，則可被表示為下面的表(1)。表1<table>tableseeoriginaldocumentpage15</column></row><table>用于投影到圓柱體空間的算法<formula>formulaseeoriginaldocumentpage15</formula>另外，如上所述，盡管可按通過計(jì)算^W一"2獲得與圖像的二維表面上的<formula>formulaseeoriginaldocumentpage15</formula>相應(yīng)的像素值的方式獲得與圓柱面上的(u,v)相應(yīng)的像素值，但按通過使用y軸對(duì)稱性、x軸對(duì)稱性和原點(diǎn)對(duì)稱性獲得位于—敘;<formula>formulaseeoriginaldocumentpage15</formula>的像素值的方式，不用單獨(dú)計(jì)算就可獲得與(一隊(duì)^、(",—v)和(—"、—力相應(yīng)的像素值。另外，以下將簡要描述只通過整數(shù)計(jì)算來產(chǎn)生—"》的表的過程。在Vw2-"2=-7的情況下，可通過對(duì)Vi212=z的兩邊平方來獲得<formula>formulaseeoriginaldocumentpage16</formula>，從而<formula>formulaseeoriginaldocumentpage16</formula>可以是一個(gè)圓的表達(dá)式。通常，"和Z具有實(shí)數(shù)值。然而，為了表示圓，雙和Z必須總為整數(shù)，如圖9所示。因此，基于以上描述的事實(shí)，優(yōu)選地通過將Bresenham類型算法應(yīng)用于本發(fā)明來獲得根據(jù)本發(fā)明的圖像投影所需的平方根。詳細(xì)地講，為了通過將Bresenham類型算法應(yīng)用于本發(fā)明來獲得根據(jù)本發(fā)明的圖像投影所需的平方根，首先，可如下面的式(10)來定義誤差函數(shù)。在u和z存在于圓周上的情況下，如上所述定義的誤差函數(shù)的值變成0。同時(shí)，在u和z不在圓周上的情況下，隨著它們接近圓周，誤差函數(shù)的值變成接近0的值。參照?qǐng)D9，u的值總是增加l。同時(shí)，z的值等于先前值，或者是比先前值小1的值。通過使用該特性，用誤差函數(shù)的z和z-l來代替u，而u的值增加1,并且將兩個(gè)值進(jìn)行相互比較，然后，采用可使誤差函數(shù)較小的x值?？蓪⑦@種方案示出為表2中公開的偽代碼。u和z的初始值(例如，uQ和Z())分別是0和R。這是與黑顏色像素對(duì)應(yīng)的位置。為了找到下一像素的位置，將與黑顏色像素的上邊和左上邊相應(yīng)的坐標(biāo)的值輸入到如上描述定義的誤差函數(shù)，并將獲得的兩個(gè)值進(jìn)行相互比較。即，用l代替u,,用R和R-l代替z,，從而將誤差函數(shù)的兩個(gè)值進(jìn)行相互比較。將誤差函數(shù)的兩個(gè)值中較小的一個(gè)中z,的值定義為Zw的值。在圖9中，z,w變成R?？赏ㄟ^這種計(jì)算來獲得與每個(gè)u相應(yīng)的z的值。因此，不需要直接獲得平方根，如果輸入了<formula>formulaseeoriginaldocumentpage16</formula>中u的值，則可獲得相應(yīng)z值(即，—"2的值)。同樣地，可獲得根據(jù)本發(fā)明的圖像投影所需的平方根。同時(shí)，通過在步驟220使用當(dāng)前輸入圖像和先前輸入圖像來確認(rèn)拍攝設(shè)備的移動(dòng)就是根據(jù)本發(fā)明檢測幀的圖像塊之間的運(yùn)動(dòng)矢量。以下，將更詳細(xì)地描述該方法。作為一種匹配幀之間的圖像塊并檢測它們之間的運(yùn)動(dòng)矢量的技術(shù)，可應(yīng)用通常在運(yùn)動(dòng)圖像(通常，廣播圖像)壓縮技術(shù)(例如，MPEG-4、R264等)中使用的運(yùn)動(dòng)估計(jì)技術(shù)。然而，因?yàn)閷?shí)際全景圖像拍攝使用預(yù)覽圖像，所以與理想廣播圖像相比，預(yù)覽圖像不具有預(yù)覽幀之間的低的相關(guān)性和較高的曝光校正。因此，在應(yīng)用通常的運(yùn)動(dòng)估計(jì)技術(shù)的情況下，難以找到準(zhǔn)確的匹配塊。此外，通常的運(yùn)動(dòng)估計(jì)技術(shù)是基于有效壓縮方案的技術(shù)，從而該技術(shù)需要非常復(fù)雜的計(jì)算方案(例如，用于檢測運(yùn)動(dòng)矢量的方案)，該技術(shù)方案將塊(宏塊)的大小進(jìn)行再分。因此，需要一種適合于全景畫面拍攝的具體情況的運(yùn)動(dòng)矢量檢測方案。因此，當(dāng)捕獲輸入圖像的先前幀和當(dāng)前幀之間的運(yùn)動(dòng)時(shí)，通過使用預(yù)定區(qū)域中的圖像塊來捕獲該運(yùn)動(dòng)。此時(shí)，不使用通常的運(yùn)動(dòng)估計(jì)技術(shù)，而是提出了考慮相機(jī)拍攝的具體環(huán)境的基于曝光校正的運(yùn)動(dòng)估計(jì)技術(shù)。此時(shí)，當(dāng)執(zhí)行拍攝操作時(shí)，以足夠快以允許預(yù)覽通常與計(jì)算操作同時(shí)操作的速度來進(jìn)行獲得運(yùn)動(dòng)矢量的計(jì)算。因此，為了減小計(jì)算量，可使用整個(gè)圖像。另外，根據(jù)預(yù)覽速度、對(duì)象的相關(guān)大小和距對(duì)象的距離，盡可能多地變化地控制用于找到運(yùn)動(dòng)矢量的參考?jí)K。由于預(yù)覽圖像的特性，預(yù)覽圖像的幀之間的相關(guān)性不高于壓縮圖像的幀之間的相關(guān)性。因此，為了使預(yù)覽圖像的幀之間的相關(guān)性最大化，可使用單個(gè)塊搜索方法。圖10是詳細(xì)示出圖5的相機(jī)移動(dòng)確認(rèn)操作(例如，步驟220中的操作)的示例性步驟的流程圖。以下，參照?qǐng)D10，將更詳細(xì)地描述根據(jù)本發(fā)明的運(yùn)動(dòng)估計(jì)才喿作。在步驟222，設(shè)置具有可變形狀的塊，以獲得當(dāng)前幀和先前幀之間的運(yùn)動(dòng)矢量。在預(yù)覽圖像中執(zhí)行運(yùn)動(dòng)估計(jì)的情況下，具體地講，在拍攝設(shè)備具有性能差的傳感器并引起用戶的手強(qiáng)烈抖動(dòng)的情況下，如果應(yīng)用了使用大小較小、與在運(yùn)動(dòng)圖像壓縮方法中使用的塊類似的塊(通常，具有416個(gè)像素大小的矩形塊)的運(yùn)動(dòng)估計(jì)，則將塊之間的矢量誤差累加，從而難以找到準(zhǔn)確的運(yùn)動(dòng)矢量值。因?yàn)閴K之間的矢量誤差的累加，在本發(fā)明的示例性實(shí)施例中，使用少量大小相對(duì)大的塊(例如，一個(gè)塊)的方法，以找到使用的運(yùn)動(dòng)矢量值。此時(shí)，通過使用預(yù)覽裝置的預(yù)覽性能、對(duì)象的大小、距對(duì)象的距離和關(guān)于將被搜索的空間的距離信息來變化地控制一個(gè)塊的大小。圖ll是示出在幀中被變化地確定的塊的大小的示例的示圖。在圖11中，搜索范圍(SR)是搜索區(qū)域，塊大小(BK)是塊的大小。SR是用于搜索將與相應(yīng)幀內(nèi)的參考?jí)K匹配的塊的區(qū)域，可將幀的整個(gè)區(qū)域設(shè)置為SR。然而，可將基于相應(yīng)幀內(nèi)的參考?jí)K的位置的適當(dāng)?shù)膮^(qū)域設(shè)置為SR,而不使用幀的整個(gè)圖像。前面提到的可將適當(dāng)?shù)膮^(qū)域設(shè)置為SR的原因是因?yàn)轭A(yù)先阻止了對(duì)將被預(yù)測為不必要區(qū)域的區(qū)域(例如，幀的邊緣)的搜索操作，以增加效率。在本發(fā)明的示例性實(shí)施例中，可變化地設(shè)置這種SR和塊的大小。例如，在拍攝短距離對(duì)象或具有相對(duì)大的大小的對(duì)象的情況下，如果塊的大小變大，并且SR減小，則可獲得更準(zhǔn)確的運(yùn)動(dòng)矢量。另一方面，在拍攝長距離對(duì)象或具有相對(duì)小的大小的對(duì)象的情況下，如果塊的大小變小，并且SR擴(kuò)大，則可獲得更準(zhǔn)確的運(yùn)動(dòng)矢量。另外，在拍攝設(shè)備的預(yù)覽性能不好的情況下，例如，如果SR被過分?jǐn)U大，則計(jì)算量增加。因此，找到運(yùn)動(dòng)矢量花費(fèi)的時(shí)間長，從而幀的速度相對(duì)較慢。另外，即使獲得準(zhǔn)確的運(yùn)動(dòng)矢量，如果幀的速度慢以使幀之間的圖像差較大，則由圖像差引起的誤差也可被累加。因此，當(dāng)在相機(jī)預(yù)覽中提取運(yùn)動(dòng)矢量時(shí)，通過使用諸如對(duì)象檢測器的方法，或通過使用自動(dòng)輸入信息(例如，焦距等)或來自用戶的被動(dòng)輸入信息(可在用戶設(shè)置信息中被預(yù)測的距離信息或?qū)ο笮畔?，例如，短距離拍攝模式或風(fēng)景模式、用戶模式等)來獲得與將被拍攝的對(duì)象有關(guān)的基本信息?；谠摶拘畔?，可根據(jù)拍攝距離和對(duì)象的大小來設(shè)置SR。另外，可根據(jù)相應(yīng)拍攝設(shè)備的預(yù)覽性能考慮計(jì)算量來設(shè)置塊的標(biāo)準(zhǔn)大小。如果沒有設(shè)置當(dāng)前塊的大小(例如，在第一次執(zhí)行運(yùn)動(dòng)提取操作的情況下)，則只執(zhí)行一次在步驟222中設(shè)置具有不同大小的塊的操作，并且使用具有最初設(shè)置的大小的塊，直到相應(yīng)的全景圖像拍攝操作被順序地完成。然后，在步驟224,通過使用具有在步驟222中設(shè)置的大小的塊來執(zhí)行確認(rèn)當(dāng)前幀和先前幀之間的匹配塊的操作。用于找到匹配塊的方案基本上使用將被相互比較的塊的像素的誤差信息。在兩塊之間的誤差最小的情況下，相應(yīng)塊被認(rèn)為是匹配塊?？赏ㄟ^計(jì)算數(shù)學(xué)函數(shù)(例如，絕對(duì)差之和(SAD)、平方差之和(SSD)等)來獲得誤差信息。例如，可通過計(jì)算下面的式(11)來獲得誤差信息。即，可通過計(jì)算在步驟224中的運(yùn)動(dòng)畫面壓縮技術(shù)中通常使用的SAD和SSD來獲得誤差信息。SADE(m，n)=》1,(a,b)-I2(a+m，b+n)|a,be塊SSDE(m,n)=》1,(a,b)-I2(a+m，b+n)}2a，b魂在上面的式(11)中，I!和l2分別是幀(即，先前幀和當(dāng)前幀)內(nèi)塊的相應(yīng)位置(將先前幀中參考?jí)K的像素位置定義為a、b,將當(dāng)前塊中將被搜索的塊的像素位置定義為a+m、b+n)的像素值(亮度或每種顏色)。然而，作為理想方案，可通過計(jì)算以上描述的函數(shù)來獲得兩塊之間的誤差信息。然而，在實(shí)際拍攝環(huán)境下，可存在彼此相鄰的兩幀(例如，從對(duì)象直接輸入的圖像幀)之間的曝光差異。因此，無法準(zhǔn)確地獲得兩塊之間的誤差信息。因此，需要一種考慮曝光差異來獲得誤差信息的方法。因此，在本發(fā)明中，如式(12)所示，可通過使用考慮曝光差異的誤差函數(shù)來獲得兩塊之間的誤差信息。^修改的SADE(m,n)-Sll,(a,b)-i廣(I2(a+m,b+n)-I2(a,b))|》務(wù)改的SSDE(m,n)=Z{1'(a,b)—I,—(12(a+m，b+n)-12(a，b))}2a,be塊…(12)這里，1,和12分別是幀(即，先前幀和當(dāng)前幀)內(nèi)的塊的像素的平均值。參照式(12)，作為為了獲得誤差信息的本發(fā)明中提出的方案，以根據(jù)相應(yīng)圖像塊的平均值校正每個(gè)幀的相應(yīng)塊的每個(gè)像素值的方式(以在上面的式(12)中排除平均值的方式)來執(zhí)行曝光校正。此外，因?yàn)樵谙惹皫泄潭藟K的位置(即，參考?jí)K為一個(gè))，所以只一次就可獲得t。然而，為了找到將與先前幀的塊最佳程度匹配的塊，必須搜索具有相同大小的所有塊。因此，每當(dāng)執(zhí)行這種搜索時(shí)，必須獲得相應(yīng)塊的像素的平均值。具體地講，對(duì)所有塊計(jì)算^(m，n)。另外，在每次將塊中所有像素相加并獲得所有像素的平均值中需要大量計(jì)算。因此，本發(fā)明公開了一種通過使用整個(gè)圖像減小計(jì)算量的方案。整個(gè)圖像是從圖像的左上端到相應(yīng)坐標(biāo)的像素構(gòu)成的圖像，整個(gè)圖像的值是整個(gè)圖像中包括的像素值的總和。例如，在圖6A中，整個(gè)圖像是由虛線指示的塊區(qū)域的圖像，整個(gè)區(qū)域的值表示區(qū)域中包括的像素的總和。具體地講，Iintg(0,O)是(O，O)處的像素值，可通過計(jì)算Ii噸(width-l,height-l)來獲得給定圖像的所有像素的總和。當(dāng)使用這種整個(gè)圖像時(shí)，通過利用與期望區(qū)域的四個(gè)頂點(diǎn)相應(yīng)的像素值之間的差和總和，可獲得所述區(qū)域內(nèi)的像素值的總和?？赏ㄟ^使用作為四個(gè)頂點(diǎn)的(a,，b0、(a2，b2)、(a3,b3)、(a4,14)的像素值來獲得與圖12B中由虛線指示的塊區(qū)域相應(yīng)的像素值的總和，如式(13)所示。<formula>formulaseeoriginaldocumentpage20</formula>根據(jù)本發(fā)明的示例性實(shí)施例，在如上所述預(yù)先測量針對(duì)當(dāng)前幀的整個(gè)圖像之后，可通過使用這種整個(gè)圖像來簡單地獲得塊的所有像素的平均值，即I2(m，n)。如果在步驟224中檢查當(dāng)前幀和先前幀之間的匹配塊，則然后獲得兩塊之間的運(yùn)動(dòng)矢量(即，與x軸相應(yīng)的運(yùn)動(dòng)矢量作為mi,x，與y軸相應(yīng)的運(yùn)動(dòng)矢量作為mi,y)。同樣，可如上所述執(zhí)行全景圖像拍攝操作。同時(shí)，盡管在本發(fā)明中描述了詳細(xì)的實(shí)施例，但在不脫離本發(fā)明的范圍的情況下，可對(duì)這些實(shí)施例進(jìn)4于各種i務(wù)改。例如，為了以通常方式找到運(yùn)動(dòng)矢量，使用用于找到關(guān)于平面圖像的運(yùn)動(dòng)矢量的方案。通過該方案，可在通常的壓縮圖像或廣播圖像的范圍內(nèi)獲得較好結(jié)果。然而，在獲得運(yùn)動(dòng)矢量以執(zhí)行全景圖像拍攝的情況下，獲得運(yùn)動(dòng)矢量的原因在于獲得更準(zhǔn)確的全景畫面。此外，優(yōu)選地，可考慮設(shè)備的預(yù)覽速度特性通過使用跳幀來獲得運(yùn)動(dòng)矢量。具體地講，在壓縮運(yùn)動(dòng)畫面的情況下，在每一幀中矢量信息是重要的，從而在每一幀中執(zhí)行運(yùn)動(dòng)估計(jì)操作。然而，在用于根據(jù)本發(fā)明的全景畫面拍攝的運(yùn)動(dòng)估計(jì)操作中，每一幀中的信息并非必然是重要的。因此，根據(jù)本發(fā)明的另一示例性實(shí)施例，在根據(jù)每種情況適當(dāng)?shù)靥鴰?例如，一幀或兩幀)的同時(shí)執(zhí)行運(yùn)動(dòng)估計(jì)操作。在這種情況下，可減小計(jì)算所用的時(shí)間量以及根據(jù)跳幀的計(jì)算量，以保證較大的搜索區(qū)域。同樣，可執(zhí)行更準(zhǔn)確的運(yùn)動(dòng)矢量計(jì)算操作。另外，盡管描述了在拍攝全景畫面中由用戶移動(dòng)根據(jù)本發(fā)明的拍才菱設(shè)備，但在根據(jù)本發(fā)明的拍攝設(shè)備裝配有單獨(dú)的移動(dòng)設(shè)備的狀態(tài)下，將沒有任何改變的本發(fā)明應(yīng)用于所述拍攝設(shè)備自動(dòng)移動(dòng)的情況是在本發(fā)明的精神和權(quán)利要求的范圍內(nèi)。另外，盡管描述了在拍攝全景畫面中全景圖像拍攝方向是水平方向或垂直方向，但將本發(fā)明應(yīng)用于全景圖像拍攝方向是用水平方向和垂直方向混合的方向的情況(在將構(gòu)成全景畫面的多個(gè)圖像在垂直和橫向方向上布置成拼接形狀的情況下)是在本發(fā)明的精神和權(quán)利要求的范圍內(nèi)。另外，應(yīng)該理解，除了以上描述的方式之外，還可以以各種方式來顯示各種UI。另外，本領(lǐng)域的技術(shù)人員將理解，可進(jìn)行各種修改、添加和替換。因此，以上示例性實(shí)施例不限制本發(fā)明的范圍。權(quán)利要求1、一種全景畫面拍攝方法，包括以下步驟:(a)在拍攝每個(gè)單獨(dú)圖像中將包括在每個(gè)預(yù)定時(shí)間單位中連續(xù)輸入的多個(gè)單獨(dú)圖像的圖像投影到具有相同焦距的虛曲面，并構(gòu)成包括投影的圖像的全景畫面；(b)通過使用應(yīng)用了曝光校正的運(yùn)動(dòng)估計(jì)技術(shù)以將投影的圖像和先前圖像進(jìn)行實(shí)時(shí)比較的方式來確認(rèn)相應(yīng)拍攝設(shè)備的移動(dòng)；(c)通過確認(rèn)根據(jù)拍攝方向在步驟(b)中的確認(rèn)的移動(dòng)達(dá)到預(yù)定臨界值來確定每個(gè)單獨(dú)圖像的拍攝時(shí)刻；(d)自動(dòng)或通過被動(dòng)輸入在拍攝時(shí)刻拍攝每個(gè)單獨(dú)圖像。2、如權(quán)利要求1所述的全景畫面拍攝方法，其中，在步驟(b)中使用曝光校正的運(yùn)動(dòng)估計(jì)技術(shù)中，通過使用將被相互比較的幀的圖像塊的像素之間的誤差信息來獲得彼此匹配的圖像塊之間的運(yùn)動(dòng)矢量，并根據(jù)每個(gè)相應(yīng)圖像塊的平均值來校正每個(gè)塊中的每個(gè)像素，以應(yīng)用曝光校正。3、如權(quán)利要求2所述的全景畫面拍攝方法，其中，通過下面式(l)計(jì)算絕對(duì)差之和SAD或平方差之和SSD來獲得誤差信息修改的SADE(m,n)=》I,(a,b)-1,-(I2(a+m,b+n)-12(a，b))1修改的SSDE(m，n)=Z{I,(a，b)-1,—(12(a+m,b+n)—12(a，b))}2a,b魂其中，I!和l2分別是先前幀和當(dāng)前幀內(nèi)圖像塊中a、b位置和a+m、b+n位置的像素值，L和^分別是先前幀和當(dāng)前幀內(nèi)圖像塊的相應(yīng)像素的平均值。4、如權(quán)利要求3所述的全景畫面拍攝方法，其中，在獲得了像素的平均值的情況下，預(yù)設(shè)針對(duì)當(dāng)前幀的整個(gè)圖像，并計(jì)算整個(gè)圖像中包括的像素的平均值。5、如權(quán)利要求1所述的全景畫面拍攝方法，其中，虛曲面是具有距參考點(diǎn)相同焦距的圓柱面或球面。6、如權(quán)利要求1所述的全景畫面拍攝方法，其中，在步驟(a)的投影圖像的過程中，根據(jù)下面的式(2)計(jì)算與將圖像幀的中心作為原點(diǎn)的圖像坐標(biāo)系中的點(diǎn)(x,y)相應(yīng)的^^素:f、、'"t〖2，,-M-乂...(2)其中，/是每個(gè)圖像的焦距，6是圖像之間的旋轉(zhuǎn)角度，將圖像幀的中心作為原點(diǎn)的圖像坐標(biāo)系是(x,力，與點(diǎn)(jc，力的位置相應(yīng)的像素是l(x，力，R是半徑，基于該半徑R形成的圓柱坐標(biāo)是麵力=(朋'v)。7、如權(quán)利要求6所述的全景畫面拍攝方法，其中，與投影的圖像中包括的像素相應(yīng)的點(diǎn)(u，v)滿足式(3)和式(4)中每一個(gè)范圍—F/2《w《砂'/2…(3)這里，『是圖像幀/的寬度，-i//2《vSH72…(4)這里，H是圖像幀I的高度。8、如權(quán)利要求6所述的全景畫面拍攝方法，其中，通過利用Bresenham類型算法的整數(shù)計(jì)算來獲得#2-"4。9、如權(quán)利要求6所述的全景畫面拍攝方法，其中，通過使用針對(duì)(u，v)的y軸對(duì)稱、x軸對(duì)稱和原點(diǎn)對(duì)稱來獲得分別與(-u,v)、(u,-v)、(-u,-v)相應(yīng)的像素值。10、如權(quán)利要求6所述的全景畫面拍攝方法，其中，通過下面的式(5)來獲得計(jì)算圓柱坐標(biāo)的半徑R:.逸-(f.fa,…(5)其中，W是圖像/的寬度。11、如權(quán)利要求2所述的全景畫面拍攝方法，其中，當(dāng)獲得每個(gè)圖像塊之間的運(yùn)動(dòng)矢量時(shí)，使用單個(gè)塊搜索方案。12、如權(quán)利要求2所述的全景畫面拍攝方法，其中，根據(jù)預(yù)覽性能、距對(duì)象的距離和/或拍攝模式信息來變化地設(shè)置圖像塊。13、如權(quán)利要求12所述的全景畫面拍攝方法，包括與圖像塊一起變化地設(shè)置用于搜索匹配塊的搜索區(qū)域。14、一種全景畫面拍攝方法，在所述方法中，確認(rèn)拍攝設(shè)備的移動(dòng)，所述方法包括(a)將包括實(shí)時(shí)輸入的多個(gè)單獨(dú)圖像的圖像投影到具有相同焦距的虛曲面，并獲得投影的圖像；(b)確認(rèn)投影的圖像的當(dāng)前輸入幀和先前輸入幀之間的匹配圖像塊；(c)通過獲得確認(rèn)的匹配圖像塊之間的運(yùn)動(dòng)矢量來確認(rèn)拍攝設(shè)備的移動(dòng)，其中，在確認(rèn)圖像塊彼此匹配的步驟中，根據(jù)相應(yīng)圖像塊的平均值來校正各個(gè)幀的圖像塊的各個(gè)像素，并通過使用關(guān)于在各個(gè)幀的圖像塊之間彼此進(jìn)行比較的各個(gè)校正的像素的誤差信息來從步驟(b)獲得匹配圖像塊之間的運(yùn)動(dòng)矢量。15、如權(quán)利要求14所述的方法，其中，在步驟(b)中的確認(rèn)匹配圖像塊的步驟包括確定在什么位置兩個(gè)相應(yīng)圖像塊的像素值之間的誤差最小。16、如權(quán)利要求14所述的方法，其中，移動(dòng)相機(jī)獲得單獨(dú)圖像，以根據(jù)相機(jī)的移動(dòng)來拍攝全景圖像。17、如權(quán)利要求16所述的方法，其中，用于獲得單獨(dú)圖像的相機(jī)的移動(dòng)是自動(dòng)的。18、如權(quán)利要求16所述的方法，還包括通過用戶接口通知用戶移動(dòng)相機(jī)以獲得每個(gè)單獨(dú)圖像。19、如權(quán)利要求18所述的方法，其中，通過提供聽覺提示來執(zhí)行通知用戶。20、如權(quán)利要求18所述的方法，其中，通過提供視覺提示來執(zhí)行通知用戶。全文摘要提供了一種拍攝全景畫面的方法。全景畫面拍攝方法在不用附加裝備或單獨(dú)裝置和硬件的情況下允許更準(zhǔn)確拍攝對(duì)象的圖像(具體地講，對(duì)象的全景圖像)。所述方法包括在拍攝構(gòu)成全景畫面的每個(gè)圖像中將在每個(gè)預(yù)定時(shí)間單位中連續(xù)輸入的圖像投影到具有相同焦距的虛曲面以獲得投影的圖像；通過使用應(yīng)用了曝光校正的運(yùn)動(dòng)估計(jì)技術(shù)以將投影的圖像和先前圖像進(jìn)行實(shí)時(shí)比較的方式來確認(rèn)相應(yīng)拍攝設(shè)備的移動(dòng)；通過確認(rèn)根據(jù)拍攝方向的相應(yīng)拍攝設(shè)備的確認(rèn)的移動(dòng)達(dá)到預(yù)定臨界值來確定每個(gè)圖像的拍攝時(shí)刻；根據(jù)被動(dòng)輸入或自動(dòng)地在每個(gè)圖像的拍攝時(shí)刻拍攝每個(gè)圖像。文檔編號(hào)G03B37/04GK101377616SQ200810213358公開日2009年3月4日申請(qǐng)日期2008年8月27日優(yōu)先權(quán)日2007年8月27日發(fā)明者吳尚昱,孫秉準(zhǔn),文載媛,李相和,河成鐘,洪泰和,趙南翊,趙成大,鄭熙遠(yuǎn),金修均申請(qǐng)人:三星電子株式會(huì)社;首爾大學(xué)校產(chǎn)學(xué)協(xié)力財(cái)團(tuán)