用于生成全景圖像的方法、用戶終端和計算機可讀記錄介質(zhì)的制作方法
【專利摘要】根據(jù)本發(fā)明的一個方面，一種用于生成全景圖像的方法包括：（a）通過調(diào)整第一和第二輸入圖像的分辨率而生成第一和第二調(diào)整圖像；（b）通過參考與表示相對于第一和第二調(diào)整圖像的每者的強度或顏色變化的梯度向量垂直的切向量而生成表示邊緣信息的第一和第二預(yù)處理圖像；以及（c）通過參考第一和第二預(yù)處理圖像之間的匹配結(jié)果而確定結(jié)合所述第一和第二輸入圖像的位置。
【專利說明】用于生成全景圖像的方法、用戶終端和計算機可讀記錄介質(zhì)
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及用于生成全景圖像的方法、終端和計算機可讀記錄介質(zhì)。更具體而言，本發(fā)明涉及用于執(zhí)行分辨率調(diào)整過程以及預(yù)處理過程的方法、用戶終端和計算機可讀記錄介質(zhì)，在分辨率調(diào)整過程中，采用金字塔結(jié)構(gòu)逐步降低作為圖像匹配的對象的圖像的分辨率，在預(yù)處理過程中，采用垂直于表示強度或顏色的變化的梯度向量的切向量對圖像中的邊緣進行可視化表達，由此提高生成全景圖像的準確度和操作速度。
【背景技術(shù)】
[0002]近來，隨著數(shù)字照相機的普及和數(shù)字處理技術(shù)的發(fā)展，采用包括從隨機點看到的完整視圖的圖像，即所謂的全景圖像的各種服務(wù)也應(yīng)運而生。
[0003]作為采用全景圖像的服務(wù)的例子，曾經(jīng)也推出過這樣的服務(wù)，S卩，支持用戶通過自動合成在包括具有相對較窄的視角的攝影設(shè)備的便攜式終端的使用當中連續(xù)拍攝的多幅圖像而獲取全景圖像。
[0004]一般而言，在通過將多幅連續(xù)圖像的邊界放到一起并對其合成而創(chuàng)建全景圖像時，全景圖像的質(zhì)量可能取決于將相鄰圖像的邊界放到一起的準確程度。根據(jù)生成全景圖像的常規(guī)技術(shù)，通過照原樣合成所拍攝的圖像的初始版本或者通過合成僅去除了噪聲的所拍攝的圖像的初始版本而創(chuàng)建全景圖像。
[0005]然而，根據(jù)常規(guī)技術(shù)，初始圖像中包含的諸如建筑物的重要對象的輪廓以及諸如污垢的無意義對象的輪廓可能沒有得到清晰地劃分，這可能引起圖像合成的準確度降低的問題。此外，由于初始圖像包含很多要在匹配相鄰圖像的邊界時考慮的特征，因而其可能會導(dǎo)致需要大量的操作才能生成全景圖像。在采用運算能力相對較差的便攜式用戶終端的移動環(huán)境中，這些問題可能會變得更加嚴重。
[0006]因此，本發(fā)明的發(fā)明人想到了發(fā)明一種甚至能夠在移動環(huán)境中有效地生成全景圖像的技術(shù)，其方式是應(yīng)用一種逐步調(diào)整圖像分辨率的方法和一種對圖像進行特征刻畫從而通過僅強調(diào)圖像的重要部分而簡化圖像的方法。

【發(fā)明內(nèi)容】

[0007]技術(shù)任務(wù)
[0008]本發(fā)明的目的在于解決上文提及的所有問題。
[0009]本發(fā)明的另一目的在于降低作為圖像匹配的對象的圖像的分辨率，并采用圖像金字塔技術(shù)減少圖像匹配所需的操作，由此生成全景圖像。
[0010]此外，本發(fā)明的再一目的在于通過執(zhí)行預(yù)處理過程而強調(diào)圖像的重要部分并簡化圖像，由此生成全景圖像，在所述預(yù)處理過程中，采用與表示強度或顏色變化的梯度向量垂直的切向量可視化表達圖像中的邊緣。
[0011]任務(wù)解決方案的措施[0012]下文將描述實現(xiàn)上述目的的本發(fā)明的代表性配置:
[0013]根據(jù)本發(fā)明的一個方面，提供了一種用于生成全景圖像的方法，其包括，(a)分別對第一和第二輸入圖像的分辨率進行調(diào)整以由此生成第一和第二經(jīng)調(diào)整圖像的步驟，其中，通過參考關(guān)于輸入圖像與經(jīng)調(diào)整圖像的分辨率的預(yù)置關(guān)系數(shù)據(jù)來確定所述第一和第二經(jīng)調(diào)整圖像的分辨率；(b)通過分別參考與顯示第一和第二經(jīng)調(diào)整圖像中強度或顏色的變化的梯度向量垂直的切向量，分別生成表示關(guān)于所述第一和第二經(jīng)調(diào)整圖像的邊緣的信息的第一和第二經(jīng)預(yù)處理圖像的步驟，以及(C)執(zhí)行第一和第二經(jīng)預(yù)處理圖像之間的圖像匹配操作，之后通過參考圖像匹配操作的結(jié)果而確定對第一和第二輸入圖像進行合成的位置的步驟。
[0014]根據(jù)本發(fā)明的另一方面，提供了一種用于生成全景圖像的用戶終端，其包括:分辨率調(diào)整部，其分別對第一和第二輸入圖像的分辨率進行調(diào)整，由此生成第一和第二經(jīng)調(diào)整圖像，其中，通過參考關(guān)于輸入圖像與經(jīng)調(diào)整圖像的分辨率的預(yù)置關(guān)系數(shù)據(jù)來確定所述第一和第二經(jīng)調(diào)整圖像的分辨率；預(yù)處理部，其通過分別參考與顯示第一和第二經(jīng)調(diào)整圖像中強度或顏色的變化的梯度向量垂直的切向量，生成表示關(guān)于所述第一和第二經(jīng)調(diào)整圖像的邊緣的信息的第一和第二預(yù)處理圖像；以及匹配部，其執(zhí)行第一和第二經(jīng)預(yù)處理圖像之間的圖像匹配操作，之后通過參考圖像匹配操作的結(jié)果而確定應(yīng)當對第一和第二輸入圖像進行合成的位置。
[0015]此外，還提供了其他旨在實施本發(fā)明的方法、系統(tǒng)以及用于記錄執(zhí)行所述方法的計算機程序的計算機可讀記錄介質(zhì)。
[0016]本發(fā)明的效果
[0017]根據(jù)本發(fā)明，由于可以降低圖像的分辨率而減少圖像匹配所需的操作，因而能夠減少生成全景圖像所需的時間。
[0018]此外，根據(jù)本發(fā)明，由于可以通過采用借助與表示強度或顏色變化的梯度向量垂直的切向量表現(xiàn)作為圖像匹配的對象的圖像中的邊緣的圖像表征和簡化圖像，因而效果在于保證了合成全景圖像的準確性并提高了其操作速度。
【專利附圖】

【附圖說明】
[0019]圖1是示意性地示出了根據(jù)本發(fā)明的一個示范性實施例的用戶終端100的內(nèi)部構(gòu)造的圖示。
[0020]圖2是可視化地示出了根據(jù)本發(fā)明的一個示范性實施例計算圖像中的梯度向量的結(jié)果的圖示。
[0021]圖3是可視化地示出了根據(jù)本發(fā)明的一個示范性實施例計算圖像中的切向量的結(jié)果的圖示。
[0022]圖4和圖5分別是示意性地示出了根據(jù)本發(fā)明的一個示范性實施例的初始圖像及其經(jīng)預(yù)處理圖像的圖示。
[0023]圖6是示意性地示出了根據(jù)本發(fā)明的一個示范性實施例通過合成兩幅相鄰輸入圖像而生成相應(yīng)的全景圖像的結(jié)果的圖示。
[0024]<附圖標記說明>
[0025]100:用戶終端[0026]110:分辨率調(diào)整部
[0027]120:預(yù)處理部
[0028]130:匹配部
[0029]140:合成及混合部
[0030]150:通信部
[0031]160:控制部
【具體實施方式】
[0032]附圖是有助于詳細解釋本發(fā)明的例子。將以足夠的細節(jié)描述這些例子，從而使本領(lǐng)域技術(shù)人員能夠?qū)嵺`本發(fā)明。應(yīng)當理解，盡管本發(fā)明的各個例子是不同的，但是未必是相互排斥的。
[0033]例如，在不背離本發(fā)明的精神和范圍的情況下，可以在其他例子中實施在文中結(jié)合某一例子描述的特定特征、結(jié)構(gòu)或特性。此外，應(yīng)當理解，在不背離本發(fā)明的精神和范圍的情況下，可以對所公開的每一例子中的各個元件的位置和布置做出修改。因此，不應(yīng)從限定的意義上考慮下述詳細說明，并且本發(fā)明的范圍僅由所附權(quán)利要求限定，其中，要連同賦予所附權(quán)利要求權(quán)利的等價物的全部范圍對權(quán)利要求加以適當?shù)慕忉?。在附圖中，幾幅圖中的類似附圖標記表示相同或類似的功能。
[0034]在下文中參考本發(fā)明的優(yōu)選例子詳細描述了本發(fā)明，從而使具有本發(fā)明所屬【技術(shù)領(lǐng)域】的公知常識的技術(shù)人員可以容易地實踐本發(fā)明。
[0035][本發(fā)明的優(yōu)選實施例]
[0036]在本說明書中，全景圖像是指作為拍攝從某一點觀看的完整視圖的結(jié)果而獲取到的圖像，更具體而言，全景圖像是一種能夠提供實際上在拍攝點逼真地三維示出的各個方向的可視信息的圖像，其示出方式是將構(gòu)成所述圖像的像素表示到虛擬天球內(nèi)，根據(jù)球面坐標該天球的中心即為所述拍攝點。此外，盡管在本說明書中沒有直接示出，但是所述全景圖像可以是根據(jù)柱面坐標表現(xiàn)構(gòu)成所述圖像的像素的圖像。
[0037]用戶終端的構(gòu)造
[0038]圖1是示意性地示出了根據(jù)本發(fā)明的一個示范性實施例的用戶終端100的內(nèi)部構(gòu)造的圖示。
[0039]參考圖1，根據(jù)本發(fā)明的一個示范性實施例的用戶終端100可以包括分辨率調(diào)整部110、預(yù)處理部120、匹配部130、合成及混合部140、通信部150和控制部160。根據(jù)本發(fā)明的一個示范性實施例，所述辨率調(diào)整部110、預(yù)處理部120、匹配部130、合成及混合部140、通信部150和控制部160中的至少一些可以是與用戶終端100通信的程序模塊?？梢詫⑦@樣的程序模塊按照操作系統(tǒng)、應(yīng)用程序模塊和其他程序模塊的形式包含到用戶終端100內(nèi)，并且可以將其物理地存儲到本領(lǐng)域技術(shù)人員公知的各種存儲裝置當中?；蛘?，可以將這樣的程序模塊存儲到能夠與用戶終端100通信的遠程存儲裝置內(nèi)。另一方面，這樣的程序模塊包括但不限于:例程、子例程、程序、對象、部件和數(shù)據(jù)結(jié)構(gòu)，其用于執(zhí)行將根據(jù)本發(fā)明描述的具體操作或某種類型的特定抽象數(shù)據(jù)。
[0040]首先，根據(jù)本發(fā)明的一個示范性實施例，分辨率調(diào)整部110可以通過調(diào)整作為生成全景圖像的合成對象的輸入圖像的分辨率而執(zhí)行生成具有經(jīng)調(diào)整的分辨率的圖像(下文稱為“經(jīng)調(diào)整圖像”)的功能。這里，也可以通過參考有關(guān)經(jīng)調(diào)整圖像與輸入圖像的分辨率的預(yù)置關(guān)系數(shù)據(jù)來確定經(jīng)調(diào)整圖像的分辨率。
[0041]更具體而言，根據(jù)本發(fā)明解決方案的一個示范性實施例的調(diào)整部110可以通過采用金字塔結(jié)構(gòu)逐步縮減圖像的分辨率而確定經(jīng)調(diào)整圖像的分辨率，由此在相鄰的經(jīng)調(diào)整圖像重疊的預(yù)置重疊區(qū)域內(nèi)使相鄰的經(jīng)調(diào)整圖像之間的匹配率滿足預(yù)置水平。這里，所述預(yù)置重疊區(qū)域是指:在執(zhí)行圖像匹配從而將多幅圖像放到一起以生成全景圖像之前，在將相鄰圖像放置得足夠接近從而使其按照統(tǒng)計學(xué)的或者經(jīng)驗上的預(yù)期發(fā)生重疊時，相鄰圖像重疊的區(qū)域。例如，所述重疊區(qū)域作為對應(yīng)于包括圖像的頂部、底部、左側(cè)和右側(cè)的邊界的區(qū)域，可以被設(shè)置為占據(jù)圖像的全部面積的10%的區(qū)域。在下文中將更加具體地研究根據(jù)本發(fā)明的一個示范性實施例的決定經(jīng)調(diào)整圖像的分辨率的過程。
[0042]例如，假定相鄰輸入圖像A和B為1920 X 1080像素，預(yù)置匹配率為80%，通過采用金字塔結(jié)構(gòu)使輸入圖像A和B的分辨率逐步降低1/4。在這樣的實例中，根據(jù)本發(fā)明的一個示范性實施例，假定第一經(jīng)調(diào)整圖像A和B(由于降低1/4，因而其分辨率分別變?yōu)?60X540像素)在預(yù)置重疊區(qū)域內(nèi)的匹配率達到了 84%，因為第一經(jīng)調(diào)整圖像A和B的匹配率滿足預(yù)置匹配率(80%)，所以有可能暫時將第一經(jīng)調(diào)整圖像A和B的分辨率分別確定為960X540像素，之后在下一步驟中使其分辨率再次分別降低1/4。在第二降低步驟中，如果由于再次以1/4降低而具有480X 270像素的分辨率的第二經(jīng)調(diào)整圖像A和B在預(yù)置重疊區(qū)域內(nèi)的匹配率為65%，那么其將不能滿足預(yù)置的匹配率(80%)。因此，中止降低分辨率的過程，之后可以將經(jīng)調(diào)整圖像A和B的分辨率最終確定為960 X 540像素，該分辨率是第一經(jīng)調(diào)整圖像的分辨率。但是，本發(fā)明中獲取關(guān)系數(shù)據(jù)的過程不只局限于上文提及的方法，其顯然可以在實現(xiàn)本發(fā)明的目的的范圍內(nèi)發(fā)生變化。
[0043]接下來，根據(jù)本發(fā)明的一個示范性實施例，預(yù)處理部120可以執(zhí)行生成已經(jīng)執(zhí)行了預(yù)處理的圖像(下文稱為“經(jīng)預(yù)處理圖像”)的功能，其表達通過所述分辨率調(diào)整部110調(diào)整了分辨率的輸入圖像的邊緣(即輪廓)的信息，其中，所述邊緣是通過參考垂直于梯度向量的切向量獲取的，所述梯度向量表示經(jīng)調(diào)整圖像中的強度或顏色的變化。在下文中將更加詳細地說明根據(jù)本發(fā)明的一個示范性實施例的預(yù)處理過程。
[0044]首先，根據(jù)本發(fā)明的一個示范性實施例的預(yù)處理部120可以計算表示強度或顏色變化的梯度向量，所述強度或顏色是相對于二維經(jīng)調(diào)整圖像中的相應(yīng)像素的標量值。這里，可以按照具有最大的強度或顏色變化的方向確定所述梯度向量的方向，而所述梯度向量的幅度則可以被決定為沿具有最大的強度或顏色變化的方向的變化率。一般而言，由于在強度或顏色變化大的一些部分當中(例如在對象的輪廓當中)梯度向量的幅度大，且另一方面在強度或顏色變化小的其他部分當中梯度向量的幅度小，因而可以通過參考所述梯度向量而檢測在經(jīng)調(diào)整圖像中包含的邊緣。根據(jù)本發(fā)明的一個示范性實施例，可以采用蘇貝爾算子(Sobel operator)計算在經(jīng)調(diào)整圖像中的梯度向量。但其不僅限于此,也可以應(yīng)用用于計算梯度向量以檢測在經(jīng)調(diào)整圖像中的邊緣的其他算子。
[0045]圖2是可視化地示出了根據(jù)本發(fā)明的一個示范性實施例計算圖像中的梯度向量分量的結(jié)果的圖示。
[0046]參考圖2，通過藍色線表示梯度向量的方向和幅度?？梢园l(fā)現(xiàn)，在強度或顏色變化大的部分當中，藍色線的長度較長；而在強度或顏色變化小的部分當中，藍色線的長度較短或者根本就沒有出現(xiàn)。
[0047]這里，根據(jù)本發(fā)明的一個示范性實施例的預(yù)處理部120可以通過使針對二維經(jīng)調(diào)整圖像的相應(yīng)像素計算出的梯度向量旋轉(zhuǎn)(例如，逆時針旋轉(zhuǎn)90度)而執(zhí)行計算切向量的功能。由于計算出的切向量平行于基于強度或顏色的標量值繪制的虛擬輪廓線，因而可視化表達的切向量所表示的形狀可以與沿經(jīng)調(diào)整圖像中包含的對象的輪廓等的邊緣的形狀相同。因此，可視化地示出了在經(jīng)調(diào)整圖像中的切向量的經(jīng)預(yù)處理圖像可以通過強調(diào)并僅呈現(xiàn)在經(jīng)調(diào)整圖像中包含的邊緣而使其自身起到邊緣圖像的作用。
[0048]圖3是可視化地示出了根據(jù)本發(fā)明的一個示范性實施例計算圖像中的切向量的結(jié)果的圖示。
[0049]參考圖3，可以發(fā)現(xiàn)，通過藍色線表示方向和幅度的切向量沿圖像中強度或顏色變化大的部分(即，邊緣)平行。
[0050]另一方面，作為可用來計算圖像中的切向量的技術(shù)的例子，可以參考一篇由H.KANG和另外其他兩人作為共同作者于2007年發(fā)表在“ACM Symposium onNon-Photorealistic Animation and Rendering” 中的題為 “Coherent Line Drawing” 的文章(必須認為將該文章的全部內(nèi)容并入到了本說明書內(nèi))。該文章描述了一種用于計算圖像中的邊緣切線流(edge tangent flow, ETF)的方法,其將作為自動示出對應(yīng)于圖像中包含的輪廓的線的方法的步驟。理所當然，適用于本發(fā)明的用于計算切向量的技術(shù)不只局限于上述文章中描述的方法，可以應(yīng)用各種經(jīng)修改的例子來實施本發(fā)明。
[0051]在圖2和圖3中，盡管對于強度或顏色變化大的部分所述線長，對于強度或顏色變化小的部分所述線短，但并不局限于此。如圖4和圖5所示，可以引入這樣的經(jīng)修改的例子，其中，隨著切向量的幅度變大將像素表現(xiàn)得更亮，隨著切向量的幅度變小將像素表現(xiàn)得更暗。
[0052]圖4和圖5分別是示意性地示出了根據(jù)本發(fā)明的一個示范性實施例的初始圖像及其經(jīng)預(yù)處理圖像的圖示。作為參考，圖4(b)和圖5(b)中的經(jīng)預(yù)處理圖像是在切向量的幅度大的情況下將像素表現(xiàn)得亮的圖像。
[0053]參考圖4和圖5，與初始輸入圖像(圖4(a)和5 (a))進行比較，可以確認經(jīng)預(yù)處理圖像(圖4(b)和5(b))通過強調(diào)包括對象的輪廓的重要部分并且用黑體省略不重要的部分而特征化且簡化了初始輸入圖像。
[0054]如上文研究的，作為執(zhí)行使初始輸入圖像的分辨率降低至合理水平的過程，繼而執(zhí)行預(yù)處理過程從而采用切向量可視化地表現(xiàn)經(jīng)調(diào)整圖像的邊緣的結(jié)果而獲取的經(jīng)預(yù)處理圖像用作下文將予以說明的用于匹配過程的圖像，其能夠提高圖像匹配的準確度，同時提高圖像匹配的操作速度。
[0055]接下來，根據(jù)本發(fā)明的一個示范性實施例，匹配部130可以通過采用預(yù)處理部120生成的經(jīng)預(yù)處理圖像執(zhí)行圖像匹配操作，并執(zhí)行通過參考匹配的結(jié)果而確定對應(yīng)于經(jīng)預(yù)處理圖像的初始輸入圖像之間的最佳重疊位置的功能。例如，根據(jù)本發(fā)明的一個示范性實施例的匹配部130可以首先在上述預(yù)置重疊區(qū)域處執(zhí)行經(jīng)預(yù)處理圖像之間的圖像匹配操作。
[0056]接下來，根據(jù)本發(fā)明的一個示范性實施例，合成及混合部140可以額外地通過參考匹配部130確定的合成位置而對相鄰輸入圖像進行合成，并執(zhí)行混合過程以使合成的輸入圖像中的連接部分看起來自然。[0057]另一方面，作為可用于圖像的匹配、合成和混合的技術(shù)的例子，可以參考由KarlPulli 和其他四人作為共同作者于 2010 年在“International Conference on ConsumerElectronics，，上發(fā)表的題為 “Panoramic Imaging System for Camera Phones，，的文章(可以認為已經(jīng)將其全部內(nèi)容并入了本說明書當中)。該文章描述了一種通過采用與RANSAC(隨機樣本一致性)結(jié)合的基于特征的匹配技術(shù)執(zhí)行相鄰圖像之間的圖像匹配的方法，和一種通過采用α混合技術(shù)柔和地處理相鄰圖像的連接部分的方法。當然，適用于本發(fā)明的合成和混合技術(shù)不只局限于上述文章中描述的方法，可以應(yīng)用各種經(jīng)修改的例子來實施本發(fā)明。
[0058]圖6是示意性地示出了根據(jù)本發(fā)明的一個示范性實施例的通過合成兩幅相鄰輸入圖像而生成相應(yīng)的全景圖像的結(jié)果的圖示。作為參考，圖6所示的全景圖像是作為所拍攝到的兩幅輸入圖像的合成結(jié)果獲取的，所述輸入圖像是從不同的角度來看的傳統(tǒng)風格的建筑物的圖像。圖6(a)是表示不經(jīng)過分辨率調(diào)整過程和之后的預(yù)處理過程而生成全景圖像的結(jié)果的圖示，圖6(b)是示出了根據(jù)本發(fā)明的一個示范性實施例的經(jīng)過分辨率調(diào)整過程和之后的預(yù)處理過程而生成全景圖像的結(jié)果的圖示。
[0059]參考圖6，可以確認根據(jù)本發(fā)明的圖6(b)中的全景圖像的生成比圖6(a)中的現(xiàn)有全景圖像的生成更加準確、自然，尤其是可以確認在臺階部分和處于招牌右側(cè)的柱子部分之間存在很大的差異。
[0060]根據(jù)本發(fā)明的一個示范性實施例的通信部150執(zhí)行允許用戶終端100與外部裝置(未示出)通信的功能。
[0061]根據(jù)本發(fā)明的一個示范性實施例的控制部160執(zhí)行控制在分辨率調(diào)整部110、預(yù)處理部120、匹配部130、合成及混合部140以及通信部150之間的數(shù)據(jù)流的功能。換言之，控制部160控制來自外部的或者用戶終端100的部件之間的數(shù)據(jù)流動，由此迫使分辨率調(diào)整部110、預(yù)處理部120、匹配部130、合成及混合部140和通信部150執(zhí)行其特有的功能。
[0062]可以按照可以通過各種計算機部件執(zhí)行的并且記錄在計算機可讀記錄介質(zhì)上的程序命令的形式來實現(xiàn)根據(jù)本發(fā)明的上述例子。所述計算機可讀介質(zhì)可以單獨包括或者以組合的形式包括程序命令、數(shù)據(jù)文件和數(shù)據(jù)結(jié)構(gòu)。記錄在計算機可讀記錄介質(zhì)上的程序命令可以是針對本發(fā)明專門設(shè)計和配置的，也可以是可以由計算機軟件領(lǐng)域的技術(shù)人員已知且使用的。
[0063]計算機可讀記錄介質(zhì)的例子包括諸如硬盤、軟盤和磁帶的磁介質(zhì)；諸如CD-ROM和DVD的光學(xué)介質(zhì)；諸如軟式光盤的磁光介質(zhì)；以及被專門配置為存儲并執(zhí)行程序命令的諸如ROM、RAM和閃速存儲器的硬件裝置。程序命令不僅包括編譯器生成的機器語言代碼，還包括由解釋器等能夠采用的通過計算機執(zhí)行的高級代碼?？梢詫⒂布b置配置為充當一個或多個軟件模塊，以執(zhí)行根據(jù)本發(fā)明的操作，反之亦然。
[0064]盡管到目前為止已經(jīng)參考某些細節(jié)，例如具體的部件以及有限的例子和附圖描述了本發(fā)明，但是提供它們的目的只是為了促進對本發(fā)明的全面理解，本發(fā)明不受上述例子的限制。具有本發(fā)明所屬領(lǐng)域的公知常識的人員可以在這樣的描述的基礎(chǔ)上嘗試各種修改和變化。
[0065]因此，絕不應(yīng)當將本發(fā)明的構(gòu)思局限于所解釋的例子，下文將要描述的權(quán)利要求以及包括與權(quán)利要求等同或等價的變型的一切都將屬于本發(fā)明的構(gòu)思的范疇之內(nèi)。
【權(quán)利要求】
1.一種用于生成全景圖像的方法，其包括: (a)分別對第一和第二輸入圖像的分辨率進行調(diào)整以由此生成第一和第二經(jīng)調(diào)整圖像的步驟，其中，通過參考關(guān)于輸入圖像與經(jīng)調(diào)整圖像的分辨率的預(yù)置關(guān)系數(shù)據(jù)來確定所述第一和第二經(jīng)調(diào)整圖像的分辨率， (b)通過分別參考與顯示所述第一和第二經(jīng)調(diào)整圖像的強度或顏色中的變化的梯度向量垂直的切向量，分別生成表示關(guān)于所述第一和第二經(jīng)調(diào)整圖像的邊緣的信息的第一和第二經(jīng)預(yù)處理圖像的步驟，以及 (C)執(zhí)行所述第一和第二經(jīng)預(yù)處理圖像之間的圖像匹配操作，之后通過參考所述圖像匹配操作的結(jié)果來確定對所述第一和第二輸入圖像進行合成的位置的步驟。
2.根據(jù)權(quán)利要求1所述的方法，其中，(d)其還包括通過根據(jù)所確定的合成位置對所述第一和第二輸入圖像進行合成，之后對所合成的第一和第二輸入圖像進行混合，從而生成全景圖像的步驟。
3.根據(jù)權(quán)利要求1所述的方法，其中，在步驟(a)中，在所述第一和第二經(jīng)調(diào)整圖像重疊的區(qū)域內(nèi)所述第一和第二經(jīng)調(diào)整圖像之間的匹配率滿足預(yù)置水平的范圍內(nèi)確定所述第一和第二經(jīng)調(diào)整圖像的分辨率。
4.根據(jù)權(quán)利要求1所述的方法，其中，通過蘇貝爾算子計算所述梯度向量。
5.根據(jù)權(quán)利要求1所述的方法，其中，所述切向量是在使所述梯度向量逆時針旋轉(zhuǎn)90度之后所獲取的向量。
6.根據(jù)權(quán)利要求1所述的方法，其中，通過采用與RANSAC(隨機樣本一致性)結(jié)合的基于特征的匹配技術(shù)執(zhí)行在所述第一和第二經(jīng)預(yù)處理圖像之間的圖像匹配。
7.根據(jù)權(quán)利要求2所述的方法，其中，通過采用α混合技術(shù)執(zhí)行所述混合。
8.一種用于生成全景圖像的用戶終端，其包括: 分辨率調(diào)整部，其分別對第一和第二輸入圖像的分辨率進行調(diào)整，由此生成第一和第二經(jīng)調(diào)整圖像，其中，通過參考關(guān)于輸入圖像與經(jīng)調(diào)整圖像的分辨率的預(yù)置關(guān)系數(shù)據(jù)來確定所述第一和第二經(jīng)調(diào)整圖像的分辨率， 預(yù)處理部，其通過分別參考與顯示所述第一和第二經(jīng)調(diào)整圖像的強度或顏色中的變化的梯度向量垂直的切向量，生成表示關(guān)于所述第一和第二經(jīng)調(diào)整圖像的邊緣的信息的第一和第二預(yù)處理圖像，以及 匹配部，其執(zhí)行所述第一和第二經(jīng)預(yù)處理圖像之間的圖像匹配操作，之后通過參考所述圖像匹配操作的結(jié)果來確定對所述第一和第二輸入圖像進行合成的位置。
9.根據(jù)權(quán)利要求8所述的用戶終端，其中，其還包括合成及混合部，所述合成及混合部通過根據(jù)所確定的合成位置對所述第一和第二輸入圖像進行合成，之后對所合成的第一和第二輸入圖像進行混合，從而生成全景圖像。
10.根據(jù)權(quán)利要求8所述的用戶終端，其中，在所述第一和第二經(jīng)調(diào)整圖像重疊的區(qū)域內(nèi)所述第一和第二經(jīng)調(diào)整圖像之間的匹配率滿足預(yù)置水平的范圍內(nèi)確定所述第一和第二經(jīng)調(diào)整圖像的分辨率。
11.根據(jù)權(quán)利要求8所述的用戶終端，其中，通過蘇貝爾算子計算所述梯度向量。
12.根據(jù)權(quán)利要求8所述的用戶終端，其中，所述切向量是在使所述梯度向量逆時針旋轉(zhuǎn)90度之后所獲取的向量。
13.根據(jù)權(quán)利要求8所述的用戶終端，其中，所述匹配部通過采用與RANSAC(隨機樣本一致性)結(jié)合的基于特征的匹配技術(shù)來執(zhí)行在所述第一和第二經(jīng)預(yù)處理圖像之間的圖像匹配。
14.根據(jù)權(quán)利要求9所述的用戶終端，其中，所述合成及混合部通過采用α混合技術(shù)執(zhí)行所述混合過程。
15.一種記錄了用以執(zhí)行根據(jù)權(quán)利要求1到7中的任何一項所述的方法的計算機程序的計算機可讀記錄介質(zhì)。
【文檔編號】H04N5/262GK103718540SQ201180070264
【公開日】2014年4月9日 申請日期:2011年12月29日 優(yōu)先權(quán)日:2011年2月21日
【發(fā)明者】B·C·樸 申請人:英特爾公司