圖像處理裝置和方法、以及程序的制作方法
【專利摘要】本技術(shù)涉及一種圖像處理裝置和方法、以及程序，其使得可以在生成360度全景圖像時(shí)獲得高質(zhì)量的全景圖像。投影圖像生成單元以當(dāng)360度旋轉(zhuǎn)攝像裝置時(shí)所捕獲的圖像被映射在圓柱表面上的方式生成投影圖像。累積差分值計(jì)算單元計(jì)算在每個(gè)位置處鄰近的投影圖像之間的累積差分值。有向圖生成單元基于投影圖像和累積差分值生成有向圖，在有向圖中，累積差分值反映在邊緣能量上。根據(jù)有向圖，當(dāng)彼此連接投影圖像以生成全景圖像時(shí)，路徑搜索單元搜索具有最少間斷的投影圖像的連接位置。基于搜索結(jié)果，全景圖像生成單元連接投影圖像并且生成全景圖像。本技術(shù)適用于圖像處理裝置。
【專利說明】圖像處理裝置和方法、以及程序
【技術(shù)領(lǐng)域】
[0001]本技術(shù)涉及一種圖像處理裝置和圖像處理方法、以及程序，并且更具體地，涉及一種用于當(dāng)生成360度全景圖像時(shí)、獲得具有較高質(zhì)量的全景圖像的圖像處理裝置、圖像處理方法、以及程序。
【背景技術(shù)】
[0002]例如，可以從每次近似36度地旋轉(zhuǎn)數(shù)字?jǐn)z像裝置時(shí)連續(xù)地捕獲的10個(gè)圖像生成360度全景圖像。即，從每個(gè)捕獲圖像中裁剪出等價(jià)于36度視圖的區(qū)域，并且將所裁剪出的圖像接合在一起以生成360度全景圖像。
[0003]具體地，如下所述地生成這種全景圖像。
[0004]首先，通過對(duì)彼此鄰近的捕獲圖像進(jìn)行分析，確定鄰近的捕獲圖像之間的位置關(guān)系。對(duì)位置關(guān)系進(jìn)行累積，以在基于第一個(gè)捕獲圖像的坐標(biāo)系中確定拍攝每個(gè)捕獲圖像的方向(在下文中，也稱為圖像捕獲方向)。
[0005]在這種基于第一個(gè)捕獲圖像的坐標(biāo)系中的每個(gè)捕獲圖像的圖像捕獲方向、或在基于第一捕獲圖像的坐標(biāo)系中關(guān)于每個(gè)捕獲圖像的位置關(guān)系，通?？梢员磉_(dá)為3乘3的矩陣，并且被稱為齊次變換矩陣(單應(yīng)性矩陣)。
[0006]在基于第一個(gè)捕獲圖像的坐標(biāo)系中表達(dá)關(guān)于第s個(gè)捕獲圖像的位置關(guān)系的齊次變換矩陣表示為H1;s的情況下，建立了根據(jù)下面的表達(dá)式(I)的關(guān)系。
[0007][數(shù)學(xué)等式I]
【權(quán)利要求】
1.一種圖像處理裝置，通過對(duì)被旋轉(zhuǎn)的成像裝置連續(xù)地拍攝的多個(gè)捕獲圖像進(jìn)行接合，生成360度全景圖像， 所述圖像處理裝置包括: 差分計(jì)算單元，配置成計(jì)算彼此鄰近的捕獲圖像之間的差分信息； 數(shù)據(jù)生成單元，配置成基于所述差分信息生成數(shù)據(jù)，所述數(shù)據(jù)指示當(dāng)在預(yù)定位置對(duì)彼此鄰近的所述捕獲圖像進(jìn)行接合時(shí)發(fā)生的圖像缺陷程度； 確定單元，配置成基于所述數(shù)據(jù)確定所述捕獲圖像之間的接合位置，當(dāng)在與參考捕獲圖像相同的圖像被設(shè)置為所述捕獲圖像的第N個(gè)捕獲圖像之后的第N+1個(gè)捕獲圖像的情況下、通過使用在所述捕獲圖像的參考捕獲圖像中的指定位置與所述捕獲圖像的第N+1個(gè)捕獲圖像中的指定位置之間的部分生成全景圖像時(shí)，所述接合位置使所述圖像缺陷程度最小化，N是從所述參考捕獲圖像起計(jì)數(shù)的數(shù)量；以及 圖像生成單元，配置成通過基于所確定的接合位置對(duì)所述捕獲圖像進(jìn)行接合，生成所述全景圖像。
2.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中，所述確定單元確定在關(guān)于不同的指定位置所確定的接合位置之中、具有全景圖像的最小缺陷程度的接合位置為最終接合位置。
3.根據(jù)權(quán)利要求2所述的圖像處理裝置，其中，所述數(shù)據(jù)是下述有向圖:在所述有向圖中，在所述預(yù)定位置對(duì)彼此鄰近的所述捕獲圖像進(jìn)行接合時(shí)發(fā)生的圖像缺陷程度被示為與在所述捕獲圖像中的所述預(yù)定位置相對(duì)應(yīng)的節(jié)點(diǎn)的邊緣能量。
4.根據(jù)權(quán)利要求3所述的圖像處理裝置，其中，所述數(shù)據(jù)生成單元計(jì)算圖像缺陷程度，所述圖像缺陷程度作為在彼此鄰近的所述捕獲圖像中的第一捕獲圖像與所述捕獲圖像中的第二捕獲圖像之間的所述預(yù)定位置的所述差分信息與在所述第一捕獲圖像和所述第二捕獲圖像中與所述預(yù)定位置鄰近的其他位置的所述差分信息的均值；以及所述數(shù)據(jù)生成單元將所述均值設(shè)置為與所述第一捕獲圖像中的所述預(yù)定位置相對(duì)應(yīng)的節(jié)點(diǎn)和與所述第二捕獲圖像中的所述其他位置相對(duì)應(yīng)的節(jié)點(diǎn)之間的邊緣能量。
5.根據(jù)權(quán)利要求4所述的圖像處理裝置，其中，所述確定單元通過從在所述有向圖中從與所述參考捕獲圖像中的所述指定位置相對(duì)應(yīng)的節(jié)點(diǎn)延伸至與所述第N+1個(gè)捕獲圖像中的所述指定位置相對(duì)應(yīng)的節(jié)點(diǎn)的路徑之中、識(shí)別出具有在所述路徑中所存在的節(jié)點(diǎn)之間最小總邊緣能量的路徑，確定所述捕獲圖像之間的所述接合位置。
6.根據(jù)權(quán)利要求5所述的圖像處理裝置，其中 所述圖像生成單元通過使用所述捕獲圖像中的不同的捕獲圖像作為參考捕獲圖像，生成多個(gè)全景圖像，以及 所述圖像處理裝置還包括輸出單元，所述輸出單元配置成輸出最終全景圖像， 所述最終全景圖像是在所述全景圖像中具有最小圖像缺陷程度的全景圖像。
7.一種用于通過對(duì)被旋轉(zhuǎn)的成像裝置連續(xù)地拍攝的多個(gè)捕獲圖像進(jìn)行接合、生成360度全景圖像的圖像處理方法， 所述圖像處理方法包括下述步驟: 計(jì)算彼此鄰近的捕獲圖像之間的差分信息； 基于所述差分信息生成數(shù)據(jù)，所述數(shù)據(jù)指示當(dāng)在預(yù)定位置對(duì)彼此鄰近的所述捕獲圖像進(jìn)行接合時(shí)發(fā)生的圖像缺陷程度；基于所述數(shù)據(jù)確定所述捕獲圖像之間的接合位置，當(dāng)在與參考捕獲圖像相同的圖像被設(shè)置為所述捕獲圖像的第N個(gè)捕獲圖像之后的第N+1個(gè)捕獲圖像的情況下、通過使用在所述捕獲圖像的參考捕獲圖像中的指定位置與所述捕獲圖像的第N+1個(gè)捕獲圖像中的指定位置之間的部分生成全景圖像時(shí)，所述接合位置使所述圖像缺陷程度最小化，N是從所述參考捕獲圖像起計(jì)數(shù)的數(shù)量；以及 通過基于所確定的接合位置對(duì)所述捕獲圖像進(jìn)行接合，生成所述全景圖像。
8.一種用于對(duì)圖像進(jìn)行處理、以通過對(duì)被旋轉(zhuǎn)的成像裝置連續(xù)地拍攝的多個(gè)捕獲圖像進(jìn)行接合生成360度全景圖像的程序， 所述程序使得計(jì)算機(jī)執(zhí)行包括下述步驟的處理: 計(jì)算彼此鄰近的所述捕獲圖像之間的差分信息； 基于所述差分信息生成數(shù)據(jù)，所述數(shù)據(jù)指示當(dāng)在預(yù)定位置對(duì)彼此鄰近的所述捕獲圖像進(jìn)行接合時(shí)發(fā)生的圖像缺陷程度； 基于所述數(shù)據(jù)確定所述捕獲圖像之間的接合位置，當(dāng)在與參考捕獲圖像相同的圖像被設(shè)置為所述捕獲圖像的第N個(gè)捕獲圖像之后的第N+1個(gè)捕獲圖像的情況下、通過使用在所述捕獲圖像的參考 捕獲圖像中的指定位置與所述捕獲圖像的第N+1個(gè)捕獲圖像中的指定位置之間的部分生成全景圖像時(shí)，所述接合位置使所述圖像缺陷程度最小化，N是從所述參考捕獲圖像起計(jì)數(shù)的數(shù)量；以及 通過基于所確定的接合位置對(duì)所述捕獲圖像進(jìn)行接合，生成所述全景圖像。
【文檔編號(hào)】G06T3/00GK103918250SQ201280053872
【公開日】2014年7月9日 申請(qǐng)日期:2012年11月2日 優(yōu)先權(quán)日:2011年11月9日
【發(fā)明者】大木光晴, 山田英史, 佐野乾一, 加藤直哉, 木村篤史, 增野智經(jīng) 申請(qǐng)人:索尼公司