一種圖像拼接方法及裝置制造方法
【專利摘要】本發(fā)明適用于圖像拼接領(lǐng)域，提供了一種圖像拼接方法及裝置。所述方法包括：從多個視場中選取一個視場作為基準(zhǔn)視場；確定所述多個視場中除所述基準(zhǔn)視場外的其他視場到所述基準(zhǔn)視場的投影變換矩陣；根據(jù)所述投影變換矩陣確定所述多個視場中除所述基準(zhǔn)視場外的其他視場的投影變換視場；確定所述多個視場中除所述基準(zhǔn)視場外的其他視場的投影變換視場的形變量的和；確定所述多個視場中的所有視場依次作為基準(zhǔn)視場時，多個視場中除基準(zhǔn)視場的其他視場的投影變換視場的形變量的和的最小值；以所述投影變換視場的形變量的和的最小值所對應(yīng)的視場作為基準(zhǔn)視場，拼接圖像。本發(fā)明實施例能夠提高拼接圖像的質(zhì)量。
【專利說明】一種圖像拼接方法及裝置
【技術(shù)領(lǐng)域】
[0001 ] 本發(fā)明屬于圖像拼接領(lǐng)域，尤其涉及一種圖像拼接方法及裝置。
【背景技術(shù)】
[0002]全景拼接技術(shù)是指將一組具有重疊區(qū)域的圖像或者視頻序列，按照某種映射關(guān)系，通過空間配準(zhǔn)，將不同坐標(biāo)系中的像素點關(guān)聯(lián)起來，從而將同一視點或多個不同視點拍攝的視頻序列拼接成一幅包含各自圖像信息的寬視角、大范圍、過渡自然的新圖像。全景拼接技術(shù)的關(guān)鍵和核心在于準(zhǔn)確找到相鄰圖像重疊區(qū)域的位置及范圍，而將具有重疊視場(即重疊區(qū)域)的視頻序列合成一幅全景圖像，需要建立統(tǒng)一的坐標(biāo)變換關(guān)系。其中，重疊視場的示意圖如圖1所示，在圖1中，第一視場和第二視場為相鄰的兩個視場。
[0003]以視頻序列中的某個視場坐標(biāo)系為基準(zhǔn)，將其它視場都投影變換到該基準(zhǔn)坐標(biāo)系中，使相鄰圖像的重疊區(qū)域?qū)R，我們稱由此形成的拼接為全景的平面拼接。在全景平面拼接技術(shù)中，通常選取多視場中的某個視場作為基準(zhǔn)視場，其它視場按照映射關(guān)系投影變換到該基準(zhǔn)視場的坐標(biāo)系中。其中基準(zhǔn)視場的選取將直接影響到視頻全景的質(zhì)量，基準(zhǔn)視場不同，生成的視頻全景的質(zhì)量也將不同。
[0004]以全景視頻生成為例，現(xiàn)有的技術(shù)通常是人為地在攝像機陣列中選取某個攝像機的視場作為基準(zhǔn)視場，其它視場按照映射關(guān)系投影變換到該基準(zhǔn)視場的坐標(biāo)系中。人為選擇基準(zhǔn)視場的方法在攝像機陣列規(guī)模較小時達(dá)到的效果尚可，但在攝像機陣列較大時，由于攝像機陣列中的每個攝像機的視場都具有一定的自由性，因此，人為選出的基準(zhǔn)視場往往并非最佳的基準(zhǔn)視場，從而降低生成的視頻全景的質(zhì)量。

【發(fā)明內(nèi)容】

[0005]本發(fā)明實施例提供了一種圖像拼接方法，旨在解決現(xiàn)有方法選取基準(zhǔn)視場不準(zhǔn)確，從而導(dǎo)致拼接的圖像質(zhì)量過低的問題。
[0006]本發(fā)明實施例是這樣實現(xiàn)的，一種圖像拼接方法，所述方法包括下述步驟:
[0007]從多個視場中選取一個視場作為基準(zhǔn)視場；
[0008]確定所述多個視場中除所述基準(zhǔn)視場外的其他視場到所述基準(zhǔn)視場的投影變換矩陣；
[0009]根據(jù)所述投影變換矩陣確定所述多個視場中除所述基準(zhǔn)視場外的其他視場的投影變換視場；
[0010]確定所述多個視場中除所述基準(zhǔn)視場外的其他視場的投影變換視場的形變量的和；
[0011]重復(fù)上述步驟，獲得所述多個視場中的所有視場依次作為基準(zhǔn)視場時，多個視場中除基準(zhǔn)視場的其他視場的投影變換視場的形變量的和；
[0012]確定所述多個視場中的所有視場依次作為基準(zhǔn)視場時，多個視場中除基準(zhǔn)視場的其他視場的投影變換視場的形變量的和的最小值；[0013]以所述投影變換視場的形變量的和的最小值所對應(yīng)的視場作為基準(zhǔn)視場，拼接圖像。
[0014]本發(fā)明實施例的另一目的在于提供一種圖像拼接裝置，所述裝置包括:
[0015]視場選取單元，用于從多個視場中選取一個視場作為基準(zhǔn)視場；
[0016]投影變換矩陣確定單元，用于確定所述多個視場中除所述基準(zhǔn)視場外的其他視場到所述基準(zhǔn)視場的投影變換矩陣；
[0017]投影變換視場確定單元，用于根據(jù)所述投影變換矩陣確定所述多個視場中除所述基準(zhǔn)視場外的其他視場的投影變換視場；
[0018]第一形變量確定單元，用于確定所述多個視場中除所述基準(zhǔn)視場外的其他視場的投影變換視場的形變量的和；
[0019]第二形變量確定單元，用于確定所述多個視場中的所有視場依次作為基準(zhǔn)視場時，多個視場中除基準(zhǔn)視場的其他視場的投影變換視場的形變量的和的最小值；
[0020]圖像拼接單元，用于以所述投影變換視場的形變量的和的最小值所對應(yīng)的視場作為基準(zhǔn)視場，拼接圖像。
[0021]在本發(fā)明實施例中，基準(zhǔn)視場是通過比較所有視場分別作為基準(zhǔn)視場生成全景圖像的累積形變量確定的，且累積形變量都是根據(jù)視場投影到基準(zhǔn)視場的最短路徑計算得至IJ，因此采用本實施例提供的方法能夠選取到最優(yōu)的基準(zhǔn)視場，從而在采用本實施例選取的基準(zhǔn)視場作為拼接圖像的基準(zhǔn)視場時，能夠保證得到的全景圖像的累積形變量最小，提高了拼接的圖像質(zhì)量。
【專利附圖】

【附圖說明】
[0022]圖1是重疊視場的示意圖；
[0023]圖2是本發(fā)明第一實施例提供的一種圖像拼接方法的流程圖；
[0024]圖3是本發(fā)明第一實施例提供的一種攝像機陣列所拍攝的視場的示意圖；
[0025]圖4是本發(fā)明第一實施例提供的圖3對應(yīng)的投影變換圖的示意圖；
[0026]圖5是本發(fā)明第一實施例提供的圖4對應(yīng)的變換樹的示意圖；
[0027]圖6是本發(fā)明第一實施例提供的相鄰兩個攝像機拍攝同一點的位置關(guān)系圖；
[0028]圖7是本發(fā)明第一實施例提供的一個視場投影變換前的示意圖；
[0029]圖8是本發(fā)明第一實施例提供的圖7的視場投影變換后的示意圖；
[0030]圖9是本發(fā)明第三實施例提供的一種圖像拼接裝置的結(jié)構(gòu)圖。
【具體實施方式】
[0031]為了使本發(fā)明的目的、技術(shù)方案及優(yōu)點更加清楚明白，以下結(jié)合附圖及實施例，對本發(fā)明進行進一步詳細(xì)說明。應(yīng)當(dāng)理解，此處所描述的具體實施例僅僅用以解釋本發(fā)明，并不用于限定本發(fā)明。
[0032]本發(fā)明實施例中，從多個視場中選取任一視場作為基準(zhǔn)視場，并確定除基準(zhǔn)視場外的其他視場投影到基準(zhǔn)視場的最短路徑，再根據(jù)確定的最短路徑計算除基準(zhǔn)視場的其他視場到基準(zhǔn)視場的投影變換矩陣，根據(jù)計算的投影變換矩陣確定除基準(zhǔn)視場的其他視場對于的投影變換視場，最后計算每個投影變換視場的形變量，再計算最終生成的全景圖像的累積形變量。從多個視場中再選取其他視場作為基準(zhǔn)視場，確定以其他視場作為基準(zhǔn)視場時生成的全景圖像的累積形變量，比較以多個視場中的每一個視場作為基準(zhǔn)視場時生成的全景圖像的累積形變量，以確定最小的累積形變量是以哪個視場為基準(zhǔn)視場計算得到的，最后以最小的累積形變量對應(yīng)的基準(zhǔn)視場作為基準(zhǔn)視場對多個視場進行圖像拼接。
[0033]為了說明本發(fā)明所述的技術(shù)方案，下面通過具體實施例來進行說明。
[0034]實施例一:
[0035]圖2示出了本發(fā)明第一實施例提供的一種圖像拼接方法的流程圖，詳述如下:
[0036]步驟S21，從多個視場中選取一個視場作為基準(zhǔn)視場。
[0037]該步驟中，多個攝像機從不同角度拍攝了多個視場，任兩個相鄰的視場都有一定的重合區(qū)域，這樣任意兩個攝像機所拍攝的視場均可通過重合區(qū)域過渡。從拍攝的多個視場中任意選取一個視場作為基準(zhǔn)視場。
[0038]步驟S22，確定所述多個視場中除所述基準(zhǔn)視場外的其他視場到所述基準(zhǔn)視場的投影變換矩陣。
[0039]該步驟中，當(dāng)選定一個基準(zhǔn)視場后，其他視場按照映射關(guān)系投影變換到基準(zhǔn)視場所在的基準(zhǔn)坐標(biāo)系中，與基準(zhǔn)視場相鄰的視場可以直接計算該視場到基準(zhǔn)視場的投影變換矩陣，進而投影變換到基準(zhǔn)坐標(biāo)系中；而與基準(zhǔn)視場不相鄰的視場則需通過中間過渡視場計算該視場到基準(zhǔn)視場的投影變換矩陣。如圖3所示，數(shù)字節(jié)點表示一組3*3的攝像機陣列所拍攝的視場，現(xiàn)要對這九個視場的圖像進行全景拼接，假設(shè)空間位置相鄰的視場都具有一定的重疊區(qū)域。在全景拼接過程中，假設(shè)以視場I為基準(zhǔn)視場，視場2投影到視場I的投影變換矩陣可以直接計算得到，而和視場I非相鄰的視場6必須通過中間過渡視場來計算投影變換矩陣才能映射到基準(zhǔn)坐標(biāo)系中，而視場I和視場6之間的中間過渡視場并不唯一。圖3中用兩種線型標(biāo)示了視場I到視場6的其中兩條路徑，通過這兩條路徑可以得到視場6到視場I的投影變換矩陣的兩種計算方法。
[0040]其中，所述確定所述多個視場中除所述基準(zhǔn)視場外的其他視場到所述基準(zhǔn)視場的投影變換矩陣的步驟具體包括:
[0041]Al、確定所述多個視場中除所述基準(zhǔn)視場外的其他視場投影到所述基準(zhǔn)視場的最短路徑。該步驟中，視場投影到基準(zhǔn)視場的最短路徑是指該視場通過最少的中間過渡視場投影到基準(zhǔn)視場的路徑。
[0042]由于將視場進行投影變換，必然存在一定的誤差，投影變換的次數(shù)越多，累計的誤差也將越大，而當(dāng)誤差累計到一定程度的時候，就會出現(xiàn)誤匹配的現(xiàn)象，從而直接影響到全景圖像的效果。為了減小累積誤差，需要確定視場投影到基準(zhǔn)視場的最短路徑，以減少投影變換的次數(shù)。
[0043]其中，通過以下步驟確定視場投影到基準(zhǔn)視場的最短路徑:
[0044]AU、生成所述多個視場的投影變換圖；
[0045]A12、所述投影變換圖采用兩個節(jié)點是否連接表示兩個視場是否相鄰；
[0046]A13、根據(jù)所述投影變換圖生成可達(dá)路徑表，所述可達(dá)路徑表存儲了兩個節(jié)點對應(yīng)的兩個視場是否相鄰的信息；
[0047]A14、根據(jù)生成的可達(dá)路徑表生成所述多個視場的變換樹，所述變換樹存儲了每個節(jié)點對應(yīng)的視場投影到基準(zhǔn)視場的最短路徑的信息；[0048]A15、根據(jù)生成的變換樹確定所述多個視場中除所述基準(zhǔn)視場外的其他視場投影到所述基準(zhǔn)視場的最短路徑。
[0049]上述步驟中，引入數(shù)據(jù)結(jié)構(gòu)中“圖”的概念，利用不同的節(jié)點標(biāo)識各個視場，從而生成多個視場的投影變換圖。在投影變換圖中，連接的兩個節(jié)點表示相鄰的兩個節(jié)點。以圖3所示的9個視場為例,生成的投影變換圖如圖4所示,在圖4中,節(jié)點Vi (i=l, 2，…，9)表示視場i，從圖4可以看出，視場6可由視場I通過視場2，再由視場2到達(dá)視場6，也可由視場I通過視場5，再由視場5到達(dá)視場6等等。在生成了投影變換圖之后，根據(jù)該投影變換圖可得到如表1所述的可達(dá)路徑表:
[0050]表1:
[0051]
【權(quán)利要求】
1.一種圖像拼接方法，其特征在于，所述方法包括下述步驟: 從多個視場中選取一個視場作為基準(zhǔn)視場； 確定所述多個視場中除所述基準(zhǔn)視場外的其他視場到所述基準(zhǔn)視場的投影變換矩陣； 根據(jù)所述投影變換矩陣確定所述多個視場中除所述基準(zhǔn)視場外的其他視場的投影變換視場； 確定所述多個視場中除所述基準(zhǔn)視場外的其他視場的投影變換視場的形變量的和；重復(fù)上述步驟，獲得所述多個視場中的所有視場依次作為基準(zhǔn)視場時，多個視場中除基準(zhǔn)視場的其他視場的投影變換視場的形變量的和； 確定所述多個視場中的所有視場依次作為基準(zhǔn)視場時，多個視場中除基準(zhǔn)視場的其他視場的投影變換視場的形變量的和的最小值； 以所述投影變換視場的形變量的和的最小值所對應(yīng)的視場作為基準(zhǔn)視場，拼接圖像。
2.如權(quán)利要求1所述的方法，其特征在于，所述確定所述多個視場中除所述基準(zhǔn)視場外的其他視場到所述基準(zhǔn)視場的投影變換矩陣的步驟具體包括: 確定所述多個視場中 除所述基準(zhǔn)視場外的其他視場投影到所述基準(zhǔn)視場的最短路徑; 根據(jù)確定的最短路徑計算所述多個視場中除所述基準(zhǔn)視場外的其他視場投影到所述基準(zhǔn)視場的投影變換矩陣。
3.如權(quán)利要求2所述的方法，其特征在于，所述確定所述多個視場中除所述基準(zhǔn)視場外的其他視場投影到所述基準(zhǔn)視場的最短路徑的步驟具體包括: 生成所述多個視場的投影變換圖；所述投影變換圖采用兩個節(jié)點是否連接表示兩個視場是否相鄰； 根據(jù)所述投影變換圖生成可達(dá)路徑表，所述可達(dá)路徑表存儲了兩個節(jié)點對應(yīng)的兩個視場是否相鄰的信息； 根據(jù)生成的可達(dá)路徑表生成所述多個視場的變換樹，所述變換樹存儲了每個節(jié)點對應(yīng)的視場投影到基準(zhǔn)視場的最短路徑的信息； 根據(jù)生成的變換樹確定所述多個視場中除所述基準(zhǔn)視場外的其他視場投影到所述基準(zhǔn)視場的最短路徑。
4.如權(quán)利要求2所述的方法，其特征在于，所述根據(jù)確定的最短路徑計算所述多個視場中除所述基準(zhǔn)視場外的其他視場投影到所述基準(zhǔn)視場的投影變換矩陣的步驟具體包括: 判斷多個視場中的任一視場與基準(zhǔn)視場是否相鄰； 在多個視場中的任一視場與基準(zhǔn)視場相鄰時，根據(jù)所述多個視場中的任一視場所在的攝像機坐標(biāo)系相對于世界坐標(biāo)系的平移矩陣、縮放矩陣以及旋轉(zhuǎn)矩陣，確定所述多個視場中的任一視場投影到基準(zhǔn)視場的投影變換矩陣； 在多個視場中的任一視場與基準(zhǔn)視場不相鄰時，根據(jù)所述多個視場中的任一視場所在的攝像機坐標(biāo)系相對于世界坐標(biāo)系的平移矩陣、縮放矩陣以及旋轉(zhuǎn)矩陣，確定所述多個視場中的任一視場通向基準(zhǔn)視場的最短路徑上第一視場投影到第二視場的投影變換矩陣；所述第一視場與第二視場相鄰，且第二視場到基準(zhǔn)視場的路徑短于第一視場到基準(zhǔn)視場的路徑；計算所述多個視場中的任一視場與基準(zhǔn)視場的最短路徑上任意兩個相鄰的視場的投影變換矩陣的乘積，作為所述多個視場中的任一視場投影到基準(zhǔn)視場的投影變換矩陣。
5.如權(quán)利要求1所述的方法，其特征在于，所述確定所述多個視場中除所述基準(zhǔn)視場外的其他視場的投影變換視場的形變量的和的步驟具體包括: 確定所述多個視場中除所述基準(zhǔn)視場外的任一視場的投影變換視場的形變量； 累加所述多個視場中除所述基準(zhǔn)視場外的所有視場的投影變換視場的形變量； 其中，所述確定所述多個視場中除所述基準(zhǔn)視場外的任一視場的投影變換視場的形變量的步驟具體包括: 在所述多個視場中除所述基準(zhǔn)視場外的任一視場投影到所述基準(zhǔn)視場之前，確定所述任一視場中的任一視點到投影變換前建立的坐標(biāo)系的原點的歐氏距離； 在所述任一視場投影到所述基準(zhǔn)視場之后，確定所述任一視場中的任一視點到投影變換后建立的坐標(biāo)系的原點的歐氏距離； 計算視場中的任一視點到投影變換前建立的坐標(biāo)系的原點的歐氏距離與所述視場中的任一視點到投影變換后建立的坐標(biāo)系的原點的歐氏距離的差； 累加視場中所有視點的歐氏距離的差，作為所述視場對應(yīng)的投影變換視場的形變量的和。
6.一種圖像拼接裝置，其特征在于，所述裝置包括: 視場選取單元，用于從多個視場中選取一個視場作為基準(zhǔn)視場； 投影變換矩陣確定單元，用于確定所述多個視場中除所述基準(zhǔn)視場外的其他視場到所述基準(zhǔn)視場的投影變換矩陣； 投影變換視場確定單元，用于根據(jù)所述投影變換矩陣確定所述多個視場中除所述基準(zhǔn)視場外的其他視場的投影變換視場； 第一形變量確定單元，用于確定所述多個視場中除所述基準(zhǔn)視場外的其他視場的投影變換視場的形變量的和； 第二形變量確定單元，用于確定所述多個視場中的所有視場依次作為基準(zhǔn)視場時，多個視場中除基準(zhǔn)視場的其他視場的投影變換視場的形變量的和的最小值； 圖像拼接單元，用于以所述投影變換視場的形變量的和的最小值所對應(yīng)的視場作為基準(zhǔn)視場，拼接圖像。
7.如權(quán)利要求6所述的裝置，其特征在于，所述投影變換矩陣確定單元包括: 最短路徑確定模塊，用于確定所述多個視場中除所述基準(zhǔn)視場外的其他視場投影到所述基準(zhǔn)視場的最短路徑； 投影變換矩陣計算模塊，用于根據(jù)確定的最短路徑計算所述多個視場中除所述基準(zhǔn)視場外的其他視場投影到所述基準(zhǔn)視場的投影變換矩陣。
8.如權(quán)利要求7所述的裝置，其特征在于，所述最短路徑確定模塊包括: 投影變換圖生成模塊，用于生成所述多個視場的投影變換圖；所述投影變換圖采用兩個節(jié)點是否連接表示兩個視場是否相鄰； 可達(dá)路徑表生成模塊，用于根據(jù)所述投影變換圖生成可達(dá)路徑表，所述可達(dá)路徑表存儲了兩個節(jié)點對應(yīng)的兩個視場是否相鄰的信息； 變換樹生成模塊，用于根據(jù)生成的可達(dá)路徑表生成所述多個視場的變換樹，所述變換樹存儲了每個節(jié)點對應(yīng)的視場投影到基準(zhǔn)視場的最短路徑的信息； 投影路徑確定模塊，用于根據(jù)生成的變換樹確定所述多個視場中除所述基準(zhǔn)視場外的其他視場投影到所述基準(zhǔn)視場的最短路徑。
9.如權(quán)利要求7所述的裝置，其特征在于，所述投影變換矩陣計算模塊包括: 相鄰判斷模塊，用于判斷多個視場中的任一視場與基準(zhǔn)視場是否相鄰； 矩陣生成模塊，用于在多個視場中的任一視場與基準(zhǔn)視場相鄰時，根據(jù)所述多個視場中的任一視場所在的攝像機坐標(biāo)系相對于世界坐標(biāo)系的平移矩陣、縮放矩陣以及旋轉(zhuǎn)矩陣，確定所述多個視場中的任一視場投影到基準(zhǔn)視場的投影變換矩陣；在多個視場中的任一視場與基準(zhǔn)視場不相鄰時，根據(jù)所述多個視場中的任一視場所在的攝像機坐標(biāo)系相對于世界坐標(biāo)系的平移矩陣、縮放矩陣以及旋轉(zhuǎn)矩陣，確定所述多個視場中的任一視場通向基準(zhǔn)視場的最短路徑上第一視場投影到第二視場的投影變換矩陣；所述第一視場與第二視場相鄰，且第二視場到基準(zhǔn)視場的路徑短于第一視場到基準(zhǔn)視場的路徑；計算所述多個視場中的任一視場與基準(zhǔn)視場的最短路徑上任意兩個相鄰的視場的投影變換矩陣的乘積，作為所述多個視場中的任一視場投影到基準(zhǔn)視場的投影變換矩陣。
10.如權(quán)利要求6所述的裝置，其特征在于，所述第一形變量確定單元包括: 形變量計算模塊，用于確定所述多個視場中除所述基準(zhǔn)視場外的任一視場的投影變換視場的形變量，具體包括:在所述多個視場中除所述基準(zhǔn)視場外的任一視場投影到所述基準(zhǔn)視場之前，確定所述任一視場中的任一視點到投影變換前建立的坐標(biāo)系的原點的歐氏距離；在所述任一視場投影到所述基準(zhǔn)視場之后，確定所述任一視場中的任一視點到投影變換后建立的坐標(biāo)系的原點的歐氏距離；計算視場中的任一視點到投影變換前建立的坐標(biāo)系的原點的歐氏距離與所述視場中的任一視點到投影變換后建立的坐標(biāo)系的原點的歐氏距離的差；累加視場中所有視點的歐氏距離的差，作為所述視場對應(yīng)的投影變換視場的形變量的和； 形變量累加模塊，用于累加所述多個視場中除所述基準(zhǔn)視場外的所有視場的投影變換視場的形變量。
【文檔編號】G06T7/00GK103942782SQ201410129615
【公開日】2014年7月23日 申請日期:2014年3月31日 優(yōu)先權(quán)日:2014年3月31日
【發(fā)明者】張艷 申請人:Tcl集團股份有限公司