專利名稱：圖像拼接方法及裝置的制作方法
技術領域：
本發(fā)明涉及圖像處理技術領域，尤其涉及一種圖像拼接方法及裝置。
背景技術：
通過反/折射系統(tǒng)、魚眼透鏡等硬件設備能夠直接建立無縫廣角圖像，但由 于這些硬件設備是在有限的成像面上捕獲盡可能多的信息，導致了建立的無縫 廣角圖像產(chǎn)生嚴重失真。
通過將數(shù)字成像設備可以拍攝到數(shù)字格式的圖像，將多幅數(shù)字圖像拼接可 以獲取一幅視場寬度較大的數(shù)字全景圖像，并且最終得到的數(shù)字全景圖像失真
較小。目前應用較多的圖像拼接技術包括如下幾種
第一、在一個固定觀測點拍攝多幅觀察方向不同的圖像，然后計算出不同 圖像之間的點到點的映射關系，這一映射關系稱為對應變換(Homography),主 要表現(xiàn)為平移、旋轉(zhuǎn)、仿射以及投影等形式；接下來將所有的圖像按照對應變 換關系投影到統(tǒng) 一 的坐標系下并拼接形成 一 個視場寬度較大的圖像，或者形成 一個360°視野的圖像；最后采用平滑函數(shù)消除在圖像拼接時在重疊區(qū)域上出現(xiàn) 的縫隙。
這種圖像拼接方法通常被用于互聯(lián)網(wǎng)上的虛擬漫游，登入網(wǎng)站的游客可以 瀏覽真實世界中景物的全景影像。但由于該拼接方法只有在固定觀測點拍攝到 的圖像才有意義，這就要求必須在同一個靜止位置拍攝得到所有圖像，否則， 在拼接出來的圖像會由于視差產(chǎn)生的重影，使得拼接處出現(xiàn)不自然的過渡。而 實際運用時，很難做到在同一個靜止位置拍攝，即攝像機繞光心旋轉(zhuǎn)拍攝使 得拍攝到的多幅圖像其光心重合。第二、在獲取到多幅視點不同的圖像后，先以視點之間某些連續(xù)中間點作 為視點重新構建圖像，然后找出原來獲取的圖像以及重構的圖像中重疊的區(qū)域， 再根據(jù)重疊區(qū)域進行圖像拼接。
以中間點作為視點重構圖像的方法能夠減少兩個視點視差對拼接圖像造成 的重影。但是，如果原始圖像的視差過大，為了減少拼接圖像的重影，需要生 成過多中間點圖像，導致運算量過大。對于兩個以上視點圖像進行拼接，也將 產(chǎn)生過多中間點圖像，導致圖像拼接耗費過多時間。
第三、通過標定攝像機的方法獲取攝像機的焦距、主點坐標、畸變因子以 及旋轉(zhuǎn)角度和位置等參數(shù)，以便對攝像機拍攝的圖像進行映射關系的計算。
以上第三種方法中，需要對攝像機進行標定，而標定是計算機領域較難的 課題。同時，為了在進行視差補償時不用考慮背景的視差，該方法還需要將拍 攝圖像的背景設置成單一背景。

發(fā)明內(nèi)容
本發(fā)明的實施例提供一種圖像拼接方法及裝置，在不需要對應用場景進行 嚴格限制的情況下，減少拼接后的圖像中的重影。
為達到上述目的，本發(fā)明的實施例采用如下技術方案 一種圖像拼接方法，包括
獲取兩幅圖像，所述兩幅圖像之間存在重疊區(qū)域；
查找所述兩幅圖像的重疊區(qū)域；
獲取所述重疊區(qū)域的深度根據(jù)所述深度圖將所述兩幅圖像拼接成一幅圖像。
一種圖像拼接裝置，包括
第一獲取單元，用于獲取兩幅圖像，所述兩幅圖像之間存在重疊區(qū)域；查找單元，用于查找所述兩幅圖像的重疊區(qū)域； 第二獲取單元，用于獲取所述重疊區(qū)域的深度圖； 拼接單元，用于根據(jù)所述深度圖將所述兩幅圖像拼接成一幅圖像。 本發(fā)明實施例提供的圖像拼接方法及裝置，在對兩幅圖像進行拼接時，先 找到兩者的重疊區(qū)域，然后獲取重疊區(qū)域的深度圖，由于深度圖能夠精確反映 各個像素點距離攝像機的距離。如果拍攝圖像的背景不是單一背景，圖像中的 信息由于距離攝像機的遠近不同造成視差不同，使得圖像中的像素位于不同的 層次，由于本實施例可以通過深度圖進行精確計算出各個層次的視差，使得進 行圖像拼接時能夠?qū)χ丿B區(qū)域的像素進行精確處理，以減少拼接后圖像中的重 影。所以，本實施例提供的圖像拼接方法及裝置能夠在不需要對應用場景進行 嚴格限制的情況下，減少拼接后的圖像中的重影。
同時，由于本實施例中只利用了兩幅圖像，以及重疊區(qū)域的深度圖進行拼 接處理，不需要重新計算中間視點的圖像，能夠節(jié)約大量的運算。


圖1為本發(fā)明實施例1中圖像拼接方法的流程圖； 圖2為本發(fā)明實施例1中圖像拼接裝置的結構示意圖； 圖3為本發(fā)明實施例2中圖像拼接方法的流程圖； 圖4為本發(fā)明實施例2中深度和視差的幾何關系圖； 圖5為本發(fā)明實施例2中圖係Jf接裝置的結構示意圖； 圖6為本發(fā)明實施例2中第二獲取單元的結構示意圖； 圖7為本發(fā)明實施例3中圖像拼接方法的流程圖； 圖8為本發(fā)明實施例3中圖像拼接裝置的結構示意圖。
具體實施方式
下面結合附圖對本發(fā)明實施例圖像拼接方法及裝置進行詳細描述。
實施例1:
如圖1所示，本實施例4是供一種圖^f象拼接方法，該方法包括如下步驟
101、 獲取兩幅圖像，這兩幅圖像可以是實時地通過攝像機拍攝得到，也可 以從已經(jīng)拍攝好的圖像庫中提取。
102、 如果這兩幅圖像是可以拼接到一起的，那么這兩幅圖像的景物之間應 該存在相同的部分，本步驟就是查找所述兩幅圖像的重疊區(qū)域。
在查找重疊區(qū)域可以采用如下方法SIFT ( Scale-Invariant Features: 尺度不變的特征)特征點檢測方法、Harris特征點檢測方法、Susan特征點檢 測方法、立體圖像匹配方法、或者其他特征點;險測方法等。在某些情況下還可 以采用手動選取特征點的方法得到重疊區(qū)域。
其中，SIFT特征點檢測方法是目前較優(yōu)秀的一種特征點檢測方法，滿足仿 射不變，故而本實施例中采用SIFT特征點;險測方法來查找重疊區(qū)域。
103、 為了能夠精確拼接圖像，本實施例需要得到重疊區(qū)域的立體信息，故 而在本步驟中需要獲取所述重疊區(qū)域的深度圖以表征重疊區(qū)域的立體信息。
104、 根據(jù)所述深度圖將所述兩幅圖像拼接成一幅圖像，使得拼接后的圖像 在重疊區(qū)域內(nèi)部會出現(xiàn)重影。
如圖2所示，本實施例還提供一種圖像拼接裝置，該裝置包括第一獲取 單元21、查找單元22、第二獲取單元23和拼接單元24。
其中，第一獲取單元21用于獲取兩幅圖像，如果所述兩幅圖像是實時地通 過攝像機拍攝得到，那么該第一獲取單元21就是一對攝像機，如果所述兩幅圖 像是從已經(jīng)拍攝好的圖像庫中提取，那么該第一獲取單元21就是輸入接口。所 述查找單元22用于查找所述兩幅圖像的重疊區(qū)域，該查找單元可以采用上述步驟102中介紹的工作原理；所述第二獲取單元23用于獲取查找單元查找到的重 疊區(qū)域的深度圖；所述拼接單元24用于根據(jù)所述深度圖將所述兩幅圖像拼接成 一幅圖像。
采用本實施例的圖像拼接方法及裝置后，如果拍攝圖像的背景不是單一背 景，使得圖像中的像素位的層次較多，由于本實施例可以通過深度圖進行精確 計算出各個層次的視差，使得進行圖像拼接時能夠?qū)χ丿B區(qū)域的像素進行精確 處理，以減少拼接后圖像中的重影。
實施例2:
如圖3所示，本實施例提供一種圖傳4并接方法，該方法包括如下步驟
301、 通過兩臺攝像機分別拍攝兩幅圖像，在這兩幅圖像的景物之間存在重 疊的部分。
302、 查找所述兩幅圖像之間的重疊區(qū)域，在實際應用時，可以采用如下方 法查找兩幅圖4象之間的重疊區(qū)i或SIFT ( Scale-Invariant Features:尺度不 變的特征)特征點檢測方法、Harris特征點檢測方法、Susan特征點檢測方法、 立體圖^f象匹配方法、或者其他特征點;險測方法等。在某些情況下還可以采用手 動選取特征點的方法得到重疊區(qū)域。
303、 通過深度攝像機直接獲取所述重疊區(qū)域的深度圖，該深度攝像機通過 物理方法直接測量到景物距離深度攝像機的距離，如向景物發(fā)射電^F茲波、紅 外線等，根據(jù)景物反射電磁波或紅外線所需的時間確定景物距離深度攝像機的 距離。這就相當于本實施例中需要通過步驟301中提到的兩個普通攝像機獲取 圖像，還需要通過該深度攝像機獲取深度圖。
以上為其中一種獲取重疊區(qū)域深度圖的方法，在實際應用時，可以根據(jù)場 景的不同選擇其他獲取深度圖的方法，例如通過計算兩幅圖像中的視差來確定深度圖。
其中視差表示由于兩個攝像機之間存在距離，并且景物點距離攝像機(深 度)不能無窮遠，使得同一個景物點在兩個攝像機中成像位置不同。
一般，深
度越大，視差越??；深度越小，視差越大。
如圖4所示，視差^和深度、的關系推導過程如下
其中A-A為視差，D表示攝像機的焦距，^攝像機之間的距離，當深度 較小時，則視差P和深度、的關系可以等效為P*, 。
所以，可以通過圖像匹配的方法計算出視差后，再通過視差計算出深度圖。 本實施例中，可以采用的方法包括如下兩種
第一、直接計算所述兩幅圖像重疊區(qū)域內(nèi)對應像素之間的視差，并根據(jù)視 差計算重疊區(qū)域的深度圖。
第二、在兩個3見點重新獲取所述重疊區(qū)域內(nèi)的兩幅圖{象，計算重新獲取的 兩幅圖像中對應像素之間的視差，并根據(jù)視差計算重疊區(qū)域內(nèi)的深度圖。
上述第一種方法不需要單獨獲取圖像用來計算;f見差，能夠節(jié)約部分攝像機， 采用第二種方法需要再設置一個雙目攝像機。
獲取到重疊區(qū)域的深度圖后，就可以進行圖像拼接了，下面步驟具體介紹 圖像拼接過程。
304、 計算所述兩幅圖像之間的單應性矩陣，所述兩幅圖像上的像素點均在 所述單應性矩陣內(nèi)存在對應的矩陣元素。
305、 由于每幅圖像中的像素點均和單應性矩陣中的矩陣元素對應，可以將
p = x丑1將第一幅圖像按照其像素點與單應性矩陣的矩陣元素的對應關系映射到目標坐 標系中。
一般情況這種映射就相當于將第一幅圖像中的全部像素點完整地映射到目 標坐標系，所以，所述目標坐標系可以就是所述第一幅圖像的坐標系，這樣就 不用對第 一 幅圖像進行復雜的映射操作，只需要完整保留第 一 幅圖像就可以完 成本步驟中的映射功能。
306、 由步驟304中的介紹可知，視差"和深度^的關系為 ~ D D 表示攝像機的焦距，^攝像機之間的距離。所以，可以根據(jù)深度圖中深度值分
別計算重疊區(qū)域內(nèi)兩幅圖像上每對對應像素之間的視差。
307、 判斷計算出的視差是否超出預定的視差范圍，如果超出預定的視差范 圍，執(zhí)行步驟309;否則執(zhí)行步驟308。考慮到拼接圖像的精度要求， 一般情況 下，這個預定的視差范圍最好是0個像素到1個像素。
308、 舍棄第二幅圖像的像素點，并執(zhí)行步驟310。
309、 將第二幅圖像的像素點映射到目標坐標系中第一幅圖像對應像素點的 坐標上，即計算所述兩幅圖像中對應像素點的加權平均色度值和加權平均亮 度值，并將該加權平均色度值和加權平均亮度值分別作為目標坐標系中第一幅 圖像對應像素點的色度值和亮度值，然后執(zhí)行步驟310。
310、 判斷所述重疊區(qū)域的像素是否處理完畢，如果處理完畢執(zhí)行步驟311; 否則執(zhí)行步驟306。
311、 將第二幅圖像中在重疊區(qū)域以外的像素按照其與單應性矩陣的對應關 系映射到目標坐標系中，這一步的操作就相當于將非重疊區(qū)域的像素直接映射 到目標坐標系中，本實施例的目標坐標系為第一幅圖^f象的坐標系。
對應于上述圖像拼接方法，本實施例還提供一種圖像拼接裝置，如圖5所示，該裝置包括第一獲取單元51、查找單元52、第二獲取單元53以及拼接 單元54。
其中，第一獲取單元51用于獲取兩幅圖像，本實施例兩幅圖像是實時地通 過攝像機拍攝得到，所以，所述第一獲取單元51就是一對普通的攝像機；所述 查找單元52用于查找所述兩幅圖像的重疊區(qū)域。
通過對重疊區(qū)域的拼接就可以完成圖像的拼接，為了減少重疊區(qū)域的拼接 時產(chǎn)生的重影，首先需要獲取重疊區(qū)域的深度圖，本實施例中第二獲取單元53 用于獲取所述重疊區(qū)域的深度圖。第二獲取單元53包括如下實現(xiàn)方式
第 一 、將第二獲取單元5 3直接取為深度攝像機，。
第二、所述第二獲取單元53包括計算模塊531，該計算模塊531用于計算 所述兩幅圖像重疊區(qū)域內(nèi)對應像素之間的視差，并根據(jù)視差計算重疊區(qū)域的深
度圖，其中，視差P和深度、的關系為P 5 ，D表示攝像機的焦距，^攝 像機之間的距離。
第三、如圖6所示，所述第二獲取單元包括獲取^模塊61和計算模塊62。 其中，獲取模塊61用于在兩個視點重新獲取所述重疊區(qū)域內(nèi)的兩幅圖像， 相當于一個雙目攝像機；計算模塊62用于計算重新獲取的兩幅圖像中對應像素
之間的視差，并根據(jù)視差計算重疊區(qū)域內(nèi)的深度圖，其中，視差戶和深度Zp的關
X丑
系為P D、， D表示攝像機的焦距，^攝像機之間的距離。
得到上述的深度圖后，拼接單元54根據(jù)所述深度圖將所述兩幅圖像拼接成 一幅圖像。其中拼接單元54包括第一計算模塊541、映射模塊542和第二計算 模塊543。
第一計算模塊541用于計算所述兩幅圖像之間的單應性矩陣，所述兩幅圖向上的像素點在該單應性矩陣內(nèi)均有對應的矩陣元素，并且如果這兩幅圖^^中 像素點對應于景物中的同 一點，則這兩個像素點對應于單應性矩陣中的同 一個
矩陣元素。映射模塊542用于將第一幅圖像按照其與單應性矩陣的對應關系映 射到目標坐標系中；第二計算模塊543用于根據(jù)所述深度圖計算所述重疊區(qū)域 內(nèi)兩幅圖像上對應像素之間的視差。當視差在預定視差范圍內(nèi)時，所述映射模 塊542直接舍棄第二幅圖像的像素點；當視差超出預定視差范圍時，所述映射 模塊542將第二幅圖像的像素點映射到目標坐標系中第一幅圖像對應像素點的 坐標上，即計算所述兩幅圖像中對應像素點的加權平均色度值和加權平均亮 度值，并將所述加權平均色度值和加權平均亮度值分別作為目標坐標系中第一 幅圖像對應像素點的色度值和亮度值?？紤]到拼接圖像的精度要求， 一般情況 下，這個預定的視差范圍最好是0個像素到1個像素。在完成重疊區(qū)域的映射 后，本實施例中的映射模塊542還需要將第二幅圖像中在重疊區(qū)域以外的像素 按照其與單應性矩陣的對應關系映射到目標坐標系中，使得拼接后的圖像是一
個完整的圖像，不會丟失原有數(shù)據(jù)。
采用本實施例的圖像拼接方法及裝置后，如果拍攝圖^f象的背景不是單一背 景，使得圖像中的像素位的層次較多，由于本實施例可以通過深度圖進行精確 計算出各個層次的視差，使得進行圖像拼接時能夠?qū)χ丿B區(qū)域的像素進行精確 處理，以減少拼接后圖像中的重影。并且本實施例中沒有采用對攝像機進行標 定的技術，P條低了本實施例應用時的難度。
并且由于本實施例不需要計算大量的中間視點圖像，相對于采用中間視點 進行圖像拼接的方法而言，本實施例能夠節(jié)約更多的計算資源。采用中間-脫點 圖像拼接的方法，在兩個視點觀察同一個物體時，由于其中一個視點能夠看到， 而另一個視點不能看到，在生成中間點圖像時就可能會產(chǎn)生遮擋或者空洞，需要準確計算遮擋關系，并進行空洞填充。而本實施例采用深度圖表示圖像的立 體信息，使得在拼接后的圖像中能夠直接通過深度信息來確定遮擋關系，而且 沒有空洞的產(chǎn)生。
本實施例在應用時，直接采用的時兩個攝像機同時拍攝的圖像，而這種情 況沒有限制攝像機的光心要在同一點，所以，本實施例允許攝像機在在拍攝圖 像時其光心位于不同的點。
實施例3:
如圖7所示，本實施例提供一種圖像拼接方法，該方法包括如下步驟
701、 通過兩臺攝像機分別拍攝兩幅圖像，在這兩幅圖像的景物之間存在重 疊的部分。
702、 查找所述兩幅圖像之間的重疊區(qū)域，在實際應用時，可以采用如下方 法查找兩幅圖《象之間的重疊區(qū)i或SIFT ( Scale-Invariant Features:尺度不 變的特征)特征點4僉測方法、Harris特征點4企測方法、Susan特征點檢測方法、 立體圖像匹配方法、或者其他特征點檢測方法等。在某些情況下還可以采用手 動選取特征點的方法得到重疊區(qū)域。
703、 通過深度攝像機直接獲取所述重疊區(qū)域的深度圖，該深度攝像機通過 物理方法直接測量到景物距離深度攝像機的距離，如向景物發(fā)射電磁波、紅 外線等，根據(jù)景物反射電磁波或紅外線所需的時間確定景物距離深度攝像機的 距離。這就相當于本實施例中需要通過步驟701中提到的兩個普通攝像機獲取 圖像，還需要通過該深度攝像機獲取深度圖。
以上為其中一種獲取重疊區(qū)域深度圖的方法，在實際應用時，可以根據(jù)場 景的不同選擇其他獲取深度圖的方法，例如通過計算兩幅圖像中的視差來確定 深度圖。704、 根據(jù)所述深度圖生成所述兩幅圖像視點之間連續(xù)的中間虛擬視點圖
像。具體為根據(jù)以下公式計算虛擬視點圖像與已知圖像之間的視差 d=A101' -A202, =f * (C01-C02) /Z=f ，0 /Z。
其中，d為虛擬視點圖像與已知視圖之間的視差，f為攝#4幾的焦距，~。為 虛擬視點之間的距離，Z為圖像的深度。
結合上述計算處的視差和已知圖像可以生成中間虛擬視點圖像，具體公式
為
、=" ~ + &，其中，^為已知圖像上像素點的橫坐標，、為已知圖像上
的像素點在中間虛擬視點圖像上對應的橫坐標，B為兩個原攝像點之間的距離，
&。為中間虛擬視點與其中一個原攝像點之間的距離。
705、 將所述兩幅圖像和中間虛擬視點圖像拼接成一幅圖像，可以將所有的
圖像按照視點的順序排列，然后依次兩兩圖像之間進行拼接。
對應于上述圖像拼接方法，本實施例還提供一種圖像拼接裝置，如圖8所 示，該裝置包括第一獲取單元81、查找單元82、第二獲取單元83以及拼接 單元84。
其中，第一獲取單元81用于獲取兩幅圖像，本實施例兩幅圖像是實時地通 過攝像機拍攝得到，所以，所述第一獲取單元81就是一對普通的攝像機；所述 查找單元82用于查找所述兩幅圖像的重疊區(qū)域。所述第二獲取單元83為深度 攝像機，用于獲取所述重疊區(qū)域的深度圖。
所述拼接單元84包括生成模塊841和拼接模塊842。
所述生成模塊841用于根據(jù)所述深度圖生成所述兩幅圖像視點之間連續(xù)的 中間虛擬視點圖像；具體為根據(jù)以下公式計算中間虛擬視點圖像與已知圖像之 間的視差d=A10r -A202' =f * (C01-C02) /Z=f * ^。 /Z。其中，d為虛擬視點圖像與已知視圖之間的視差，f為攝像機的焦距，&。為 虛擬視點之間的距離，Z為圖像的深度。
結合上述計算處的視差和已知圖像可以生成中間虛擬視點圖像，具體公式
為
、=^/*^ + ; :。，其中，A為已知圖像上像素點的橫坐標，、為已知圖像上
的像素點在中間虛擬視點圖像上對應的橫坐標，B為兩個原攝像點之間的距離，
^。為中間虛擬視點與其中一個原攝像點之間的距離。
所述拼接模塊842用于將所述兩幅圖像和中間虛擬視點圖像拼接成一幅圖
像。拼接模塊842將所有的圖像按照視點的順序排列，然后依次兩兩圖像之間
進行拼接。
本實施例中采用的拼接方法和實現(xiàn)相應功能的裝置采用通過深度圖直接計 算中間虛擬視點的圖像，然后將中間虛擬視點圖像和原始的兩幅圖像拼接成一 幅圖像。由于是采用深度圖直接計算中間虛擬視點圖像，相對于現(xiàn)有技術中通 過兩幅圖像來計算中間虛擬視點圖像而言，本實施例的計算更加快捷。
本發(fā)明實施例將兩個從不同視點分別獲取到兩幅圖4象，計算出重疊區(qū)域的 深度圖，從而利用深度圖進行拼接，使得拼接圖像的應用范圍不再局限于同一 視點獲取的圖像。當然，在同一視點獲取的兩幅圖像，如果兩者具有重疊區(qū)域， 也是可以采用本發(fā)明實施例進行拼接的。
上述實施例只是采用了兩幅圖像進行說明，在具體進行多幅圖像的拼接時， 需要先將兩幅圖像拼接完成，然后將拼接后的圖像和第三幅圖像按照上述方法 進行拼接， 一次類推，即可得到多幅圖像拼接成的寬廣視角圖像。
本實施例涉及的方法和裝置可以用在多場景的視頻會議、獲取寬廣視角圖 像或視頻的技術中。以上所述，僅為本發(fā)明的具體實施方式
，但本發(fā)明的保護范圍并不局限于 此，任何熟悉本技術領域的技術人員在本發(fā)明揭露的技術范圍內(nèi)，可輕易想到 的變化或替換，都應涵蓋在本發(fā)明的保護范圍之內(nèi)。因此，本發(fā)明的保護范圍 應所述以權利要求的保護范圍為準。
權利要求
1、一種圖像拼接方法，其特征在于，包括獲取兩幅圖像，所述兩幅圖像之間存在重疊區(qū)域；查找所述兩幅圖像的重疊區(qū)域；獲取所述重疊區(qū)域的深度圖；根據(jù)所述深度圖將所述兩幅圖像拼接成一幅圖像。
2、 根據(jù)權利要求1所述的圖像拼接方法，其特征在于，獲取所述重疊區(qū)域 的深度圖包括利用深度攝像機直接獲取所述重疊區(qū)域的深度圖；或者 計算所述兩幅圖像重疊區(qū)域內(nèi)對應像素之間的視差，并根據(jù)所述視差計算重疊區(qū)域的深度圖；或者在兩個視點重新獲取所述重疊區(qū)域內(nèi)的兩幅圖像，計算重新獲取的兩幅圖像中對應像素之間的視差，并根據(jù)視差計算重疊區(qū)域內(nèi)的深度圖。
3、 根據(jù)權利要求l所述的圖像拼接方法，其特征在于，根據(jù)所述深度圖將 所述兩幅圖像拼接成一幅圖像包括計算所述兩幅圖像之間的單應性矩陣；將第一幅圖像按照其與單應性矩陣的對應關系映射到目標坐標系中； 根據(jù)所述深度圖計算所述重疊區(qū)域內(nèi)兩幅圖像上對應像素之間的視差； 若視差在預定視差范圍內(nèi)，則舍棄第二幅圖像的像素點； 若視差超出預定視差范圍，則將所述第二幅圖像在所述重疊區(qū)域內(nèi)的像素 點映射到目標坐標系中第一幅圖像的對應像素點的坐標上；將第二幅圖像中在重疊區(qū)域以外的像素按照其與單應性矩陣的對應關系映射到目標坐標系中。
4、 根據(jù)權利要求3所述的圖像拼接方法，其特征在于，所述目標坐標系為所述第 一幅圖像的坐標系。
5、 根據(jù)權利要求3所述的圖像拼接方法，其特征在于，將所述第二幅圖像 在所述重疊區(qū)域內(nèi)的像素點映射到目標坐標系中第一幅圖像的對應像素點的坐 標上為計算所述兩幅圖像中對應像素點的加權平均色度值和加權平均亮度值， 并將該加權平均色度值和加權平均亮度值分別作為目標坐標系中第一幅圖像對 應像素點的色度值和亮度值。
6、 根據(jù)權利要求1所述的圖像拼接方法，其特征在于，根據(jù)所述深度圖將 所述兩幅圖像拼接成一幅圖像包括根據(jù)所述深度圖生成所述兩幅圖4I^見點之間連續(xù)的中間虛擬視點圖像； 將所述兩幅圖像和中間虛擬視點圖像拼接成一幅圖像。
7、 一種圖像拼接裝置，其特征在于，包括第一獲取單元，用于獲取兩幅圖像，所述兩幅圖像之間存在重疊區(qū)域；查找單元，用于查找所述兩幅圖像的重疊區(qū)域；第二獲取單元，用于獲取所述重疊區(qū)域的深度圖；拼接單元，用于根據(jù)所述深度圖將所述兩幅圖像拼接成一幅圖像。
8、 根據(jù)權利要求7所述的圖像拼接裝置，其特征在于，所述第二獲取單元 為深度攝像機。
9、 根據(jù)權利要求7所述的圖像拼接裝置，其特征在于，所述第二獲取單元 包括計算模塊，用于計算所述兩幅圖像重疊區(qū)域內(nèi)對應像素之間的視差，并根 據(jù)所述視差計算重疊區(qū)域的深度圖。
10、 根據(jù)權利要求7所述的圖像拼接裝置，其特征在于，所述第二獲取單 元包括獲取模塊，用于在兩個視點重新獲取所述重疊區(qū)域內(nèi)的兩幅圖像； 計算模塊，用于計算重新獲取的兩幅圖像中對應像素之間的視差，并根據(jù) 視差計算重疊區(qū)域內(nèi)的深度圖。
11、 根據(jù)權利要求7所述的圖像拼接裝置，其特征在于，所述拼接單元包括第一計算模塊，用于計算所述兩幅圖像之間的單應性矩陣； 映射模塊，用于將第一幅圖像按照其與單應性矩陣的對應關系映射到目標 坐標系中；第二計算模塊，用于根據(jù)所述深度圖計算所述重疊區(qū)域內(nèi)兩幅圖像上對應 像素之間的視差；所述映射模塊還用于當視差超出預定視差范圍時，將所述第二幅圖像在所 述重疊區(qū)域內(nèi)的像素點映射到目標坐標系中第 一幅圖像的對應像素點的坐標 上；所述映射模塊還用于將第二幅圖像中在重疊區(qū)域以外的像素按照其與單應 性矩陣的對應關系映射到目標坐標系中。
12、 根據(jù)權利要求11所述的圖像拼接裝置，其特征在于，所述映射模塊用 于當視差超出預定視差范圍時，計算所述兩幅圖像中對應像素點的加權平均色 度值和加權平均亮度值，并將所述加權平均色度值和加權平均亮度值分別作為 目標坐標系中第 一幅圖像對應像素點的色度值和亮度值。
13、 根據(jù)權利要求7所述的圖像拼接裝置，其特征在于，所述拼接單元包括生成模塊，用于根據(jù)所述深度圖生成所述兩幅圖像視點之間連續(xù)的中間虛 擬視點圖像；拼接模塊，用于將所述兩幅圖像和中間虛擬視點圖像拼接成一幅圖像。
全文摘要
本發(fā)明公開了一種圖像拼接方法及裝置，涉及圖像處理技術，解決了現(xiàn)有技術中圖像拼接重影問題較嚴重的問題。本發(fā)明實施例查找兩幅圖像之間的重疊區(qū)域，然后獲取重疊區(qū)域的深度圖，并通過深度圖將兩幅圖像拼接到一起，在拼接過程，可以通過深度圖了解到圖像的立體信息，以便減少重影問題。本實施例主要用在各種多場景的視頻會議、制作寬廣視角圖片或視頻中。
文檔編號G06T7/00GK101673395SQ20081021218
公開日2010年3月17日 申請日期2008年9月10日 優(yōu)先權日2008年9月10日
發(fā)明者源 劉, 凱 李 申請人:深圳華為通信技術有限公司