本發(fā)明實(shí)施例涉及圖像處理技術(shù)，尤其涉及一種三維圖像的獲取系統(tǒng)、顯示系統(tǒng)及所適用的智能終端。

背景技術(shù)：

三維圖像是基于對(duì)具有重疊圖像的兩幅視圖進(jìn)行三維重建而得到的。在重建過程中，受兩幅視圖的重疊區(qū)域的影響，三維重建系統(tǒng)僅能對(duì)重疊區(qū)域構(gòu)建三維圖像。而對(duì)于不重疊區(qū)域，則因圖像數(shù)據(jù)的缺失而無法進(jìn)行立體化。如此導(dǎo)致了三維圖像中中間區(qū)域?yàn)榱Ⅲw圖像、周邊區(qū)域?yàn)槎S圖像，立體效果較差。

為了解決上述問題，現(xiàn)有技術(shù)中通過圍繞所要立體展示的物體拍攝多張圖像，再由三維重建系統(tǒng)利用多張圖像進(jìn)行三維重建。但是，隨著實(shí)景增強(qiáng)技術(shù)的崛起，上述先圍繞物體拍攝，再進(jìn)行三維重建的方式無法滿足實(shí)時(shí)構(gòu)建三維圖像時(shí)的圖像獲取需求。

因此，需要對(duì)現(xiàn)有的用兩臺(tái)攝像裝置來獲取不同視角視圖的獲取系統(tǒng)進(jìn)行改進(jìn)。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明提供一種三維圖像的獲取系統(tǒng)、顯示系統(tǒng)及所適用的智能終端，以實(shí)現(xiàn)為三維圖像中的邊緣區(qū)域提供用于立體化的圖像數(shù)據(jù)。

第一方面，本發(fā)明實(shí)施例提供了一種三維圖像的獲取系統(tǒng)，包括：設(shè)置在同一直線上的至少兩個(gè)居中第一攝像裝置和至少一個(gè)第二攝像裝置；其中，所述第一攝像裝置的光軸方向一致且均垂直于所述直線，所攝取的圖像中包含共同的圖像區(qū)域；分設(shè)在所述第一攝像裝置至少一側(cè)的第二攝像裝置，用于補(bǔ)充所述第一攝像裝置所未能共同拍攝到的圖像區(qū)域；與各攝像裝置均連接的圖像預(yù)處理裝置，其中，所述攝像裝置為第一攝像裝置或第二攝像裝置；所述圖像預(yù)處理裝置用于對(duì)所連接的各攝像裝置和/或所拍攝的各圖像進(jìn)行基于三維重建的預(yù)處理。

第二方面，本發(fā)明實(shí)施例還提供了一種三維圖像的顯示系統(tǒng)，包括：初始化模塊，用于基于獲取系統(tǒng)所提供的二維圖像的尺寸和預(yù)設(shè)屏幕的尺寸，確定所述屏幕中的像素尺寸及所述屏幕前顯示空間的體素尺寸；預(yù)處理模塊對(duì)各視點(diǎn)中預(yù)配對(duì)的二維圖像進(jìn)行左右圖匹配；估計(jì)模塊，用于基于所述圖像預(yù)處理裝置所配對(duì)的兩幅二維圖像，估計(jì)三維圖像素材；其中，每個(gè)三維圖像素材包含多組參數(shù)，所述參數(shù)包括其中一幅二維圖像中對(duì)應(yīng)同一物理空間點(diǎn)在所述屏幕的投影點(diǎn)位置和對(duì)應(yīng)的視差信息；空間重建及處理模塊，用于根據(jù)每兩個(gè)攝像裝置的空間信息、和對(duì)應(yīng)三維圖像素材，填充所述顯示空間中體素的空間像素值；視點(diǎn)投影處理模塊，用于基于給定視點(diǎn)確定各視點(diǎn)在對(duì)應(yīng)像素中的子像素位；交織模塊，用于基于各視點(diǎn)光線投影到對(duì)應(yīng)子像素位所在像素區(qū)域上所途經(jīng)的未遮擋體素的投影占所述像素區(qū)域的比例，逐個(gè)的將未遮擋體素中同一子像素位的像素值進(jìn)行加權(quán)，并賦值給所述像素區(qū)域中對(duì)應(yīng)的子像素位。

第三方面，本發(fā)明實(shí)施例還提供了一種三維圖像的顯示系統(tǒng)，包括：初始化模塊，用于基于獲取系統(tǒng)所提供的二維圖像的尺寸和預(yù)設(shè)屏幕的尺寸，確定所述屏幕中的像素尺寸及所述屏幕前顯示空間的體素尺寸；預(yù)處理模塊對(duì)各視點(diǎn)中預(yù)配對(duì)的二維圖像進(jìn)行左右圖匹配；以及用于基于所述獲取系統(tǒng)所提供的各第二攝像裝置的預(yù)設(shè)偏角，將各第二攝像裝置所拍攝的二維圖像，均映射至所述屏幕上,完成異光軸獲取的光軸匹配；估計(jì)模塊，用于對(duì)已匹配的每對(duì)二維圖像估計(jì)三維圖像素材；其中，所述二維圖像包括映射后的圖像；每個(gè)三維圖像素材包含多組參數(shù)，所述參數(shù)包括同一物理空間點(diǎn)在所述屏幕的一個(gè)投影點(diǎn)位置和該物理空間點(diǎn)在所述屏幕上的視差信息；空間重建及處理模塊，用于根據(jù)每兩個(gè)攝像裝置的空間信息、和對(duì)應(yīng)三維圖像素材，填充所述顯示空間中體素的空間像素值；同時(shí)，對(duì)于重建后的3D空間進(jìn)行空間內(nèi)濾波等處理；視點(diǎn)投影處理模塊，用于給定試點(diǎn)確定各視點(diǎn)在對(duì)應(yīng)像素中的子像素位；視點(diǎn)投影處理模塊，用于基于給定視點(diǎn)確定各視點(diǎn)在對(duì)應(yīng)像素中的子像素位；交織模塊，用于基于各視點(diǎn)光線投影到對(duì)應(yīng)子像素位所在像素區(qū)域上所途經(jīng)的未遮擋體素的投影占所述像素區(qū)域的比例，逐個(gè)的將未遮擋體素中同一子像素位的像素值進(jìn)行加權(quán)，并賦值給所述像素區(qū)域中對(duì)應(yīng)的子像素位。第四方面，本發(fā)明實(shí)施例還提供了一種智能終端，包括：如上所述的三維圖像的獲取系統(tǒng)；及相匹配的三維圖像的顯示系統(tǒng)。

本發(fā)明通過在第一攝像裝置側(cè)邊分設(shè)第二攝像裝置，解決了兩個(gè)第一攝像裝置所攝取的圖像中未重疊的區(qū)域無法構(gòu)建三維圖像的問題；同時(shí)，本案不僅補(bǔ)充了兩個(gè)第一攝像裝置所攝取的重疊圖像區(qū)域，還可以擴(kuò)充兩個(gè)第一攝像裝置所攝取的圖像范圍；另外，將各攝像裝置放置在同一直線上，能夠便于將該獲取系統(tǒng)安裝在智能終端(如手持設(shè)備)上，為三維處理裝置(如裸眼3D顯示)提供充足的三維圖像素材。

附圖說明

圖1是本發(fā)明實(shí)施例一中的一種三維圖像的獲取系統(tǒng)的結(jié)構(gòu)示意圖；

圖2是本發(fā)明實(shí)施例一中的又一種三維圖像的獲取系統(tǒng)的結(jié)構(gòu)示意圖；

圖3是本發(fā)明實(shí)施例一中的又一種三維圖像的獲取系統(tǒng)的結(jié)構(gòu)示意圖；

圖4是本發(fā)明實(shí)施例二中的顯示系統(tǒng)的結(jié)構(gòu)示意圖；

圖5是本發(fā)明實(shí)施例二中的兩幅二維圖像共同圖像區(qū)域中一像素點(diǎn)的視差構(gòu)成示意圖；

圖6是本發(fā)明實(shí)施例二中的兩視點(diǎn)在顯示空間中的交匯區(qū)域示意圖；

圖7是本發(fā)明實(shí)施例二中的兩個(gè)視點(diǎn)投影到屏幕中一像素區(qū)域時(shí)在顯示空間的交匯區(qū)域的示意圖；

圖8是本發(fā)明實(shí)施例二中的兩個(gè)視點(diǎn)投影到屏幕中一像素區(qū)域時(shí)在顯示空間的交匯區(qū)域的又一示意圖；

圖9是本發(fā)明實(shí)施例二中各子像素位與視點(diǎn)的對(duì)應(yīng)關(guān)系示意圖；

圖10是本發(fā)明實(shí)施例二中由視點(diǎn)向屏幕像素區(qū)域投影時(shí)，未遮擋體素與相應(yīng)像素區(qū)域的投影示意圖；

圖11是本發(fā)明實(shí)施例二中針對(duì)具有偏角的二維圖像在屏幕上的映射關(guān)系示意圖。

具體實(shí)施方式

下面結(jié)合附圖和實(shí)施例對(duì)本發(fā)明作進(jìn)一步的詳細(xì)說明?？梢岳斫獾氖?，此處所描述的具體實(shí)施例僅僅用于解釋本發(fā)明，而非對(duì)本發(fā)明的限定。另外還需要說明的是，為了便于描述，附圖中僅示出了與本發(fā)明相關(guān)的部分而非全部結(jié)構(gòu)。

實(shí)施例一

圖1、2為本發(fā)明實(shí)施例一提供的三維圖像的獲取系統(tǒng)的結(jié)構(gòu)示意圖，本實(shí)施例適用于攝取用于三維成像的二維圖像的情況。所述獲取系統(tǒng)可安裝智能終端上。具體地，所述獲取系統(tǒng)1包含若干攝像裝置，具體地，各攝像裝置包括第一攝像裝置11和第二攝像裝置12。所述獲取系統(tǒng)1還包括與每個(gè)攝像裝置相連的圖像預(yù)處理裝置13。

其中，所述第一攝像裝置11的數(shù)量為至少兩個(gè)，且各第一攝像裝置11的光軸方向一致且均垂直于所在直線。相比于第二攝像裝置12，所有第一攝像裝置11居中而設(shè)。例如，若攝像裝置的數(shù)量一共為4個(gè)，則中間兩個(gè)為第一攝像裝置11，兩邊為第二攝像裝置12。又如，若攝像裝置的數(shù)量一共為3個(gè)，則相鄰兩個(gè)為第一攝像裝置11，另一個(gè)為第二攝像裝置12。再如，若攝像裝置的數(shù)量一共為5個(gè)，則中間三個(gè)、或中間三個(gè)中的兩個(gè)為第一攝像裝置11，剩余為第二攝像裝置12。

優(yōu)選地，所述攝像裝置的數(shù)量為2的整數(shù)倍，且所有攝像裝置對(duì)稱設(shè)置。如此可對(duì)稱的獲取補(bǔ)充第一攝像裝置11所未能共同拍攝到的圖像區(qū)域。

每兩第一攝像裝置11所拍攝的二維圖像具有共同圖像區(qū)域。分設(shè)在所述第一攝像裝置11至少一側(cè)的第二攝像裝置12，用于補(bǔ)充所述第一攝像裝置11所未能共同拍攝到的圖像區(qū)域。

在此，第一攝像裝置11在拍攝時(shí)，其視角所共同覆蓋區(qū)域能夠拍攝到共同的圖像區(qū)域，視角無法共同覆蓋的區(qū)域需由第二攝像裝置12的視角所補(bǔ)充。如此，后續(xù)的圖像預(yù)處理裝置13可對(duì)所連接的各攝像裝置和/或所拍攝的各圖像進(jìn)行基于三維重建的預(yù)處理。以便與所述圖像預(yù)處理裝置13相連的三維圖像處理裝置根據(jù)各攝像裝置所拍攝的共同圖像區(qū)域，構(gòu)建三維圖像。

為了確保各攝像裝置之間的視角有重疊，各第一攝像裝置11具有標(biāo)準(zhǔn)鏡頭，各第二攝像裝置12配置廣角鏡頭；或者，所有攝像裝置均具有標(biāo)準(zhǔn)鏡頭。

所有攝像裝置的光軸方向一致且均垂直于所述直線，如圖1所示?；蛘叩诙z像裝置12向居中方向設(shè)置預(yù)設(shè)偏角，如圖2所示。

根據(jù)各攝像裝置的鏡頭特點(diǎn)，所有相鄰攝像裝置的中心點(diǎn)之間的距離可以等間隔。或者第一攝像裝置11中心點(diǎn)之間的距離與其他相鄰攝像裝置中心點(diǎn)之間的距離不同。例如，所述獲取系統(tǒng)1包括：具有標(biāo)準(zhǔn)鏡頭的第一攝像裝置A1、A2，具有標(biāo)準(zhǔn)鏡頭的第二攝像裝置12包括：與第一攝像裝置A1相鄰的B1，以及與第一攝像裝置A2相鄰的B2，其中，第二攝像裝置B1和B2均向第一攝像裝置A1、A2之間的對(duì)稱軸方向轉(zhuǎn)α角。其中，第一攝像裝置A1和A2中心點(diǎn)之間的距離為d1，第一攝像裝置A1與第二攝像裝置B1中心點(diǎn)之間的距離與第一攝像裝置A2與第二攝像裝置B2中心點(diǎn)之間的距離均為d2。

所述圖像預(yù)處理裝置13用于對(duì)所連接的各攝像裝置和/或所拍攝的各圖像進(jìn)行基于三維重建的預(yù)處理。

在此，為了便于后續(xù)基于兩兩圖像來估計(jì)視差信息，所述圖像預(yù)處理裝置13可對(duì)各攝像裝置的參數(shù)進(jìn)行調(diào)整。例如，對(duì)攝像裝置的自動(dòng)曝光控制、自動(dòng)聚焦控制、和自動(dòng)白平衡控制進(jìn)行調(diào)整?；蛘?，所述圖像預(yù)處理裝置13將所接收的各圖像進(jìn)行濾波、白平衡等處理。再將預(yù)處理后的各圖像交由所述三維圖像處理裝置。

在一種可選方案中，所述圖像預(yù)處理裝置13包括：同步模塊、圖像信號(hào)處理模塊、圖像裁剪模塊。

所述同步模塊與每個(gè)圖象信號(hào)處理相連，用于各所述圖象信號(hào)處理模塊的幀同步及參數(shù)同步設(shè)置，并向各圖象信號(hào)處理模塊發(fā)送同步指令。所述同步指令中包括但不限于：同步觸發(fā)指令，以及以下至少一種：各攝像裝置的統(tǒng)一拍照參數(shù)、各圖像的濾波參數(shù)、各圖像濾波后的目標(biāo)參數(shù)等。

所述圖象信號(hào)處理模塊與各攝像裝置數(shù)量相同，每個(gè)圖象信號(hào)處理模塊連接一攝像裝置，用于基于所接收的同步指令，對(duì)所連接的攝像裝置的參數(shù)進(jìn)行設(shè)置，和/或用于將所拍攝的圖像數(shù)據(jù)進(jìn)行信號(hào)處理。

在一種情況下，若各攝像裝置的型號(hào)相同，則所述圖象信號(hào)處理在同步指令的指示下，向各攝像裝置發(fā)送統(tǒng)一的拍照參數(shù)，并獲取相應(yīng)攝像裝置所拍攝的圖像。

若各攝像裝置的型號(hào)不同，則所述圖象信號(hào)處理將同步指令中對(duì)應(yīng)自己的拍照參數(shù)發(fā)送給所連接的攝像裝置，并獲取相應(yīng)攝像裝置所拍攝的圖像。

和/或，再另一種情況下，各圖象信號(hào)處理無論所連接的攝像裝置的型號(hào)是否相同，可根據(jù)所述同步指令所提供的濾波參數(shù)、或目標(biāo)濾波參數(shù)，對(duì)所接收的圖像進(jìn)行信號(hào)處理。其中，所述信號(hào)處理包括去噪、和白平衡等。

所述圖像裁剪模塊與拍攝有共同圖像區(qū)域的兩攝像裝置相連，用于基于共同圖像區(qū)域分別對(duì)兩攝像裝置所攝取的圖像進(jìn)行剪裁。

如圖3所示，在包含兩個(gè)第一攝像裝置和兩個(gè)第二攝像裝置的獲取系統(tǒng)中，圖像裁剪模塊R12連接圖象信號(hào)處理模塊ISP1和ISP2，圖像裁剪模塊R23連接圖象信號(hào)處理模塊ISP2和ISP3，圖像裁剪模塊R34連接圖象信號(hào)處理模塊ISP3和ISP4，圖像裁剪模塊R41連接圖象信號(hào)處理模塊ISP4和ISP1。同步模塊連接個(gè)圖像信號(hào)處理模塊ISP1、ISP2、ISP3和ISP4。

每個(gè)圖像裁剪模塊根據(jù)所接收的兩幅圖像中的共同圖像區(qū)域分別對(duì)兩幅圖像進(jìn)行裁剪。

在此，所述圖像裁剪模塊可利用基于輪廓、圖像塊特征等的匹配方式得到共同圖像區(qū)域，并將所得到的共同圖像區(qū)域予以裁剪。

所述顯示系統(tǒng)圖像處理裝置與所述圖像預(yù)處理裝置13相連，可根據(jù)各相鄰攝像裝置所拍攝的共同圖像區(qū)域構(gòu)建對(duì)應(yīng)的三維圖像投影，得到三維圖像。

本實(shí)施例的技術(shù)方案，解決了兩攝像裝置所攝取的圖像中未重疊的區(qū)域無法構(gòu)建三維圖像的問題；同時(shí)將各攝像裝置放置在同一直線上，能夠便于將該獲取系統(tǒng)安裝在智能終端(如用于增強(qiáng)現(xiàn)實(shí)或虛擬現(xiàn)實(shí)的頭盔、眼鏡等)上，為三維處理裝置提供充足的三維圖像素材。

另外，根據(jù)實(shí)際設(shè)計(jì)需要選擇各攝像裝置之間的距離、攝像裝置鏡頭、以及攝像裝置的數(shù)量，能夠?yàn)轱@示系統(tǒng)提供更為合適的圖像信息。

實(shí)施例二

如圖4所示，本實(shí)施例提供一種三維圖像的顯示系統(tǒng)。所述顯示系統(tǒng)可安裝在一單獨(dú)的電子設(shè)備中，與上述獲取系統(tǒng)通過外接接口相連。也可以與所述獲取系統(tǒng)集成在一智能終端中。所述顯示系統(tǒng)針對(duì)所有攝像裝置的光軸平行的情況。所述顯示系統(tǒng)用于根據(jù)所接收的多幅二維圖像中的共同圖像區(qū)域構(gòu)成三維圖像。其中，該三維圖像舉例為裸眼三維圖像。

所述顯示系統(tǒng)2包括：初始化模塊20、預(yù)處理模塊21、估計(jì)模塊22、空間重建及處理模塊23、視點(diǎn)投影處理模塊24、交織模塊25。

所述初始化模塊20用于基于上述各實(shí)施例中所述的獲取系統(tǒng)中圖像預(yù)處理裝置所提供的二維圖像的尺寸和預(yù)設(shè)屏幕的尺寸，確定所述屏幕中的像素尺寸及所述屏幕前顯示空間的體素尺寸。

在此，所述二維圖像的尺寸和屏幕的尺寸可用毫米、英寸等來表示。所述預(yù)設(shè)屏幕的尺寸可根據(jù)智能終端的設(shè)計(jì)需要而定。其中，屏幕中像素區(qū)域的尺寸為p＝l/n，其中，l為二維圖像的尺寸，n為屏幕尺寸。所述初始化模塊20根據(jù)像素區(qū)域的尺寸確定屏幕前顯示空間的體素尺寸。其中，體素的長寬可與像素區(qū)域的長寬一致、或?yàn)橄袼貐^(qū)域的長寬的預(yù)設(shè)比例。其中，所述體素是指用于構(gòu)成顯示空間的最小單位。類似于屏幕中的像素，本實(shí)施例中的體素可為單位立方體、或根據(jù)計(jì)算需要降維至單位矩形或單位線段。

所述預(yù)處理模塊21用于對(duì)各視點(diǎn)中預(yù)配對(duì)的二維圖像進(jìn)行左右圖匹配。

具體地，所述預(yù)處理模塊21用于預(yù)處理獲取視點(diǎn)左右圖，使左右圖匹配，其更適于視差估計(jì)。預(yù)處理算法之一為直方圖匹配算法，其目的在于使左右圖亮度、色度匹配。

所述估計(jì)模塊22用于基于為已匹配的每對(duì)二維圖像估計(jì)三維圖像素材；其中，每個(gè)三維圖像素材包含多組參數(shù)，所述參數(shù)包括同一物理空間點(diǎn)在所述屏幕上投影的一個(gè)像素區(qū)域和該物理空間點(diǎn)在所述屏幕上的視差信息。

在此，所述估計(jì)模塊22將所述獲取系統(tǒng)中的每個(gè)圖像裁剪模塊所提供的兩幅二維圖像作為配對(duì)的兩幅二維圖像；再利用3DRS算法或Lucas Kanade算法等估計(jì)算法，估計(jì)每對(duì)二維圖像在所述屏幕上的投影點(diǎn)位置(即投影點(diǎn)所在像素區(qū)域)及視差信息。如圖5所示，兩幅二維圖像的共同圖像區(qū)域中同一景象的像素點(diǎn)在所述屏幕上的像素區(qū)域內(nèi)投影點(diǎn)位置為c_r和c_l，則兩位置之間的距離為視差信息。所述估計(jì)模塊22通過估計(jì)算法得到多組參數(shù)。

所述空間重建及處理模塊23用于根據(jù)每兩個(gè)攝像裝置的空間信息、和對(duì)應(yīng)三維圖像素材，填充所述顯示空間中體素的空間像素值；以及，對(duì)于重建后的3D空間進(jìn)行濾波等處理。

在此，所述空間重建及處理模塊23利用三角定理中的邊角關(guān)系，計(jì)算兩幅二維圖像的共同圖像區(qū)域投影在所述屏幕上時(shí)，在顯示空間中構(gòu)建的三維模型，并得到與所述三維模型重疊的體素，將其中一幅二維圖像中共同圖像區(qū)域的各像素點(diǎn)的像素值賦值給重疊的體素。接著，所述空間重建及處理模塊23對(duì)重建后的3D空間基于顏色、紋理、光照等進(jìn)行濾波、調(diào)整等處理。

優(yōu)選地，所述空間重建及處理模塊23包括：空間建模子模塊和賦值子模塊。(均未予圖示)

所述空間建模子模塊用于當(dāng)以拍攝二維圖像的各攝像裝置為視點(diǎn)，利用各攝像裝置的空間信息，向屏幕上的像素區(qū)域投影時(shí)，計(jì)算兩視點(diǎn)光線在所述顯示空間中的交匯區(qū)域。

如圖6所示，所述空間建模子模塊以預(yù)配對(duì)的兩攝像裝置為視點(diǎn)，向所述屏幕上已確定的投影點(diǎn)所在像素區(qū)域進(jìn)行投影，當(dāng)光線在所述屏幕前的顯示空間相交時(shí)，得到相應(yīng)的交匯區(qū)域S。利用兩攝像裝置的空間信息、對(duì)應(yīng)投影點(diǎn)的參數(shù)、所述屏幕與視點(diǎn)之間的距離，所述空間建模子模塊計(jì)算得到交匯區(qū)域S在所述顯示空間中的位置區(qū)域，并交由賦值子模塊。

所述賦值子模塊用于根據(jù)所述交匯區(qū)域與體素的重疊情況，將相應(yīng)參數(shù)中像素點(diǎn)的像素值賦給與所述交匯區(qū)域重疊的至少一個(gè)體素。

在此，所述賦值子模塊根據(jù)預(yù)設(shè)定的組成所述顯示空間的各體素的位置、尺寸，確定與所述交匯區(qū)域部分重疊、或全部重疊的體素；進(jìn)而根據(jù)預(yù)設(shè)的重疊情況-賦值方式的對(duì)應(yīng)關(guān)系，將相應(yīng)參數(shù)中像素點(diǎn)的像素值賦給與所述交匯區(qū)域重疊的至少一個(gè)體素。

具體地，所述賦值子模塊根據(jù)預(yù)設(shè)的重疊情況-賦值方式的對(duì)應(yīng)關(guān)系，將相應(yīng)參數(shù)中像素點(diǎn)的像素值賦給與所述交匯區(qū)域重疊的至少一個(gè)體素的方式包括以下任一種：

1)根據(jù)每兩個(gè)攝像裝置的空間信息、和對(duì)應(yīng)三維圖像素材，確定各組參數(shù)所對(duì)應(yīng)的交匯區(qū)域上的至少一個(gè)關(guān)鍵點(diǎn)；將相應(yīng)參數(shù)中像素點(diǎn)的像素值賦給每個(gè)所述關(guān)鍵點(diǎn)所落入的體素。

其中，所述空間信息包括：預(yù)配對(duì)的各攝像裝置中心點(diǎn)之間的間距，以及可選的包含實(shí)際拍攝距離等。

其中，所述關(guān)鍵點(diǎn)包括但不限于：交匯區(qū)域S的中心點(diǎn)、交匯區(qū)域S邊界上的點(diǎn)等。例如，所述交匯區(qū)域S的四個(gè)頂角，以及四邊的中點(diǎn)。

所述賦值子模塊將對(duì)應(yīng)該交匯區(qū)域S的參數(shù)中的像素點(diǎn)的像素值賦給所確定的關(guān)鍵點(diǎn)所落入的體素。

例如，如圖7所示，所述賦值子模塊根據(jù)兩個(gè)攝像裝置的空間信息、和對(duì)應(yīng)三維圖像素材等確定交匯區(qū)域上的四個(gè)頂角s1、s2、s3、s4及四邊中點(diǎn)分別落入體素t1、t2、t3和t4，則所述賦值子模塊將該交匯區(qū)域?qū)?yīng)的參數(shù)中的像素點(diǎn)的像素值同時(shí)賦給體素t1、t2、t3和t4。

2)根據(jù)每兩個(gè)攝像裝置的空間信息、和對(duì)應(yīng)三維圖像素材，確定各組參數(shù)所對(duì)應(yīng)的交匯區(qū)域與至少一個(gè)體素的重疊比例；按照所述重疊比例，將相應(yīng)參數(shù)中像素點(diǎn)的像素值賦給相應(yīng)的體素。

在此，所述賦值子模塊根據(jù)每兩個(gè)攝像裝置的空間信息、和對(duì)應(yīng)三維圖像素材中的一組參數(shù)計(jì)算對(duì)應(yīng)投影點(diǎn)所在像素區(qū)域的光線交匯區(qū)域S的長和寬。接著，所述賦值子模塊利用公式計(jì)算區(qū)域S的面積。所述賦值子模塊利用所得到的面積與所重疊的各體素面積的比例關(guān)系，將該組參數(shù)中像素點(diǎn)的像素值賦值給比值最大的體素。其中，v為體素的邊長，此處所述體素設(shè)為正立方體或正方形，w_sj為交匯區(qū)域S在體素中所占寬度值，l_sj為交匯區(qū)域S在體素中所占高度值。如圖7所示區(qū)域S在t2體素中重疊的部分利用公式計(jì)算其面積。如圖8所示區(qū)域S在t2體素中重疊的部分利用l_sjw_sj公式計(jì)算其面積。

由于能夠?yàn)轶w素賦值的像素點(diǎn)本身數(shù)量有限，故，即便利用所有參數(shù)對(duì)體素賦值，所得到的賦值體素仍為稀疏的。在一種優(yōu)選方式中，為了提高計(jì)算效率，所述賦值子模塊在為每個(gè)體素賦值完畢后，判斷已賦值體素占所述顯示空間中所有體素的覆蓋范圍是否達(dá)到預(yù)設(shè)的范圍門限，若是，則繼續(xù)為新的體素賦值，若否，則退出體素賦值。其中，所述賦值子模塊可僅根據(jù)已賦值體素占所有體素的數(shù)量來作為覆蓋范圍?；蛘撸鲑x值子模塊通過統(tǒng)計(jì)已賦值體素在所有體素中的分布來確定覆蓋范圍。所述范圍門限可以是一固定值，也可以根據(jù)所估計(jì)出的參數(shù)數(shù)量而定。

需要說明的是，在一種可選方式中，所賦值的體素為未曾賦值的體素，若所要賦值的體素已被賦值，則不予重復(fù)賦值。

為了降低計(jì)算復(fù)雜度，所述空間重建及處理模塊23以垂直所述屏幕的維度的體素為行單位，利用每兩個(gè)攝像裝置的空間信息和各三維圖像素材中像素點(diǎn)的像素值，逐行填充各平面體素的空間像素值。

具體地，所述空間重建及處理模塊23將以垂直所述屏幕維度的體素為行單位，將立體的體素降維成二維的體素(如正方形的體素)，再按照上述方式對(duì)二維的體素進(jìn)行賦值。

在完成對(duì)體素賦值之后，所述顯示系統(tǒng)2可以根據(jù)顯示屏光柵的結(jié)構(gòu)，確定所述屏幕中各像素區(qū)域中子像素位所對(duì)應(yīng)的視點(diǎn)，并按照各攝像裝置所表示的視點(diǎn)、或基于各攝像裝置所拓展的視點(diǎn)，將所述顯示空間中的體素投影在相應(yīng)的像素區(qū)域中，得到三維圖像。

為了減少計(jì)算量，所述顯示系統(tǒng)2中的投影方式，可由視點(diǎn)投影處理模塊24和交織模塊25來執(zhí)行。

所述視點(diǎn)投影處理模塊24用于基于重建后空間，確定各視點(diǎn)在對(duì)應(yīng)像素中的子像素位；同時(shí)，對(duì)于投影后視點(diǎn)進(jìn)行濾波等處理。

在此，所述視點(diǎn)可以為各攝像裝置，也可以在各攝像裝置之間插入新的視點(diǎn)，并將各攝像裝置和新插入的視點(diǎn)作為預(yù)確定的視點(diǎn)。其中，插入的視點(diǎn)可以等分兩相鄰攝像裝置之間的距離，或者，與相鄰視點(diǎn)間距離為對(duì)應(yīng)插值系數(shù)與攝像裝置間距之積。插值得到視點(diǎn)與各攝像裝置位于同一直線上。對(duì)于插入的視點(diǎn)，所述視點(diǎn)投影處理模塊24可以根據(jù)相鄰的至少一個(gè)攝像裝置所拍攝的圖像在該給定視點(diǎn)上的投影來確定所插入視點(diǎn)處的圖像。同時(shí)，對(duì)所有視點(diǎn)的圖像進(jìn)行濾波等處理，以便為后續(xù)交織處理，提供色彩統(tǒng)一的圖像。

所述視點(diǎn)投影處理模塊24按照顯示屏的光柵設(shè)置，計(jì)算所得到的各視點(diǎn)對(duì)應(yīng)的所述屏幕像素區(qū)域中各子像素位。例如，如圖9所示，每個(gè)像素區(qū)域由RGB三個(gè)子像素位組成，所述視點(diǎn)投影處理模塊24得到每個(gè)子像素位對(duì)應(yīng)的視點(diǎn)編號(hào)，并啟動(dòng)交織模塊25。

所述交織模塊25用于基于各視點(diǎn)光線投影到對(duì)應(yīng)子像素位所在像素區(qū)域上所途經(jīng)的未遮擋體素的投影占所述像素區(qū)域的比例，逐個(gè)的將未遮擋體素中同一子像素位的像素值進(jìn)行加權(quán)，并賦值給所述像素區(qū)域中對(duì)應(yīng)的子像素位。

在此，所述交織模塊25以垂直于所述屏幕的方向?yàn)橥队胺较?，將體素縮略成平行于所述屏幕的中軸線段、或者體素表面的中軸線段。所述交織模塊25計(jì)算某一視點(diǎn)在投影方向上，未被遮擋的體素上的至少部分線段投影到所述屏幕的每個(gè)像素區(qū)域中，并將投影線段與像素區(qū)域?qū)挾鹊谋壤?，作為該體素的子像素值的權(quán)重；再根據(jù)像素區(qū)域中子像素位(R、G、或B子像素位)，將各體素中的對(duì)應(yīng)子像素值進(jìn)行加權(quán)，并將加權(quán)后的值賦給所述像素區(qū)域中的對(duì)應(yīng)子像素位上。

例如，如圖10所示，屏幕中的像素區(qū)域p以ab線段表示，體素1、2、3、4、5為視點(diǎn)view投影到像素區(qū)域p過程中所有體素，其中，以各體素的中軸線的投影所覆蓋的長度為基準(zhǔn)，確定體素1、2、3為未被遮擋的體素，體素4、5為被遮擋的體素。所述交織模塊25將體素1、2、3中未被遮擋的部分投影到像素區(qū)域p的線段長度分別與ab線段長度的比例作為體素1、2、3的權(quán)重，再根據(jù)視點(diǎn)view對(duì)應(yīng)該像素區(qū)域p中子像素位為R子像素位，將體素1、2、3中R子像素值分別乘以權(quán)重后求和，得到該像素區(qū)域p中R子像素位的子像素值。

所述交織模塊25采用上述示例的投影方式，對(duì)所述屏幕上所有像素區(qū)域進(jìn)行賦值，得到三維圖像。

本實(shí)施例的技術(shù)方案，由于加入了實(shí)際攝像裝置的空間信息，并在此基礎(chǔ)上反向重建假設(shè)屏幕前的三維模型，再借助三維模型在屏幕上的投影，能夠提高三維圖像視覺上的立體感。

實(shí)施例三

與實(shí)施例二不同的是，特別針對(duì)第二攝像裝置向居中方向傾斜一預(yù)設(shè)角度的情況，所述預(yù)處理模塊21還用于基于所述圖像預(yù)處理裝置所提供的各第二攝像裝置的預(yù)設(shè)偏角，將各第二攝像裝置所拍攝的二維圖像，均映射至所述屏幕上,完成異光軸獲取的光軸匹配。

具體地，如圖11所示，所述預(yù)處理模塊21根據(jù)第二攝像裝置12的光軸在垂直于所述光軸且與所述屏幕相交的平面上確定該第二攝像裝置12所拍攝的圖像在該平面上投影。例如，顯示空間中的pt點(diǎn)在該平面上的投影位置為pt1，同樣，在該第二攝像裝置12、pt點(diǎn)和pt1點(diǎn)所在光線上與所述屏幕相交的點(diǎn)為pt2，所述預(yù)處理模塊21將該pt2點(diǎn)確定為第二攝像裝置12所拍攝的二維圖像在所述屏幕上顯示的二維圖像，并將所述二維圖像作為后續(xù)估計(jì)模塊22、空間重建及處理模塊23等處理時(shí)對(duì)應(yīng)該部位攝像裝置的二維圖像。

本實(shí)施例各模塊舉例如下：

初始化模塊用于基于上述獲取系統(tǒng)所提供的二維圖像的尺寸和預(yù)設(shè)屏幕的尺寸，確定所述屏幕中的像素尺寸及所述屏幕前顯示空間的體素尺寸。

預(yù)處理模塊21用于對(duì)各視點(diǎn)中預(yù)配對(duì)的二維圖像進(jìn)行左右圖匹配；以及用于基于所述圖像預(yù)處理裝置所提供的各第二攝像裝置的預(yù)設(shè)偏角，將各第二攝像裝置所拍攝的二維圖像，均映射至所述屏幕上。

估計(jì)模塊22用于為已匹配的每兩幅二維圖像估計(jì)三維圖像素材；其中，所述二維圖像包括映射后的圖像；每個(gè)三維圖像素材包含多組參數(shù)，每組參數(shù)包括其中一幅圖像中對(duì)應(yīng)同一物理空間點(diǎn)在所述屏幕的投影點(diǎn)位置、和兩幅圖像中同一物理空間點(diǎn)在屏幕上的視差信息。

空間重建及處理模塊23用于根據(jù)每兩個(gè)攝像裝置的空間信息、和對(duì)應(yīng)三維圖像素材，填充所述顯示空間中體素的空間像素值，以及對(duì)重建的現(xiàn)實(shí)空間進(jìn)行濾波等處理。

視點(diǎn)投影處理模塊24用于基于重建后空間，確定各視點(diǎn)在對(duì)應(yīng)像素中的子像素位。

交織模塊25用于基于各視點(diǎn)光線投影到對(duì)應(yīng)子像素位所在像素區(qū)域上所途經(jīng)的未遮擋體素的投影占所述像素區(qū)域的比例，逐個(gè)的將未遮擋體素中同一子像素位的像素值進(jìn)行加權(quán)，并賦值給所述像素區(qū)域中對(duì)應(yīng)的子像素位。

需要說明的是，本實(shí)施例中的各功能模塊可在前述各實(shí)施例所提到的同名的功能模塊的基礎(chǔ)上，針對(duì)本實(shí)施例中映射后的圖像進(jìn)行三維圖像處理。

注意，上述僅為本發(fā)明的較佳實(shí)施例及所運(yùn)用技術(shù)原理。本領(lǐng)域技術(shù)人員會(huì)理解，本發(fā)明不限于這里所述的特定實(shí)施例，對(duì)本領(lǐng)域技術(shù)人員來說能夠進(jìn)行各種明顯的變化、重新調(diào)整和替代而不會(huì)脫離本發(fā)明的保護(hù)范圍。因此，雖然通過以上實(shí)施例對(duì)本發(fā)明進(jìn)行了較為詳細(xì)的說明，但是本發(fā)明不僅僅限于以上實(shí)施例，在不脫離本發(fā)明構(gòu)思的情況下，還可以包括更多其他等效實(shí)施例，而本發(fā)明的范圍由所附的權(quán)利要求范圍決定。