本發(fā)明屬于圖像處理、計(jì)算機(jī)視覺和光學(xué)工程技術(shù)領(lǐng)域，特指一種基于紅外結(jié)構(gòu)光的多人圖像實(shí)時(shí)提取與合成方法。

背景技術(shù)：

視頻會(huì)議是利用計(jì)算機(jī)技術(shù)和通信設(shè)備通過傳輸信道在兩點(diǎn)或多個(gè)地點(diǎn)之間建立可視多媒體通信，實(shí)現(xiàn)圖像、語音及數(shù)據(jù)交流的一種會(huì)議形式。在召開視頻會(huì)議的時(shí)候，處于不同地點(diǎn)的參會(huì)代表可以接收到對(duì)方會(huì)場(chǎng)的聲音和會(huì)場(chǎng)場(chǎng)景，使參會(huì)代表就像處于同一會(huì)場(chǎng)參加會(huì)議一樣，這樣可以顯著提高工作效率。

當(dāng)前，關(guān)于視頻會(huì)議的研究與應(yīng)用初步實(shí)現(xiàn)了跨地域的人們進(jìn)行面對(duì)面的研討與協(xié)同工作，但是仍存在以下不足之處：

(1)信息獲取的不完整，在視頻會(huì)議中，參會(huì)者無法在同一時(shí)刻獲得所有參會(huì)者的視音頻信息；

(2)會(huì)議的空間感與真實(shí)感不強(qiáng)，不同會(huì)場(chǎng)的參會(huì)者對(duì)整個(gè)會(huì)議的感知沒有空間感，無法構(gòu)造真實(shí)的交談環(huán)境。

技術(shù)實(shí)現(xiàn)要素：

針對(duì)現(xiàn)有技術(shù)存在的不足，本發(fā)明提出一種基于紅外結(jié)構(gòu)光的多人圖像實(shí)時(shí)提取與合成方法。本發(fā)明將所有視頻會(huì)議的參會(huì)者從各自的視頻圖像中提取出來，然后合成到一副圖像中，從而增加參會(huì)者的信息獲取，改善用戶體驗(yàn)。本發(fā)明采用的裝置簡(jiǎn)單，成本較低，算法復(fù)雜度小，可以實(shí)時(shí)處理視頻圖像，擁有很好的實(shí)用價(jià)值。

為了實(shí)現(xiàn)上述技術(shù)目的，本發(fā)明采用的技術(shù)方案是：

一種基于紅外結(jié)構(gòu)光的多人圖像實(shí)時(shí)提取與合成方法，包括以下步驟：

S1、采集目標(biāo)(其中一個(gè)參會(huì)者)的紅外結(jié)構(gòu)光圖像以及RGB圖像

利用紅外激光發(fā)射器以及帶有紅外濾光片的圖像采集設(shè)備采集目標(biāo)的紅外結(jié)構(gòu)光圖像以及RGB圖像，方法如下：

當(dāng)紅外激光發(fā)射器開啟時(shí)，發(fā)射出多條豎條直線到目標(biāo)的表面，這時(shí)圖像采集設(shè)備采集到目標(biāo)的紅外結(jié)構(gòu)光圖像；當(dāng)紅外激光發(fā)射器關(guān)閉時(shí)，圖像采集設(shè)備采集到的是目標(biāo)的RGB圖像；

在對(duì)目標(biāo)進(jìn)行圖像采集時(shí)，將紅外激光發(fā)射器按照一定的頻率進(jìn)行開啟和關(guān)閉，使得圖像采集設(shè)備依次獲得目標(biāo)的紅外結(jié)構(gòu)光圖像和RGB圖像，記相鄰一次開啟和關(guān)閉紅外激光發(fā)射器得到的紅外結(jié)構(gòu)光圖像為F(x,y)，RGB圖像為P(x,y,z)，兩幅圖像的大小為M×N；

S2、對(duì)紅外結(jié)構(gòu)光圖像F(x,y)進(jìn)行預(yù)處理，得到灰度圖像F₂(x,y)；

S3、對(duì)圖像F₂(x,y)進(jìn)行二值化，記二值化圖像為F₃(x,y)；

S4、對(duì)F₃(x,y)進(jìn)行邊緣檢測(cè)，然后將四個(gè)邊緣檢測(cè)結(jié)果圖像進(jìn)行融合，獲得邊緣信息圖像，記為FD(x,y)；

S5、對(duì)FD(x,y)進(jìn)行圖像處理，去除一些孤立點(diǎn)，得到的新圖像記為FD₄(x,y)；

S6、二值圖像FD₄(x,y)的非零點(diǎn)就是目標(biāo)的外邊界，有些邊界存在斷裂，這是選擇斷裂處的前面兩個(gè)點(diǎn)和后面兩個(gè)點(diǎn)，一共4個(gè)點(diǎn)進(jìn)行平均，得到的結(jié)果對(duì)該處進(jìn)行插值，這樣得到一個(gè)閉合的外邊界圖像FD₅(x,y)；

S7、根據(jù)外邊界圖像FD₅(x,y)對(duì)目標(biāo)圖像為P(x,y,z)進(jìn)行目標(biāo)分割，提取出目標(biāo)部分的圖像。

S8、采用S1至S7中的方法，分別對(duì)不同地點(diǎn)的參會(huì)者進(jìn)行圖像提取，然后把提取出的圖像放入提前設(shè)置好的一張大圖上，這樣就得到了一張包括所有參會(huì)者的合成圖像。

本發(fā)明的S2中，對(duì)紅外結(jié)構(gòu)光圖像F(x,y)進(jìn)行預(yù)處理，方法如下：

首先，遍歷F(x,y)的所有像素，對(duì)每個(gè)像素采用一個(gè)3×3的模板，對(duì)模板窗口內(nèi)所有的像素點(diǎn)按照像素點(diǎn)的像素值大小進(jìn)行排序，找出其中的最大值和最小值，記為噪點(diǎn)，進(jìn)行刪除，然后對(duì)剩余7個(gè)點(diǎn)進(jìn)行平均，將均值賦給當(dāng)前像素即模板窗口的中心像素，記處理后的紅外結(jié)構(gòu)光圖像為F₁(x,y)；

然后，對(duì)于濾波后的圖像F₁(x,y)采用拉普拉斯算子對(duì)F₁(x,y)進(jìn)行濾波，得到新的圖像記為F₂(x,y)，公式如下：

其中表示做卷積運(yùn)算。

本發(fā)明的S3中，采用經(jīng)典的最大類間方差法對(duì)圖像F₂(x,y)進(jìn)行二值化，只保留圖像F₂(x,y)上的亮條紋信息，記二值化圖像為F₃(x,y)。(最大類間方差法是由日本學(xué)者大津(Nobuyuki Otsu)于1979年提出的,是一種自適應(yīng)的閾值確定的方法,又叫大津法,簡(jiǎn)稱OTSU。本專利完全按照這個(gè)方法操作，而且這個(gè)方法網(wǎng)上有源代碼下載，直接調(diào)用)

本發(fā)明中，S4的實(shí)現(xiàn)方法如下：

S41根據(jù)紅外豎條結(jié)構(gòu)光圖像的特點(diǎn)，設(shè)計(jì)四種新模板，如下：

S42將二值化圖像為F₃(x,y)分別和四種新模板進(jìn)行卷積，然后通過閾值進(jìn)行二值化，得到四個(gè)二值化圖像{FD_i(x,y)|i＝1,2,3,4}，具體公式如下

其中表示卷積，{D_i|i＝1,2,3,4}是上述四種新模板，TH是二值化的閾值，一般取值5。

S43將四個(gè)二值化圖像{FD_i(x,y)|i＝1,2,3,4}進(jìn)行融合，每個(gè)像素按照“或運(yùn)算”進(jìn)行操作，這樣就獲得比較完整的邊緣信息圖像，記為FD(x,y)。

FD(x,y)＝FD₁(x,y)|FD₂(x,y)|FD₃(x,y)|FD₄(x,y)

其中|是按位或運(yùn)算符，這說明只有當(dāng)某一位置全部四幅二值化圖像均為0時(shí)，最終該位置的融合結(jié)果為0，其他情況融合結(jié)果均為1。

本發(fā)明S5中，為了防止其中一些噪點(diǎn)的干擾，需要?jiǎng)h除一些孤立點(diǎn)。具體步驟為：

S51對(duì)于二值圖像FD(x,y)，遍歷圖像中每一個(gè)非零像素點(diǎn)，計(jì)算以其為中心、大小5x5的領(lǐng)域內(nèi)所有像素值的和，如果小于2，則認(rèn)為此非零像素點(diǎn)為噪點(diǎn)，將其值改為0；記處理后的圖像為FD₂(x,y)。

S52為了獲得目標(biāo)的外邊緣信息，對(duì)FD₂(x,y)進(jìn)行按列掃描，每一列只保留行數(shù)最大和最小的兩個(gè)非零像素值，其他非零像素值都重置為零，得到的新圖像記為FD₃(x,y)。

S53計(jì)算圖像FD₃(x,y)每一列的兩個(gè)非零值(也即行數(shù)最大和最小的兩個(gè)非零值)的距離，建立一個(gè)數(shù)組array來保持結(jié)果，則array是一個(gè)1維數(shù)組，長(zhǎng)度為圖像的列數(shù)N。剔除數(shù)組array中的突變點(diǎn)，方法如下：遍歷數(shù)組的每個(gè)元素，如果當(dāng)前點(diǎn)和前后兩個(gè)點(diǎn)的差異均大于10，則認(rèn)為此點(diǎn)為突變點(diǎn)。在圖像FD₃(x,y)上把所有的突變點(diǎn)對(duì)應(yīng)的列上的兩個(gè)非零值重置為0，得到的新圖像記為FD₄(x,y)。

本發(fā)明S7中，根據(jù)S6中得到的外邊界圖像FD₅(x,y)對(duì)目標(biāo)圖像為P(x,y,z)進(jìn)行目標(biāo)分割，方法如下：按列進(jìn)行處理，根據(jù)外邊界圖像FD₅(x,y)其每列只有兩個(gè)非零值，對(duì)于外邊界圖像FD₅(x,y)上的任一列y_m，外邊界圖像FD₅(x,y)中在第y_m列兩個(gè)非零值對(duì)應(yīng)的行數(shù)分別為x_n1和x_n2，那么對(duì)目標(biāo)圖像為P(x,y,z)的第y_m列，只保留行數(shù)從x_n1到x_n2之間的像素，采用同樣的方法對(duì)外邊界圖像FD₅(x,y)上所有的列進(jìn)行處理后，目標(biāo)部分的圖像也被提取出來。

本發(fā)明通過紅外結(jié)構(gòu)光給目標(biāo)圖像增加了深度信息，利用深度信息檢測(cè)目標(biāo)的邊界，能夠?qū)崟r(shí)將所有視頻會(huì)議的參會(huì)者從各自的視頻圖像中提取出來，然后合成到一副圖像中，從而增加參會(huì)者的信息獲取，改善用戶體驗(yàn)。本發(fā)明采用的裝置簡(jiǎn)單，成本較低，算法復(fù)雜度小，可以實(shí)時(shí)處理視頻圖像，擁有很好的實(shí)用價(jià)值。

附圖說明

圖1是利用紅外激光發(fā)射器以及帶有紅外濾光片的圖像采集設(shè)備采集目標(biāo)的紅外結(jié)構(gòu)光圖像以及RGB圖像的示意圖；

圖2是本發(fā)明的流程圖；

圖3是圖像合成的示意圖。

具體實(shí)施方式

下面結(jié)合附圖和具體實(shí)施方式對(duì)本發(fā)明作進(jìn)一步說明。

結(jié)構(gòu)光是指具有一定投影結(jié)構(gòu)、包含有一定信息的光條。這些光條投影到被測(cè)物體上后，如果投影表面的形狀不平坦，那么攝像機(jī)拍攝到的光條就不再是直線，而是發(fā)生了偏轉(zhuǎn)、形變。實(shí)際上這些形變包含了物體的三維表面信息，因此基于結(jié)構(gòu)光進(jìn)行三維測(cè)量，廣泛的應(yīng)用于三維模型的重建、物體表面輪廓的測(cè)量等領(lǐng)域。

如圖1所示，本發(fā)明首先利用紅外激光發(fā)射器以及帶有紅外濾光片的圖像采集設(shè)備采集目標(biāo)的紅外結(jié)構(gòu)光圖像以及RGB圖像。當(dāng)紅外激光發(fā)射器開啟時(shí)，發(fā)射出多條豎條直線到目標(biāo)的表面，這時(shí)圖像采集設(shè)備獲得的目標(biāo)的紅外結(jié)構(gòu)光圖像；當(dāng)紅外激光發(fā)射器關(guān)閉時(shí)，不再發(fā)射結(jié)構(gòu)光到目標(biāo)的表面，這時(shí)圖像采集設(shè)備獲得的目標(biāo)的RGB圖像。在對(duì)目標(biāo)進(jìn)行圖像采集時(shí)，將紅外激光發(fā)射器按照一定的頻率(一般取50ms到100ms)進(jìn)行開啟和關(guān)閉，使得圖像采集設(shè)備依次獲得目標(biāo)的紅外結(jié)構(gòu)光圖像和RGB圖像。記相鄰一次開啟和關(guān)閉紅外激光發(fā)射器得到的紅外結(jié)構(gòu)光圖像為F(x,y)，RGB圖像為P(x,y,z)，兩幅圖像的大小為M×N。

接著本發(fā)明通過對(duì)F(x,y)進(jìn)行處理得到目標(biāo)的邊界信息，然后從P(x,y,z)中把目標(biāo)提取出來，具體過程如下：

(1)紅外結(jié)構(gòu)光圖像F(x,y)有很多的噪聲，包括脈沖型噪聲、高斯噪聲、椒鹽噪聲等，如果直接對(duì)含有噪聲的圖像進(jìn)行分割，會(huì)損失很多圖像細(xì)節(jié)，或出現(xiàn)偽邊緣。因此首先對(duì)進(jìn)行圖像預(yù)處理，通過濾波對(duì)圖像進(jìn)行去噪。

首先，對(duì)紅外結(jié)構(gòu)光圖像F(x,y)進(jìn)行濾波處理，具體步驟如下：

遍歷F(x,y)的所有像素，對(duì)每個(gè)像素采用一個(gè)3×3的模板，對(duì)模板窗口內(nèi)所有的像素點(diǎn)按照像素點(diǎn)的取值大小進(jìn)行排序，找出其中的最大值和最小值，記為噪點(diǎn)，進(jìn)行刪除，然后對(duì)剩余7個(gè)點(diǎn)進(jìn)行平均，將均值賦給當(dāng)前像素(也即窗口的中心像素)。記處理后的紅外結(jié)構(gòu)光圖像為F₁(x,y)。

上述處理有效的減少了圖像的隨機(jī)噪聲，但也存在部分邊緣模糊的負(fù)面效應(yīng)。為了解決這個(gè)問題，對(duì)于濾波后的圖像可以再次采用銳化空間濾波器，來突出圖像中的細(xì)節(jié)或者增強(qiáng)，本發(fā)明采用拉普拉斯算子對(duì)F₁(x,y)進(jìn)行濾波，得到新的圖像記為F₂(x,y)，公式如下：

其中表示做卷積運(yùn)算。

(2)經(jīng)過濾波后的灰度圖像F₂(x,y)，帶有暗條紋和亮條紋，但是在分析條紋圖像時(shí)，僅對(duì)亮條紋感興趣，而對(duì)暗條紋內(nèi)部、明暗條紋之間的過渡區(qū)域和背景不感興趣。因此需要把目標(biāo)條紋也即亮條紋提取出來。這里本發(fā)明采用經(jīng)典的最大類間方差法(otsu)對(duì)圖像F₂(x,y)進(jìn)行二值化，只保留亮條紋信息，記二值化圖像為F₃(x,y)。(最大類間方差法是由日本學(xué)者大津(Nobuyuki Otsu)于1979年提出的,是一種自適應(yīng)的閾值確定的方法,又叫大津法,簡(jiǎn)稱OTSU。本專利完全按照這個(gè)方法操作，而且這個(gè)方法網(wǎng)上有源代碼下載，直接調(diào)用)

(3)對(duì)F₃(x,y)進(jìn)行邊緣檢測(cè)。

本發(fā)明根據(jù)紅外豎條結(jié)構(gòu)光圖像的特點(diǎn)，設(shè)計(jì)了四種新的模板，如下：

將二值化圖像為F₃(x,y)分別和四種新模板進(jìn)行卷積，然后通過閾值進(jìn)行二值化，得到四個(gè)二值化圖像{FD_i(x,y)|i＝1,2,3,4}，具體公式如下

其中表示卷積，{D_i|i＝1,2,3,4}是上述四種新模板，TH是二值化的閾值，一般取值5。

然后將四個(gè)二值化圖像{FD_i(x,y)|i＝1,2,3,4}進(jìn)行融合，每個(gè)像素按照“或運(yùn)算”進(jìn)行操作，這樣就獲得比較完整的邊緣信息圖像，記為FD(x,y)。

FD(x,y)＝FD₁(x,y)|FD₂(x,y)|FD₃(x,y)|FD₄(x,y)

其中|是按位或運(yùn)算符，這說明只有當(dāng)某一位置全部四幅二值化圖像均為0時(shí)，最終該位置的融合結(jié)果為0，其他情況融合結(jié)果均為1。

為了防止其中一些噪點(diǎn)的干擾，需要?jiǎng)h除一些孤立點(diǎn)。具體步驟為：

對(duì)于二值圖像FD(x,y)，遍歷每一個(gè)非零像素點(diǎn)，計(jì)算以其為中心、大小5x5的領(lǐng)域內(nèi)所有像素值的和，如果小于2，則認(rèn)為此非零像素點(diǎn)為噪點(diǎn)，將其值改為0。記處理后的圖像為FD₂(x,y)。

為了獲得目標(biāo)的外邊緣信息，對(duì)FD₂(x,y)進(jìn)行按列掃描，每一列只保留行數(shù)最大和最小的兩個(gè)非零像素點(diǎn)的像素值，其他非零值都重置為零，得到的新圖像記為FD₃(x,y)。

由于有些列的外邊緣信息缺失，導(dǎo)致最后保留的像素點(diǎn)其實(shí)處于目標(biāo)的內(nèi)部，所以還需要進(jìn)一步甄別。計(jì)算每一列的兩個(gè)非零值(也即行數(shù)最大和最小的兩個(gè)非零值)的距離，建立一個(gè)數(shù)組array來保持結(jié)果，則array是一個(gè)1維數(shù)組，長(zhǎng)度為圖像的列數(shù)N。剔除數(shù)組array中的突變點(diǎn)，具體步驟如下：遍歷數(shù)組的每個(gè)元素，如果當(dāng)前點(diǎn)和前后兩個(gè)點(diǎn)的差異均大于10，則認(rèn)為此點(diǎn)為突變點(diǎn)。在圖像FD₃(x,y)上把所有的突變點(diǎn)對(duì)應(yīng)的列上的兩個(gè)非零值重置為0，得到的新圖像記為FD₄(x,y)。

這樣二值圖像FD₄(x,y)的非零點(diǎn)就是目標(biāo)的外邊界，有些邊界存在斷裂，這時(shí)選擇斷裂處的前面兩個(gè)點(diǎn)和后面兩個(gè)點(diǎn)，一共4個(gè)點(diǎn)進(jìn)行平均，得到的結(jié)果對(duì)該處進(jìn)行插值，這樣可以得到一個(gè)閉合的外邊界圖像FD₅(x,y)。

(6)根據(jù)外邊界圖像FD₅(x,y)對(duì)目標(biāo)圖像為P(x,y,z)進(jìn)行目標(biāo)分割，提取出目標(biāo)部分的圖像。

根據(jù)步驟5得到的外邊界圖像FD₅(x,y)，對(duì)目標(biāo)圖像為P(x,y,z)進(jìn)行目標(biāo)分割。按列進(jìn)行處理，根據(jù)外邊界圖像FD₅(x,y)其每列只有兩個(gè)非零值，對(duì)于外邊界圖像FD₅(x,y)上的任一列y_m，外邊界圖像FD₅(x,y)中在第y_m列兩個(gè)非零值對(duì)應(yīng)的行數(shù)分別為x_n1和x_n2，那么對(duì)目標(biāo)圖像為P(x,y,z)的第y_m列，只保留行數(shù)從x_n1到x_n2之間的像素，采用同樣的方法對(duì)外邊界圖像FD₅(x,y)上所有的列進(jìn)行處理后，目標(biāo)部分的圖像也被提取出來。

(7)根據(jù)上述步驟1到步驟6對(duì)不同地點(diǎn)的參會(huì)者均可進(jìn)行圖像提取，然后把提取出的圖像放入提前設(shè)置好的一張大圖上，如圖3所示，提前在合成圖像上標(biāo)明每個(gè)目標(biāo)的位置信息，這樣在提取出一個(gè)目標(biāo)后，直接把目標(biāo)圖像貼入合成圖像中對(duì)應(yīng)的位置，這樣就得到了一張所有參會(huì)者的合成圖像。