本發(fā)明屬于教學(xué)、培訓(xùn)錄播技術(shù)領(lǐng)域，尤其是涉及一種基于分布云的智能拍攝系統(tǒng)。

背景技術(shù)：

云錄播是基于物聯(lián)網(wǎng)模式并且采用云存儲(chǔ)、云傳輸技術(shù)來(lái)滿足現(xiàn)代化教學(xué)的一種方式。具體實(shí)現(xiàn)是指通過(guò)集群應(yīng)用、網(wǎng)格技術(shù)、分布式轉(zhuǎn)換編碼設(shè)備、集中式解碼資源服務(wù)器等系統(tǒng)集合，將高清攝像信號(hào)、教學(xué)電腦、實(shí)物展臺(tái)、語(yǔ)音等信號(hào)通過(guò)分布式轉(zhuǎn)換編碼設(shè)備轉(zhuǎn)換成網(wǎng)絡(luò)信號(hào)，傳輸至資源管理中心的云錄播資源管理服務(wù)器，并通過(guò)“云”錄播管理平臺(tái)，實(shí)現(xiàn)整個(gè)學(xué)校的教研、自主學(xué)習(xí)、直播、遠(yuǎn)程點(diǎn)播等功能。

隨著教學(xué)設(shè)備的發(fā)展，智能教學(xué)錄播系統(tǒng)替代了傳統(tǒng)人工錄制的方式，只需將攝像頭安裝在教室內(nèi)特定的位置，通過(guò)計(jì)算機(jī)的控制，采用圖像識(shí)別跟蹤技術(shù)來(lái)實(shí)現(xiàn)對(duì)教室場(chǎng)景中教師教學(xué)和學(xué)生發(fā)言的音頻和視頻等信息的錄制和播放，錄制的視頻可進(jìn)行網(wǎng)絡(luò)實(shí)時(shí)播放，也可制作成精品課程供大家學(xué)習(xí)鑒賞。圖像識(shí)別跟蹤技術(shù)是實(shí)現(xiàn)教學(xué)錄播系統(tǒng)智能化的關(guān)鍵技術(shù)之一，主要負(fù)責(zé)學(xué)生與教師圖像的識(shí)別與跟蹤。學(xué)生和教師圖像跟蹤的準(zhǔn)確度影響著整個(gè)錄制視頻的效果。

目前國(guó)內(nèi)智能教學(xué)錄播系統(tǒng)對(duì)于發(fā)言學(xué)生圖像的跟蹤與定位大都采用在學(xué)生課桌上安裝無(wú)線按鈕，配合攝像頭切換方位的方式進(jìn)行錄制。當(dāng)發(fā)言學(xué)生按下與攝像頭預(yù)置位對(duì)應(yīng)的按鈕時(shí)，攝像頭會(huì)定位到之前設(shè)定好的方向?qū)ζ溥M(jìn)行拍攝，當(dāng)按鈕關(guān)閉時(shí)，攝像頭則又重新切換到教師圖像進(jìn)行拍攝。當(dāng)發(fā)言學(xué)生忘記打開(kāi)按鈕時(shí)，則需要進(jìn)行后期補(bǔ)錄，當(dāng)有其他學(xué)生誤打開(kāi)按鈕時(shí)，則會(huì)影響整個(gè)教學(xué)視頻的順利錄制。

現(xiàn)有專利一種自動(dòng)識(shí)別錄播系統(tǒng)及其工作方法(201410133368.5)，其利用無(wú)線射頻技術(shù)對(duì)錄播室內(nèi)的座椅進(jìn)行坐標(biāo)標(biāo)記，同時(shí)利用中心處理單元對(duì)座椅的無(wú)線射頻模塊的識(shí)別編碼進(jìn)行匹配，解析獲得目標(biāo)聽(tīng)眾的具體坐標(biāo)位置，進(jìn)而自動(dòng)控制第二攝像云臺(tái)和第二攝像機(jī)對(duì)目標(biāo)聽(tīng)眾進(jìn)行追蹤攝像，其為了實(shí)現(xiàn)對(duì)發(fā)言學(xué)生的識(shí)別定位，增加了需布設(shè)安裝在的無(wú)線射頻模塊等硬件結(jié)構(gòu)，無(wú)疑增加了經(jīng)濟(jì)和使用成本。而紅外感應(yīng)定位跟蹤技術(shù)相對(duì)準(zhǔn)確，但也由于其會(huì)受到外界太陽(yáng)光線或者發(fā)熱物體影響，會(huì)使在錄播過(guò)程中突然定位跟蹤失效。在比較了主流的視頻圖像中運(yùn)動(dòng)目標(biāo)檢測(cè)跟蹤技術(shù)后，發(fā)現(xiàn)傳統(tǒng)的視頻課件錄播系統(tǒng)中采用的識(shí)別檢測(cè)跟蹤技術(shù)存在著不穩(wěn)定，受外界因素影響大的問(wèn)題。

因此，有必要針對(duì)上述問(wèn)題，提供一種基于圖像識(shí)別技術(shù)的師生定位方法，直接利用攝像機(jī)進(jìn)行定位和跟蹤拍攝，無(wú)需佩戴任何輔助設(shè)備，也不受環(huán)境的影響。

技術(shù)實(shí)現(xiàn)要素：

針對(duì)以上技術(shù)問(wèn)題，本發(fā)明的目的在于突破現(xiàn)有拍攝系統(tǒng)的不足，提供了一種基于分布云的智能拍攝系統(tǒng)，采用分布式的云計(jì)算的思想，將智能錄播系統(tǒng)的多種資源分布存儲(chǔ)在云平臺(tái)的各個(gè)分布式節(jié)點(diǎn)中，實(shí)現(xiàn)資源存儲(chǔ)和計(jì)算的高度均衡性，同時(shí)，在錄播系統(tǒng)中，采用基于多特征融合的室內(nèi)學(xué)生頭部檢測(cè)算法對(duì)發(fā)言學(xué)生進(jìn)行自動(dòng)識(shí)別和定位，直接利用攝像機(jī)進(jìn)行定位和跟蹤拍攝。

為達(dá)到上述目的，本發(fā)明提供如下技術(shù)方案：

一種基于分布云的智能拍攝系統(tǒng)，所述的智能拍攝系統(tǒng)主要包括：

對(duì)前端視頻和音頻信號(hào)進(jìn)行采集的基礎(chǔ)設(shè)備層，其主要包括音頻采集設(shè)備、數(shù)字音頻處理設(shè)備、云臺(tái)攝像機(jī)、圖像輔助定位攝像頭、編碼器、智能圖像跟蹤設(shè)備、網(wǎng)絡(luò)交換機(jī)；

對(duì)基礎(chǔ)設(shè)備層進(jìn)行控制并進(jìn)行音頻視頻錄制、存儲(chǔ)及發(fā)布的核心設(shè)備層，其主要包括分布式錄播主機(jī)、流媒體服務(wù)器、資源管理服務(wù)器；

用于接收和播放核心設(shè)備層數(shù)據(jù)的終端接收層，其主要包括pc終端、移動(dòng)終端。

其中，所述的基礎(chǔ)設(shè)備層設(shè)置在拍攝現(xiàn)場(chǎng)，音頻采集設(shè)備與數(shù)字音頻處理設(shè)備相連，數(shù)字音頻處理設(shè)備通過(guò)音頻線與音頻采集設(shè)備和編碼器連接；云臺(tái)攝像機(jī)通過(guò)視頻線與編碼器連接；智能圖像跟蹤設(shè)備通過(guò)視頻線與圖像輔助定位攝像頭連接；網(wǎng)絡(luò)交換機(jī)通過(guò)信號(hào)線分別與編碼器和智能圖像跟蹤設(shè)備連接；網(wǎng)絡(luò)交換機(jī)通過(guò)無(wú)線或者信號(hào)線與核心設(shè)備層的分布式錄播主機(jī)、流媒體服務(wù)器、資源管理服務(wù)器相連接。

基礎(chǔ)設(shè)備層的圖像輔助定位攝像頭包括安裝在演講區(qū)域的上方的教師輔助攝像頭和安裝在黑板/白板兩端拍攝學(xué)生發(fā)言區(qū)域的學(xué)生發(fā)言區(qū)域輔助攝像頭，圖像輔助定位攝像頭對(duì)教師和發(fā)言學(xué)生進(jìn)行識(shí)別，并傳輸至智能圖像跟蹤設(shè)備，智能圖像跟蹤設(shè)備控制云臺(tái)攝像機(jī)進(jìn)行拍攝。

學(xué)生發(fā)言區(qū)域輔助攝像頭、云臺(tái)攝像機(jī)、采集視頻到智能圖像跟蹤設(shè)備構(gòu)成學(xué)生錄播系統(tǒng)，然后利用多線程編程技術(shù)對(duì)采集到的視頻信號(hào)同時(shí)使用基于背景差分法的運(yùn)動(dòng)目標(biāo)檢測(cè)進(jìn)行圖像處理，同時(shí)各線程之間相互通信，使智能圖像跟蹤設(shè)備控制云臺(tái)攝像機(jī)，從而最終實(shí)現(xiàn)對(duì)站起發(fā)言學(xué)生的跟蹤定位。

所述的學(xué)生錄播系統(tǒng)的工作流程具體步驟如下：

步驟1：主錄制攝像的云臺(tái)攝像機(jī)安裝在教室黑板中間頂部，開(kāi)始時(shí)全景錄制；兩個(gè)輔錄制攝像機(jī)安裝在黑板兩端，其高度與學(xué)生頭頂齊平，生成感興趣區(qū)域，并監(jiān)控感興趣區(qū)域；

步驟2：當(dāng)輔錄制攝像機(jī)檢測(cè)到有一人站起時(shí)，輔錄制攝像機(jī)向云臺(tái)攝像機(jī)發(fā)送有一人站起信息，云臺(tái)攝像機(jī)使用運(yùn)動(dòng)目標(biāo)檢測(cè)技術(shù)提取站起的學(xué)生中心點(diǎn)坐標(biāo)和面積，進(jìn)一步轉(zhuǎn)化為轉(zhuǎn)動(dòng)角度和縮放倍數(shù)，從而主錄制攝像機(jī)對(duì)站著的目標(biāo)進(jìn)行精確定位和縮放；

步驟3：若輔錄制攝像機(jī)檢測(cè)到站起學(xué)生坐下則轉(zhuǎn)步驟7，若檢測(cè)到又有一人站起，則通知主錄制攝像機(jī)，轉(zhuǎn)步驟4；

步驟4：此時(shí)有兩人站起，主錄制攝像機(jī)恢復(fù)全景錄制；

步驟5：輔錄制攝像機(jī)檢測(cè)到兩人中有一人坐下，則主錄制攝像機(jī)提取仍然站起的學(xué)生中心點(diǎn)坐標(biāo)和面積，進(jìn)一步轉(zhuǎn)化為轉(zhuǎn)動(dòng)角度和縮放倍數(shù)，從而主攝像頭對(duì)仍然站著的目標(biāo)進(jìn)行精確定位和縮放；

步驟6：若此時(shí)輔錄制攝像機(jī)又檢測(cè)到有一人站起，則轉(zhuǎn)步驟4；若檢測(cè)到僅有的站起學(xué)生也坐下，則轉(zhuǎn)步驟7；

步驟7：此時(shí)場(chǎng)景中無(wú)人站起，主錄制攝像機(jī)收到輔錄制攝像機(jī)通知的信息后，恢復(fù)全景錄制。

進(jìn)一步，作為優(yōu)選，在步驟2中，輔錄制攝像機(jī)采用基于背景差分法的運(yùn)動(dòng)目標(biāo)檢測(cè)實(shí)現(xiàn)對(duì)起立學(xué)生的檢測(cè)，具體步驟為：

1)使用滑動(dòng)平均算法建立合適的背景模型；

2)對(duì)讀入的當(dāng)前幀進(jìn)行高斯濾波，從而去除噪聲的影響；

3)當(dāng)前幀與系統(tǒng)存貯的背景幀進(jìn)行做差；

4)根據(jù)最大類間方差準(zhǔn)則進(jìn)行閾值分割得到二值圖像；

5)使用先腐蝕后膨脹的開(kāi)運(yùn)算對(duì)二值圖像進(jìn)行處理；

6)使用改進(jìn)的掏空內(nèi)部點(diǎn)的輪廓提取算法提取運(yùn)動(dòng)目標(biāo)輪廓；

7)使用freeman鏈碼將提取出的運(yùn)動(dòng)目標(biāo)輪廓進(jìn)行鏈碼表示。

本發(fā)明的有益效果：

1、本發(fā)明提出了完整的智能視頻錄播系統(tǒng)中的學(xué)生跟蹤定位方案，采用主輔錄制攝像頭的解決方案，結(jié)合運(yùn)動(dòng)目標(biāo)檢測(cè)算法，實(shí)現(xiàn)對(duì)課堂中單個(gè)和兩個(gè)站起發(fā)言學(xué)生的跟蹤定位；其能夠?qū)φ酒饘W(xué)生進(jìn)行精確定位和縮放，并且能夠處理兩名同學(xué)站起的情況；

2、本發(fā)明采用基于背景差分法的運(yùn)動(dòng)目標(biāo)檢測(cè)算法進(jìn)行發(fā)言學(xué)生識(shí)別，主要包含以下幾個(gè)方面：背景更新、圖像閾值分割和輪廓提取。其中，背景更新使用滑動(dòng)平均算法；圖像閾值分割選用的是最大類間方差準(zhǔn)則；然后在二值化后的圖像上采用掏空輪廓點(diǎn)的方法提取輪廓，并且使用輪廓缺陷修補(bǔ)技術(shù)進(jìn)一步改進(jìn)輪廓提取算法；最后使用freeman鏈碼表示提取的輪廓，其算法能夠很好的提取出運(yùn)動(dòng)目標(biāo)的輪廓，為錄播系統(tǒng)的實(shí)現(xiàn)提供了良好的技術(shù)保障。

附圖說(shuō)明

圖1為本發(fā)明的結(jié)構(gòu)框圖；

圖2為本發(fā)明的學(xué)生跟蹤定位方案的流程圖；

圖3為本發(fā)明的基于背景差分法的運(yùn)動(dòng)目標(biāo)檢測(cè)算法的流程圖；

具體實(shí)施方式

下面將結(jié)合本發(fā)明實(shí)施例和附圖，對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例僅僅是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例?；诒景l(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒(méi)有做出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。

實(shí)施例1

一種基于分布云的智能拍攝系統(tǒng)，所述的智能拍攝系統(tǒng)主要包括：對(duì)前端視頻和音頻信號(hào)進(jìn)行采集的基礎(chǔ)設(shè)備層，其主要包括音頻采集設(shè)備、數(shù)字音頻處理設(shè)備、云臺(tái)攝像機(jī)、圖像輔助定位攝像頭、編碼器、智能圖像跟蹤設(shè)備、網(wǎng)絡(luò)交換機(jī)；對(duì)基礎(chǔ)設(shè)備層進(jìn)行控制并進(jìn)行音頻視頻錄制、存儲(chǔ)及發(fā)布的核心設(shè)備層，其主要包括分布式錄播主機(jī)、流媒體服務(wù)器、資源管理服務(wù)器；用于接收和播放核心設(shè)備層數(shù)據(jù)的終端接收層，其主要包括pc終端、移動(dòng)終端，所述的基礎(chǔ)設(shè)備層設(shè)置在拍攝現(xiàn)場(chǎng)，音頻采集設(shè)備與數(shù)字音頻處理設(shè)備相連，數(shù)字音頻處理設(shè)備通過(guò)音頻線與音頻采集設(shè)備和編碼器連接；云臺(tái)攝像機(jī)通過(guò)視頻線與編碼器連接；智能圖像跟蹤設(shè)備通過(guò)視頻線與圖像輔助定位攝像頭連接；網(wǎng)絡(luò)交換機(jī)通過(guò)信號(hào)線分別與編碼器和智能圖像跟蹤設(shè)備連接；網(wǎng)絡(luò)交換機(jī)通過(guò)無(wú)線或者信號(hào)線與核心設(shè)備層的分布式錄播主機(jī)、流媒體服務(wù)器、資源管理服務(wù)器相連接。

基礎(chǔ)設(shè)備層的圖像輔助定位攝像頭包括安裝在演講區(qū)域的上方的教師輔助攝像頭和安裝在黑板/白板兩端拍攝學(xué)生發(fā)言區(qū)域的學(xué)生發(fā)言區(qū)域輔助攝像頭，圖像輔助定位攝像頭對(duì)教師和發(fā)言學(xué)生進(jìn)行識(shí)別，并傳輸至智能圖像跟蹤設(shè)備，智能圖像跟蹤設(shè)備控制云臺(tái)攝像機(jī)進(jìn)行拍攝。學(xué)生發(fā)言區(qū)域輔助攝像頭、云臺(tái)攝像機(jī)、采集視頻到智能圖像跟蹤設(shè)備構(gòu)成學(xué)生錄播系統(tǒng)，然后利用多線程編程技術(shù)對(duì)采集到的視頻信號(hào)同時(shí)使用基于背景差分法的運(yùn)動(dòng)目標(biāo)檢測(cè)進(jìn)行圖像處理，同時(shí)各線程之間相互通信，使智能圖像跟蹤設(shè)備控制云臺(tái)攝像機(jī)，從而最終實(shí)現(xiàn)對(duì)站起發(fā)言學(xué)生的跟蹤定位。

所述的學(xué)生錄播系統(tǒng)的整個(gè)工作流程具體步驟如下：

步驟1：主錄制攝像的云臺(tái)攝像機(jī)安裝在教室黑板中間頂部，開(kāi)始時(shí)全景錄制；兩個(gè)輔錄制攝像機(jī)安裝在黑板兩端，其高度與學(xué)生頭頂齊平，生成感興趣區(qū)域，并監(jiān)控感興趣區(qū)域；

步驟2：當(dāng)輔錄制攝像機(jī)檢測(cè)到有一人站起時(shí)，輔錄制攝像機(jī)向云臺(tái)攝像機(jī)發(fā)送有一人站起信息，云臺(tái)攝像機(jī)使用運(yùn)動(dòng)目標(biāo)檢測(cè)技術(shù)提取站起的學(xué)生中心點(diǎn)坐標(biāo)和面積，進(jìn)一步轉(zhuǎn)化為轉(zhuǎn)動(dòng)角度和縮放倍數(shù)，從而主錄制攝像機(jī)對(duì)站著的目標(biāo)進(jìn)行精確定位和縮放；

步驟3：若輔錄制攝像機(jī)檢測(cè)到站起學(xué)生坐下則轉(zhuǎn)步驟7，若檢測(cè)到又有一人站起，則通知主錄制攝像機(jī)，轉(zhuǎn)步驟4；

步驟4：此時(shí)有兩人站起，主錄制攝像機(jī)恢復(fù)全景錄制；

步驟5：輔錄制攝像機(jī)檢測(cè)到兩人中有一人坐下，則主錄制攝像機(jī)提取仍然站起的學(xué)生中心點(diǎn)坐標(biāo)和面積，進(jìn)一步轉(zhuǎn)化為轉(zhuǎn)動(dòng)角度和縮放倍數(shù)，從而主攝像頭對(duì)仍然站著的目標(biāo)進(jìn)行精確定位和縮放；

步驟6：若此時(shí)輔錄制攝像機(jī)又檢測(cè)到有一人站起，則轉(zhuǎn)步驟4；若檢測(cè)到僅有的站起學(xué)生也坐下，則轉(zhuǎn)步驟7；

步驟7：此時(shí)場(chǎng)景中無(wú)人站起，主錄制攝像機(jī)收到輔錄制攝像機(jī)通知的信息后，恢復(fù)全景錄制。

在智能拍攝系統(tǒng)中運(yùn)動(dòng)目標(biāo)的檢測(cè)主要是對(duì)授課教師與站起發(fā)言的學(xué)生的檢測(cè)，需要能夠準(zhǔn)確的提取出運(yùn)動(dòng)目標(biāo)的輪廓面積和位置信息，從而為下一步跟蹤定位做準(zhǔn)備。在針對(duì)學(xué)生的運(yùn)動(dòng)目標(biāo)檢測(cè)中，由于站起發(fā)言的學(xué)生是固定位置的上下運(yùn)動(dòng)，所以檢測(cè)出站起的學(xué)生后就直接提取出其輪廓的坐標(biāo)和面積，從而控制學(xué)生錄制攝像機(jī)轉(zhuǎn)動(dòng)和縮放。輔錄制攝像機(jī)采用基于背景差分法的運(yùn)動(dòng)目標(biāo)檢測(cè)實(shí)現(xiàn)對(duì)起立學(xué)生的檢測(cè)，具體步驟為：

1)使用滑動(dòng)平均算法建立合適的背景模型；

滑動(dòng)平均算法是一種利用背景模型圖像像素值與當(dāng)前幀圖像像素值進(jìn)行加權(quán)求和來(lái)達(dá)到背景自適應(yīng)更新的算法，該算法計(jì)算簡(jiǎn)單、易于實(shí)現(xiàn)，其公式表示如下：

bn(i，j)＝bn-1(i，j)+α[(in(i，j)-bn-1(i，j)]＝αin(i，j)+(1-α)bn-1(i，j)(1)

其中，bn(i，j)是第n幀更新過(guò)后的背景圖像，bn-1(i，j)是n-1幀時(shí)的背景模型，in(i，j)是當(dāng)前幀圖像，α是背景更新系數(shù)，一般取值在0到1之間，α的取值是背景更新的關(guān)鍵，因?yàn)樗娜≈祵?huì)直接影響到運(yùn)動(dòng)目標(biāo)融入到背景模型的速度。若取值過(guò)大，則當(dāng)前幀中的運(yùn)動(dòng)目標(biāo)會(huì)很快融入背景幀中，從而出現(xiàn)“拖尾”現(xiàn)象；若取值過(guò)小則無(wú)法快速適應(yīng)周圍環(huán)境的變化，給圖像分割帶來(lái)困難。由于本發(fā)明為教室室內(nèi)環(huán)境，主要的環(huán)境變化是緩慢的光照變化，而很少有劇烈的背景變化，所以本文α選取為0.01。

在本發(fā)明的拍攝系統(tǒng)中，開(kāi)始錄制時(shí)首先選取20幀圖像，使用平均背景法得到一個(gè)背景模型，然后使用上文的滑動(dòng)平均算法對(duì)背景進(jìn)行實(shí)時(shí)更新。其中平均背景法的原理，簡(jiǎn)單的說(shuō)就是從開(kāi)始的視頻中選取一系列圖像，然后將這些圖像對(duì)應(yīng)點(diǎn)的像素值累加起來(lái)求平均，從而得到背景模型。當(dāng)教室中出現(xiàn)突然的開(kāi)關(guān)燈情況時(shí)，重新選取20幀圖像采用開(kāi)始錄制時(shí)的同樣方法建立背景更新模型。

2)對(duì)讀入的當(dāng)前幀進(jìn)行高斯濾波，從而去除噪聲的影響；

高斯濾波是低通濾波，而噪聲往往是高頻信號(hào)，所以高斯濾波能夠很好的去除高頻信號(hào)的污染，充分保留低頻信號(hào)。高斯濾波相較于其他方式濾波具有對(duì)圖像影響小、對(duì)于圖像各方向平滑程度都一致、計(jì)算復(fù)雜度低等優(yōu)點(diǎn)。高斯濾波是一種根據(jù)高斯函數(shù)得來(lái)的線性平滑濾波器，二維連續(xù)高斯濾波函數(shù)為：

u，v為函數(shù)，σ為標(biāo)準(zhǔn)差，在連續(xù)高斯濾波器基礎(chǔ)上進(jìn)行離散化得到離散的高斯權(quán)值，利用高斯權(quán)值模版對(duì)整幅圖像進(jìn)行加權(quán)平均從而實(shí)現(xiàn)濾波、消除高斯噪聲。對(duì)于高斯函數(shù)離散化得到的高斯模版，我們一般稱為高斯核，一個(gè)(2k-1)×(2k-1)維的核中的元素計(jì)算方法為：

式中通過(guò)k確定高斯核矩陣的維數(shù)。在實(shí)際使用中我們常使用3×3的高斯核，也就是k取值為1。根據(jù)高斯分布的特點(diǎn)，我們可以得到如果核矩陣非常大，那么標(biāo)準(zhǔn)差也應(yīng)非常大，我們?cè)趯?shí)際情況中常采用如下公式計(jì)算標(biāo)準(zhǔn)，

其中n為維數(shù)，在本文中n取值為3。

3)當(dāng)前幀與系統(tǒng)存貯的背景幀進(jìn)行做差

4)根據(jù)最大類間方差準(zhǔn)則進(jìn)行閾值分割得到二值圖像

在當(dāng)前幀與背景幀做差之后，需要進(jìn)一步選取合適的閾值進(jìn)行圖像分割，得到二值化的圖像。最大類間方差分割算，法又稱為otsu法，其原理是按圖像的灰度特性,將圖像分成背景和目標(biāo)前景兩部分。當(dāng)前景和背景之間的類間方差越大,則表明構(gòu)成圖像的兩部分的差別越會(huì)大，若部分背景錯(cuò)分為前景或部分前景錯(cuò)分為背景，那么都會(huì)導(dǎo)致兩部分差別變小。因此在圖像分割中，使類間方差最大的圖像分割意味著錯(cuò)分的概率最小。

對(duì)于灰度圖像i1(x，y)，設(shè)圖像大小為mxn，其像素點(diǎn)灰度級(jí)范圍{0,1,2,…l-1},若圖像中灰度級(jí)為i的像素的個(gè)數(shù)為ni，那么該像素點(diǎn)出現(xiàn)的概率為

若閾值t將圖像分成兩部分，前景c1和背景c0，那么可以得到類間方差計(jì)算公式為：

s＝w0(u0-u)²+w1(u1-u)²(6)

其中w0和w1為兩部分圖像的概率；u0和u1為兩部分圖像灰度值的均值；u為整幅圖像的總體均值，具體計(jì)算公式如下：

其中，t為圖像的分割閾值，那么根據(jù)最大類間方差法的原理可得最佳閾值為：

5)使用先腐蝕后膨脹的開(kāi)運(yùn)算對(duì)二值圖像進(jìn)行處理

在對(duì)原圖像進(jìn)行二值化的閾值分割之后可能會(huì)出現(xiàn)毛刺、孔洞等現(xiàn)象，若此時(shí)直接進(jìn)行輪廓提取會(huì)影響輪廓提取的精度。通過(guò)使用數(shù)學(xué)形態(tài)學(xué)來(lái)對(duì)圖像進(jìn)行處理，其主要思想是使用擁有一定形態(tài)的結(jié)構(gòu)元素來(lái)度量并且提取圖像中對(duì)應(yīng)形狀的部分，從而達(dá)到對(duì)圖像進(jìn)行分析和識(shí)別的目的。目前主要有腐蝕、膨脹和由它們兩者結(jié)合起來(lái)的開(kāi)、閉四種運(yùn)算

開(kāi)運(yùn)算：

閉運(yùn)算:

由上式可得開(kāi)運(yùn)算的過(guò)程是先腐蝕后膨脹，其作用是可以消除一些孤立點(diǎn)和比較細(xì)小的目標(biāo)，同時(shí)可以在纖細(xì)的地方把目標(biāo)進(jìn)行分離和平滑邊界，并且能夠不明顯改變目標(biāo)面積。而閉運(yùn)算的過(guò)程是先膨脹后腐蝕，其作用是可以填充一些空洞和裂縫從而連接相鄰目標(biāo)，并且在不明顯改變目標(biāo)的面積情況下對(duì)目標(biāo)邊界進(jìn)行平滑。本申請(qǐng)采用的是腐蝕膨脹的開(kāi)運(yùn)算進(jìn)一步消除一些小的噪聲的影響。

6)使用改進(jìn)的掏空內(nèi)部點(diǎn)的輪廓提取算法提取運(yùn)動(dòng)目標(biāo)輪廓

輪廓缺陷修補(bǔ)步驟如下：

步驟1：掃描圖像得到所有的輪廓端點(diǎn)，存貯在容器v中，轉(zhuǎn)步驟2。

步驟2：從容器v中讀取輪廓端點(diǎn)，若沒(méi)有輪廓端點(diǎn)則轉(zhuǎn)步驟4。若有，則按公式

計(jì)算任意兩端點(diǎn)距離，若小于給定閾值d，則轉(zhuǎn)步驟3，否則繼續(xù)步驟2。

步驟3：用直線連接兩輪廓端點(diǎn)，轉(zhuǎn)步驟2。

步驟4：容器中所有端點(diǎn)判定結(jié)束。

通過(guò)以上算法即可得到封閉的、完整的目標(biāo)輪廓。根據(jù)實(shí)驗(yàn)，本申請(qǐng)中像素距離閾值d設(shè)定為3。

7)使用freeman鏈碼將提取出的運(yùn)動(dòng)目標(biāo)輪廓進(jìn)行鏈碼表示

用freeman鏈碼表示圖像提取的二維輪廓時(shí)，算法過(guò)程如下：

步驟1：對(duì)圖像進(jìn)行掃描得到起始的像素值不為0的像素點(diǎn)，記錄該點(diǎn)為(start-x,start-y)，且以起始點(diǎn)為當(dāng)前點(diǎn)轉(zhuǎn)步驟2。若沒(méi)有掃描到像素不為0的像素點(diǎn)，則轉(zhuǎn)步驟4。

步驟2:按順時(shí)針?lè)较驋呙璁?dāng)前點(diǎn)p的8鄰域，若遇到不為0的像素點(diǎn)(設(shè)為q)即停止，這樣則兩個(gè)非輪廓點(diǎn)f1，f2被屏蔽，轉(zhuǎn)步驟(3)。若沒(méi)有掃描到輪廓點(diǎn)，則設(shè)置符號(hào)“/”表示輪廓提取結(jié)束，并且將掃描起始點(diǎn)設(shè)為(start-x,start-y)，然后轉(zhuǎn)步驟1。

步驟3：存貯q點(diǎn)，將q點(diǎn)設(shè)為當(dāng)前點(diǎn)，轉(zhuǎn)步驟2。

步驟4：用標(biāo)志“/”表示所有輪廓提取結(jié)束。

通過(guò)以上算法就可以得到二維圖像中所有的目標(biāo)輪廓的鏈碼表示。

本發(fā)明采用基于背景差分法的運(yùn)動(dòng)目標(biāo)檢測(cè)算法進(jìn)行發(fā)言學(xué)生識(shí)別，主要包含以下幾個(gè)方面：背景更新、圖像閾值分割和輪廓提取。其中，背景更新使用滑動(dòng)平均算法；圖像閾值分割選用的是最大類間方差準(zhǔn)則；然后在二值化后的圖像上采用掏空輪廓點(diǎn)的方法提取輪廓，并且使用輪廓缺陷修補(bǔ)技術(shù)進(jìn)一步改進(jìn)輪廓提取算法；最后使用freeman鏈碼表示提取的輪廓，其算法能夠很好的提取出運(yùn)動(dòng)目標(biāo)的輪廓，為錄播系統(tǒng)的實(shí)現(xiàn)提供了良好的技術(shù)保障。本發(fā)明提出了完整的智能視頻錄播系統(tǒng)中的學(xué)生跟蹤定位方案，采用主輔錄制攝像頭的解決方案，結(jié)合運(yùn)動(dòng)目標(biāo)檢測(cè)算法，實(shí)現(xiàn)對(duì)課堂中單個(gè)和兩個(gè)站起發(fā)言學(xué)生的跟蹤定位；其能夠?qū)φ酒饘W(xué)生進(jìn)行精確定位和縮放，并且能夠處理兩名同學(xué)站起的情況。

最終，以上實(shí)施例和附圖僅用以說(shuō)明本發(fā)明的技術(shù)方案而非限制，盡管通過(guò)上述實(shí)施例已經(jīng)對(duì)本發(fā)明進(jìn)行了詳細(xì)的描述，但本領(lǐng)域技術(shù)人員應(yīng)當(dāng)理解，可以在形式上和細(xì)節(jié)上對(duì)其作出各種各樣的改變，而不偏離本發(fā)明權(quán)利要求書(shū)所限定的范圍。