專利名稱：一種基于Kinect的電視節(jié)目主持互動系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及電視節(jié)目系統(tǒng)，具體地說是一種基于Kinect的電視節(jié)目主持互動系統(tǒng)。
背景技術(shù)：
電視節(jié)目的收視率體現(xiàn)著電視節(jié)目工作者的勞動成果，為了不斷提高節(jié)目收視率，電視臺工作人員不斷地改進(jìn)電視節(jié)目內(nèi)容的新穎性和主持方式的創(chuàng)新性，從而引發(fā)了電視節(jié)目不斷應(yīng)用新技術(shù)的革新。目前，就我國電視節(jié)目的主持方式所應(yīng)用的技術(shù)而言，主要分為兩種傳統(tǒng)技術(shù)和多點(diǎn)觸摸技術(shù)。傳統(tǒng)技術(shù)通常是先錄制視頻，再由專業(yè)人員對視頻作大量后期處理工作，如添加文字、圖片或虛擬物等；使節(jié)目視頻內(nèi)容更加生動活潑，達(dá)到可滿足要求播出電視畫面。這樣的技術(shù)方式往往增加了大量后期的人力和勞動力，同時對專業(yè)技術(shù)水平也有較高要求。多點(diǎn)觸摸技術(shù)是近幾年新應(yīng)用到電視節(jié)目當(dāng)中的技術(shù)，主要是將主持內(nèi)容顯示在支持觸摸屏的顯示設(shè)備上，主持人通過觸摸顯示屏做出相應(yīng)手勢就可以直接控制節(jié)目內(nèi)容的播出進(jìn)度，使主持人能夠更加靈活的控制整個主持過程，完成電視節(jié)目的錄制，后期也不需對視頻內(nèi)容進(jìn)行大量的處理工作了。但是這種主持技術(shù)需要配備大尺寸、高分辨率的觸摸屏和顯示設(shè)備，對設(shè)備的要求較高且成本較大。并且主持人只能通過觸摸屏來實(shí)現(xiàn)對節(jié)目播出的控制進(jìn)程，無法脫離觸摸設(shè)備。主持人只有通過直接接觸到觸摸屏才能產(chǎn)生控制命令，一定程度上限制了主持人的主持風(fēng)格和動作，從而影響了拍攝主持人正面的最佳鏡頭。

發(fā)明內(nèi)容
本發(fā)明是為了克服現(xiàn)有技術(shù)存在的不足之處，提供一種基于Kinect的電視節(jié)目主持互動系統(tǒng)，利用三維手勢識別技術(shù)增加了語義手勢操作命令，從而為電視主持提供新穎的非接觸式的主持方式，使得主持人在空間上能夠更加自由和靈活地控制節(jié)目播出過程，同時減少了人力及設(shè)備成本的投入。本發(fā)明為解決技術(shù)問題采用如下技術(shù)方案本發(fā)明一種基于Kinect的電視節(jié)目主持互動系統(tǒng)的組成包括一數(shù)字?jǐn)z像機(jī)，用于拍攝電視節(jié)目并將所拍攝電視節(jié)目的視頻圖像通過視頻輸出線傳輸至字幕機(jī)；一 Kinect設(shè)備，將所述Kinect設(shè)備的RGB攝像頭中心與所述數(shù)字?jǐn)z像機(jī)的物鏡中心處在同一條直線上，所述Kinect設(shè)備通過Kinect SDK系統(tǒng)開發(fā)工具包中相應(yīng)API應(yīng)用程序接口獲得電視節(jié)目中主持人的RGB圖像和人體骨骼信息，并將所述RGB圖像和人體骨骼信息通過USB數(shù)據(jù)線傳送至字幕機(jī)；所述字幕機(jī)，用于接收所述視頻圖像、所述RGB圖像和所述人體骨骼信息，并利用圖像配準(zhǔn)技術(shù)中的仿射變換將所述RGB圖像與所述視頻圖像進(jìn)行圖像配準(zhǔn)；所述字幕機(jī)通過調(diào)用Kinect SDK系統(tǒng)開發(fā)工具包中相應(yīng)API應(yīng)用程序接口獲得所述人體骨骼信息中的手部骨骼信息，并利用三維手勢識別技術(shù)分別獲得語義手勢和控制手勢，從而分別產(chǎn)生語義響應(yīng)命令和控制響應(yīng)命令；所述字幕機(jī)利用增強(qiáng)現(xiàn)實(shí)技術(shù)將圖文字幕信息疊加到所述視頻圖像中形成置加視頻；并對所述置加視頻進(jìn)行手部標(biāo)識得到參考置加視頻，將所述參考疊加視頻發(fā)送到同步顯示設(shè)備；所述同步顯示設(shè)備，用于實(shí)時顯示所述參考疊加視頻，主持人根據(jù)所述參考疊加視頻實(shí)時調(diào)整手部位置。本發(fā)明基于Kinect的電視節(jié)目主持互動系統(tǒng)的特點(diǎn)也在于所述Kinect設(shè)備2是從正面獲取主持人的RGB圖像和人體骨骼信息，且人體活動范圍限制在所述Kinect設(shè)備2的水平視角范圍小于57°、垂直視角范圍小于43°和傳感深度范圍在I. 2米到3. 5米之間。所述語義手勢和所述控制手勢的識別過程分別如下過程A和過程B進(jìn)行 過程A :所述字幕機(jī)3根據(jù)所述手部骨骼信息設(shè)定手部觸發(fā)的深度閾值，當(dāng)主持人7手部觸發(fā)所述深度閾值后，所述字幕機(jī)3開始記錄手部運(yùn)動軌跡，并利用模板匹配方法找到所述手部運(yùn)動軌跡所匹配的手勢模板，若匹配成功，則執(zhí)行與所述手勢模板所對應(yīng)的語義響應(yīng)函數(shù)，從而獲得所述語義手勢并產(chǎn)生所述語義響應(yīng)命令；若匹配失敗，則主持人7重新觸發(fā)所述深度閾值并進(jìn)行所述語義手勢的識別過程；過程B :所述字幕機(jī)3根據(jù)所述手部骨骼信息設(shè)定手部觸發(fā)的深度閾值與時間閾值，主持人7手部觸發(fā)所述深度閾值與時間閾值，若觸發(fā)成功，則執(zhí)行手部動作所對應(yīng)的控制響應(yīng)函數(shù)，從而獲得所述控制手勢并產(chǎn)生所述控制響應(yīng)命令；若觸發(fā)失敗，則主持人7重新觸發(fā)所述深度閥值與時間閥值并進(jìn)行所述控制手勢的識別過程。所述字幕機(jī)3可設(shè)置為計(jì)算機(jī)。與已有技術(shù)相比，本發(fā)明有益效果體現(xiàn)在I、本發(fā)明利用三維手勢識別技術(shù)，改進(jìn)了普通多點(diǎn)觸摸技術(shù)不支持語義手勢的操作，可以針對不同的手勢定義不同的語義，從而擴(kuò)充了控制手勢的響應(yīng)功能，使得主持人能夠更加靈活多變對電視節(jié)目進(jìn)行操作。2、本發(fā)明引入增強(qiáng)現(xiàn)實(shí)技術(shù)將圖文字幕信息實(shí)時疊加到視頻圖像中形成疊加視頻，使得電視節(jié)目更加的生動形象，增加了主持人用手勢控制節(jié)目過程中的真實(shí)感。3、本發(fā)明改變了現(xiàn)有的主持方式，利用Kinect設(shè)備提供一種新的非接觸式主持方式，主持人利用自身的人體姿態(tài)控制節(jié)目的播出進(jìn)程，最大程度發(fā)揮出主持人自由的主持風(fēng)格和正面的鏡頭感，從而讓觀眾產(chǎn)生了新的視覺體驗(yàn)。4、本發(fā)明能有效提高節(jié)目制作的工作效率，避免了傳統(tǒng)錄制節(jié)目方式需要專業(yè)人員對所錄制的視頻進(jìn)行大量的后期處理工作，省去了大量人力物力的投入。5、本發(fā)明所使用的Kinect設(shè)備相比于大尺寸觸摸屏設(shè)備而言，其設(shè)備成本較低，使用更加方便靈活。


圖I為本發(fā)明系統(tǒng)結(jié)構(gòu)示意圖；圖2為本發(fā)明手勢觸發(fā)范圍示意圖；圖3為本發(fā)明人體骨骼示意圖中標(biāo)號1數(shù)子攝像機(jī)；2Kinect設(shè)備；3子眷機(jī)；4冋步顯不設(shè)備；5視頻輸出線；6USB數(shù)據(jù)線；7主持人；8圖文或虛擬場景；9手部骨骼點(diǎn)；10手部運(yùn)動軌跡。
具體實(shí)施例方式參見圖I :本實(shí)施例中，一種基于Kinect的電視節(jié)目主持互動系統(tǒng)的組成包括數(shù)字?jǐn)z像機(jī)I、Kinect設(shè)備2、字幕機(jī)3和同步顯示設(shè)備4，其中字幕機(jī)3可以用計(jì)算機(jī)替代；數(shù)字?jǐn)z像機(jī)I用于拍攝電視節(jié)目并將所拍攝電視節(jié)目的視頻圖像通過視頻輸出線5傳輸至字幕機(jī)3 ；可以將Kinect設(shè)備2綁定在數(shù)字?jǐn)z像機(jī)I上，使得Kinect設(shè)備2的RGB攝像頭中心與數(shù)字?jǐn)z像機(jī)的物鏡中心處于同一直線上，并限制主持人的活動范圍在Kinect設(shè)備2的水平視角范圍小于57°、垂直視角范圍小于43°和傳感深度范圍在I. 2米到3. 5米之間；如圖I所示，本實(shí)施例是將Kinect設(shè)備2綁定在數(shù)字?jǐn)z像機(jī)I的正上方，則Kinect設(shè)備2的RGB攝像頭中心與數(shù)字?jǐn)z像機(jī)的物鏡中心處于同一垂直線上；如果將Kinect設(shè)備2綁定在數(shù)字?jǐn)z像機(jī)I的左側(cè)或右側(cè)，則Kinect設(shè)備2的RGB攝像頭中心與數(shù)字?jǐn)z像機(jī)的物鏡中心應(yīng)處于同一水平線上；Kinect設(shè)備2利用微軟提供的Kinect SDK系統(tǒng)開發(fā)工具包中相應(yīng)API應(yīng)用程序接口從正面獲取電視節(jié)目中主持人7的RGB圖像和人體骨骼信息，并將所拍攝的RGB圖像和人體骨骼信息通過USB數(shù)據(jù)線6傳送至字幕機(jī)3 ；字幕機(jī)3用于接收視頻圖像、RGB圖像和人體骨骼信息，利用圖像配準(zhǔn)技術(shù)中的仿射變換將RGB圖像與視頻圖像進(jìn)行圖像配準(zhǔn)；圖像配準(zhǔn)是按如下過程尋找一個最佳映射關(guān)系f 選取RGB圖像作為待配準(zhǔn)圖像并由二維矩陣A表示，視頻圖像作為參考圖像并由二維矩陣B表示；A(x，y)與B(x，y)分別表示二維矩陣A和二維矩陣B上的第x行第y列位置處的像素點(diǎn)；將待配準(zhǔn)圖像的二維矩陣A利用式(I)進(jìn)行f變換，即A’ =Af，獲得配準(zhǔn)圖像的二維矩陣A’
權(quán)利要求
1.一種基于Kinect的電視節(jié)目主持互動系統(tǒng)，其特征是所述系統(tǒng)組成包括 一數(shù)字?jǐn)z像機(jī)(I)，用于拍攝電視節(jié)目并將所拍攝電視節(jié)目的視頻圖像通過視頻輸出線(5)傳輸至字幕機(jī)(3); 一 Kinect設(shè)備(2),將所述Kinect設(shè)備(2)的RGB攝像頭中心與所述數(shù)字?jǐn)z像機(jī)(I)的物鏡中心處在同一條直線上，所述Kinect設(shè)備(2)通過Kinect SDK系統(tǒng)開發(fā)工具包中相應(yīng)API應(yīng)用程序接口獲得電視節(jié)目中主持人(7)的RGB圖像和人體骨骼信息，并將所述RGB圖像和人體骨骼信息通過USB數(shù)據(jù)線(6)傳送至字幕機(jī)(3)； 所述字幕機(jī)(3)，用于接收所述視頻圖像、所述RGB圖像和所述人體骨骼信息，并利用圖像配準(zhǔn)技術(shù)中的仿射變換將所述RGB圖像與所述視頻圖像進(jìn)行圖像配準(zhǔn)；所述字幕機(jī)(3)通過調(diào)用Kinect SDK系統(tǒng)開發(fā)工具包中相應(yīng)API應(yīng)用程序接口獲得所述人體骨骼信息中的手部骨骼信息，并利用三維手勢識別技術(shù)分別獲得語義手勢和控制手勢，從而分別產(chǎn)生語義響應(yīng)命令和控制響應(yīng)命令；所述字幕機(jī)(3)利用增強(qiáng)現(xiàn)實(shí)技術(shù)將圖文字幕信息疊加到所述視頻圖像中形成疊加視頻；并對所述疊加視頻進(jìn)行手部標(biāo)識得到參考疊加視頻，將所述參考疊加視頻發(fā)送到同步顯示設(shè)備(4)； 所述同步顯示設(shè)備(4)，用于實(shí)時顯示所述參考疊加視頻，主持人(7)根據(jù)所述參考疊加視頻實(shí)時調(diào)整手部位置。
2.根據(jù)權(quán)利要求I所述的基于Kinect的電視節(jié)目主持互動系統(tǒng)，其特征是所述Kinect設(shè)備(2)是從正面獲取主持人的RGB圖像和人體骨骼信息，且人體活動范圍限制在所述Kinect設(shè)備(2)的水平視角范圍小于57°、垂直視角范圍小于43°和傳感深度范圍在I. 2米到3. 5米之間。
3.根據(jù)權(quán)利要求I所述的基于Kinect的電視節(jié)目主持互動系統(tǒng)，其特征是所述語義手勢和所述控制手勢的識別過程分別如下過程A和過程B進(jìn)行 過程A :所述字幕機(jī)(3)根據(jù)所述手部骨骼信息設(shè)定手部觸發(fā)的深度閾值，當(dāng)主持人(7)手部觸發(fā)所述深度閾值后，所述字幕機(jī)(3)開始記錄手部運(yùn)動軌跡，并利用模板匹配方法找到所述手部運(yùn)動軌跡所匹配的手勢模板，若匹配成功，則執(zhí)行與所述手勢模板所對應(yīng)的語義響應(yīng)函數(shù)，從而獲得所述語義手勢并產(chǎn)生所述語義響應(yīng)命令；若匹配失敗，則主持人(7)重新觸發(fā)所述深度閾值并進(jìn)行所述語義手勢的識別過程； 過程B :所述字幕機(jī)(3)根據(jù)所述手部骨骼信息設(shè)定手部觸發(fā)的深度閾值與時間閾值，主持人(7)手部觸發(fā)所述深度閾值與時間閾值，若觸發(fā)成功，則執(zhí)行手部動作所對應(yīng)的控制響應(yīng)函數(shù)，從而獲得所述控制手勢并產(chǎn)生所述控制響應(yīng)命令；若觸發(fā)失敗，則主持人(7)重新觸發(fā)所述深度閥值與時間閥值并進(jìn)行所述控制手勢的識別過程。
4.根據(jù)權(quán)利要求I所述的基于Kinect的電視節(jié)目主持互動系統(tǒng)，其特征是所述字幕機(jī)(3)可設(shè)置為計(jì)算機(jī)。
全文摘要
本發(fā)明公開了一種基于Kinect的電視節(jié)目主持互動系統(tǒng)，其特征是系統(tǒng)組成包括數(shù)字?jǐn)z像機(jī)、Kinect設(shè)備、字幕機(jī)和同步顯示設(shè)備；數(shù)字?jǐn)z像機(jī)用于拍攝電視節(jié)目，Kinect設(shè)備用于獲取電視節(jié)目中主持人的RGB圖像和人體骨骼信息，字幕機(jī)用于將RGB圖像與視頻圖像進(jìn)行圖像配準(zhǔn)，并獲得人體骨骼信息中的手部骨骼信息，產(chǎn)生語義響應(yīng)命令和控制響應(yīng)命令；主持人根據(jù)同步顯示設(shè)備實(shí)時調(diào)整手部位置。本發(fā)明為電視主持提供新穎的非接觸式的主持方式，使得主持人在空間上能夠更加自由和靈活地控制節(jié)目播出過程，同時減少了人力及設(shè)備成本的投入。
文檔編號G06F3/01GK102801924SQ201210254878
公開日2012年11月28日 申請日期2012年7月20日 優(yōu)先權(quán)日2012年7月20日
發(fā)明者李琳, 劉曉平, 汪偉, 王真水, 謝文軍, 黃磊 申請人:合肥工業(yè)大學(xué)