本發(fā)明屬于移動直播技術領域，特別是一種基于數(shù)字視聽場所的直播互動方法和系統(tǒng)。

背景技術：

網(wǎng)絡直播吸取和延續(xù)互聯(lián)網(wǎng)的優(yōu)勢，利用視訊方式進行網(wǎng)上現(xiàn)場直播，可以將才藝展示、產(chǎn)品展示、相關會議、背景介紹、方案測評、網(wǎng)上調(diào)查、對話訪談、在線培訓等內(nèi)容現(xiàn)場發(fā)布到互聯(lián)網(wǎng)上，利用互聯(lián)網(wǎng)的直觀、快速、表現(xiàn)形式好、內(nèi)容豐富、交互性強、地域不受限制、受眾可劃分等特點，加強活動現(xiàn)場的推廣效果?，F(xiàn)場直播完成后，還可以隨時為讀者繼續(xù)提供重播、點播，有效延長了直播的時間和空間，發(fā)揮直播內(nèi)容的最大價值。

在網(wǎng)紅經(jīng)濟和直播平臺的風口之下，當前直播平臺發(fā)展迅猛，移動直播已經(jīng)成為娛樂內(nèi)容傳播的一大熱門方式，互聯(lián)網(wǎng)行業(yè)也出現(xiàn)了大量視頻直播類應用程序(app)。然而，差異化視頻內(nèi)容稀缺已經(jīng)制約直播發(fā)展的瓶頸，也正因為直播方式相對簡單，優(yōu)質(zhì)內(nèi)容呈碎片化，使得用戶粘度極低。因此，垂直屬性更強、差異化更明顯的直播平臺容易吸引特定標簽的用戶群體。

另外，在眾多的移動直播產(chǎn)品方案中，采用互動的方式基本是同質(zhì)化的聊天彈幕和虛擬禮物贈送，并沒有與當前的數(shù)字視聽場所(例如KTV場景)結(jié)合，缺乏更多的娛樂性。

還有，在現(xiàn)有移動直播產(chǎn)品方案中，只是以手機屏作為直播內(nèi)容展示載體，展示效果不佳。而且，現(xiàn)有的直播軟件在用戶互動環(huán)境中只能贈送虛擬的道具和禮物，無法贈送實際的超市物品或者現(xiàn)實的物品。不僅于此，現(xiàn)有的視頻直播基本上只有美顏等功能，無法結(jié)合增強顯示(AR)功能，將酷炫的視頻內(nèi)容直播出去。而且，現(xiàn)有的直播主要利用手機，受限于手機攝像頭的焦距，畫面有限，無法滿足多人直播，而且還經(jīng)常受到手機電池容量的限制。還有，手機攝像頭在拍攝過程中容易抖動，拍攝的視頻易不清晰；且手機攝像頭在移動拍攝過程中，網(wǎng)絡信號不好，容易引起直播卡頓。

技術實現(xiàn)要素：

本發(fā)明實施方式提出一種基于數(shù)字視聽場所的直播互動方法和系統(tǒng)，從而提高互動性。

本發(fā)明實施方式的技術方案如下：

一種基于數(shù)字視聽場所的直播互動方法，該方法包括：

創(chuàng)建虛擬包廂，所述虛擬包廂的用戶包括場內(nèi)用戶和場外用戶；

場內(nèi)用戶確定場景直播內(nèi)容，將所述場景直播內(nèi)容發(fā)送到云端以由云端生成播放地址，場外用戶在所述虛擬包廂中基于所述播放地址觀看所述場景直播內(nèi)容；和/或，場外用戶確定場外直播內(nèi)容，將所述場外直播內(nèi)容發(fā)送到云端以由云端生成內(nèi)容播放地址，場內(nèi)用戶在所述虛擬包廂中基于所述內(nèi)容播放地址觀看所述場外直播內(nèi)容；

場外用戶與場內(nèi)用戶在所述虛擬包廂中執(zhí)行互動，或場內(nèi)用戶之間在所述虛擬包廂中執(zhí)行互動，或場外用戶之間在所述虛擬包廂中執(zhí)行互動。

在一個實施方式中，場內(nèi)用戶確定場景直播內(nèi)容包括：

場內(nèi)用戶基于移動終端確定場景直播內(nèi)容；或，場內(nèi)用戶基于包廂點歌終端確定場景直播內(nèi)容；

和/或

所述虛擬包廂是在場內(nèi)用戶未進數(shù)字視聽場所前所創(chuàng)建的，或所述虛擬包廂是在場內(nèi)用戶進入數(shù)字視聽場所后所創(chuàng)建的。

在一個實施方式中，所述場內(nèi)用戶基于移動終端確定直播內(nèi)容包括：

當場內(nèi)用戶在移動終端上選定以所述移動終端作為直播錄制源時，使能所述移動終端錄制所述場內(nèi)用戶的視頻以作為所述場景直播內(nèi)容；或，當場內(nèi)用戶在所述移動終端上選定以布置在所述場所包廂中的攝像頭作為直播錄制源時，使能所述攝像頭錄制所述場內(nèi)用戶的視頻，并將所述場內(nèi)用戶的視頻與預定的虛擬場景模型作出增強現(xiàn)實處理以作為所述場景直播內(nèi)容；或，當場內(nèi)用戶在所述移動終端上選定以所述移動終端及布置在場所包廂中的攝像頭共同作為直播錄制源時，使能所述移動終端錄制所述場內(nèi)用戶的視頻，使能所述攝像頭錄制所述場內(nèi)用戶的視頻，并將所述移動終端錄制的視頻、所述場內(nèi)用戶的視頻與預定的虛擬場景模型作出增強現(xiàn)實處理以作為所述場景直播內(nèi)容；或，當場內(nèi)用戶在所述移動終端上選定以布置在所述場所包廂中的攝像頭作為直播錄制源時，使能所述攝像頭錄制所述場內(nèi)用戶的視頻，并將所述場內(nèi)用戶的視頻作為所述場景直播內(nèi)容；

或

所述場內(nèi)用戶基于包廂點歌終端確定直播內(nèi)容包括：當場內(nèi)用戶在所述包廂點歌終端上選定以布置在所述場所包廂中的攝像頭作為直播錄制源時，使能所述攝像頭錄制所述場內(nèi)用戶的視頻，并將所述場內(nèi)用戶的視頻作為所述場景直播內(nèi)容；或，當場內(nèi)用戶在所述包廂點歌終端上選定以布置在所述場所包廂中的攝像頭作為直播錄制源時，使能所述攝像頭錄制所述場內(nèi)用戶的視頻，并將所述場內(nèi)用戶的視頻與預定的虛擬場景模型作出增強現(xiàn)實處理以作為所述場景直播內(nèi)容。

在一個實施方式中，該方法還包括：

當場內(nèi)用戶在所述移動終端上選定以布置在所述場所包廂中的攝像頭作為直播錄制源時，布置在所述場所包廂中的顯示單元展示所述場景直播內(nèi)容及場外用戶與場內(nèi)用戶、場內(nèi)用戶之間或場外用戶之間的互動內(nèi)容；

當場內(nèi)用戶在所述包廂點歌終端上選定以布置在所述場所包廂中的攝像頭作為直播錄制源時，布置在所述場所包廂中的顯示單元展示所述場景直播內(nèi)容及場外用戶與場內(nèi)用戶、場內(nèi)用戶之間或場外用戶之間的互動內(nèi)容。

在一個實施方式中，所述互動內(nèi)容包括下列中的至少一個：

點歌；包廂內(nèi)播放控制；文字聊天；語音聊天；發(fā)送圖片；發(fā)送虛擬禮物；實物送禮；分享播放地址。

在一個實施方式中，所述場外用戶與場內(nèi)用戶在所述虛擬包廂中執(zhí)行互動包括：從場外用戶處接收針對實物的實物訂單信息，基于所述實物訂單信息生成實物待支付信息，并當所述場外用戶基于所述實物待支付信息完成支付后，向所述場內(nèi)用戶分發(fā)所述實物；或

所述場內(nèi)用戶包括第一場內(nèi)用戶和第二場內(nèi)用戶，所述場內(nèi)用戶在所述虛擬包廂中執(zhí)行互動包括：從第一場內(nèi)用戶處接收針對實物的實物訂單信息，基于所述實物訂單信息生成實物待支付信息，并當所述第一場內(nèi)用戶基于所述實物待支付信息完成支付后，向第二場內(nèi)用戶分發(fā)所述實物；

其中所述實物包括下列中的至少一個：酒類；飲料；零食；鮮花；水果；熟食；玩具；服裝；飾品。

在一個實施方式中，

該方法還包括：經(jīng)由與場所包廂中的機頂盒在同一局域網(wǎng)中的支付管理平臺，從與場所包廂相綁定的移動終端接收訂單信息；經(jīng)由所述支付管理平臺通過局域網(wǎng)將所述訂單信息發(fā)送到網(wǎng)關服務器，以由所述網(wǎng)關服務器經(jīng)由互聯(lián)網(wǎng)將所述訂單信息發(fā)送到云端服務器，并由云端服務器經(jīng)由互聯(lián)網(wǎng)將所述訂單信息發(fā)送到支付平臺；經(jīng)由所述支付管理平臺通過局域網(wǎng)從網(wǎng)關服務器接收待支付信息，所述待支付信息由支付平臺基于訂單信息生成、并經(jīng)由互聯(lián)網(wǎng)發(fā)送到云端服務器，再由云端服務器經(jīng)由互聯(lián)網(wǎng)發(fā)送到網(wǎng)關服務器；展示所述待支付信息，以由移動終端基于所述待支付信息執(zhí)行支付；

或

該方法還包括：支付平臺經(jīng)由互聯(lián)網(wǎng)向云端服務器返回支付結(jié)果；云端服務器經(jīng)由互聯(lián)網(wǎng)將支付結(jié)果發(fā)送到網(wǎng)關服務器；網(wǎng)關服務器經(jīng)由局域網(wǎng)向支付管理平臺發(fā)送支付結(jié)果；

或

該方法還包括：當增加新的支付平臺時，云端服務器進一步建立與新的支付平臺的互聯(lián)網(wǎng)連接；云端服務器基于預定策略選擇目標支付平臺，并將所述訂單信息發(fā)送到所述目標支付平臺；或，當所述支付平臺被替換為另外的支付平臺時，云端服務器進一步建立與所述另外的支付平臺的互聯(lián)網(wǎng)連接；云端服務器經(jīng)由互聯(lián)網(wǎng)將所述訂單信息發(fā)送到所述另外的支付平臺；或，當支付平臺被刪除時，云端服務器刪除與所述支付平臺的互聯(lián)網(wǎng)連接。

在一個實施方式中，該方法還包括：將第一對象更新到所述虛擬場景模型中，并在接收到互動指令時，根據(jù)互動指令將互動內(nèi)容更新到所述虛擬場景模型中，以得到所述場景直播內(nèi)容；其中所述第一對象包括下列中的至少一個：真人對象；寵物；植物；

將第一對象更新到所述虛擬場景模型中包括：實時獲取一個以上攝像裝置的信號，采集得到一個以上的第一圖像數(shù)據(jù)；根據(jù)預設的條件，從每個第一圖像數(shù)據(jù)中提取一個以上的第一對象，將一個以上的第一對象實時更新到虛擬場景模型中；

所述互動內(nèi)容還包括第一素材的內(nèi)容數(shù)據(jù)，所述第一素材包括：文字素材、圖像素材、聲音素材或圖像素材與聲音素材的結(jié)合；所述虛擬場景模型為3D虛擬舞臺。

一種基于數(shù)字視聽場所的直播系統(tǒng)，包括：

云端服務器，用于創(chuàng)建虛擬包廂，所述虛擬包廂的用戶包括場內(nèi)用戶和場外用戶；

場內(nèi)用戶終端，用于確定場景直播內(nèi)容，將所述場景直播內(nèi)容發(fā)送到云端以由云端生成播放地址；

場外用戶終端，用于在所述虛擬包廂中基于所述播放地址觀看所述場景直播內(nèi)容；

和/或，

場外用戶終端，用于確定場外直播內(nèi)容，將所述場外直播內(nèi)容發(fā)送到云端以由云端生成內(nèi)容播放地址；

場內(nèi)用戶終端，用于在所述虛擬包廂中基于所述內(nèi)容播放地址觀看所述場外直播內(nèi)容；

其中場內(nèi)用戶終端場外用戶終端在所述虛擬包廂中執(zhí)行互動，或場內(nèi)用戶終端之間在所述虛擬包廂中執(zhí)行互動，或場外用戶終端之間在所述虛擬包廂中執(zhí)行互動。

在一個實施方式中，所述場內(nèi)用戶終端為移動終端；該系統(tǒng)還包括：

布置在所述場所包廂中的攝像頭，用于當直播用戶在移動終端上選定以所述攝像頭作為直播錄制源時，錄制所述直播用戶的視頻以作為場景直播內(nèi)容，或?qū)⑺鲋辈ビ脩舻囊曨l與預定的虛擬場景模型作出增強現(xiàn)實處理以作為場景直播內(nèi)容，將所述場景直播內(nèi)容發(fā)送到云端服務器。

在一個實施方式中，所述場內(nèi)用戶終端為包廂點歌終端；

該系統(tǒng)還包括：布置在所述場所包廂中的攝像頭，

所述場所包廂中的攝像頭，還用于當直播用戶在所述包廂點歌終端上選定以所述攝像頭作為直播錄制源時，錄制所述直播用戶的視頻并將所述直播用戶的視頻作為所述場景直播內(nèi)容，或?qū)⑺鲋辈ビ脩舻囊曨l與預定的虛擬場景模型作出增強現(xiàn)實處理以作為所述場景直播內(nèi)容。

在一個實施方式中，還包括布置在所述場所包廂中的顯示單元；

顯示單元，用于當場內(nèi)用戶在移動終端上選定以布置在場所包廂中的攝像頭作為直播錄制源時，展示所述場景直播內(nèi)容及場外用戶與場內(nèi)用戶、場內(nèi)用戶之間或場外用戶之間的互動內(nèi)容；當場內(nèi)用戶在包廂點歌終端上選定以布置在場所包廂中的攝像頭作為直播錄制源時，展示所述場景直播內(nèi)容及場外用戶與場內(nèi)用戶、場內(nèi)用戶之間或場外用戶之間的互動內(nèi)容。

在一個實施方式中，還包括位于所述場所包廂中的機頂盒；

所述攝像頭或所述移動終端，還用于錄制所述實物的視頻或圖片，將所述實物的視頻或圖片發(fā)送到所述機頂盒；

所述機頂盒與顯示單元連接，用于將所述實物的視頻或圖片發(fā)送到顯示單元；

在一個實施方式中，還包括支付平臺；

所述支付平臺，用于從基于所述場景直播內(nèi)容的播放地址觀看直播內(nèi)容的觀看用戶接收針對實物的實物訂單信息，基于所述實物訂單信息生成實物待支付信息，并當所述觀看用戶基于所述實物待支付信息完成支付后，向所述場所包廂分發(fā)所述實物。

從上述技術方案可以看出，創(chuàng)建虛擬包廂，虛擬包廂的用戶包括場內(nèi)用戶和場外用戶；場內(nèi)用戶確定場景直播內(nèi)容，將場景直播內(nèi)容發(fā)送到云端以由云端生成播放地址，場外用戶在虛擬包廂中基于播放地址觀看場景直播內(nèi)容；場外用戶與場內(nèi)用戶在虛擬包廂中執(zhí)行互動，或場內(nèi)用戶之間在虛擬包廂中執(zhí)行互動，或場外用戶之間在虛擬包廂中執(zhí)行互動。因此，本發(fā)明實施方式直播與數(shù)字視聽場所場景結(jié)合，提供互動性。而且，引入手機屏和電視大屏的跨屏互動，攝像頭還可以直播AR內(nèi)容。

另外，本發(fā)明實施方式還實現(xiàn)了實物送禮，提高了移動支付的安全性并降低成本，而且還可以實現(xiàn)云端配置，升級維護非常便利。

還有，在本發(fā)明實施方式中，可以在云端服務器對各個交易場所的交易敏感數(shù)據(jù)進行集中管理，既保證了數(shù)據(jù)安全性，也可以為大數(shù)據(jù)挖掘提供關鍵依據(jù)。

附圖說明

圖1為根據(jù)本發(fā)明實施方式的數(shù)字視聽場所直播互動方法流程圖。

圖2為根據(jù)本發(fā)明實施方式的實物送禮流程圖。

圖3為根據(jù)本發(fā)明實施方式的KTV直播互動系統(tǒng)的結(jié)構(gòu)圖。

圖4為根據(jù)本發(fā)明實施方式的KTV直播互動元素示意圖。

圖5為根據(jù)本發(fā)明實施方式的移動支付系統(tǒng)的示范性結(jié)構(gòu)圖。

圖6為根據(jù)本發(fā)明實施方式在KTV場所的移動支付系統(tǒng)的示范性結(jié)構(gòu)圖。

具體實施方式

為使本發(fā)明的目的、技術方案和優(yōu)點更加清楚，下面結(jié)合附圖對本發(fā)明作進一步的詳細描述。

為了描述上的簡潔和直觀，下文通過描述若干代表性的實施方式來對本發(fā)明的方案進行闡述。實施方式中大量的細節(jié)僅用于幫助理解本發(fā)明的方案。但是很明顯，本發(fā)明的技術方案實現(xiàn)時可以不局限于這些細節(jié)。為了避免不必要地模糊了本發(fā)明的方案，一些實施方式?jīng)]有進行細致地描述，而是僅給出了框架。下文中，“包括”是指“包括但不限于”，“根據(jù)……”是指“至少根據(jù)……，但不限于僅根據(jù)……”。由于漢語的語言習慣，下文中沒有特別指出一個成分的數(shù)量時，意味著該成分可以是一個也可以是多個，或可理解為至少一個。

本發(fā)明實施方式提出了一種應用于數(shù)字視聽場所場景下的直播互動技術，可以在app上創(chuàng)建線上虛擬包廂作為內(nèi)容載體，通過手機攝像頭或包廂專業(yè)攝像頭直播線下實體包廂中的聚會娛樂內(nèi)容。優(yōu)選地，數(shù)字視聽場所可以包括下列中的至少一個：卡拉OK場所；網(wǎng)吧；影吧；臺球室，等等。

利用手機直播、大屏彈幕及特效、包廂攝像頭直播、贈送虛擬道具和遠程實物送禮等多樣性的互動方式來滿足場內(nèi)用戶和場外好友的實時互動和娛樂需求。另外，線下包廂電視端屏幕可以作為互動內(nèi)容的展示載體，支持在普通彈幕和高清大屏上分區(qū)域展示用戶產(chǎn)生的豐富內(nèi)容。場內(nèi)用戶可以在電視屏上即時看到好友發(fā)送的彈幕消息、贈送禮物的動畫效果，為用戶提升體驗，豐富泛音樂娛樂的效果。用戶可以選擇邀請好友或聯(lián)網(wǎng)推送的形式，將直播內(nèi)容進行分享傳播。

當數(shù)字視聽場所具體為KTV場所時，本發(fā)明實施方式提出的KTV直播互動技術包含線上虛擬包廂、手機和包廂攝像頭直播方案、大屏展示互動、虛擬道具/遠程實物送禮等主要組成部分。本發(fā)明實施方式將直播技術與KTV場景結(jié)合，突出展示聚會場景、K歌大賽等KTV內(nèi)的特質(zhì)內(nèi)容，以虛擬包廂和遠程實物送禮的獨特互動形式拉近場內(nèi)外用戶的距離，通過電視大屏展示彈幕及特效來加強場內(nèi)外送禮體驗，提升娛樂效果。虛擬包廂可以由用戶通過app掃描包廂內(nèi)的二維碼創(chuàng)建，作為線上互動載體連接移動終端和實體包廂的播放終端。虛擬包廂中的互動功能包括點歌、播控、文字語音聊天、發(fā)送圖片、手機直播、包廂攝像頭直播、虛擬禮物、實物送禮、分，等等享。虛擬包廂內(nèi)成員分為場內(nèi)用戶(比如，綁定二維碼)和場外用戶(比如，未綁定二維碼)。場內(nèi)用戶可以使用虛擬包廂所有的互動功能，場外用戶無法發(fā)起直播，可以發(fā)送彈幕聊天互動，贈送禮物，觀看視頻直播。

在一個實施方式中，虛擬包廂是在場內(nèi)用戶未進數(shù)字視聽場所前所創(chuàng)建的，或虛擬包廂是在場內(nèi)用戶進入數(shù)字視聽場所后所創(chuàng)建的。

比如，當用戶進入數(shù)字視聽場所后，將虛擬包廂與數(shù)字視聽場所線下的實體包廂相綁定。當然，用戶也可以在進入數(shù)字視聽場所線下的實體包廂后，再創(chuàng)建與線下包廂相綁定的虛擬包廂，并將一些未在線下實體包廂中的用戶也拉入虛擬包廂，從而實現(xiàn)線下線上的一起互動。通過虛擬包廂與實體包廂的綁定，場外的虛擬包廂用戶可以參與互動，還可以在虛擬包廂中觀看直播等。

在一個實施方式中，區(qū)別于現(xiàn)有技術中的其它直播平臺，本發(fā)明實施方式的一個創(chuàng)新點是以手機屏和包廂電視大屏同時作為虛擬包廂的內(nèi)容展示載體，加入跨屏互動玩法。線下電視屏可以實時顯示虛擬包廂內(nèi)用戶產(chǎn)生的內(nèi)容信息。例如：用戶可以在app端和電視大屏中同時觀看包廂攝像頭結(jié)合虛擬場景模型的AR技術直播的絢麗舞臺畫面，場外用戶給場內(nèi)好友送禮時會有實時彈幕和動畫特效在屏幕上展示，進入虛擬包廂的成員人數(shù)和頭像信息也會在大屏上有專門的區(qū)域顯示和定時刷新，營造熱鬧的互動氣氛。

在一個實施方式中，區(qū)別于現(xiàn)有技術中的其它直播平臺，本發(fā)明實施方式的另一大創(chuàng)新點是技術架構(gòu)上除了支持場內(nèi)用戶在虛擬包廂中開啟手機直播，還支持開啟包廂專業(yè)攝像頭直播。具體地：用戶通過app向機頂盒發(fā)送直播請求。機頂盒收到直播請求后，向云端申請直播的推流CDN通道，機頂盒通知包廂內(nèi)的攝像頭設備通過RTMP協(xié)議向CDN通道推實時音視頻流，該音視頻流包含音效器的音頻數(shù)據(jù)和攝像頭的視頻數(shù)據(jù)。云端通過分發(fā)將視頻流推送到數(shù)據(jù)中心和網(wǎng)關管理服務器，管理服務器再推送到機頂盒播放終端。虛擬包廂中可以并存手機直播和包廂直播兩路直播源，手機直播的展示優(yōu)先級高于包廂直播。

在一個實施方式中，區(qū)別于現(xiàn)有技術中的其它直播平臺，本發(fā)明實施方式的一大創(chuàng)新點是加入了實物送禮的技術方案。在虛擬包廂內(nèi)，場內(nèi)場外用戶不僅可以贈送虛擬禮物，還可以通過線上購買KTV超市里的酒水、果盤等商品，線下出品送到指定的實體包廂。具體的實施步驟為：后臺為合作商家開通實物送禮業(yè)務，配置該商家在線超市的商品信息，用戶在虛擬包廂中選擇贈送的商品并下單，付款后，訂單信息會傳到相應的商家，商家根據(jù)訂單的內(nèi)容配送相應的商品到用戶所在的包廂，將遠程送禮轉(zhuǎn)化實物禮物的方式觸達用戶，讓場內(nèi)場外的互動更加真實，更富有娛樂性。

圖1是根據(jù)本發(fā)明實施方式的基于數(shù)字視聽場所的直播互動方法流程圖。

如圖1所示，該方法包括：

步驟101：創(chuàng)建虛擬包廂，所述虛擬包廂的用戶包括場內(nèi)用戶和場外用戶。

步驟102：場內(nèi)用戶確定場景直播內(nèi)容，將所述場景直播內(nèi)容發(fā)送到云端以由云端生成播放地址，場外用戶在所述虛擬包廂中基于所述播放地址觀看所述場景直播內(nèi)容；

步驟103：場外用戶與場內(nèi)用戶在所述虛擬包廂中執(zhí)行互動，或場內(nèi)用戶之間在所述虛擬包廂中執(zhí)行互動，或場外用戶之間在所述虛擬包廂中執(zhí)行互動。

在一個實施方式中，步驟102中場內(nèi)用戶確定場景直播內(nèi)容包括：場內(nèi)用戶基于移動終端確定場景直播內(nèi)容；或，場內(nèi)用戶基于包廂點歌終端確定場景直播內(nèi)容。

在一個實施方式中，場內(nèi)用戶基于移動終端確定直播內(nèi)容包括：

(1)、當場內(nèi)用戶在移動終端上選定以所述移動終端作為直播錄制源時，使能所述移動終端錄制所述場內(nèi)用戶的視頻以作為所述場景直播內(nèi)容；

(2)、當場內(nèi)用戶在所述移動終端上選定以布置在所述場所包廂中的攝像頭作為直播錄制源時，使能所述攝像頭錄制所述場內(nèi)用戶的視頻，并將所述場內(nèi)用戶的視頻與預定的虛擬場景模型作出增強現(xiàn)實處理以作為所述場景直播內(nèi)容；

(3)、當場內(nèi)用戶在所述移動終端上選定以所述移動終端及布置在場所包廂中的攝像頭共同作為直播錄制源時，使能所述移動終端錄制所述場內(nèi)用戶的視頻，使能所述攝像頭錄制所述場內(nèi)用戶的視頻，并將所述移動終端錄制的視頻、所述場內(nèi)用戶的視頻與預定的虛擬場景模型作出增強現(xiàn)實處理以作為所述場景直播內(nèi)容；

(4)、當場內(nèi)用戶在所述移動終端上選定以布置在所述場所包廂中的攝像頭作為直播錄制源時，使能所述攝像頭錄制所述場內(nèi)用戶的視頻，并將所述場內(nèi)用戶的視頻作為所述場景直播內(nèi)容。

在一個實施方式中，場內(nèi)用戶基于包廂點歌終端確定直播內(nèi)容包括：

(1)、當場內(nèi)用戶在所述包廂點歌終端上選定以布置在所述場所包廂中的攝像頭作為直播錄制源時，使能所述攝像頭錄制所述場內(nèi)用戶的視頻，并將所述場內(nèi)用戶的視頻作為所述場景直播內(nèi)容；

(2)、當場內(nèi)用戶在所述包廂點歌終端上選定以布置在所述場所包廂中的攝像頭作為直播錄制源時，使能所述攝像頭錄制所述場內(nèi)用戶的視頻，并將所述場內(nèi)用戶的視頻與預定的虛擬場景模型作出增強現(xiàn)實處理以作為所述場景直播內(nèi)容。

在一個實施方式中，該方法還包括：

當場內(nèi)用戶在所述移動終端上選定以布置在所述場所包廂中的攝像頭作為直播錄制源時，布置在所述場所包廂中的顯示單元展示所述場景直播內(nèi)容及場外用戶與場內(nèi)用戶、場內(nèi)用戶之間或場外用戶之間的互動內(nèi)容；

當場內(nèi)用戶在所述包廂點歌終端上選定以布置在所述場所包廂中的攝像頭作為直播錄制源時，布置在所述場所包廂中的顯示單元展示所述場景直播內(nèi)容及場外用戶與場內(nèi)用戶、場內(nèi)用戶之間或場外用戶之間的互動內(nèi)容。

具體地，互動內(nèi)容包括下列中的至少一個：點歌；播放控制；文字聊天；語音聊天；發(fā)送圖片；發(fā)送虛擬禮物；實物送禮；分享播放地址，等等。

在一個實施方式中，該方法還包括：

場外用戶確定場外直播內(nèi)容，將所述場外直播內(nèi)容發(fā)送到云端以由云端生成內(nèi)容播放地址，場內(nèi)用戶在所述虛擬包廂中基于所述內(nèi)容播放地址觀看所述場外直播內(nèi)容。

可見，基于該實施方式，還可以實現(xiàn)從場外用戶向場內(nèi)用戶的直播。

舉例，場外用戶終端通過app掃描二維碼綁定到虛擬包廂，而且場外用戶終端錄制場外相關視頻以作為場外直播內(nèi)容，并將場外直播內(nèi)容發(fā)送到云端以由云端生成內(nèi)容播放地址。場內(nèi)用戶通過app從云端獲取內(nèi)容播放地址，并且在虛擬包廂中基于內(nèi)容播放地址觀看場外直播內(nèi)容。

在一個實施方式中，步驟103中場外用戶與場內(nèi)用戶在所述虛擬包廂中執(zhí)行互動包括：從場外用戶處接收針對實物的實物訂單信息，基于所述實物訂單信息生成實物待支付信息，并當所述場外用戶基于所述實物待支付信息完成支付后，向所述場內(nèi)用戶分發(fā)所述實物。

在一個實施方式中，步驟103中場內(nèi)用戶包括第一場內(nèi)用戶和第二場內(nèi)用戶，所述場內(nèi)用戶在所述虛擬包廂中執(zhí)行互動包括：從第一場內(nèi)用戶處接收針對實物的實物訂單信息，基于所述實物訂單信息生成實物待支付信息，并當所述第一場內(nèi)用戶基于所述實物待支付信息完成支付后，向第二場內(nèi)用戶分發(fā)所述實物；其中所述實物包括下列中的至少一個：酒類；飲料；零食；鮮花；水果；熟食；玩具；服裝；飾品。

以上示范性描述了實物種類和互動內(nèi)容的典型實例，本領域技術人員可以意識到，這種描述僅是示范性的，并不用于限定本發(fā)明實施方式的保護范圍。

在一個實施方式中，該方法還包括：經(jīng)由與場所包廂中的機頂盒在同一局域網(wǎng)中的支付管理平臺，從與場所包廂相綁定的移動終端接收訂單信息；經(jīng)由所述支付管理平臺通過局域網(wǎng)將所述訂單信息發(fā)送到網(wǎng)關服務器，以由所述網(wǎng)關服務器經(jīng)由互聯(lián)網(wǎng)將所述訂單信息發(fā)送到云端服務器，并由云端服務器經(jīng)由互聯(lián)網(wǎng)將所述訂單信息發(fā)送到支付平臺；經(jīng)由所述支付管理平臺通過局域網(wǎng)從網(wǎng)關服務器接收待支付信息，所述待支付信息由支付平臺基于訂單信息生成、并經(jīng)由互聯(lián)網(wǎng)發(fā)送到云端服務器，再由云端服務器經(jīng)由互聯(lián)網(wǎng)發(fā)送到網(wǎng)關服務器；展示所述待支付信息，以由移動終端基于所述待支付信息執(zhí)行支付。

在一個實施方式中，該方法還包括：支付平臺經(jīng)由互聯(lián)網(wǎng)向云端服務器返回支付結(jié)果；云端服務器經(jīng)由互聯(lián)網(wǎng)將支付結(jié)果發(fā)送到網(wǎng)關服務器；網(wǎng)關服務器經(jīng)由局域網(wǎng)向支付管理平臺發(fā)送支付結(jié)果。

在一個實施方式中，該方法還包括：該方法還包括：當增加新的支付平臺時，云端服務器進一步建立與新的支付平臺的互聯(lián)網(wǎng)連接；云端服務器基于預定策略選擇目標支付平臺，并將所述訂單信息發(fā)送到所述目標支付平臺；或，當所述支付平臺被替換為另外的支付平臺時，云端服務器進一步建立與所述另外的支付平臺的互聯(lián)網(wǎng)連接；云端服務器經(jīng)由互聯(lián)網(wǎng)將所述訂單信息發(fā)送到所述另外的支付平臺；或，當支付平臺被刪除時，云端服務器刪除與所述支付平臺的互聯(lián)網(wǎng)連接。

在一個實施方式中，該方法還包括：將第一對象更新到所述虛擬場景模型中，并在接收到互動指令時，根據(jù)互動指令將互動內(nèi)容更新到所述虛擬場景模型中，以得到所述場景直播內(nèi)容；其中所述第一對象包括下列中的至少一個：真人對象；寵物；植物；

將第一對象更新到所述虛擬場景模型中包括：實時獲取一個以上攝像裝置的信號，采集得到一個以上的第一圖像數(shù)據(jù)；根據(jù)預設的條件，從每個第一圖像數(shù)據(jù)中提取一個以上的第一對象，將一個以上的第一對象實時更新到虛擬場景模型中；

所述互動內(nèi)容還包括第一素材的內(nèi)容數(shù)據(jù)，所述第一素材包括：文字素材、圖像素材、聲音素材或圖像素材與聲音素材的結(jié)合；所述虛擬場景模型為3D虛擬舞臺。

在本發(fā)明實施方式中，場內(nèi)用戶可以將移動終端(比如，手機)與場所包廂綁定，用戶通過移動終端中的客戶端打開直播功能，在該直播功能中可選擇直播移動終端自帶攝像頭所拍攝的視頻文件，還可以選擇直播包廂中設置的攝像頭所拍攝的視頻文件(該視頻文件可以為虛擬舞臺的視頻)。在確定直播內(nèi)容后，將直播視頻內(nèi)容上傳到流媒體服務器，通過CDN分發(fā)到多終端用戶，并生成觀看直播的路徑。然后，用戶將觀看直播的路徑直接分享給他人，他人通過直播路徑可觀看到直播，或用戶將直播路徑放在客戶端平臺上，他人主動查找該直播路徑進行觀看直播。直播頁面上可以具有彈幕按鈕、虛擬禮物、虛擬道具或場所線上超市入口。他人可在直播頁面購買送彈幕、虛擬禮物、虛擬道具等。購買后，彈幕按鈕、虛擬禮物、虛擬道具依次通過云端服務器和網(wǎng)關服務器發(fā)送到包廂機頂盒，然后機頂盒控制彈幕、虛擬禮物、虛擬道具等顯示到包廂的顯示屏上。當需要送實體物品時，從場所線上超市入口進入場所線上超市，進行購買實體物品，該購物信息中包括包廂信息、被送人的賬戶等，付款后，場所的所送物品送到對應包廂中對應賬戶的用戶。

在這里，場內(nèi)用戶移動終端可以通過掃描二維碼的方式與場所包廂相綁定。比如，在場所包廂中張貼有二維碼，場內(nèi)用戶的移動終端的攝像頭掃描二維碼，并與場所包廂保持綁定。

在一個實施方式中，該方法還包括：錄制實物的視頻或圖片；在場所包廂中顯示直播內(nèi)容及實物的視頻或圖片。

下面以KTV為例，對本發(fā)明實施方式進行具體說明。

在具體實施中，KTV場內(nèi)用戶可以通過移動終端上的微信或其它App掃描點歌臺上特定的二維碼，以綁定包廂。KTV場內(nèi)用戶可以選擇使用包廂內(nèi)的專業(yè)攝像頭或移動終端自帶攝像頭進行直播。使用專業(yè)攝像頭直播，可以選擇AR功能，把虛擬舞臺、場景直播出去。當用戶發(fā)起直播后，該用戶可以主動通過微信分享直播H5頁面給場外的觀眾。場外的用戶也使用相同的App在熱門直播大廳列表找到對應的直播。場外觀眾可以送彈幕、虛擬禮物、虛擬道具、或者實際超市的物品，和直播者互動。直播系統(tǒng)和KTV點歌系統(tǒng)無縫結(jié)合的。場外用戶的發(fā)送的彈幕、虛擬禮物、實物送禮，在KTV的包廂大電視上都有同步的酷炫展示，如果場外送的是實際超市的禮物，線下的超市系統(tǒng)會自動出品對應的實際禮物，由服務員送給直播者。

本發(fā)明實施方式優(yōu)選還提出了一種融合式虛擬場景互動方法。在一個實施方式中，該方法還包括：將第一對象更新到所述虛擬世界模型中，并在接收到互動指令時，根據(jù)互動指令將互動內(nèi)容更新到所述虛擬世界模型中，以得到所述直播內(nèi)容；其中第一對象包括：實物或虛擬禮物。

在一個實施方式中，將第一對象更新到所述虛擬世界模型中包括：實時獲取一個以上攝像裝置的信號，采集得到一個以上的第一圖像數(shù)據(jù)；根據(jù)預設的條件，從每個第一圖像數(shù)據(jù)中提取一個以上的第一對象，將一個以上的第一對象實時更新到虛擬場景中；所述互動內(nèi)容還包括第一素材的內(nèi)容數(shù)據(jù)，所述第一素材包括：文字素材、圖像素材、聲音素材或圖像素材與聲音素材的結(jié)合；或，所述虛擬世界模型為3D虛擬舞臺。

可見，本發(fā)明實施方式還提供了一種融合式虛擬場景互動的方法，可以應用于網(wǎng)絡直播或MTV制作等多種需求中。該融合式虛擬場景互動的方法，將第一對象更新到虛擬場景中，并在接收到互動指令時，根據(jù)互動指令將互動內(nèi)容更新到虛擬場景中，得到圖像數(shù)據(jù)。

具體地，融合式虛擬場景互動包括以下步驟：

第一步：實時獲取一個以上攝像裝置的信號，采集得到一個以上的第一圖像數(shù)據(jù)。

第二步：根據(jù)預設的條件，從每個第一圖像數(shù)據(jù)中提取一個以上的第一對象。在不同的實施例中根據(jù)需要，第一對象可以是不同的具體對象，例如第一對象可以是真人主播，可以是寵物動物等，還可以是植物等；第一對象的數(shù)量可以是單個，也可以是2個以上。根據(jù)這些實際需求的不同，可以使用不同的算法和設置，以有效地在第一數(shù)據(jù)圖像中提取第一對象。以下通過一具體提取第一對象的算法實施例進行舉例說明。

在某一實施例中，第一圖像數(shù)據(jù)中，第一對象為人物主播，主播所處的背景為純色背景。提取第一圖像數(shù)據(jù)中第一對象的具體步驟為：GPU將第一圖像數(shù)據(jù)中的每個像素的顏色值與預設的閾值做比較；若像素的顏色值在預設的閾值內(nèi)，則將該像素點的Alpha通道設為零，即將背景顯示為透明色，提取出對象。

由于背景為純色，所以本實施例采用色度鍵法進行摳圖。其中預設的閾值為背景顏色的顏色值，例如，背景顏色為綠色，則預設的像素點RGB顏色值的閾值為(0±10、255-10、0±10)。背景色可以選擇綠色或藍色，在拍攝的場所可同時設置兩種顏色的背景，供主播選擇。當主播穿與綠色反差較大的衣服唱歌時，可選用綠色的背景。在對象(人像)提取過程中，由于主播穿的衣服與背景色相差較大，所以圖像中的每個像素的顏色值與預設的閾值進行比較后，背景部分像素點的顏色值在預設的閾值內(nèi)，將背景部分像素點的Alpha通道設為零，即將背景顯示為透明色；而人像部分的像素點不在預設的閾值內(nèi)，保留人像部分，從而實現(xiàn)將人像從圖像中提取出來。

在具體的實施例中，還可以利用設備上的GPU進行摳圖處理操作，不占用CPU時間，提高系統(tǒng)速度；并且由于GPU是專門對圖像進行處理的硬件，對不同大小的像素運算時間一樣，例如，8位、16位、32位的像素運算時間均一樣，可大大節(jié)省了對像素的運算時間；而普通的CPU會隨像素大小的增大延長處理時間，所以本實施例的人像提取速度大大提高。上述的區(qū)別點使得本實施例中還可以采用帶有GPU的嵌入式設備實現(xiàn)，即使嵌入式方案中的CPU性能較弱，但是應用本實施例的方案，嵌入式設備方案仍然能實現(xiàn)流暢顯示，因為若使用CPU從第一圖像數(shù)據(jù)中提取第一對象，CPU需進行讀取攝像裝置獲取的視頻，并進行摳圖等處理，CPU負擔太重，無法進行流暢的顯示。而本實施例應用于嵌入式方案中，將上述摳圖處理放入GPU中進行，既減輕了CPU的負擔，同時不會對GPU的運行造成影響。

第三步：接收來自第一終端發(fā)送的互動指令。在不同的實施例中，所述第一終端通過計算機網(wǎng)絡發(fā)送互動指令，計算機網(wǎng)絡可以是Internet網(wǎng)絡也可以是局域網(wǎng)，可以是由有線網(wǎng)絡、WiFi網(wǎng)絡、3G/4G移動通訊網(wǎng)絡、藍牙網(wǎng)絡或ZigBee網(wǎng)絡等進行連接。第一終端可以是PC，也可以是手機、平板電腦等移動通訊設備，還可以是智能手表、智能手環(huán)、智能眼鏡等穿戴式設備。在一些實施例中，第一終端還可以遙控器等近距離控制裝置，第一終端可產(chǎn)生紅外信號、無線電波等信號來發(fā)送相應的互動指令。

第四步：將一個以上的第一對象實時更新到虛擬場景中，并根據(jù)互動指令，更新或切換虛擬場景，得到第二圖像數(shù)據(jù)。在實施例中，所述虛擬場景包括計算機模擬的虛擬現(xiàn)實場景或真實拍攝的視頻場景等。更進一步的，實施例還可以結(jié)合新近發(fā)展的3D圖像技術來提供虛擬場景，例如3D虛擬現(xiàn)實場景或3D視頻場景。

3D虛擬現(xiàn)實場景技術是一種可以創(chuàng)建和體驗虛擬世界的計算機仿真系統(tǒng)，它利用計算機生成一種現(xiàn)實場景的3D模擬場景，是一種多源信息融合的交互式的三維動態(tài)視景和實體行為的系統(tǒng)仿真。虛擬場景包括任何現(xiàn)實生活中存在的實際場景，包含視覺、聽覺等任何能通過體感感受到的場景，通過計算機技術來模擬實現(xiàn)。3D虛擬現(xiàn)實場景的一種應用是3D虛擬舞臺，3D虛擬舞臺是通過計算機技術模擬現(xiàn)實舞臺，實現(xiàn)一種立體感、真實感強的舞臺效果?？梢酝ㄟ^3D虛擬舞臺實現(xiàn)，在現(xiàn)實中不在舞臺上的主播對象在各種舞臺上進行表演的場景效果。3D視頻是拍攝影像時，用兩臺攝影機模擬左右兩眼視差，分別拍攝兩條影片，然后將這兩條影片同時放映到銀幕上，放映時讓觀眾左眼只能看到左眼圖像，右眼只能看到右眼圖像。最后兩幅圖像經(jīng)過大腦疊合后，就能看到具有立體縱深感的畫面，即為3D視頻。

在不同虛擬場景中互動的實施例中，互動指令可以包括不同的內(nèi)容，在某些實施例中，所述互動指令包括將第一素材更新到虛擬場景中的命令。具體為：在將第一對象實時更新到虛擬場景的同時，根據(jù)所述互動指令，將第一素材也更新到虛擬場景中，從而得到所述第二圖像數(shù)據(jù)。第一素材可以為圖像素材、聲音素材或者圖像素材與聲音素材的結(jié)合。以網(wǎng)絡直播為例，所述第一素材包括有虛擬禮物、點贊、背景音、喝彩等，網(wǎng)絡直播的觀眾可通過移動手機，向主播送鮮花等虛擬禮物的互動指令，所送的禮物將以鮮花圖片的形式在虛擬場景中體現(xiàn)出來。網(wǎng)絡直播的觀眾還可以通過移動手機，向主播發(fā)送鼓掌的互動指令，鼓掌的互動指令將以掌聲的形式進行播放。第一素材可以是系統(tǒng)預置的，供給用戶選擇使用，而在某些實施例中，所述互動指令除了包括將第一素材更新到虛擬場景中的命令，還可包括了第一素材的內(nèi)容數(shù)據(jù)。例如觀眾在通過移動終端上傳一個贈送虛擬禮物的互動指令，以及在互動指令中還包含了一張所贈送虛擬禮物的圖片，在接收到所述互動指令后，將所述禮物的圖片更新至虛擬場景中。因此觀眾在發(fā)送互動指令時，除了可以選擇互動的方式，還可以根據(jù)自己的喜好自定義第一素材的內(nèi)容數(shù)據(jù)，如喜歡的圖片素材、聲音素材或圖片與聲音結(jié)合的素材。

在一些實施例中，互動指令還包括變換虛擬場景鏡頭的命令，所述變換虛擬場景鏡頭的命令包括有切換虛擬場景鏡頭的視角，改變虛擬場景鏡頭焦距以及對虛擬場景進行局部模糊處理等。通過切換虛擬場景鏡頭的視角，可以模擬從不同視角觀看虛擬場景的畫面；通過改變虛擬場景鏡頭焦距，可對拉近和推遠虛擬場景的畫面；而對對虛擬場景進行局部模糊處理，可使虛擬場景中未模糊處理部分畫面被突出顯示。通過所述變換虛擬場景鏡頭的命令，可大大提高觀眾的互動程度和趣味性。

區(qū)別于現(xiàn)有的直播互動，是將互動的內(nèi)容是直接的疊加至圖像或視頻的表面層，因此在視覺效果上，所疊加的互動內(nèi)容像是漂浮在虛擬場景的表面，從而導致互動內(nèi)容的視覺效果很突兀，很難與虛擬場景融合成一體。在上述實施例中，所述互動內(nèi)容是在第一對象更新至虛擬場景的同時，更新至虛擬場景中，其中，所述第一對象、互動內(nèi)容以及虛擬場景是一同渲染成像的，因此互動內(nèi)容與第一對象可以自然、協(xié)調(diào)的融合在虛擬場景中，從而具有良好的視覺效果。在實施例中，所述互動內(nèi)容還可是通過3D建模而得到的3D互動模型，3D互動模型與第一對象以及虛擬場景實時渲染，從而得到3D互動模型在虛擬場景中自然展現(xiàn)，如互動內(nèi)容為獻花時，所獻的鮮花可在虛擬場景中立體展現(xiàn)；如互動內(nèi)容為點贊時，點贊的信息能夠在虛擬場景中的虛擬屏幕上顯示。例如，當虛擬場景為一個舞臺中，互動內(nèi)容為獻花，采用本發(fā)明上述方法，所獻的鮮花可展示在舞臺當中，成為舞臺的一部分，顯示效果好，而不像現(xiàn)有技術只是漂浮在界面表面。

在一實施例中，在實時獲取攝像裝置的信號，采集得到第一圖像數(shù)據(jù)的同時，實時獲取傳聲器的信號，采集得到第一聲音數(shù)據(jù)；

將第一對象實時更新到虛擬場景中的同時，也將將第一聲音實時更新到虛擬場景中，得到第二圖像數(shù)據(jù)。以網(wǎng)絡直播為例，所述第一聲音數(shù)據(jù)為網(wǎng)絡主播的說明或演唱的聲音，或演主播演唱的聲音及歌曲伴奏的混合聲音。通過實時將第一聲音實時更新到虛擬場景中，同時，在顯示終端實時顯示更新后的第二圖像數(shù)據(jù)。這樣，不僅可聽到網(wǎng)絡主播的聲音，還可以在顯示終端看到與聲音同步的畫面(人像與虛擬場景的結(jié)合)，實現(xiàn)了虛擬舞臺的效果。

在上述實施例中，得到第二圖像數(shù)據(jù)之后，將第二圖像數(shù)據(jù)通過顯示裝置顯示，通過在顯示裝置上顯示所述第二圖像數(shù)據(jù)，用戶可看到第一對象與虛擬場景合成后的視頻。在顯示第二圖像數(shù)據(jù)時，可先對第二圖像數(shù)據(jù)的畫面進行編碼，通過編碼處理可使圖像數(shù)據(jù)在顯示裝置實時流暢顯示。在現(xiàn)有技術中，一般不對原始畫面進行處理，原始畫面數(shù)據(jù)量大，所以現(xiàn)有技術還未出現(xiàn)對人像和虛擬場景合成后的畫面，實時在客戶端顯示的技術。而本實施例將更新后得到的第二圖像數(shù)據(jù)的畫面先進行編碼，經(jīng)過編碼操作可大大減小畫面大小。

例如：在分辨率為720P的情況下，1幀視頻的大小為1.31MByte，1秒視頻為30幀畫面，所以，現(xiàn)有視頻中，1秒視頻的大小為：30*1.31＝39.3MByte；本實施例對畫面進行編碼后，還是在分辨率為720P下，設碼率為4Mbit，1秒的視頻的大小為4Mbit，由于1Byte＝8bit，所以1秒的視頻為0.5MByte；與現(xiàn)有視頻相比，編碼后的視頻數(shù)據(jù)大大減小，從而編碼后的視頻數(shù)據(jù)可流暢地在網(wǎng)絡上進行傳輸，實現(xiàn)在客戶端流暢顯示音視頻數(shù)據(jù)。

在一些實施例中，得到第二圖像數(shù)據(jù)之后，存儲記錄第二圖像數(shù)據(jù)。所存儲的第二圖像數(shù)據(jù)可上傳至網(wǎng)關服務器，網(wǎng)關服務器將接收的圖像數(shù)據(jù)上傳至云端服務器，云端服務器接收圖像數(shù)據(jù)并生成分享地址。通過上述步驟，實現(xiàn)了第二圖像數(shù)據(jù)的分享。在通過終端設備(例如手機、電腦、平板等帶顯示屏的電子設備)登錄分享地址，即可直接播放音視頻數(shù)據(jù)或下載所述第二圖像數(shù)據(jù)。

所得到的第二圖像數(shù)據(jù)除了可以在本地的顯示裝置上進行播放，還可以在網(wǎng)絡端進行實時播放。具體為：

網(wǎng)絡客戶端通過實時流傳輸協(xié)議獲取所述第二圖像數(shù)據(jù)，并對第二圖像數(shù)據(jù)中的視頻數(shù)據(jù)解碼顯示畫面，所述畫面內(nèi)容可為3D場景渲染的畫面；音頻數(shù)據(jù)解碼后通過音頻播放設備(例如揚聲器)播放。所述實時流傳輸協(xié)議可以是RTSP協(xié)議。其中，第二圖像數(shù)據(jù)中的圖像數(shù)據(jù)預先經(jīng)過編碼操作，通過圖像數(shù)據(jù)編碼操作，可實現(xiàn)客戶端流暢播放視頻數(shù)據(jù)。

以上詳細描述了融合式虛擬場景互動的實現(xiàn)細節(jié)。本領域技術人員可以意識到，也可以不采用上述互動方式或采用其他的互動方式，本發(fā)明對此并無限定。

圖2為根據(jù)本發(fā)明實施方式的實物送禮流程圖。

如圖2所示，該方法包括：

步驟201：場外用戶A使用App或者微信H5頁面觀看直播。

步驟202：場外用戶A選擇實物物品和送禮對象。

步驟203：場外用戶A通過微信或支付寶等支付方式實現(xiàn)支付。

步驟204：支付成功后，場所的超市管理系統(tǒng)出品物品。

步驟205：手機App或者H5接口通知點歌系統(tǒng)在電視展示實物付成功后，場所的超市管理系統(tǒng)出品物品。

步驟206：獲贈者收到服務員送來的超市出品的實物禮品。

因此，在本發(fā)明實施方式中，在直播過程能方便快捷的利用送實物來增加互動，不僅僅局限于虛擬的道具和禮物，同時本發(fā)明結(jié)合專業(yè)攝像頭，把AR內(nèi)容直播出去，可以將直播引入KTV場所，開創(chuàng)KTV直播時代。

本發(fā)明實施方式還提出了一種基于數(shù)字視聽場所的直播互動系統(tǒng)。

該直播互動系統(tǒng)包括：云端服務器，用于創(chuàng)建虛擬包廂，所述虛擬包廂的用戶包括場內(nèi)用戶和場外用戶；場內(nèi)用戶終端，用于確定場景直播內(nèi)容，將所述場景直播內(nèi)容發(fā)送到云端以由云端生成播放地址；場外用戶終端，用于在所述虛擬包廂中基于所述播放地址觀看所述場景直播內(nèi)容；其中場內(nèi)用戶終端與場外用戶終端在所述虛擬包廂中執(zhí)行互動，或場內(nèi)用戶終端之間在所述虛擬包廂中執(zhí)行互動，或場外用戶終端之間在所述虛擬包廂中執(zhí)行互動。

在一個實施方式中，場內(nèi)用戶終端為移動終端；該系統(tǒng)還包括：

布置在所述場所包廂中的攝像頭，用于當直播用戶在移動終端上選定以所述攝像頭作為直播錄制源時，錄制所述直播用戶的視頻以作為場景直播內(nèi)容，或?qū)⑺鲋辈ビ脩舻囊曨l與預定的虛擬場景模型作出增強現(xiàn)實處理以作為場景直播內(nèi)容，將所述場景直播內(nèi)容發(fā)送到云端服務器。

在一個實施方式中，所述場內(nèi)用戶終端為包廂點歌終端；該系統(tǒng)還包括：布置在所述場所包廂中的攝像頭，所述場所包廂中的攝像頭，還用于當直播用戶在所述包廂點歌終端上選定以所述攝像頭作為直播錄制源時，錄制所述直播用戶的視頻并將所述直播用戶的視頻作為所述場景直播內(nèi)容，或?qū)⑺鲋辈ビ脩舻囊曨l與預定的虛擬場景模型作出增強現(xiàn)實處理以作為所述場景直播內(nèi)容。

在一個實施方式中，還包括布置在所述場所包廂中的顯示單元；顯示單元，用于當場內(nèi)用戶在移動終端上選定以布置在場所包廂中的攝像頭作為直播錄制源時，展示所述場景直播內(nèi)容及場外用戶與場內(nèi)用戶、場內(nèi)用戶之間或KTV場外用戶之間的互動內(nèi)容；當場內(nèi)用戶在包廂點歌終端上選定以布置在場所包廂中的攝像頭作為直播錄制源時，展示所述場景直播內(nèi)容及場外用戶與場內(nèi)用戶、場內(nèi)用戶之間或場外用戶之間的互動內(nèi)容。

在一個實施方式中，還包括位于所述場所包廂中的機頂盒；所述攝像頭或所述移動終端，還用于錄制所述實物的視頻或圖片，將所述實物的視頻或圖片發(fā)送到所述機頂盒；所述機頂盒與顯示單元連接，用于將所述實物的視頻或圖片發(fā)送到顯示單元；

在一個實施方式中，還包括支付平臺；所述支付平臺，用于從基于所述場景直播內(nèi)容的播放地址觀看直播內(nèi)容的觀看用戶接收針對實物的實物訂單信息，基于所述實物訂單信息生成實物待支付信息，并當所述觀看用戶基于所述實物待支付信息完成支付后，向所述場所包廂分發(fā)所述實物。

圖3為根據(jù)本發(fā)明實施方式的KTV場景中直播互動系統(tǒng)的結(jié)構(gòu)圖。

如圖3所示，直播互動系統(tǒng)包括：

KTV場內(nèi)用戶的移動終端，用于與KTV場所包廂相綁定，當KTV場內(nèi)用戶在移動終端上選定以該移動終端作為直播錄制源時，錄制KTV場內(nèi)用戶的視頻以作為直播內(nèi)容，將直播內(nèi)容發(fā)送到云端服務器；

布置在場所包廂中的攝像頭，用于當KTV場內(nèi)用戶在移動終端上選定以攝像頭作為直播錄制源時，錄制KTV場內(nèi)用戶的視頻，并將KTV場內(nèi)用戶的視頻與預定的虛擬場景模型作出增強現(xiàn)實處理以作為直播內(nèi)容，將直播內(nèi)容發(fā)送到云端服務器；

云端服務器，用于基于移動終端或攝像頭提供的直播內(nèi)容生成直播內(nèi)容的播放地址；

支付平臺，用于從基于直播內(nèi)容的播放地址觀看直播內(nèi)容的觀看用戶接收針對實物的實物訂單信息，基于實物訂單信息生成實物待支付信息，并當觀看用戶基于實物待支付信息完成支付后，向場所包廂分發(fā)實物。

在一個實施方式中，直播互動系統(tǒng)還包括位于場所包廂中的機頂盒；

攝像頭或移動終端，還用于錄制實物的視頻或圖片，將實物的視頻或圖片發(fā)送到機頂盒；機頂盒與顯示單元連接，用于將實物的視頻或圖片發(fā)送到顯示單元；顯示單元，用于顯示直播內(nèi)容及實物的視頻或圖片。

圖4為根據(jù)本發(fā)明實施方式的直播互動元素示意圖。在直播過程中，既可以顯示用戶進入和退出直播頻道的狀態(tài)，還可以顯示虛擬禮物送禮和實物送禮的過程。

除了上述直播互動之外，本發(fā)明實施方式還結(jié)合披露了一種移動支付方法。

移動支付(Mobile Payment)，也稱之為手機支付，是指交易雙方為了某種貨物或者服務，使用移動終端設備為載體，通過移動通信網(wǎng)絡實現(xiàn)的商業(yè)交易。移動支付所使用的移動終端可以是手機、個人數(shù)字助理(PDA)、移動個人電腦(PC)等。移動支付目前廣泛地應用在各行各業(yè)中。在買單之后支付時，用戶可以通過現(xiàn)金、刷卡支付或第三方平臺支付等方式進行結(jié)賬操作。在支付過程中，通常需要支付終端(比如，諸如刷卡器之類的刷卡終端)與互聯(lián)網(wǎng)具有穩(wěn)定連接。如果支付服務器不能正常連接網(wǎng)絡，就無法完成支付。然而，當支付服務器較多時，每個支付服務器都連接互聯(lián)網(wǎng)會導致成本問題。而且，大量支付同時結(jié)算時，多個支付服務器對網(wǎng)絡的負載以及帶寬帶來不小的壓力，甚至有可能因為網(wǎng)絡堵塞導致支付超時。另外，直接將支付服務器暴露在互聯(lián)網(wǎng)中，還可能導致安全風險問題。

目前，數(shù)字視聽場所的移動支付主要有兩種方式：方式(1)、移動終端通過互聯(lián)網(wǎng)直接購買網(wǎng)絡平臺上的產(chǎn)品，移動終端直接到第三方的支付平臺上進行支付。在方式(1)中，數(shù)字視聽場所無法得到用戶的消費資料，無法進行大數(shù)據(jù)分析等操作。方式(2)、移動終端直接支付到數(shù)字視聽場所中的支付管理平臺，支付管理平臺再與第三方的支付平臺對接。然而，當出現(xiàn)新的支付方式后，支付管理平臺必須進行更新。由于支付管理平臺設置在場所中，所以每次支付方式增加或變更后，場所中的支付管理平臺都必須進行對應操作，極其不方便。

鑒于現(xiàn)有技術中支付服務器需要直接連接互聯(lián)網(wǎng)才能實現(xiàn)移動支付的缺陷，本發(fā)明實施方式提出一種新穎的移動支付方式。支付管理平臺無需與互聯(lián)網(wǎng)直接連接即可實現(xiàn)移動支付，從而提高移動支付的安全性并降低成本。本發(fā)明實施方式提出的移動支付系統(tǒng)，包括：支付管理平臺、網(wǎng)關服務器、云端服務器和支付平臺，其中支付管理平臺布置在局域網(wǎng)中；支付管理平臺，用于經(jīng)由局域網(wǎng)接收訂單信息，經(jīng)由局域網(wǎng)將訂單信息發(fā)送到網(wǎng)關服務器；網(wǎng)關服務器，用于經(jīng)由互聯(lián)網(wǎng)將訂單信息發(fā)送到云端服務器；云端服務器，用于經(jīng)由互聯(lián)網(wǎng)將訂單信息發(fā)送到支付平臺；支付平臺，用于生成基于訂單信息生成待支付信息，并經(jīng)由互聯(lián)網(wǎng)發(fā)送待支付信息到云端服務器；云端服務器，還用于經(jīng)由互聯(lián)網(wǎng)將待支付信息發(fā)送到網(wǎng)關服務器；網(wǎng)關服務器，還用于經(jīng)由局域網(wǎng)向支付管理平臺發(fā)送待支付信息；支付管理平臺，還用于展示待支付信息，以由用戶基于待支付信息執(zhí)行支付。優(yōu)選地，支付管理平臺包括下單終端、機頂盒和/或支付服務器。

圖5為根據(jù)本發(fā)明實施方式的移動支付系統(tǒng)的示范性結(jié)構(gòu)圖。

如圖5所示，該系統(tǒng)包括：下單終端501、支付服務器502、網(wǎng)關服務器503、云端服務器504和支付平臺505；其中支付服務器502和網(wǎng)關服務器503布置在同一個局域網(wǎng)中，該局域網(wǎng)布置在移動支付場所中。下單終端501和支付服務器502溝通構(gòu)成支付管理平臺。

在一個實施方式中，下單終端501布置在包含支付服務器502和網(wǎng)關服務器503的局域網(wǎng)中。在另一個實施方式中，下單終端501不布置在包含支付服務器502和網(wǎng)關服務器503的局域網(wǎng)中，而是布置在各種類型的移動通信網(wǎng)絡中。

下單終端501的數(shù)目可以為多個，多個用戶可以在各自的下單終端501上分別生成各自的訂單信息。

在一個實施方式中，一或多個下單終端501對應于一個支付服務器502。類似地，支付服務器502的數(shù)目也可以為多個，而且一或多個支付服務器102對應于一個網(wǎng)關服務器503。

具體地：

下單終端501，用于當布置在包含支付服務器502和網(wǎng)關服務器503的局域網(wǎng)中時，經(jīng)由局域網(wǎng)向?qū)闹Ц斗掌?02發(fā)送訂單信息；當布置在移動通信網(wǎng)絡中時，經(jīng)由移動通信網(wǎng)絡向?qū)闹Ц斗掌?02發(fā)送訂單信息；

支付服務器502，用于從下單終端501接收訂單信息，經(jīng)由局域網(wǎng)將訂單信息發(fā)送到網(wǎng)關服務器503；

網(wǎng)關服務器503，用于經(jīng)由互聯(lián)網(wǎng)將訂單信息發(fā)送到云端服務器504；

云端服務器504，用于經(jīng)由互聯(lián)網(wǎng)將訂單信息504發(fā)送到支付平臺505；

支付平臺505，用于基于訂單信息生成待支付信息，并經(jīng)由互聯(lián)網(wǎng)發(fā)送待支付信息到云端服務器504；

云端服務器504，還用于經(jīng)由互聯(lián)網(wǎng)將待支付信息發(fā)送到網(wǎng)關服務器503；

網(wǎng)關服務器503，還用于經(jīng)由局域網(wǎng)向之前轉(zhuǎn)發(fā)來訂單信息的支付服務器502發(fā)送待支付信息；

支付服務器502，還用于展示待支付信息，以由用戶基于待支付信息執(zhí)行支付。

具體地，下單終端501生成的訂單信息可以包含交易時間、訂購商品名稱、訂購商品數(shù)，等等。訂單信息中還可以進一步攜帶場所名稱、場所編碼、包廂名稱、包廂ID、網(wǎng)關服務器等商家信息。在一個實施方式中，待支付信息可以實施為支付碼或銀行類的支付鏈接。用戶通過手持的移動終端掃描支付碼以確認訂單，并執(zhí)行支付，或點擊觸發(fā)銀行類的支付鏈接以確認訂單并執(zhí)行支付。而且，支付平臺505可以為商家自行開發(fā)的支付平臺，或者為任意的第三方支付平臺，比如支付寶支付平臺、微信支付平臺、銀聯(lián)支付平臺，等等。

可見，在圖5所述的系統(tǒng)架構(gòu)中，支付服務器基于局域網(wǎng)獲取訂單信息，并通過網(wǎng)關服務器從云端獲取待支付信息。支付服務器不再需要具有互聯(lián)網(wǎng)聯(lián)網(wǎng)能力，從而降低了硬件成本。尤其是，當支付服務器的數(shù)目為多個時，本發(fā)明實施方式的成本效益更加明顯。

另外，在本發(fā)明實施方式中，支付服務器不再暴露在互聯(lián)網(wǎng)中，因此可以規(guī)避各種安全風險問題。

而且，在本發(fā)明實施方式中，可以在云端服務器對各個交易場所的交易敏感數(shù)據(jù)進行集中管理，既保證了數(shù)據(jù)安全性，也可以為大數(shù)據(jù)挖掘提供關鍵依據(jù)。

下面將本發(fā)明實施方式具體實施到數(shù)字視聽場所，示范性詳細闡述本發(fā)明實施方式?；诒景l(fā)明實施方式，數(shù)字視聽場所中的支付服務器(比如，收銀服務器)在不能聯(lián)網(wǎng)的情況下也可以完成支付。

圖6為根據(jù)本發(fā)明實施方式在KTV場所的移動支付系統(tǒng)的示范性結(jié)構(gòu)圖。

由圖6可見，在KTV場所的局域網(wǎng)中，布置有數(shù)字視聽終端601、機頂盒602、網(wǎng)關服務器603和支付服務器604。網(wǎng)關服務器603與云端服務器604具有互聯(lián)網(wǎng)連接，云端服務器604與支付平臺605連接。

比如，數(shù)字視聽終端601可以為實施為KTV場所包廂內(nèi)的點歌屏，等等。用戶在數(shù)字視聽終端601下單后，機頂盒602基于局域網(wǎng)連接，從數(shù)字視聽終端601接收訂單請求，而且將場所名稱、場所編碼、包廂名稱、包廂ID、網(wǎng)關服務器編號等商家信息與訂單信息進行對應關聯(lián)并封裝，再將封裝后的訂單信息基于局域網(wǎng)發(fā)送到支付服務器604。支付服務器604接收訂單信息，并基于局域網(wǎng)將訂單信息發(fā)送到網(wǎng)關服務器603。網(wǎng)關服務器603通過互聯(lián)網(wǎng)將訂單信息發(fā)送到云端服務器604，云端服務器604接收到訂單信息后，對封裝后的訂單信息進行解封裝，而且通過互聯(lián)網(wǎng)將解封裝后的訂單信息發(fā)送給對應的支付平臺605。支付平臺605通過互聯(lián)網(wǎng)向云端服務器604返回對應于訂單信息的支付碼，云端服務器604對支付碼進行封裝，并基于互聯(lián)網(wǎng)將支付碼發(fā)送給網(wǎng)關服務器603。網(wǎng)關服務603器基于局域網(wǎng)將支付碼推送給支付服務器604。用戶通過移動終端606對支付服務器604上展示的支付碼進行支付。支付完成后，支付結(jié)果將由對應的支付平臺605返回給云端服務器304，云端服務器604再傳輸支付結(jié)果給網(wǎng)關服務器603和用戶的移動終端606，網(wǎng)關服務器603再將支付結(jié)果發(fā)送給支付服務器604，完成整個支付過程。

當支付平臺605發(fā)生變更時，通過變更云端服務器的支付平臺接口即可實現(xiàn)變更，而無需對支付服務器604或網(wǎng)關服務器603作出變更，因此配置工作較為簡單。

而且，當用戶A通過移動終端606選擇發(fā)動直播時，移動終端606錄制用戶A的才藝表演視頻，并將直播內(nèi)容發(fā)送到云端服務器604。云端服務器604生成直播內(nèi)容的播放地址。支付終端607上的觀看用戶B通過直播內(nèi)容的播放地址觀看直播內(nèi)容，并非常喜歡KTV場內(nèi)用戶A的表演內(nèi)容。用戶B打算送張三實體禮物以作為獎勵。用戶B發(fā)出針對實物的實物訂單信息，支付平臺605基于實物訂單信息生成實物待支付信息，并當用戶B基于實物待支付信息完成支付后，向場所包廂中的移動終端606的用戶A分發(fā)實物。

因此，在發(fā)明實施方式中，直播與KTV場景結(jié)合，突出展示派對聚會、K歌活動等KTV內(nèi)的音樂娛樂內(nèi)容，打造垂直化的優(yōu)質(zhì)內(nèi)容。而且，通過引入手機屏和電視大屏的跨屏互動玩法，手機app上發(fā)送的文字消息，圖片，虛擬禮物，實物送禮信息都會實時以彈幕、照片MV、禮物動畫效果的方式在大屏幕上展示，渲染現(xiàn)場氣氛。

另外，除了采用常見的手機直播外，本方案還支持用戶使用包廂內(nèi)的專業(yè)攝像頭進行直播，采用包廂攝像頭直播一方面可以大大節(jié)省用手機直播的耗電量和流量帶寬，另一方面使用專業(yè)設備能保證更加清晰的畫質(zhì)，配合虛擬場景模型的AR技術可以對視頻畫面進行處理，輸出更加絢麗的虛擬舞臺畫面。場外用戶可通過APP直接觀看到KTV包廂內(nèi)的實況，即使遠在千里之外也能為包廂內(nèi)的好友送花送酒水。區(qū)別于普通直播平臺所送的虛擬禮物，這些酒水禮物將會直接兌換成實物酒水送達包廂，提升場內(nèi)外的互動效果，打破場內(nèi)外互動隔閡，全面激活場外用戶消費能力，通過場外用戶向場內(nèi)用戶贈送酒水禮物，直接為場所帶來酒水銷量。

以上以KTV場景為例，對直播互動和移動支付進行了示范性闡述。本領域技術人員可以意識到，本發(fā)明實施方式可以應用到任意的數(shù)字視聽場所，包括且不局限于：網(wǎng)吧；影吧；臺球室，等等。

綜上所述，創(chuàng)建虛擬包廂，虛擬包廂的用戶包括場內(nèi)用戶和場外用戶；場內(nèi)用戶確定場景直播內(nèi)容，將場景直播內(nèi)容發(fā)送到云端以由云端生成播放地址，場外用戶在虛擬包廂中基于播放地址觀看場景直播內(nèi)容；場外用戶與場內(nèi)用戶在虛擬包廂中執(zhí)行互動，或場內(nèi)用戶之間在虛擬包廂中執(zhí)行互動，或場外用戶之間在虛擬包廂中執(zhí)行互動。本發(fā)明實施方式直播與場景結(jié)合，提供互動性。而且，引入手機屏和電視大屏的跨屏互動。攝像頭還可以直播AR內(nèi)容。本發(fā)明實施方式還實現(xiàn)了實物送禮，提高了移動支付的安全性并降低成本，而且還可以實現(xiàn)云端配置，升級維護非常便利。

還有，在本發(fā)明實施方式中，可以在云端服務器對各個交易場所的交易敏感數(shù)據(jù)進行集中管理，既保證了數(shù)據(jù)安全性，也可以為大數(shù)據(jù)挖掘提供關鍵依據(jù)。

以上所述，僅為本發(fā)明的較佳實施例而已，并非用于限定本發(fā)明的保護范圍。凡在本發(fā)明的精神和原則之內(nèi)，所作的任何修改、等同替換、改進等，均應包含在本發(fā)明的保護范圍之內(nèi)。