專利名稱：用戶終端上用于在視頻顯示時(shí)提供用戶交互的方法及裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及視頻播放領(lǐng)域，尤其涉及在用戶終端所播放的視頻畫面 上提供用戶交互的功能。
背景技術(shù)：
在現(xiàn)有技術(shù)中，用戶在線觀看網(wǎng)絡(luò)視頻內(nèi)容的過程中，尤其是視頻 窗口為全屏狀態(tài)下的時(shí)候，如果用戶想收看另一個(gè)網(wǎng)絡(luò)視頻內(nèi)容，往往 需要從當(dāng)前的全屏的視頻狀態(tài)下退出，視頻窗口變?yōu)?一 個(gè)縮小了的窗 口 ，然后，用戶到網(wǎng)絡(luò)服務(wù)提供商的網(wǎng)站上找到所欲新觀看的網(wǎng)絡(luò)視頻 內(nèi)容的鏈接，并打開此鏈接，然后重新切回到原視頻窗口，再全屏該視 頻窗口以觀看新的視頻內(nèi)容。當(dāng)用戶再次需要更改所欲觀看的視頻內(nèi)容
的時(shí)候，或者需要多次在不同視頻內(nèi)容間切換的時(shí)候，就需要不停的重 復(fù)上述過程，因此操作顯得比較繁瑣，用戶的體驗(yàn)度不高。再有，用戶 在全屏觀看視頻內(nèi)容的同時(shí)，如果還希望實(shí)時(shí)的與他人進(jìn)行溝通和交 流，往往也需要首先從全屏觀看狀態(tài)下退出，視頻窗口被切換到一縮小
了的窗口 ，然后用戶啟動(dòng)諸如msn或者QQ之類的聊天軟件以與他人溝 通，有時(shí)可能還會(huì)需要用戶在視頻窗口和用戶間交互窗口之間來回切 換，很不方便，即使將用戶間交互窗口置頂于視頻窗口之上，也只是一 個(gè)簡單的窗口覆蓋，用戶間交互窗口窗口與視頻窗口窗口通常很不一 致，視覺效果4艮不理想，而且通常用戶間交互窗口會(huì)遮蓋部分視頻畫面， 影響用戶的觀看，用戶體驗(yàn)度不好?；蛘?，即使觀看視頻和在線交流可 以在一個(gè)瀏覽器中同時(shí)進(jìn)行，但通常是視頻畫面被縮小呈現(xiàn)在瀏覽器的 一小塊區(qū)域，而用戶則在瀏覽器中的另 一個(gè)專門區(qū)域進(jìn)行在線聊天之類 的交流，在這種情況下，用戶是無法實(shí)現(xiàn)全屏觀賞視頻內(nèi)容的。另外， 例如在廣播電視中，有時(shí)會(huì)在電視內(nèi)容畫面下方疊加一滾動(dòng)條以播放一
9些諸如實(shí)事新聞等文字信息，但對(duì)于用戶來說，這些滾動(dòng)條中的文字都 是預(yù)先生成好以后再疊加視頻畫面上并發(fā)送給各個(gè)用戶的，因此每個(gè)用 戶所觀看的文字信息是一樣的，用戶不能主動(dòng)進(jìn)行動(dòng)態(tài)文字和圖片疊加 的操作以實(shí)現(xiàn)個(gè)性化的顯示。

發(fā)明內(nèi)容
鑒于現(xiàn)有技術(shù)中存在上述問題，本發(fā)明提出了一種在用戶終端上 用于在視頻顯示時(shí)提供用戶交互的方法，其直接將用戶交互窗口如用 戶間的用戶間交互窗口及其中的動(dòng)態(tài)聊天文字內(nèi)容、動(dòng)態(tài)圖片或者控 制菜單等與視頻播放畫面合成以生成該交互窗口疊加于視頻畫面上 的合成畫面。
根據(jù)本發(fā)明的第 一方面，提供了 一種在用戶終端上用于在視頻顯
示時(shí)提供用戶交互的方法，包括以下步驟a)判斷預(yù)定條件是否滿
足，所述預(yù)定條件包括接收到本地用戶輸入的交互請(qǐng)求、接收到來自
其他用戶的交互請(qǐng)求、本用戶終端上視頻播放器開始運(yùn)行或者本用戶
終端上視頻內(nèi)容開始播放中的任意項(xiàng)；b)當(dāng)滿足所述預(yù)定條件時(shí)，
將一個(gè)或多個(gè)交互窗口與視頻播放畫面合成，以生成用于顯示的一個(gè) 或多個(gè)交互窗口疊加于^見頻纟番;故畫面上的合成畫面?？蛇x地，該方法
還包括步驟m)將本地用戶輸入的交互信息提供給與所述本地用戶輸 入的交互信息相對(duì)應(yīng)的交互對(duì)象，才艮據(jù)交互方式的不同，所述交互對(duì) 象包括本地終端設(shè)備和/或其他用戶。
根據(jù)本發(fā)明的第二方面，提供了 一種在用戶終端上用于在視頻顯 示時(shí)提供用戶交互的視頻交互裝置，其中，包括判斷裝置，用于判 斷預(yù)定條件是否滿足，所述預(yù)定條件包括接收到本地用戶輸入的交互 請(qǐng)求，接收到來自其他用戶的交互請(qǐng)求，本用戶終端上視頻播放器開 始運(yùn)行或者本用戶終端上視頻內(nèi)容開始播放；合成裝置，用于當(dāng)滿足 所述預(yù)定條件時(shí)，將一個(gè)或多個(gè)交互窗口與視頻播放畫面合成，以生 成用于顯示的一個(gè)或多個(gè)交互窗口疊加于視頻播放畫面上的合成畫 面；該視頻交互裝置還包括發(fā)送裝置，用于將本地用戶輸入的交互信
10息提供給與所述本地用戶輸入的交互信息相對(duì)應(yīng)的交互對(duì)象，包括本 地終端設(shè)備和/或其他用戶。
采用本發(fā)明所提供的技術(shù)方案，用戶可在觀看視頻內(nèi)容的同時(shí)， 直接在所觀看的視頻畫面上進(jìn)行人機(jī)、用戶間交互，交互的動(dòng)態(tài)文字 和圖片等信息直接合成顯示于所觀看的視頻畫面中，優(yōu)選地，所述合 成中還能實(shí)現(xiàn)交互窗口透明和半透明的效果，大大提升視覺效果和用 戶的體-瞼度。


通過閱讀以下參照附圖所作的對(duì)非限制性實(shí)施例的詳細(xì)描述，本發(fā) 明的其它特征、目的和優(yōu)點(diǎn)將會(huì)變得更明顯。
圖1示出了 一個(gè)網(wǎng)絡(luò)在線觀看視頻的的系統(tǒng)框圖2是根據(jù)本發(fā)明的一個(gè)具體實(shí)施方式
的在用戶終端上用于在視 頻顯示時(shí)提供用戶交互的方法的流程圖3示出了未疊加交互窗口的原始視頻畫面；
圖4為根據(jù)本發(fā)明的 一個(gè)具體實(shí)施例的交互窗口與視頻畫面合成 后的合成畫面第一示例圖5為根據(jù)本發(fā)明的 一 個(gè)具體實(shí)施例的交互窗口與視頻畫面合成 后的合成畫面第二示例圖6為根據(jù)本發(fā)明的一個(gè)具體實(shí)施方式
的在用戶終端上用于在視 頻顯示時(shí)提供用戶交互的視頻交互裝置的框圖
在附圖中，相同或相似的附圖標(biāo)記代表相同或相似的裝置或步驟 特征。
具體實(shí)施例方式
下面結(jié)合附圖和具體實(shí)施例對(duì)本發(fā)明做進(jìn) 一 步的詳細(xì)說明。 前已述及，本發(fā)明的技術(shù)目的在于為用戶終端提供生成交互窗口 疊加于視頻畫面上的方法和裝置，基于此發(fā)明目的，本發(fā)明的應(yīng)用場 景可以包括但不限于視頻點(diǎn)播(Video on Demand )、直播(live)以及本地預(yù)存的媒體文件的播放。
圖1示出了一個(gè)網(wǎng)絡(luò)在線觀看視頻的系統(tǒng)框圖，其中包括3個(gè)在
線用戶(示為用戶終端1、用戶終端2和用戶終端3)以及一視頻服 務(wù)器O。其中，該視頻服務(wù)器0為用戶終端1、 2、 3提供視頻資源以 及視頻資源的播^:服務(wù)。本領(lǐng)域技術(shù)人員應(yīng)理解，本發(fā)明的應(yīng)用并不 局限于上述客戶端/服務(wù)器架構(gòu)的網(wǎng)絡(luò)系統(tǒng)，本發(fā)明同樣適用于基于 P2P協(xié)議進(jìn)行視頻數(shù)據(jù)傳輸?shù)木W(wǎng)絡(luò)系統(tǒng)，也即，用戶終端l上所播放 的視頻資源可以至少部分來源于用戶終端2和3。其中，對(duì)于某一具 體用戶終端，使用該用戶終端的用戶即被稱為本地用戶，使用其它兩 個(gè)用戶終端的用戶則被稱為其它用戶。
以下，不失一般性地以客戶端/服務(wù)器架構(gòu)下的網(wǎng)絡(luò)視頻點(diǎn)播為例 進(jìn)行說明。本發(fā)明典型地通過計(jì)算機(jī)軟件的方式實(shí)現(xiàn)，例如，用戶終 端1、 2、 3通過訪問擁有視頻服務(wù)器0的網(wǎng)絡(luò)服務(wù)提供商網(wǎng)站(例如， www.pplive.com )以下載所述點(diǎn)播所必需的在線4見頻觀看軟件(例如， PPLive Plaver),然后通過運(yùn)行軟件來連接到視頻服務(wù)器0以點(diǎn)播視頻 內(nèi)容。特別地，該在線視頻觀看軟件還集成有聊天功能，于是用戶終 端1的用戶在觀看視頻內(nèi)容的同時(shí)，還能在一見頻窗口中直接啟動(dòng)聊天 功能以與用戶終端2和用戶終端3的用戶進(jìn)行實(shí)時(shí)交流溝通。并且， 用戶終端1與2、 3的聊天內(nèi)容直接被疊加顯示于用戶終端1上所播 放的視頻畫面中，這樣，能夠保證用戶終端1的用戶無需從全屏的視 頻狀態(tài)下退出來，保證了觀賞視頻內(nèi)容時(shí)的視覺沖擊力。另外，用戶 終端1的用戶在觀看視頻內(nèi)容的過程中，還可通過點(diǎn)擊鼠標(biāo)或者按下 鍵盤功能鍵等方式來啟動(dòng)一人機(jī)交互窗口 ，如，視頻內(nèi)容菜單，該視 頻內(nèi)容菜單同樣被直接疊加顯示于用戶終端1上所播放的視頻畫面 中，用戶終端1的用戶同樣無需從全屏的視頻狀態(tài)下退出，便可通過 在視頻內(nèi)容菜單中點(diǎn)擊其它視頻內(nèi)容的鏈接，輕松從當(dāng)前播放的視頻 內(nèi)容切換到其所欲觀看的所述其它視頻內(nèi)容。
用戶終端1、 2、 3上在同一時(shí)刻所播放的視頻內(nèi)容可以是相同的， 比如同一部影片或者同一場體育賽事，于是用戶終端l、 2、 3的用戶可在觀看相同影片或體育賽事的同時(shí)，實(shí)時(shí)進(jìn)行聊天以交流觀感，而 相互間的聊天內(nèi)容被直接疊加顯示于所觀看的行進(jìn)中的視頻畫面中， 于是觀看、交流兩不誤，大大提升了用戶的體驗(yàn)度。本領(lǐng)域技術(shù)人員 應(yīng)理解，本發(fā)明的應(yīng)用并不僅限于此種情形，換言之，用戶終端1、 2、
3上所播放的視頻內(nèi)容也可以是不同的甚至完全不相干的，本領(lǐng)域技 術(shù)人員理解，雖然用戶終端l、 2、 3的用戶雖未同時(shí)觀看相同的視頻 內(nèi)容，但這并不妨礙他們進(jìn)行交互，實(shí)際上，該等用戶間的聊天內(nèi)容 可涉及當(dāng)時(shí)他們所感興趣的任何話題。甚至，用戶終端l、 2、 3上可 以不播放任何視頻內(nèi)容，用戶終端1、 2、 3的用戶專心進(jìn)行聊天交流， 此時(shí)在線視頻觀看軟件即用作 一聊天軟件。
圖2為根據(jù)本發(fā)明的一個(gè)具體實(shí)施方式
在用戶終端上用于在視頻 顯示時(shí)提供用戶交互的方法的流程圖，其中，所述用戶交互包括用戶 間交互和/或人才幾交互。下面參照?qǐng)D2并結(jié)合圖l對(duì)本發(fā)明進(jìn)行詳細(xì)說 明。假設(shè)，用戶終端l、 2、 3同時(shí)在線觀看網(wǎng)絡(luò)服務(wù)器0上所提供的 影片《虎膽龍威4》，由于場景假設(shè)為點(diǎn)播，因此，用戶終端l、 2、 3 上的視頻畫面不盡相同，假設(shè)用戶終端1屏幕顯示的—見頻畫面如圖4 所示。
可見，在如圖4所示地全屏播放該視頻內(nèi)容時(shí)，用戶所看到的視 頻畫面與通常通過windows media player或者realplayer全屏觀看影片 時(shí)效果無異。很靈活地，本發(fā)明可以在視頻播放伊始甚至播放器啟動(dòng) 伊始即開始交互窗口與視頻畫面的疊加，優(yōu)選地，本發(fā)明在檢測到特 定事件發(fā)生后再將交互窗口與當(dāng)前播放畫面進(jìn)行疊加，以生成交互窗 口疊加在視頻畫面之上的合成畫面。以用戶終端l為例，在播放《虎 膽龍威4》的過程中，本地用戶移動(dòng)鼠標(biāo)、點(diǎn)擊鼠標(biāo)左鍵、按下多功 能鍵盤上的一個(gè)功能鍵、其它用戶發(fā)來交互請(qǐng)求等等均能夠作為觸發(fā) 用戶終端1上的上述疊加的事件，典型地，用戶終端l根據(jù)預(yù)存信息 (指示哪些事件會(huì)觸發(fā)交互窗口與視頻畫面的疊加，該預(yù)存信息可集 成于所述在線視頻觀看軟件中)，來判斷是否發(fā)生了觸發(fā)所述疊加的 事件。更具體地，所述預(yù)存信息中可以細(xì)化確定哪些事件與用戶間交
13互相關(guān)，哪些事件與人機(jī)交互相關(guān)。從而在檢測到特定事件后，觸發(fā) 相應(yīng)類型的交互窗口與^f見頻畫面的疊加，這些內(nèi)容將在下文中有詳細(xì) 介紹。
參看圖2，在步驟Sl中，用戶終端1判斷預(yù)定條件是否得到滿 足，優(yōu)選地，在《虎膽龍威4》這一視頻內(nèi)容的播放過程中，所述步
驟Sl周期性地執(zhí)行，直至檢測到預(yù)定條件滿足。本例中，假設(shè)用戶
終端1的用戶按下了多功能鍵盤上的一個(gè)功能鍵，而根據(jù)預(yù)存信息， 該功能鍵能夠觸發(fā)一個(gè)人機(jī)交互窗口與視頻畫面的疊加。因此，在一
次執(zhí)行步驟Sl時(shí)，用戶終端1將判斷出預(yù)定條件滿足。
于是，用戶終端1需要將相應(yīng)的交互窗口與視頻畫面進(jìn)行合成， 而在此之前，尚需確定交互窗口在合成畫面中的位置及其大小。于是，
在步驟S2中，用戶終端1獲得交互窗口 a的位置信息，所述位置信 息用于指示該交互窗口 a在與《虎膽龍威4》視頻畫面進(jìn)行合成后所 得的合成畫面中的顯示位置。參看圖3,其中示出了以未經(jīng)合成的視 頻畫面為參考的坐標(biāo)系，以分辨率1024*768的一見頻畫面為例， 一個(gè) 像素點(diǎn)在其中的坐標(biāo)取值范圍為(0， 0)至(1024, 768 )。因此，通 過確定交互窗口 a的一個(gè)特殊點(diǎn)的坐標(biāo)，即可確定該交互窗口 a的位 置。在實(shí)際應(yīng)用中，可以預(yù)先設(shè)定該位置信息，例如，缺省地設(shè)定交 互窗口 a的最左上角一個(gè)像素點(diǎn)的坐標(biāo)為(724, 568 ),于是，該窗 口將位于合成畫面的右下角落。
此外，用戶終端1還需要確定該交互窗口 a的大小，譬如，在缺 省地設(shè)定交互窗口 a最左上角一個(gè)像素點(diǎn)坐標(biāo)為(724, 568 )的基礎(chǔ) 上，可以再缺省地將該窗口的大小設(shè)定為300*200，于是，該窗口的 最右下角 一個(gè)像素點(diǎn)正好疊加在原始視頻畫面最右下角的一個(gè)像素 點(diǎn)上，由此，交互窗口a可以恰好(透明或半透明或不透明地)完全 覆蓋原始視頻畫面的右下角落。如圖4所示。
可選地，交互窗口 a的位置信息和大小信息可以由用戶在進(jìn)行畫 面合成前確定，譬如，在步驟Sl中得到預(yù)定條件滿足的判斷結(jié)果后， 用戶終端1在視頻畫面的缺省位置將一個(gè)具有缺省大小的信息輸入窗
14口與視頻畫面進(jìn)行合成，并指示用戶輸入與其所希望的交互窗口 a的 位置和大小相關(guān)的參數(shù)，進(jìn)而確定交互窗口 a的位置信息和大小信息。 可選地，交互窗口 a的位置信息和大小信息可以在基于上述任一 方式確定后，在播放合成畫面的過程中，根據(jù)用戶進(jìn)一步輸入的信息 來進(jìn)行更新，典型地，用戶通過鼠標(biāo)點(diǎn)擊和拖拽來實(shí)現(xiàn)該等信息的更 新。
然后，在步驟S4中，按照步驟S2與S3中得到的交互窗口 a的 位置信息和大小信息，用戶終端l將一個(gè)包含"聊天"、"視頻"等圓 形按鈕的人機(jī)交互窗口 a與正在播放的《虎膽龍威4》的視頻畫面合 成，以生成該交互窗口 a疊加于《虎"旦龍威4》的一見頻畫面上的合成 畫面并顯示于用戶終端1上。如圖5中右下部分所示。為簡明起見， 其中同時(shí)示出了其它交互窗口，并將在下文中有相應(yīng)的詳細(xì)描述。
有利地，交互窗口 a在圖4中所示的位置(合成畫面的右下角) 為一<尤選4立置。
一方面，由于視頻畫面的要素部分通常會(huì)被安排在畫面較靠近中 央或其它特定位置的地方以適應(yīng)人們的視覺慣性，將交互窗口 a置于 合成畫面的角落部分可盡可能的減少對(duì)《虎膽龍威4》視頻畫面的遮 蓋，而且即使有所遮蓋，其所遮蓋到的視頻畫面部分也是整個(gè)視頻畫 面中比較次要的部分，從而降低對(duì)用戶的觀感所造成的影響。當(dāng)然， 畫面中的要素不一定位于畫面的中間位置或上述其它特定位置，此 時(shí)，用戶終端1可以在進(jìn)行—見頻畫面與交互窗口的合成之前，對(duì)解碼 后的視頻幀進(jìn)行解析，從中找出要素信息的位置，例如，進(jìn)行人臉識(shí) 別，或者對(duì)多幀進(jìn)行解析以找出幀間發(fā)生變化的像素點(diǎn)(本領(lǐng)域技術(shù) 人員理解，通常發(fā)生變化的像素點(diǎn)承載了該段時(shí)間內(nèi)用戶最為關(guān)心的 視頻信息)，從而可以在步驟S2和步驟S3中確定交互窗口 a的位置 和大小時(shí)，使其特意地避開該等要素信息的位置，以保證觀感。本領(lǐng) 域技術(shù)人員理解，對(duì)于采用關(guān)鍵幀+預(yù)測幀的構(gòu)成方式的多媒體內(nèi)容， 通過解析預(yù)測幀(表征了一個(gè)幀與相應(yīng)關(guān)鍵幀之間的區(qū)別)可以輕松 地獲得該等要素信息的位置。而對(duì)于僅包含關(guān)鍵幀的多媒體內(nèi)容，則可以比較相鄰關(guān)鍵幀之間的信息，從而得到其間的不同，并將其作為 要素信息的位置信息。
另一方面，交互窗口 a出現(xiàn)在一見頻畫面右下角也比4交符合人們的 操作習(xí)慣，至少是對(duì)于習(xí)慣右手操作的人。而對(duì)于左手操作鼠標(biāo)的用 戶，則可將交互窗口 a置于視頻畫面的左下角。為實(shí)現(xiàn)這種針對(duì)用戶 輸入習(xí)慣進(jìn)行窗口位置適應(yīng)性調(diào)整的目的，用戶終端1可以查詢其上 的設(shè)置來獲取用戶終端1的用戶的操作習(xí)慣，比如，假設(shè)用戶終端l 采用微軟Windows操作系統(tǒng)，則可由"控制面板"獲取"鼠標(biāo)"項(xiàng)目 的設(shè)置以獲悉用戶習(xí)慣右手操作鼠標(biāo)還是左手操作鼠標(biāo)，從而將交互 窗口 a置于合成畫面的相應(yīng)位置。在另一種實(shí)施例中，在用戶安裝在 線視頻觀看軟件或初次使用該軟件時(shí)，指示用戶輸入自己操作鼠標(biāo)的 習(xí)慣，于是在線視頻觀看軟件將此記錄，以后每次疊加交互窗口a的 時(shí)^f'美，可以據(jù)此確定纟見頻畫面的位置。
步驟S4的具體實(shí)現(xiàn)進(jìn)行詳細(xì)介紹。具體地，在將交互窗口疊加 到視頻畫面的過程中，可通過對(duì)用戶間交互窗口的1"象素與視頻畫面當(dāng) 前幀上的相應(yīng)像素進(jìn)行像素加權(quán)合成，以生成合成畫面。優(yōu)選地，采 用所述像素加權(quán)合成來實(shí)現(xiàn)如透明或半透明的效果以提升視覺效果。 具體地，設(shè)交互窗口 a中坐標(biāo)為(x,力的像素點(diǎn)的像素值為M(w,設(shè)《虎 膽龍威4》視頻畫面當(dāng)前幀上相應(yīng)像素點(diǎn)的像素值為A^,,將此兩像 素點(diǎn)合成后在合成畫面中的相應(yīng)位置上的新的像素點(diǎn)的像素值為
= ,其中a和b為分別為交互窗口 <象素和浮見頻畫面當(dāng)前
幀像素的加權(quán)因子，其中，0 <= a,b <= 1 JLa + b= 1。優(yōu)選地，對(duì)于 交互窗口a中的文字部分，如圖4中的"聊天"、'4見頻"、"圈子，，和 "設(shè)置"等，由于其對(duì)于本地用戶而言比較重要，因此，可為該等文 字賦予較大的權(quán)重，譬如，對(duì)于該等文字所占據(jù)的各像素點(diǎn)，a=l、 b = 0,這樣，該等文字將完全遮蓋(不同于透明、半透明)視頻畫面 上的相應(yīng)^(象素點(diǎn)，從而清晰地呈現(xiàn)給本地用戶。更優(yōu)選地，對(duì)于交互 窗口 a中的邊線部分或者非文字背景部分的像素點(diǎn)，可取a-b-0.5,這樣，交互窗口 a的邊線或非文字背景部分與一見頻插-;故畫面相互融合， 以實(shí)現(xiàn)半透明的效果。當(dāng)然，對(duì)于交互窗口 a中某些部分，還可以取 a=0、 b=l，以實(shí)現(xiàn)完全透明的效果，從而盡可能的減少對(duì)背景視頻 畫面的遮蓋，保^E用戶體^r。當(dāng)然，a、 b還可以相應(yīng)地耳又其他值，這 里不再贅述。
交互窗口a中包含了 "聊天"、"視頻"等4個(gè)圓形按鈕，用戶通 過鼠標(biāo)點(diǎn)擊"聊天"按鈕，該點(diǎn)擊操作即視為是用戶終端1的本地用 戶與用戶終端l之間的人機(jī)交互信息，借此，用戶終端1能夠識(shí)別出 用戶在與"聊天"相對(duì)應(yīng)的位置執(zhí)行了點(diǎn)擊鼠標(biāo)的操作。該點(diǎn)擊操作
既是一個(gè)用戶在人機(jī)交互界面a內(nèi)執(zhí)行的人機(jī)交互操作，也可視為用 戶終端1的本地用戶利用用戶終端1所輸入的用戶間交互請(qǐng)求，并會(huì) 在周期性執(zhí)行的步驟Sl中使得判斷結(jié)果為預(yù)定條件滿足，繼而，用 戶終端1要為即將用于畫面合成的用戶間交互窗口確定大小和位置， 詳述如下
在步驟S2、 S3中所獲得的所述用戶間交互窗口的位置信息和大 小信息可以是來自于在線視頻觀看軟件本身所預(yù)先設(shè)定的一顯示位 置缺省值，例如，在每次用戶最初啟動(dòng)聊天功能的時(shí)候，用戶間交互 窗口^^自動(dòng)疊加顯示于^L頻畫面的中下部(如圖4所示的用戶間交互 窗口 b)?？蛇x地，步驟S2、 S3中所獲得的用戶間交互窗口 b的位置、 大小信息還可以來自于用戶終端1上預(yù)存的一個(gè)文件，其中記錄著上 次聊天功能關(guān)閉前用戶間交互窗口 b的大小及其在合成畫面中所處的 位置，于是此后每當(dāng)用戶終端1的本地用戶啟動(dòng)聊天功能的時(shí)候，用 戶終端l便從該文件中讀取用戶間交互窗口的位置、大小信息，以用 于畫面合成。具體地，通過將本地預(yù)存的所述文件中的信息與用戶身 份信息關(guān)聯(lián)地保存，用戶終端1可根據(jù)不同用戶的喜好為各用戶將用 戶間交互窗口 b以定制大小置于定制位置之上。其中，可在用戶運(yùn)行 該在線視頻播放軟件時(shí)輸入的登錄信息(用戶名+ 口令)或在此后的 激活聊天功能時(shí)在彈出對(duì)話框/人機(jī)交互界面中輸入的登錄信息來獲取該用戶的身份信息。
優(yōu)選地，步驟S2、 S3中所獲得的用戶間交互窗口 b的位置、大 小信息也可以是來自于本地用戶，比如，在聊天的過程中，用戶可通 過鼠標(biāo)對(duì)用戶間交互窗口 b進(jìn)行任意拖動(dòng)，或者通過鍵盤上的方向鍵 對(duì)用戶間交互窗口進(jìn)行任意移動(dòng)，以將用戶間交互窗口置于用戶所希 望出現(xiàn)在的位置上。此外，因?yàn)橐曨l在不停地插s改，— 見頻畫面在不斷 的改變，某些時(shí)候，用戶間交互窗口 b會(huì)覆蓋到視頻畫面中用戶認(rèn)為 比較重要的部分，于是，用戶可在必要時(shí)通過拖動(dòng)用戶間交互窗口 b 將其移到其所認(rèn)為的當(dāng)前視頻畫面中較次要的部分，從而將用戶認(rèn)為 比較重要的部分不受遮蓋的顯現(xiàn)出來。
更優(yōu)選地，步驟S2、 S3中所獲得的用戶間交互窗口 b的位置、 大小信息也可以由用戶終端1來自適應(yīng)地確定，并實(shí)時(shí)或周期地動(dòng)態(tài) 更新。具體地，用戶終端1實(shí)時(shí)地對(duì)所插-;故的浮見頻畫面進(jìn)行監(jiān)測，通
過一定算法找出當(dāng)前播放的視頻畫面中最為次要畫面的位置信息，比 如，將視頻畫面的背景部分認(rèn)為是比較次要的；或者，將當(dāng)前播放幀 與前一幀進(jìn)行比較，將有明顯改變的部分認(rèn)為是比較重要的，而基本 未有改變的部分認(rèn)為是比較次要的；或者，由于現(xiàn)在很多的視頻內(nèi)容 均采用寬熒幕的呈現(xiàn)方式，于是，在視頻畫面的上部以及下部會(huì)出現(xiàn) 具有一定寬度的空白區(qū)域(如，始終顯示為黑色)，則可將用戶間交 互窗口 b置于該位置，等等。
優(yōu)選地，由于隨著視頻播放的進(jìn)行，視頻畫面不斷改變，其次要 部分的位置也會(huì)隨之變化，于是，用戶終端1會(huì)不斷地監(jiān)測視頻播放 畫面，并為各個(gè)交互窗口 (包括^旦不限于用戶間交互窗口 b和人才幾交 互窗口 a)更新其位置和大小，使其始終能處于視頻畫面中的次要部 分，而不對(duì)一見頻畫面的重要部分造成遮蓋，乂人而盡可能的降低對(duì)用戶 觀看造成的影響。當(dāng)然，避免對(duì)重要畫面的遮蓋還可以通過降低交互 窗口在像素加權(quán)中的權(quán)重來實(shí)現(xiàn)。
在確定了交互窗口 b的位置和大小信息后，在步驟S4中，用戶
18終端l將其與正在播放的《虎膽龍威4》的視頻畫面合成，以生成一
用戶間交互窗口 b疊加于《虎膽龍威4》的一見頻畫面上的合成畫面。 如圖4所示。
在本例的一個(gè)變化例中，用戶間交互窗口 b與^f見頻畫面的合成還 可以由用戶按下鍵盤上的特殊鍵(如回車鍵)來觸發(fā)，即，當(dāng)用戶在 視頻播放過程中按下回車鍵時(shí)，步驟Sl中將得到預(yù)定條件滿足的判 斷結(jié)果。
在本例的又一變化例中，用戶終端1接收到其他用戶發(fā)送給本地 用戶的一個(gè)聊天請(qǐng)求或者一句聊天內(nèi)容，于是，在步驟Sl中將因此 判定預(yù)定條件得到滿足，從而啟動(dòng)聊天功能。具體地，用戶終端l將 所述其它用戶發(fā)來的聊天內(nèi)容(可包括文字、圖片甚至多媒體信息) 加入到即將用于合成的用戶間交互窗口 b中的接收信息欄中，以生成 更新后的交互窗口 b，用于步驟S4中的合成。由此，本地用戶可在 S4中生成并隨后展示的合成畫面中看到所述其它用戶發(fā)來的聊天內(nèi) 容。
為了提供用戶間的雙向交互，用戶間交互窗口還包括發(fā)送信息 欄，或者稱其為輸入信息欄，本地用戶在進(jìn)行輸入的過程中，如步驟 S5，其所輸入的文字會(huì)實(shí)時(shí)加入到用戶間交互窗口 b中(所見即所 得)，以生成更新的用戶間交互窗口 b，該更新后的窗口將在逐幀執(zhí)行 的合成過程中與當(dāng)前視頻幀合成，以顯示給本地用戶。此外，為使得 其它用戶看到用戶終端1的本地用戶所輸入的交互信息，所述本地用 戶完成一段文字的輸入后，通過鼠標(biāo)點(diǎn)擊窗口 b中的"發(fā)送"按鈕(未 示于圖4中)或者按下鍵盤上的特殊功能鍵，該點(diǎn)擊操作將被視為該 本地用戶希望將其輸入的信息發(fā)送給其用戶間交互對(duì)象。于是，優(yōu)選 地，該方法還包括一個(gè)圖2未示出的步驟，其中，用戶終端l將該段 文字發(fā)送給所述本地用戶的用戶間交互對(duì)象。
所述本地用戶的用戶間交互對(duì)象可以是本地用戶的在線好友，從 而在觀看視頻內(nèi)容的同時(shí)聯(lián)絡(luò)感情；所述用戶間交互對(duì)象也可以是與 本地用戶觀看相同視頻《虎膽龍威4》的其他在線用戶，如用戶終端2和用戶終端3的用戶，以相互間實(shí)時(shí)交流對(duì)影片《虎膽龍威4》的
觀感；所述用戶間交互對(duì)象還可以是本地用戶所指定的任意特定用
戶。另外，在上述聊天開始之前，可能還需要本地用戶登錄聊天服務(wù)
器和進(jìn)行身份認(rèn)證的過程，這類似于使用msn或QQ進(jìn)行聊天前的登
錄驗(yàn)證過程，這里不予贅述。
更優(yōu)選地，所述本地用戶輸入的該段文字會(huì)在被發(fā)送給各交互對(duì)
象后由發(fā)送信息欄中清除而顯示在接收信息欄中。如此，接收信息欄
中顯示了用戶間聊天對(duì)話記錄，其顯示內(nèi)容隨著聊天進(jìn)行而實(shí)時(shí)更
新。當(dāng)然，接收信息欄也可不顯示所述本地用戶發(fā)出的用戶間交互信 臺(tái)
根據(jù)本發(fā)明，所述用戶間交互窗口 b不僅可以包括文字內(nèi)容，還 可以包括圖片。優(yōu)選地，在上述聊天功能啟動(dòng)后，用戶終端l將參與 所述聊天的在線用戶的頭像加入到該窗口的相應(yīng)位置，圖中未示出。
圖4中所示的交互窗口 c優(yōu)選地由網(wǎng)絡(luò)服務(wù)提供商的服務(wù)器推送 至用戶側(cè)，圖中示例為熱點(diǎn)選秀比賽的投票竟猜，其中包含3個(gè)竟?fàn)?者的照片、供本地用戶輸入評(píng)分或選手編號(hào)的信息欄以及"確認(rèn)"、"取 消"按鈕。
圖5中示出了另一人機(jī)交互窗口與視頻畫面合成的例子。其中， 當(dāng)用戶通過用鼠標(biāo)點(diǎn)擊交互窗口 a中的"視頻"按鈕后，在步驟Sl 中將判定預(yù)定條件得到滿足，認(rèn)為用戶欲查看視頻內(nèi)容清單，于是在 步驟S4中，將一視頻內(nèi)容清單交互窗口疊加顯示在視頻播放畫面中， 其效果如圖5所示。其中包含有多個(gè)視頻內(nèi)容鏈接或者頻道鏈接供用 戶選擇，用戶通過點(diǎn)擊某個(gè)欲觀看的視頻內(nèi)容鏈接，以停止當(dāng)前視頻 的播放，重新下載新視頻內(nèi)容的數(shù)據(jù)用于本地終端播放。如此，用戶 便可在觀看視頻內(nèi)容的過程中方便的在多個(gè)視頻內(nèi)容或者頻道間切 換，大大提升了用戶的體驗(yàn)度。并且，當(dāng)用戶的鼠標(biāo)移動(dòng)到某個(gè)視頻 內(nèi)容鏈接上時(shí)，便在一見頻內(nèi)容清單交互窗口的右邊部分示出該視頻內(nèi) 容的一些相關(guān)信息，包括精彩視頻截圖、視頻內(nèi)容海報(bào)、內(nèi)容說明以 及用戶評(píng)論等內(nèi)容，以幫助用戶做出是否觀看本視頻的決定。根據(jù)本發(fā)明的第二方面，提供了 一種在用戶終端上用于在視頻顯 示時(shí)提供用戶交互的視頻交互裝置10,圖3為該視頻交互裝置10的
框圖，下面結(jié)合圖3加以詳細(xì)說明，圖1和圖2—并在此作為參考。 仍然以用戶終端1、 2、 3同時(shí)在線觀看網(wǎng)絡(luò)服務(wù)器O上所提供的影片 《虎膽龍威4》為例進(jìn)行說明，用戶終端1、 2、 3為普通的個(gè)人電腦。
所示視頻交互裝置10包括判斷裝置101、合成裝置102、第一 獲得裝置103、第二獲得裝置104、發(fā)送裝置10、第一加入裝置106 以及第二加入裝置107。具體地，所述合成裝置102包括加權(quán)因子確 定裝置和像素加權(quán)合成裝置。
可見，在如圖3所示地全屏播放該視頻內(nèi)容時(shí)，用戶所看到的視 頻畫面與通常通過windows media player或者realplayer全屏只見看影片 時(shí)效果無異。很靈活地，本發(fā)明可以在視頻播放伊始甚至播放器啟動(dòng) 伊始即開始交互窗口與視頻畫面的疊加，優(yōu)選地，本發(fā)明在檢測到特 定事件發(fā)生后再將交互窗口與當(dāng)前播放畫面進(jìn)行疊加，以生成交互窗 口疊加在—見頻畫面之上的合成畫面。以用戶終端l為例，在播放《虎 膽龍威4》的過程中，本地用戶移動(dòng)鼠標(biāo)、點(diǎn)擊鼠標(biāo)左^t、按下多功 能鍵盤上的一個(gè)功能鍵、其它用戶發(fā)來交互請(qǐng)求等等均能夠作為觸發(fā) 用戶終端1上的上述疊加的事件，典型地，判斷裝置101根據(jù)預(yù)存信 息(指示哪些事件會(huì)觸發(fā)交互窗口與視頻畫面的疊加，該預(yù)存信息可 集成于所述在線視頻觀看軟件中)，來判斷是否發(fā)生了觸發(fā)所述疊加 的事件。更具體地，所述預(yù)存信息中可以細(xì)化確定哪些事件與用戶間 交互相關(guān)，哪些事件與人機(jī)交互相關(guān)。從而在檢測到特定事件后，觸 發(fā)相應(yīng)類型的交互窗口與視頻畫面的疊加，這些內(nèi)容將在下文中有詳 細(xì)介紹。
參看圖6,判斷裝置101判斷預(yù)定條件是否得到滿足，優(yōu)選地， 在《虎膽龍威4》這一視頻內(nèi)容的播放過程中，所述判斷裝置101周 期性地執(zhí)行判斷操作，直至檢測到預(yù)定條件滿足。本例中，假設(shè)用戶 終端1的用戶按下了多功能鍵盤上的一個(gè)功能鍵，而根據(jù)預(yù)存信息， 該功能鍵能夠觸發(fā)一個(gè)人機(jī)交互窗口與視頻畫面的疊加。因此，判斷裝置101在一次執(zhí)行判斷步驟時(shí)，將判斷出預(yù)定條件滿足。
于是，用戶終端1中的合成裝置102需要將相應(yīng)的交互窗口與視 頻畫面進(jìn)行合成，而在此之前，尚需第一獲得裝置103和第二獲得裝 置104來確定交互窗口在合成畫面中的位置及其大小。于是，第一獲 得裝置103獲得交互窗口 a的位置信息，所述位置信息用于指示該交 互窗口 a在與《虎膽龍威4》視頻畫面進(jìn)行合成后所得的合成畫面中 的顯示位置。參看圖3,其中示出了以未經(jīng)合成的視頻畫面為參考的 坐標(biāo)系，以分辨率1024*768的一見頻畫面為例， 一個(gè)^象素點(diǎn)在其中的 坐標(biāo)取值范圍為(0, 0)至(1024, 768 )。因此，通過確定交互窗口 a的一個(gè)特殊點(diǎn)的坐標(biāo)，即可確定該交互窗口 a的位置。在實(shí)際應(yīng)用 中，可以預(yù)先設(shè)定該位置信息，例如，缺省地設(shè)定交互窗口 a的最左 上角一個(gè)像素點(diǎn)的坐標(biāo)為(724, 568 ),于是，該窗口將位于合成畫 面的右下角落。
此外，用戶終端1處的第二獲得裝置104還需要確定該交互窗口 a的大小，譬如，在缺省地設(shè)定交互窗口 a最左上角一個(gè)像素點(diǎn)坐標(biāo) 為(724, 568 )的基礎(chǔ)上，可以再缺省地將該窗口的大小設(shè)定為 300*200,于是，該窗口的最右下角一個(gè)像素點(diǎn)正好疊加在原始視頻 畫面最右下角的一個(gè)像素點(diǎn)上，由此，交互窗口 a可以恰好(透明或 半透明或不透明地)完全覆蓋原始視頻畫面的右下角落。如圖4所示。
可選地，交互窗口 a的位置信息和大小信息可以由用戶在進(jìn)行畫 面合成前確定，譬如，在判斷裝置101得到預(yù)定條件滿足的判斷結(jié)果 后，合成裝置102在視頻畫面的缺省位置將一個(gè)具有缺省大小的信息 輸入窗口與^f見頻畫面進(jìn)行合成，并指示用戶輸入與其所希望的交互窗 口 a的位置和大小相關(guān)的參數(shù)，進(jìn)而幫助第一獲得裝置103和第二獲 得裝置104確定交互窗口 a的位置信息和大小信息。
可選地，交互窗口 a的位置信息和大小信息可以在基于上述任一 方式確定后，在播放合成畫面的過程中，根據(jù)用戶進(jìn)一步輸入的信息 來進(jìn)行更新，典型地，用戶通過鼠標(biāo)點(diǎn)擊和拖拽來實(shí)現(xiàn)該等信息的更 新。
22然后，合成裝置102按照第一獲得裝置103與第二獲得裝置104 所得到的交互窗口 a的位置信息和大小信息，將一個(gè)包含"聊天"、"視 頻，，等圓形按鈕的人機(jī)交互窗口 a與正在播放的《虎膽龍威4》的視 頻畫面合成，以生成該交互窗口 a疊加于《虎膽龍威4》的視頻畫面 上的合成畫面并顯示于用戶終端1上。如圖5中右下部分所示。為簡 明起見，其中同時(shí)示出了其它交互窗口，并將在下文中有相應(yīng)的詳細(xì) 描述。
有利地，交互窗口 a在圖4中所示的位置(合成畫面的右下角) 為一優(yōu)選位置。
一方面，由于視頻畫面的要素部分通常會(huì)被安排在畫面較靠近中 央或其它特定位置的地方以適應(yīng)人們的視覺慣性，將交互窗口 a置于 合成畫面的角落部分可盡可能的減少對(duì)《虎膽龍威4》視頻畫面的遮 蓋，而且即使有所遮蓋，其所遮蓋到的視頻畫面部分也是整個(gè)視頻畫 面中比較次要的部分，從而降低對(duì)用戶的觀感所造成的影響。當(dāng)然， 畫面中的要素不 一 定位于畫面的中間位置或上述其它特定位置，此 時(shí)，用戶終端1可以在進(jìn)行—見頻畫面與交互窗口的合成之前，對(duì)解碼 后的視頻幀進(jìn)行解析，從中找出要素信息的位置，例如，進(jìn)行人臉識(shí) 別，或者對(duì)多幀進(jìn)行解析以找出幀間發(fā)生變化的像素點(diǎn)(本領(lǐng)域技術(shù) 人員理解，通常發(fā)生變化的像素點(diǎn)承載了該段時(shí)間內(nèi)用戶最為關(guān)心的 視頻信息)，從而可以在確定交互窗口 a的位置和大小時(shí)，使其特意 地避開該等要素信息的位置，以保證觀感。本領(lǐng)域技術(shù)人員理解，對(duì) 于采用關(guān)鍵幀+預(yù)測幀的構(gòu)成方式的多媒體內(nèi)容，通過解析預(yù)測幀(表 征了 一個(gè)幀與相應(yīng)關(guān)鍵幀之間的區(qū)別)可以輕松地獲得該等要素信息 的位置。而對(duì)于僅包含關(guān)鍵幀的多媒體內(nèi)容，則可以比較相鄰關(guān)鍵幀 之間的信息，從而得到其間的不同，并將其作為要素信息的位置信息。
另一方面，交互窗口 a出現(xiàn)在視頻畫面右下角也比較符合人們的 操作習(xí)慣，至少是對(duì)于習(xí)慣右手操作的人。而對(duì)于左手操作鼠標(biāo)的用 戶，則可將交互窗口 a置于視頻畫面的左下角。為實(shí)現(xiàn)這種針對(duì)用戶 輸入習(xí)慣進(jìn)行窗口位置適應(yīng)性調(diào)整的目的，用戶終端1可以查詢其上的設(shè)置來獲取用戶終端1的用戶的操作習(xí)慣，比如，假設(shè)用戶終端l
采用微軟Windows操作系統(tǒng)，則可由"控制面板"獲取"鼠標(biāo)"項(xiàng)目
的設(shè)置以獲悉用戶習(xí)慣右手操作鼠標(biāo)還是左手操作鼠標(biāo)，從而將交互
窗口 a置于合成畫面的相應(yīng)位置。在另一種實(shí)施例中，在用戶安裝在 線視頻觀看軟件或初次使用該軟件時(shí)，指示用戶輸入自己操作鼠標(biāo)的 習(xí)慣，于是在線視頻觀看軟件將此記錄，以后每次疊加交互窗口a的 時(shí)候，可以據(jù)此確定一見頻畫面的位置。
以下，對(duì)合成裝置102功能的具體實(shí)現(xiàn)進(jìn)行詳細(xì)介紹。具體地， 在將交互窗口疊加到-現(xiàn)頻畫面的過程中，可通過對(duì)用戶間交互窗口的 像素與視頻畫面當(dāng)前幀上的相應(yīng)像素進(jìn)行1象素加權(quán)合成，以生成合成 畫面。優(yōu)選地，采用所述像素加權(quán)合成來實(shí)現(xiàn)如透明或半透明的效果 以提升視覺效果。具體地，設(shè)交互窗口 a中坐標(biāo)為Oc,力的像素點(diǎn)的像 素值為M(^,設(shè)《虎膽龍威4》視頻畫面當(dāng)前幀上相應(yīng)像素點(diǎn)的像素 值為iV(w),將此兩像素點(diǎn)合成后在合成畫面中的相應(yīng)位置上的新的像 素點(diǎn)的像素值為i (^-"M(^ + M^)，其中a和b為加權(quán)因子確定裝置 分別為交互窗口像素和視頻畫面當(dāng)前幀像素的加權(quán)因子，其中，0<= a,b<=l JLa + b= 1。優(yōu)選地，對(duì)于交互窗口 a中的文字部分，如圖4 中的"聊天"、"視頻"、"圏子"和"設(shè)置"等，由于其對(duì)于本地用戶 而言比較重要，因此，加權(quán)因子確定裝置可為該等文字賦予較大的權(quán) 重，譬如，對(duì)于該等文字所占據(jù)的各像素點(diǎn)，a=l、 b = 0,這樣，在 經(jīng)過像素加權(quán)合成裝置的合成操作后，該等文字將完全遮蓋(不同于 透明、半透明)視頻畫面上的相應(yīng)像素點(diǎn)，從而清晰地呈現(xiàn)給本地用 戶。更優(yōu)選地，對(duì)于交互窗口 a中的邊線部分或者非文字背景部分的 像素點(diǎn)，可耳又a-b-0.5,這樣，交互窗口 a的邊線或非文字背景部 分與視頻播;改畫面相互融合，以實(shí)現(xiàn)半透明的效果。當(dāng)然，對(duì)于交互 窗口a中某些部分，還可以取a-0、 b=l,以實(shí)現(xiàn)完全透明的效果， 從而盡可能的減少對(duì)背景視頻畫面的遮蓋，保證用戶體驗(yàn)。當(dāng)然，a、 b還可以相應(yīng)地取其他值，這里不再贅述。交互窗口a中包含了 "聊天"、"視頻"等4個(gè)圓形按鈕，用戶通 過鼠標(biāo)點(diǎn)擊"聊天"按鈕，該點(diǎn)擊操作即視為是用戶終端1的本地用 戶與用戶終端l之間的人機(jī)交互信息，借此，判斷裝置101能夠識(shí)別 出用戶在與"聊天"相對(duì)應(yīng)的位置執(zhí)行了點(diǎn)擊鼠標(biāo)的操作。該點(diǎn)擊操 作既是一個(gè)用戶在人機(jī)交互界面a內(nèi)執(zhí)行的人機(jī)交互操作，也可視為 用戶終端1的本地用戶利用用戶終端1所輸入的用戶間交互請(qǐng)求，并 會(huì)在周期性執(zhí)行的判斷操作中使得判斷結(jié)果為預(yù)定條件滿足，繼而， 用戶終端1要為即將用于畫面合成的用戶間交互窗口確定大小和位 置，詳述如下
第一獲得裝置103、第二獲得裝置104所獲得的所述用戶間交互 窗口的位置信息和大小信息可以是來自于在線視頻觀看軟件本身所 預(yù)先設(shè)定的一顯示位置缺省值，例如，在每次用戶最初啟動(dòng)聊天功能 的時(shí)候，用戶間交互窗口便自動(dòng)疊加顯示于視頻畫面的中下部(如圖 4所示的用戶間交互窗口 b)。可選地，所獲得的用戶間交互窗口 b的 位置、大小信息還可以來自于用戶終端1上預(yù)存的一個(gè)文件，其中記 錄著上次聊天功能關(guān)閉前用戶間交互窗口 b的大小及其在合成畫面中 所處的位置，于是此后每當(dāng)用戶終端1的本地用戶啟動(dòng)聊天功能的時(shí) 候，用戶終端1便從該文件中讀取用戶間交互窗口的位置、大小信息， 以用于畫面合成。具體地，通過將本地預(yù)存的所述文件中的信息與用 戶身份信息關(guān)聯(lián)地保存，用戶終端1可根據(jù)不同用戶的喜好為各用戶 將用戶間交互窗口 b以定制大小置于定制位置之上。其中，可在用戶 運(yùn)行該在線視頻播放軟件時(shí)輸入的登錄信息(用戶名+ 口令)或在此 后的激活聊天功能時(shí)在彈出對(duì)話框/人機(jī)交互界面中輸入的登錄信息 來獲取該用戶的身份信息。
優(yōu)選地，所獲得的用戶間交互窗口 b的位置、大小信息也可以是 來自于本地用戶，比如，在聊天的過程中，用戶可通過鼠標(biāo)對(duì)用戶間 交互窗口 b進(jìn)行任意拖動(dòng)，或者通過鍵盤上的方向，建對(duì)用戶間交互窗 口進(jìn)行任意移動(dòng)，以將用戶間交互窗口置于用戶所^望出現(xiàn)在的位置
25上。此外，因?yàn)橐曨l在不停地播放，視頻畫面在不斷的改變，某些時(shí)
候，用戶間交互窗口 b會(huì)覆蓋到視頻畫面中用戶認(rèn)為比較重要的部分，
于是，用戶可在必要時(shí)通過拖動(dòng)用戶間交互窗口 b將其移到其所認(rèn)為 的當(dāng)前視頻畫面中較次要的部分，從而將用戶認(rèn)為比4交重要的部分不 受遮蓋的顯現(xiàn)出來。
更優(yōu)選地，所獲得的用戶間交互窗口 b的位置、大小信息也可以 由用戶終端1來自適應(yīng)地確定，并實(shí)時(shí)或周期地動(dòng)態(tài)更新。具體地， 用戶終端1實(shí)時(shí)地對(duì)所播放的視頻畫面進(jìn)行監(jiān)測，通過一定算法找出 當(dāng)前播放的視頻畫面中最為次要畫面的位置信息，比如，將視頻畫面 的背景部分認(rèn)為是比較次要的；或者，將當(dāng)前播放幀與前一幀進(jìn)行比 較，將有明顯改變的部分認(rèn)為是比較重要的，而基本未有改變的部分
認(rèn)為是比較次要的；或者，由于現(xiàn)在很多的視頻內(nèi)容均采用寬熒幕的
呈現(xiàn)方式，于是，在視頻畫面的上部以及下部會(huì)出現(xiàn)具有一定寬度的
空白區(qū)域(如，始終顯示為黑色)，則可將用戶間交互窗口 b置于該
位置，等等。
優(yōu)選地，由于隨著視頻播放的進(jìn)行，視頻畫面不斷改變，其次要
部分的位置也會(huì)隨之變化，于是，第一獲得裝置103和第二獲得裝置 會(huì)不斷地監(jiān)測視頻播放畫面，并為各個(gè)交互窗口 (包括但不限于用戶 間交互窗口 b和人機(jī)交互窗口 a)更新其位置和大小，使其始終能處 于視頻畫面中的次要部分，而不對(duì)視頻畫面的重要部分造成遮蓋，從 而盡可能的降低對(duì)用戶觀看造成的影響。當(dāng)然，避免對(duì)重要畫面的遮 蓋還可以通過降低合成裝置102交互窗口在像素加權(quán)中的權(quán)重來實(shí) 現(xiàn)。
在確定了交互窗口 b的位置和大小信息后，像素加權(quán)合成裝置根 據(jù)加權(quán)因子確定裝置所確定的加權(quán)因子來將交互窗口 b與正在播放的 《虎膽龍威4》的—見頻畫面合成，以生成一用戶間交互窗口 b疊加于 《虎膽龍威4》的^L頻畫面上的合成畫面。如圖4所示。
在本例的一個(gè)變化例中，用戶間交互窗口 b與^f見頻畫面的合成還
26可以由用戶按下鍵盤上的特殊鍵(如回車鍵)來觸發(fā)，即，當(dāng)用戶在 視頻播放過程中按下回車鍵時(shí)，步驟Sl中將得到預(yù)定條件滿足的判 斷結(jié)果。
在本例的又一變化例中，用戶終端1接收到其他用戶發(fā)送給本地
用戶的一個(gè)聊天請(qǐng)求或者一句聊天內(nèi)容，于是，判斷裝置101將因此
判定預(yù)定條件得到滿足，從而啟動(dòng)聊天功能。具體地，第一加入裝置
106將所述其它用戶發(fā)來的聊天內(nèi)容(可包括文字、圖片甚至多媒體 信息)加入到即將用于合成的用戶間交互窗口 b中的接收信息欄中， 以生成更新后的交互窗口 b，用于合成裝置102所執(zhí)行的合成。由此， 本地用戶可在由合成裝置102生成并隨后由顯示設(shè)備展示的合成畫面 中看到所述其它用戶發(fā)來的聊天內(nèi)容。
為了提供用戶間的雙向交互，用戶間交互窗口還包括發(fā)送信息 欄，或者稱其為輸入信息欄，本地用戶在進(jìn)行輸入的過程中，其所輸 入的文字會(huì)由第二加入裝置107實(shí)時(shí)加入到用戶間交互窗口 b中(所 見即所得)，以生成更新的用戶間交互窗口 b,該更新后的窗口將在合 成裝置102逐幀執(zhí)行的合成過程中與當(dāng)前視頻幀合成，以顯示給本地 用戶。此外，為使得其它用戶看到用戶終端1的本地用戶所輸入的交 互信息，所述本地用戶完成一段文字的輸入后，通過鼠標(biāo)點(diǎn)擊窗口b 中的"發(fā)送"按鈕(未示于圖4中)或者按下鍵盤上的特殊功能鍵， 該點(diǎn)擊操作將被視為該本地用戶希望將其輸入的信息發(fā)送給其用戶 間交互對(duì)象。于是，優(yōu)選地，該視頻交互裝置IO還包括一個(gè)發(fā)送裝
所述本地用戶的用戶間交互對(duì)象可以是本地用戶的在線好友，從 而在觀看視頻內(nèi)容的同時(shí)聯(lián)絡(luò)感情；所述用戶間交互對(duì)象也可以是與 本地用戶觀看相同^L頻《虎膽龍威4》的其他在線用戶，如用戶終端 2和用戶終端3的用戶，以相互間實(shí)時(shí)交流對(duì)影片《虎膽龍威4》的 觀感；所述用戶間交互對(duì)象還可以是本地用戶所指定的任意特定用 戶。另外，在上述聊天開始之前，可能還需要本地用戶登錄聊天服務(wù) 器和進(jìn)行身份認(rèn)證的過程，這類似于使用msn或QQ進(jìn)行聊天前的登錄驗(yàn)證過程，這里不予贅述。
更優(yōu)選地，所述本地用戶輸入的該段文字會(huì)在被發(fā)送給各交互對(duì)象后由發(fā)送信息欄中清除而顯示在接收信息欄中。如此，接收信息欄中顯示了用戶間聊天對(duì)話記錄，其顯示內(nèi)容隨著聊天進(jìn)行而實(shí)時(shí)更
自、
根據(jù)本發(fā)明，所述用戶間交互窗口 b不僅可以包括文字內(nèi)容，還可以包括圖片。優(yōu)選地，在上述聊天功能啟動(dòng)后，用戶終端l將參與所述聊天的在線用戶的頭像加入到該窗口的相應(yīng)位置，圖中未示出。
圖4中所示的交互窗口 c優(yōu)選地由網(wǎng)絡(luò)服務(wù)提供商的服務(wù)器推送至用戶側(cè)，圖中示例為熱點(diǎn)選秀比賽的投票竟猜，其中包含3個(gè)竟?fàn)幷叩恼掌?、供本地用戶輸入評(píng)分或選手編號(hào)的信息欄以及"確認(rèn)"、"取消"按鈕。
圖5中示出了另一人機(jī)交互窗口與視頻畫面合成的例子。其中，當(dāng)用戶通過用鼠標(biāo)點(diǎn)擊交互窗口 a中的"視頻"按鈕后，判斷裝置101將判定預(yù)定條件得到滿足，認(rèn)為用戶欲查看視頻內(nèi)容清單，于是，合成裝置102將一視頻內(nèi)容清單交互窗口疊加顯示在視頻播放畫面中，其效果如圖5所示。其中包含有多個(gè)視頻內(nèi)容鏈接或者頻道鏈接供用戶選擇，用戶通過點(diǎn)擊某個(gè)欲觀看的視頻內(nèi)容鏈接，以停止當(dāng)前視頻的播放，重新下載新視頻內(nèi)容的數(shù)據(jù)用于本地終端播放。如此，用戶便可在觀看視頻內(nèi)容的過程中方便的在多個(gè)視頻內(nèi)容或者頻道間切換，大大提升了用戶的體驗(yàn)度。并且，當(dāng)用戶的鼠標(biāo)移動(dòng)到某個(gè)視頻內(nèi)容鏈接上時(shí)，便在視頻內(nèi)容清單交互窗口的右邊部分示出該視頻內(nèi)容的一些相關(guān)信息，包括精彩視頻截圖、視頻內(nèi)容海報(bào)、內(nèi)容說明以及用戶評(píng)論等內(nèi)容，以幫助用戶做出是否觀看本視頻的決定。
以上對(duì)本發(fā)明的實(shí)施例進(jìn)行了描述，但是本發(fā)明并不局限于特定的系統(tǒng)、設(shè)備和具體協(xié)議，本領(lǐng)域內(nèi)技術(shù)人員可以在所附權(quán)利要求的范圍內(nèi)做出各種變形或修改。
權(quán)利要求
1. 一種在用戶終端上用于在視頻顯示時(shí)提供用戶交互的方法，其中，包括以下步驟a. 判斷預(yù)定條件是否滿足；b. 當(dāng)滿足所述預(yù)定條件時(shí)，將一個(gè)或多個(gè)交互窗口與視頻畫面合成，以生成用于顯示的一個(gè)或多個(gè)交互窗口疊加于視頻畫面上的合成畫面。
2. 根據(jù)權(quán)利要求1所述的方法，其特征在于，所述一個(gè)或多個(gè) 交互窗口包括發(fā)送信息欄，該方法還包括-當(dāng)滿足所述預(yù)定條件時(shí)，將本地用戶輸入的交互信息加入到所述 一個(gè)或多個(gè)交互窗口的發(fā)送信息欄中，以生成一個(gè)或多個(gè)更新后的交 互窗口 ；所述步驟b還包括-將所述一個(gè)或多個(gè)更新后的交互窗口與所述視頻畫面合成，以生 成用于顯示的一個(gè)或多個(gè)更新后的交互窗口疊加于所述^L頻畫面上 的合成畫面；該方法還包括步驟m.將所述本地用戶輸入的交互信息提供給與所述本地用戶輸入 的交互信息相對(duì)應(yīng)的交互對(duì)象。
3. 根據(jù)權(quán)利要求2所述的方法，其特征在于，所述本地用戶輸 入的交互信息包括人機(jī)交互信息和/或用戶間交互信息，其中，當(dāng)所述 交互信息包括用戶間交互信息時(shí)，與所述本地用戶輸入的用戶間交互 信息相對(duì)應(yīng)的交互對(duì)象包括以下各項(xiàng)中的任 一 項(xiàng)或任多項(xiàng)-所述本地用戶的在線好友；-與所述本地用戶觀看相同視頻的其他用戶；-由所述本地用戶所指定的特定用戶。
4. 根據(jù)權(quán)利要求1至3中任一項(xiàng)所述的方法，其特征在于，所 述一個(gè)或多個(gè)交互窗口包括接收信息欄，該方法還包括-將來自所述本地用戶的交互對(duì)象的交互信息加入到所述一個(gè)或 多個(gè)交互窗口的接收信息欄中，以生成一個(gè)或多個(gè)更新后的交互窗n ;所述步驟b還包括-將所述一個(gè)或多個(gè)更新后的交互窗口與所述一見頻畫面合成，以 生成用于顯示的所述一個(gè)或多個(gè)更新后的交互窗口疊加于所述視頻 畫面上的合成畫面。
5. 根據(jù)權(quán)利要求1至4中任一項(xiàng)所述的方法，其特征在于，所 述預(yù)定條件包括以下各項(xiàng)中的任一項(xiàng)或任多項(xiàng)-接收到本地用戶輸入的交互請(qǐng)求； -接收到來自其他用戶的交互請(qǐng)求； -本用戶終端上的視頻播放器開始運(yùn)行； -本用戶終端上視頻內(nèi)容開始播放。
6. 根據(jù)權(quán)利要求5所述的方法，其特征在于，所述本地用戶輸 入的交互請(qǐng)求包括使用以下各輸入設(shè)備中的任一輸入設(shè)備所進(jìn)行的 輸入-鼠標(biāo)5 -鍵盤；-聲/光識(shí)別設(shè)備； -手柄；其中，所述來自其他用戶的交互請(qǐng)求包括以下各項(xiàng)中的任一項(xiàng)或 任多項(xiàng)-來自所述其他用戶的用于與所述本地用戶進(jìn)行交互的請(qǐng)求消
7.根據(jù)權(quán)利要求1至6中任一項(xiàng)所述的方法，其特征在于，所 述步驟b之前還包括I.獲得所述一個(gè)或多個(gè)交互窗口的位置信息，所述位置信息指示 所述一個(gè)或多個(gè)交互窗口在所述合成畫面中的顯示位置；所述步驟b還包括-當(dāng)滿足所述預(yù)定條件時(shí)，根據(jù)所述位置信息將所述一個(gè)或多個(gè) 交互窗口與所述^L頻畫面合成，以生成用于顯示的一個(gè)或多個(gè)交互窗 口疊力口于一見頻畫面上的合成畫面。
8. 根據(jù)權(quán)利要求7所述的方法，其特征在于，所述步驟I還包括 -接收所述本地用戶輸入的位置指示信息，所述位置指示信息用于指示所述一個(gè)或多個(gè)交互窗口在所述合成畫面中的顯示位置； -將所接收到的位置指示信息作為所述位置信息。
9. 根據(jù)權(quán)利要求1至8中任一項(xiàng)所述的方法，其特征在于，所 述步驟b之前還包括n.獲得所述一個(gè)或多個(gè)交互窗口的大小信息，所述大小信息指示所述一個(gè)或多個(gè)交互窗口的顯示大小； 所述步驟b還包括-當(dāng)滿足所述預(yù)定條件時(shí)，根據(jù)所述大小信息將所述一個(gè)或多個(gè)交 互窗口與所述視頻畫面合成，以生成用于顯示的一個(gè)或多個(gè)交互窗口 疊力口于^見頻畫面上的合成畫面。
10. 根據(jù)權(quán)利要求9所述的方法，其特征在于，所述步驟II還包括-接收所述本地用戶輸入的大小指示信息，所述大小指示信息用 于指示所述一個(gè)或多個(gè)交互窗口的顯示大小；-將所接收到的大小指示信息作為所述大小信息。
11. 根據(jù)權(quán)利要求1至10中任一項(xiàng)所述的方法，其特征在于， 所述步驟b包括-當(dāng)滿足所述預(yù)定條件時(shí)，對(duì)所述一個(gè)或多個(gè)交互窗口中的像素 與所述視頻畫面的當(dāng)前幀上的相應(yīng)像素進(jìn)行像素合成，以生成所述合 成畫面。
12. 根據(jù)權(quán)利要求11所述的方法，其特征在于，所述步驟b還 包括-當(dāng)滿足預(yù)定條件時(shí)，對(duì)所述一個(gè)或多個(gè)交互窗口中的像素與所述視頻畫面的當(dāng)前幀上的相應(yīng)像素進(jìn)行加權(quán)像素合成，以生成所述合成畫面。
13. 根據(jù)權(quán)利要求12所述的方法，其特征在于，所述步驟b還 包括-當(dāng)滿足預(yù)定條件時(shí)，為所述一個(gè)或多個(gè)交互窗口中的像素以及 所述視頻畫面的當(dāng)前幀上的相應(yīng)像素分別確定加權(quán)因子；-根據(jù)所確定的加權(quán)因子對(duì)所述一個(gè)或多個(gè)交互窗口中的像素與 所述視頻畫面的當(dāng)前幀上的相應(yīng)像素進(jìn)行加權(quán)像素合成，以生成所述 合成畫面。
14. 一種在用戶終端上用于在視頻顯示時(shí)提供用戶交互的視頻 交互裝置，其中，包括判斷裝置，用于判斷預(yù)定條件是否滿足；合成裝置，當(dāng)滿足所述預(yù)定條件時(shí)，將一個(gè)或多個(gè)交互窗口與視頻 畫面合成，以生成用于顯示的一個(gè)或多個(gè)交互窗口疊加于4見頻畫面上 的合成畫面。
15. 根據(jù)權(quán)利要求14所述的視頻交互裝置，其特征在于，所述 一個(gè)或多個(gè)交互窗口包括發(fā)送信息欄，其中，還包括第一加入裝置，用于當(dāng)滿足所述預(yù)定條件時(shí)，將本地用戶輸入的交 互信息加入到所述一個(gè)或多個(gè)交互窗口的發(fā)送信息欄中，以生成一個(gè) 或多個(gè)更新后的交互窗口；所述合成裝置還用于，將所述一個(gè)或多個(gè)更新后的交互窗口與所述 -觀頻畫面合成，以生成用于顯示的一個(gè)或多個(gè)更新后的交互窗口疊加 于所述纟見頻畫面上的合成畫面；所述視頻交互裝置還包括發(fā)送裝置，用于將所述本地用戶輸入的交互信息提供給與所述本 地用戶輸入的交互信息相對(duì)應(yīng)的交互對(duì)象。
16. 根據(jù)權(quán)利要求15所述的視頻交互裝置，其特征在于，所述 本地用戶輸入的交互信息包括人機(jī)交互信息和/或用戶間交互信息，其 中，當(dāng)所述交互信息包括用戶間交互信息時(shí)，與所述本地用戶輸入的用戶間交互信息相對(duì)應(yīng)的交互對(duì)象包括以下各項(xiàng)中的任一項(xiàng)或任多項(xiàng)-所述本地用戶的在線好友；-與所述本地用戶觀看相同視頻的其他用戶；-由所述本地用戶所指定的特定用戶。
17. 根據(jù)權(quán)利要求14至16中任一項(xiàng)所述的視頻交互裝置，其特 征在于，所述一個(gè)或多個(gè)交互窗口包括接收信息欄，其中，還包括第二加入裝置，用于將來自所述本地用戶的交互對(duì)象的交互信息 加入到所述一個(gè)或多個(gè)交互窗口的接收信息欄中，以生成一個(gè)或多個(gè) 更新后的交互窗口；所述合成裝置還用于，將所述一個(gè)或多個(gè)更新后的交互窗口與所 述視頻畫面合成，以生成用于顯示的所述一個(gè)或多個(gè)更新后的交互窗 口疊力o于所述^見頻畫面上的合成畫面。
18. 根據(jù)權(quán)利要求14至17中任一項(xiàng)所述的視頻交互裝置，其特 征在于，所述預(yù)定條件包括以下各項(xiàng)中的任一項(xiàng)或任多項(xiàng)-接收到本地用戶輸入的交互請(qǐng)求； -接收到來自其他用戶的交互請(qǐng)求； -本用戶終端上的視頻播放器開始運(yùn)行； -本用戶終端上;f見頻內(nèi)容開始播放。
19. 根據(jù)權(quán)利要求18所述的視頻交互裝置，其特征在于，所述 本地用戶輸入的交互請(qǐng)求包括使用以下各輸入設(shè)備中的任一輸入設(shè) 備所進(jìn)行的輸入-鼠標(biāo)； -鍵盤；-聲/光識(shí)別設(shè)備； -手柄；其中，所述來自其他用戶的交互請(qǐng)求包括以下各項(xiàng)中的任一項(xiàng)或 任多項(xiàng)-來自所述其他用戶的用于與所述本地用戶進(jìn)行交互的請(qǐng)求消
20. 根據(jù)權(quán)利要求14至19中任一項(xiàng)所述的視頻交互裝置，其特 征在于，還包括第一獲得裝置，用于獲得所述一個(gè)或多個(gè)交互窗口的位置信息， 所述位置信息指示所述一個(gè)或多個(gè)交互窗口在所述合成畫面中的顯示4立置；所述合成裝置還用于-當(dāng)滿足所述預(yù)定條件時(shí)，根據(jù)所述位置信息將所述一個(gè)或多個(gè) 交互窗口與所述視頻畫面合成，以生成用于顯示的一個(gè)或多個(gè)交互窗口疊加于纟見頻畫面上的合成畫面。
21. 根據(jù)權(quán)利要求20所述的視頻交互裝置，其特征在于，所述 第一獲得裝置還用于-接收所述本地用戶輸入的位置指示信息，所述位置指示信息用 于指示所述一個(gè)或多個(gè)交互窗口在所述合成畫面中的顯示位置； -將所接收到的位置指示信息作為所述位置信息。
22. 根據(jù)權(quán)利要求14至21中任一項(xiàng)所述的視頻交互裝置，其特 征在于，還包括第二獲得裝置，用于獲得所述一個(gè)或多個(gè)交互窗口的大小信息， 所述大小信息指示所述一個(gè)或多個(gè)交互窗口的顯示大??； 所述合成裝置還用于6-當(dāng)滿足所述預(yù)定條件時(shí)，根據(jù)所述大小信息將所述一個(gè)或多個(gè)交 互窗口與所述一見頻畫面合成，以生成用于顯示的一個(gè)或多個(gè)交互窗口 疊力p于S見頻畫面上的合成畫面。
23. 根據(jù)權(quán)利要求22所述的視頻交互裝置，其特征在于，所述 第二獲得裝置還用于-接收所述本地用戶輸入的大小指示信息，所述大小指示信息用 于指示所述一個(gè)或多個(gè)交互窗口的顯示大小；-將所接收到的大小指示信息作為所述大小信息。
24. 根據(jù)權(quán)利要求14至23中任一項(xiàng)所述的視頻交互裝置，其特 征在于，所述合成裝置用于-當(dāng)滿足所述預(yù)定條件時(shí)，對(duì)所述一個(gè)或多個(gè)交互窗口中的像素 與所述視頻畫面的當(dāng)前幀上的相應(yīng)像素進(jìn)行像素合成，以生成所述合 成畫面。
25. 根據(jù)權(quán)利要求24所述的視頻交互裝置，其特征在于，所述 合成裝置還用于-當(dāng)滿足預(yù)定條件時(shí)，對(duì)所述一個(gè)或多個(gè)交互窗口中的像素與所述 視頻畫面的當(dāng)前幀上的相應(yīng) <象素進(jìn)行加權(quán)像素合成，以生成所述合成 畫面
26. 根據(jù)權(quán)利要求25所述的視頻交互裝置，其特征在于，所述 合成裝置還包括加權(quán)因子確定裝置，用于當(dāng)滿足預(yù)定條件時(shí)，為所述一個(gè)或多個(gè) 交互窗口中的像素以及所述視頻畫面的當(dāng)前幀上的相應(yīng)像素分別確 定加權(quán)因子；像素加權(quán)合成裝置根據(jù)所確定的加權(quán)因子對(duì)所述一個(gè)或多個(gè)交互 窗口中的像素與所述視頻畫面的當(dāng)前幀上的相應(yīng)像素進(jìn)行加權(quán)像素合成，以生成所述合成畫面。
全文摘要
本發(fā)明提供了一種在用戶終端上用于在視頻顯示時(shí)提供用戶交互的方法及裝置，它將本地用戶與本地終端設(shè)備或者其他在線用戶的交互窗口直接與視頻畫面合成，以生成該交互窗口疊加于視頻畫面上的合成畫面用于顯示，從而增加了用戶在觀看視頻時(shí)操作的方便性和靈活性，提升了用戶的體驗(yàn)度。
文檔編號(hào)G06F3/048GK101500125SQ20081003349
公開日2009年8月5日 申請(qǐng)日期2008年2月3日 優(yōu)先權(quán)日2008年2月3日
發(fā)明者汪奕菲 申請(qǐng)人:突觸計(jì)算機(jī)系統(tǒng)(上海)有限公司