本發(fā)明涉及通信領域中的終端管理技術,尤其涉及一種輸出信息控制方法、移動終端及終端設備。
背景技術:
當前技術中,電視在進行視頻播放時,對電視進行控制通常采用遙控器或者采用移動終端模擬遙控器的方式進行。但是,這種采用遙控器或采用模擬遙控器進行操控的方式,無法為用戶提供更加豐富的交互場景,并且無法提升操控的準確程度。
技術實現(xiàn)要素:
本發(fā)明的主要目的在于提出一種輸出信息控制方法、移動終端及終端設備,旨在解決現(xiàn)有技術中存在的上述問題。
為實現(xiàn)上述目的,
本發(fā)明提供的一種輸出信息控制方法,應用于移動終端,包括:
獲取終端設備發(fā)來的流媒體信息,在所述移動終端的顯示區(qū)域輸出所述流媒體信息;其中,所述流媒體信息與所述終端設備輸出的信息保持同步;
檢測到針對在所述顯示區(qū)域中輸出的所述流媒體信息的操作指令;
將所述操作指令發(fā)送至所述終端設備側,以使得所述終端設備基于所述操作指令至少對其輸出的信息進行控制。
本發(fā)明提供的一種流媒體信息控制方法,應用于終端設備,所述方法包括:
將輸出的信息轉換為流媒體信息,并將所述流媒體信息發(fā)送給至少一個移動終端,以使得所述至少一個移動終端輸出的流媒體信息與所述終端設備輸出的信息保持同步;
接收到所述至少一個移動終端發(fā)來的針對所述流媒體信息的操作指令,基于所述操作指令對輸出的信息進行控制。
本發(fā)明提供一種移動終端,所述移動終端包括:
設備管理模塊,用于獲取終端設備發(fā)來的流媒體信息;
流媒體播放模塊,用于控制輸出流媒體信息;
顯示模塊,用于在顯示區(qū)域輸出所述流媒體信息;其中,所述流媒體信息與所述終端設備輸出的信息保持同步;
反向控制模塊,用于檢測到針對在所述顯示區(qū)域中輸出的所述流媒體信息的操作指令;
通信模塊,用于將所述操作指令發(fā)送至所述終端設備側。
本發(fā)明提供一種終端設備,所述終端設備包括:
顯示模塊,用于輸出信息;
屏幕分層模塊,用于將輸出的信息轉換為流媒體信息;
流媒體發(fā)送模塊,用于將所述流媒體信息發(fā)送給通信模塊;
通信模塊,用于將所述流媒體信息發(fā)送給至少一個移動終端;
多設備管理模塊,用于接收到所述至少一個移動終端發(fā)來的針對所述流媒體信息的操作指令;
反向控制管理模塊,用于基于所述操作指令對輸出的信息進行控制。
本發(fā)明提出的一種輸出信息控制方法、移動終端及終端設備,由移動終端側獲取到流媒體信息,通過輸出流媒體信息使得移動終端與終端設備輸出的信息達成同步,在移動終端中通過針對流媒體信息生成操作指令,來控制終端設備側的輸出信息。如此,就能夠達到更加直觀的針對終端設備輸出的信息進行控制,為用戶提供了更加豐富的交互場景,并且提升控制的準確度。
附圖說明
圖1為實現(xiàn)本發(fā)明各個實施例的移動終端的硬件結構示意圖;
圖2為如圖1所示的移動終端的無線通信系統(tǒng)示意圖;
圖3為本發(fā)明實施例輸出信息控制方法流程示意圖一;
圖4為本發(fā)明實施例終端設備輸出信息的示意圖一;
圖5為本發(fā)明實施例終端設備輸出信息的示意圖二;
圖6為本發(fā)明實施例移動終端與終端設備同步輸出信息示意圖一;
圖7為本發(fā)明實施例通過移動終端進行輸出信息的控制場景示意圖一;
圖8為本發(fā)明實施例通過移動終端進行輸出信息的控制場景示意圖二;
圖9為本發(fā)明實施例輸出信息控制方法流程示意圖二;
圖10為本發(fā)明實施例移動終端與終端設備同步輸出信息示意圖二;
圖11為本發(fā)明實施例移動終端組成結構示意圖一
圖12為本發(fā)明實施例移動終端組成結構示意圖二;
圖13為本發(fā)明實施例終端設備組成結構示意圖一;
圖14為本發(fā)明實施例終端設備組成結構示意圖二;
圖15為本發(fā)明實施例交互流程示意圖。
本發(fā)明目的的實現(xiàn)、功能特點及優(yōu)點將結合實施例,參照附圖做進一步說明。
具體實施方式
應當理解,此處所描述的具體實施例僅僅用以解釋本發(fā)明,并不用于限定本發(fā)明。
現(xiàn)在將參考附圖描述實現(xiàn)本發(fā)明各個實施例的移動終端。在后續(xù)的描述中,使用用于表示元件的諸如“模塊”、“部件”或“單元”的后綴僅為了有利于本發(fā)明的說明,其本身并沒有特定的意義。因此,"模塊"與"部件"可以混合地使用。
移動終端可以以各種形式來實施。例如,本發(fā)明中描述的終端可以包括諸如移動電話、智能電話、筆記本電腦、數字廣播接收器、PDA(個人數字助理)、PAD(平板電腦)、PMP(便攜式多媒體播放器)、導航裝置等等的移動終端以及諸如數字TV、臺式計算機等等的固定終端。下面,假設終端是移動終端。然而,本領域技術人員將理解的是,除了特別用于移動目的的元件之外,根據本發(fā)明的實施方式的構造也能夠應用于固定類型的終端。
圖1為實現(xiàn)本發(fā)明各個實施例的移動終端的硬件結構示意。
移動終端100可以包括無線通信單元110、輸出單元150、存儲器160、接口單元170、控制器180和電源單元190等等。圖1示出了具有各種組件的移動終端,但是應理解的是,并不要求實施所有示出的組件??梢蕴娲貙嵤└嗷蚋俚慕M件。將在下面詳細描述移動終端的元件。
無線通信單元110通常包括一個或多個組件,其允許移動終端100與無線通信系統(tǒng)或網絡之間的無線電通信。
接口單元170用作至少一個外部裝置與移動終端100連接可以通過的接口。例如,外部裝置可以包括有線或無線頭戴式耳機端口、外部電源(或電池充電器)端口、有線或無線數據端口、存儲卡端口、用于連接具有識別模塊的裝置的端口、音頻輸入/輸出(I/O)端口、視頻I/O端口、耳機端口等等。識別模塊可以是存儲用于驗證用戶使用移動終端100的各種信息并且可以包括用戶識別模塊(UIM)、客戶識別模塊(SIM)、通用客戶識別模塊(USIM)等等。另外,具有識別模塊的裝置(下面稱為"識別裝置")可以采取智能卡的形式,因此,識別裝置可以經由端口或其它連接裝置與移動終端100連接。接口單元170可以用于接收來自外部裝置的輸入(例如,數據信息、電力等等)并且將接收到的輸入傳輸到移動終端100內的一個或多個元件或者可以用于在移動終端和外部裝置之間傳輸數據。
輸出單元150被構造為以視覺、音頻和/或觸覺方式提供輸出信號(例如,音頻信號、視頻信號、警報信號、振動信號等等)。輸出單元150可以包括顯音頻輸出模塊等等。音頻輸出模塊152可以在將接收的或者在存儲器160中存儲的音頻數據轉換音頻信號并且輸出為聲音。而且,音頻輸出模塊152可以提供與移動終端100執(zhí)行的特定功能相關的音頻輸出(例如,呼叫信號接收聲音、消息接收聲音等等)。音頻輸出模塊152可以包括揚聲器、蜂鳴器等等。
存儲器160可以存儲由控制器180執(zhí)行的處理和控制操作的軟件程序等等,或者可以暫時地存儲己經輸出或將要輸出的數據(例如,電話簿、消息、靜態(tài)圖像、視頻等等)。而且,存儲器160可以存儲關于當觸摸施加到觸摸屏時輸出的各種方式的振動和音頻信號的數據。
存儲器160可以包括至少一種類型的存儲介質,所述存儲介質包括閃存、硬盤、多媒體卡、卡型存儲器(例如,SD或DX存儲器等等)、隨機訪問存儲器(RAM)、靜態(tài)隨機訪問存儲器(SRAM)、只讀存儲器(ROM)、電可擦除可編程只讀存儲器(EEPROM)、可編程只讀存儲器(PROM)、磁性存儲器、磁盤、光盤等等。而且,移動終端100可以與通過網絡連接執(zhí)行存儲器160的存儲功能的網絡存儲裝置協(xié)作。
控制器180通??刂埔苿咏K端的總體操作。例如,控制器180執(zhí)行與語音通話、數據通信、視頻通話等等相關的控制和處理。另外,控制器180可以包括用于再現(xiàn)(或回放)多媒體數據的多媒體模塊1810,多媒體模塊1810可以構造在控制器180內,或者可以構造為與控制器180分離。控制器180可以執(zhí)行模式識別處理,以將在觸摸屏上執(zhí)行的手寫輸入或者圖片繪制輸入識別為字符或圖像。
電源單元190在控制器180的控制下接收外部電力或內部電力并且提供操作各元件和組件所需的適當的電力。
這里描述的各種實施方式可以以使用例如計算機軟件、硬件或其任何組合的計算機可讀介質來實施。對于硬件實施,這里描述的實施方式可以通過使用特定用途集成電路(ASIC)、數字信號處理器(DSP)、數字信號處理裝置(DSPD)、可編程邏輯裝置(PLD)、現(xiàn)場可編程門陣列(FPGA)、處理器、控制器、微控制器、微處理器、被設計為執(zhí)行這里描述的功能的電子單元中的至少一種來實施,在一些情況下,這樣的實施方式可以在控制器180中實施。對于軟件實施,諸如過程或功能的實施方式可以與允許執(zhí)行至少一種功能或操作的單獨的軟件模塊來實施。軟件代碼可以由以任何適當的編程語言編寫的軟件應用程序(或程序)來實施,軟件代碼可以存儲在存儲器160中并且由控制器180執(zhí)行。
至此,己經按照其功能描述了移動終端。下面,為了簡要起見,將描述諸如折疊型、直板型、擺動型、滑動型移動終端等等的各種類型的移動終端中的滑動型移動終端作為示例。因此,本發(fā)明能夠應用于任何類型的移動終端,并且不限于滑動型移動終端。
如圖1中所示的移動終端100可以被構造為利用經由幀或分組發(fā)送數據的諸如有線和無線通信系統(tǒng)以及基于衛(wèi)星的通信系統(tǒng)來操作。
現(xiàn)在將參考圖2描述其中根據本發(fā)明的移動終端能夠操作的通信系統(tǒng)。
這樣的通信系統(tǒng)可以使用不同的空中接口和/或物理層。例如,由通信系統(tǒng)使用的空中接口包括例如頻分多址(FDMA)、時分多址(TDMA)、碼分多址(CDMA)和通用移動通信系統(tǒng)(UMTS)(特別地,長期演進(LTE))、全球移動通信系統(tǒng)(GSM)等等。作為非限制性示例,下面的描述涉及CDMA通信系統(tǒng),但是這樣的教導同樣適用于其它類型的系統(tǒng)。
參考圖2,CDMA無線通信系統(tǒng)可以包括多個移動終端100、多個基站(BS)270、基站控制器(BSC)275和移動交換中心(MSC)280。MSC280被構造為與公共電話交換網絡(PSTN)290形成接口。MSC280還被構造為與可以經由回程線路耦接到基站270的BSC275形成接口?;爻叹€路可以根據若干己知的接口中的任一種來構造,所述接口包括例如E1/T1、ATM,IP、PPP、幀中繼、HDSL、ADSL或xDSL。將理解的是,如圖2中所示的系統(tǒng)可以包括多個BSC2750。在圖2中,描繪了多個衛(wèi)星300,但是理解的是,可以利用任何數目的衛(wèi)星獲得有用的定位信息。
基于上述移動終端硬件結構以及通信系統(tǒng),提出本發(fā)明方法各個實施例。
實施例一
本發(fā)明實施例提供了一種輸出信息控制方法,應用于移動終端,如圖3所示,包括:
步驟301:獲取終端設備發(fā)來的流媒體信息,在所述移動終端的顯示區(qū)域輸出所述流媒體信息;其中,所述流媒體信息與所述終端設備輸出的信息保持同步;
步驟302:檢測到針對在所述顯示區(qū)域中輸出的所述流媒體信息的操作指令;
步驟303:將所述操作指令發(fā)送至所述終端設備側,以使得所述終端設備基于所述操作指令至少對其輸出的信息進行控制。
這里,所述移動終端可以為智能手機、平板電腦等設備。所述終端設備可以為智能電視,或者可以為能夠通過處理單元進行控制的電視。
上述終端設備輸出的信息,可以為當前終端設備通過其顯示屏輸出的任何內容,比如,參見圖4,在終端設備的顯示屏41中正在輸出一個視頻,圖中示出的為這個視頻中的某一幀畫面;再比如,如果電視為智能電視、或者可以通過盒子等設備接入網絡并展示對應界面的場景,可以通過安裝的應用接入網絡側,并從網絡獲取節(jié)目,這種場景下,終端設備還具備一個狀態(tài)就是為用戶提供交互界面的狀態(tài),比如,參見圖5,通過終端設備提供的這個交互界面可以為用戶提供可選擇的節(jié)目類型等。
需要理解的是,上述附圖4和5僅僅提供了終端設備輸出的信息兩種示意場景,實際處理中,終端設備還可以輸出更多類型的信息,包括有音頻信息等等,本實施例中不進行窮舉。
上述流媒體信息可以為由終端設備當前輸出的視頻信息的畫面組成的流媒體信息,關于基于終端設備根據其輸出的視頻信息確定流媒體信息的方式,本實施例中不進行限定。但是,需要理解到的是,通過接收到終端設備發(fā)來的流媒體信息,并播放當前流媒體信息對應的畫面,使得移動終端輸出的畫面與終端設備相同,以使得兩者保持輸出的畫面至少保持同步。比如,參見圖6,終端設備當前在顯示區(qū)域600輸出的視頻幀與移動終端通過顯示區(qū)域601輸出的畫面相同,也就是說兩者輸出的畫面保持同步。
檢測到針對在所述顯示區(qū)域中輸出的所述流媒體信息的操作指令,可以為:通過設置在顯示區(qū)域的觸控檢測單元檢測,具體來說,可以通過觸控檢測單元針對觸控操作手勢進行檢測,并基于觸控操作手勢確定對應的操作指令,其中,所述操作手勢可以由以下內容組成:周期性采集到的觸控操作的位置信息及時刻值。
或者,檢測到針對在所述顯示區(qū)域中輸出的所述流媒體信息的操作指令,還可以為針對虛擬按鍵和/或物理按鍵的操作的檢測來確定針對流媒體信息的操作指令。具體的實現(xiàn)方式本實施例中不進行限定。
將所述操作指令發(fā)送至所述終端設備側,以使得所述終端設備基于所述操作指令至少對其輸出的信息進行控制,其中,所述至少對其輸出的信息進行控制可以包括選中輸出的信息中的某一個菜單項,或者,對輸出的多媒體信息進行播放進度的控制等等。
可見,通過采用上述方案,就能夠由移動終端側獲取到流媒體信息,通過輸出流媒體信息使得移動終端與終端設備輸出的信息達成同步,在移動終端中通過針對流媒體信息生成操作指令,來控制終端設備側的輸出信息。如此,就能夠達到更加直觀的針對終端設備輸出的信息進行控制,為用戶提供了更加豐富的交互場景,并且提升控制的準確度。
實施例二
本發(fā)明實施例提供了一種輸出信息控制方法,應用于移動終端,如圖3所示,包括:
步驟301:獲取終端設備發(fā)來的流媒體信息,在所述移動終端的顯示區(qū)域輸出所述流媒體信息;其中,所述流媒體信息與所述終端設備輸出的信息保持同步;
步驟302:檢測到針對在所述顯示區(qū)域中輸出的所述流媒體信息的操作指令;
步驟303:將所述操作指令發(fā)送至所述終端設備側,以使得所述終端設備基于所述操作指令至少對其輸出的信息進行控制。
這里,所述移動終端可以為智能手機、平板電腦等設備。所述終端設備可以為智能電視,或者可以為能夠通過處理單元進行控制的電視。
上述終端設備輸出的信息,可以為當前終端設備通過其顯示屏輸出的任何內容,比如,參見圖4,在終端設備的顯示屏41中正在輸出一個視頻,圖中示出的為這個視頻中的某一幀畫面;再比如,如果電視為智能電視、或者可以通過盒子等設備接入網絡并展示對應界面的場景,可以通過安裝的應用接入網絡側,并從網絡獲取節(jié)目,這種場景下,終端設備還具備一個狀態(tài)就是為用戶提供交互界面的狀態(tài),比如,參見圖5,通過終端設備提供的這個交互界面可以為用戶提供可選擇的節(jié)目類型等。
需要理解的是,上述附圖4和5僅僅提供了終端設備輸出的信息兩種示意場景,實際處理中,終端設備還可以輸出更多類型的信息,包括有音頻信息等等,本實施例中不進行窮舉。
上述流媒體信息可以為由終端設備當前輸出的視頻信息的畫面組成的流媒體信息,關于基于終端設備根據其輸出的視頻信息確定流媒體信息的方式,本實施例中不進行限定。但是,需要理解到的是,通過接收到終端設備發(fā)來的流媒體信息,并播放當前流媒體信息對應的畫面,使得移動終端輸出的畫面與終端設備相同,以使得兩者保持輸出的畫面至少保持同步。比如,參見圖6,終端設備當前在顯示區(qū)域600輸出的視頻幀與移動終端通過顯示區(qū)域601輸出的畫面相同,也就是說兩者輸出的畫面保持同步。
需要理解的是,在本實施例步驟301之前,還需要控制移動終端與終端設備建立連接,比如,可以建立無線通信連接,基于無線通信連接使得移動終端和終端設備進行信息交互。其中,無線通信連接可以為WIFI連接、或者可以為藍牙連接等等。
本實施例中詳細說明如何獲取到操作指令,具體如下:
所述檢測到針對在所述顯示區(qū)域中輸出的所述流媒體信息的操作指令,包括以下兩種處理方式中至少之一:
處理方式一
在所述顯示區(qū)域中還展示針對終端設備輸出的信息的控制操作界面,其中,所述控制操作界面中至少包括有針對所述信息的播放進度的至少一個控制按鍵、以及針對所述終端設備的至少一種控制按鍵;檢測到針對所述控制操作界面的目標控制按鍵的操作時,基于所述目標控制按鍵對應的功能生成操作指令。
其中,所述控制操作界面可以如圖7所示,其中,包括有進度條的進度控制按鍵71,音量控制按鍵72、以及針對節(jié)目選取的組合按鍵73,這個組合按鍵73中可以包括有上一個節(jié)目、下一個節(jié)目以及暫停按鍵等等,本圖僅為示意其實還包括有其他的按鍵。
另外,需要說明的是,上述場景雖然僅提到了在顯示區(qū)域中提供的操作控制界面,但是,在實際處理中,移動終端還可以獲取自身物理按鍵的控制信息,并轉換為針對流媒體信息的控制指令,比如,可以通過移動終端的音量控制物理按鍵74獲取到音量控制指令,并發(fā)送音量控制指令至終端設備以控制終端設備輸出的信息。
處理方式二
檢測到位于所述顯示區(qū)域中的至少一種操作手勢;基于所述至少一種操作手勢確定針對所述終端設備輸出的信息的操作指令。
與處理方式一的不同之處在于,本處理方式中可以不給予操作控制界面提供的幾種控制按鍵生成控制指令,而是檢測處于顯示區(qū)域中的至少一種操作手勢,進而基于預設的操作手勢與操作指令對應表來確定檢測到的操作手勢所對應的操作指令,如此,得到針對終端設備輸出的信息的操作指令。
其中,所述操作手勢可以由以下信息組成:至少一個觸控點的位置信息及其對應的時刻值。所述位置信息包括有x軸、y軸兩個坐標值。
需要理解的是,操作手勢可以進一步進行特征提取,比如,一條向右側的線,或者一條向左側的線、還可以為一個銳角、一個鈍角、或者多個銳角多個鈍角。也就是說,基于操作手勢中包含的多個位置信息及其對應的時刻值,能夠確定一個操作軌跡,提取這個操作軌跡中的特征信息,比如,該操作軌跡為基本沒有弧度的一條線,那么該操作手勢對應的特征信息為一條線,另外,還可以獲取操作軌跡的方向,將該方向作為操作手勢的方向,如此,就能夠特征提取后的操作手勢。
相應的,所述操作手勢與操作指令對應表中可以包括:向右滑動的一條線對應的為快進,另外,快進的進度可以根據向右滑動的速度或者向右滑動得距離來確定,本示例中不做限定;再比如,操作手勢中具備一個銳角,那么將輸出的畫面進行縮小等等。關于操作手勢與操作指令的對應,本實施例中不進行窮舉,但是可以理解的是,根據實際需求能夠設置多種組合,或者,還可以根據用戶的使用習慣來進行設置。
本處理方式對應的操作場景可以參見圖8,用戶采用操作手勢81向右邊滑動,此時,根據預設的對應表可以確定將輸出的信息快進。
將所述操作指令發(fā)送至所述終端設備側,以使得所述終端設備基于所述操作指令至少對其輸出的信息進行控制,其中,所述至少對其輸出的信息進行控制可以包括選中輸出的信息中的某一個菜單項,或者,對輸出的多媒體信息進行播放進度的控制等等。
進一步地,本實施例還提供一種處理場景,所述在所述移動終端的顯示區(qū)域輸出所述流媒體信息之后,所述方法還包括:
檢測到針對在所述移動終端的顯示區(qū)域輸出的流媒體信息的截取指令;基于所述截取指令獲取到所述流媒體信息對應的畫面并保存;針對保存的所述畫面進行處理。
其中,截取畫面的操作指令的觸發(fā)方式可以為通過至少一個物理按鍵確定觸發(fā)獲取當前畫面的操作指令,也可以為檢測到一個觸控操作手勢來觸發(fā)獲取當前畫面的操作。
相應的,針對保存的所述畫面進行處理可以為僅在移動終端側的處理,比如,可以包括有對所述畫面進行美化、放大、分享等等處理,用戶可以根據自己的需求來進行處理,本實施例中不再進行限定。
可見,通過采用上述方案,就能夠由移動終端側獲取到流媒體信息,通過輸出流媒體信息使得移動終端與終端設備輸出的信息達成同步,在移動終端中通過針對流媒體信息生成操作指令,來控制終端設備側的輸出信息。如此,就能夠達到更加直觀的針對終端設備輸出的信息進行控制,提升控制的準確度。
實施例三
本發(fā)明實施例提供了一種輸出信息控制方法,應用于終端設備,如圖9所示,包括:
步驟901:將輸出的信息轉換為流媒體信息,并將所述流媒體信息發(fā)送給至少一個移動終端,以使得所述至少一個移動終端輸出的流媒體信息與所述終端設備輸出的信息保持同步;
步驟902:接收到所述至少一個移動終端發(fā)來的針對所述流媒體信息的操作指令,基于所述操作指令對輸出的信息進行控制。
這里,所述移動終端可以為智能手機、平板電腦等設備。所述終端設備可以為智能電視,或者可以為能夠通過處理單元進行控制的電視。
上述終端設備輸出的信息,可以為當前終端設備通過其顯示屏輸出的任何內容,比如,參見圖4,在終端設備的顯示屏41中正在輸出一個視頻,圖中示出的為這個視頻中的某一幀畫面;再比如,如果電視為智能電視、或者可以通過盒子等設備接入網絡并展示對應界面的場景,可以通過安裝的應用接入網絡側,并從網絡獲取節(jié)目,這種場景下,終端設備還具備一個狀態(tài)就是為用戶提供交互界面的狀態(tài),比如,參見圖5,通過終端設備提供的這個交互界面可以為用戶提供可選擇的節(jié)目類型等。
需要理解的是,上述附圖4和5僅僅提供了終端設備輸出的信息兩種示意場景,實際處理中,終端設備還可以輸出更多類型的信息,包括有音頻信息等等,本實施例中不進行窮舉。
所述將輸出的信息轉換為流媒體信息,包括:至少截取顯示區(qū)域當前輸出的信息所對應的畫面,將截取到的所述畫面添加到流媒體信息中作為所述流媒體信息中包含的至少一個畫面之一。也就是說,將終端設備側實時輸出的視頻幀進行截屏得到不同時刻對應的畫面,將當前截取的畫面作為流媒體信息中的一個畫面并實時的發(fā)送至移動終端側,如此,就能夠保證終端設備與移動終端之間畫面保持同步。
終端設備(比如,電視)通過RTP協(xié)議將流媒體信息發(fā)送給移動終端。其中,RTP(Real-time Transport Protocol)實時傳輸協(xié)議用來為IP網上的語音、圖像、傳真等多種需要實時傳輸的多媒體數據提供端到端的實時傳輸服務。RTP為Internet上端到端的實時傳輸提供時間信息和流同步,但并不保證服務質量,服務質量由RTCP來提供。RTP用于在單播或多播網絡中傳送實時數據。
流媒體是指Internet上使用流式傳輸技術的連續(xù)時基媒體。當前在Internet上傳輸音頻和視頻等信息主要有兩種方式:下載和流式傳輸兩種方式。下載情況下,用戶需要先下載整個媒體文件到本地,然后才能播放媒體文件。在視頻直播等應用場合,由于生成整個媒體文件要等直播結束,也就是用戶至少要在直播結束后才能看到直播節(jié)目,所以用下載方式不能實現(xiàn)直播。流式傳輸是實現(xiàn)流媒體的關鍵技術。使用流式傳輸可以邊下載邊觀看流媒體節(jié)目。由于Internet是基于分組傳輸的,所以接收端收到的數據包往往有延遲和亂序(流式傳輸構建在UDP上)。要實現(xiàn)流式傳輸,就是要從降低延遲和恢復數據包時序入手。在發(fā)送端,為降低延遲,往往對傳輸數據進行預處理(降低質量和高效壓縮)。在接收端為了恢復時序,采用了接收緩沖;而為了實現(xiàn)媒體的流暢播放,則采用了播放緩沖。
使用接收緩沖,可以將接收到的數據包緩存起來,然后根據數據包的封裝信息(如包序號和時戳等),將亂序的包重新排序,最后將重新排序了的數據包放入播放緩沖播放。
上面在談接收緩沖時,說到了流媒體數據包的封裝信息(包序號和時戳等),這在后面的RTP封裝中會有體現(xiàn)。另外,RealMedia這些流式媒體格式只是編解碼有不同,但對于RTP來說,它們都是待封裝傳輸的流媒體數據而沒有什么不同。
進一步地需要說明的是,本實施例還可以應用于一個終端設備同時與多個移動終端建立連接的情況,比如,參見圖10,一個終端設備1000,同時能夠與三個移動終端分別為1001、1002和1003同時建立連接,并且同時將自身輸出的信息轉換為流媒體信息發(fā)送給上述三個移動終端,以使得這是三個移動終端均與電視同步進行畫面輸出。
在本場景下,關于終端設備針對哪個移動終端反饋的操作指令進行響應,可以采用以下策略中的至少一個:
策略一、從至少一個移動終端中選取一個主控移動終端,所述終端設備僅針對所述主控移動終端發(fā)來的操作指令進行響應。
比如,圖10中,可以設置移動終端1001為主控移動終端,那么終端設備僅響應該移動終端發(fā)來的操作指令。
策略二、終端設備有可能同時接收到兩個及以上的移動終端發(fā)來的操作指令,此時,終端設備可以將預先設置為主控移動終端發(fā)來的操作指令作為最終進行響應的操作指令,比如,參見圖10,可以預先將移動終端1001設置為主控移動終端,一旦出現(xiàn)有多個移動終端發(fā)來操作指令的時候,優(yōu)先對主控移動終端的操作指令進行響應。
策略三、若發(fā)來操作指令的移動終端均不是主控移動終端時,可以任選其中的一個進行響應。
策略四、根據距離移動終端的遠近來選取一個進行響應的移動終端,比如,可以通過與移動終端之間的無線連接進行測距,若多個移動終端同時發(fā)來操作指令時,可以選取距離最近的一個移動終端的指令進行響應。
可見,通過采用上述方案,就能夠由移動終端側獲取到流媒體信息,通過輸出流媒體信息使得移動終端與終端設備輸出的信息達成同步,在移動終端中通過針對流媒體信息生成操作指令,來控制終端設備側的輸出信息。如此,就能夠達到更加直觀的針對終端設備輸出的信息進行控制,提升控制的準確度。
實施例四
本發(fā)明實施例提供了一種移動終端,如圖11示,包括:
設備管理模塊1101,用于獲取終端設備發(fā)來的流媒體信息;
流媒體播放模塊1102,用于控制輸出流媒體信息;
顯示模塊1103,用于在顯示區(qū)域輸出所述流媒體信息;其中,所述流媒體信息與所述終端設備輸出的信息保持同步;
反向控制模塊1104,用于檢測到針對在所述顯示區(qū)域中輸出的所述流媒體信息的操作指令;
通信模塊1105,用于將所述操作指令發(fā)送至所述終端設備側。
這里,所述移動終端可以為智能手機、平板電腦等設備。所述終端設備可以為智能電視,或者可以為能夠通過處理單元進行控制的電視。
需要理解的是,還需要控制移動終端的通信模塊1105與終端設備建立連接,比如,可以建立無線通信連接,基于無線通信連接使得移動終端和終端設備進行信息交互。其中,無線通信連接可以為WIFI連接、或者可以為藍牙連接等等。比如,參見圖12,其中,通信模塊具體為WIFI模塊。
本實施例中詳細說明如何獲取到操作指令,具體如下:
所述反向控制模塊,用于執(zhí)行以下兩種處理方式中至少之一:
處理方式一
在所述顯示區(qū)域中還展示針對終端設備輸出的信息的控制操作界面,其中,所述控制操作界面中至少包括有針對所述信息的播放進度的至少一個控制按鍵、以及針對所述終端設備的至少一種控制按鍵;檢測到針對所述控制操作界面的目標控制按鍵的操作時,基于所述目標控制按鍵對應的功能生成操作指令。
其中,所述控制操作界面可以如圖7所示,其中,包括有進度條的進度控制按鍵71,音量控制按鍵72、以及針對節(jié)目選取的組合按鍵73,這個組合按鍵73中可以包括有上一個節(jié)目、下一個節(jié)目以及暫停按鍵等等,本圖僅為示意其實還包括有其他的按鍵。
另外,需要說明的是,上述場景雖然僅提到了在顯示區(qū)域中提供的操作控制界面,但是,在實際處理中,移動終端還可以獲取自身物理按鍵的控制信息,并轉換為針對流媒體信息的控制指令,比如,可以通過移動終端的音量控制物理按鍵74獲取到音量控制指令,并發(fā)送音量控制指令至終端設備以控制終端設備輸出的信息。
處理方式二
檢測到位于所述顯示區(qū)域中的至少一種操作手勢;基于所述至少一種操作手勢確定針對所述終端設備輸出的信息的操作指令。
與處理方式一的不同之處在于,本處理方式中可以不給予操作控制界面提供的幾種控制按鍵生成控制指令,而是檢測處于顯示區(qū)域中的至少一種操作手勢,進而基于預設的操作手勢與操作指令對應表來確定檢測到的操作手勢所對應的操作指令,如此,得到針對終端設備輸出的信息的操作指令。
其中,所述操作手勢可以由以下信息組成:至少一個觸控點的位置信息及其對應的時刻值。所述位置信息包括有x軸、y軸兩個坐標值。
需要理解的是,操作手勢可以進一步進行特征提取,比如,一條向右側的線,或者一條向左側的線、還可以為一個銳角、一個鈍角、或者多個銳角多個鈍角。也就是說,基于操作手勢中包含的多個位置信息及其對應的時刻值,能夠確定一個操作軌跡,提取這個操作軌跡中的特征信息,比如,該操作軌跡為基本沒有弧度的一條線,那么該操作手勢對應的特征信息為一條線,另外,還可以獲取操作軌跡的方向,將該方向作為操作手勢的方向,如此,就能夠特征提取后的操作手勢。
相應的,所述操作手勢與操作指令對應表中可以包括:向右滑動的一條線對應的為快進,另外,快進的進度可以根據向右滑動的速度或者向右滑動得距離來確定,本示例中不做限定;再比如,操作手勢中具備一個銳角,那么將輸出的畫面進行縮小等等。關于操作手勢與操作指令的對應,本實施例中不進行窮舉,但是可以理解的是,根據實際需求能夠設置多種組合,或者,還可以根據用戶的使用習慣來進行設置。
本處理方式對應的操作場景可以參見圖8,用戶采用操作手勢81向右邊滑動,此時,根據預設的對應表可以確定將輸出的信息快進。
將所述操作指令發(fā)送至所述終端設備側,以使得所述終端設備基于所述操作指令至少對其輸出的信息進行控制,其中,所述至少對其輸出的信息進行控制可以包括選中輸出的信息中的某一個菜單項,或者,對輸出的多媒體信息進行播放進度的控制等等。
進一步地,本實施例還提供一種處理場景,所述移動終端還包括:
處理單元1106,用于檢測到針對在所述移動終端的顯示區(qū)域輸出的流媒體信息的截取指令;基于所述截取指令獲取到所述流媒體信息對應的畫面并保存;針對保存的所述畫面進行處理。
其中,截取畫面的操作指令的觸發(fā)方式可以為通過至少一個物理按鍵確定觸發(fā)獲取當前畫面的操作指令,也可以為檢測到一個觸控操作手勢來觸發(fā)獲取當前畫面的操作。
相應的,針對保存的所述畫面進行處理可以為僅在移動終端側的處理,比如,可以包括有對所述畫面進行美化、放大、分享等等處理,用戶可以根據自己的需求來進行處理,本實施例中不再進行限定。
本實施例的一種實施方案可以參見圖12,設備管理模塊:用于管理與電視側建立的通信連接。反向控制模塊:用于偵測移動終端上的控制操作,根據控制操作生成控制指令,并將所述控制指令發(fā)送給電視側。流媒體播放模塊:播放接收到的流媒體數據。顯示模塊:用于顯示播放畫面,并顯示相應的交互界面。
可見,通過采用上述方案,就能夠由移動終端側獲取到流媒體信息,通過輸出流媒體信息使得移動終端與終端設備輸出的信息達成同步,在移動終端中通過針對流媒體信息生成操作指令,來控制終端設備側的輸出信息。如此,就能夠達到更加直觀的針對終端設備輸出的信息進行控制,為用戶提供了更加豐富的交互場景,并且提升控制的準確度。
實施例五
本發(fā)明實施例提供了一種終端設備,如圖13所示,包括:
顯示模塊1301,用于輸出信息;
屏幕分層模塊1302,用于將輸出的信息轉換為流媒體信息;
流媒體發(fā)送模塊1303,用于將所述流媒體信息發(fā)送給通信模塊;
通信模塊1304,用于將所述流媒體信息發(fā)送給至少一個移動終端;
多設備管理模塊1305,用于接收到所述至少一個移動終端發(fā)來的針對所述流媒體信息的操作指令;
反向控制管理模塊1306,用于基于所述操作指令對輸出的信息進行控制。
所述屏幕分層模塊1302,用于至少截取顯示區(qū)域當前輸出的信息所對應的畫面,將截取到的所述畫面添加到流媒體信息中作為所述流媒體信息中包含的至少一個畫面之一。也就是說,將終端設備側實時輸出的視頻幀進行截屏得到不同時刻對應的畫面,將當前截取的畫面作為流媒體信息中的一個畫面并實時的發(fā)送至移動終端側,如此,就能夠保證終端設備與移動終端之間畫面保持同步。
進一步地需要說明的是,本實施例還可以應用于一個終端設備同時與多個移動終端建立連接的情況,比如,參見圖10,一個終端設備1000,同時能夠與三個移動終端分別為1001、1002和1003同時建立連接,并且同時將自身輸出的信息轉換為流媒體信息發(fā)送給上述三個移動終端,以使得這是三個移動終端均與電視同步進行畫面輸出。
在本場景下,關于終端設備針對哪個移動終端反饋的操作指令進行響應,可以采用以下策略中的至少一個:
策略一、從至少一個移動終端中選取一個主控移動終端,所述終端設備僅針對所述主控移動終端發(fā)來的操作指令進行響應。
比如,圖10中,可以設置移動終端1001為主控移動終端,那么終端設備僅響應該移動終端發(fā)來的操作指令。
策略二、終端設備有可能同時接收到兩個及以上的移動終端發(fā)來的操作指令,此時,終端設備可以將預先設置為主控移動終端發(fā)來的操作指令作為最終進行響應的操作指令,比如,參見圖10,可以預先將移動終端1001設置為主控移動終端,一旦出現(xiàn)有多個移動終端發(fā)來操作指令的時候,優(yōu)先對主控移動終端的操作指令進行響應。
策略三、若發(fā)來操作指令的移動終端均不是主控移動終端時,可以任選其中的一個進行響應。
策略四、根據距離移動終端的遠近來選取一個進行響應的移動終端,比如,可以通過與移動終端之間的無線連接進行測距,若多個移動終端同時發(fā)來操作指令時,可以選取距離最近的一個移動終端的指令進行響應。
圖14提供了本方案中終端設備的一種具體實施方式,其中,顯示模塊用于顯示電視畫面;屏幕分層模塊,用于處理當前的電視畫面,對畫面進行分層處理;流媒體發(fā)送模塊,用于將分層處理后的流媒體數據通過wifi發(fā)送給移動終端。
當需要進行一個電視投影到多個移動終端時,需要以下三個模塊:
音頻流分通道模塊,用于對音頻進行分配,決定音頻流的發(fā)送通道;多設備管理模塊,當與電視連接的移動終端為多個時,此模塊可用于管理多個終端上不同的顯示內容;反向控制管理模塊,當與電視連接的移動終端為多個時,此模塊可用于管理多個移動終端發(fā)出的控制指令。
需要說明的是,上述音頻流分通道模塊可以設置與流媒體發(fā)送模塊中,也就是由流媒體發(fā)送模塊實現(xiàn)音頻流分通道模塊的功能,本實施例中不再進行具體說明。
下面以終端設備為電視為例,結合圖15進行實施說明:
1.電視與移動終端建立wifi連接通道,其中,可以由電視放發(fā)起連接請求,也可以由移動終端發(fā)起連接請求。該wifi連接通道可以是wifi-direct,也可以是soft-ap的形式。在此步驟中,可以加入可選的驗證步驟,比如電視在接收到移動終端發(fā)送的連接請求時,會判斷驗證是否通過,只有驗證通過才會建立連接通道。
2.電視在與移動終端建立連接通道之后,捕獲當前顯示的畫面信息,此步驟中,由于屏幕投影傳輸的是視頻流的形式,是以截圖的形式捕獲當前顯示畫面。
3.對捕獲后的畫面進行分層處理。
4.將處理后的視頻流發(fā)送給移動終端。本步驟中,電視通過RTP協(xié)議將視頻流發(fā)送給移動終端。
5.移動終端播放接收到的視頻流,移動終端根據接收到的視頻流,進行相應的編解碼,并進行播放。
6.移動終端可以通過觸摸屏或者其他按鍵偵測用戶的操作指令,根據操作指令生成相應的控制指令,控制指令可以是快進、快退、暫停、播放等媒體控制指令;也可以是上、下、左、右、選擇等界面操作指令。
7.移動終端將控制指令發(fā)送給電視,本步驟中,移動終端通過RTSP協(xié)議將控制指令發(fā)送給電視。
RTSP協(xié)議,Real Time Streaming Protocol,實時傳輸流協(xié)議,
RTSP協(xié)議以客戶服務器方式工作,它是一個多媒體播放控制協(xié)議,用來使用戶在播放從因特網下載的實時數據時能夠進行控制,如:暫停/繼續(xù)、后退、前進等。因此RTSP又稱為“因特網錄像機遙控協(xié)議”。
要實現(xiàn)RTSP的控制功能,不僅要有協(xié)議,而且要有專門的媒體播放器(media player)和媒體服務器(media server)。媒體服務器與媒體播放器的關系是服務器與客戶的關系。本步驟中,是移動終端(媒體播放器)與電視(媒體服務器)的關系。
RTSP有兩類報文:請求報文和響應報文。請求報文是指從客戶向服務器發(fā)送請求報文,響應報文是指從服務器到客戶的回答。
由于RTSP是面向正文的(text-oriented),因此在報文中的每一個字段都是一些ASCII碼串,因而每個字段的長度都是不確定的。
RTSP報文由三部分組成,即開始行、首部行和實體主體。在請求報文中,開始行就是請求行,RTSP請求報文的方法包括:OPTIONS、DESCRIBE、SETUP、TEARDOWN、PLAY、PAUSE、GET_PARAMETER和SET_PARAMETER。
8.電視接收終端發(fā)送的控制指令,并執(zhí)行相應的控制操作,根據控制操作調整相應的視頻流,比如快進、快退等。
可見,通過采用上述方案,就能夠由移動終端側獲取到流媒體信息,通過輸出流媒體信息使得移動終端與終端設備輸出的信息達成同步,在移動終端中通過針對流媒體信息生成操作指令,來控制終端設備側的輸出信息。如此,就能夠達到更加直觀的針對終端設備輸出的信息進行控制,為用戶提供了更加豐富的交互場景,并且提升控制的準確度。
需要說明的是,在本文中,術語“包括”、“包含”或者其任何其他變體意在涵蓋非排他性的包含,從而使得包括一系列要素的過程、方法、物品或者裝置不僅包括那些要素,而且還包括沒有明確列出的其他要素,或者是還包括為這種過程、方法、物品或者裝置所固有的要素。在沒有更多限制的情況下,由語句“包括一個……”限定的要素,并不排除在包括該要素的過程、方法、物品或者裝置中還存在另外的相同要素。
上述本發(fā)明實施例序號僅僅為了描述,不代表實施例的優(yōu)劣。
通過以上的實施方式的描述,本領域的技術人員可以清楚地了解到上述實施例方法可借助軟件加必需的通用硬件平臺的方式來實現(xiàn),當然也可以通過硬件,但很多情況下前者是更佳的實施方式?;谶@樣的理解,本發(fā)明的技術方案本質上或者說對現(xiàn)有技術做出貢獻的部分可以以軟件產品的形式體現(xiàn)出來,該計算機軟件產品存儲在一個存儲介質(如ROM/RAM、磁碟、光盤)中,包括若干指令用以使得一臺終端設備(可以是手機,計算機,服務器,空調器,或者網絡設備等)執(zhí)行本發(fā)明各個實施例所述的方法。
以上僅為本發(fā)明的優(yōu)選實施例,并非因此限制本發(fā)明的專利范圍,凡是利用本發(fā)明說明書及附圖內容所作的等效結構或等效流程變換,或直接或間接運用在其他相關的技術領域,均同理包括在本發(fā)明的專利保護范圍內。