本發(fā)明涉及通信技術(shù)領(lǐng)域,特別涉及一種多屏互動方法及裝置。
背景技術(shù):
現(xiàn)有技術(shù)中的多屏互動技術(shù)主要包括強(qiáng)制轉(zhuǎn)屏和分辨率協(xié)商轉(zhuǎn)屏(在轉(zhuǎn)屏之前提供了分辨率協(xié)商機(jī)制),但是現(xiàn)有技術(shù)的多屏互動技術(shù)主要解決如何預(yù)協(xié)商的問題,對于使用過程中的改變無法解決。
多屏互動方案包括屏幕分享和內(nèi)容分享,其中屏幕分享在發(fā)送端包括抓屏、編碼、打包、發(fā)送等流程,在接收端包括接收、解包、解碼、播放的流程。同屏的方案存在一個問題,就是所有的顯示都是屏幕拷貝,如果接收端和發(fā)送端面臨的場景或者現(xiàn)實方式不同,可能因為發(fā)送端和接收端的情況差異,導(dǎo)致效率低或者顯示的方式不符合要求。例如當(dāng)一個分辨率很高的設(shè)備向低分辨率的設(shè)備進(jìn)行傳輸?shù)臅r候,如發(fā)送端可以抓屏到1280*1080的分辨率,但是接收端只能顯示到1280*720,甚至更低的分辨率,這樣對發(fā)送端來說,消耗的資源比較多,但是并沒有更好的效果;再例如發(fā)送端是橫屏而接收端是豎屏,這樣顯示的體驗會比較差,遇到這樣的情況需要單獨(dú)設(shè)計方案來實現(xiàn)強(qiáng)制橫屏或豎屏,但是應(yīng)用場景會非常受限。
技術(shù)實現(xiàn)要素:
本發(fā)明的目的在于提供一種多屏互動方法及裝置,解決了多屏互動過程中因為發(fā)送端和接收端的情況差異導(dǎo)致效率低下或顯示方式不符合要求的問題,動態(tài)協(xié)商發(fā)送端和接收端的能力,提升多屏互動的效率和效果。
為了達(dá)到上述目的,本發(fā)明實施例提供一種多屏互動方法,應(yīng)用于發(fā)送端,包括:
利用第一傳輸參數(shù)向接收端傳輸同屏數(shù)據(jù);
傳輸同屏數(shù)據(jù)的過程中,實時檢測參數(shù)調(diào)整的觸發(fā)信息;
當(dāng)檢測到的觸發(fā)信息滿足預(yù)設(shè)觸發(fā)條件時,調(diào)整所述第一傳輸參數(shù),得到第二傳輸參數(shù),并利用所述第二傳輸參數(shù)傳輸后續(xù)的同屏數(shù)據(jù)。
其中,所述實時檢測參數(shù)調(diào)整的觸發(fā)信息,具體包括:
實時檢測發(fā)送端當(dāng)前的資源占用情況。
其中,所述當(dāng)檢測到的觸發(fā)信息滿足預(yù)設(shè)觸發(fā)條件時,調(diào)整所述第一傳輸參數(shù),具體包括:
當(dāng)檢測到的發(fā)送端當(dāng)前的資源占用情況超出第一預(yù)設(shè)情況或者低于第二預(yù)設(shè)情況,則調(diào)整所述第一傳輸參數(shù);其中,所述第二預(yù)設(shè)情況低于所述第一預(yù)設(shè)情況。
其中,所述調(diào)整所述第一傳輸參數(shù),具體包括:
若所述資源占用情況信息顯示所述資源占用情況超過第一預(yù)設(shè)情況,則所述發(fā)送端主動降低所述第一傳輸參數(shù);
若所述資源占用情況信息顯示所述資源占用情況低于第二預(yù)設(shè)情況,則獲取所述接收端當(dāng)前支持的能力參數(shù)信息,并基于所述接收端當(dāng)前支持的能力參數(shù)信息調(diào)整所述第一傳輸參數(shù)。
其中,所述實時檢測參數(shù)調(diào)整的觸發(fā)信息,具體包括:
向接收端發(fā)送詢問當(dāng)前網(wǎng)絡(luò)狀況信息的第一詢問消息;
接收所述接收端返回的攜帶當(dāng)前網(wǎng)絡(luò)狀況信息的第一詢問響應(yīng)消息;
實時檢測所述第一詢問響應(yīng)消息,獲得當(dāng)前網(wǎng)絡(luò)狀況信息。
其中,當(dāng)檢測到的觸發(fā)信息滿足預(yù)設(shè)觸發(fā)條件時,調(diào)整所述第一傳輸參數(shù),具體包括:
當(dāng)檢測到當(dāng)前網(wǎng)絡(luò)狀況低于預(yù)設(shè)網(wǎng)絡(luò)狀況時,調(diào)整所述第一傳輸參數(shù)。
其中,所述實時檢測參數(shù)調(diào)整的觸發(fā)信息,具體包括:
接收所述接收端發(fā)送的標(biāo)識接收端能力參數(shù)變化的變化消息。
其中,當(dāng)檢測到的觸發(fā)信息滿足預(yù)設(shè)觸發(fā)條件時,調(diào)整所述第一傳輸參數(shù),具體包括:
當(dāng)檢測到所述變化消息時,向接收端發(fā)送詢問所述接收端支持的能力參數(shù)信息的第二詢問消息;
接收并解析所述接收端返回的攜帶所述接收端支持的能力參數(shù)信息的第二詢問響應(yīng)消息,從中獲取所述接收端支持的能力參數(shù)信息;
根據(jù)所述接收端支持的能力參數(shù)信息調(diào)整所述第一傳輸參數(shù)。
其中,所述利用第一傳輸參數(shù)向接收端傳輸同屏數(shù)據(jù)之前還包括:
與接收端協(xié)商確定發(fā)送端和接收端共同支持的能力參數(shù)信息,并根據(jù)所述共同支持的能力參數(shù)信息確定第一傳輸參數(shù)。
其中,所述與接收端協(xié)商確定發(fā)送端和接收端共同支持的能力參數(shù)信息,具體包括:
向接收端發(fā)送詢問所述接收端支持的第一能力參數(shù)信息的第三詢問消息;
接收并解析所述接收端返回的攜帶所述接收端支持的能力參數(shù)信息的第三詢問響應(yīng)消息,從中獲取所述接收端支持的第一能力參數(shù)信息;
根據(jù)所述接收端支持的第一能力參數(shù)信息和所述發(fā)送端自身支持的第二能力參數(shù)信息,確定發(fā)送端和接收端共同支持的能力參數(shù)信息。
其中,所述與接收端協(xié)商確定發(fā)送端和接收端共同支持的能力參數(shù)信息,具體包括:
接收所述接收端發(fā)送的詢問發(fā)送端支持的第二能力參數(shù)信息的第四詢問消息;
向接收端發(fā)送攜帶所述發(fā)送端支持的第二能力參數(shù)信息的第四詢問響應(yīng)消息,使得所述接收端能夠根據(jù)自身支持的第一能力參數(shù)信息和所述發(fā)送端支持的第二能力參數(shù)信息確定所述發(fā)送端和所述接收端共同支持的能力參數(shù)信息;
接收所述接收端發(fā)送的所述發(fā)送端和所述接收端共同支持的能力參數(shù)信息。
本發(fā)明實施例還提供一種多屏互動方法,應(yīng)用于接收端,包括:
接收發(fā)送端利用第一傳輸參數(shù)傳輸?shù)耐翑?shù)據(jù);
傳輸同屏數(shù)據(jù)的過程中,當(dāng)發(fā)送端檢測到觸發(fā)信息滿足預(yù)設(shè)觸發(fā)條件時,接收所述發(fā)送端利用調(diào)整后的第二傳輸參數(shù)傳輸?shù)耐翑?shù)據(jù)。
其中,當(dāng)觸發(fā)信息為發(fā)送端當(dāng)前的資源占用情況,且所述發(fā)送端當(dāng)前的資源占用情況低于第二預(yù)設(shè)情況時,所述多屏互動方法還包括:
接收所述發(fā)送端發(fā)送的詢問所述接收端當(dāng)前支持的能力參數(shù)信息的第五詢問消息;
向所述發(fā)送端返回攜帶所述接收端當(dāng)前支持的能力參數(shù)信息的第五詢問響應(yīng)消息,使得所述發(fā)送端能夠從中獲取所述接收端當(dāng)前支持的能力參數(shù)信息并基于所述接收端當(dāng)前支持的能力參數(shù)信息調(diào)整所述第一傳輸參數(shù)。
其中,當(dāng)所述觸發(fā)信息為當(dāng)前網(wǎng)絡(luò)狀況信息時,所述多屏互動方法還包括:
接收所述發(fā)送端發(fā)送的詢問當(dāng)前網(wǎng)絡(luò)狀況信息的第一詢問消息;
向所述發(fā)送端返回攜帶當(dāng)前網(wǎng)絡(luò)狀況信息的第一詢問響應(yīng)消息,使得所述發(fā)送端能夠從中獲取當(dāng)前網(wǎng)絡(luò)狀況信息。
其中,當(dāng)接收端能力參數(shù)變化時,所述多屏互動方法還包括:
向所述發(fā)送端發(fā)送標(biāo)識接收端能力參數(shù)變化的變化消息;
接收所述發(fā)送端檢測到所述變化消息后發(fā)送的詢問所述接收端當(dāng)前支持的能力參數(shù)信息的第二詢問消息;
向所述發(fā)送端返回攜帶所述接收端當(dāng)前支持的能力參數(shù)信息的第二詢問響應(yīng)消息,使得所述發(fā)送端能夠從中獲取所述接收端當(dāng)前支持的能力參數(shù)信息并根據(jù)所述接收端當(dāng)前支持的能力參數(shù)信息調(diào)整所述第一傳輸參數(shù)。
其中,所述接收發(fā)送端利用第一傳輸參數(shù)傳輸?shù)耐翑?shù)據(jù)之前還包括:
與發(fā)送端協(xié)商確定發(fā)送端和接收端共同支持的能力參數(shù)信息,使得發(fā)送端能夠根據(jù)所述共同支持的能力參數(shù)信息確定第一傳輸參數(shù)。
其中,所述與發(fā)送端協(xié)商確定發(fā)送端和接收端共同支持的能力參數(shù)信息,具體包括:
接收所述發(fā)送端發(fā)送的詢問所述接收端支持的第一能力參數(shù)信息的第三詢問消息;
向所述發(fā)送端返回攜帶所述接收端支持的第一能力參數(shù)信息的第三詢問響應(yīng)消息,使得發(fā)送端能夠根據(jù)所述接收端支持的第一能力參數(shù)信息和所述發(fā)送端自身支持的第二能力參數(shù)信息,確定發(fā)送端和接收端共同支持的能力參數(shù)信息。
其中,與發(fā)送端協(xié)商確定發(fā)送端和接收端共同支持的能力參數(shù)信息,具體包括:
向發(fā)送端發(fā)送詢問所述發(fā)送端支持的第二能力參數(shù)信息的第四詢問消息;
接收并解析所述發(fā)送端返回的攜帶所述發(fā)送端支持的第二能力參數(shù)信息的 第四詢問響應(yīng)消息,從中獲取所述發(fā)送端支持的第二能力參數(shù)信息;
根據(jù)所述發(fā)送端支持的第二能力參數(shù)信息和所述接收端自身支持的第一能力參數(shù)信息,確定所述發(fā)送端和所述接收端共同支持的能力參數(shù)信息并將所述共同支持的能力參數(shù)信息發(fā)送給所述發(fā)送端。
本發(fā)明實施例還提供一種多屏互動裝置,應(yīng)用于發(fā)送端,包括:
傳輸模塊,用于利用第一傳輸參數(shù)向接收端傳輸同屏數(shù)據(jù);
檢測模塊,用于在傳輸同屏數(shù)據(jù)的過程中,實時檢測參數(shù)調(diào)整的觸發(fā)信息;
調(diào)整模塊,用于當(dāng)檢測到的觸發(fā)信息滿足預(yù)設(shè)觸發(fā)條件時,調(diào)整所述第一傳輸參數(shù),得到第二傳輸參數(shù),并利用所述第二傳輸參數(shù)傳輸后續(xù)的同屏數(shù)據(jù)。
其中,所述檢測模塊包括:
資源占用檢測模塊,用于實時檢測發(fā)送端當(dāng)前的資源占用情況。
其中,所述調(diào)整模塊包括:
資源占用調(diào)整模塊,用于當(dāng)檢測到的發(fā)送端當(dāng)前的資源占用情況超出第一預(yù)設(shè)情況或者低于第二預(yù)設(shè)情況,則調(diào)整所述第一傳輸參數(shù);其中,所述第二預(yù)設(shè)情況低于所述第一預(yù)設(shè)情況。
其中,所述資源占用調(diào)整模塊包括:
第一調(diào)整子模塊,用于若所述資源占用情況信息顯示所述資源占用情況超過第一預(yù)設(shè)情況,則所述發(fā)送端主動降低所述第一傳輸參數(shù);
第二調(diào)整子模塊,用于若所述資源占用情況信息顯示所述資源占用情況低于第二預(yù)設(shè)情況,則獲取所述接收端當(dāng)前支持的能力參數(shù)信息,并基于所述接收端當(dāng)前支持的能力參數(shù)信息調(diào)整所述第一傳輸參數(shù)。
其中,所述檢測模塊包括:
第一發(fā)送模塊,用于向接收端發(fā)送詢問當(dāng)前網(wǎng)絡(luò)狀況信息的第一詢問消息;
第一接收模塊,用于接收所述接收端返回的攜帶當(dāng)前網(wǎng)絡(luò)狀況信息的第一詢問響應(yīng)消息;
網(wǎng)絡(luò)狀況檢測模塊,用于實時檢測所述第一詢問響應(yīng)消息,獲得當(dāng)前網(wǎng)絡(luò)狀況信息。
其中,所述調(diào)整模塊包括:
網(wǎng)絡(luò)狀況調(diào)整模塊,用于當(dāng)檢測到當(dāng)前網(wǎng)絡(luò)狀況低于預(yù)設(shè)網(wǎng)絡(luò)狀況時,調(diào) 整所述第一傳輸參數(shù)。
其中,所述檢測模塊包括:
能力變化檢測模塊,用于接收所述接收端發(fā)送的標(biāo)識接收端能力參數(shù)變化的變化消息。
其中,所述調(diào)整模塊包括:
第二發(fā)送模塊,用于當(dāng)檢測到所述變化消息時,向接收端發(fā)送詢問所述接收端支持的能力參數(shù)信息的第二詢問消息;
第三接收模塊,接收并解析所述接收端返回的攜帶所述接收端支持的能力參數(shù)信息的第二詢問響應(yīng)消息,從中獲取所述接收端支持的能力參數(shù)信息;
能力調(diào)整模塊,用于根據(jù)所述接收端支持的能力參數(shù)信息調(diào)整所述第一傳輸參數(shù)。
其中,所述裝置還包括:
第一參數(shù)確定模塊,用于與接收端協(xié)商確定發(fā)送端和接收端共同支持的能力參數(shù)信息,并根據(jù)所述共同支持的能力參數(shù)信息確定第一傳輸參數(shù)。
其中,所述第一參數(shù)確定模塊包括:
第三發(fā)送模塊,用于向接收端發(fā)送詢問所述接收端支持的第一能力參數(shù)信息的第三詢問消息;
第四接收模塊,用于接收并解析所述接收端返回的攜帶所述接收端支持的能力參數(shù)信息的第三詢問響應(yīng)消息,從中獲取所述接收端支持的第一能力參數(shù)信息;
第一確定子模塊,用于根據(jù)所述接收端支持的第一能力參數(shù)信息和所述發(fā)送端自身支持的第二能力參數(shù)信息,確定發(fā)送端和接收端共同支持的能力參數(shù)信息。
其中,所述第一參數(shù)確定模塊包括:
第五接收模塊,用于接收所述接收端發(fā)送的詢問發(fā)送端支持的第二能力參數(shù)信息的第四詢問消息;
第四發(fā)送模塊,用于向接收端發(fā)送攜帶所述發(fā)送端支持的第二能力參數(shù)信息的第四詢問響應(yīng)消息,使得所述接收端能夠根據(jù)自身支持的第一能力參數(shù)信息和所述發(fā)送端支持的第二能力參數(shù)信息確定所述發(fā)送端和所述接收端共同支 持的能力參數(shù)信息;
第六接收模塊,用于接收所述接收端發(fā)送的所述發(fā)送端和所述接收端共同支持的能力參數(shù)信息。
本發(fā)明實施例還提供一種多屏互動裝置,應(yīng)用于接收端,包括:
第一數(shù)據(jù)接收模塊,用于接收發(fā)送端利用第一傳輸參數(shù)傳輸?shù)耐翑?shù)據(jù);
第二數(shù)據(jù)接收模塊,用于在傳輸同屏數(shù)據(jù)的過程中,當(dāng)發(fā)送端檢測到觸發(fā)信息滿足預(yù)設(shè)觸發(fā)條件時,接收所述發(fā)送端利用調(diào)整后的第二傳輸參數(shù)傳輸?shù)耐翑?shù)據(jù)。
其中,當(dāng)觸發(fā)信息為發(fā)送端當(dāng)前的資源占用情況,且所述發(fā)送端當(dāng)前的資源占用情況低于第二預(yù)設(shè)情況時,所述多屏互動裝置還包括:
第七接收模塊,用于接收所述發(fā)送端發(fā)送的詢問所述接收端當(dāng)前支持的能力參數(shù)信息的第五詢問消息;
第五發(fā)送模塊,用于向所述發(fā)送端返回攜帶所述接收端當(dāng)前支持的能力參數(shù)信息的第五詢問響應(yīng)消息,使得所述發(fā)送端能夠從中獲取所述接收端當(dāng)前支持的能力參數(shù)信息并基于所述接收端當(dāng)前支持的能力參數(shù)信息調(diào)整所述第一傳輸參數(shù)。
其中,當(dāng)所述觸發(fā)信息為當(dāng)前網(wǎng)絡(luò)狀況信息時,所述多屏互動裝置還包括:
第八接收模塊,用于接收所述發(fā)送端發(fā)送的詢問當(dāng)前網(wǎng)絡(luò)狀況信息的第一詢問消息;
第六發(fā)送模塊,用于向所述發(fā)送端返回攜帶當(dāng)前網(wǎng)絡(luò)狀況信息的第一詢問響應(yīng)消息,使得所述發(fā)送端能夠從中獲取當(dāng)前網(wǎng)絡(luò)狀況信息。
其中,當(dāng)接收端能力參數(shù)變化時,所述多屏互動裝置還包括:
第七發(fā)送模塊,用于向所述發(fā)送端發(fā)送標(biāo)識接收端能力參數(shù)變化的變化消息;
第九接收模塊,用于接收所述發(fā)送端檢測到所述變化消息后發(fā)送的詢問所述接收端當(dāng)前支持的能力參數(shù)信息的第二詢問消息;
第八發(fā)送模塊,用于向所述發(fā)送端返回攜帶所述接收端當(dāng)前支持的能力參數(shù)信息的第二詢問響應(yīng)消息,使得所述發(fā)送端能夠從中獲取所述接收端當(dāng)前支持的能力參數(shù)信息并根據(jù)所述接收端當(dāng)前支持的能力參數(shù)信息調(diào)整所述第一傳 輸參數(shù)。
其中,所述多屏互動裝置還包括:
第二參數(shù)確定模塊,用于與發(fā)送端協(xié)商確定發(fā)送端和接收端共同支持的能力參數(shù)信息,使得發(fā)送端能夠根據(jù)所述共同支持的能力參數(shù)信息確定第一傳輸參數(shù)。
其中,所述第二參數(shù)確定模塊包括:
詢問接收模塊,用于接收所述發(fā)送端發(fā)送的詢問所述接收端支持的第一能力參數(shù)信息的第三詢問消息;
返回模塊,用于向所述發(fā)送端返回攜帶所述接收端支持的第一能力參數(shù)信息的第三詢問響應(yīng)消息,使得發(fā)送端能夠根據(jù)所述接收端支持的第一能力參數(shù)信息和所述發(fā)送端自身支持的第二能力參數(shù)信息,確定發(fā)送端和接收端共同支持的能力參數(shù)信息。
其中,所述第二參數(shù)確定模塊包括:
詢問發(fā)送模塊,用于向發(fā)送端發(fā)送詢問所述發(fā)送端支持的第二能力參數(shù)信息的第四詢問消息;
接收解析模塊,用于接收并解析所述發(fā)送端返回的攜帶所述發(fā)送端支持的第二能力參數(shù)信息的第四詢問響應(yīng)消息,從中獲取所述發(fā)送端支持的第二能力參數(shù)信息;
第二確定子模塊,用于根據(jù)所述發(fā)送端支持的第二能力參數(shù)信息和所述接收端自身支持的第一能力參數(shù)信息,確定所述發(fā)送端和所述接收端共同支持的能力參數(shù)信息并將所述共同支持的能力參數(shù)信息發(fā)送給所述發(fā)送端。
本發(fā)明的上述技術(shù)方案至少具有如下有益效果:
本發(fā)明實施例的多屏互動方法及裝置中,在同屏數(shù)據(jù)的傳輸過程中,實時的檢測傳輸參數(shù)調(diào)整的觸發(fā)信息,當(dāng)觸發(fā)信息滿足觸發(fā)條件時,發(fā)送端和接收端實時協(xié)商并調(diào)整第一傳輸參數(shù),進(jìn)而得到適合當(dāng)前同屏傳輸?shù)牡诙鬏攨?shù),再利用第二傳輸參數(shù)傳輸后續(xù)的同屏數(shù)據(jù);該多屏互動方法實現(xiàn)了動態(tài)協(xié)商發(fā)送端能力和接收端能力,能夠及時調(diào)整傳輸參數(shù),提高同屏傳輸?shù)男屎托Ч?/p>
附圖說明
圖1表示本發(fā)明實施例的發(fā)送端的多屏互動方法的基本步驟流程圖;
圖2表示本發(fā)明實施例的接收端的多屏互動方法的基本步驟流程圖;
圖3表示本發(fā)明實施例的基于RTSP的屏幕共享流程圖;
圖4表示本發(fā)明實施例的發(fā)送端的多屏互動裝置的組成結(jié)構(gòu)圖;
圖5表示本發(fā)明實施例的接收端的多屏互動裝置的組成結(jié)構(gòu)圖;
圖6表示本發(fā)明實施例提供的發(fā)送端的多屏互動裝置和接收端的多屏互動裝置的多屏互動原理圖。
具體實施方式
為使本發(fā)明要解決的技術(shù)問題、技術(shù)方案和優(yōu)點(diǎn)更加清楚,下面將結(jié)合附圖及具體實施例進(jìn)行詳細(xì)描述。
本發(fā)明針對現(xiàn)有技術(shù)中多屏互動過程中因為發(fā)送端和接收端的情況差異導(dǎo)致效率低下或顯示方式不符合要求的問題,提供一種多屏互動方法及裝置,在同屏數(shù)據(jù)的傳輸過程中,實時的檢測傳輸參數(shù)調(diào)整的觸發(fā)信息,當(dāng)觸發(fā)信息滿足觸發(fā)條件時,發(fā)送端和接收端實時協(xié)商并調(diào)整第一傳輸參數(shù),進(jìn)而得到適合當(dāng)前同屏傳輸?shù)牡诙鬏攨?shù),再利用第二傳輸參數(shù)傳輸后續(xù)的同屏數(shù)據(jù);該多屏互動方法實現(xiàn)了動態(tài)協(xié)商發(fā)送端能力和接收端能力,能夠及時調(diào)整傳輸參數(shù),提高同屏傳輸?shù)男屎托Ч?/p>
需要說明的是,本發(fā)明實施例提供的多屏互動方法應(yīng)用于包括至少一個發(fā)送端和至少一個接收端的環(huán)境中,一個發(fā)送端可以給一個接收端發(fā)送同屏數(shù)據(jù)也可以給多個接收端發(fā)送同屏數(shù)據(jù),若給多個接收端發(fā)送同屏數(shù)據(jù)可采用分別與多個接收端協(xié)商的確定對應(yīng)的多個傳輸參數(shù)的原則發(fā)送也可采用綜合多個接收端能力確定統(tǒng)一傳輸參數(shù)的原則發(fā)送,在此不作具體限定;還可采用多個發(fā)送端給同一個接收端發(fā)送同屏數(shù)據(jù),多個發(fā)送端分別跟接收端協(xié)商確定多個傳輸參數(shù),通過多個傳輸參數(shù)將同屏數(shù)據(jù)傳輸?shù)浇邮斩说念A(yù)設(shè)顯示屏進(jìn)行顯示。此外,上述一對多或多對一的數(shù)據(jù)傳輸方式不是本申請的著重點(diǎn),且屬于本領(lǐng)域技術(shù)人員能夠?qū)崿F(xiàn)的方案,在此不詳細(xì)解釋。
下面分別從發(fā)送端和接收端的多屏互動方法對本發(fā)明實施例做具體解釋:如圖1所示,本發(fā)明實施例提供一種多屏互動方法,應(yīng)用于發(fā)送端,包括:
步驟11,利用第一傳輸參數(shù)向接收端傳輸同屏數(shù)據(jù);
步驟12,傳輸同屏數(shù)據(jù)的過程中,實時檢測參數(shù)調(diào)整的觸發(fā)信息;
步驟13,當(dāng)檢測到的觸發(fā)信息滿足預(yù)設(shè)觸發(fā)條件時,調(diào)整所述第一傳輸參數(shù),得到第二傳輸參數(shù),并利用所述第二傳輸參數(shù)傳輸后續(xù)的同屏數(shù)據(jù)。
如圖2所示,本發(fā)明實施例還提供一種多屏互動方法,應(yīng)用于接收端,包括:
步驟21,接收發(fā)送端利用第一傳輸參數(shù)傳輸?shù)耐翑?shù)據(jù);
步驟22,傳輸同屏數(shù)據(jù)的過程中,當(dāng)發(fā)送端檢測到觸發(fā)信息滿足預(yù)設(shè)觸發(fā)條件時,接收所述發(fā)送端利用調(diào)整后的第二傳輸參數(shù)傳輸?shù)耐翑?shù)據(jù)。
本發(fā)明上述實施例中,第一傳輸參數(shù)為傳輸同屏數(shù)據(jù)之前發(fā)送端與接收端協(xié)商確定的,即應(yīng)用于發(fā)送端的步驟11之前還包括:
步驟14,與接收端協(xié)商確定發(fā)送端和接收端共同支持的能力參數(shù)信息,并根據(jù)所述共同支持的能力參數(shù)信息確定第一傳輸參數(shù)。
應(yīng)用于接收端的步驟21之前還包括:
步驟23,與發(fā)送端協(xié)商確定發(fā)送端和接收端共同支持的能力參數(shù)信息,使得發(fā)送端能夠根據(jù)所述共同支持的能力參數(shù)信息確定第一傳輸參數(shù)。
具體的,第一傳輸參數(shù)及第二傳輸參數(shù)的內(nèi)容包括:(a)分辨率;(b)屏幕旋轉(zhuǎn)角度;(c)屏幕顯示比例和模式;(d)幀率;(e)其他影響顯示和效率的問題。上述第一傳輸參數(shù)及第二傳輸參數(shù)均為可調(diào)整的參數(shù),通過對第一傳輸參數(shù)的調(diào)整,得到更適合當(dāng)前應(yīng)用場景的第二傳輸參數(shù),提高傳輸效率及效果。
進(jìn)一步的,步驟14和步驟23為傳屏之前的預(yù)協(xié)商過程,該預(yù)協(xié)商過程主要包括發(fā)送端主動詢問接收端能力確定共同支持的能力參數(shù),進(jìn)而確定第一傳輸參數(shù)和接收端主動詢問發(fā)送端能力確定共同支持的能力參數(shù)后返回給發(fā)送端,由發(fā)送端設(shè)置第一傳輸參數(shù)。
即發(fā)送端主動詢問的情況為:發(fā)送端的步驟14包括:
步驟141,向接收端發(fā)送詢問所述接收端支持的第一能力參數(shù)信息的第三詢問消息;
步驟142,接收并解析所述接收端返回的攜帶所述接收端支持的能力參數(shù)信息的第三詢問響應(yīng)消息,從中獲取所述接收端支持的第一能力參數(shù)信息;
步驟143,根據(jù)所述接收端支持的第一能力參數(shù)信息和所述發(fā)送端自身支持的第二能力參數(shù)信息,確定發(fā)送端和接收端共同支持的能力參數(shù)信息。
接收端的步驟23包括:
步驟231,接收所述發(fā)送端發(fā)送的詢問所述接收端支持的第一能力參數(shù)信息的第三詢問消息;
步驟232,向所述發(fā)送端返回攜帶所述接收端支持的第一能力參數(shù)信息的第三詢問響應(yīng)消息,使得發(fā)送端能夠根據(jù)所述接收端支持的第一能力參數(shù)信息和所述發(fā)送端自身支持的第二能力參數(shù)信息,確定發(fā)送端和接收端共同支持的能力參數(shù)信息。
例如,發(fā)送端主動詢問的情況,即發(fā)送端在進(jìn)行發(fā)送的時候,首先詢問接收端能力,與接收端進(jìn)行能力協(xié)商,比如接收端的硬件解碼能力和幀率,如果是720p@25fps,那么即使是發(fā)送端可以達(dá)到1080p@30fps,那么發(fā)送端也只提供較低分辨率和幀率,這樣,可以減少發(fā)送端抓屏和編碼的資源負(fù)擔(dān)。
而接收端主動詢問的情況為:接收端的步驟23包括:
步驟233,向發(fā)送端發(fā)送詢問所述發(fā)送端支持的第二能力參數(shù)信息的第四詢問消息;
步驟234,接收并解析所述發(fā)送端返回的攜帶所述發(fā)送端支持的第二能力參數(shù)信息的第四詢問響應(yīng)消息,從中獲取所述發(fā)送端支持的第二能力參數(shù)信息;
步驟235,根據(jù)所述發(fā)送端支持的第二能力參數(shù)信息和所述接收端自身支持的第一能力參數(shù)信息,確定所述發(fā)送端和所述接收端共同支持的能力參數(shù)信息并將所述共同支持的能力參數(shù)信息發(fā)送給所述發(fā)送端。
發(fā)送端的步驟14包括:
步驟144,接收所述接收端發(fā)送的詢問發(fā)送端支持的第二能力參數(shù)信息的第四詢問消息;
步驟145,向接收端發(fā)送攜帶所述發(fā)送端支持的第二能力參數(shù)信息的第四詢問響應(yīng)消息,使得所述接收端能夠根據(jù)自身支持的第一能力參數(shù)信息和所述發(fā)送端支持的第二能力參數(shù)信息確定所述發(fā)送端和所述接收端共同支持的能力參數(shù)信息;
步驟146,接收所述接收端發(fā)送的所述發(fā)送端和所述接收端共同支持的能力 參數(shù)信息。
例如,接收端主動詢問的情況,即接收端在接收同屏數(shù)據(jù)之前,首先詢問發(fā)送端能力,與發(fā)送端進(jìn)行能力協(xié)商,比如發(fā)送端的音頻格式、視頻格式、幾種分辨率以及對應(yīng)的幀率,如果發(fā)送端支持1080p及720p,接收端自身僅支持720p,則告知發(fā)送端當(dāng)前環(huán)境下發(fā)送端和接收端均支持720p的分辨率,則發(fā)送端在發(fā)送過程中提供720p分辨率的同屏數(shù)據(jù),這樣能夠減少發(fā)送端轉(zhuǎn)屏和編碼的資源負(fù)擔(dān)和接收端轉(zhuǎn)屏、解碼的資源負(fù)擔(dān)。
進(jìn)一步的,步驟12及步驟13描述了傳屏過程中對傳輸參數(shù)的動態(tài)調(diào)整;具體的,只有當(dāng)發(fā)送端或接收端中的一方的能力參數(shù)或網(wǎng)絡(luò)情況或資源占用情況發(fā)生更改時,才需要調(diào)整傳輸參數(shù)。即步驟12中的觸發(fā)信息主要包括四個方面的信息,1)發(fā)送端當(dāng)前的資源占用情況;2)當(dāng)前網(wǎng)絡(luò)狀況信息;3)接收端或發(fā)送端的能力被更改。下面分別從以上3個方面具體描述如何觸發(fā)調(diào)整,以及如何調(diào)整。
當(dāng)觸發(fā)信息為發(fā)送端當(dāng)前的資源占用情況時,發(fā)送端側(cè)的步驟12具體包括:
步驟121,實時檢測發(fā)送端當(dāng)前的資源占用情況。
相應(yīng)的,步驟13具體包括:
步驟131,當(dāng)檢測到的發(fā)送端當(dāng)前的資源占用情況超出第一預(yù)設(shè)情況或者低于第二預(yù)設(shè)情況,則調(diào)整所述第一傳輸參數(shù);其中,所述第二預(yù)設(shè)情況低于所述第一預(yù)設(shè)情況。
且所述調(diào)整所述第一傳輸參數(shù)的步驟具體包括:
步驟132,若所述資源占用情況信息顯示所述資源占用情況超過第一預(yù)設(shè)情況,則所述發(fā)送端主動降低所述第一傳輸參數(shù);
步驟133,若所述資源占用情況信息顯示所述資源占用情況低于第二預(yù)設(shè)情況,則獲取所述接收端當(dāng)前支持的能力參數(shù)信息,并基于所述接收端當(dāng)前支持的能力參數(shù)信息調(diào)整所述第一傳輸參數(shù)。
與發(fā)送端的步驟133對應(yīng)的接收端的多屏互動方法,即當(dāng)觸發(fā)信息為發(fā)送端當(dāng)前的資源占用情況,且所述發(fā)送端當(dāng)前的資源占用情況低于第二預(yù)設(shè)情況時,所述多屏互動方法還包括:
步驟24,接收所述發(fā)送端發(fā)送的詢問所述接收端當(dāng)前支持的能力參數(shù)信息 的第五詢問消息;
步驟25,向所述發(fā)送端返回攜帶所述接收端當(dāng)前支持的能力參數(shù)信息的第五詢問響應(yīng)消息,使得所述發(fā)送端能夠從中獲取所述接收端當(dāng)前支持的能力參數(shù)信息并基于所述接收端當(dāng)前支持的能力參數(shù)信息調(diào)整所述第一傳輸參數(shù)。
例如,發(fā)送端的多屏互動模塊通過與系統(tǒng)的交互,獲得當(dāng)前系統(tǒng)資源占用情況如CPU占用率,內(nèi)存占用數(shù)等。首先設(shè)置CPU、內(nèi)存占用情況的上限和下限,如果CPU、內(nèi)存的值有一項超過了上限,則發(fā)送端主動降低幀率和分辨率;如果CPU和內(nèi)存的占用情況低于下限,則發(fā)送端可以向接收端發(fā)送消息以獲取當(dāng)前時間接收端設(shè)備的參數(shù)(如幾種分辨率(如1080p,720p,480p等),以及對應(yīng)的幀率等),接收端設(shè)備在消息應(yīng)答中包含當(dāng)前支持的幀率和分辨率,發(fā)送端根據(jù)返回的應(yīng)答消息選擇其中能夠?qū)崿F(xiàn)的最高的幀率和分辨率,對參數(shù)進(jìn)行調(diào)整后再進(jìn)行資源的傳輸。
承續(xù)上例,當(dāng)觸發(fā)信息為當(dāng)前網(wǎng)絡(luò)狀況信息時,發(fā)送端側(cè)的步驟12具體包括:
步驟122,向接收端發(fā)送詢問當(dāng)前網(wǎng)絡(luò)狀況信息的第一詢問消息;
步驟123,接收所述接收端返回的攜帶當(dāng)前網(wǎng)絡(luò)狀況信息的第一詢問響應(yīng)消息;
步驟124,實時檢測所述第一詢問響應(yīng)消息,獲得當(dāng)前網(wǎng)絡(luò)狀況信息。
相應(yīng)的,步驟13具體包括:
步驟134,當(dāng)檢測到當(dāng)前網(wǎng)絡(luò)狀況低于預(yù)設(shè)網(wǎng)絡(luò)狀況時,調(diào)整所述第一傳輸參數(shù)。
與發(fā)送端步驟12對應(yīng)的接收端的多屏互動方法,即當(dāng)所述觸發(fā)信息為當(dāng)前網(wǎng)絡(luò)狀況信息時,所述多屏互動方法還包括:
步驟26,接收所述發(fā)送端發(fā)送的詢問當(dāng)前網(wǎng)絡(luò)狀況信息的第一詢問消息;
步驟27,向所述發(fā)送端返回攜帶當(dāng)前網(wǎng)絡(luò)狀況信息的第一詢問響應(yīng)消息,使得所述發(fā)送端能夠從中獲取當(dāng)前網(wǎng)絡(luò)狀況信息。
例如,發(fā)送端的多屏互動模塊通過與接收端的交互,發(fā)送端設(shè)備向接收端發(fā)送第一詢問消息(RTSP GET_PARAMETER請求)以獲取當(dāng)前時間網(wǎng)絡(luò)狀況信息(如當(dāng)前網(wǎng)絡(luò)的丟包率、時延等等);具體的,該消息需要增加參數(shù)以表明發(fā) 送端設(shè)備需要從接收端設(shè)備處獲取當(dāng)前網(wǎng)絡(luò)的狀況信息,參數(shù)定義如下:
丟包率:wfd_sink_network_packet_loss、時延:wfd_sink_network_time_delay。發(fā)送端設(shè)備若在第一詢問消息中發(fā)現(xiàn)參數(shù)wfd_sink_network_packet_loss(丟包率)和wfd_sink_network_time_delay(時延),則需在第一詢問響應(yīng)消息中包含上述參數(shù)以返回當(dāng)前網(wǎng)絡(luò)的丟包率和時延信息,并根據(jù)這些信息對傳輸參數(shù)進(jìn)行調(diào)整。具體的,例如丟包率大于預(yù)設(shè)門限值,則發(fā)送端主動降低幀率和分辨率,或者時延大于預(yù)設(shè)門限值,發(fā)送端也主動降低幀率和分辨率等;或者丟包率和時延較小,發(fā)送端與接收端協(xié)商接收端當(dāng)前支持分辨率和幀率,重新調(diào)整傳輸參數(shù),進(jìn)一步提高傳輸效率及效果。
承接上例,當(dāng)觸發(fā)信息為接收端或發(fā)送端的能力被更改時,該種情況主要包括3種場景,場景一:發(fā)送端和接收端均提供人工配置的界面,可以根據(jù)用戶選擇來進(jìn)行傳屏參數(shù)的更換,從而在傳屏過程中,更改這些參數(shù),提升效率。需要說明的是,人工配置的調(diào)整優(yōu)先級最高,即無論系統(tǒng)協(xié)商出的最佳傳輸參數(shù)是什么,也不管人工配置的方案是否能夠提升效率,只要發(fā)送端或接收端中一方或兩方響應(yīng)到人工配置的參數(shù),則后續(xù)的傳屏過程均按照人工配置的參數(shù)執(zhí)行。
場景二,發(fā)送端的能力被更改,若確定第一傳輸參數(shù)時是發(fā)送端主動詢問接收端能力,則無需再詢問接收端能力,只需重新確定當(dāng)前發(fā)送端和接收端共同支持的能力參數(shù),繼而重新調(diào)整傳輸參數(shù),使其適應(yīng)當(dāng)前應(yīng)用場景,提高傳輸效率;若確定第一傳輸參數(shù)時是接收端主動詢問發(fā)送端能力,則發(fā)送端向接收端發(fā)送能力參數(shù)變化的變化消息,該變化消息觸發(fā)接收端重新獲取發(fā)送端當(dāng)前的能力參數(shù),繼而重新確定共同支持的能力參數(shù),再重新調(diào)整傳輸參數(shù),使其適應(yīng)當(dāng)前應(yīng)用場景,提高傳輸效率。
場景三,接收端能力更改,與場景二相同,若確定第一傳輸參數(shù)時是接收端主動詢問發(fā)送端能力,則無需再詢問發(fā)送端能力,只需重新確定發(fā)送端和當(dāng)前接收端共同支持的能力參數(shù),繼而重新調(diào)整傳輸參數(shù),使其適應(yīng)當(dāng)前應(yīng)用場景,提高傳輸效率;若確定第一傳輸參數(shù)時是發(fā)送端主動詢問接收端能力,則接收端向發(fā)送端發(fā)送能力參數(shù)變化的變化消息,該變化消息觸發(fā)發(fā)送端重新獲取接收端當(dāng)前的能力參數(shù),繼而重新確定共同支持的能力參數(shù),再重新調(diào)整傳 輸參數(shù),使其適應(yīng)當(dāng)前應(yīng)用場景,提高傳輸效率。具體的,確定第一傳輸參數(shù)時是發(fā)送端主動詢問接收端能力時,接收端的多屏互動方法還包括:
步驟28,向所述發(fā)送端發(fā)送標(biāo)識接收端能力參數(shù)變化的變化消息;
步驟29,接收所述發(fā)送端檢測到所述變化消息后發(fā)送的詢問所述接收端當(dāng)前支持的能力參數(shù)信息的第二詢問消息;
步驟210,向所述發(fā)送端返回攜帶所述接收端當(dāng)前支持的能力參數(shù)信息的第二詢問響應(yīng)消息,使得所述發(fā)送端能夠從中獲取所述接收端當(dāng)前支持的能力參數(shù)信息并根據(jù)所述接收端當(dāng)前支持的能力參數(shù)信息調(diào)整所述第一傳輸參數(shù)。
相應(yīng)的,發(fā)送端的步驟12具體包括:
步驟125,接收所述接收端發(fā)送的標(biāo)識接收端能力參數(shù)變化的變化消息。
且步驟13具體包括:
步驟135,當(dāng)檢測到所述變化消息時,向接收端發(fā)送詢問所述接收端支持的能力參數(shù)信息的第二詢問消息;
步驟136,接收并解析所述接收端返回的攜帶所述接收端支持的能力參數(shù)信息的第二詢問響應(yīng)消息,從中獲取所述接收端支持的能力參數(shù)信息;
步驟137,根據(jù)所述接收端支持的能力參數(shù)信息調(diào)整所述第一傳輸參數(shù)。
例如,當(dāng)傳輸一段時間后,接收端設(shè)備的一些參數(shù)會發(fā)生變化,接收端設(shè)備發(fā)送變化消息至接收端,觸發(fā)發(fā)送端設(shè)備向接收端發(fā)送第二詢問消息(RTSP GET_PARAMETER請求)以獲取當(dāng)前時間接收端設(shè)備參數(shù)(如幾種分辨率(如1080p,720p,480p等),以及對應(yīng)的幀率、屏幕的當(dāng)前角度、顯示比例和顯示模式等);具體的,該第二詢問消息需要增加下述參數(shù)以表明發(fā)送端設(shè)備需要獲取接收端設(shè)備屏幕的當(dāng)前角度、顯示比例和顯示模式,這些參數(shù)定義如下:
當(dāng)前角度:wfd_sink_screen_angle、顯示比例:wfd_sink_screen_proportion、顯示模式:wfd_sink_screen_mode。
接收端設(shè)備若在第二詢問消息請求中發(fā)現(xiàn)wfd_sink_screen_angle(當(dāng)前角度)、wfd_sink_screen_proportion(顯示比例)、wfd_sink_screen_mode(顯示模式)參數(shù),則需在第二詢問響應(yīng)消息中包含該參數(shù)以返回當(dāng)前屏幕的角度、顯示比例和顯示模式信息,角度參數(shù)值為0、90、180、270,即當(dāng)前屏幕與水平方向間的角度;顯示比例參數(shù)值為1:18、1:24等;顯示模式參數(shù)值為3:4、16:9、 16:10等。
發(fā)送端設(shè)備根據(jù)第二詢問響應(yīng)消息進(jìn)行相應(yīng)參數(shù)調(diào)整后(如分辨率從1280*720,降低到800*600,顯示角度從0度,更改為自動轉(zhuǎn)屏90度),繼續(xù)發(fā)送同屏數(shù)據(jù)。
需要說明的是,本發(fā)明實施例提供的多屏互動方法中傳輸參數(shù)的具體內(nèi)容針對不同的應(yīng)用場景而變化;即發(fā)送端設(shè)備針對不同的傳輸應(yīng)用與接收端設(shè)備對分辨率等參數(shù)進(jìn)行協(xié)商,實現(xiàn)發(fā)送端對傳輸參數(shù)的調(diào)整。例如,當(dāng)發(fā)送端與接收端之間實現(xiàn)視頻傳輸時,發(fā)送端可以向接收端發(fā)送請求消息(RTSP GET_PARAMETER請求)以獲取當(dāng)前接收端設(shè)備參數(shù)(如幾種分辨率(如1080p,720p,480p等),以及對應(yīng)的幀率等),接收端設(shè)備在應(yīng)答中包含當(dāng)前接受的幀率和分辨率,發(fā)送端根據(jù)返回的響應(yīng)消息選擇其中能夠?qū)崿F(xiàn)的最高的幀率和分辨率,對參數(shù)進(jìn)行調(diào)整后再進(jìn)行資源的傳輸;當(dāng)發(fā)送端與接收端之間實現(xiàn)游戲類應(yīng)用傳輸時,只是為反向控制做大概位置的展示,發(fā)送端可以根據(jù)接收端發(fā)送的應(yīng)答中包含當(dāng)前接受的幀率和分辨率,選擇其中能夠?qū)崿F(xiàn)的最低的幀率和分辨率,并相應(yīng)的對傳輸參數(shù)進(jìn)行調(diào)整。采用這個方法來實現(xiàn)對傳屏分辨率、幀率的調(diào)整,傳屏的應(yīng)用或者模塊需要感知目前正在運(yùn)行的應(yīng)用的特征。
多屏互動方案包括屏幕分享和內(nèi)容分享,其中屏幕分享在發(fā)送端包括抓屏、編碼、打包、發(fā)送等流程,在接收端包括接受、解包、解碼、播放的流程。而內(nèi)容分享的具體描述如下,如圖3所示為基于RTSP(實時流傳輸協(xié)議)的屏幕共享流程描述:
在WFD能力協(xié)商階段(WFD Capability Negotiation)即在雙方能力信息交互階段,參與通信的發(fā)送端設(shè)備首先向接收端設(shè)備發(fā)送M1即RTSP OPTIONS請求消息,以獲取接收端設(shè)備支持的RTSP方法集。接收端設(shè)備收到該請求后發(fā)送M1應(yīng)答消息。然后接收端設(shè)備向發(fā)送端設(shè)備發(fā)送M2即RTSP OPTIONS請求消息,以獲取發(fā)送端設(shè)備所支持的RTSP方法集。發(fā)送端設(shè)備收到該請求后發(fā)送M2應(yīng)答消息。M2應(yīng)答消息發(fā)送成功后,發(fā)送端設(shè)備向接收端設(shè)備發(fā)送M3即RTSP GET_PARAMETER請求消息,以獲取自己感興趣的接收端設(shè)備的WFD能力列表,具體內(nèi)容包括(音頻格式、視頻格式、幾種分辨率(如1080p,720p,480p等),以及對應(yīng)的幀率,支持的內(nèi)容保護(hù)方式)。然后接收端設(shè)備發(fā)送M3 應(yīng)答消息。根據(jù)應(yīng)答消息攜帶的信息,發(fā)送端設(shè)備決定后續(xù)WFD會話(方向為發(fā)送端設(shè)備發(fā)送,接收端設(shè)備接收)的參數(shù)集并通過M4即RTSP SET_PARAMETER請求消息發(fā)送給接收端設(shè)備來設(shè)置參數(shù),接收端設(shè)備回復(fù)M4應(yīng)答。若接收端設(shè)備需要了解發(fā)送端設(shè)備的能力信息,則需要向發(fā)送端設(shè)備發(fā)送M3即RTSP GET_PARAMETER請求消息,以獲取自己感興趣的發(fā)送端設(shè)備的WFD能力列表具體內(nèi)容包括(音頻格式、視頻格式、幾種分辨率(如1080p,720p,480p等),以及對應(yīng)的幀率,支持的內(nèi)容保護(hù)方式)。然后發(fā)送端設(shè)備發(fā)送M3應(yīng)答消息。據(jù)此應(yīng)答,接收端設(shè)備決定后續(xù)WFD會話(方向為接收端設(shè)備發(fā)送,發(fā)送端設(shè)備接收)的參數(shù)集并通過M4即RTSP SET_PARAMETER請求消息發(fā)送給發(fā)送端設(shè)備,發(fā)送端設(shè)備回復(fù)M4應(yīng)答。
通過上述的消息交互流程,通信雙方互相獲知了對方的能力信息,并且設(shè)置了一套雙方均能共同接受的參數(shù)集合,發(fā)送端設(shè)備根據(jù)接收端設(shè)備所擁有的能力進(jìn)行選擇,接收端設(shè)備根據(jù)發(fā)送端設(shè)備的選擇,開始發(fā)起同屏數(shù)據(jù)傳輸。
進(jìn)一步的,當(dāng)傳輸一段時間后,上述三種觸發(fā)信息中的任一中滿足觸發(fā)條件時,發(fā)送端設(shè)備向接收端發(fā)送M3消息(RTSP GET_PARAMETER請求)以獲取當(dāng)前時間接收端,設(shè)備參數(shù)(如幾種分辨率(如1080p,720p,480p等),以及對應(yīng)的幀率、屏幕的當(dāng)前角度、顯示比例和顯示模式等),接收端設(shè)備返回M3應(yīng)答消息,發(fā)送端設(shè)備根據(jù)M3應(yīng)答消息調(diào)整傳輸參數(shù)后繼續(xù)進(jìn)行同屏數(shù)據(jù)的傳輸。
需要說明的是,上述三種觸發(fā)信息的調(diào)整優(yōu)先級如下:調(diào)整的優(yōu)先級是首先依據(jù)用戶的需求,根據(jù)用戶輸入的情況進(jìn)行設(shè)置;對于幀率或碼率降低的處理,當(dāng)系統(tǒng)反饋資源占用率過高(CPU/內(nèi)存/GPU)時,即使目前網(wǎng)絡(luò)時延和丟包率滿足要求,也需要降低碼率和幀率;而對于提高幀率和碼率的處理,需要先看網(wǎng)絡(luò)時延和丟包率是否滿足要求,如果滿足則提高幀率和碼率,再看資源占用是否滿足要求。
為了更好的實現(xiàn)上述目的,如圖4所示,本發(fā)明實施例還提供一種多屏互動裝置,應(yīng)用于發(fā)送端,包括:
傳輸模塊41,用于利用第一傳輸參數(shù)向接收端傳輸同屏數(shù)據(jù);
檢測模塊42,用于在傳輸同屏數(shù)據(jù)的過程中,實時檢測參數(shù)調(diào)整的觸發(fā)信 息;
調(diào)整模塊43,用于當(dāng)檢測到的觸發(fā)信息滿足預(yù)設(shè)觸發(fā)條件時,調(diào)整所述第一傳輸參數(shù),得到第二傳輸參數(shù),并利用所述第二傳輸參數(shù)傳輸后續(xù)的同屏數(shù)據(jù)。
進(jìn)一步的,本發(fā)明的上述實施例中,所述檢測模塊42包括:
資源占用檢測模塊,用于實時檢測發(fā)送端當(dāng)前的資源占用情況。
進(jìn)一步的,本發(fā)明的上述實施例中,所述調(diào)整模塊43包括:
資源占用調(diào)整模塊,用于當(dāng)檢測到的發(fā)送端當(dāng)前的資源占用情況超出第一預(yù)設(shè)情況或者低于第二預(yù)設(shè)情況,則調(diào)整所述第一傳輸參數(shù);其中,所述第二預(yù)設(shè)情況低于所述第一預(yù)設(shè)情況。
進(jìn)一步的,本發(fā)明的上述實施例中,所述資源占用調(diào)整模塊包括:
第一調(diào)整子模塊,用于若所述資源占用情況信息顯示所述資源占用情況超過第一預(yù)設(shè)情況,則所述發(fā)送端主動降低所述第一傳輸參數(shù);
第二調(diào)整子模塊,用于若所述資源占用情況信息顯示所述資源占用情況低于第二預(yù)設(shè)情況,則獲取所述接收端當(dāng)前支持的能力參數(shù)信息,并基于所述接收端當(dāng)前支持的能力參數(shù)信息調(diào)整所述第一傳輸參數(shù)。
進(jìn)一步的,本發(fā)明的上述實施例中,所述檢測模塊42包括:
第一發(fā)送模塊,用于向接收端發(fā)送詢問當(dāng)前網(wǎng)絡(luò)狀況信息的第一詢問消息;
第一接收模塊,用于接收所述接收端返回的攜帶當(dāng)前網(wǎng)絡(luò)狀況信息的第一詢問響應(yīng)消息;
網(wǎng)絡(luò)狀況檢測模塊,用于實時檢測所述第一詢問響應(yīng)消息,獲得當(dāng)前網(wǎng)絡(luò)狀況信息。
進(jìn)一步的,本發(fā)明的上述實施例中,所述調(diào)整模塊43包括:
網(wǎng)絡(luò)狀況調(diào)整模塊,用于當(dāng)檢測到當(dāng)前網(wǎng)絡(luò)狀況低于預(yù)設(shè)網(wǎng)絡(luò)狀況時,調(diào)整所述第一傳輸參數(shù)。
進(jìn)一步的,本發(fā)明的上述實施例中,所述檢測模塊42包括:
能力變化檢測模塊,用于接收所述接收端發(fā)送的標(biāo)識接收端能力參數(shù)變化的變化消息。
進(jìn)一步的,本發(fā)明的上述實施例中,所述調(diào)整模塊43包括:
第二發(fā)送模塊,用于當(dāng)檢測到所述變化消息時,向接收端發(fā)送詢問所述接收端支持的能力參數(shù)信息的第二詢問消息;
第三接收模塊,接收并解析所述接收端返回的攜帶所述接收端支持的能力參數(shù)信息的第二詢問響應(yīng)消息,從中獲取所述接收端支持的能力參數(shù)信息;
能力調(diào)整模塊,用于根據(jù)所述接收端支持的能力參數(shù)信息調(diào)整所述第一傳輸參數(shù)。
進(jìn)一步的,本發(fā)明的上述實施例中,所述裝置還包括:
第一參數(shù)確定模塊,用于與接收端協(xié)商確定發(fā)送端和接收端共同支持的能力參數(shù)信息,并根據(jù)所述共同支持的能力參數(shù)信息確定第一傳輸參數(shù)。
進(jìn)一步的,本發(fā)明的上述實施例中,所述第一參數(shù)確定模塊包括:
第三發(fā)送模塊,用于向接收端發(fā)送詢問所述接收端支持的第一能力參數(shù)信息的第三詢問消息;
第四接收模塊,用于接收并解析所述接收端返回的攜帶所述接收端支持的能力參數(shù)信息的第三詢問響應(yīng)消息,從中獲取所述接收端支持的第一能力參數(shù)信息;
第一確定子模塊,用于根據(jù)所述接收端支持的第一能力參數(shù)信息和所述發(fā)送端自身支持的第二能力參數(shù)信息,確定發(fā)送端和接收端共同支持的能力參數(shù)信息。
進(jìn)一步的,本發(fā)明的上述實施例中,所述第一參數(shù)確定模塊包括:
第五接收模塊,用于接收所述接收端發(fā)送的詢問發(fā)送端支持的第二能力參數(shù)信息的第四詢問消息;
第四發(fā)送模塊,用于向接收端發(fā)送攜帶所述發(fā)送端支持的第二能力參數(shù)信息的第四詢問響應(yīng)消息,使得所述接收端能夠根據(jù)自身支持的第一能力參數(shù)信息和所述發(fā)送端支持的第二能力參數(shù)信息確定所述發(fā)送端和所述接收端共同支持的能力參數(shù)信息;
第六接收模塊,用于接收所述接收端發(fā)送的所述發(fā)送端和所述接收端共同支持的能力參數(shù)信息。
需要說明的是,本發(fā)明的上述實施例中提供的發(fā)送端多屏互動裝置是應(yīng)用上述發(fā)送端的多屏互動方法的裝置,則上述發(fā)送端的多屏互動方法的所有實施 例及其有益效果均適用于該裝置。
為了更好的實現(xiàn)上述目的,如圖5所示,本發(fā)明實施例還提供一種多屏互動裝置,應(yīng)用于接收端,包括:
第一數(shù)據(jù)接收模塊51,用于接收發(fā)送端利用第一傳輸參數(shù)傳輸?shù)耐翑?shù)據(jù);
第二數(shù)據(jù)接收模塊52,用于在傳輸同屏數(shù)據(jù)的過程中,當(dāng)發(fā)送端檢測到觸發(fā)信息滿足預(yù)設(shè)觸發(fā)條件時,接收所述發(fā)送端利用調(diào)整后的第二傳輸參數(shù)傳輸?shù)耐翑?shù)據(jù)。
進(jìn)一步的,本發(fā)明的上述實施例中,當(dāng)觸發(fā)信息為發(fā)送端當(dāng)前的資源占用情況,且所述發(fā)送端當(dāng)前的資源占用情況低于第二預(yù)設(shè)情況時,所述多屏互動裝置還包括:
第七接收模塊,用于接收所述發(fā)送端發(fā)送的詢問所述接收端當(dāng)前支持的能力參數(shù)信息的第五詢問消息;
第五發(fā)送模塊,用于向所述發(fā)送端返回攜帶所述接收端當(dāng)前支持的能力參數(shù)信息的第五詢問響應(yīng)消息,使得所述發(fā)送端能夠從中獲取所述接收端當(dāng)前支持的能力參數(shù)信息并基于所述接收端當(dāng)前支持的能力參數(shù)信息調(diào)整所述第一傳輸參數(shù)。
進(jìn)一步的,本發(fā)明的上述實施例中,當(dāng)所述觸發(fā)信息為當(dāng)前網(wǎng)絡(luò)狀況信息時,所述多屏互動裝置還包括:
第八接收模塊,用于接收所述發(fā)送端發(fā)送的詢問當(dāng)前網(wǎng)絡(luò)狀況信息的第一詢問消息;
第六發(fā)送模塊,用于向所述發(fā)送端返回攜帶當(dāng)前網(wǎng)絡(luò)狀況信息的第一詢問響應(yīng)消息,使得所述發(fā)送端能夠從中獲取當(dāng)前網(wǎng)絡(luò)狀況信息。
進(jìn)一步的,本發(fā)明的上述實施例中,當(dāng)接收端能力參數(shù)變化時,所述多屏互動裝置還包括:
第七發(fā)送模塊,用于向所述發(fā)送端發(fā)送標(biāo)識接收端能力參數(shù)變化的變化消息;
第九接收模塊,用于接收所述發(fā)送端檢測到所述變化消息后發(fā)送的詢問所述接收端當(dāng)前支持的能力參數(shù)信息的第二詢問消息;
第八發(fā)送模塊,用于向所述發(fā)送端返回攜帶所述接收端當(dāng)前支持的能力參 數(shù)信息的第二詢問響應(yīng)消息,使得所述發(fā)送端能夠從中獲取所述接收端當(dāng)前支持的能力參數(shù)信息并根據(jù)所述接收端當(dāng)前支持的能力參數(shù)信息調(diào)整所述第一傳輸參數(shù)。
進(jìn)一步的,本發(fā)明的上述實施例中,所述多屏互動裝置還包括:
第二參數(shù)確定模塊,用于與發(fā)送端協(xié)商確定發(fā)送端和接收端共同支持的能力參數(shù)信息,使得發(fā)送端能夠根據(jù)所述共同支持的能力參數(shù)信息確定第一傳輸參數(shù)。
進(jìn)一步的,本發(fā)明的上述實施例中,所述第二參數(shù)確定模塊包括:
詢問接收模塊,用于接收所述發(fā)送端發(fā)送的詢問所述接收端支持的第一能力參數(shù)信息的第三詢問消息;
返回模塊,用于向所述發(fā)送端返回攜帶所述接收端支持的第一能力參數(shù)信息的第三詢問響應(yīng)消息,使得發(fā)送端能夠根據(jù)所述接收端支持的第一能力參數(shù)信息和所述發(fā)送端自身支持的第二能力參數(shù)信息,確定發(fā)送端和接收端共同支持的能力參數(shù)信息。
進(jìn)一步的,本發(fā)明的上述實施例中,所述第二參數(shù)確定模塊包括:
詢問發(fā)送模塊,用于向發(fā)送端發(fā)送詢問所述發(fā)送端支持的第二能力參數(shù)信息的第四詢問消息;
接收解析模塊,用于接收并解析所述發(fā)送端返回的攜帶所述發(fā)送端支持的第二能力參數(shù)信息的第四詢問響應(yīng)消息,從中獲取所述發(fā)送端支持的第二能力參數(shù)信息;
第二確定子模塊,用于根據(jù)所述發(fā)送端支持的第二能力參數(shù)信息和所述接收端自身支持的第一能力參數(shù)信息,確定所述發(fā)送端和所述接收端共同支持的能力參數(shù)信息并將所述共同支持的能力參數(shù)信息發(fā)送給所述發(fā)送端。
需要說明的是,本發(fā)明的上述實施例中提供的接收端多屏互動裝置是應(yīng)用上述接收端的多屏互動方法的裝置,則上述接收端的多屏互動方法的所有實施例及其有益效果均適用于該裝置。
綜上,本發(fā)明實施例的具體應(yīng)用中,對同屏數(shù)據(jù)的傳輸參數(shù)的修改主要結(jié)合如圖6所示的5個因素:1)當(dāng)前的應(yīng)用程序(即應(yīng)用環(huán)境);2)從操作系統(tǒng)模塊獲取的資源占用情況;3)從網(wǎng)絡(luò)通信模塊獲取的當(dāng)前網(wǎng)絡(luò)狀況信息;4) 發(fā)送端或接收端的能力參數(shù)修改;5)用戶的自定義設(shè)置。在多屏互動過程中結(jié)合上述5個因素的一個或多個來綜合調(diào)整傳輸參數(shù),使其與當(dāng)前的應(yīng)用環(huán)境相匹配,提高傳輸及顯示的效果和效率。
以上所述是本發(fā)明的優(yōu)選實施方式,應(yīng)當(dāng)指出,對于本技術(shù)領(lǐng)域的普通技術(shù)人員來說,在不脫離本發(fā)明所述原理的前提下,還可以做出若干改進(jìn)和潤飾,這些改進(jìn)和潤飾也應(yīng)視為本發(fā)明的保護(hù)范圍。