視頻的顯示方法,通過獲取并顯示根據(jù)用戶輸入的 形狀所指示區(qū)域的重要性矩陣,對至少包括該形狀所指示的區(qū)域的當前即時視頻幀進行處 理,獲取的處理后的當前即時視頻幀,滿足了即時視頻過程中用戶希望對所選擇的區(qū)域的 清晰度以及細節(jié)保留量大于其他區(qū)域的需求,進一步提高了用戶體驗。另外,通過獲取并顯 示用戶輸入的形狀,增加了用戶在即時視頻交互過程中的互動方式,進一步滿足了用戶的 多樣化需求,提高了用戶體驗。
[0228] 實施例五為本發(fā)明實施例提供的一種即時視頻的編碼方法,在本發(fā)明實施例中, 用戶輸入的形狀的位置參數(shù)包括特征參數(shù),該特征參數(shù)用于描述即時視頻幀中用戶所選定 的用戶輸入的形狀所指示區(qū)域內(nèi)的細節(jié),示例性的,若用戶所選定的用戶輸入的形狀所指 示區(qū)域內(nèi)至少包括人臉,則該細節(jié)可以為用戶的眼睛、鼻子、嘴部和眉毛等,參照圖10所 示,該方法包括:
[0229] 1001、獲取用戶輸入的曲線,曲線所包括的部分曲線為閉合曲線。
[0230] 具體的,該步驟與步驟301相同,此處再不加以贅述。
[0231] 通過獲取用戶輸入的形狀,使得可以根據(jù)用戶輸入的形狀確定用戶所指示的區(qū) 域,相比于通過其他方式確定用戶所指示的區(qū)域,該方法簡化了操作步驟,提高了即時視頻 的傳輸效率,進一步滿足了用戶對即時視頻中的某一區(qū)域的關注度大于其他區(qū)域、用戶對 某一區(qū)域的清晰度以及細節(jié)保留量的要求大于其他區(qū)域以及用戶希望即時視頻交互的其 他參與者將關注度迀移至用戶所指定的區(qū)域的多樣化需求,提高了用戶體驗;另外,通過獲 取用戶輸入的形狀,并確定該形狀所指示的區(qū)域,增加了用戶輸入?yún)^(qū)域的形式,進一步滿足 了用戶對即時視頻中的某一區(qū)域的關注度大于其他區(qū)域、用戶對某一區(qū)域的清晰度以及細 節(jié)保留量的要求大于其他區(qū)域以及用戶希望即時視頻交互的其他參與者將關注度迀移至 用戶所指定的區(qū)域的多樣化需求,提高了用戶體驗。
[0232] 1002、確定閉合曲線所指示的形狀為用戶輸入的形狀。
[0233] 具體的,該步驟與步驟302相同,此處再不加以贅述。
[0234] 通過確定閉合曲線所指示的形狀為用戶輸入的形狀,增加了用戶輸入?yún)^(qū)域的形 式,進一步滿足了用戶對即時視頻中的某一區(qū)域的關注度大于其他區(qū)域、用戶對某一區(qū)域 的清晰度以及細節(jié)保留量的要求大于其他區(qū)域以及用戶希望即時視頻交互的其他參與者 將關注度迀移至用戶所指定的區(qū)域的多樣化需求,提高了用戶體驗。
[0235] 1003、獲取用戶輸入的位置參數(shù),位置參數(shù)包括特征參數(shù)。
[0236] 具體的,該步驟與步驟303相同,此處再不加以贅述。
[0237] 值得注意的是,步驟1001至步驟1003是實現(xiàn)獲取用戶輸入的形狀的過程,除了上 述步驟所述的方式之外,還可以通過其他方式實現(xiàn)該過程,本發(fā)明實施例對具體的過程不 加以限定。
[0238] 通過獲取用戶輸入的形狀,增加了用戶輸入所指示的區(qū)域的形式,提高了即時視 頻交互的趣味性和交互性,進一步滿足了用戶對即時視頻中的某一區(qū)域的關注度大于其他 區(qū)域、用戶對某一區(qū)域的清晰度以及細節(jié)保留量的要求大于其他區(qū)域以及用戶希望即時視 頻交互的其他參與者將關注度迀移至用戶所指定的區(qū)域的多樣化需求,提高了用戶體驗。
[0239] 1004、在當前即時視頻幀中識別特征參數(shù)所指示的細節(jié)。
[0240] 具體的,獲取當前即時視頻幀內(nèi)所有特征點的特征參數(shù);
[0241] 獲取特征參數(shù)與選擇指令中所包括的特征參數(shù)之間的相似度大于或者等于預設 閾值的所有特征點;
[0242] 確定該所有特征點所組成的細節(jié)為特征參數(shù)所指示的細節(jié)。
[0243] 用戶對即時視頻中的某一區(qū)域的關注度大于其他區(qū)域、用戶對某一區(qū)域的清晰度 以及細節(jié)保留量的要求大于其他區(qū)域以及用戶希望即時視頻交互的其他參與者將關注度 迀移至用戶所指定的區(qū)域的多樣化需求,是對該區(qū)域內(nèi)的細節(jié)的關注度大于其他區(qū)域、對 該區(qū)域的細節(jié)的清晰度以及細節(jié)保留量的要求大于其他區(qū)域以及希望即時視頻交互的其 他參與者將關注度迀移至用戶所指定的區(qū)域的細節(jié),通過在當前即時視頻幀中識別特征參 數(shù)所指示的細節(jié),滿足了用戶對該區(qū)域內(nèi)的細節(jié)的關注度大于其他區(qū)域、對該區(qū)域的細節(jié) 的清晰度以及細節(jié)保留量的要求大于其他區(qū)域以及希望即時視頻交互的其他參與者將關 注度迀移至用戶所指定的區(qū)域的細節(jié)的多樣化需求。
[0244] 1005、根據(jù)細節(jié),在當前即時視頻幀中確定形狀所指示的區(qū)域。
[0245] 具體的,將該組成該細節(jié)的特征點的坐標設置為用戶輸入形狀所指示的區(qū)域中的 點的坐標。
[0246] 除此之外,還可以通過其他方式,實現(xiàn)根據(jù)細節(jié),在當前即時視頻幀中確定用戶輸 入形狀所指示的區(qū)域,本發(fā)明實施例對具體的方式不加以限定。
[0247] 由于用戶輸入的形狀所指示的區(qū)域內(nèi)的細節(jié)的位置會發(fā)生改變,所以根據(jù)細節(jié)在 當前即時視頻幀中確定用戶輸入的形狀所指示的區(qū)域,進一步的滿足了用戶對即時視頻中 的某一區(qū)域的關注度大于其他區(qū)域、用戶對某一區(qū)域的清晰度以及細節(jié)保留量的要求大于 其他區(qū)域以及用戶希望即時視頻交互的其他參與者將關注度迀移至用戶所指定的區(qū)域的 多樣化需求,增加了即時視頻的交互性和趣味性,進一步提高了用戶體驗。
[0248] 值得注意的是,步驟1004至步驟1005是實現(xiàn)在當前即時視頻幀中確定用戶輸入 的形狀所指示的區(qū)域的過程,除了上述步驟所述的方式之外,還可以通過其他方式實現(xiàn)該 過程,本發(fā)明實施例對具體的方式不加以限定。
[0249] 通過在當前即時視頻幀中識別特征參數(shù)所指示的細節(jié),并根據(jù)細節(jié),在當前即時 視頻幀中確定用戶輸入的形狀所指示的區(qū)域,在即時視頻幀中用戶輸入的形狀所指示的區(qū) 域內(nèi)的細節(jié)位置發(fā)生變化的情況下,滿足了用戶對輸入的形狀所指示的區(qū)域內(nèi)的細節(jié)的關 注度大于其他區(qū)域、對輸入的形狀所指示的區(qū)域的細節(jié)的清晰度以及細節(jié)保留量的要求大 于其他區(qū)域以及希望即時視頻交互的其他參與者將關注度迀移至輸入的形狀所指示的區(qū) 域的細節(jié),從而進一步滿足了用戶對即時視頻中的某一區(qū)域的關注度大于其他區(qū)域、用戶 對某一區(qū)域的清晰度以及細節(jié)保留量的要求大于其他區(qū)域以及用戶希望即時視頻交互的 其他參與者將關注度迀移至用戶所指定的區(qū)域的多樣化需求,增加了即時視頻的交互性和 趣味性,進一步提高了用戶體驗。
[0250] 1006、判斷網(wǎng)絡帶寬是否滿足預設條件,若是,則執(zhí)行步驟1007,若不是,則結束。
[0251] 具體的,該步驟與步驟305相同,此處再不加以贅述。
[0252] 可選的,由于網(wǎng)絡傳輸時網(wǎng)絡帶寬的不穩(wěn)定性,所以,可以判斷當前時刻之前的 預設時間段內(nèi)網(wǎng)絡帶寬的平均值是否滿足預設條件,若是,則執(zhí)行步驟1007 ;若不是,則結 束。
[0253] 其中,在實際應用中,預設時間段可以為0. 2秒。
[0254] 通過判斷當前時刻之間的預設時間段內(nèi)網(wǎng)絡帶寬的平均值是否滿足預設條件,消 除了網(wǎng)絡傳輸時網(wǎng)絡帶寬的不穩(wěn)定性,保證了即時視頻編碼的可靠性,提高了用戶體驗。
[0255] 由于通過判斷網(wǎng)絡帶寬是否滿足預設條件,所以在判定網(wǎng)絡帶寬低時,對即時視 頻進行處理,不僅可以提高網(wǎng)絡帶寬的利用率,節(jié)省網(wǎng)絡資源,提高即時視頻的傳輸效率, 還可以在網(wǎng)絡帶寬低時,滿足用戶對即時視頻中的某一區(qū)域的關注度大于其他區(qū)域、用戶 對某一區(qū)域的清晰度以及細節(jié)保留量的要求大于其他區(qū)域以及用戶希望即時視頻交互的 其他參與者將關注度迀移至用戶所指定的區(qū)域的多樣化需求,進一步提高了用戶體驗。
[0256] 1007、獲取該形狀所指示的區(qū)域的重要性矩陣。
[0257] 具體的,該步驟與步驟306相同,此處再不加以贅述。
[0258] 由于本發(fā)明實施例是根據(jù)重要性矩陣對當前即時視頻幀進行處理,而重要性矩陣 指示了當前即時視頻內(nèi)每一個像素的重要性度量值,從而對每一個像素點進行處理,提高 了處理后的即時視頻的畫面質(zhì)量,滿足了用戶對即時視頻中的某一區(qū)域的關注度大于其他 區(qū)域、用戶對某一區(qū)域的清晰度以及細節(jié)保留量的要求大于其他區(qū)域以及用戶希望即時視 頻交互的其他參與者將關注度迀移至用戶所指定的區(qū)域的多樣化需求,進一步提高了用戶 體驗。
[0259] 1008、對當前即時視頻幀進行低通濾波,獲取濾波后的當前即時視頻幀。
[0260] 具體的,該步驟與步驟307相同,此處再不加以贅述。
[0261] 通過對當前即時視頻進行低通濾波,消除該當前即時視頻中的高頻信號,減少當 前即時視頻所占用的帶寬資源,不僅可以提高即時視頻的傳輸效率,還滿足了用戶對即時 視頻中的某一區(qū)域的關注度大于其他區(qū)域、用戶對某一區(qū)域的清晰度以及細節(jié)保留量的要 求大于其他區(qū)域以及用戶希望即時視頻交互的其他參與者將關注度迀移至用戶所指定的 區(qū)域的多樣化需求,進一步提高了用戶體驗。
[0262] 1009、根據(jù)重要性矩陣,將當前即時視頻幀與濾波后的當前即時視頻幀進行融合, 生成處理后的當前即時視頻幀。
[0263] 具體的,該步驟與步驟308相同,此處再不加以贅述。
[0264] 由于重要性矩陣指示了即時視頻幀內(nèi)該形狀所指示的區(qū)域和非該形狀所指示的 區(qū)域,所以,通過重要性矩陣,對重要性矩陣所指示的形狀所指示的區(qū)域進行保留,利用低 通濾波后的即時視頻幀內(nèi)的非形狀所指示的區(qū)域替換即時視頻幀內(nèi)的非形狀所指示的區(qū) 域,使得輸出的處理后的即時視頻幀中形狀所指示的區(qū)域的圖像為不失真的原始圖像,非 該形狀所指示的區(qū)域的圖像為不包括高頻信號的圖像,從而使得在傳輸該處理后的即時視 頻幀時,不僅減少了傳輸時所需的帶寬資源,提高了即時視頻的傳輸效率,滿足了用戶對即 時視頻中的某一區(qū)域的關注度大于其他區(qū)域、用戶對某一區(qū)域的清晰度以及細節(jié)保留量的 要求大于其他區(qū)域以及用戶希望即時視頻交互的其他參與者將關注度迀移至用戶所指定 的區(qū)域的多樣化需求,進一步提高了用戶體驗。
[0265] 值得注意的是,步驟1007至步驟1008是實現(xiàn)根據(jù)該形狀所指示的區(qū)域的重要性 矩陣,對至少包括區(qū)域的當前即時視頻幀進行處理,獲取處理后的當前即時視頻幀的過程, 除了上述步驟所述的方式之外,還可以通過其他方式實現(xiàn)該過程,本發(fā)明實施例對具體的 方式不加以限定。
[0266] 通過根據(jù)用戶輸入形狀所指示的區(qū)域的重要性矩陣,對至少包括區(qū)域的當前即時 視頻幀進行處理,獲取處理后的當前即時視頻幀,使得處理后的即時視頻中該區(qū)域內(nèi)的畫 面質(zhì)量優(yōu)于其他區(qū)域,從而滿足了用戶對即時視頻中的某一區(qū)域的關注度大于其他區(qū)域、 用戶對某一區(qū)域的清晰度以及細節(jié)保留量的要求大于其他區(qū)域以及用戶希望即時視頻交 互的其他參與者將關注度迀移至用戶所指定的區(qū)域的多樣化需求,進一步提高了用戶體 驗。
[0267] 1010、發(fā)送處理后的當前即時視頻幀。
[0268] 具體的,該步驟與步驟309相同,此處再不加以贅述。
[0269] 還可以包括:
[0270] 1011、發(fā)送用戶輸入的形狀。
[0271] 具體的,該步驟與步驟310相同,此處再不加以贅述。
[0272] 通過將該用戶輸入的形狀發(fā)送至其他電子設備,使得其他電子設備可以顯示該用 戶輸入的形狀,增加了即時視頻的交互形式,滿足了用戶在即時視頻過程中的多樣化需求, 進一步提高了用戶體驗。
[0273] 為了進一步說明本發(fā)明實施例提供的方法所達到的效果,下面將結合發(fā)圖對本發(fā) 明實施例所提供的方法作出進一步的說明,假設用戶輸入的形狀為圖6所示的形狀,對圖 11中的a執(zhí)行本發(fā)明實施例所述的方法后,生成的界面可以參照圖11中的b所示,若即 時視頻界面中的用戶在畫面中的位置發(fā)生變化,則界面可以參照圖11中的c所示,在圖11 中,第二顯示效果所指示的清晰度以及細節(jié)保留量大于或者等于第一顯示效果所指示的清 晰度以及細節(jié)保留量,第三顯示效果所指示的清晰度以及細節(jié)保留量小于第一顯示效果所 指示的清晰度以及細節(jié)保留量。
[0274] 在即時視頻交互的場景下,本發(fā)明實施例所提供的方法滿足了用戶對即時視頻中 的某一區(qū)域的關注度大于其他區(qū)域、用戶對某一區(qū)域的清晰度以及細節(jié)保留量的要求大于 其他區(qū)域以及用戶希望即時視頻交互的其他參與者將關注度迀移至用戶所指定的區(qū)域的 多樣化需求,增加了即時視頻的交互性和趣味性,進一步提高了用戶體驗。
[0275] 本發(fā)明實施例提供了一種即時視頻的編碼方法,通過根據(jù)用戶輸入的形狀所指示 的區(qū)域的重要性矩陣,對至少包括用戶輸入的形狀所指示的區(qū)域的當前即