本發(fā)明實施例涉及視頻傳輸技術(shù),尤其涉及一種視頻數(shù)據(jù)傳輸方法、系統(tǒng)、設(shè)備和拍攝裝置。
背景技術(shù):
在無人機等飛行系統(tǒng)中,一般在無人機上會安裝有攝像頭等視頻拍攝裝置,以用于拍攝獲得視頻數(shù)據(jù)。該視頻數(shù)據(jù)需要實時地傳送到地面遙控者的接收顯示裝置比如遙控器,以輔助遙控飛行。在此過程中,需要經(jīng)歷視頻圖像幀采集、壓縮編碼、無線發(fā)送、無線接收、壓縮解碼、顯示等步驟,該過程經(jīng)歷的時間越短越好,這樣才能及時反映當前的飛行情況以避免事故。
視頻數(shù)據(jù)是由連續(xù)的多個圖像幀組成,攝像頭通過以某固定幀率采集視頻圖像并不斷地發(fā)送到遙控器進行顯示,用戶將看到動態(tài)的視頻畫面。目前,大多攝像頭都被配置為采用與顯示端即遙控器相同的幀率進行視頻圖像的采集,即攝像頭的采集幀率等于顯示器的顯示幀率,從而,采集時間所引入的時延決定了顯示時間所引入的延遲,最終導致較高的視頻圖像傳輸時延。
技術(shù)實現(xiàn)要素:
本發(fā)明實施例提供一種視頻數(shù)據(jù)傳輸方法、系統(tǒng)、設(shè)備和拍攝裝置,通過降低采集視頻圖像的采集時間,以降低視頻數(shù)據(jù)的整體傳輸時延,增加視頻數(shù)據(jù)傳輸實時性。
本發(fā)明第一方面提供一種視頻數(shù)據(jù)傳輸方法,用于將視頻數(shù)據(jù)傳輸至一顯示裝置,包括:
根據(jù)預先確定的采集幀率采集圖像,其中,所述采集幀率大于所述顯示裝置顯示視頻圖像的顯示幀率;
對采集的圖像進行丟幀處理,獲得目標視頻圖像幀;
對所述目標視頻圖像幀進行編碼處理,以使編碼輸出幀率與所述顯示幀率相等;
向所述顯示裝置發(fā)送編碼處理后的目標視頻圖像幀。
結(jié)合第一方面,在第一方面的第一種可能的實施方式中,所述對采集的圖像進行丟幀處理,獲得目標視頻圖像幀,包括:
采用等間隔提取方式,從采集的圖像中提取所述目標視頻圖像幀。
結(jié)合第一方面,在第一方面的第二種可能的實施方式中,所述對采集的圖像進行丟幀處理,獲得目標視頻圖像幀,包括:
采用圖像融合方式,對采集的圖像中相鄰預設(shè)數(shù)量的視頻圖像幀進行融合處理,以獲得所述目標視頻圖像幀。
結(jié)合第一方面,在第一方面的第三種可能的實施方式中,所述方法還包括:
設(shè)置拍攝裝置的分辨率與所述顯示裝置的分辨率匹配;
根據(jù)拍攝裝置的分辨率與幀率的對應(yīng)關(guān)系,從所述分辨率對應(yīng)的可選幀率中選擇最大幀率作為所述采集幀率。
結(jié)合第一方面、第一方面的第一種、第二種或第三種可能的實施方式,在第一方面的第四種可能的實施方式中,所述拍攝裝置設(shè)置于一可移動設(shè)備上,所述方法還包括:
獲取所述可移動設(shè)備的狀態(tài)信息;
根據(jù)所述狀態(tài)信息調(diào)整所述采集幀率。
結(jié)合第一方面的第四種可能的實施方式,在第一方面的第五種可能的實施方式中,所述根據(jù)所述狀態(tài)信息調(diào)整所述采集幀率,包括:
在所述狀態(tài)信息指示所述可移動設(shè)備所處的場景改變時,提高所述采集幀率;
在所述狀態(tài)信息指示所述可移動設(shè)備所處的場景未改變時,降低或保持所述采集幀率。
結(jié)合第一方面的第五種可能的實施方式,在第一方面的第六種可能的實施方式中,所述方法還包括:
在所述狀態(tài)信息的變化量大于對應(yīng)閾值時,確定所述可移動設(shè)備所處的場景改變;
在所述狀態(tài)信息的變化量不大于對應(yīng)閾值時,確定所述可移動設(shè)備所處的場景未改變。
結(jié)合第一方面的第四種、第五種或第六種可能的實施方式,在第一方面的第七種可能的實施方式中,所述狀態(tài)信息包括如下參數(shù)中的任一種或多種組合:速度、轉(zhuǎn)彎角度、高度。
本發(fā)明第二方面提供一種視頻數(shù)據(jù)傳輸系統(tǒng),用于將視頻數(shù)據(jù)傳輸至一顯示裝置,包括:
采集模塊,用于根據(jù)預先確定的采集幀率采集圖像,其中,所述采集幀率大于所述顯示裝置顯示視頻圖像的顯示幀率;
丟幀處理模塊,用于對采集的圖像進行丟幀處理,獲得目標視頻圖像幀;
編碼模塊,用于對所述目標視頻圖像幀進行編碼處理,以使編碼輸出幀率與所述顯示幀率相等;
發(fā)送模塊,用于向所述顯示裝置發(fā)送編碼處理后的目標視頻圖像幀。
結(jié)合第二方面,在第二方面的第一種可能的實施方式中,所述丟幀處理模塊包括:
第一處理子模塊,用于采用等間隔提取方式,從采集的圖像中提取所述目標視頻圖像幀。
結(jié)合第二方面,在第二方面的第二種可能的實施方式中,所述丟幀處理模塊包括:
第二處理子模塊,用于采用圖像融合方式,對采集的圖像中相鄰預設(shè)數(shù)量的視頻圖像幀進行融合處理,以獲得所述目標視頻圖像幀。
結(jié)合第二方面,在第二方面的第三種可能的實施方式中,還包括:
設(shè)置模塊,用于設(shè)置拍攝裝置的分辨率與所述顯示裝置的分辨率匹配;
選擇模塊,用于根據(jù)拍攝裝置的分辨率與幀率的對應(yīng)關(guān)系,從所述分辨率對應(yīng)的可選幀率中選擇最大幀率作為所述采集幀率。
結(jié)合第二方面、第二方面的第一種、第二種或第三種可能的實施方式,在第二方面的第四種可能的實施方式中,,還包括:
獲取模塊,用于獲取所述拍攝裝置所設(shè)置于的可移動設(shè)備的狀態(tài)信息;
調(diào)整模塊,用于根據(jù)所述狀態(tài)信息調(diào)整所述采集幀率。
結(jié)合第二方面的第四種可能的實施方式,在第二方面的第五種可能的實施方式中,所述調(diào)整模塊包括:
第一調(diào)整子模塊,用于在所述狀態(tài)信息指示所述可移動設(shè)備所處的場景改變時,提高所述采集幀率;
第二調(diào)整子模塊,用于在所述狀態(tài)信息指示所述可移動設(shè)備所處的場景未改變時,降低或保持所述采集幀率。
結(jié)合第二方面的第五種可能的實施方式,在第二方面的第六種可能的實施方式中,第一調(diào)整子模塊具體用于:
在所述狀態(tài)信息的變化量大于對應(yīng)閾值時,確定所述可移動設(shè)備所處的場景改變,提高所述采集幀率;
第二調(diào)整子模塊,具體用于:
在所述狀態(tài)信息的變化量不大于對應(yīng)閾值時,確定所述可移動設(shè)備所處的場景未改變,降低或保持所述采集幀率。
結(jié)合第二方面的第四種、第五種或第六種可能的實施方式,在第二方面的第七種可能的實施方式中,所述狀態(tài)信息包括如下參數(shù)中的任一種或多種組合:速度、轉(zhuǎn)彎角度、高度。
本發(fā)明第三方面提供一種拍攝裝置,包括:
攝像頭、處理器、發(fā)送器;
所述處理器,用于控制所述攝像頭以預先確定的采集幀率采集圖像,其中,所述采集幀率大于顯示裝置顯示視頻圖像的顯示幀率;
所述處理器,還用于對采集的圖像進行丟幀處理,獲得目標視頻圖像幀;對所述目標視頻圖像幀進行編碼處理,以使編碼輸出幀率與所述顯示幀率相等;
所述發(fā)送器,用于向所述顯示裝置發(fā)送編碼處理后的目標視頻圖像幀。
結(jié)合第三方面,在第三方面的第一種可能的實施方式中,所述處理器還用于:
采用等間隔提取方式,從采集的圖像中提取所述目標視頻圖像幀。
結(jié)合第三方面,在第三方面的第二種可能的實施方式中,所述處理器還用于:
采用圖像融合方式,對采集的圖像中相鄰預設(shè)數(shù)量的視頻圖像幀進行融合處理,以獲得所述目標視頻圖像幀。
結(jié)合第三方面,在第三方面的第三種可能的實施方式中,所述處理器還用于:
設(shè)置所述拍攝裝置的分辨率與所述顯示裝置的分辨率匹配;
根據(jù)所述拍攝裝置的分辨率與幀率的對應(yīng)關(guān)系,從所述分辨率對應(yīng)的可選幀率中選擇最大幀率作為所述采集幀率。
結(jié)合第三方面、第三方面的第一種、第二種或第三種可能的實施方式,在第三方面的第四種可能的實施方式中,所述拍攝裝置設(shè)置于一可移動設(shè)備,所述處理器還用于:
獲取所述可移動設(shè)備的狀態(tài)信息;
根據(jù)所述狀態(tài)信息調(diào)整所述采集幀率。
結(jié)合第三方面的第四種可能的實施方式,在第三方面的第五種可能的實施方式中,所述處理器還用于:
在所述狀態(tài)信息指示所述可移動設(shè)備所處的場景改變時,提高所述采集幀率;
在所述狀態(tài)信息指示所述可移動設(shè)備所處的場景未改變時,降低或保持所述采集幀率。
結(jié)合第三方面的第五種可能的實施方式,在第三方面的第六種可能的實施方式中,所述處理器還用于:
在所述狀態(tài)信息的變化量大于對應(yīng)閾值時,確定所述可移動設(shè)備所處的場景改變;
在所述狀態(tài)信息的變化量不大于對應(yīng)閾值時,確定所述可移動設(shè)備所處的場景未改變。
結(jié)合第三方面的第四種、第五種或第六種可能的實施方式,在第三方面的第七種可能的實施方式中,所述狀態(tài)信息包括如下參數(shù)中的任一種或多種組合:速度、轉(zhuǎn)彎角度、高度。
本發(fā)明第四方面提供一種視頻數(shù)據(jù)傳輸設(shè)備,包括:
攝像頭、處理器、發(fā)送器以及顯示裝置;
所述處理器,用于控制所述攝像頭以預先確定的采集幀率采集圖像,其中,所述采集幀率大于顯示裝置顯示視頻圖像的顯示幀率;
所述處理器,還用于對采集的圖像進行丟幀處理,獲得目標視頻圖像幀;對所述目標視頻圖像幀進行編碼處理,以使編碼輸出幀率與所述顯示幀率相等;
所述發(fā)送器,用于向所述顯示裝置發(fā)送編碼處理后的目標視頻圖像幀。
所述顯示裝置,用于接收并顯示所述目標視頻圖像幀組成的視頻圖像。
結(jié)合第四方面,在第四方面的第一種可能的實施方式中,所述處理器還用于:
采用等間隔提取方式,從采集的圖像中提取所述目標視頻圖像幀。
結(jié)合第四方面,在第四方面的第二種可能的實施方式中,所述處理器還用于:
采用圖像融合方式,對采集的圖像中相鄰預設(shè)數(shù)量的視頻圖像幀進行融合處理,以獲得所述目標視頻圖像幀。
結(jié)合第四方面,在第四方面的第三種可能的實施方式中,所述處理器還用于:
設(shè)置所述拍攝裝置的分辨率與所述顯示裝置的分辨率匹配;
根據(jù)所述拍攝裝置的分辨率與幀率的對應(yīng)關(guān)系,從所述分辨率對應(yīng)的可選幀率中選擇最大幀率作為所述采集幀率。
結(jié)合第四方面、第四方面的第一種、第二種或第三種可能的實施方式,在第四方面的第四種可能的實施方式中,所述拍攝裝置設(shè)置于一可移動設(shè)備,所述處理器還用于:
獲取所述可移動設(shè)備的狀態(tài)信息;
根據(jù)所述狀態(tài)信息調(diào)整所述采集幀率。
結(jié)合第四方面的第四種可能的實施方式,在第四方面的第五種可能的實施方式中,所述處理器還用于:
在所述狀態(tài)信息指示所述可移動設(shè)備所處的場景改變時,提高所述采集幀率;
在所述狀態(tài)信息指示所述可移動設(shè)備所處的場景未改變時,降低或保持所述采集幀率。
結(jié)合第四方面的第五種可能的實施方式,在第四方面的第六種可能的實施方式中,所述處理器還用于:
在所述狀態(tài)信息的變化量大于對應(yīng)閾值時,確定所述可移動設(shè)備所處的場景改變;
在所述狀態(tài)信息的變化量不大于對應(yīng)閾值時,確定所述可移動設(shè)備所處的場景未改變。
結(jié)合第四方面的第四種、第五種或第六種可能的實施方式,在第四方面的第七種可能的實施方式中,所述狀態(tài)信息包括如下參數(shù)中的任一種或多種組合:速度、轉(zhuǎn)彎角度、高度。
本發(fā)明提供的視頻數(shù)據(jù)傳輸方法、系統(tǒng)、設(shè)備和拍攝裝置,在視頻圖像采集階段,以高于顯示幀率的采集幀率來采集視頻圖像,使得采集時延降低;為了保證視頻數(shù)據(jù)在顯示端的正常顯示,在以較高采集幀率采集視頻圖像后,通過對采集的圖像進行丟幀處理,以使對視頻圖像幀的編碼輸出幀率與顯示幀率相等,保證顯示的可靠性。因此,通過降低采集時延的方式降低了視頻數(shù)據(jù)從飛行器端到顯示端的傳輸時延,增加了視頻數(shù)據(jù)傳輸?shù)膶崟r性。
附圖說明
為了更清楚地說明本發(fā)明實施例或現(xiàn)有技術(shù)中的技術(shù)方案,下面將對實施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作一簡單地介紹,顯而易見地,下面描述中的附圖是本發(fā)明的一些實施例,對于本領(lǐng)域普通技術(shù)人員來講,在不付出創(chuàng)造性勞動性的前提下,還可以根據(jù)這些附圖獲得其他的附圖。
圖1為本發(fā)明實施例提供的視頻數(shù)據(jù)傳輸方法實施例一的流程圖;
圖2為本發(fā)明實施例提供的視頻數(shù)據(jù)傳輸方法實施例二的流程圖;
圖3為本發(fā)明實施例提供的視頻數(shù)據(jù)傳輸方法實施例三的流程圖;
圖4為本發(fā)明實施例提供的視頻數(shù)據(jù)傳輸系統(tǒng)實施例一的結(jié)構(gòu)示意圖;
圖5為本發(fā)明實施例提供的視頻數(shù)據(jù)傳輸系統(tǒng)實施例二的結(jié)構(gòu)示意圖;
圖6為本發(fā)明實施例提供的視頻數(shù)據(jù)傳輸系統(tǒng)實施例三的結(jié)構(gòu)示意圖;
圖7為本發(fā)明實施例提供的拍攝裝置實施例一的結(jié)構(gòu)示意圖;
圖8為本發(fā)明實施例提供的視頻數(shù)據(jù)傳輸設(shè)備實施例一的結(jié)構(gòu)示意圖。
具體實施方式
為使本發(fā)明實施例的目的、技術(shù)方案和優(yōu)點更加清楚,下面將結(jié)合本發(fā)明實施例中的附圖,對本發(fā)明實施例中的技術(shù)方案進行清楚、完整地描述,顯然,所描述的實施例是本發(fā)明一部分實施例,而不是全部的實施例。基于本發(fā)明中的實施例,本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動前提下所獲得的所有其他實施例,都屬于本發(fā)明保護的范圍。
在具體介紹本發(fā)明的詳細技術(shù)方案前,首先闡明本發(fā)明的技術(shù)構(gòu)思:目前,大多安裝在諸如無人機等飛行器中的拍攝裝置都被配置為使用與顯示端的顯示幀率相同的采集幀率采集圖像幀。假設(shè)顯示幀率為n,即每秒顯示n個視頻圖像幀。在采集幀率與顯示幀率相等時,即每秒采集n幀圖像,從而每個視頻圖像幀采集所花費的時間為1/n秒。以n=30為例,采集每個視頻圖像幀的時間約為33毫秒,即便后續(xù)向接收顯示端傳輸?shù)臅r延為0,那么由采集所引入的采集時延也將有33毫秒。因此圖像幀的采集時間所引入的延遲決定了顯示時間所引入的延遲,這也限制了視頻數(shù)據(jù)整體延遲的規(guī)模?;谏鲜鲅芯堪l(fā)現(xiàn),本發(fā)明通過提高采集幀率的方式,保證采集幀率高于顯示幀率,以降低采集階段所引入的時延,從而加強了圖像顯示的實時性。
下面結(jié)合幾個具體的實施例對本發(fā)明的方案進行詳細說明。
圖1為本發(fā)明實施例提供的視頻數(shù)據(jù)傳輸方法實施例一的流程圖,如圖1所示,該方案的執(zhí)行主體為拍攝裝置,該視頻數(shù)據(jù)傳輸方法用于將視頻數(shù)據(jù)傳輸至一顯示裝置,具體包括如下步驟:
步驟101、根據(jù)預先確定的采集幀率采集圖像,其中,采集幀率大于顯示裝置顯示視頻圖像的顯示幀率。
本實施例中,上述拍攝裝置可以安裝在具有圖傳單元的無人機上,也可以安裝于具有圖像單元的云臺等,或者拍攝裝置本身具有圖傳功能,即圖像傳輸功能。以無人機為例說明,拍攝裝置以一定的采集幀率采集視頻圖像,并將采集的圖像傳輸至地面端的顯示裝置中,由顯示裝置進行視頻圖像的實時顯示。
其中,采集幀率是指拍攝裝置每秒采集的圖像幀數(shù),顯示幀率是指顯示裝置每秒顯示的圖像幀數(shù)。
步驟102、對采集的圖像進行丟幀處理,獲得目標視頻圖像幀。
值得說明的是,由于采集幀率是指每秒采集的圖像幀數(shù),而實際應(yīng)用中,一段完整的視頻數(shù)據(jù)是由一定時間內(nèi)采集的很多幀圖像組成,因此,本實施例中針對每秒采集的圖像幀依次分別進行丟幀處理,從而最終獲得的目標視頻圖像幀是指針對每秒采集的圖像分別進行丟幀處理后的視頻圖像幀。
具體的丟幀處理方式可以采用等間隔丟幀方式或者稱為等間隔提取方式,也可以采用圖像融合方式,具體的處理過程后續(xù)詳細說明。
步驟103、對目標視頻圖像幀進行編碼處理,以使編碼輸出幀率與顯示幀率相等。
本實施例中,在對每秒采集的圖像進行丟幀處理后,需要滿足的要求是:針對每秒采集的圖像幀來說,需保證經(jīng)丟幀處理后的圖像幀數(shù)與顯示幀率即每秒顯示的圖像幀數(shù)相等。
由于圖像從采集到發(fā)送出去,需要經(jīng)歷編碼的處理,即將編碼輸出的圖像發(fā)送出去,因此,本實施例中,需要保證編碼輸出幀率與顯示幀率相等,也就是說,針對經(jīng)過丟幀處理的每秒對應(yīng)的目標視頻圖像幀來說,其經(jīng)過編碼后每秒輸出的圖像幀數(shù)要與顯示裝置每秒顯示的圖像幀數(shù)相等。
步驟104、向顯示裝置發(fā)送編碼處理后的目標視頻圖像幀。
將每秒采集的圖像幀經(jīng)過上述丟幀、編碼處理后向顯示裝置發(fā)出,顯示裝置接收并顯示由一幀幀目標視頻圖像幀組成的視頻圖像。
下面以拍攝裝置安裝在諸如無人機等飛行器中,將采集的視頻圖像傳輸至地面端的顯示裝置為例,對本實施例提供的視頻數(shù)據(jù)傳輸方法進行詳細說明:
本實施例中,拍攝裝置在拍攝采集視頻數(shù)據(jù)時,采用大于顯示幀率的采集幀率進行視頻圖像的采集,比如在顯示幀率為30幀每秒的情況下,采集幀率為120幀每秒,這樣每幀圖像的采集時間為1/120秒,約為8.3毫秒。相比于采用30幀每秒的采集幀率,采集階段節(jié)省的時間為:33毫秒-8.3毫秒=24.7毫秒。
當采用相比于顯示幀率較高的采集幀率進行視頻圖像的采集時,每秒采集的視頻圖像幀數(shù)量較多,如果以該較多的視頻圖像幀向顯示裝置比如遙控器、智能手機終端等進行傳輸,在傳輸階段,勢必會增加傳輸時間,而且會導致與顯示幀率不匹配的問題,即顯示裝置側(cè)僅能以30幀每秒的顯示幀率進行顯示,但是接收到的幀率卻是120幀每秒。
因此,本實施例中,在通過以較高采集幀率采集視頻圖像來降低采集時延的情況下,為了保證在顯示裝置處視頻數(shù)據(jù)的可靠顯示,以及為了降低視頻數(shù)據(jù)從飛行器端到顯示裝置端的傳輸時間,還分別對每秒采集的圖像進行丟幀處理,獲得目標視頻圖像幀,對目標視頻圖像幀進行編碼處理,以使編碼輸出幀率與顯示幀率相等,從而降低了需要傳輸?shù)囊曨l圖像幀數(shù)量,且保證了顯示可靠性。
具體來說,對采集的圖像進行丟幀處理,獲得目標視頻圖像幀,可以通過如下兩種可選的方式實現(xiàn):
其一,采用等間隔提取方式,從視頻圖像幀中提取目標視頻圖像幀。
舉例來說,在采集幀率為120幀每秒、顯示幀率為30幀每秒的情況下,為了使得傳輸給顯示裝置的幀率與顯示幀率相等,為30幀每秒,需要保證編碼輸出幀率等于顯示幀率。也就是說,需要對每秒采集的120幀圖像進行一定的處理,以降低輸入到圖像編碼處理過程中的目標視頻圖像幀數(shù)量,以保證編碼輸出幀率等于顯示幀率。
采用等間隔提取的方式,在采集幀率為120幀每秒、顯示幀率為30幀每秒的情況下,相當于每4幀提取1幀,丟棄3幀,從而每秒內(nèi)目標視頻圖像幀的數(shù)量為30幀。假設(shè)從第1幀開始提取,那么提取的視頻圖像幀分別為第1幀、第5幀、第8幀……。
實際上,在提取目標視頻圖像幀的過程中,針對每秒采集的全部視頻圖像幀來說,相當于進行了(采集幀率/顯示幀率)個小組的劃分,使得小組數(shù)量與顯示幀率數(shù)值相等。每個小組按照等間隔提取的策略,提取其中一幀,可以提取每個小組中的第一幀,丟棄其他幀進行目標視頻圖像幀的提取。
值得說明的是,正如上述舉例中一樣,一般設(shè)置采集幀率為顯示幀率的整數(shù)倍,從而使得等間隔提取方式更為方便快速實現(xiàn)。但是,當采集幀率不為顯示幀率的整數(shù)倍時,其實原理與之類似,只是在分組時,最后一個分組中所包含的圖像幀數(shù)量與其他各分組中包含的圖像幀數(shù)量不同,比如其他分組中都包含4幀圖像,最后一個分組中包含3個,以將(采集幀率/顯示幀率)的余數(shù)個圖像幀劃分為最后一組。此時,可以按照每個分組中提取第一幀圖像,丟棄剩余圖像幀的策略進行丟幀處理。
其二,采用圖像融合方式,對視頻圖像幀中相鄰預設(shè)數(shù)量的視頻圖像幀進行融合處理,以獲得目標視頻圖像幀。
與上述等間隔提取的方式類似,還可以對每秒采集的視頻圖像幀進行小組的劃分,劃分的小組數(shù)量需要與顯示幀率的數(shù)值相等,從而將每個小組中包含的視頻圖像幀融合為一幀圖像以進行后續(xù)的圖像編碼處理,保證編碼輸出幀率等于顯示幀率。
其中,圖像融合方式包括但不限于對應(yīng)像素數(shù)據(jù)加權(quán)平均方式融合、基于圖像內(nèi)容運動預測進行圖像融合等方式。
在從采集得到的視頻圖像幀中提取獲得用于圖像編碼的目標視頻圖像幀后,對該目標視頻圖像幀進行編碼處理,以將編碼后的目標視頻圖像幀發(fā)送至顯示裝置,顯示裝置對其進行解碼處理,最終以顯示幀率進行顯示。
本實施例中,在視頻圖像采集階段,以高于顯示幀率的采集幀率來采集圖像幀,使得采集時延降低;為了保證視頻數(shù)據(jù)在顯示端的正常顯示,在以較高采集幀率采集視頻圖像后,通過對采集的圖像進行丟幀處理,以使圖像編碼輸出幀率與顯示幀率相等,保證顯示的可靠性。因此,通過降低采集時延的方式降低了視頻數(shù)據(jù)從飛行器端到顯示端的傳輸時延,增加了視頻數(shù)據(jù)傳輸?shù)膶崟r性。
以上實施例中提到,以大于顯示幀率的采集幀率進行視頻圖像幀的采集,可以降低采集階段引入的時延。但是,在具體實現(xiàn)時,該采集幀率如何確定,可以通過如下兩個實施例中的方式實現(xiàn),以使得該采集幀率的選定與拍攝裝置的處理能力、飛行的實際情況相適應(yīng)。
圖2為本發(fā)明實施例提供的視頻數(shù)據(jù)傳輸方法實施例二的流程圖,如圖2所示,在圖1所示實施例的基礎(chǔ)上,在步驟101之前,該方法還可以包括如下步驟:
步驟201、設(shè)置拍攝裝置的分辨率與顯示裝置的分辨率匹配。
步驟202、根據(jù)拍攝裝置的分辨率與幀率的對應(yīng)關(guān)系,從設(shè)置的分辨率對應(yīng)的可選幀率中選擇最大幀率作為采集幀率。
實際上,對于拍攝裝置來說,不同的拍攝裝置,處理能力千差萬別,針對視頻圖像的采集與顯示來說,常涉及到的參數(shù)包括分辨率和幀率。對于每個拍攝裝置來說,一般會有一個最大支持的分辨率/幀率的組合極限,一般來說,分辨率越低,可支持的幀率越大。因此,從最大化降低采集時延的角度出發(fā),在設(shè)置拍攝裝置的分辨率與顯示裝置的分辨率相匹配的情況下,可以根據(jù)拍攝裝置的分辨率與幀率的對應(yīng)關(guān)系,選擇該分辨率對應(yīng)的至少一個幀率中的最大幀率作為采集幀率,來進行視頻圖像的采集。
其中,設(shè)置拍攝裝置的分辨率與顯示裝置的分辨率相匹配,可以是設(shè)置兩者的分辨率相同。但是,當拍攝裝置所支持的最高分辨率仍低于顯示裝置的分辨率的情況下,該匹配是指設(shè)置拍攝裝置的分辨率為其支持的最大分辨率。
本實施例中,通過基于拍攝裝置、顯示裝置的處理能力設(shè)置拍攝裝置的采集幀率,在保證通過降低采集時延來提高視頻數(shù)據(jù)傳輸實時性的同時,兼顧了設(shè)備的處理能力,提高了適用性。
圖3為本發(fā)明實施例提供的視頻數(shù)據(jù)傳輸方法實施例三的流程圖,如圖3所示,在前述各實施例的基礎(chǔ)上,還可以包括如下步驟:
步驟301、獲取可移動設(shè)備的狀態(tài)信息,拍攝裝置設(shè)置于所述可移動設(shè)備中。
步驟302、根據(jù)可移動設(shè)備的狀態(tài)信息調(diào)整采集幀率。
上述步驟301和步驟302與前述實施例的步驟沒有嚴格的時序限定關(guān)系,可以是一個反復調(diào)整的過程。圖3中以在圖1所示實施例的基礎(chǔ)上,在步驟101前執(zhí)行為例進行說明。
本實施例中,以拍攝裝置安裝在諸如無人機等飛行器中的場景為例,對采集幀率的確定、調(diào)整依據(jù)進行說明。當然并不限于該場景,可以理解的是,當拍攝裝置安裝在諸如無人車、無人船、云臺等可移動設(shè)備中時,同樣適用。
采集幀率的確定還可以依據(jù)飛行器的狀態(tài)來實現(xiàn),該狀態(tài)在飛行器場景下,也可以稱為飛行器的飛行狀態(tài)。其中,該飛行狀態(tài)信息比如為飛行器的飛行高度的改變、轉(zhuǎn)彎角度的改變、飛行速度的改變等等。這些參數(shù)的獲得可以基于設(shè)置在飛行器中的氣壓計、全球定位系統(tǒng)(globalpositioningsystem,簡稱gps)、視覺輔助系統(tǒng)和慣性傳感器中的至少一種來實現(xiàn),該慣性傳感器中可以集成有檢測各參數(shù)的傳感器(如氣壓計、gps等),可以被配置為以一定時間間隔進行相應(yīng)參數(shù)的采集,以判定上述飛行狀態(tài)的改變情況。
具體來說,根據(jù)飛行狀態(tài)信息調(diào)整采集幀率,包括:
在飛行狀態(tài)信息指示飛行器的飛行場景改變時,提高采集幀率;
在飛行狀態(tài)信息指示飛行器的飛行場景未改變時,降低或保持采集幀率。
具體地,在飛行狀態(tài)信息的變化量大于對應(yīng)閾值時,確定飛行器的飛行場景改變;
在飛行狀態(tài)信息的變化量不大于對應(yīng)閾值時,確定飛行器的飛行場景未改變。
本實施例中,通過對飛行狀態(tài)信息的檢測,以判定飛行器的飛行場景是否發(fā)生改變。舉例來說,如果飛行器的飛行高度變化量大于一定閾值,認為飛行場景發(fā)生改變;或者,如果飛行器的轉(zhuǎn)彎角度大于一定閾值,認為飛行場景發(fā)生改變;或者,如果飛行器的飛行速度變化量大于一定閾值,認為飛行場景發(fā)生改變,等等。相反的,如果上述變化量都沒有大于對應(yīng)閾值,則認為飛行場景沒有發(fā)生改變。
當飛行場景發(fā)生改變時,在當前已經(jīng)高于顯示幀率的采集幀率的基礎(chǔ)上,可以以一定步長提高采集幀率,從而進一步降低采集延時,使得采集到的視頻圖像幀能夠更加實時地傳輸至接收顯示裝置進行及時顯示,以指導飛行控制。
相反的,當飛行場景沒有發(fā)生改變時,在當前已經(jīng)高于顯示幀率的采集幀率的基礎(chǔ)上,可以以一定步長降低采集幀率或保持當前采集幀率不變。降低后的采集幀率仍要大于顯示幀率,從而在降低采集延時的同時,降低采集處理負載。
值得說明的是,本實施例在圖2所示實施例的基礎(chǔ)上,當分辨率對應(yīng)有多個可選的幀率時,上述調(diào)整的調(diào)整范圍可以限制在該多個可選幀率中,但是也可以不以此為限?;趫D2所示實施例,上述步驟301和步驟302可以在步驟202后執(zhí)行,但并不以此為限,比如還可以在步驟104后執(zhí)行。
可以理解的是,針對比如無人船、無人車等其他可移動設(shè)備的場景,上述狀態(tài)信息比如為可移動設(shè)備的行駛速度、轉(zhuǎn)彎程度等參數(shù)信息,相應(yīng)的,在該狀態(tài)信息指示可移動設(shè)備所處的場景改變時,提高采集幀率;在該狀態(tài)信息指示可移動設(shè)備所處的場景未改變時,降低或保持采集幀率,原理與上述飛行器的舉例相似,不再贅述。
圖4為本發(fā)明實施例提供的視頻數(shù)據(jù)傳輸系統(tǒng)實施例一的結(jié)構(gòu)示意圖,如圖4所示,該傳輸系統(tǒng)用于將視頻數(shù)據(jù)傳輸至一顯示裝置,具體包括:采集模塊11、丟幀處理模塊12、編碼模塊13、發(fā)送模塊14。
采集模塊11,用于根據(jù)預先確定的采集幀率采集圖像,其中,所述采集幀率大于顯示裝置顯示視頻圖像的顯示幀率。
丟幀處理模塊12,用于對采集的圖像進行丟幀處理,獲得目標視頻圖像幀。
編碼模塊13,用于對所述目標視頻圖像幀進行編碼處理,以使編碼輸出幀率與所述顯示幀率相等。
發(fā)送模塊14,用于向所述顯示裝置發(fā)送編碼處理后的目標視頻圖像幀。
其中,所述丟幀處理模塊12包括:第一處理子模塊121或第二處理子模塊122。
第一處理子模塊121,用于采用等間隔提取方式,從采集的圖像中提取所述目標視頻圖像幀。
第二處理子模塊122,用于采用圖像融合方式,對采集的圖像中相鄰預設(shè)數(shù)量的視頻圖像幀進行融合處理,以獲得所述目標視頻圖像幀。
本實施例提供的視頻數(shù)據(jù)傳輸系統(tǒng)可以用于執(zhí)行圖1所示實施例中的技術(shù)方案,其實現(xiàn)原理和技術(shù)效果類似,在此不再贅述。
圖5為本發(fā)明實施例提供的視頻數(shù)據(jù)傳輸系統(tǒng)實施例二的結(jié)構(gòu)示意圖,如圖5所示,在圖4所示實施例的基礎(chǔ)上,還包括:設(shè)置模塊21、選擇模塊22。
設(shè)置模塊21,用于設(shè)置拍攝裝置的分辨率與所述顯示裝置的分辨率匹配。
選擇模塊22,用于根據(jù)拍攝裝置的分辨率與幀率的對應(yīng)關(guān)系,從設(shè)置的分辨率對應(yīng)的可選幀率中選擇最大幀率作為所述采集幀率。
本實施例提供的視頻數(shù)據(jù)傳輸系統(tǒng)可以用于執(zhí)行圖2所示實施例中的技術(shù)方案,其實現(xiàn)原理和技術(shù)效果類似,不再贅述。
圖6為本發(fā)明實施例提供的視頻數(shù)據(jù)傳輸系統(tǒng)實施例三的結(jié)構(gòu)示意圖,如圖6所示,在圖4或圖5所示實施例的基礎(chǔ)上,還包括:獲取模塊31、調(diào)整模塊32。
獲取模塊31,用于獲取可移動設(shè)備的狀態(tài)信息,拍攝裝置設(shè)置于可移動設(shè)備中。
調(diào)整模塊32,用于根據(jù)所述狀態(tài)信息調(diào)整所述采集幀率。
其中,所述調(diào)整模塊32包括:第一調(diào)整子模塊321、第二調(diào)整子模塊322。
第一調(diào)整子模塊321,用于在所述狀態(tài)信息指示所述可移動設(shè)備所處的場景改變時,提高所述采集幀率。
第二調(diào)整子模塊322,用于在所述狀態(tài)信息指示所述可移動設(shè)備所處的場景未改變時,降低或保持所述采集幀率。
具體來說,第一調(diào)整子模塊321具體用于:在所述狀態(tài)信息的變化量大于對應(yīng)閾值時,確定所述可移動設(shè)備所處的場景改變,提高所述采集幀率。
第二調(diào)整子模塊322,具體用于:在所述狀態(tài)信息的變化量不大于對應(yīng)閾值時,確定所述可移動設(shè)備所處的場景未改變,降低或保持所述采集幀率。
其中,所述狀態(tài)信息包括如下參數(shù)中的任一種或多種組合:速度、轉(zhuǎn)彎角度、高度。
本實施例提供的視頻數(shù)據(jù)傳輸系統(tǒng)可以用于執(zhí)行圖3所示實施例中的技術(shù)方案,其實現(xiàn)原理和技術(shù)效果類似,不再贅述。
圖7為本發(fā)明實施例提供的拍攝裝置實施例一的結(jié)構(gòu)示意圖,如圖7所示,該拍攝裝置包括:攝像頭41、處理器42、發(fā)送器43。
其中,所述處理器42,用于控制所述攝像頭41以預先確定的采集幀率采集圖像,其中,所述采集幀率大于顯示裝置顯示所述視頻圖像的顯示幀率。
所述處理器42,還用于對采集的圖像進行丟幀處理,獲得目標視頻圖像幀;對所述目標視頻圖像幀進行編碼處理,以使編碼輸出幀率與所述顯示幀率相等。
所述發(fā)送器43,用于向所述顯示裝置發(fā)送編碼處理后的目標視頻圖像幀。
可選的,所述處理器42還用于:采用等間隔提取方式,從采集的圖像中提取所述目標視頻圖像幀。
可選的,所述處理器42還用于:采用圖像融合方式,對采集的圖像中相鄰預設(shè)數(shù)量的視頻圖像幀進行融合處理,以獲得所述目標視頻圖像幀。
可選的,所述處理器42還用于:
設(shè)置所述拍攝裝置的分辨率與所述接收顯示裝置的分辨率匹配;
根據(jù)所述拍攝裝置的分辨率與幀率的對應(yīng)關(guān)系,從所述分辨率對應(yīng)的可選幀率中選擇最大幀率作為所述采集幀率。
具體地,該拍攝裝置設(shè)置于一可移動設(shè)備,可選的,所述處理器42還用于:
獲取所述可移動設(shè)備的狀態(tài)信息;
根據(jù)所述狀態(tài)信息調(diào)整所述采集幀率。
可選的,所述處理器42還用于:
在所述狀態(tài)信息指示所述可移動設(shè)備所處的場景改變時,提高所述采集幀率;
在所述狀態(tài)信息指示所述可移動設(shè)備所處的場景未改變時,降低或保持所述采集幀率。
具體地,所述處理器42用于:在所述狀態(tài)信息的變化量大于對應(yīng)閾值時,確定所述可移動設(shè)備所處的場景改變;在所述狀態(tài)信息的變化量不大于對應(yīng)閾值時,確定所述可移動設(shè)備所處的場景未改變。
其中,所述狀態(tài)信息包括如下參數(shù)中的任一種或多種組合:速度、轉(zhuǎn)彎角度、高度。
本實施例提供的拍攝裝置可以用于執(zhí)行圖1、圖2、圖3中的技術(shù)方案,其實現(xiàn)原理和技術(shù)效果類似,在此不再贅述。
圖8為本發(fā)明實施例提供的視頻數(shù)據(jù)傳輸設(shè)備實施例一的結(jié)構(gòu)示意圖,如圖8所示,該系統(tǒng)包括:
攝像頭51、處理器52、發(fā)送器52以及顯示裝置54;
其中,所述處理器52,用于控制所述攝像頭51以預先確定的采集幀率采集圖像,其中,所述采集幀率大于顯示裝置顯示所述視頻圖像的顯示幀率。
所述處理器52,還用于對采集的圖像進行丟幀處理,獲得目標視頻圖像幀;對所述目標視頻圖像幀進行編碼處理,以使編碼輸出幀率與所述顯示幀率相等。
所述發(fā)送器53,用于向所述顯示裝置54發(fā)送編碼處理后的目標視頻圖像幀。
所述顯示裝置54,用于接收并顯示所述目標視頻圖像幀組成的視頻圖像。
可選的,所述處理器52還用于:采用等間隔提取方式,從采集的圖像中提取所述目標視頻圖像幀。
可選的,所述處理器52還用于:采用圖像融合方式,對采集的圖像中相鄰預設(shè)數(shù)量的視頻圖像幀進行融合處理,以獲得所述目標視頻圖像幀。
可選的,所述處理器52還用于:
設(shè)置拍攝裝置的分辨率與所述接收顯示裝置的分辨率匹配;
根據(jù)拍攝裝置的分辨率與幀率的對應(yīng)關(guān)系,從所述分辨率對應(yīng)的可選幀率中選擇最大幀率作為所述采集幀率。
具體地,該拍攝裝置設(shè)置于一可移動設(shè)備,可選的,所述處理器52還用于:
獲取所述可移動設(shè)備的狀態(tài)信息;
根據(jù)所述狀態(tài)信息調(diào)整所述采集幀率。
可選的,所述處理器52還用于:
在所述狀態(tài)信息指示所述可移動設(shè)備所處的場景改變時,提高所述采集幀率;在所述狀態(tài)信息指示所述可移動設(shè)備所處的場景未改變時,降低或保持所述采集幀率。
具體地,所述處理器52用于:在所述狀態(tài)信息的變化量大于對應(yīng)閾值時,確定所述可移動設(shè)備所處的場景改變;在所述狀態(tài)信息的變化量不大于對應(yīng)閾值時,確定所述可移動設(shè)備所處的場景未改變。
其中,所述狀態(tài)信息包括如下參數(shù)中的任一種或多種組合:速度、轉(zhuǎn)彎角度、高度。
可以理解的是,顯示裝置中包括接收器、處理器、顯示屏、存儲器等,其通過接收器接收拍攝裝置發(fā)送的視頻圖像,存儲器可以用于存儲接收到的視頻圖像,處理器對接收到的視頻圖像解碼,并控制顯示屏顯示視頻圖像。
本實施例提供的頻數(shù)據(jù)傳輸設(shè)備中各組成器件的處理過程,可以參照執(zhí)行圖1、圖2、圖3等中的技術(shù)方案,其實現(xiàn)原理和技術(shù)效果類似,在此不再贅述。
在上述拍攝裝置的各實施例中,應(yīng)理解,該處理器可以是中央處理單元(英文:centralprocessingunit,簡稱:cpu),還可以是其他通用處理器、數(shù)字信號處理器(英文:digitalsignalprocessor,簡稱:dsp)、專用集成電路(英文:applicationspecificintegratedcircuit,簡稱:asic)等。通用處理器可以是微處理器或者該處理器也可以是任何常規(guī)的處理器等。結(jié)合本發(fā)明實施例所公開的方法的步驟可以直接體現(xiàn)為硬件處理器執(zhí)行完成,或者用處理器中的硬件及軟件模塊組合執(zhí)行完成。
本領(lǐng)域普通技術(shù)人員可以理解:實現(xiàn)上述各方法實施例的全部或部分步驟可以通過程序指令相關(guān)的硬件來完成。前述的程序可以存儲于一計算機可讀取存儲介質(zhì)中。該程序在執(zhí)行時,執(zhí)行包括上述各方法實施例的步驟;而前述的存儲介質(zhì)包括:只讀存儲器(英文:read-onlymemory,縮寫:rom)、ram、快閃存儲器、硬盤、固態(tài)硬盤、磁帶(英文:magnetictape)、軟盤(英文:floppydisk)、光盤(英文:opticaldisc)及其任意組合。
最后應(yīng)說明的是:以上各實施例僅用以說明本發(fā)明的技術(shù)方案,而非對其限制;盡管參照前述各實施例對本發(fā)明進行了詳細的說明,本領(lǐng)域的普通技術(shù)人員應(yīng)當理解:其依然可以對前述各實施例所記載的技術(shù)方案進行修改,或者對其中部分或者全部技術(shù)特征進行等同替換;而這些修改或者替換,并不使相應(yīng)技術(shù)方案的本質(zhì)脫離本發(fā)明各實施例技術(shù)方案的范圍。