視頻延時(shí)減小的制作方法
【專利說(shuō)明】視頻延時(shí)減小
[0001]相關(guān)申請(qǐng)的交叉參考
[0002]本申請(qǐng)涉及由Roelof Roderick Colenbrander在2013年12月19日提交的名為“MASS STORAGE VIRTUALIZAT1N FOR CLOUD COMPUTING” 的共同指派同在申請(qǐng)中的美國(guó)申請(qǐng)第14/135,213號(hào)(代理人案號(hào)第SCEA13031US00號(hào))，所述申請(qǐng)的全部?jī)?nèi)容是以引用的方式引入本文。
技術(shù)領(lǐng)域
[0003]本公開(kāi)內(nèi)容的各個(gè)方面涉及視頻采集。特定地說(shuō)，本公開(kāi)內(nèi)容的各個(gè)方面涉及用于減小采集視頻幀的延時(shí)的系統(tǒng)和方法。
【背景技術(shù)】
[0004]隨著電信系統(tǒng)的帶寬和數(shù)據(jù)傳送速率的持續(xù)發(fā)展，如今的許多計(jì)算需求正朝基于網(wǎng)絡(luò)的分布式計(jì)算系統(tǒng)(統(tǒng)稱為“云端計(jì)算”)轉(zhuǎn)變。一般來(lái)說(shuō)，云端計(jì)算涉及離線下載某些計(jì)算任務(wù)給一個(gè)或多個(gè)遠(yuǎn)程計(jì)算資源和使用遠(yuǎn)程計(jì)算資源來(lái)給本地裝置提供服務(wù)。云端計(jì)算通常被實(shí)施為客戶端-服務(wù)器模型，其中遠(yuǎn)程服務(wù)器給本地客戶端裝置提供所需計(jì)算能力，從而避免本地客戶端裝置需要自身執(zhí)行某些計(jì)算任務(wù)。在許多實(shí)例中，可將計(jì)算資源完整或幾乎完整地離線下載到服務(wù)器，使得客戶端提供較少或只提供用戶接口用于云端計(jì)算任務(wù)，從而允許任何聯(lián)網(wǎng)裝置潛在地用作特定應(yīng)用程序的客戶端。
[0005]云端計(jì)算已采用于多種計(jì)算服務(wù)中，包括遠(yuǎn)程數(shù)據(jù)存儲(chǔ)方案、音樂(lè)和視頻數(shù)據(jù)流服務(wù)以及多種其它消費(fèi)者和商業(yè)方案。一般來(lái)說(shuō)，云端計(jì)算提供多種眾所周知的好處，包括通過(guò)使用共享資源增加效率、增加訪問(wèn)內(nèi)容的靈活性而不限于特定裝置、降低硬件升級(jí)可用時(shí)的預(yù)付成本和其它優(yōu)點(diǎn)。
[0006]其中云端計(jì)算尚未達(dá)到廣泛采用的一個(gè)領(lǐng)域是逐漸流行的視頻游戲領(lǐng)域。包括個(gè)人計(jì)算機(jī)(PC)游戲、家用單機(jī)游戲、手持式單機(jī)游戲等等的視頻游戲仍然是消費(fèi)者中流行的娛樂(lè)來(lái)源。隨著可用視頻游戲名稱集合的逐漸增加，云端游戲給許多視頻游戲需求提供了特別吸引人的方案。理想狀況是，在云端游戲框架內(nèi)，用戶將能夠從遠(yuǎn)程存儲(chǔ)的名稱的巨大集合中即刻訪問(wèn)任何視頻游戲名稱，且無(wú)需物理拷貝游戲、無(wú)需等待下載名稱且無(wú)需局部處理運(yùn)行游戲所需硬件系統(tǒng)或資源。然后可在“云端”中遠(yuǎn)程執(zhí)行圖形的呈現(xiàn)、響應(yīng)于用戶輸入進(jìn)行的改變游戲狀態(tài)和其它游戲計(jì)算并將其發(fā)送到用戶的本地裝置。不幸的是，實(shí)施傳統(tǒng)云端計(jì)算服務(wù)器設(shè)計(jì)內(nèi)的這種類型的服務(wù)面臨多個(gè)技術(shù)挑戰(zhàn):迄今為止許多視頻游戲平臺(tái)阻止廣泛采用云端游戲。
[0007]一個(gè)挑戰(zhàn)是:如今許多視頻游戲的節(jié)奏極快且動(dòng)作緊密，使得高級(jí)圖形需要呈現(xiàn)大量的計(jì)算資源。尤其是在基于視頻數(shù)據(jù)流的服務(wù)器設(shè)計(jì)(其中遠(yuǎn)程執(zhí)行全部游戲計(jì)算和圖形呈現(xiàn)計(jì)算)中，游戲需要能夠執(zhí)行全部這樣的任務(wù)且響應(yīng)于控制輸入將壓縮音頻/視頻數(shù)據(jù)流傳遞到客戶端裝置，使得可感知的延時(shí)最小甚至沒(méi)有可感知的延時(shí)。否則，這可能中斷玩家的時(shí)間且無(wú)法重復(fù)傳統(tǒng)局部執(zhí)行的游戲會(huì)話的響應(yīng)。
[0008]另一挑戰(zhàn)源于以下事實(shí):傳統(tǒng)上來(lái)說(shuō)，(一方面)PC游戲(被設(shè)計(jì)來(lái)在個(gè)人計(jì)算機(jī)、膝上型計(jì)算機(jī)和通用本質(zhì)的其它計(jì)算系統(tǒng)上運(yùn)行)與(另一方面)單機(jī)游戲(被設(shè)計(jì)來(lái)在稱作視頻游戲機(jī)的專用系統(tǒng)上運(yùn)行)之間存在不同。視頻游戲機(jī)通常被設(shè)計(jì)為具有專門(mén)調(diào)整來(lái)用于視頻游戲環(huán)境的獨(dú)有計(jì)算架構(gòu)的嵌入式平臺(tái)。使用專用控制臺(tái)硬件作為視頻游戲平臺(tái)提供了多種好處，尤其是呈優(yōu)化硬件以滿足生產(chǎn)如今許多視頻游戲所需圖形呈現(xiàn)和游戲計(jì)算的大量計(jì)算資源需求的形式。因此，雖然PC游戲已實(shí)現(xiàn)了一定的流行性，但是單機(jī)游戲在傳統(tǒng)上仍然占據(jù)視頻游戲市場(chǎng)且可能在未來(lái)繼續(xù)占據(jù)視頻游戲市場(chǎng)。
[0009]然而，使視頻游戲機(jī)和其它嵌入式平臺(tái)適應(yīng)云端數(shù)據(jù)流服務(wù)面臨多個(gè)挑戰(zhàn)。專用平臺(tái)的硬件或軟件架構(gòu)的大量修改可能面臨與被設(shè)計(jì)用于專用平臺(tái)的應(yīng)用程序的兼容問(wèn)題。因此，所需應(yīng)用程序可能需要直接在服務(wù)器端處的單獨(dú)“終端機(jī)系統(tǒng)”上的可兼容架構(gòu)上運(yùn)行以執(zhí)行應(yīng)用程序來(lái)通過(guò)網(wǎng)絡(luò)進(jìn)行串流。終端機(jī)系統(tǒng)可以是游戲機(jī)架構(gòu)或被設(shè)計(jì)來(lái)運(yùn)行專用應(yīng)用程序的其它現(xiàn)有的嵌入式平臺(tái)。
[0010]為了通過(guò)網(wǎng)絡(luò)串流應(yīng)用程序，從在終端機(jī)系統(tǒng)上運(yùn)行的應(yīng)用程序采集視頻幀以在傳輸之前壓縮輸出視頻信號(hào)需要多種技術(shù)。常規(guī)的視頻采集卡能夠采集通過(guò)視頻接口鏈路(諸如HDM1、DV1、VGA等等)傳送的視頻幀，使得其可以被壓縮且被發(fā)送到位于遠(yuǎn)處的顯示器。然而，將每個(gè)幀傳送到采集裝置消耗的時(shí)間的延遲導(dǎo)致應(yīng)用程序內(nèi)容產(chǎn)生幀的時(shí)間與在客戶端處的顯示器上展示每個(gè)幀的時(shí)間之間產(chǎn)生延時(shí)?？筛兄难訒r(shí)可能是由于視頻采集延遲、壓縮延遲、網(wǎng)絡(luò)延遲和其它起因的組合所引起的。在云端游戲和其它云端計(jì)算環(huán)境中，最小化延時(shí)是一項(xiàng)重要的任務(wù)，且在客戶端處為用戶提供響應(yīng)體驗(yàn)時(shí)計(jì)數(shù)每一毫秒。[0011 ] 本公開(kāi)內(nèi)容是在這種背景下產(chǎn)生的。

【發(fā)明內(nèi)容】

[0012]本公開(kāi)內(nèi)容的實(shí)施方式可以包括一種用于具有第一顯示分辨率的多個(gè)可見(jiàn)圖像像素的第一視頻幀圖像的方法。所述方法可以包括將所述第一視頻幀圖像插入到具有大于所述第一顯示分辨率的第二顯示分辨率的源視頻幀中。插入所述第一視頻幀圖像可以包括將所述多個(gè)可見(jiàn)圖像像素和多個(gè)額外像素插入到所述源視頻幀的活動(dòng)顯示區(qū)域中。
[0013]在一些實(shí)施方式中，所述方法還可以包括:通過(guò)將多個(gè)同步信號(hào)添加到所述源視頻幀形成輸出視頻幀；將所述輸出視頻幀傳送到視頻采集裝置；用所述視頻采集裝置采集所述輸出視頻幀中的所述可見(jiàn)圖像像素，同時(shí)忽略來(lái)自所述采集的所述額外像素；和在采集所述可見(jiàn)圖像像素之后且在傳送所述輸出視頻幀的整個(gè)活動(dòng)顯示區(qū)域之前壓縮所述第一視頻幀圖像。
[0014]在一些實(shí)施方式中，所述源視頻幀可以呈所述活動(dòng)顯示區(qū)域中具有兩個(gè)圖像區(qū)域的立體3D格式，所述兩個(gè)圖像區(qū)域?qū)?yīng)于左側(cè)圖像區(qū)域和右側(cè)圖像區(qū)域。插入所述第一視頻幀圖像可以包括將所述多個(gè)可見(jiàn)圖像像素插入到所述兩個(gè)圖像區(qū)域之一中且用所述額外像素填充所述兩個(gè)圖像區(qū)域中的另一個(gè)。
[0015]在一些實(shí)施方式中，所述第一視頻幀圖像可以具有多個(gè)可見(jiàn)圖像行，其中每個(gè)所述可見(jiàn)圖像行具有多個(gè)所述可見(jiàn)圖像像素。所述源視頻幀可以呈所述活動(dòng)顯示區(qū)域界定單色圖像區(qū)域的單色格式。所述單色圖像區(qū)域可以具有多個(gè)活動(dòng)行，每個(gè)所述活動(dòng)行具有多個(gè)活動(dòng)像素。所述單色圖像區(qū)域中的活動(dòng)行的數(shù)量可以大于所述第一視頻幀圖像中的可見(jiàn)圖像行的數(shù)量，且每個(gè)所述活動(dòng)行中的活動(dòng)像素的數(shù)量可以大于每個(gè)所述可見(jiàn)圖像行中的可見(jiàn)圖像像素的數(shù)量。插入所述第一視頻幀可以包括將每個(gè)所述可見(jiàn)圖像行插入到所述活動(dòng)行中的各自活動(dòng)行中且用所述額外像素填充所述活動(dòng)行中的每個(gè)所述各自活動(dòng)行的剩余部分。在其它實(shí)施方式中，插入所述第一視頻幀可以包括用所述可見(jiàn)圖像像素填充所述活動(dòng)行中的至少一些，使得所述活動(dòng)行中的至少一些每個(gè)包括來(lái)自一個(gè)以上所述可見(jiàn)圖像行的所述可見(jiàn)圖像像素。
[0016]本公開(kāi)內(nèi)容的其它實(shí)施方式可以包括一種用于具有多個(gè)可見(jiàn)圖像行的第一視頻幀圖像的方法，每個(gè)所述可見(jiàn)圖像行具有多個(gè)可見(jiàn)圖像像素。所述方法可以包括形成輸出視頻幀，所述輸出視頻幀具有所述第一視頻幀圖像和同步區(qū)域，其中所述同步區(qū)域在每個(gè)所述可見(jiàn)圖像行之間具有指示每個(gè)所述可見(jiàn)圖像行之間的轉(zhuǎn)變的多個(gè)同步信號(hào)，且所述同步區(qū)域在指示所述幀的終點(diǎn)的所述多個(gè)可見(jiàn)圖像行中的最后一個(gè)之后具有多個(gè)同步行。形成所述輸出視頻幀包括將額外像素的多個(gè)虛設(shè)行添加到所述同步行之后的所述同步區(qū)域。
[0017]本公開(kāi)內(nèi)容的其它實(shí)施方式可以包括一種系統(tǒng)，其具有第一處理單元和操作地連接到所述第一處理單元的第一存儲(chǔ)器單元。所述系統(tǒng)可以被配置來(lái)執(zhí)行一種用于具有第一顯示分辨率中的多個(gè)可見(jiàn)圖像像素的第一視頻幀圖像的方法。所述方法可以包括將所述第一視頻幀圖像插入到具有大于所述第一顯示分辨率的第二顯示分辨率的源視頻幀中。插入所述第一視頻幀圖像可以包括將所述多個(gè)可見(jiàn)圖像像素和多個(gè)額外像素插入到所述源視頻幀的活動(dòng)顯示區(qū)域中。
[0018]本公開(kāi)內(nèi)容的其它實(shí)施方式可以包括一種系統(tǒng)，其具有第一處理單元和操作地連接到所述第一處理單元的第一存儲(chǔ)器單元。所述系統(tǒng)可以被配置來(lái)執(zhí)行一種用于具有多個(gè)可見(jiàn)圖像行的第一視頻幀圖像的方法，每個(gè)所述可見(jiàn)圖像行具有多個(gè)可見(jiàn)圖像像素。所述方法可以包括形成輸出視頻幀，所述輸出視頻幀具有所述第一視頻幀圖像和同步區(qū)域。所述同步區(qū)域可以在每個(gè)所述可見(jiàn)圖像行之間具有指示每個(gè)所述可見(jiàn)圖像行之間的轉(zhuǎn)變的多個(gè)同步信號(hào)，且所述同步區(qū)域可以在指示所述幀的終點(diǎn)的所述多個(gè)可見(jiàn)圖像行中的最后一個(gè)之后具有多個(gè)同步行。形成所述輸出視頻幀包括將額外像素的多個(gè)虛設(shè)行添加到所述同步行之后的所述同步區(qū)域。
【附圖說(shuō)明】
[0019]通過(guò)結(jié)合附圖考慮下列詳述可輕易理解本公開(kāi)內(nèi)容的教學(xué)，其中:
[0020]圖1是通過(guò)網(wǎng)絡(luò)進(jìn)行的示例性數(shù)據(jù)流技術(shù)的示意圖。
[0021]圖2是通過(guò)網(wǎng)絡(luò)進(jìn)行的另一示例性數(shù)據(jù)流技術(shù)的示意圖。
[0022]圖3A是具有用于從視頻源采集視頻數(shù)據(jù)并壓縮所述視頻數(shù)據(jù)的采集卡的示例性數(shù)據(jù)流系統(tǒng)的示意圖。
[0023]圖3B是示例性視頻輸出幀的示意說(shuō)明。
[0024]圖4A是用作視頻源的示例性終端機(jī)系統(tǒng)架構(gòu)的示意圖。
[0025]圖4B是示例性主機(jī)系統(tǒng)和可以從視頻源采集視頻幀并壓縮所述視頻幀的采集卡架構(gòu)。
[0026]圖5是具有專用處理單元的示例性視頻采集卡設(shè)計(jì)的示意圖。
[0027]圖6是具有額外像素的示例性擴(kuò)大視頻幀的示意說(shuō)明。
[0028]圖7A至圖7B是具有額外像素的擴(kuò)大視頻幀的額外實(shí)例的示意說(shuō)明。
[0029]圖8是具有額外像素的擴(kuò)大視頻幀的又另一實(shí)例的示意說(shuō)明。
[0030]圖9A至圖9B是采集擴(kuò)大視頻輸出幀的示例性方法的流程圖。
【具體實(shí)施方式】
[0031]雖然下列詳述為說(shuō)明目的而包括許多具體細(xì)節(jié)，但是本領(lǐng)域一般技術(shù)人員將明白下列細(xì)節(jié)的許多變動(dòng)和更改是在本發(fā)明的范圍內(nèi)。因此，提出下文描述的本發(fā)明的示例性實(shí)施方案且本發(fā)明沒(méi)有任何一般性的損失且不強(qiáng)加限制本發(fā)明。
[0032]簡(jiǎn)介
[0033]本公開(kāi)內(nèi)容的各個(gè)方面涉及用于通過(guò)將額外像素添加到數(shù)據(jù)流中的每個(gè)視頻幀來(lái)減小視頻傳送延遲的技術(shù)。一般來(lái)說(shuō)，視頻幀將由可見(jiàn)像素和不可見(jiàn)像素兩者組成，其中可見(jiàn)像素界定用于顯示的幀的圖像，而不可見(jiàn)像素則可以用于(例如)同步。本公開(kāi)內(nèi)容的實(shí)施方式可以將額外像素添加到視頻幀使得可以通過(guò)視頻接口更加快速地傳送每個(gè)幀內(nèi)的可見(jiàn)像素。特定地說(shuō)，將額外像素添加到幀可能造成視頻傳送硬件增加基于每個(gè)幀內(nèi)的像素總數(shù)的像素時(shí)鐘速率。由于傳送每個(gè)幀中的可見(jiàn)像素所需時(shí)間的對(duì)應(yīng)降低，可以減小由于視頻采集程序的延遲而產(chǎn)生的延時(shí)。
[0034]實(shí)施方式細(xì)節(jié)
[0035]為了更好地說(shuō)明本公開(kāi)內(nèi)容的各個(gè)方面，圖1中描繪分布式計(jì)算系統(tǒng)100的第一說(shuō)明實(shí)例。圖1中描繪的分布式系統(tǒng)100涉及通過(guò)網(wǎng)絡(luò)106(諸如互聯(lián)網(wǎng))連接的多個(gè)計(jì)算裝置102、104。
[0036]在示例性分布式系統(tǒng)中，數(shù)據(jù)流服務(wù)器102執(zhí)行程序108以通過(guò)網(wǎng)絡(luò)106將程序輸出的實(shí)時(shí)數(shù)據(jù)流提供給遠(yuǎn)程連接的客戶端裝置104。在圖1的已說(shuō)明示意圖中，程序104可以是視頻游戲程序，其根據(jù)程序108的執(zhí)行處理接收自客戶端裝置104的控制輸入且將壓縮音頻和視頻數(shù)據(jù)流發(fā)送到客戶端裝置104。位于客戶端處的用戶可以通過(guò)客戶端裝置104的用戶接口(例如，通過(guò)在連接到客戶端裝置104的顯示器和/或揚(yáng)聲器處提供控制輸入和接收音頻和視頻游戲輸出)與程序交互。在圖1的實(shí)例中，用于處理輸入、呈現(xiàn)視頻游戲圖形等等的計(jì)算負(fù)載可以被完全離線下載到數(shù)據(jù)流服務(wù)器102以供遠(yuǎn)程執(zhí)行。
[0037]為了使用圖1中描繪的系統(tǒng)100實(shí)施云端游戲，數(shù)據(jù)流服務(wù)器102可以被配置來(lái)不但執(zhí)行游戲程序108，而且數(shù)據(jù)流服務(wù)器102還可以實(shí)施具體實(shí)施在服務(wù)器102中的“數(shù)據(jù)流服務(wù)器程序” 110，其可以執(zhí)行各種功能以協(xié)調(diào)用于在客戶端裝置104與數(shù)據(jù)流服務(wù)器102之間通過(guò)網(wǎng)絡(luò)106通信的程序輸入/輸出。例如，數(shù)據(jù)流服務(wù)器程序110可以具體實(shí)施于在與游戲軟件108協(xié)作的數(shù)據(jù)流服務(wù)器102上運(yùn)行的一個(gè)或多個(gè)程序中。游戲108連同數(shù)據(jù)流服務(wù)器程序110的遠(yuǎn)程執(zhí)行可以被執(zhí)行使得客戶端裝置104處的輸入與輸出之間的延時(shí)最小或沒(méi)有延時(shí)，使得客戶端處的用戶感知到正在局部執(zhí)行程序108。此外，可以訪問(wèn)遠(yuǎn)程存儲(chǔ)的程序的廣泛集合以供執(zhí)行。例如，在云端游戲應(yīng)用程序中，用戶將有可能能夠選擇被設(shè)計(jì)用于相關(guān)視頻游戲平臺(tái)的任何