視頻數(shù)據(jù)的制作方法
【專利說明】視頻數(shù)據(jù)
【背景技術(shù)】
[0001] 在視頻信號的傳輸中，在發(fā)送器終端處的視頻編碼器接收包括要編碼的"原始"視 頻幀的序列的輸入視頻數(shù)據(jù)，每個視頻幀表示在相應(yīng)時刻處的圖像。編碼器將每個輸入幀 編碼成編碼幀(例如，作為幀內(nèi)幀或作為幀間幀)。編碼的目的在于對視頻數(shù)據(jù)進行壓縮以 便當(dāng)通過傳輸介質(zhì)發(fā)送或存儲在存儲介質(zhì)上時引發(fā)較少的比特。
[0002] 視頻數(shù)據(jù)的每個幀可以針對該幀的相應(yīng)圖像區(qū)被編碼成一個或多個空間單元。當(dāng) 視頻數(shù)據(jù)已被編碼并且發(fā)送到接收器終端時，接收器終端針對幀的圖像區(qū)中的每一個對空 間單元進行解碼以從而恢復(fù)表示圖像區(qū)的數(shù)據(jù)值(例如，根據(jù)YUV顏色空間方案的亮度值 和色度值)。以這種方式，接收器終端能夠恢復(fù)視頻信號的幀。經(jīng)恢復(fù)的幀可以被存儲在接 收器終端處，發(fā)送到另一終端或者使用接收器終端的顯示器從接收器終端輸出例如給接收 器終端的用戶。
[0003] 在視頻信號的傳輸中，在能夠在接收器終端處被恢復(fù)的視頻信號的質(zhì)量(例如，視 頻信號的分辨率、幀速率以及誤碼率）與需要被發(fā)送的數(shù)據(jù)的量之間存在權(quán)衡。

【發(fā)明內(nèi)容】

[0004] 本
【發(fā)明內(nèi)容】
被提供來以簡化的形式引入在下面在【具體實施方式】中被進一步描述 的構(gòu)思的選擇。本
【發(fā)明內(nèi)容】
不旨在識別所要求保護的主題的關(guān)鍵特征或必要特征，它也不 旨在被用來限制所要求保護的主題的范圍。
[0005] 可以在第一幀被捕獲到所在的時間與第二幀被捕獲到所在的時間之間（有意地或 非有意地）使捕獲圖像數(shù)據(jù)以得到視頻信號的幀的相機旋轉(zhuǎn)。可以針對幀的相應(yīng)圖像區(qū)將 視頻信號的幀編碼成一個或多個空間單元，所述幀的相應(yīng)圖像區(qū)各自由一組一個或多個數(shù) 據(jù)值(例如，根據(jù)YUV顏色空間方案的亮度值和色度值）表示。相機的旋轉(zhuǎn)可以使第一幀的 第一空間單元與第二幀的第二空間單元至少部分地不對齊。這意味著第二空間單元中的每 一個可以在空間上與至少一個第一空間單元部分地重疊。這使得接收器終端能夠組合第一 空間單元和第二空間單元以針對由部分重疊的第一空間單元和第二空間單元的每個不同 組合所給出的每個不同圖像區(qū)確定數(shù)據(jù)值。以這種方式，接收器能夠重建比第一空間單元 的分辨率和第二空間單元的分辨率更高的空間分辨率的圖像。組合來自兩個幀的圖像數(shù) 據(jù)以創(chuàng)建更高分辨率的圖像的這個過程允許在接收器終端處恢復(fù)的視頻數(shù)據(jù)的分辨率在 無需顯著增加被發(fā)送的數(shù)據(jù)的量的情況下增加，并且可以在本文中被稱為"超分辨率"的過 程。這通過利用相機在第一幀與第二幀之間的旋轉(zhuǎn)來實現(xiàn)。
【附圖說明】
[0006] 為了更好地理解所描述的實施例，并且為了示出所描述的實施例如何可以被付諸 實施，現(xiàn)將通過示例對以下附圖進行參考，附圖中： 圖1示出了包括兩個用戶終端的通信系統(tǒng)； 圖2示出了用戶終端的示意圖； 圖3示出了發(fā)送器終端的功能框圖； 圖4示出了接收器終端的功能框圖； 圖5a是針對從發(fā)送器終端向接收器終端發(fā)送視頻數(shù)據(jù)的過程的流程圖； 圖5b是針對在接收器終端處從發(fā)送器終端接收視頻數(shù)據(jù)的過程的流程圖； 圖6a是示出了在第一情形下捕獲第一幀的相機的圖； 圖6b是示出了在第一情形下捕獲第二幀的相機的圖； 圖6c是在第一情形下第一幀和第二幀的空間單元的表示； 圖7a是表示在第二情形下由相機捕獲的第一幀和第二幀的圖；以及 圖7b是在第二情形下第一幀和第二幀的空間單元的表示。
【具體實施方式】
[0007] 現(xiàn)在將僅通過示例描述各種實施例。
[0008] 圖1示出了包括與第一用戶終端102相關(guān)聯(lián)的第一用戶104和與第二用戶終端 108相關(guān)聯(lián)的第二用戶110的通信系統(tǒng)100。在其它實施例中，通信系統(tǒng)100可以包括任何 數(shù)目的用戶和相關(guān)聯(lián)的用戶終端。用戶終端102和用戶終端108能夠在通信系統(tǒng)100中通 過網(wǎng)絡(luò)106通信，從而允許用戶104和用戶110通過網(wǎng)絡(luò)106與彼此進行通信。在一個實施 例中，通信系統(tǒng)100是基于分組的P2P通信系統(tǒng)，但是還能夠使用其它類型的通信系統(tǒng)，諸 如非P2P、VoIP或IM系統(tǒng)。網(wǎng)絡(luò)106例如可以是因特網(wǎng)或另一類型的網(wǎng)絡(luò)，諸如電話網(wǎng)(諸 如PSTN或移動電話網(wǎng)）。用戶終端102和用戶終端108中的每一個例如可以是移動電話、 平板、膝上型電腦、個人計算機("PC"）（包括，例如，Windows?、Mac0S?以及Linux?PC)、 游戲裝置、電視、個人數(shù)字助理("PDA")或能夠連接到網(wǎng)絡(luò)106的其它嵌入式裝置。用戶終 端102被布置成從用戶終端102的用戶104接收信息并且將信息輸出給用戶終端102的用 戶104。用戶終端102包括用于捕獲視頻信號的圖像的相機。用戶終端102還包括諸如屏 幕這樣的顯示器和諸如小鍵盤、觸摸屏和/或麥克風(fēng)這樣的輸入裝置。用戶終端102被連 接到網(wǎng)絡(luò)106。
[0009]用戶終端102執(zhí)行由與通信系統(tǒng)100相關(guān)聯(lián)的軟件提供商所提供的通信客戶端。 通信客戶端是在用戶終端102中的本地處理器上執(zhí)行的、存儲在有形計算機可讀存儲介質(zhì) 上的軟件程序?？蛻舳藞?zhí)行在用戶終端102處需要的處理，以便讓用戶終端102通過通信 系統(tǒng)100發(fā)送和接收數(shù)據(jù)?？梢詫υ谟脩艚K端102處執(zhí)行的客戶端進行認(rèn)證以經(jīng)由數(shù)字證 書的呈現(xiàn)通過通信系統(tǒng)通信(例如，以證明用戶104是通信系統(tǒng)的真正訂戶）。
[0010] 用戶終端108可以對應(yīng)于用戶終端102。用戶終端108在本地處理器上執(zhí)行對應(yīng) 于在用戶終端102處執(zhí)行的通信客戶端的通信客戶端。在用戶終端108處的客戶端以在用 戶終端102處的客戶端執(zhí)行允許用戶104通過網(wǎng)絡(luò)106通信所需的處理的相同方式執(zhí)行允 許用戶110通過網(wǎng)絡(luò)106通信所需要的處理。用戶終端102和用戶終端108在通信系統(tǒng)中 是端點。為了清楚圖1示出了僅兩個用戶（104和110)以及兩個用戶終端（102和108)，但 是更多的用戶和用戶終端可以被包括在通信系統(tǒng)100中，并且可以使用在相應(yīng)的用戶終端 上執(zhí)行的相應(yīng)的通信客戶端通過通信系統(tǒng)100通信。
[0011] 圖2圖示了在其上執(zhí)行了用于通過通信系統(tǒng)100通信的通信客戶端的用戶終端 102的具體視圖。用戶終端102包括中央處理單元("CPU")202,諸如屏幕這樣的顯示器204、 諸如小鍵盤206和相機208這樣的輸入裝置以及用于檢測旋轉(zhuǎn)運動的陀螺傳感器210被連 接到所述CPU202?？梢匀鐖D2中所示出的那樣將顯示器204、小鍵盤206、相機208以及 陀螺傳感器210集成到用戶終端102中。在替代用戶終端中，顯示器204、小鍵盤206、相機 208以及陀螺傳感器210中的一個或多個可能未被集成到用戶終端102中并且可以經(jīng)由相 應(yīng)的接口被連接到CPU202。這樣的接口的一個示例是USB接口。CPU202被連接到網(wǎng)絡(luò) 接口 224,諸如用于與網(wǎng)絡(luò)106通信的調(diào)制解調(diào)器。可以如圖2中所示出的那樣將網(wǎng)絡(luò)接 口 224集成到用戶終端102中。在替代用戶終端中網(wǎng)絡(luò)接口 224未被集成到用戶終端102 中。用戶終端102還包括用于存儲數(shù)據(jù)的存儲器212。
[0012] 圖2還圖示了在CPU202上執(zhí)行的操作系統(tǒng)（"0S")214。在0S214之上運行的是 用于通信系統(tǒng)100的客戶端軟件的軟件堆棧216。軟件堆棧示出了客戶端協(xié)議層218、客戶 端引擎層220以及客戶端用戶接口層("n")222。每個層負(fù)責(zé)特定功能。因為每個層通常 與兩個其它層進行通信，所以它們被認(rèn)為如圖2中所示出的那樣被以堆棧方式布置。操作 系統(tǒng)214管理計算機的硬件資源并且處理經(jīng)由網(wǎng)絡(luò)接口 224向和從網(wǎng)絡(luò)106發(fā)送的數(shù)據(jù)。 客戶端軟件的客戶端協(xié)議層218與操作系統(tǒng)214進行通信并且通過通信系統(tǒng)管理連接。需 要更高級處理的過程被傳遞給客戶端引擎層220?？蛻舳艘?20還與客戶端用戶接口層 222進行通信?？蛻舳艘?20可以被布置成控制客戶端用戶接口層222經(jīng)由客戶端的用 戶接口將信息呈現(xiàn)給用戶104并且經(jīng)由用戶接口從用戶104接收信息。
[0013] 用戶終端108按照與如上面所描述的用戶終端102相同的方式加以實現(xiàn)，其中用 戶終端108可以具有與在本文中關(guān)于用戶終端102所描述的那些相對應(yīng)的元件。
[0014] 圖3示出了在通過