加分辨率的圖像的重建。
[0043]如上面所描述的"超分辨率"方案可以被用來故意地使在視頻流中發(fā)送的分辨率 降級以便減少比特率，并且然后在接收器處再次重建更高分辨率圖像。當然不能夠得到"免 費數(shù)據(jù)" 一一但是構思是以比特率換取重建時間，因為方案將需要多個幀以便在接收器處 重建更高分辨率圖像，從而與如果數(shù)據(jù)在每個幀中被以更高分辨率簡單地發(fā)送相比花費更 長時間獲得更尚分辨率。
[0044] 由于這個原因，與對較慢但更具體的運動進行編碼相比本文中所描述的方法可能 不太可用于對非?？斓倪\動進行編碼。在一個實施例中，因為幀的圖像被分解成塊并且在 逐炔基礎上編碼，所以能夠不同地對同一視頻的不同區(qū)進行編碼。例如，基于視頻圖像的運 動估計分析，可以使用較低分辨率單元對慢運動背景進行編碼，然而可以使用更高分辨率 對同一圖像中的更快運動背景進行編碼；或者甚至反之亦然。在這種情況下，可以在每個塊 包括多個較低分辨率單元情況下在逐炔基礎上（或者在逐宏炔基礎上等）用信號通知相機 208的旋轉角度的指示。例如，可以使用與用來對第一空間單元和第二空間單元進行編碼的 編碼方案不同的編碼方案來對視頻信號的另外的圖像數(shù)據(jù)進行編碼，并且可以將經編碼的 另外的圖像數(shù)據(jù)發(fā)送到接收器終端108。
[0045] 當用戶終端102是其中相機208的位置由于人手無法使相機208保持在固定位置 中而經常地移動的手持裝置時本文中所描述的方法是特別有用的。如上面所描述的，在捕 獲視頻流的預定方向周圍的這些隨機振蕩能夠被用來提取超分辨率視頻數(shù)據(jù)。分辨率增加 將取決于視頻流的捕獲分辨率和內容。
[0046] 上面所描述的方法涉及對第一幀和第二幀的空間單元進行編碼和組合?？梢詫⒃?方法擴展成包括視頻信號的另外的幀的空間單元的對應編碼和組合。以這種方式，可以在 步驟S516中組合來自視頻信號的超過兩個幀的更多空間單元，這可以進一步增加重建圖 像的分辨率。為了實現(xiàn)這個，陀螺傳感器210以如上面關于第一幀和第二幀所描述的相同 方式檢測相機208在視頻信號的幀(例如連續(xù)幀）之間的旋轉角度。例如，該方法可以包括 使用由相機208所捕獲的視頻信號的至少一個另外的幀的圖像數(shù)據(jù)來確定該至少一個另 外的幀中的每一個在較低空間分辨率下的一個或多個編碼的另外的空間單元。至少一個另 外的幀的一個或多個編碼的另外的空間單元被發(fā)送到接收器終端108。作為相機208的至 少一個另外的旋轉角度的結果，另外的空間單元與第一幀或第二幀的空間單元至少部分地 不對齊，使得另外的空間單元中的每一個在空間上與第一幀的至少一個空間單元部分地重 疊。由陀螺傳感器210針對至少一個另外的幀所檢測到的相機208的至少一個另外的旋轉 角度的至少一個指示被發(fā)送到接收器終端108。在接收器終端108處，該方法可以包括接收 視頻信號的至少一個另外的幀的一個或多個編碼的空間單元以及對于至少一個另外的幀 接收相機的至少一個另外的旋轉角度的至少一個指示。接收器終端108的解碼器模塊402 然后能夠基于相機208的旋轉角度的指示來組合第一空間單元、第二空間單元以及另外的 空間單元，以便重建比第一空間單元、第二空間單元以及另外的空間單元的空間分辨率至 少更高的空間分辨率的圖像。
[0047] 在上面所描述的實施例中，相機208被集成到用戶終端102中。然而，相機208能 夠按照它未被集成到用戶終端102中的方式加以實現(xiàn)，并且例如可以通過諸如USB鏈路這 樣的鏈路或無線連接(例如，Wi-Fi、藍牙或紅外線連接)被連接到用戶終端102。當相機108 未被集成在用戶終端102中時，陀螺傳感器210按照它檢測相機208的旋轉運動的方式加 以實現(xiàn)，所述相機208的旋轉運動未必與用戶終端102的旋轉運動相同。用來做這個的一 個方式將是將陀螺傳感器210集成在相機208中，使得相機208的任何旋轉運動被陀螺傳 感器210檢測到。
[0048] 此外，在上面所描述的實施例中，編碼器模塊302被示出并且描述為與相機208分 開。然而，在一些實施例中能夠在相機208中實現(xiàn)編碼器模塊302。
[0049] 在上面所描述的實施例中，用戶終端102被描述為視頻傳輸會話的發(fā)送器終端并 且用戶終端108被描述為視頻傳輸會話的接收器終端。然而，用戶終端102和用戶終端108 兩者也許能在視頻傳輸會話中既作為發(fā)送器終端又作為接收器終端，使得視頻傳輸會話可 以是雙向視頻傳輸會話。因此，用戶終端102還可以包括與上面所描述的用戶終端108的 解碼器模塊402和顯示器404相對應的解碼器模塊和顯示器。類似地，用戶終端108還可 以包括與上面所描述的用戶終端102的相機208、編碼器模塊302、陀螺傳感器210以及發(fā) 送器模塊304相對應的相機、編碼器模塊、陀螺傳感器以及發(fā)送器模塊。
[0050] 圖5a和圖5b中所示出的方法操作可以用分別在用戶終端102和用戶終端108的 (PU上執(zhí)行的軟件加以實現(xiàn)或者用用戶終端102和用戶終端108中的硬件加以實現(xiàn)。當方 法操作用軟件加以實現(xiàn)時，它們可以通過具體化在有形計算機可讀存儲介質上的計算機程 序產品(例如作為在用戶終端102和用戶終端108上執(zhí)行的通信客戶端的一部分）來提供， 所述計算機程序產品被配置以便當在用戶終端102和用戶終端108的CPU上執(zhí)行時執(zhí)行如 上面所描述的操作的功能。
[0051] 已經在本文中描述了從發(fā)送器終端向接收器終端發(fā)送視頻數(shù)據(jù)的方法，其中所述 方法可以由計算機程序產品來實現(xiàn)，所述計算機程序產品被具體化在有形計算機可讀存儲 介質上并且配置以便當在發(fā)送器終端的處理器上執(zhí)行時執(zhí)行以下步驟的方法的操作：使用 由相機所捕獲的視頻信號的第一幀的圖像數(shù)據(jù)來確定第一幀在較低空間分辨率下的一個 或多個編碼的第一空間單元；將第一幀的一個或多個編碼的第一空間單元發(fā)送到接收器終 端；使用由相機所捕獲的視頻信號的第二幀的圖像數(shù)據(jù)來確定第二幀在較低空間分辨率下 的一個或多個編碼的第二空間單元；將使用旋轉運動傳感器檢測到的相機在第一幀與第二 幀之間的旋轉角度的指示發(fā)送到接收器終端；以及將第二幀的一個或多個編碼的第二空間 單元發(fā)送到接收器終端，其中作為相機在第一幀與第二幀之間的旋轉角度的結果，第二空 間單元與第一空間單元至少部分地不對齊，并且其中第二空間單元中的每一個在空間上與 至少一個第一空間單元部分地重疊，從而使得接收器終端能夠基于所述指示來組合第一空 間單元和第二空間單元，以便重建比第一空間單元的較低空間分辨率和第二空間單元的較 低空間分辨率至少更高的空間分辨率的圖像。
[0052] 同樣已經描述了被配置成將視頻數(shù)據(jù)發(fā)送到接收器終端的移動終端，所述移動終 端包括：相機，其被配置成：（i )捕獲視頻信號的第一幀的圖像數(shù)據(jù)，并且（ii )捕獲視頻信 號的第二幀的圖像數(shù)據(jù)；旋轉運動傳感器，其被配置成檢測相機在第一幀與第二幀之間的 旋轉角度；編碼器，其被配置成：（i )使用所捕獲的第一幀的圖像數(shù)據(jù)來確定第一幀在較低 空間分辨率下的一個或多個編碼的第一空間單元，并且（ii)使用所捕獲的第二幀的圖像 數(shù)據(jù)來確定第二幀在較低空間分辨率下的一個或多個編碼的第二空間單元，使得作為相機 在第一幀與第二幀之間的旋轉角度的結果，第二空間單元與第一空間單元至少部分地不對 齊，并且其中第二空間單元中的每一個在空間上與至少一個第一空間單元部分地重疊；以 及發(fā)送器，其被配置成向接收器終端發(fā)送：（i)第一幀的一個或多個編碼的第一空間單元， (ii)第二幀的一個或多個編碼的第二空間單元，以及（iii)所檢測到的旋轉角度的指示，使 得移動終端被配置成使得接收器終端能夠基于所述指示來組合第一空間單元和第二空間 單元，以便重建比第一空間單元的較低空間分辨率和第二空間單元的較低空間分辨率至少 更高的空間分辨率的圖像。
[0053] 同樣已經描述了在接收器終端處從發(fā)送器終端接收視頻數(shù)據(jù)的方法，其中所述方 法可以由計算機程序產品來實現(xiàn)，所述計算機程序產品被具體化在有形計算機可讀存儲介 質上并且配置以便當在接收器終端的處理器上執(zhí)行時執(zhí)行以下步驟的方法的操作：接收視 頻信號的第一幀在較低空間分辨率下的一個或多個編碼的第一空間單元，所述一個或多個 編碼的第一空間單元由相機捕獲并且從發(fā)送器終端發(fā)送；接收視頻信號的第