對于對象的全方位視圖的視頻編碼的制作方法
【專利說明】對于對象的全方位視圖的視頻編碼
【背景技術(shù)】
[0001] 除非本文另外指示，否則本部分中描述的材料并不是本申請中的權(quán)利要求的現(xiàn)有 技術(shù)，并且并不因為被包括在本部分中就被承認為是現(xiàn)有技術(shù)。
[0002] 可利用各種技術(shù)來向用戶提供對通信網(wǎng)絡(luò)中的數(shù)據(jù)和服務(wù)的電子訪問，化及支持 用戶之間的通信。例如，諸如計算機、電話和個人數(shù)字助理（personaldigitalassistant, PDA)之類的設(shè)備可用于通過包括互聯(lián)網(wǎng)在內(nèi)的通信網(wǎng)絡(luò)交換信息。通信網(wǎng)絡(luò)進而可提供到 服務(wù)器的通信路徑和鏈路，服務(wù)器可容宿可由用戶經(jīng)由通信設(shè)備來訪問或利用的應(yīng)用、內(nèi) 容和服務(wù)。內(nèi)容可包括文本、視頻數(shù)據(jù)、音頻數(shù)據(jù)和/或其它類型的數(shù)據(jù)。

【發(fā)明內(nèi)容】

[0003] 在一個方面中，本文給出的一個示例實施例提供了一種方法，包括：從與圍繞=維 (3D)對象的不同3D角取向（angularorientation)相對應(yīng)的多重視角的每一者生成3D對 象的相應(yīng)靜止圖像，每個相應(yīng)靜止圖像包括用于在顯示設(shè)備上顯示的相應(yīng)數(shù)據(jù)，并且每個 相應(yīng)靜止圖像是3D對象的多個靜止圖像之一；確定與從不同3D角取向中的一者到下一者 之間3D角取向的最小差分變化（minimallydifferentialchange)相對應(yīng)的多重視角的 排序；通過與所確定的多重視角的排序相對應(yīng)地對多個靜止圖像的相繼靜止圖像排序來構(gòu) 造靜止圖像的序列；W及利用視頻編碼器對靜止圖像的序列編碼W生成靜止圖像的序列的 壓縮視頻格式擅染，其中靜止圖像的序列的壓縮視頻格式擅染在總數(shù)據(jù)量上小于序列的所 有靜止圖像的總和。
[0004] 在另一方面中，本文給出的一個示例實施例提供了一種方法，包括；響應(yīng)于從計算 機設(shè)備發(fā)送到通信連接到該計算機設(shè)備的服務(wù)器的請求，由該計算機設(shè)備接收視頻文件， 該視頻文件包括從與圍繞=維（3D)對象的不同3D角取向相對應(yīng)的多重視角的每一者觀 看的該3D對象的靜止圖像的序列的壓縮視頻格式擅染的視頻帖；由計算機設(shè)備在計算機 設(shè)備的顯示設(shè)備上的顯示窗口中顯示3D對象的圖像；W及響應(yīng)于計算機設(shè)備的用戶接口 (userinte計ace)的交互式光標(biāo)在被虛擬地附著到3D對象的同時在顯示窗口中的一個或 多個軌跡上移動，由計算機設(shè)備對與被一個或多個軌跡橫穿（transverse)的多重視角的 子集相對應(yīng)的視頻帖的子集進行視頻處理，W便顯示圍繞穿過3D對象的至少一個軸的3D 對象的動畫式3D角移動。
[0005] 在又一方面中，本文給出的一個示例實施例提供了一種系統(tǒng)，包括；一個或多個處 理器；存儲器；W及存儲在存儲器中的機器可讀指令，該些機器可讀指令在被一個或多個 處理器執(zhí)行時使得系統(tǒng)執(zhí)行操作，該些操作包括：從與圍繞=維（3D)對象的不同3D角取向 相對應(yīng)的多重視角的每一者生成3D對象的相應(yīng)靜止圖像，每個相應(yīng)靜止圖像包括用于在 顯示設(shè)備上顯示的相應(yīng)數(shù)據(jù)，并且每個相應(yīng)靜止圖像是3D對象的多個靜止圖像之一，確定 與從不同3D角取向中的一者到下一者之間3D角取向的最小差分變化相對應(yīng)的多重視角的 排序，通過與所確定的多重視角的排序相對應(yīng)地對多個靜止圖像的相繼靜止圖像排序來構(gòu) 造靜止圖像的序列，W及利用視頻編碼器對靜止圖像的序列編碼W生成靜止圖像的序列的 壓縮視頻格式擅染，其中靜止圖像的序列的壓縮視頻格式擅染在總數(shù)據(jù)量上小于序列的所 有靜止圖像的總和。
[0006] 在另外一方面中，本文給出的一個示例實施例提供了一種系統(tǒng)，包括：一個或多個 處理器，包括一個或多個視頻處理器；存儲器；W及存儲在存儲器中的機器可讀指令，該些 機器可讀指令在被一個或多個處理器執(zhí)行時使得系統(tǒng)執(zhí)行操作，該些操作包括：接收視頻 文件，該視頻文件包括從與圍繞S維（3D)對象的不同3D角取向相對應(yīng)的多重視角的每一 者觀看的3D對象的靜止圖像的序列的壓縮視頻格式擅染的視頻帖，在顯示設(shè)備上的顯示 窗口中顯示3D對象的圖像，W及響應(yīng)于計算機設(shè)備的用戶接口的交互式光標(biāo)在被虛擬地 附著到3D對象的同時在顯示窗口中的一個或多個軌跡上移動，利用一個或多個視頻處理 器對與被一個或多個軌跡橫穿的多重視角的子集相對應(yīng)的視頻帖的子集進行視頻處理，W 便在顯示設(shè)備上顯示圍繞穿過3D對象的至少一個軸的3D對象的動畫式3D角移動。
[0007] 在另外一個方面中，本文給出的一個示例實施例提供了一種制品，包括計算機可 讀存儲介質(zhì)，其上存儲有程序指令，該些程序指令當(dāng)被系統(tǒng)的一個或多個處理器執(zhí)行時使 得該系統(tǒng)執(zhí)行操作，該些操作包括：從與圍繞=維（3D)對象的不同3D角取向相對應(yīng)的多重 視角的每一者生成3D對象的相應(yīng)靜止圖像，每個相應(yīng)靜止圖像包括用于在顯示設(shè)備上顯 示的相應(yīng)數(shù)據(jù)，并且每個相應(yīng)靜止圖像是3D對象的多個靜止圖像之一；確定與從不同3D角 取向中的一者到下一者之間3D角取向的最小差分變化相對應(yīng)的多重視角的排序；通過與 所確定的多重視角的排序相對應(yīng)地對多個靜止圖像的相繼靜止圖像排序來構(gòu)造靜止圖像 的序列；W及利用視頻編碼器對靜止圖像的序列編碼W生成靜止圖像的序列的壓縮視頻格 式擅染，其中靜止圖像的序列的壓縮視頻格式擅染在總數(shù)據(jù)量上小于序列的所有靜止圖像 的總和。
[000引在另外一個方面中，本文給出的一個示例實施例提供了一種制品，包括計算機可 讀存儲介質(zhì)，其上存儲有程序指令，該些程序指令當(dāng)被系統(tǒng)的一個或多個處理器執(zhí)行時使 得該系統(tǒng)執(zhí)行操作，該些操作包括；響應(yīng)于從系統(tǒng)發(fā)送到通信連接到系統(tǒng)的服務(wù)器的請求， 由系統(tǒng)接收視頻文件，該視頻文件包括從與圍繞=維（3D)對象的不同3D角取向相對應(yīng)的 多重視角的每一者觀看的該3D對象的靜止圖像的序列的壓縮視頻格式擅染的視頻帖；在 系統(tǒng)的顯示設(shè)備上的顯示窗口中顯示3D對象的圖像；W及響應(yīng)于計算機設(shè)備的用戶接口 的交互式光標(biāo)在被虛擬地附著到3D對象的同時在顯示窗口中的一個或多個軌跡上移動， 由系統(tǒng)對與被一個或多個軌跡橫穿的多重視角的子集相對應(yīng)的視頻帖的子集進行視頻處 理，W便顯示圍繞穿過3D對象的至少一個軸的3D對象的動畫式3D角移動。
[0009] 本領(lǐng)域普通技術(shù)人員通過在適當(dāng)時參考附圖閱讀W下詳細描述，將清楚該些W及 其它方面、優(yōu)點和替換方案。另外，應(yīng)當(dāng)理解，本
【發(fā)明內(nèi)容】
部分和本文提供的其它描述和附 圖旨在僅通過示例來例示實施例，因此許多變化是可能的。例如，在保持在如權(quán)利要求所述 的實施例的范圍內(nèi)的同時，可W重布置、組合、分布、消除或W其它方式改變結(jié)構(gòu)元素和過 程步驟。
【附圖說明】
[0010] 圖1是圖示出根據(jù)示例實施例的用于轉(zhuǎn)體/360度旋轉(zhuǎn)器的資源的視頻編碼的示 例方法的流程圖。
[0011] 圖2是圖示出根據(jù)示例實施例的用于利用轉(zhuǎn)體/360度視頻旋轉(zhuǎn)器 (swivel/360-degreespinner)顯示視頻編碼的資源的示例方法的流程圖。
[0012] 圖3是根據(jù)示例實施例的示例網(wǎng)絡(luò)和計算體系結(jié)構(gòu)的框圖。
[0013] 圖4A是根據(jù)示例實施例的服務(wù)器設(shè)備的框圖。
[0014] 圖4B描繪了根據(jù)示例實施例的基于云的服務(wù)器系統(tǒng)。
[0015] 圖5描繪了根據(jù)示例實施例的客戶端設(shè)備的框圖。
[0016] 圖6圖示了根據(jù)示例實施例的從沿著圍繞3D對象的平面路徑的不同視角觀看3D 對象。
[0017] 圖7是根據(jù)示例實施例的來自多重視角的3D對象的圖像的序列的視頻編碼和壓 縮的概念例示。
[001引圖8是根據(jù)示例實施例的來自多重視角的3D對象的圖像的序列的視頻編碼和壓 縮的另一概念例示。
[0019] 圖9是根據(jù)示例實施例的來自沿著穿過3D對象的不同平面中的曲線的多重視角 的3D對象的圖像的序列的視頻編碼和壓縮的概念例示。
[0020] 圖10圖示了根據(jù)示例實施例的圍繞著3D對象的不同軌道平面的幾何結(jié)構(gòu)。
[0021] 圖11圖示了根據(jù)示例實施例的顯示器中的3D對象的圖像的交互式旋轉(zhuǎn)。
【具體實施方式】
[0022] 轉(zhuǎn)體/360度旋轉(zhuǎn)器是一種交互式圖形用戶接口（或其工具），其功能是在顯示設(shè) 備上顯示=維（3D)對象，更具體地是在使得3D對象看起來被連續(xù)地（或幾乎連續(xù)地）旋 轉(zhuǎn)通過多種角取向時交互地操縱3D對象的顯示。轉(zhuǎn)體/360度旋轉(zhuǎn)器可實現(xiàn)在諸如桌上型 計算機、膝上型計算機、智能電話、智能平板或其它客戶端設(shè)備之類的計算機設(shè)備中，并且 因此可向計算機設(shè)備的用戶提供交互功能。
[0023] 在實踐中，可通過計算機設(shè)備的顯示設(shè)備的顯示器中的交互式光標(biāo)來提供轉(zhuǎn)體 /360度旋轉(zhuǎn)器的交互能力。例如，該交互式光標(biāo)可被鼠標(biāo)或其它類型的物理設(shè)備接口控制。 在該種交互式光標(biāo)的某些實施例中，一般而言，與轉(zhuǎn)體/360度旋轉(zhuǎn)器相關(guān)聯(lián)的光標(biāo)可包括 虛擬地"抓住"顯示器中的3D對象的能力。轉(zhuǎn)體/360度旋轉(zhuǎn)器隨后可使得3D對象看起來 響應(yīng)于光標(biāo)虛擬地"拖曳"3D對象經(jīng)過相對于顯示器的觀看視角的各種角取向而W動畫方 式在顯示器的虛擬3D空間中旋轉(zhuǎn)。其它用戶接口范例可提供類似的功能，例如鍵盤的左右 上下箭頭的使用、操縱桿或類似控制器的運動、手持設(shè)備的相對運動（例如顯示圖像的智 能電話的運動），等等。
[0024] 幾何上來說，從特定視角觀看的3D對象的表觀旋轉(zhuǎn)運動可等同于從如下視角觀 看該3D對象；該視角W某種方式遵循著圍繞3D對象的某一路徑，例如軌道。例如，軌道可 位于穿過該對象或在該對象附近經(jīng)過的平面中。此外，可W有多個軌道，每個在不同平面 上。不同平面可彼此平行，與相對于3D對象的不同紳度相對應(yīng)。額外地或替換地，不同平 面可與相對于3D對象的不同子午面相對應(yīng)。該只是可產(chǎn)生可從其來觀看3D對象的不同視 角的不同軌道取向的兩個示例。另外，圍繞3D對象的路徑可W只是軌道的一部分（例如， ?。４送?，路徑不需要一定對應(yīng)于規(guī)則幾何圖形（例如，圓錐曲線），而可W更一般地是具 有穿過3D對象或在3D對象附近經(jīng)過的大致旋轉(zhuǎn)軸的任意曲線。
[0025] 通過從沿著圍繞3D對象的一個或多個路徑或軌道的多重視角生成3D對象的圖 像，然后按動畫序列顯示生成的圖像，可W使得3D對象看起來與從一個圖像到下一個圖像 之間的視角的變化相對應(yīng)地旋轉(zhuǎn)。利用來自多個路徑或軌道的圖像，例如，可W使3D對象 看起來旋轉(zhuǎn)經(jīng)過與圖像的一個或另一個序列排序相對應(yīng)的多種角取向一一可能是任意的 和/或是圍繞著穿過3D對象或在3D對象附近經(jīng)過的多個不同軸的。
[0026] 取來自不同視角的該種圖像的聚集或集合W及標(biāo)記或識別視角的取向（例如，相 對于3D對象的角度）的關(guān)聯(lián)信息作為輸入，轉(zhuǎn)體/360度旋轉(zhuǎn)器可提供對3D對象的表觀角 運動的交互式控制。更具體而言，顯示器上的光標(biāo)的軌跡中的一者或另一者可在圍繞3D對 象的一個或另一個相應(yīng)路徑軌道或路徑中被平移，該進而可用于識別和/或選擇相應(yīng)的圖 像來W動畫方式顯示。
[0027] 用于從圍繞3D對象的不同視角創(chuàng)建圖像的傳統(tǒng)方案是從每個視角生成單獨的 "靜止"圖像。在此方案中，每個靜止圖像本身是完整的，并且可獨立于任何其它圖像地被顯 示在顯示設(shè)備中。注意，來自不同視角的3D對象的靜止圖像可W按攝影方式生成（例如， 從數(shù)字照片生成），和/或利用3D圖形擅染工具（例如，計算機輔助顯示工具）來生成。 [002引對于使用傳統(tǒng)的靜止圖像的聚集或集合和輔助信息（例如，角取向）的傳統(tǒng)轉(zhuǎn)體 /360度旋轉(zhuǎn)器處理，例如具有幾兆字節(jié)（例如3-10兆字節(jié)）的大小的輸入文件或數(shù)據(jù)流可 能不是罕見的。同時，基于圖像擅染角動畫的可執(zhí)行程序可設(shè)及定制的算法，該些算法可能 是緩慢的和/或不便于經(jīng)受優(yōu)化。在轉(zhuǎn)體/360度旋轉(zhuǎn)器的一些應(yīng)用中，大數(shù)據(jù)大小和/或 對?？谒惴ǖ男枨罂稍斐赡承┨魬?zhàn)。
[0029] 例如，在瀏覽器程序的情境中，用于生成諸如文本、圖像、嵌入式計算機代碼等等 之類的顯示頁面的數(shù)據(jù)的聚集通常被稱為"資源"（asset)。在傳統(tǒng)的轉(zhuǎn)體/360度旋轉(zhuǎn)器 的情況下，傳統(tǒng)的資源可包括圖像的一個或多個集合和識別角度的輔助信息等等。在實踐 中，資源可例如被存儲在網(wǎng)絡(luò)中的服務(wù)器上，并且可響應(yīng)于激活轉(zhuǎn)體/360度旋轉(zhuǎn)器的請求 而被取回并發(fā)送到客戶端設(shè)備。該樣，網(wǎng)絡(luò)傳輸和關(guān)聯(lián)的延時可成為一個因素。資源越大， 延時就可能越大。對于一些應(yīng)用，例如產(chǎn)品廣告，延時可對有效性具有負面影響。即使當(dāng)延 時不