專利名稱：一種視頻處理方法和系統(tǒng)的制作方法
技術領域：
本發(fā)明涉及視頻處理，更具體地說，本發(fā)明涉及用于三維視頻的下拉處理 (pulldown processing)的方法禾口系統(tǒng)。
背景技術：
顯示設備，例如電視機(TV)，可以用于輸出或播放視聽或多媒體流，其包括TV廣 播、電視廣播和/或來自于一個或多個可用的用戶設備的局部音頻/視頻(Audio/Video， A/V)流，例如盒式磁帶錄像機(videocassette recorders, VCRs)和/或數字視頻光盤 (Digital Video Disc，DVD)播放器。TV廣播和/或視聽或多媒體流可以直接輸入到TV， 或者通過一個或多個可以用于提供任何必要處理操作的機頂盒間接傳輸?？捎糜谳斎霐?據至TV的連接器的典型類型，包括但不限于F-連接器(F-cormector)、二分量視頻接口 (S-video)，復合連接器和/或視頻組件連接器，和/或較新地高清晰度多媒體接口(High DefinitionMultimedia Interface，縮寫為 HDMI)。電視廣播通常由電視頭端通過廣播頻道藉由射頻(RF)載波或有線連接來發(fā)送。 TV頭端包括地面微波TV頭端、有線電視(CableTelevision，CATV)、衛(wèi)星TV頭端和/或廣 播電視頭端。地面微波TV頭端可以使用例如一組地面微波廣播信道，在美國所述地面微波 廣播信道包括例如信道2至69。有線電視廣播可以使用更多數量的廣播信道。TV廣播包 括視頻和/或音頻信息的傳輸，其中視頻和/或音頻信息可以通過多個可用的調制方案中 的一個方案編碼入廣播信道。TV廣播可以使用模擬和/或數字調制格式。在模擬電視系統(tǒng) 中，編碼入圖片和聲音信息并通過模擬信號傳輸，其中視頻/音頻信息可以基于模擬電視 編碼標準通過對電視信號進行振幅和/或頻率調制后通過廣播信號傳輸。模擬電視廣播可 以例如使用NTSC、PAL和/或塞康制(SECAM)模擬編碼方案來編碼它們的信號，然后調制這 些信號到例如甚高頻(VHF)或特高頻(UHF)射頻載波上。在數字電視(DTV)系統(tǒng)中，電視廣播可以通過離散信號使用一種可行的數字調制 方案由地面微波、電纜和/或衛(wèi)星頭端傳送，該數字調制方案包括例如正交振幅調制QAM)、 殘留邊帶調制(VSB)、四相移鍵控(QPSK)和/或正交頻分復用(0FDM)。因為傳輸同樣的信 息，使用數字信號通常比模擬信息需要更少的寬帶，DTV系統(tǒng)比起可用的模擬電視系統(tǒng)可以 使廣播商在相同的空間提供更多的數字信道。此外，使用數字電視信號通過數字系統(tǒng)可以 使廣播商能提供HDTV廣播和/或提供其他的非電視相關服務?？捎玫臄底蛛娨曄到y(tǒng)包括例 如基于ATSC、DVB、DMB-T/H和/或ISDN的系統(tǒng)。使用各種視頻和/或音頻編碼和/或壓縮 算法可以將視頻和/或音頻信息編碼為數字電視信號，所述算法可以包括例如MPEG-1/2、 MPEG-4AVC、MP3、AC-3、AAC 禾口 / 或 HE-AAC。目前大多數TV廣播(和類似多媒體源)使用視頻格式標準，該標準使比特流格式 的視頻圖像通信成為可能。這些視頻標準可以使用各種插值和/或比率轉換函數在顯示設 備上呈現包括靜態(tài)和/或動態(tài)的圖像。例如，可以使用反交錯處理函數將動態(tài)和/或靜態(tài) 圖像轉換為適合于不能處理交錯內容的顯示設備的特定類型的格式。TV廣播和類似的視頻源可能是隔行或者逐行掃描的。隔行的視頻包括場，每一場可能在不同的時間間隔內捕捉 到。一幀可以包括兩場，例如一個前場(top field)和一個后場(bottom field)。形成視 頻的圖像可以包括多個有序的行。在一個時間間隔內，可捕捉偶數行的視頻內容。在隨后 的時間間隔內，可能獲捕捉奇數行的視頻內容。所有偶數行可被統(tǒng)一稱為前場，而所有奇數 行可被統(tǒng)一稱為后場。作為另一種選擇，所有奇數行可被統(tǒng)一稱為前場，而所有偶數行可被 統(tǒng)一稱為后場。在逐行掃描視頻幀的情況下，幀的所有行在一個時間間隔內順序捕捉或播 放。隔行的視頻可以包括從逐行掃描幀轉換來的場。例如，一個逐行掃描幀通過將偶數行 組織到一個場中而將奇數行組織到另一場中而轉換成兩個隔行場。比較本發(fā)明后續(xù)將要結合附圖介紹的系統(tǒng)，現有技術的其它局限性和弊端對于本 領域的普通技術人員來說是顯而易見的。
發(fā)明內容
本發(fā)明涉及一種用于三維視頻的下拉處理的系統(tǒng)和/或方法，在相關的至少一個 附圖中有充分的顯示和或描述，在權利要求書中有更完整的說明。根據本發(fā)明的一個方面，一種視頻處理方法包括通過視頻處理系統(tǒng)中的一個或多個處理器和/或電路執(zhí)行如下步驟確定一個或多個與輸入三維視頻流相關的本質特征；以及生成一個或多個與所述輸入三維視頻流相對應的輸出視頻流，其中基于所確定的 一個或多個本質特征和與一個或多個顯示設備相對應的顯示參數修改所述三維視頻流的 下拉，所述顯示設備用于顯示所述生成的一個或多個輸出視頻流。優(yōu)選地，所述與輸入三維視頻流相關的一個或多個本質特征包括電影模式。優(yōu)選地，所述方法進一步包括基于所確定的與所述輸入三維視頻流相關的一個 或多個本質特征，確定所述輸入三維視頻流的幀率。優(yōu)選地，所述方法進一步包括動態(tài)地確定所述顯示參數。優(yōu)選地，所述顯示參數包括顯示幀率和/或掃描模式。優(yōu)選地，所述掃描模式包括逐行掃描或隔行掃描。優(yōu)選地，所述輸入三維視頻流包括左和右參考幀或場的序列。優(yōu)選地，所述方法進一步包括當與所述輸入三維視頻流相關的所述一個或多個 本質特征包括具有每秒25幀幀率的電影模式并且所述顯示參數包括50赫茲逐行掃描時， 將左視圖幀和相應的右視圖幀不進行任何幀復制地轉送到所述一個或多個顯示設備。優(yōu)選地，所述方法進一步包括當與所述輸入三維視頻流相關的所述一個或多個 本質特征包括具有每秒M幀幀率的電影模式并且所述顯示參數包括60赫茲逐行掃描時， 為所述輸入三維視頻流中的每組四幀復制左視圖幀或右視圖幀，其中所述每組四幀包括兩 個連續(xù)左視圖幀和相應的兩個連續(xù)右視圖幀。優(yōu)選地，所述方法進一步包括基于所述輸出視頻流的處理期間最后緩沖的幀選 擇所述復制的幀。根據本發(fā)明的一個方面，一種視頻處理系統(tǒng)包括一個或多個電路和/或處理器，其用于確定與輸入三維視頻流相關的一個或多個 本質特征的；以及
所述一個或多個電路和/或處理器用于生成一個或多個與所述輸入三維視頻流 相對應的輸出視頻流，其中基于所確定的一個或多個本質特征和與一個或多個顯示設備相 對應的顯示參數修改所述三維視頻流的下拉，所述顯示設備用于顯示所述生成的一個或多 個輸出視頻流。優(yōu)選地，所述與輸入三維視頻流相關的一個或多個本質特征包括電影模式。優(yōu)選地，所述一個或多個電路和/或處理器用于基于所確定的與所述輸入三維視 頻流相關的一個或多個本質特征，確定所述輸入三維視頻流的幀率。優(yōu)選地，所述一個或多個電路和/或處理器用于動態(tài)地確定所述顯示參數。優(yōu)選地，所述顯示參數包括顯示幀率和/或掃描模式。優(yōu)選地，所述掃描模式包括逐行掃描或隔行掃描。優(yōu)選地，所述輸入三維視頻流包括左和右參考幀或場的序列。優(yōu)選地，當與所述輸入三維視頻流相關的所述一個或多個本質特征包括具有每秒 25幀幀率的電影模式，并且所述顯示參數包括50赫茲逐行掃描時，所述一個或多個電路和 /或處理器用于將左視圖幀和相應的右視圖幀不進行任何幀復制地轉送到所述一個或多個 顯不設備。優(yōu)選地，當與所述輸入三維視頻流相關的所述一個或多個本質特征包括具有每秒 24幀幀率的電影模式，并且所述顯示參數包括60赫茲逐行掃描時，所述一個或多個電路和 /或處理器用于為所述輸入三維視頻流中的每組四幀復制左視圖幀或右視圖幀，其中所述 每組四幀包括兩個連續(xù)左視圖幀和相應的兩個連續(xù)右視圖幀。優(yōu)選地，所述一個或多個電路和/或處理器用于基于所述輸出視頻流的處理期間 最后緩沖的幀選擇所述復制的幀。本發(fā)明的各種優(yōu)點、各個方面和創(chuàng)新特征，以及其中所示例的實施例的細節(jié)，將在 以下的描述和附圖中進行詳細介紹。
下面將結合附圖及實施例對本發(fā)明作進一步說明，附圖中圖1是根據本發(fā)明一實施例的支持TV廣播和/或本地多媒體源的典型視頻系統(tǒng) 的框圖；圖2A是根據本發(fā)明一實施例的用于提供三維視頻通信的典型視頻系統(tǒng)的框圖；圖2B是根據本發(fā)明一實施例的用于生成包括三維視頻的視頻流的典型視頻處理 系統(tǒng)的框圖；圖2C是根據本發(fā)明一實施例的用于處理和顯示包括三維視頻的視頻輸入的典型 視頻處理系統(tǒng)的框圖；圖3A是與本發(fā)明一實施例相關的為傳統(tǒng)二維視頻流提供3 2下拉的典型方法 的示意圖；圖:3B是根據本發(fā)明一實施例的為三維視頻流提供3 2下拉的典型方法的示意 圖；圖3C是與本發(fā)明一實施例相關的為傳統(tǒng)二維視頻流提供2 2下拉的典型方法 的示意圖3D是根據本發(fā)明一實施例的為三維視頻流提供2 2下拉的典型方法的示意 圖；圖4是根據本發(fā)明一實施例的為三維視頻執(zhí)行下拉處理的典型步驟的流程圖。
具體實施例方式本發(fā)明的特定實施例可以在用于三維視頻下拉處理的方法和系統(tǒng)中找到。在本發(fā) 明的各實施例中，視頻處理設備可以用于接收和處理可能包括三維視頻的輸入視頻流。所 述視頻處理設備可以確定與接收的輸入三維視頻流相關的本質特征并可以生成與所輸入 的三維視頻流相對應的輸出視頻流，其中輸入三維視頻流的下拉可以被執(zhí)行和/或調整， 該執(zhí)行和/或調整基于所確定的輸入三維視頻流的本質特征和與可以用于呈現所生成的 輸出視頻流的顯示設備相對應的顯示參數。與所述輸入三維視頻流相關的所述本質特征可 以包括電影模式，該電影模式可以表明所接收的輸入三維視頻流可以包括針對電影生成的 和/或捕捉的視頻內容。輸入三維視頻流的捕捉和/或生成幀率可以基于例如所確定的 與輸入三維視頻流相關的本質特征確定。所述顯示參數可以通過視頻處理設備動態(tài)地確 定。所述顯示參數包括顯示幀率和/或掃描模式，其中掃描模式可以包括逐行掃描或隔行 掃描。所述輸入三維視頻流可以包括對應于左、右參考幀或場序列的立體三維視頻內容。在與所述輸入三維視頻流相關的本質特征包括具有每秒25幀幀率的電影模式并 且所述顯示參數包括50赫茲逐行掃描的情況下，所接收的左、右視圖幀序列可以在不改變 的情況下實現3 2下拉。在與所述輸入三維視頻流相關的本質特征包括具有每秒M幀 幀率的電影模式并且所述顯示參數包括60赫茲逐行掃描的情況下，可以通過在所述輸入 三維視頻流中的每組四幀中復制左視圖幀或右視圖幀來實現3 2下拉，其中所述每組四 幀包括兩個連續(xù)左視圖幀和相應的兩個連續(xù)右視圖幀。所述復制的幀可以基于所述輸出視 頻流的所述處理期間最后緩沖的幀來選擇。圖1是根據本發(fā)明一實施例的支持TV廣播和/或本地多媒體流的典型視頻系統(tǒng) 的框圖。如圖1所示，顯示了媒體系統(tǒng)100，所述媒體系統(tǒng)100可以包括顯示設備102、地面 微波電視(terrestrial-TV)頭端104、TV塔106、TV天線108、有線電視(CATV)頭端110、 CATV分發(fā)網絡112、衛(wèi)星電視(satellite-TV)頭端114、衛(wèi)星電視接收器116、寬頻電視 (broadband TV)頭端118、寬帶網絡120、機頂盒122和視聽播放設備124。所述顯示設備102可以包括合適的邏輯單元、電路、接口和/或編碼，用于播放包 括視聽數據的多媒體流。所述顯示設備102可以包括，例如電視機、顯示器、和/或其他顯 示和/或聲音播放設備、和/或可以用于播放視頻流和/或相應的音頻數據的組件，該視頻 流和/或音頻數據可以由顯示設備102直接接收和/或通過中間設備例如機頂盒122間接 接收，和/或從本地媒體刻錄/播放設備和/或存儲資源例如視聽播放設備1 接收。地面微波電視頭端104可以包括合適的邏輯單元、電路、接口和/或編碼，可以通 過一個或多個TV塔106實現TV信號的無線廣播。所述地面微波電視頭端104可以用于廣 播模擬和/或數字編碼的地面微波電視信號。所述TV天線108可以包括合適的邏輯單元、 電路、接口和/或編碼，可以接收由所述地面微波電視頭端104通過所述TV塔106傳輸的 TV信號。所述CATV頭端110可以包括合適的邏輯單元、電路、接口和/或編碼，可以用于有 線電視信號通信。所述CATV頭端110可以用于廣播模擬和/或數字格式的有線電視信號。所述CATV分發(fā)網絡112可以包括合適的分發(fā)系統(tǒng)，該分發(fā)系統(tǒng)可以用于轉發(fā)從所述CATV 頭端110到多個有線電視接收端的通信，該有線電視接收端包括例如所述顯示設備102。例 如，所述CATV分發(fā)網絡112可以包括光纖和/或同軸電纜網絡，該網絡使得所述CATV頭端 110和所述顯示設備102間在一種或多種情況下可通信。所述衛(wèi)星電視頭端114可以包括合適的邏輯單元、電路、接口和/或編碼，可以實 現衛(wèi)星電視信號至地面微波接收端例如所述顯示設備102的下行鏈路通信。所述衛(wèi)星電視 頭端114可以包括例如在衛(wèi)星電視系統(tǒng)中的多個軌道衛(wèi)星節(jié)點中的一個。所述衛(wèi)星電視接 收器116可以包括合適的邏輯單元、電路、接口和/或編碼，用于接收所述衛(wèi)星電視頭端114 傳輸的下線鏈路衛(wèi)星電視信號。例如，所述衛(wèi)星電視接收器116可以包括專用的拋物面天 線，該天線可以用于接收來自于衛(wèi)星電視頭端的衛(wèi)星電視信號，并反射和/或將接收到的 衛(wèi)星信號集中到一個焦點，在此可以使用一個或多個低噪聲放大器(LNA)來降頻所接收到 的信號到對應的中間頻率，并可以通過例如所述機頂盒122進一步處理以提取音頻/視頻 數據。此外，因為大部分衛(wèi)星電視下行鏈路源可以被安全地編碼和/或置亂，所述衛(wèi)星電視 接收器116可以包括合適的邏輯單元、電路、接口和/或編碼，可以用于解碼、解擾擾、和/ 或解密接收到的衛(wèi)星電視源。所述寬頻電視頭端118可以包括合適的邏輯單元、電路、接口和/或編碼，可以通 過所述寬帶網絡120實現多媒體/TV廣播。所述寬帶網絡120可以包括互聯(lián)網絡系統(tǒng)，用 于在一個或多個網絡標準的基礎上在多個節(jié)點之間交換信息和/或數據，該網絡標準包括 例如傳輸控制協(xié)議/因特網互聯(lián)協(xié)議(TCP/IP)。所述寬帶網絡120可以包括多個支持寬帶 的子網，包括例如衛(wèi)星網絡、電纜網絡、DVB網絡、英特網和/或類似局域或廣域網，其均能 將包括多媒體內容的數據傳輸到多個終端用戶。可以通過基于銅軸和/或光纖有線連接、 無線接口和/或其他基于標準接口的寬帶網絡120提供連接。所述寬頻電視頭端118和所 述寬帶網絡120可以對應于例如網際協(xié)議電視(Internet ProtocolTelevision, IPTV)系 統(tǒng)。所述機頂盒122可以包括合適的邏輯單元、電路、接口和/或編碼，可以用于處理 通過所述顯示設備102外設的一個或多個TV頭端傳輸的TV和/或多媒體流/信號。所述 視聽播放設備1 可以包括合適的邏輯單元、電路、接口和/或編碼，用于提供視頻/音頻 源給顯示設備102。例如，所述視聽播放設備1 可以包括DVD播放器、藍光(Blu-ray)播 放器、數字視頻錄像機(DigitalVideo Recorder, DVR)、視頻游戲控制臺、監(jiān)視系統(tǒng)和/或 個人電腦(PC)視頻采集/播放卡。當所述機頂盒122和所述視聽播放設備IM展示為獨 立的實體時，通過所述機頂盒122和/或所述視聽播放設備IM執(zhí)行的至少一部分功能可 以被直接集成到所述顯示設備102中。在操作過程中，所述顯示設備102可以用于播放接收自一個可用廣播頭端和/或 一個或多個本地源的媒體流。所述顯示設備102可以通過TV天線接收例如通過TV塔106 從地面微波電視機頭端104發(fā)射的無線TV廣播。所述顯示設備102也可以接收有線電視 廣播，其可以經由所述CATV分發(fā)網絡112由所述CATV頭端110傳送；衛(wèi)星電視廣播，其可 以由所述衛(wèi)星頭端114傳送并經由所述衛(wèi)星接收器116接收；和/或網絡媒體廣播，其可以 經由所述寬帶網絡120由所述寬頻電視頭端118傳送。TV頭端可以在TV廣播中使用各種格式化方案。歷史上，TV廣播已經使用過模擬調制格式化方案，包括例如NTSC、PAL和/或SECAM。音頻編碼方案可以包括使用單獨的調 制方案，例如BTSC、NICAM、單聲道調頻(mono FM)和/或AM。然而近來已經穩(wěn)定的朝著基 于數字TV(DTV)的廣播技術發(fā)展。例如，所述地面微波電視頭端104可以使用基于ATSC和 /或DVB的標準來促進DTV地面微波廣播。類似地，所述CATV頭端110和/或所述衛(wèi)星電 視頭端114也可以使用適當的編碼標準來促進基于有線和/或衛(wèi)星的廣播。所述顯示設備102可以用于直接處理多媒體/TV廣播來實現相應視頻和/或音頻 數據的播放。作為另一種選擇，外設設備，例如所述機頂盒122，可以被用于執(zhí)行處理操作和 /或功能，其可以用于從接收到的媒體流中提取視頻和/或音頻數據，并且提取到的音頻和 /或視頻數據接著可以通過所述顯示設備102播放。在本發(fā)明的一個典型方面，所述媒體系統(tǒng)100可以用于支持三維視頻。目前大部 分視頻內容以二維格式生成并播放。然而最近有向三維視頻發(fā)展和/或使用的推動。在各 種視頻相關應用例如DVD/藍光電影和/或數字電視中，三維視頻更加令人滿意，因為人類 感知三維圖像比起二維圖像更加真實。各種方法可以用于捕捉、生成(在捕捉或播放時)和 /或呈現三維視頻圖像。實現三維視頻的較通用的方法中的一種是立體三維視頻。在基于 立體三維視頻的應用中，所述三維視頻影像通過呈現多個視圖來產生，最通用的是兩個視 圖左視圖和右視圖，對應于觀看者的左眼和右眼來向所播放的圖像提供深度。就這個方面 而言，可以捕捉和/或處理左視圖和右視圖視頻序列以產生三維圖像。接著左視圖和右視 圖數據可以作為獨立的流傳輸，或者可以合并到一個傳輸流并僅僅由終端用戶接收/播放 設備將其分離成不同的視頻序列。所述立體三維視頻可以使用TV廣播來傳送。就這方面 而言，一個或多個TV頭端可以用于直接和/或經由所述機頂盒122傳輸三維視頻內容至所 述顯示設備102。所述立體三維視頻的傳送也可以通過使用例如DVD或藍光光盤(Blu-ray disc)等多媒體存儲設備實現，該多媒體存儲設備可以用于存儲隨后將通過適當的例如所 述視聽播放器1 等播放器播放的三維視頻數據。各種壓縮/編碼標準可以用于在立體三 維視頻通信期間壓縮和/或編碼視圖序列為傳輸流。例如，單獨的左和右視圖視頻序列可 以基于 MPEG-2MVP、H. 264 和 / 或 MPEG-4 高級視頻編碼(Advanced Video Coding, AVC)或 MPEG-4 多視圖視頻編碼(multi-view videocoding, MVC)壓縮。在本發(fā)明的各實施例中，在視頻處理期間的顯示和/或播放時刻可以對輸入三維 視頻執(zhí)行下拉處理。就這個方面而言，下拉是指與幀相關的操作以解決輸入視頻流幀率和 顯示幀率間的差異。例如電影通常以每秒M或25幀獲取。然而大部分顯示設備使用至少 50或60赫茲的顯示幀率。相應地，在輸入視頻流對應于電影的情況下，在視頻輸出生成期 間實現的視頻處理和/或在顯示或播放期間的處理包括有幀操作以生成與所述顯示設備 幀率相匹配的輸出視頻流。就這個方面而言，輸入視頻流中的特定幀可以被復制，例如，以 增加輸出視頻流中的幀的數量以便輸出視頻流具有適合于所述顯示設備的幀率的幀率。圖2A是根據本發(fā)明一實施例的用于提供三維視頻通信的典型視頻系統(tǒng)的框 圖。如圖2A所示，其中顯示了三維視頻傳輸單元(3D-VTU)202和三維視頻接收單元 (3D-VRU)204。所述3D-VTU 202可以包括合適的邏輯單元、電路、接口和/或編碼，可以用于生成 包括編碼的/壓縮的三維視頻數據的視頻流，所述視頻流可以傳輸到例如3D-VRU 204進行 顯示和/或播放。由所述3D-VTU 202生成的所述三維視頻可以通過TV廣播由一個或多個TV頭端傳輸，所述TV頭端為例如圖1中的所述地面微波電視頭端104、所述CATV頭端110、 所述衛(wèi)星頭端114和/或所述寬頻電視頭端118。由所述3D-VTU 202生成的所述三維視頻 可以存入多媒體存儲設備，例如DVD或藍光光盤。所述3D-VRU 204可以包括合適的邏輯單元、電路、接口和/或編碼，可以用于接收 或處理包括三維視頻數據的視頻流以顯示和/或播放。所述3D-VRU204可以用于例如接收 和/或處理包括三維視頻數據的傳輸流，其可以由例如所述3D-VTU 202通過TV廣播直接 傳輸。所述3D-VRU 204也可以用于接收由所述3D-VTU 202生成的視頻流，該視頻流可以 經由多媒體存儲設備間接傳輸，該多媒體存儲設備通過所述3D-VRU 204和/或本地適當的 播放設備直接播放。就這個方面而言，所述3D-VRU 204的操作通過例如圖1中的所述顯示 設備102、所述機頂盒122和/或所述視聽播放設備IM實現。所述接收到的視頻流可以包 括編碼的/壓縮的三維視頻數據。相應地，所述3D-VRU 204可以用于處理所述接收到的視 頻流以分離和/或提取傳輸流中的各種視頻內容，以及可以用于解碼和/或處理所提取的 視頻流和/或內容以便于顯示操作。在操作過程中，所述3D-VTU 202可以用于生成包括三維視頻數據的視頻流。所述 3D-VTU 202可以編碼例如三維視頻數據為包括左視圖和右視圖序列的立體三維視頻。所 述3D-VRU 204可以用于接收和處理所述視頻流以利于包含于所述視頻流中的視頻內容通 過合適的顯示設備播放。就這個方面而言，所述3D-VRU 204可以用于例如將接收到的傳輸 流解復用成編碼的三維視頻流和/或附加的視頻流。所述3D-VRU 204可以用于解碼所述 編碼的三維視頻數據以顯示。在本發(fā)明的一個典型方面，所述3D-VRU 204也可以用于對所接收的視頻數據執(zhí) 行必要的下拉處理。就這個方面而言，在所接收的視頻流幀率小于顯示幀率的情況下，所述 3D-VRU 204可以執(zhí)行幀操作來生成具有適合于所述顯示幀率的合適的幀率的用于顯示和 /或播放的輸出視頻流。例如，在所述接收的視頻流具有每秒M幀的幀率和所述顯示幀率 為60赫茲的情況下，所述3D-VRU204可以用于執(zhí)行3 2下拉。在所述接收的視頻流具有 每秒25幀的幀率和所述顯示幀率為50赫茲的情況下，所述3D-VRU 204可以用于執(zhí)行2 2 下拉。圖2B是根據本發(fā)明一實施例的用于生成包括三維視頻的視頻流的典型視頻處理 系統(tǒng)的框圖。如圖2B所示，其中顯示了視頻處理系統(tǒng)220、三維視頻源222、基本視圖編碼 器224、加強視圖編碼器2 和傳輸多路轉換器228。所述視頻處理系統(tǒng)220可以包括合適的邏輯單元、電路、接口和/或編碼，可以用 于獲取、生成和/或處理三維視頻數據，并用于生成包括所述三維視頻的傳輸流。所述視頻 處理系統(tǒng)220可以包括例如所述三維視頻源222、所述基本視圖編碼器224、所述加強視圖 編碼器2 和/或所述傳輸多路轉換器2 。所述視頻處理系統(tǒng)220可以集成到所述3D-VTU 202中以利于包括三維視頻數據的視頻和/或傳輸流的生成。所述三維視頻源222可以包括合適的邏輯單元、電路、接口和/或編碼，可以用于 獲取和/或生成源三維視頻內容。所述三維視頻源222可以用于生成包括有來自于所獲取 的源三維視頻內容的左視圖和右視圖視頻數據的立體三維視頻，以利于三維視頻顯示/播 放。所述左視圖視頻和所述右視圖視頻可以分別傳送給所述基本視圖編碼器2M和所述加 強視圖編碼器226以進行視頻處理。
所述基本視圖編碼器224可以包括合適的邏輯單元、電路、接口和/或編碼，可以 用于例如以幀為基礎編碼來自于所述三維視頻源222的左視圖視頻。所述基本視圖編碼器 224可以用于利用各種視頻編碼和/或壓縮算法(例如MPEG-2、MPEG-4、AVC、VC1、VP6中所 規(guī)定的)和/或其他視頻格式來針對來自于所述三維視頻源222的左視圖視頻產生壓縮的 和/或編碼的視頻內容。此外，基本視圖編碼器224可傳送信息例如基本視圖編碼的場景 信息給加強視圖編碼器226以用于加強視圖編碼。
所述加強視圖編碼器226可以包括合適的邏輯單元、電路、接口和/或編碼，可以 用于例如以幀為基礎編碼來自于所述三維視頻源222的右視圖視頻。所述加強視圖編碼器 226可以用于利用各種視頻編碼和/或壓縮算法(例如MPEG-2、MPEG-4、AVC、VC1、VP6中規(guī) 定的)和/或其他視頻格式來針對來自于所述三維視頻源222的所述右視圖視頻產生壓縮 的和/或編碼的視頻內容。盡管在圖2B中僅顯示了一個加強視圖編碼器226，但本發(fā)明不 限于此。相應地，任何數量的加強視圖編碼器可以用于處理由所述三維視頻源222生成的 左視圖視頻和右視圖視頻，而不脫離本發(fā)明各實施例的實質和范圍。所述傳輸多路轉換器228可以包括合適的邏輯單元、電路、接口和/或編碼，可以 用于合并多個視頻序列到一個合成的視頻流。所述合成的視頻流可以包括所述左(基本) 視圖視頻序列、所述右(加強)視圖視頻序列和多個附加視頻流(其包括例如廣告流)。在操作過程中，所述三維視頻源222可以用于獲取和/或生成源三維視頻內容，來 產生例如可以包括左視圖視頻和右視圖視頻立體三維視頻數據以用于視頻壓縮。所述左視 圖視頻可以通過所述基本視頻編碼器224編碼生成左(基本)視圖視頻序列。所述右視圖 視頻可以通過所述加強視圖編碼器226編碼生成右(加強)視圖視頻序列。所述基本視圖 編碼器224可以提供信息例如場景信息給所述加強視圖編碼器226以用于加強視圖編碼， 用于實現例如深度數據的生成。所述傳輸多路轉換器228可以用于合并左(基本)視圖視 頻序列和右(加強)視圖視頻序列來生成合成的視頻流。此外，一個或多個附加視頻流可 以通過所述傳輸多路轉換器228被多路復用到所述合成的視頻流中。接著所述得到的視頻 流可以傳送給例如所述3D-VRU 204，如圖2A所示。在本發(fā)明的一個典型方面，可以以小于一個或多個相應的顯示設備幀率的幀率生 成和/或獲取所述左視圖視頻和/或所述右視圖視頻，該顯示設備用于播放編碼到所述合 成的視頻流中的所述視頻內容。例如，對于電影，所述左視圖視頻和/或所述右視圖視頻可 以以24或者25幀每秒的幀率獲取。相應地，在沒有通過所述基本視頻編碼器224和/或 所述加強視圖編碼器226執(zhí)行幀操作和/或調整來解決特定顯示幀率的情況下，可以在顯 示操作期間使用所述合成視頻流時通過終端用戶接收/顯示設備執(zhí)行下拉處理，如圖2A所
7J\ ο圖2C是根據本發(fā)明一實施例的用于處理和顯示包括三維視頻的視頻輸入的典型 視頻處理系統(tǒng)的框圖。如圖2C所示，其中顯示了視頻處理系統(tǒng)240、主處理器242、系統(tǒng)存 儲設備244、視頻解碼器246、視頻處理器248、時間控制器250、視頻縮放器252和顯示設備 256。所述視頻處理系統(tǒng)240可以包括合適的邏輯單元、電路、接口和/或編碼，可以用 于接收和處理包括三維視頻數據的壓縮的和/或編碼的視頻流，可以呈現重構的輸出視 頻已進行顯示。所述視頻處理系統(tǒng)240可以包括例如所述主處理器242、所述系統(tǒng)存儲設備244、所述視頻解碼器246、所述視頻處理器248、所述視頻縮放器252和所述時間控制器250。所述視頻處理系統(tǒng)240可以集成到例如所述3D-VRU 204中，以利于包括三維視頻內 容的傳輸流的接收和/或處理，所述三維視頻內容經由TV廣播通過3D-VTU 202傳輸和/ 或從多媒體存儲設備本地播放。所述視頻處理系統(tǒng)240可以用于處理隔行掃描視頻場和/ 或逐行掃描視頻幀。就這個方面而言，所述視頻處理系統(tǒng)240可以用于解壓和/或向上變 頻隔行掃描視頻和/或逐行掃描視頻。所述視頻場，例如隔行掃描場和/或逐行掃描視頻 幀也可以被稱為場、視頻場、幀或視頻幀。在本發(fā)明的一個典型方面，所述視頻處理系統(tǒng)240 可以用于執(zhí)行視頻下拉，以消除輸入視頻流的幀率與產生的適合于所述顯示設備256的輸 出視頻流的所需幀率之間的差異。所述主處理器242可以包括合適的邏輯單元、電路、接口和/或編碼，可以用于處 理數據和/或控制所述視頻處理系統(tǒng)240的操作。就這個方面而言，所述主處理器242可 以用于配置和/或控制各種其他組件和/或所述視頻處理系統(tǒng)240的子系統(tǒng)的操作，這通 過向各種其他組件和/或所述視頻處理系統(tǒng)240的子系統(tǒng)提供例如控制信號來實現。所述 主處理器242也可以在例如視頻處理操作期間控制與所述視頻處理系統(tǒng)240的數據傳輸。 所述主處理器242也可以執(zhí)行存儲于和從內置緩存或所述系統(tǒng)存儲設備244中取回的應用 程序、程序和/或代碼，以執(zhí)行例如解壓縮、運動補償、插值、下拉或其他三維視頻數據處理 等各種視頻處理操作。所述系統(tǒng)存儲設備244可以包括合適的邏輯單元、電路、接口和/或編碼，可以用 于存儲包括可以實現所述視頻處理系統(tǒng)240操作的參數和/或代碼的信息。所述參數可以 包括配置數據，代碼可以包括例如軟件和/或固件等操作碼，但是所述信息并不局限于這 個方面。此外，所述系統(tǒng)存儲設備244可以用于存儲三維視頻數據，例如所述數據可以包括 立體圖形數據的左和右視圖。所述系統(tǒng)存儲設備244也可以用于緩沖視頻數據，例如包括 左和/或右視圖視頻序列的三維視頻數據，當其在所述視頻處理系統(tǒng)240中處理和/或從 一個處理進程和/或組件傳送到另一個的時候。所述主處理器242可以提供控制信號以管 理到和/或從所述系統(tǒng)存儲設備244的視頻數據寫/讀操作。所述視頻解碼器246可以包括合適的邏輯單元、電路、接口和/或編碼，可以用于 處理編碼的和/或壓縮的視頻數據。所述視頻數據可以通過例如MPEG-2傳輸流(transport stream)協(xié)議或MPEG-2程序流(program stream)封裝格式壓縮和/或編碼。壓縮的視頻 數據可以是包括幀或場的立體三維視頻序列例如左和右視頻序列的三維數據。就這方面而 言，所述視頻解碼器246可以基于例如MPEG-2MVP、H. 264和/或MPEG-4AVC或MPEG-4多 視圖視頻編碼(MVC)來解壓所接收的獨立的左和右視圖視頻。在本發(fā)明的其他實施例中， 所述立體的左和右視圖可以并入到一個幀序列中。例如，基于并行(side-by-side)、上下 (top-bottom)、和/或棋盤格(checkerboard lattice)的三維編碼器可以將包括左視圖 數據和右視圖數據的三維流中的幀轉換為單個壓縮幀，并且可以使用MPEG-2、H. 264、AVC 和/或其他編碼技術。在這種情形下，所述視頻數據可以通過視頻解碼器246基于例如 MPEG-4AVC和/或MPEG-2主規(guī)范(MP)來解碼。所述視頻解碼器246也可以用于多路解復 用和/或解析所接收的傳輸流以提取其中的流和/或序列，以便解壓通過所接收的傳輸流 承載的視頻數據，和/或可以實現額外的安全操作例如數字權限管理。作為另一種選擇，可 以使用專用的多路信號分離器(未示出)。
所述視頻處理器248可以包括合適的邏輯單元、電路、接口和/或編碼，可以用于 對所接收的視頻數據執(zhí)行視頻處理操作，以利于生成可以通過所述顯示設備256播放的輸 出視頻流。所述視頻處理器248可以用于例如生成視頻幀，該視頻幀可以通過所述顯示設 備256基于多個從所接收的視頻流提取的視圖序列提供三維視頻播放。所述時間控制器250可以包括合適的邏輯單元、電路、接口和/或編碼，可以用于 控制到所述顯示設備256的視頻輸出操作的時間。就這個方面而言，所述時間控制器250 可以用于確定和/或控制所述輸出視頻流的各種特征，所述輸出視頻流由所述視頻處理系 統(tǒng)240基于預先設定的和/或動態(tài)確定的準則例如顯示設備256的運行參數生成。例如， 所述時間控制器250可以確定所述顯示設備256的分辨率、幀率和/或掃描模式。就這個 方面而言，所述掃描模式指的是是否所述顯示設備256使用逐行或隔行掃描。所述顯示幀 率指的是可以通過所述顯示設備256顯示的每秒鐘幀的頻率或數量。例如，在所述顯示設 備256以每60秒1080幀的幀率使用的情況下，所述時間控制器250可以確定所述顯示設 備256具有1920 X 1080的分辨率、60秒的幀率，以及正以逐行掃描模式操作，即使用幀而不 是場。所述視頻縮放器252可以包括合適的邏輯單元、電路、接口和/或編碼，可以用于 調整所述輸出視頻流，該視頻流由所述視頻處理系統(tǒng)240基于例如通過所述時間控制器 250提供的輸入生成。就這個方面而言，所述視頻縮放器252可以用于單獨和/或與所述視 頻處理系統(tǒng)240的其他處理器和/或組件例如所述視頻處理器248聯(lián)合執(zhí)行下拉操作。例 如，在所述輸入視頻流具有24幀每秒的幀率并且由所述時間控制器250所確定的需要的輸 出視頻流的幀率更高例如60赫茲的情況下，所述視頻縮放器252可以確定一個或多個可以 被復制用于提供所需要的輸出幀率。所述顯示設備256可以包括合適的邏輯單元、電路、接口和/或編碼，可以在由所 述視頻處理系統(tǒng)240的各種組件處理之后，用于顯示重構的和生成的顯示為輸出視頻流的 視頻數據的場和/或幀，并且可以呈現相應的圖像。所述顯示設備256可以是獨立的設備， 或者所述顯示設備256和所述視頻處理系統(tǒng)240可以作為一個單一設備實現。所述顯示設 備256可以實現三維視頻顯示。就這一方面而言，所述顯示設備256可以利用三維視頻圖 像呈現技術呈現出對應于左視圖和右視圖視頻序列的圖像。在操作過程中，所述視頻處理系統(tǒng)240可以用于促進包括三維視頻數據的視頻流 的接收和/或處理，并且生成和/或處理通過所述顯示設備256可顯示的輸出視頻流。所 述視頻數據通過經由TV廣播傳輸的傳輸流接收，處理所接收的傳輸流可以包括多路解碼 所述傳輸流以提取多個與例如視頻序列和/或附加信息相對應的壓縮的視頻序列。多路解 碼所述傳輸流可以在所述視頻解碼器246中實現，或通過專用的多路信號分離器組件(未 顯示)來實現。所述視頻解碼器246可以用于接收包括以例如多視圖壓縮格式壓縮的立體 三維視頻數據的傳輸流，以及用于解碼和/或解壓所述視頻數據。例如，所接收的視頻流可 以包括左和右立體視圖視頻序列。所述視頻解碼器246可以用于解壓所接收的立體視頻數 據，并且可以緩沖所解壓的數據到所述系統(tǒng)存儲設備244中。接著所解壓的視頻數據可以 被處理以便能夠通過所述顯示設備256播放。所述視頻處理器248可以用于基于解壓的視 頻數據生成輸出視頻流，該輸出視頻流可以包括三維和/或二維視頻流。就這個方面而言， 使用三維視頻時，所述視頻處理器248可以解壓縮對應于多個視圖序列的參考幀和/或場(其可從系統(tǒng)存儲設備244獲取)，以生成相應的三維輸出視頻流，該三維輸出視頻流可以 在由所述顯示設備256顯示之前通過所述視頻處理系統(tǒng)204中的其他處理器和/或組件進 行進一步處理。
在本發(fā)明的各實施例中，所述視頻處理系統(tǒng)240可以用于在處理過程中或輸入視 頻流的基礎上提供下拉操作生成輸出視頻流以通過所述顯示設備256播放。就這個方面而 言，輸出視頻流可以通過所述視頻處理器248基于輸入視頻流首先被生成和/或格式化。接 著所述時間控制器250可以用于確定所述顯示設備256的操作參數。例如，所述時間控制 器250可以確定所述顯示設備256的顯示幀率、掃描模式和/或顯示分辨率?？梢酝ㄟ^例 如所述視頻處理器248來確定所接收的輸入視頻流的模式。就這個方面而言，所接收的輸 入視頻流的模式是指是否該輸入視頻流包括電影內容?；谒_定的操作參數和輸入視頻 流模式的確定，可以通過所述視頻縮放器252進一步格式化和/或處理輸出視頻流，以便輸 出視頻流可以適合于所述顯示設備256播放。就這個方面而言，所確定的輸入視頻流的模 式可以用于確定輸入視頻流的幀率。例如，在輸入視頻流的模式表明輸入視頻流對應于電 影時，可以確定輸入視頻流的幀率為例如24或25幀每秒。相應地，輸出視頻流的幀率可以 通過增加例如一個或多個復制幀來增加，以便輸出視頻流可以具有與所述顯示設備256的 顯示幀率類似的幀率。圖3A是與本發(fā)明一實施例相關的為傳統(tǒng)二維視頻流提供3 2下拉的典型方法 的示意圖。如圖3A所示，其中顯示了包括多個視頻幀的二維輸入視頻流302。為了通信可 以基于壓縮標準編碼所述二維輸入視頻流302。就這個方面而言，所述二維輸入視頻流302 可以包括MPEG流。圖3A中也顯示了輸出視頻流304，其可以包括為了通過特定設備例如所 述顯示設備256顯示而生成的多個視頻幀。在播放操作期間，可以基于所述二維輸入視頻 流302生成所述輸出視頻流304。所述二維輸入視頻流302可以對應于針對電影而生成的和/或獲取的視頻數據。 就這個方面而言，所述二維輸入視頻流302可以具有24幀每秒的幀率。所述二維輸入視頻 流302可以通過TV廣播傳送。作為另一種選擇，可以將所述二維輸入視頻流302編碼入多 媒體存儲設備，例如DVD或藍光光盤，以便使用適當的視聽播放設備例如所述視聽播放設 備124實現播放。一旦接收到所述二維輸入視頻流302，便可以對其進行處理用于播放。在操作過程中，當通過TV廣播接收到或通過所述視聽播放設備120從多媒體存儲 設備中讀取到所述二維輸入視頻流302時，可以通過所述視頻處理系統(tǒng)240基于所述二維 輸入視頻流302生成所述輸出視頻流304。此外，在播放操作期間，可以基于例如通過所述 事時間控制器250確定的所述顯示設備256的顯示操作參數對所述輸出視頻流304進一步 格式化和/或處理以便通過顯示設備256顯示。就這個方面而言，當顯示幀率為60赫茲并 且使用逐行掃描時，所述輸出視頻流304被格式化以便可以通過所述顯示設備256播放。相 應地，在視頻處理操作期間，在生成所述輸出視頻流304時，可以通過所述視頻縮放器252 對所述二維輸入視頻流302執(zhí)行3 2下拉。就這個方面而言，在所述二維輸入視頻流302 具有24幀每秒的幀率的情況下，所述顯示設備256使用逐行掃描，并且所述顯示設備256 的顯示幀率為60赫茲時，可以執(zhí)行3 2下拉處理，針對二維輸入視頻流302中的每兩幀， 通過復制所述輸入的兩幀生成3個附加幀來產生所述輸出視頻流304中相對應的5個幀。 例如，對于所述二維輸入視頻流302中的幀1和幀2 (Fl和F2)，幀Fl可以被復制一次并且?guī)現2被復制兩次，以在所述輸出視頻流304中產生5個相應的幀。圖3B是根據本發(fā)明一實施例的為三維視頻流提供3 2下拉的典型方法的示意 圖。如3B所示，其中顯示了包括多個三維視頻幀的三維輸入視頻流312，其對應于例如立體 左和右視圖序列。為了通信，可以基于壓縮標準編碼所述三維輸入視頻流312。就這個方面 而言，所述三維輸入視頻流312可以包括MPEG流。圖3B中也顯示了包括多個視頻幀的三 維輸出視頻流314，所述多個視頻幀為了通過特定的顯示設備例如所述顯示設備256顯示 而生成。所述三維輸出視頻流314可以基于所述三維輸入視頻流312生成。所述三維輸入視頻流312可以對應于針對三維電影所生成和/或獲取的視頻數 據。就這個方面而言，所述三維輸入視頻流312中的每一個左視圖和右視圖視頻序列都是 以24幀每秒的幀率生成的。相應地，所述三維輸入視頻流312在總體上可以具有48幀每 秒的幀率。所述三維輸入視頻流312可以通過TV廣播傳輸。作為另一種選擇，可以將所述 三維輸入視頻流312編碼入多媒體存儲設備例如DVD或藍光光盤中，以便使用適當的視聽 播放設備例如所述視聽播放設備124來實現播放。一旦接收到所述三維輸入視頻流312，便 為了播放而對其進行處理。在操作過程中，當通過TV廣播接收到或通過所述視聽播放設備120從多媒體存儲 設備中讀取到所述三維輸入視頻流312時，通過例如所述視頻處理系統(tǒng)240，基于所述三維 輸入視頻流312生成所述三維輸出視頻流314。在所述顯示設備256用于顯示三維圖像時， 所述三維輸出視頻流314可以包括左視圖和右視圖幀。此外，在播放操作期間，可以基于通 過所述時間控制器250確定的所述顯示設備256的顯示操作參數，進一步格式化和/或處 理所述三維輸出視頻流314以便由顯示設備256顯示。就這個方面而言，當所述顯示幀率為 60赫茲并且使用逐行掃描時，可以格式化所述三維輸出視頻流314以便通過所述顯示設備 256顯示。相應地，在視頻處理操作期間，在生成或處理所述三維輸出視頻流314時，可以通 過所述視頻縮放器252對所述三維輸入視頻流312執(zhí)行3 2下拉。就這個方面而言，因 為所述三維輸入視頻流312具有48幀每秒的總幀率，所述顯示設備256使用逐行掃描，并 且所述顯示設備256的顯示幀率為60赫茲，可以執(zhí)行3 2下拉處理，針對所述三維輸入 視頻流312中的每兩組左右?guī)?，通過復制四個所述輸入的兩幀中的一個幀生成一個附加幀 來產生總共5個幀，。例如，針對所述三維輸入視頻流312中的左幀1 (Li)、右?guī)? (Rl)、左 幀2(L2)和右?guī)?(R2)，可以復制所述四幀中的一幀以產生所述三維輸出視頻流314中相對 應的五個幀。在相關的圖3B闡明的本發(fā)明的實施例中，可以復制幀R2。該方法是有效的， 因為幀R2是在所述視頻處理系統(tǒng)240中的視頻處理操作期間最后緩沖的幀。然而，本發(fā)明 并不需要做如此限定并且可以規(guī)定其他的選擇標準。例如，因為在立體三維視頻中，左視圖 可以用作主/基本視圖，左視圖幀可以比對應的右?guī)ǜ嗟臄祿Ｏ鄳?，在上述的?型實施例中，在3 2下拉操作期間可以復制幀L2而不是幀R2。 圖3C是與本發(fā)明一實施例相關的為傳統(tǒng)二維視頻流提供2 2下拉的典型方法 的示意圖。如圖3C所示，其中顯示了包括多個視頻幀的二維輸入視頻流322。為了傳輸，可 以基于壓縮標準對所述二維輸入視頻流322進行編碼。就這個方面而言，所述二維輸入視 頻流322可以包括MPEG流。在圖3C中也顯示了輸出視頻流324，其可以包括為了通過特定 設備例如所述顯示設備256顯示而生成的多個視頻幀。可以基于所述二維輸入視頻流322 生成所述輸出視頻流324。
所述二維輸入 視頻流322可以對應于針對電影而生成的和/或獲取的視頻數據。 就這個方面而言，所述二維輸入視頻流322可以具有25幀每秒的幀率。所述二維輸入視頻 流322可以通過TV廣播傳輸。作為另一種選擇，可以將所述二維輸入視頻流322編碼入多 媒體存儲設備例如DVD或藍光光盤，以便使用適當的視聽播放設備例如所述視聽播放設備 124實現播放。一旦接收到所述二維輸入視頻流322，便可以對其進行處理用于播放。在實施中，當通過TV廣播接收到或通過所述視聽播放設備120從多媒體存儲設備 中讀取到所述二維輸入視頻流322時，可以通過所述視頻處理系統(tǒng)240，基于所述二維輸入 視頻流322生成所述輸出視頻流324。此外，在播放操作期間，可以基于例如通過所述事時 間控制器250確定的所述顯示設備256的顯示操作參數對所述輸出視頻流324進一步格式 化和/或處理以便通過顯示設備256顯示。就這個方面而言，當掃描模式為逐行掃描并且 所述顯示幀率為50赫茲時，所述輸出視頻流324被格式化以便可以通過所述顯示設備256 播放。相應地，在視頻處理操作期間，在生成或處理所述輸出視頻流324時，可以通過例如 所述視頻縮放器252對所述二維輸入視頻流322執(zhí)行2 2下拉處理。就這個方面而言， 當所述二維輸入視頻流322具有25幀每秒的幀率，所述顯示設備26的顯示掃描模式為逐 行掃描，并且所述顯示設備26的掃描幀率為50赫茲時，可以執(zhí)行2 2下拉處理，針對二 維輸入視頻流322中的每兩幀，通過復制所述輸入的兩幀生成2個附加幀來產生所述輸出 視頻流324中相對應的4個幀。例如，可以復制所述二維輸入視頻流322中的每一個幀1 和幀2 (Fl和F2)，以在所述輸出視頻流324中生成4個相應的幀。圖3D是根據本發(fā)明一實施例的為三維視頻流提供2 2下拉的典型方法的示意 圖。如圖3D所示，其中顯示了三維視頻流332，所述三維視頻流包括多個與例如立體左右視 圖序列相關的三維視頻幀。為了傳輸，可以基于壓縮標準編碼所述三維視頻流332。在這 點上，所述三維視頻流332可以包括MPEG流。圖3D還顯示了三維視頻輸出流334，它包括 為了通過特定的顯示設備例如所述顯示設備256顯示而生成的多個視頻幀。在播放操作期 間，基于所述視頻流332可以生成所述三維視頻輸出流334。所述視頻流332可以對應于為三維電影所生成的和/或獲取的視頻數據。在這點 上，所述三維輸入視頻流332中的每一個左視圖和右視圖視頻序列都是以25幀每秒的幀率 生成的。相應地，所述視頻流332總體上具有50幀每秒的幀率。所述視頻流332通過TV廣 播進行傳輸。或者，可以將所述視頻流332編碼入多媒體存儲設備，例如DVD或藍光光盤， 以使用合適的視聽播放設備例如所述視聽播放設備124進行播放。一旦接收到所述視頻流 332，便可以對其進行處理以播放。在操作中，當通過TV廣播接收到或通過所述視聽播放設備120從多媒體存儲設備 中讀取到所述視頻流332時，可以通過例如所述視頻處理系統(tǒng)240，基于所述視頻流332產 生所述三維輸出視頻流334。在所述顯示設備256用于顯示三維圖像的情況下，所述三維輸 出視頻流334可以包括左視圖和右視圖幀。此外，在播放操作期間，可以基于通過所述時間 控制器250確定的所述顯示設備256的顯示操作參數，進一步格式化和/或處理所述三維 輸出視頻流334以便由顯示設備256顯示。就這個方面而言，當所述顯示幀率為50赫茲并 且使用逐行掃描時，可以格式化所述三維輸出視頻流334以便通過所述顯示設備256顯示。 相應地，在視頻處理操作期間，當生成和/或處理所述三維輸出視頻流334時，通過例如所 述視頻縮放器252對所述視頻流332執(zhí)行2 2下拉處理。在這點上，因為所述視頻流332具有總共50幀每秒的幀率，所述顯示設備256使用逐行掃描并且其顯示幀率為50赫茲，所 以在實現2 2下拉時不需要復制幀。相應地，所述三維輸出視頻流334可以簡單地包括 有與所述三維輸入視頻流332中同樣的幀。 圖4是根據本發(fā)明一實施例的為三維視頻執(zhí)行下拉處理的典型步驟的流程圖。如 圖4所示，其中顯示了包括多個典型步驟的流程圖300，執(zhí)行該流程可以實現三維視頻的 3 2下拉。在步驟402中，可以接收和處理三維輸入視頻流。例如，所述視頻處理系統(tǒng)240可 以用于接收和處理包括有與立體三維視頻相對應的壓縮視頻數據的輸入視頻流。在這點 上，壓縮視頻數據可以對應于多個視圖視頻序列，其可被用于通過適當的播放設備呈現出 三維圖像。處理所接收的輸入流可以包括生成相應的輸出視頻流，所述輸出視頻流可以通 過相應的視頻流用于播放輸入視頻流。在步驟404中，可以確定所接收的三維輸入視頻流 的模式。在這點上，所接收的三維輸入視頻流的模式可以指所述三維輸入視頻流是否包括 電影內容。例如所述視頻處理器248和/或所述視頻縮放器252可以用于確定所接收的輸 入視頻流的模式。輸入視頻流的所確定的模式可以用于確定獲得/生成幀率。在這點上，在 所述三維輸入視頻流對應電影的情況下，每個視圖序列例如左視圖和右視圖序列的幀率， 可以為24或25幀每秒。在步驟406中，確定出顯示設備在播放接收的輸入視頻流時所使 用的顯示操作參數。例如，所述時間控制器250可以用于確定所述顯示設備256的掃描模 式和/或顯示幀率。在步驟408中，基于所確定的輸入視頻流的模式和/或顯示設備的操 作參數進一步處理輸出視頻流以產生合適的下拉。在這點上，當顯示幀率高于輸出視頻流 的幀率時，可以復制一個或多個幀以增加輸出視頻流的幀率，在相關的的附圖3B和3D中有 詳細的描述。本發(fā)明的各實施例可以包括一種用于實現三維視頻的下拉處理的方法和系統(tǒng)。所 述視頻處理系統(tǒng)240可以用于接收和處理包括三維視頻的輸入視頻流。通過例如所述視頻 處理器248，所述視頻處理系統(tǒng)240可以確定與接收的輸入三維視頻流相關的本質特征，并 且可以生成與輸入三維視頻流對應的輸出視頻流以通過所述顯示設備256播放。通過所述 視頻處理系統(tǒng)240，基于輸入三維視頻流的所確定的本質特征和與可以用于顯示所生成的 輸出視頻流的顯示設備256相對應的顯示參數，可以執(zhí)行和/或修改所接收的輸入三維視 頻流的下拉處理。與所述輸入三維視頻流相關的本質特征可以包括電影模式，其表明接收 的輸入三維視頻流包括有為電影所生成的和/或獲取的視頻內容。通過所述視頻處理器 248，基于例如與所述輸入三維視頻流相關的本質特征，可以確定所述輸入三維視頻流的獲 取和/或生成幀率。通過例如時間控制器250可以動態(tài)地確定所述顯示參數。顯示產生可 以包括顯示幀率和/或掃描模式，其中掃描模式可以包括逐行或隔行掃描。所述三維視頻 流可以包括對應于左和右參考幀或場序列的立體三維視頻內容。在與所述輸入三維視頻流相關的本質特征包括具有25幀每秒幀率的電影模式并 且顯示參數包括50赫茲逐行掃描的情況下，所述視頻縮放器252轉發(fā)接收的幀的左右視 圖序列而不用改變來實現3 2下拉。在與所述輸入三維視頻流相關的本質特征包括具 有24幀每秒幀率的電影模式并且顯示參數包括60赫茲逐行掃描的情況下，所述視頻縮放 器可以通過復制所述輸入三維視頻流中每組四幀中的左視圖幀或右視圖幀來實現32下 拉，其中所述輸入三維視頻流中的每組四幀包括兩個連續(xù)左視圖幀和相應地兩個連續(xù)右視圖幀。通過例如所述視頻縮放器252，可以基于在輸出視頻流處理期間最后緩沖的幀來選擇 所復制的幀。或者，通過所述視頻縮放器252，在選擇復制的幀時可以利用其他標準，例如根 據要求的質量和/或清晰度參數。
本發(fā)明的另一個實施例提供一種機器和/或計算機可讀存儲和/或媒介，在上面 所存儲的機器代碼和/或計算機程序中，至少含有一個代碼段對機器和/或計算機是可執(zhí) 行的，能夠令機器和/或計算機執(zhí)行以上所描述的步驟來實現三維視頻的下拉處理。相應地，本發(fā)明可以在硬件、軟件或軟硬件中實現。本發(fā)明可以以集中式在至少一 個計算機系統(tǒng)中實現，或者以分布式在分散在一些互聯(lián)的計算機系統(tǒng)的不同網元上。任何 計算機系統(tǒng)或其他適合實現所述方法的儀器都是合適的。典型的軟件和硬件的結合體可以 是一個有計算機程序的通用計算機系統(tǒng)，所述計算機程序被裝載和開始執(zhí)行之后，可以控 制計算機系統(tǒng)用以實現所述的方法。本發(fā)明也可以被嵌入計算機程序里面，所述計算機程序包括了實現所述方法的所 有的特性，并且當在計算機系統(tǒng)中被加載之后可以實現這些方法。本文中所述的計算機程 序意味著任何表達式、任何語言、代碼或符號，這些指令集能夠使系統(tǒng)具有信息處理能力， 能過直接或者通過后面的一種或兩種方式來實現特定的功能a)轉換成另外一種語言、代 碼或符號；b)復制為不同的物質形態(tài)。雖然本發(fā)明是通過具體實施例進行說明的，本領域技術人員應當明白，在不脫離 本發(fā)明范圍的情況下，還可以對本發(fā)明進行各種變換及等同替代。另外，針對特定情形或材 料，可以對本發(fā)明做各種修改，而不脫離本發(fā)明的范圍。因此，本發(fā)明不局限于所公開的具 體實施例，而應當包括落入本發(fā)明權利要求范圍內的全部實施方式。相關申請的交叉引用本申請引用并主張申請日為2009年12月17日的美國臨時專利申請 No. 61/287,682 的優(yōu)先權本申請還引用申請日為2009年12月17日的美國臨時專利申請No. 61/287，624(代理案號 20677US01)；申請日為2009年12月17日的美國臨時專利申請No. 61/287，634(代理案號 20678US01)；申請日為2009年9月4日的美國專利申請No. 12/554，416 (代理案號 20679US01)；申請日為2009年8月24日的美國專利申請No. 12/546，644 (代理案號 20680US01)；申請日為2009年11月6日的美國專利申請No. 12/619，461 (代理案號 20681US01)；申請日為2009年10月13日的美國專利申請No. 12/578，048 (代理案號 20682US01)；申請日為2009年12月17日的美國臨時專利申請No. 61/287，653 (代理案號 20683US01)；申請日為2009年10月23日的美國專利申請No. 12/604，980 (代理案號20684US02)；申請日為2009年8月21日的美國專利申請No. 12/545，679 (代理案號 20686US01)；申請日為2009年9月16日的美國專利申請No. 12/560，554(代理案號 20687US01)；申請日為2009年9月16日的美國專利申請No. 12/560，587 (代理案號 20688US01)；申請日為2009年9月16日的美國專利申請No. 12/560，592 (代理案號 20689US01)；申請日為2009年10月23日的美國專利申請No. 12/604，936 (代理案號 20690US01)；申請日為2009年12月17日的美國臨時專利申請No. 61/287，668 (代理案號 20691US01)；申請日為2009年10月5日的美國專利申請No. 12/573，746 (代理案號 20692US01)；申請日為2009年10月5日的美國專利申請No. 12/573，771 (代理案號 20693US01)；申請日為2009年12月17日的美國臨時專利申請No. 61/287，673 (代理案號 20694US01)；申請日為2009年10月23日的美國專利申請No. 12/605，039 (代理案號 20696US01)；申請日為2009年12月17日的美國臨時專利申請No. 61/287，689 (代理案號 20697US01)； 申請日為2009年12月17日的美國臨時專利申請No. 61/287，692 (代理案號 20698US01)。以上參考申請以引用的方式整體并入本文中。
權利要求
1.一種視頻處理方法，其特征在于，所述方法包括通過視頻處理系統(tǒng)中的一個或多個處理器和/或電路執(zhí)行如下步驟確定一個或多個與輸入三維視頻流相關的本質特征；以及生成一個或多個與所述輸入三維視頻流相對應的輸出視頻流，其中基于所確定的一個 或多個本質特征和與一個或多個顯示設備相對應的顯示參數修改所述三維視頻流的下拉， 所述顯示設備用于顯示所述生成的一個或多個輸出視頻流。
2.根據權利要求1所述的方法，其特征在于，所述與輸入三維視頻流相關的一個或多 個本質特征包括電影模式。
3.根據權利要求1所述的方法，其特征在于，所述方法進一步包括基于所確定的與所 述輸入三維視頻流相關的一個或多個本質特征，確定所述輸入三維視頻流的幀率。
4.根據權利要求1所述的方法，其特征在于，所述方法進一步包括動態(tài)地確定所述顯 示參數。
5.根據權利要求1所述的方法，其特征在于，所述顯示參數包括顯示幀率和/或掃描模式。
6.根據權利要求5所述的方法，其特征在于，所述掃描模式包括逐行掃描或隔行掃描。
7.根據權利要求1所述的方法，其特征在于，所述輸入三維視頻流包括左和右參考幀 或場的序列。
8.根據權利要求7所述的方法，其特征在于，所述方法進一步包括當與所述輸入三維 視頻流相關的所述一個或多個本質特征包括具有每秒25幀幀率的電影模式并且所述顯示 參數包括50赫茲逐行掃描時，將左視圖幀和相應的右視圖幀不進行任何幀復制地轉送到 所述一個或多個顯示設備。
9.根據權利要求7所述的方法，其特征在于，所述方法進一步包括當與所述輸入三維 視頻流相關的所述一個或多個本質特征包括具有每秒M幀幀率的電影模式并且所述顯示 參數包括60赫茲逐行掃描時，為所述輸入三維視頻流中的每組四幀復制左視圖幀或右視 圖幀，其中所述每組四幀包括兩個連續(xù)左視圖幀和相應的兩個連續(xù)右視圖幀。
10.一種視頻處理系統(tǒng)，其特征在于，所述系統(tǒng)包括一個或多個電路和/或處理器，其用于確定與輸入三維視頻流相關的一個或多個本質 特征的；以及所述一個或多個電路和/或處理器用于生成一個或多個與所述輸入三維視頻流相對 應的輸出視頻流，其中基于所確定的一個或多個本質特征和與一個或多個顯示設備相對應 的顯示參數修改所述三維視頻流的下拉，所述顯示設備用于顯示所述生成的一個或多個輸 出視頻流。
全文摘要
本發(fā)明涉及一種視頻處理方法和系統(tǒng)。視頻處理設備在生成與所接收的輸入三維視頻流對應的輸出視頻流時執(zhí)行下拉。所述下拉基于所接收的輸入三維視頻流的所確定的本質特征和與用于顯示所生成的輸出視頻流的顯示設備相對應的顯示參數來執(zhí)行。所接收的輸入三維視頻流的所述本質特征可以包括電影模式，該模式可以用于確定捕捉幀率。所述顯示參數可以包括掃描模式和/或顯示幀率。當所述輸入三維視頻流包括具有每秒24幀捕捉幀率的電影模式和所述顯示設備使用60赫茲逐行掃描時，可以復制所述輸入三維視頻流中的每一組幀中的左視圖或右視圖幀，該每一組幀包括兩個連續(xù)左視圖幀和相應的兩個連續(xù)右視圖幀。
文檔編號H04N13/04GK102104790SQ20101059371
公開日2011年6月22日 申請日期2010年12月17日 優(yōu)先權日2009年12月17日
發(fā)明者伊利亞·克萊巴諾夫, 薩米爾·赫爾亞爾卡, 陳雪敏, 馬庫斯·凱勒曼 申請人:美國博通公司