專利名稱：定制立體內(nèi)容的3維效果的方法和裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種三維(3D)圖像展現(xiàn)系統(tǒng)，并且更具體地涉及為觀看偏好定制3D場景中的感知深度。
背景技術(shù)：
三維(3D)電影一直以來增加的數(shù)量在發(fā)行。隨著3D內(nèi)容的普及度在影院中擴(kuò)展，存在日益增加的努力，具體地通過3D電視的出現(xiàn)而試圖向家庭環(huán)境擴(kuò)展類似的3D體驗(yàn)。近來，3D的電視節(jié)目變得更廣泛地可用。已經(jīng)廣播體育賽事和音樂會用于家庭消費(fèi)。3D組件的銷售是進(jìn)一步增加針對家庭影院環(huán)境的3D展現(xiàn)的關(guān)鍵。隨著3D組件銷售的增加以及對于3D需求的增長，期望在不久的今后在大多數(shù)普及的電視頻道和記錄介質(zhì)中更加廣泛地提供3D節(jié)目。但是在正在增長的3D電視市場中存在一些挑戰(zhàn)。與在電影院中發(fā)現(xiàn)的屏幕大小和觀看距離相比，家庭影院環(huán)境中的3D電視提供小得多的屏幕大小和小得多的觀看距離。這轉(zhuǎn)換成對被遞送給3D電視的3D內(nèi)容的更大的限制。例如，與大多電影院中所允許的深度范圍相比，家庭影院中的3D電視將深度范圍限制地更小。在電影院中，可以大比例地產(chǎn)生3D效果，使得場景中的某些元素表現(xiàn)出從屏幕中突出到每個(gè)觀眾的座位，而同時(shí)同一場景中的其它元素表現(xiàn)出遠(yuǎn)在屏幕后面的距離處。多數(shù)人可能喜歡觀看在屏幕后面出現(xiàn)的3D場景以得到放松的觀看體驗(yàn)。對于一些觀眾，這些逼真的并勝于逼真的效果可能非常令人享受；對于其它觀眾，這些相同的效果可能至多是不舒服的。換言之，不同的人在觀看3D內(nèi)容時(shí)具有不同的深度舒適范圍。當(dāng)前，還沒有已知的用于為用戶偏好，尤其是深度，適配或優(yōu)化3D展現(xiàn)的技術(shù)。因此，可以預(yù)期一種為了觀看偏好來調(diào)整并定制3D內(nèi)容的深度的自動(dòng)化方法來改善3D內(nèi)容的觀看體驗(yàn)。

發(fā)明內(nèi)容
根據(jù)本發(fā)明的原理，通過響應(yīng)于觀看者控制信號，將接收的立體圖像對中的第一和第二視圖的水平視差從第一值調(diào)整到與觀看者控制信號中包括的參數(shù)或信息有關(guān)的第二值，來將圖像內(nèi)容的立體3D表示適配于觀看者偏好。以這樣的方式，觀看者能夠根據(jù)觀看者其自身的視覺舒適度和/或觀看偏好來調(diào)整深度范圍。這個(gè)技術(shù)使得可定制立體3D內(nèi)容中的深度感。通過水平地移位立體內(nèi)容的左右圖像來達(dá)到深度感知的改變。通過移位立體圖像對的左右圖像，可以改變與場景相關(guān)聯(lián)的視差，致使場景的內(nèi)容被感知為顯示得離觀看者更近或更遠(yuǎn)。為了保持場景中元素或?qū)ο蟮谋壤?scale)的適當(dāng)關(guān)系，還基于深度改變方向進(jìn)行每個(gè)圖像對內(nèi)容的放大或縮小，即，對象的大小調(diào)整。因此，本發(fā)明的一個(gè)方面提供了一種呈現(xiàn)具有多個(gè)立體圖像對的立體內(nèi)容的方法。該方法包括接收具有第一視圖和第二視圖的至少一個(gè)第一立體圖像對，第一和第二視圖包括由第一水平視差分開的至少一對對應(yīng)像素，以及響應(yīng)于控制信號，通過縮放因數(shù)來調(diào)整第一和第二視圖的大小以及將第一水平視差調(diào)整到第二水平視差以產(chǎn)生調(diào)整后的第一和第二視圖。本發(fā)明的另一方面提供了一種用于呈現(xiàn)立體內(nèi)容的系統(tǒng)，并且包括至少一個(gè)被配置用于接收具有第一視圖和第二視圖的至少一個(gè)第一立體圖像對的處理器，第一和第二視圖包括由第一水平視差分開的至少一對對應(yīng)像素。所述至少一個(gè)處理器被進(jìn)一步配置用于響應(yīng)于控制信號，利用縮放因數(shù)來調(diào)整第一和第二視圖的大小以及將第一水平視差調(diào)整到第二水平視差以產(chǎn)生調(diào)整后的第一和第二視圖。在以下附圖和說明書中提出了一個(gè)或更多實(shí)現(xiàn)方式的細(xì)節(jié)。即便以一個(gè)特定方式描述，也應(yīng)該明白的是實(shí)現(xiàn)方式可以以各種方式被配置或體現(xiàn)。例如，實(shí)現(xiàn)方式可以被執(zhí)行為一種方法，或被體現(xiàn)為被配置用于執(zhí)行一組操作的裝置，或被體現(xiàn)為一種存儲用于執(zhí)行一組操作的指令的裝置。從連同附圖和權(quán)利要求書一起考慮的以下具體描述中其它方面和特征將變得明顯。


通過連同附圖參照本發(fā)明的實(shí)施例的以下描述，本發(fā)明的上述和其它特征和優(yōu)點(diǎn)，以及獲得它們的方 式將變得更明顯并且將更好地了解本發(fā)明，附圖中圖1是根據(jù)本發(fā)明的原理實(shí)現(xiàn)的調(diào)整用戶3D觀看體驗(yàn)的系統(tǒng)的簡化框圖；圖2是根據(jù)本發(fā)明的原理實(shí)現(xiàn)的圖1中的3D效果調(diào)諧器的更具體的框圖；圖3A-3C以更具體的方式描繪了根據(jù)本發(fā)明的原理實(shí)現(xiàn)的圖2中所示的每個(gè)視圖調(diào)諧器的框圖；圖4A-4F示出了對于每個(gè)3D視圖不同條件下輸入視頻幀和輸出視頻窗口的比較；圖5描繪了以3D觀看的對象的深度相對視差的改變；圖6示出了根據(jù)本發(fā)明的原理實(shí)現(xiàn)的調(diào)整用戶3D觀看體驗(yàn)的圖1的系統(tǒng)的替代實(shí)施例；圖7描繪了根據(jù)本發(fā)明的原理實(shí)現(xiàn)的圖6中的3D效果推薦元件的更具體的框圖；圖8A和SB示出了對于用戶的舒適和不舒適等級相對視差的圖形；以及圖9示出了從3D內(nèi)容圖像中提取的視差的示例性直方圖。在此陳述的示例性實(shí)施例應(yīng)被理解為說明本發(fā)明優(yōu)選實(shí)施例，并且這樣的示例性實(shí)施例不應(yīng)該被解釋為以任何方式限制本發(fā)明的范圍。
具體實(shí)施例方式本發(fā)明的實(shí)施例提供了一種用于可調(diào)整3D內(nèi)容的方法和系統(tǒng)，其中觀看者可以根據(jù)觀看者其自身的視覺舒適等級和/或觀看偏好來調(diào)整深度范圍。深度改變通過將立體內(nèi)容圖像對的左右圖像進(jìn)行移位而實(shí)現(xiàn)以使得移位后的圖像對表現(xiàn)足以實(shí)現(xiàn)期望的深度感的新的水平視差。通過將圖像對的左右圖像進(jìn)行移位，場景中的內(nèi)容對象可以表現(xiàn)得比在未移位的圖像對中的那些相同的對象離觀看者更近或更遠(yuǎn)。這種技術(shù)使得可以定制立體3D內(nèi)容中的深度感。對深度的感覺或感知與兩個(gè)圖像視圖(即，左右圖像視圖)之間的水平視差直接相關(guān)，這是因?yàn)橛^看過程的雙目性質(zhì)。雙目(binocular)在此意圖廣泛地涵蓋從兩個(gè)不同位置的觀看，而與觀看由眼睛還是相機(jī)進(jìn)行無關(guān)。3D視頻中對象的水平視差或簡單的視差指代立體圖像對的左右眼圖像之間的通常以像素?cái)?shù)量測量的水平間隔。當(dāng)右圖像視圖與左圖像視圖重合時(shí)出現(xiàn)零視差。這些圖像視圖中的對象則將出現(xiàn)在顯示屏幕上。正視差指示對應(yīng)圖像的右眼像素出現(xiàn)在左眼像素的右邊。表現(xiàn)正視差的對象一般出現(xiàn)在觀看屏幕后面。負(fù)視差指示對應(yīng)圖像的右眼像素出現(xiàn)在左眼像素的左邊。表現(xiàn)負(fù)視差的對象一般出現(xiàn)在觀看屏幕前面。這個(gè)概念在圖5中至少部分地被圖示。在該圖中，視差與對象O相關(guān)聯(lián)。參照左右視圖為圖像中的每個(gè)像素定義視差。不同的像素，即使對于圖像中同一對象，可能具有不同的視差值。如圖中d所示，將視差測量為在對象O的圖像中的左眼像素和右眼像素之間的距離。視差通常表示為像素?cái)?shù)量。由于右眼圖像中的像素在左眼圖像中對應(yīng)像素的右邊，圖示的視差是正數(shù)。當(dāng)通過將左眼圖像從P點(diǎn)向左移位到P’點(diǎn)并且將右圖像從Q點(diǎn)向右移位到Q’點(diǎn)增加視差時(shí)，對于O的新視差被測量為P’點(diǎn)和Q’點(diǎn)之間的像素?cái)?shù)量。由于右眼圖像中的像素仍然在左眼圖像中的像素的右邊，新圖示的視差還是正數(shù)。在本示例中，對象O被推向遠(yuǎn)離觀看者，如其新位置O’所示。

在本申請時(shí)，有時(shí)可以參照左右圖像相對于彼此或相對于參照點(diǎn)的位移來描述視差。本領(lǐng)域技術(shù)人員應(yīng)該了解這些描述用作移位過程的準(zhǔn)確的簡化描述，這是因?yàn)閳D像包括視差測量所基于的左右圖像像素。因此，圖像的移位旨在與圖像像素的移位是同義的并且在意思上是同延的(coextensive)。在本文中，視差量(parallax)和視差(disparity)經(jīng)常交替使用。在本發(fā)明的上下文中，3D視頻中的對象的視差指代左右眼圖像之間以像素?cái)?shù)量的形式的水平間隔，而視差量指代當(dāng)顯示時(shí)左右眼圖像之間的實(shí)際距離。因此，對象的視差量值取決于對象的視差和顯示大小二者。對于固定的顯示大小，視差量等效于視差，并且彼此通過恒定因數(shù)相聯(lián)系O圖1是根據(jù)本發(fā)明的原理實(shí)現(xiàn)的調(diào)整用戶3D觀看體驗(yàn)的系統(tǒng)的簡化框圖。圖1中的系統(tǒng)包括3D效果調(diào)諧器10、用戶設(shè)備20、和顯示器30。3D效果調(diào)諧器10響應(yīng)于來自用戶設(shè)備20的觀看者控制信號或指令來處理輸入的立體視頻幀。3D效果調(diào)諧器10根據(jù)控制信號的指令調(diào)整立體視頻幀的觀看體驗(yàn)。3D效果調(diào)諧器10然后將調(diào)整后的立體視頻幀提供給顯示器以便展現(xiàn)給觀看者。在觀看顯示的內(nèi)容時(shí)，觀看者可以發(fā)送一個(gè)或更多控制或調(diào)整信號(或指令)到3D效果調(diào)諧器以便基于他/她的觀看偏好進(jìn)一步調(diào)整內(nèi)容。具體地，可以基于控制信號調(diào)整3D內(nèi)容，以便通過水平移位顯示的立體圖像的至少一個(gè)(即，左和/或右圖像或視圖)來符合觀看者的深度感知偏好。此外，可以進(jìn)行深度調(diào)整的圖像的縮放以便調(diào)整場景中對象的大小以便解決深度改變調(diào)整。如以上簡單提及的，輸入的立體視頻包括左視圖視頻和右視圖視頻。在左視圖視頻中的每個(gè)幀都具有右視圖視頻中的一個(gè)對應(yīng)幀，因此形成一對幀。在此處描述的系統(tǒng)的過程期間，將每對幀輸入到3D效果調(diào)諧器10以便調(diào)整。圖2是根據(jù)本發(fā)明的原理實(shí)現(xiàn)的圖1中的3D效果調(diào)諧器10的更具體框圖。3D效果調(diào)諧器10包括左視圖調(diào)諧器11、右視圖調(diào)諧器12、移位計(jì)算器13、以及格式轉(zhuǎn)換器14。調(diào)諧器11和12每個(gè)都與移位計(jì)算器13耦接以便接收移位參數(shù)。每個(gè)調(diào)諧器的輸出都與格式轉(zhuǎn)換器14耦接。3D效果調(diào)諧器10接收的每個(gè)立體3D圖像對都被分成兩個(gè)分量，左視像和右視像。在從用戶設(shè)備20接收到控制信號時(shí)，移位計(jì)算器13計(jì)算至少一個(gè)移位參數(shù)α v，其中腳標(biāo)V是L或R，即，移位參數(shù)包括左視圖的移位參數(shù)c^，以及右視圖的移位參數(shù)ακ。移位計(jì)算器13至少部分地基于從用戶設(shè)備接收的控制信號，計(jì)算移位參數(shù)αν?？梢陨捎糜谥甘居^看者請求深度改變的來自用戶設(shè)備20的控制信號。在一個(gè)實(shí)施例中(連同圖6以下更具體地討論)，控制信號包括與觀看者所期望的深度改變有關(guān)的控制參數(shù)?？刂菩盘柨梢赃€包括識別觀看者或用戶設(shè)備的輔助信息。在其它情況下，控制信號可以識別其它單獨(dú)觀看者或觀看者的組。在其它實(shí)施例中這個(gè)輔助識別信息然后可以被3D效果調(diào)諧器用來為信號中識別的個(gè)體或個(gè)體的組取得存儲的簡檔或觀看偏好信息。設(shè)想這樣的觀看偏好和用戶簡檔信息將包括與觀看者希望觀看立體3D圖像的優(yōu)選深度范圍有關(guān)的信息。設(shè)想觀看者可能已經(jīng)與系統(tǒng)的一部分互動(dòng)以便產(chǎn)生至少部分地反映諸如與深度范圍有關(guān)的信息的觀看信息的簡檔或觀看偏好列表。在這種情況下，特定觀看者的控制信號可以簡單地識別觀看者或觀看組，其轉(zhuǎn)而將使得系統(tǒng)從存儲器(未示出)取得指示優(yōu)選深度范圍的一項(xiàng)或多項(xiàng)觀看者信息。該深度范圍然后將被提供給移位計(jì)算器以便生成左右視圖的移位參數(shù)α ν來實(shí)施所需的對應(yīng)深度改變。取代響應(yīng)于觀看者控制信號來計(jì)算移位參數(shù)α ν，移位參數(shù)α ν還可以從定義的查找表列表中選擇以便生成左右視圖的每個(gè)對應(yīng)的移位參數(shù)(aj和(α R)，然后將其發(fā)送到對應(yīng)的左視圖調(diào)諧器或右視圖調(diào)諧器。生成移位參數(shù)的定義的列表以便覆蓋被認(rèn)為對于大多數(shù)觀看者和大多數(shù)觀看環(huán)境合理或適合的特定深度改變或圖像移位范圍。每個(gè)移位參數(shù)4或a R是正或負(fù)數(shù)。a v的大小表示圖像移位的量，而a v的符號表示有關(guān)視頻圖像的移位的方向?？梢蕴峁┰诒徽J(rèn)為對于大多數(shù)觀看者合理或適合的范圍內(nèi)的移位參數(shù)的預(yù)定義列表。移位參數(shù)范圍，無論是計(jì)算的還是預(yù)定列表中的，都取決于至少若干不同因素。這些因素包括顯示屏幕的大小、觀看者和屏幕之間的觀看距離、以及觀看者的偏好或其它這樣的特征。在一個(gè)根據(jù)實(shí)驗(yàn)實(shí)踐的示例中，范圍從-300到+300個(gè)像素的圖像移位被視為一般足以滿足在典型觀看條件下的大多觀看者的觀看偏好。隨著觀看者和他們的觀看環(huán)境改變，其它范圍可能更加適合。左視圖調(diào)諧器11和右視圖調(diào)諧器12基于由移位計(jì)算器13提供的各自移位參數(shù)a v，來處理對應(yīng)的左右視圖視頻圖像。每個(gè)調(diào)諧器然后提供調(diào)整后的左右視圖到格式轉(zhuǎn)換器14，以便生成以適合的立體視頻格式的用于顯示 器30的可顯示視頻輸入。
在本發(fā)明的技術(shù)領(lǐng)域和有關(guān)技術(shù)標(biāo)準(zhǔn)組織中立體3D內(nèi)容顯示的視頻幀格式的示例是熟知的。這些格式包括，但不限于全幀格式、棋盤格式、交織格式、并排格式、以及上下格式。在全幀格式中，在分開的幀中以全分辨率交替對左右眼圖像格式化。在棋盤格式中，一個(gè)幀中的每個(gè)2乘2像素窗口包含來自一只眼視圖的形成窗口對角線的2個(gè)像素以及來自另一只眼視圖的形成相同窗口非對角線的2個(gè)像素。交織格式是基于行的格式，其中左右眼圖像同時(shí)顯示，但是在不同的交替的像素行中顯示。在并排格式中，左右眼圖像并排布置，而對于上下顯示，左右眼圖像一個(gè)在另一個(gè)之上布置。除了全幀格式以外，所有的幀格式以上述的配置將兩個(gè)圖像視圖壓縮到單個(gè)幀。顯示器30將這些格式轉(zhuǎn)換成本來(native)顯示格式以便在顯示屏幕上展現(xiàn)給觀看者。應(yīng)該了解的是格式可能還包括嵌入信息、元數(shù)據(jù)、以及甚至傳遞其它信息(諸如，顯示分辨率、寬高比等)的輔助文件。圖3A、3B和3C更具體地描繪了圖2中所示的每個(gè)視圖調(diào)諧器11和12的框圖表示。如圖3A所描繪的，左右視圖調(diào)諧器包括移位模塊110、縮放模塊112、縮放參數(shù)計(jì)算器111、以及視頻輸出元件113。移位模塊110包括用于對輸入的左或右視頻幀(圖像)進(jìn)行移位的處理器。在水平方向進(jìn)行圖像移位量αν，其中腳標(biāo)ν可以表示移位參數(shù)的左視圖/圖像(L)或右視圖/圖像(R)。移位參數(shù)一般以像素的數(shù)量指示移位量，而^^中的移位符號指示圖像的移位方向。在一個(gè)實(shí)施例中，左右視圖在相反的方向上移位了相等的量，即，a R=- a L,以便達(dá)到作為結(jié)果的3D圖像的期望感知深度。還有可能左右視圖移位不同的量，或僅移位一個(gè)視圖(即，移位參數(shù)中的一個(gè)是零)?？s放模塊112還包括用于縮放移位的視頻以產(chǎn)生立體內(nèi)容的更自然外表(例如，已經(jīng)被移位得更遠(yuǎn)的內(nèi)容可以被縮放到更小的大小)的處理器。在該縮放操作中使用的縮放參數(shù)Y是通過縮放參數(shù)計(jì)算器111響應(yīng)于移位參數(shù)αν而生成的。因此,縮放參數(shù)在一定程度上最終是基于來自 用戶設(shè)備的控制信號。雖然圖3A中所示的示例性實(shí)施例描繪了縮放在圖像移位之后進(jìn)行，然而從這些變換操作的線性性質(zhì)應(yīng)該了解的是，還可以在圖像移位之前進(jìn)行圖像縮放。這個(gè)可替換示例性實(shí)施例在圖3B中圖示。由于縮放參數(shù)至少部分地取決于移位參數(shù)，因此應(yīng)該了解圖3B中的實(shí)施例示出縮放參數(shù)計(jì)算器111在縮放模塊112之前。此外，將左右視圖視頻圖像提供到縮放模塊112而不是移位模塊110。應(yīng)該了解在這些附圖中所描繪的3D效果調(diào)諧器和各個(gè)模塊和處理單元包括諸如一個(gè)或更多處理器和存儲設(shè)備之類的組件，其被配置為當(dāng)根據(jù)本發(fā)明的原理實(shí)現(xiàn)時(shí)，進(jìn)行與3D效果調(diào)諧器相關(guān)聯(lián)的任何或所有功能。圖3C還描繪了 3D效果調(diào)諧器的另一示例性實(shí)施例。在這個(gè)實(shí)施例中，預(yù)處理單元114在圖3A的元件的布置之前。應(yīng)該了解預(yù)處理單元114可以被添加到圖3B所示的布置中。預(yù)處理單元114接收左右視圖視頻(圖2所示)并且將各自視頻縮放足夠增加像素?cái)?shù)或圖像分辨率的量。換言之，預(yù)處理單元產(chǎn)生更大的左或右視圖視頻幀以便容納在該特定視圖視頻上進(jìn)行的移位操作。這個(gè)縮放操作與縮放模塊112進(jìn)行的縮放不同。如以下進(jìn)一步討論的，縮放模塊112調(diào)整左右視圖的大小(增大或減小)以便提供與任何給定場景的深度改變一致的更加自然的外表。預(yù)處理器114增加左右視圖的大小或分辨率，以便避免或最小化輸出視頻中的零填補(bǔ)(zero padding)的需要(例如，在左或右視圖移位之后變得缺少內(nèi)容的輸出幀的區(qū)域中可能需要零填補(bǔ))。在通過縮放模塊112對已經(jīng)調(diào)整了深度或者視差的任何(一個(gè)或更多)場景進(jìn)行縮放并且縮放因數(shù)與視差或深度調(diào)整有關(guān)的同時(shí)，通過處理單元114優(yōu)選地僅執(zhí)行一次尺寸增加(例如，在諸如移位內(nèi)容的第一場景的左右視圖之類的其它處理之前)，與視差或深度調(diào)整無關(guān)。但是，如果需要的話，預(yù)處理單元還可以進(jìn)行后續(xù)場景的其它尺寸增加。為了避免可能的混淆，由預(yù)處理單元114進(jìn)行的縮放也被稱為“視圖縮放”，并且將參照圖4更加具體地描述。移位模塊110水平地移位輸入的左/右視圖視頻α ν個(gè)像素。取決于輸入視頻，在通過移位模塊處理輸入視頻期間存在至少3種情況。在圖4A-4F中更具體地示出了這些情況，這示出了對于每個(gè)3D視圖在不同的條件下輸入視頻幀和輸出視頻窗口的比較。圖4Α示出了第一種情況，其中輸入視頻幀AB⑶(幀40)具有比輸出窗口 41描繪的顯示器所支持的大小或分辨率更大的大小或分辨率。在圖4Α中，輸入視頻幀ABCD (幀40 )具有表示為M乘N的分辨率或大小，其表示水平方向上M個(gè)像素的寬度和垂直方向上N個(gè)像素的聞度。左右視圖的顯不器的視圖輸出窗口 41被不為具有表不為m乘η的分辨率或大小的輸出窗口 EFGH，其表示水平方向上m個(gè)像素的寬度和垂直方向上η個(gè)像素的高度。在這個(gè)圖4Α的場景中，幀和窗口尺寸有以下關(guān)系，M>m，并且Ν>η。在圖4Α的描述中，應(yīng)該了解輸出視頻窗口 41建立從輸入視頻幀40可看到的信息的范圍。當(dāng)討論移位操作時(shí)，還 應(yīng)該了解可以實(shí)際上將像素移位想象成將輸出視頻窗口在輸入視頻幀上移位到例如被描繪成圖4Β和圖4C中的移位輸出視頻窗口 41’的新位置。這個(gè)操作在此還可以被描述為視頻圖像的移位。當(dāng)然，可以理解的是可以將移位操作理解為在圖像上移位窗口或在窗口下移位圖像。這些是仍然得到相同結(jié)果的可互換概念，即，移位的左或右視圖視頻圖像。在此可互換地描述兩個(gè)概念，而在發(fā)明原理上沒有沖突或任何預(yù)期的限制。由于深度感知僅受兩個(gè)視圖(左和右)的水平視差影響，所以移位模塊110僅進(jìn)行水平移位。因此，此處的本發(fā)明的描述關(guān)注于輸入視頻和顯示的視頻的水平分辨率和尺寸。在這個(gè)示例中，輸入視頻幀的水平尺寸大于輸出窗口 EFGH (即，顯示視頻幀)的水平尺寸，如M>m所示。如果將顯示視頻移位αν個(gè)像素，使得移位后的視頻幀E’ F’ G’ H’仍然處于輸入視頻幀AB⑶內(nèi)，如圖4Β所示，則顯示的視頻將對應(yīng)于被標(biāo)記為輸出窗口 41’的部分(SP，E，F(xiàn)，G，H，)。如果移位參數(shù)過大，使得在移位操作后，輸出窗口 E’ F’ G’ H’超出輸入視頻幀40的限制，則使用零填補(bǔ)來填充圖4C中陰影區(qū)域所示的間隙。其它適合的填充技術(shù)可以替代零填補(bǔ)。在此情況下使用零填補(bǔ)，這是因?yàn)橐莆惠敵龃?41’的間隙部分不覆蓋任何輸入視頻內(nèi)容。當(dāng)將這個(gè)間隙區(qū)域中的像素設(shè)置成零時(shí)，它們將呈現(xiàn)黑色。提供給顯示器的輸出視頻視圖則對應(yīng)于E’ F’ G’ H’，包括零填補(bǔ)的像素的深色陰影部分。由于左右視圖可以在相反的方向上移位，有可能移位的左右視圖中的內(nèi)容變得彼此相當(dāng)不同，使得需要剪切左右視圖(除了零填補(bǔ)以外)以確保兩個(gè)視圖具有基本上相同的內(nèi)容。圖4D示出了第二種情況，其中輸入視頻幀AB⑶(幀40)的至少水平尺寸或分辨率等于輸出窗口 EFGH (窗口 41)的水平尺寸或分辨率，使得M=m。而對于這個(gè)示例，幀40還具有等于輸出窗口 41的垂直分辨率的垂直分辨率使得n=N，這是方便的但不是必須的。在這個(gè)示例中，在左或右視圖中的非零移位值αν，總是引起移位后的輸出窗口 41’(被示為視頻輸出窗口幀E’F’G’H’)落在輸入視頻幀40的邊界以外。使用零填補(bǔ)或任何其它適合填充技術(shù)來填充間隙部分，如圖4D的陰影部分中所示。圖4E圖示了另一示例，其中原始輸入視頻幀AB⑶(幀40)的尺寸與輸出窗口 EFGH(窗口 41)的尺寸匹配，使得M=m，并且N=n。取代如關(guān)于圖4D所描述的將這個(gè)原始輸入視頻幀AB⑶直接提供給左右視圖調(diào)諧器以便處理，輸入視頻幀AB⑶首先經(jīng)歷預(yù)處理器114的視圖縮放操作，使得每個(gè)圖像視圖(即，左和右)的尺寸從它們的原始尺寸MxN放大視圖縮放因數(shù)到更大的尺寸Μ’ xN’，其中Μ’ >M并且N’ >N。再次，應(yīng)該注意到這個(gè)視圖縮放與圖3A、B和C中所示的通過縮放模塊112進(jìn)行的縮放操作不同。視圖縮放可以被應(yīng)用于輸入的視頻圖像，而與輸入視頻幀大小或分辨率M和輸出窗口大小m之間的關(guān)系無關(guān)。應(yīng)該認(rèn)識到關(guān)于輸出窗口大小的更大的輸入視頻幀大小減少了圖像移位之后的間隙的潛力，其繼而減少了在間隙中零填補(bǔ)的可能需要。在這個(gè)示例中，輸入的視頻幀AB⑶被增大使得其尺寸大于輸出窗口 EFGH的尺寸，如圖4F所示。后續(xù)移位操作遵循關(guān)于圖4B和4C的第一種情況描述的步驟。視圖縮放因數(shù)M’ /M可以與視圖縮放因數(shù)N’ /N相同或不同。如果視圖縮放因數(shù)M’ /M和N’ /N相同，那么保留輸入視頻幀的寬高比。在根據(jù)試驗(yàn)實(shí)踐的例子中，發(fā)現(xiàn)移位模塊可以包括用于進(jìn)行輸入視頻幀的該縮放的處理器。可替換地，這個(gè)視圖縮放可以由預(yù)處理單元進(jìn)行，如圖3C所示。在圖3C中，在移位和縮放模塊的上 游提供預(yù)處理單元114。在這個(gè)配置中，預(yù)處理單元包括用于進(jìn)行輸入視頻幀的尺寸縮放的處理器。來自預(yù)處理單元114的縮放后的左右視圖視頻幀然后作為輸入被提供到移位模塊用于進(jìn)一步處理。引入縮放模塊112來改善已經(jīng)被圖像移位調(diào)整了深度感知的視頻的外觀。已經(jīng)觀察到簡單的圖像移位可以導(dǎo)致“縮小”或“放大”效果。這樣的縮放效果的出現(xiàn)導(dǎo)致某些對象顯得比它們實(shí)際的要小，這是因?yàn)橐莆皇惯@些對象與觀看者更近，而當(dāng)其他對象被移位遠(yuǎn)離觀看者時(shí)它們顯得比它們實(shí)際的要大。為了減輕這個(gè)效果，與移位處理一起使用縮放模塊112以便產(chǎn)生深度調(diào)整后的視頻的更加自然的外觀。換言之，模塊112中的縮放或大小調(diào)整操作在其圖像已經(jīng)被移位的場景(或幀中的所有像素)上進(jìn)行，使得調(diào)整場景中的所有對象的大小以便抵消觀察到的縮小和放大效果。這個(gè)縮放操作可以在通過如圖3A、3B和3C所示的移位模塊已經(jīng)移位的左和/或右圖像之前或之后進(jìn)行。此外，這個(gè)縮放不必在左或右圖像中的整個(gè)原始內(nèi)容上進(jìn)行。例如，如果輸入視頻幀大于顯示屏幕大小，則僅對將在屏幕上可見的內(nèi)容的部分進(jìn)行縮放。為了確定用于縮放模塊110的縮放因數(shù)Y，可以使用以下公式表示的相機(jī)模型
權(quán)利要求
1.一種用于呈現(xiàn)具有多個(gè)立體圖像對的立體內(nèi)容的方法，所述方法包括 接收具有第一視圖和第二視圖的至少第一立體圖像對，所述第一視圖和第二視圖包括由第一水平視差分開的至少一對對應(yīng)的像素； 響應(yīng)于控制信號利用縮放因數(shù)調(diào)整第一和第二視圖的大小，并且將第一水平視差調(diào)整到第二水平視差，以產(chǎn)生調(diào)整后的第一和第二視圖。
2.如權(quán)利要求1所述的方法，其中調(diào)整第一水平視差包括 至少部分地基于控制信號確定移位參數(shù)，所述移位參數(shù)包括第一視圖移位參數(shù)和第二視圖移位參數(shù)； 水平地將第一和第二視圖移位與第一和第二視圖移位參數(shù)有關(guān)的相應(yīng)量，其中，在移位后的第一和第二視圖中的對應(yīng)像素對展現(xiàn)第二水平視差。
3.如權(quán)利要求2所述的方法，其中調(diào)整第一和第二視圖的大小還包括 至少部分地基于移位參數(shù)確定縮放因數(shù)；以及 將第一和第二視圖的每個(gè)的立體內(nèi)容的至少一部分的大小改變一依賴于縮放因數(shù)的量。
4.如權(quán)利要求1所述的方法，其中所述調(diào)整包括 至少部分地基于控制信號確定移位參數(shù)； 至少部分地基于移位參數(shù)確定縮放因數(shù)；以及 將至少第一立體圖像對的第一和第二視圖的每個(gè)的立體內(nèi)容的至少一部分的大小改變一依賴于縮放因數(shù)的量。
5.如權(quán)利要求4所述的方法，其中所述移位參數(shù)包括第一視圖移位參數(shù)和第二視圖移位參數(shù)，并且其中調(diào)整第一水平視差還包括 水平地將第一和第二視圖移位與第一和第二視圖移位參數(shù)有關(guān)的相應(yīng)量，其中移位后的第一和第二視圖中的對應(yīng)像素對展現(xiàn)第二水平視差。
6.如權(quán)利要求3或4所述的方法，還包括 在確定移位參數(shù)之前，將第一和第二視圖的每個(gè)的分辨率改變一依賴于于視圖縮放因數(shù)的量。
7.如權(quán)利要求2或4所述的方法，還包括 顯示調(diào)整后的第一和第二視圖的圖像對。
8.如權(quán)利要求1所述的方法，還包括 分析一個(gè)或更多立體圖像對以確定立體圖像對中的每個(gè)圖像的至少一部分上的視差分布； 計(jì)算表示推薦的深度改變的控制參數(shù)，所述控制參數(shù)至少部分地基于所述視差分布和至少一個(gè)觀看者不舒適度簡檔，每個(gè)觀看者不舒適度簡檔表示在水平視差的范圍上的不舒適等級并且與特定觀看者或特定觀看者的組中的至少一個(gè)相關(guān)聯(lián)。
9.如權(quán)利要求4所述的方法，還包括 分析一個(gè)或更多立體圖像對以確定立體圖像對中的每個(gè)圖像的至少一部分上的視差分布； 計(jì)算表示推薦的深度改變的控制參數(shù)，所述控制參數(shù)至少部分地基于視差分布和至少一個(gè)觀看者不舒適度簡檔，每個(gè)觀看者不舒適度簡檔表示在水平視差的范圍上的不舒適等級并且與特定觀看者或特定觀看者的組中的至少一個(gè)相關(guān)聯(lián)。
10.如權(quán)利要求8或9所述的方法，其中，在所述控制信號中包括所述控制參數(shù)。
11.如權(quán)利要求8或9所述的方法，還包括 發(fā)送所述控制參數(shù)給與觀看者不舒適度簡檔相關(guān)聯(lián)的觀看者設(shè)備，所述控制參數(shù)用于生成觀看者調(diào)整的控制參數(shù)以便被包括在觀看者設(shè)備的控制信號中。
12.如權(quán)利要求8或9所述的方法，還包括 至少部分地基于所述控制信號更新該至少一個(gè)觀看者不舒適度簡檔。
13.如權(quán)利要求10所述的方法，還包括 至少部分地基于所述控制信號更新該至少一個(gè)觀看者不舒適度簡檔。
14.如權(quán)利要求11所述的方法，還包括 至少部分地基于所述控制信號更新該至少一個(gè)觀看者不舒適度簡檔。
15.如權(quán)利要求2或5所述的方法，其中控制信號包括指示應(yīng)用于立體內(nèi)容的深度改變量的信息。
16.如權(quán)利要求15所述的方法，其中控制信號包括表明特定觀看者或特定觀看者的組的至少一個(gè)的標(biāo)識。
17.一種用于向觀看者呈現(xiàn)具有多個(gè)立體圖像對的立體內(nèi)容的系統(tǒng)，包括 至少一個(gè)處理器，用于接收具有第一視圖和第二視圖的至少第一立體圖像對，所述第一視圖和第二視圖包括由第一水平視差分開的至少一對對應(yīng)的像素；所述至少一個(gè)處理器還用于響應(yīng)于控制信號利用縮放因數(shù)來調(diào)整第一和第二視圖的大小，并且將第一水平視差調(diào)整到第二水平視差，以產(chǎn)生調(diào)整后的第一和第二視圖。
18.如權(quán)利要求17所述的系統(tǒng)，其中至少一個(gè)處理器還被配置用于 至少部分地基于控制信號確定移位參數(shù)，所述移位參數(shù)包括第一視圖移位參數(shù)和第二視圖移位參數(shù)；以及 水平地將第一和第二視圖移位與第一和第二視圖移位參數(shù)有關(guān)的相應(yīng)量，使得在圖像對中的對應(yīng)像素對展現(xiàn)第二水平視差。
19.如權(quán)利要求18所述的系統(tǒng)，其中所述至少一個(gè)處理器還被配置用于 至少部分地基于移位參數(shù)確定縮放因數(shù)；以及 將第一和第二視圖的每個(gè)的立體內(nèi)容的至少一部分的大小改變一依賴于縮放因數(shù)的量。
20.如權(quán)利要求19所述的系統(tǒng)，其中所述至少一個(gè)處理器還被配置用于 在確定移位參數(shù)之前，將第一和第二視圖的每個(gè)的分辨率改變一依賴于視圖縮放因數(shù)的量。
21.如權(quán)利要求17所述的系統(tǒng)，其中所述至少一個(gè)處理器還被配置用于 至少部分地基于控制信號確定移位參數(shù)； 至少部分地基于移位參數(shù)確定縮放因數(shù)；以及 將第一和第二視圖的每個(gè)的立體內(nèi)容的至少一部分的大小改變一依賴于縮放因數(shù)的量。
22.如權(quán)利要求21所述的系統(tǒng)，其中所述移位參數(shù)包括第一視圖移位參數(shù)和第二視圖移位參數(shù)，并且其中所述至少一個(gè)處理器還被配置用于水平地將第一和第二視圖移位與第一和第二視圖移位參數(shù)有關(guān)的相應(yīng)量，其中移位后的第一和第二視圖中的對應(yīng)像素對展現(xiàn)第二水平視差。
23.如權(quán)利要求21所述的系統(tǒng)，其中所述至少一個(gè)處理器還被配置用于 在確定所述移位參數(shù)之前，將第一和第二視圖的每個(gè)的分辨率改變一依賴于視圖縮放因數(shù)的量。
24.如權(quán)利要求17所述的系統(tǒng)，其中所述控制信號包括指示應(yīng)用于立體內(nèi)容的深度改變量的信息。
25.如權(quán)利要求24所述的系統(tǒng)，其中所述控制信號包括表明特定觀看者或特定觀看者的組中的至少一個(gè)的標(biāo)識。
26.如權(quán)利要求17所述的系統(tǒng)，還包括 顯示器，用于顯示來自所述處理器的具有調(diào)整后的第一和第二視圖的至少一個(gè)立體圖像對。
全文摘要
描述了一種用于可調(diào)整的3維內(nèi)容的方法和系統(tǒng)，其中觀看者可以根據(jù)觀看者自身的視覺舒適等級和/或觀看偏好調(diào)整深度范圍。深度改變通過對立體內(nèi)容圖像對的左右圖像進(jìn)行移位來實(shí)現(xiàn)，使得立體對的移位后的左右圖像中的對應(yīng)像素展現(xiàn)足以實(shí)現(xiàn)期望的深度改變的新的水平視差。通過移位圖像對中的左右圖像，場景中的內(nèi)容對象可以顯得比未被移位的圖像對中的那些相同的對象離觀看者更近或更遠(yuǎn)。這個(gè)技術(shù)實(shí)現(xiàn)了觀看者對立體3維內(nèi)容中深度感的定制控制。
文檔編號H04N13/00GK103039080SQ201180032429
公開日2013年4月10日 申請日期2011年6月23日 優(yōu)先權(quán)日2010年6月28日
發(fā)明者何山, 張濤 申請人:湯姆森特許公司