專利名稱：用于配置立體運動圖片文件的方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種用于處理運動圖片的方法，并且尤其涉及一種用于配置立體運動圖片文件的方法。
背景技術(shù)：
雙目立體圖像(以下稱為“立體圖像”)是指分別通過相互間隔預(yù)定距離的左照相機和右照相機獲取的、同一對象的一對左圖像和右圖像。由于從不同的視點來拍攝同一對象的左圖像和右圖像，因此，左圖像和右圖像中的圖像信息可能根據(jù)該對象的表面特性或光源的位置而彼此不同。同一對象的左圖像與右圖像之間的圖像信息的差異稱為視差。立體圖像通常表示分別通過左照相機和右照相機獲得的一對圖像，并且廣義上來說，它可以指通過預(yù)定義的轉(zhuǎn)換算法而根據(jù)單視點圖像產(chǎn)生的一對左圖像和右圖像。立體圖像通常用于提供所顯示的對象的三維(3D)效果。名稱為“用于傳輸立體圖像數(shù)據(jù)的方法”的韓國專利申請716142和名稱為“用于配置編碼的立體圖像數(shù)據(jù)文件的方法”的韓國專利申請962696公開了一種通過立體照相機輸入的立體圖像和用于配置基于現(xiàn)有圖像編解碼器編碼的立體圖像數(shù)據(jù)文件的文件格式。上述韓國專利基于平面(二維(2D))圖像和立體(3D)圖像之間的差異，對配置立體圖像數(shù)據(jù)文件所需要的各種附加信息和能夠包括該附加信息的文件格式的定義進行了描述。此夕卜，在上述韓國專利中所公開的技術(shù)概念已經(jīng)被反映到稱為IS0/IEC立體視頻應(yīng)用格式的MPEG國際標準。由于3D電影和3D顯示裝置(諸如電視(TV))普及的激增，對于立體視頻內(nèi)容的關(guān)注正在增加。在當前的立體視頻內(nèi)容市場中，上述國際標準應(yīng)用于立體圖像文件的形成、壓縮、存儲、傳輸和播放。此外，根據(jù)該國際標準，可以形成具有直到完全高清晰度(HD)(即1920x1080)的各種分辨率的立體圖像的文件。此外，可以使用各種方案來形成立體圖像，包括并排的方案和幀連續(xù)的方案。同時，已經(jīng)進行了對圖像安全的各種研究。圖像安全涉及對于觀眾的保護，更具體地，對于就健康而言很可能被通過諸如電視，視頻、視頻游戲、因特網(wǎng)等成像媒體所顯示的運動圖像影響的那些人的保護。例如，圖像安全可能涉及防止由高強度光引起的光敏性癲癇(photosensitive seizures,PSS)或者防止或降低由快速和周期性的圖像移動引起的視覺誘發(fā)運動病(Visually-1nduced Motion Sickness, VIMS)。此外，由于過度的深度效果或者構(gòu)成立體圖像的左右圖像之間的視差造成的視覺疲勞與圖像安全相關(guān)。對從所獲取的立體圖像獲得的立體圖像數(shù)據(jù)進行預(yù)處理，以對立體圖像中的圖像質(zhì)量失真進行校正。在該預(yù)處理期間，失真可能出現(xiàn)在左圖像和右圖像中。立體圖像的左圖像和右圖像之間可能有固有的視差，并且由于該失真和視差，立體運動圖片的觀看者可能經(jīng)受視覺疲勞。此外，用于提供維度感、視差深度提示的過度的深度效果可能增加觀看者的視覺疲勞。由立體運動圖片引起的視覺疲勞可能對觀看者的健康產(chǎn)生負面影響，因此這可以認為是發(fā)展諸如立體電影產(chǎn)業(yè)或者3D電視產(chǎn)業(yè)的與立體內(nèi)容相關(guān)的產(chǎn)業(yè)的障礙。因此，需要將立體運動圖片對觀看者的影響(例如，視覺疲勞)最小化或者將其控制到適于各觀看者的健康狀況的程度。然而，盡管已經(jīng)認識到需要控制或者降低這樣的影響，但是至今為止沒有解決辦法。

發(fā)明內(nèi)容
摶術(shù)問是頁本發(fā)明所要解決的一個技術(shù)問題在于提供一種用于配置立體運動圖片文件的方法，該方法可以降低由立體圖像所引起的視覺疲勞對用戶的健康的影響并允許用戶以舒適和自然的方式使用立體內(nèi)容。本發(fā)明所要解決的另一技術(shù)問題在于提供一種用于配置立體運動圖片文件的方法，該方法可以允許更多人根據(jù)他們的個人舒適和健康狀況來欣賞立體內(nèi)容。技術(shù)方案本發(fā)明提供了一種用于配置立體運動圖片文件的方法，該方法包括:通過對構(gòu)成立體運動圖片的多個左圖像和右圖像進行分析，來獲得所述立體運動圖片文件的視差信息和深度信息；使用從所述視差信息和所述深度信息所獲得的至少一條信息來設(shè)置所述立體運動圖片文件的圖像安全信息；以及將所述圖像安全信息包括在所述立體運動圖片的編碼數(shù)據(jù)中。可以使用從關(guān)于整個立體運動圖片文件的視差區(qū)域信息和視差大小信息獲得的至少一條信息來獲得立體運動圖片文件的視差信息。該視差區(qū)域信息可能與整個運動圖片的每個幀中的左圖像和右圖像之間的塊或像素的數(shù)量差有關(guān)，或者與各幀間的塊或像素的數(shù)量的變化率有關(guān)。可以使用如下值獲得視差大小信息:整個運動圖片的每個幀的以塊或像素為單位的視差值的最大值、最小值或者平均值，或者各幀之間的最大值或平均值的變化率?？梢允褂脧年P(guān)于整個立體運動圖片文件的深度區(qū)域信息和深度大小信息獲得的至少一條信息來獲得立體運動圖片文件的深度信息。在隨后的說明書中將闡述本發(fā)明的另外的附加特征，并且這些特征根據(jù)說明書將變得明顯，或者可以通過本發(fā)明的實踐而了解。
_7] 有益.效果圖像安全問題(包括視覺疲勞)被認為是立體運動圖片技術(shù)中必須解決的關(guān)鍵問題。然而，由于還沒有關(guān)于圖像安全的規(guī)范或者標準，正在創(chuàng)建立體圖像或者使用這樣的立體內(nèi)容的人們難以分發(fā)和再現(xiàn)該內(nèi)容。根據(jù)本發(fā)明的示例性實施例，圖像安全信息被嵌入到立體運動圖片數(shù)據(jù)中，因此基于嵌入的圖像安全信息的、立體內(nèi)容的分類和分發(fā)是可行的。此外，立體圖像被分類為若干類別并且這樣的分類被應(yīng)用于立體圖像的獲取、存儲、分發(fā)和廣播，使得可以確保觀看者的安全并降低觀看者的疲勞。因此，當與現(xiàn)有方法相比時，用戶可以選擇并使用更適于各用戶的具有較小比特率的立體內(nèi)容，并且將清楚的分類標準提供給發(fā)行者和內(nèi)容創(chuàng)建者，使得可以更好地激活有關(guān)的市場。


所包括的用以進一步了解本發(fā)明并包含在該說明書中且構(gòu)成說明書的一部分的附圖示出了本發(fā)明的實施例，并且連同說明書一起用來說明本發(fā)明的原理。圖1是示出如何獲得構(gòu)成立體圖像的一對左圖像和右圖像的示例的圖；圖2是示出使用所獲得的左圖像和右圖像來配置立體圖像的方法的示例的圖；圖3是示出說明根據(jù)本發(fā)明的示例性實施例的用于配置立體運動圖片文件的方法的流程的圖；圖4是示出嵌入到上述立體運動圖片文件中的圖像安全信息的示例的框圖；圖5是示出根據(jù)本發(fā)明的示例性實施例配置的立體運動圖片文件的格式的示例的框圖。
具體實施例方式以下參考附圖更充分地描述本發(fā)明，其中示出了本發(fā)明的各示例性實施例。然而，本發(fā)明可以以許多不同的形式實施并不應(yīng)視為限于本文所闡述的各實施例。相反，提供這些實施例使得本公開更加透徹，并且將本發(fā)明的范圍完全傳達給本領(lǐng)域的技術(shù)人員。在附圖中，為了清楚，可以放大各層和各區(qū)域的大小和相對大小。附圖中相同的附圖標記表示相同的元件。在描述根據(jù)本發(fā)明的示例性實施例的用于配置立體運動圖片文件的方法之前，將首先描述立體圖像。下文所提供的說明是立體圖像的部分特有特性，其將該立體圖像與單視點圖像區(qū)分開。圖1是示出如何獲得構(gòu)成立體圖像的一對左圖像和右圖像的示例的圖。參考圖1，可以通過相互間隔預(yù)定距離的左照相機和右照相機獲得構(gòu)成立體圖像的左圖像和右圖像。在圖1所示的示例中，使用立體照相機來獲得同一對象的左圖像和右圖像。然而，可以使用單視點圖像創(chuàng)建一對左圖像和右圖像。在立體圖像中，由于左照相機和右照相機具有不同的視點，因而左圖像和右圖像之間的圖像信息(例如，亮度、色差、表示對象距照相機的距離的對象深度等)中可能有視差。例如，左圖像中的對象的左側(cè)部分可能顯得比右圖像中的要大，而右圖像中的同一對象的右側(cè)部分可能顯得比左圖像中的要大。左圖像與右圖像之間的視差可以表示為以像素或預(yù)定大小的塊(例如，M*N塊)為單位的亮度(平均)值或者色差(平均)值的視差。圖2是示出使用所獲得的左圖像和右圖像來配置立體圖像的方法的示例的圖。參考圖2中的(A)，在一個幀中水平地排列左圖像和右圖像以配置立體圖像。參考圖2中的(B)，交替地排列左圖像的奇數(shù)(或者偶數(shù))垂直線和右圖像的偶數(shù)(或者奇數(shù))垂直線，以配置立體圖像。屏障型(barrier type)顯示裝置可以以如下方式顯示如圖(B)所示配置的立體圖像:觀看者的左眼僅感知左垂直線，而觀看者的右眼僅感知右垂直線。參考圖2中的(C)，逐幀交替地排列同一對象的左圖像和右圖像(這被稱為幀連續(xù)類型)，以配置立體圖像。幀連續(xù)類型的立體圖像與顯示裝置同步并且可以利用專門設(shè)計的眼鏡來觀看，該專門設(shè)計的眼鏡可以使用60Hz的頻率或者更高的頻率(例如120Hz)來交替地遮擋觀看者的左眼和右眼。當前廣泛使用的三維(3D)電視或3D電影正在運用該技術(shù)。圖3是示出說明根據(jù)本發(fā)明的示例性實施例的用于配置立體運動圖片的方法的流程的圖。
參考圖3，通過對立體圖像進行分析(10)，來獲得立體運動圖片文件的視差信息和深度信息。在該實施例中，可以不限制用于分析立體圖像的方法或算法，并且可以使用當前使用的或者將來開發(fā)的用于立體圖像分析的任何種類的分析算法。例如，可以逐幀地將左圖像和右圖像彼此相互比較，并且可以從每個幀中提取視差信息和深度信息?？梢允褂没騾⒖贾T如圖像濾波器的大小、濾波能力、絕對誤差總和(sum absolute difference, SAD)塊的大小、最小視差值、視差值(以像素或者塊為單位)、參考圖像的閾值的等信息，來提取視差 目息(例如，売度視差和色差視差)。此外，使用逐巾貞獲得的視差/[目息，可以獲取整個立體運動圖片文件的總的視差信息。視差信息表示與左圖像和右圖像之間的亮度差異和色差差異有關(guān)的信息。通過圖像分析，可以逐幀地獲取或提取視差信息。然而，由于立體運動圖片文件表示大量幀的組，因而，可以通過獲得屬于立體運動圖片文件的每個幀的視差信息來獲取其視差信息。此外，視差信息可以指示圖像安全，諸如人的視覺疲勞。左圖像與右圖像之間的大視差或瞬時的/特殊的不協(xié)調(diào)可能加劇觀看者的該視覺疲勞。例如，在一個幀內(nèi)具有視差的預(yù)定大小的多個單元塊(例如，Ν*Μ塊，其中N和M是大于或等于I的自然數(shù))，即，一對左圖像和右圖像，可以是對應(yīng)幀的視差信息。這里，如果Ν*Μ塊的N和M都是1，則以像素為單位獲得具有視差的塊的數(shù)量(下文稱為“視差塊的數(shù)量”)。在不同的幀中，每個幀的視差塊的數(shù)量不相同，因此難以使用視差塊的數(shù)量本身作為立體運動圖片文件的視差信息。 作為利用視差塊的數(shù)量作為立體運動圖片文件的視差信息的一種方法，可以使用各幀之間的視差塊的平均數(shù)量或視差塊的數(shù)量的變化率。通常，在觀看具有較大的如下區(qū)域的立體圖像的觀看者可能更易于經(jīng)受VMS或視覺疲勞:在該區(qū)域中，左圖像與右圖像之間存在大的(明顯變化亮度視差或色差視差)。因此，在該實施例中，可以使用一個運動圖片文件的視差區(qū)域信息(例如，視差塊的平均數(shù)或視差塊的數(shù)量的變化率)作為該立體運動圖片文件的視差信息。在另一示例中，可以使用視差大小作為立體運動圖片文件的視差信息。這里，視差大小表示以塊(或像素)為單位的左圖像與右圖像之間亮度或色差的差異有多大。由于單個幀內(nèi)的視差大小可能隨著塊(或像素)在幀中的位置而不同，一個幀中的視差大小可能為該幀內(nèi)視差值的最大值、最小值和/或平均值。此外，整個立體運動圖片文件中的視差大小可能對應(yīng)于各幀之間的視差大小的最大值、平均值或變化率。通常，整個運動圖片文件中的視差的最大值或平均值越大，表示平均起來，左圖像與右圖像之間的亮度的視差或色差的視差越大，因此觀看這樣的立體圖像的觀看者可能更易于經(jīng)受視覺誘導(dǎo)的運動疾病(VMS)或視覺疲勞。因此，可以使用一個運動圖片文件的視差大小信息(例如，每個幀中視差的最大值、平均值或平均值的變化率)作為該立體運動圖片文件的視差信息。同樣地，可以使用整個運動圖片文件的視差區(qū)域信息和/或視差大小信息獲得立體運動圖片文件的視差信息。然而，視差信息不限于以上所述，可以使用與左圖像和右圖像之間的視差有關(guān)的其它數(shù)據(jù)來獲得視差信息。為了詳細描述上述說明，可以逐幀地提取示出左圖像和右圖像之間的視差區(qū)域或區(qū)域大小，并且可以使用所提取的區(qū)域或區(qū)域大小提取整個運動圖片的視差信息。更具體地，
I)可以使用(以像素或N*M塊為單位的)視差區(qū)域的數(shù)量設(shè)置一個幀中的最大值和平均值。2)可以使用(以像素或N*M塊為單位的)視差區(qū)域大小設(shè)置一個幀中的最大值和平均值。3)可以將一個幀中的視差區(qū)域的數(shù)量和大小的最大值及平均值設(shè)置為整個運動圖片的最大值和平均值，并且可以將所設(shè)定的值顯示為參數(shù)信息(視差信息)。4)可以將關(guān)于每幀中的(以像素或N*M塊為單位的)視差區(qū)域變化的最大值和平均值顯示為整個運動圖片的視差信息?？梢岳煤唵蔚某绦蜍浖牧Ⅲw圖像對(左圖像和右圖像)提取以上信息，并且可以使用該信息作為確定立體運動圖片文件的圖像安全等級的標準信息。以下將提供對于深度信息的說明。本文描述的各實施例的深度信息是指與對象與照相機之間的距離有關(guān)的信息。畢竟，從觀看者的角度來說，對象與照相機之間的距離與當前所顯示的圖像中的對象距觀看者有多遠相關(guān)。此外，該距離可以與對象的左圖像和右圖像之間的視差有關(guān)。在觀看立體圖像期間，與觀看距觀看者更遠的其它相同對象的情況相t匕，在觀看者在相對長的時間內(nèi)觀看示出距觀看者更近的對象的顯示屏的情況下，觀看者可能更加感到視覺疲勞。與視差信息類似，可以通過圖像分析逐幀地提取深度信息，或者可以使用視差信息獲得深度信息。由于一個立體運動圖片文件被認為是許多幀的組，因而可以基于每個幀的深度信息獲得立體運動圖片文件的深度信息。然而，在立體運動圖片文件是圖形文件的情況下，可以在創(chuàng)建該圖形文件的處理期間獲取深度信息，并且因此可能不需要用于獲取深度信息的額外的分析處理。例如，在一個幀(即一對左圖像和右圖像)中，深度信息可以表示為關(guān)于距觀看者最近的對象和距觀看者最遠的對象的相對值，或者可以表示為關(guān)于特定位置處的對象的相對值。在前一種情況下，為了向觀看者提供實際的深度，需要對象與觀看者之間的最近距離和最遠距離的實際值。在后一種情況下，該對象可能根據(jù)深度信息的值顯得突出或者遠，其中，深度信息的值可以為正或負。此外，可以通過與深度信息相關(guān)的區(qū)域覆蓋多少個單個幀，來確定對諸如視覺疲勞的圖像安全的影響等級。例如，與立體圖像中向前突出的對象占據(jù)單個幀的較小區(qū)域的情況相比，當向前突出的對象占據(jù)單個幀的相對大的區(qū)域時，觀看者可能經(jīng)受到更多視覺疲勞以及VIMS。更具體地，觀看者所經(jīng)受的不舒服的程度根據(jù)與大于閾值的深度值有關(guān)的區(qū)域的比率而改變，其中該比率例如可以是20%或70%。因此，可以使用一個運動圖片文件的深度區(qū)域信息作為立體運動圖片文件的視差信息。作為另一示例，可以使用深度圖的大小作為立體運動圖片文件的深度信息。這里，深度圖的大小表示每個塊中的對象與照相機之間的距離。由于深度圖的大小隨著塊在單個幀中的位置而改變，因而深度圖的大小可以是該幀中示出的深度的最大值、最小值和/或平均值。此外，整個立體運動圖片文件的深度圖的大小可以是各幀之間的深度圖的大小的最大值、最小值、平均值或深度圖的大小的變化率，或者最大值與最小值之間的差。通常，當每個幀中深度圖的大小的最大值或平均值較大或者深度圖的大小的最大值與最小值之間的差較大時，這表示在該幀中存在在距離方面具有相對較大的視差的對象。因此，該距離越大，則觀看者在觀看立體圖像期間更可能經(jīng)受VMS或視覺疲勞。因此，可以使用與一個運動圖片文件的深度的大小有關(guān)的信息(例如，每個幀中的深度圖的大小的最大值或平均值的平均、變化率、最大值與最小值之間的差等)作為立體運動圖片文件的深度大小信息。同樣地，可以通過使用整個運動圖片文件的深度區(qū)域信息和/或深度大小信息獲得立體運動圖片文件的深度信息。然而，深度信息不限于上述信息，并且可以使用與立體圖像的深度圖或者深度感有關(guān)的其它數(shù)據(jù)獲得深度信息。此外，如上面的關(guān)于視差信息所述，可以利用從圖形數(shù)據(jù)提取的視差信息或者深度信息提取整個運動圖片的深度信息的最大值或平均值?？梢詫⒁粋€幀的視差信息和深度信息顯示為整個運動圖片的代表值?？梢垣@得視差的最大值和最小值及平均值、示出視差的單元塊(或單元像素)的數(shù)量，以及可以通過深度信息圖獲取的區(qū)域的最大值、最小值、平均值和大小比。此外，可以將各幀之間的視差信息和深度信息的變化定義為參數(shù)的要素。例如，如果在不同幀中保持視差大小或深度的同樣大的值，則對圖像安全的影響可能是相對微不足道的，然而如果在短時間段內(nèi)在(以像素或塊為單位的)相同區(qū)域中發(fā)生視差值或深度的急劇變化，則對圖像安全的影響可能相對顯著。參考圖3，使用在操作10中獲得的、關(guān)于立體運動圖片文件的視差信息和深度信息中的至少一條信息，設(shè)置立體運動圖片文件的圖像安全信息(20)。術(shù)語“圖像安全信息”僅用于示例的目的，并且可以使用與立體運動圖片文件的圖像安全有關(guān)的任何適合的術(shù)語。圖像安全信息是可以使用源于特定的立體運動圖片文件的分析的信息而獲得的客觀數(shù)據(jù)，并且在該實施例中，其是使用關(guān)于立體運動圖片文件的視差信息和深度信息中的至少一條信息獲得的。不限制用于將圖像安全信息表示為數(shù)據(jù)的方法。例如，圖像安全信息可以被表示為多條類別信息(例如，與品質(zhì)穩(wěn)定性有關(guān)的類別信息)中的類別信息或者被表示為根據(jù)預(yù)先定義的標準設(shè)置的等級。此外，將所設(shè)置的圖像安全信息包括在或嵌入到編碼的立體運動圖片數(shù)據(jù)中
(30)。不對圖像安全信息嵌入到立體運動圖片數(shù)據(jù)中的位置或次數(shù)進行限制。例如，可以僅將圖像安全信息嵌入到文件頭等中一次或嵌入到幀頭中若干次，或者可以定期地將其嵌入到編碼的圖像數(shù)據(jù)文件的幀頭中，使得可以以預(yù)定的時間間隔(例如，每5或10分鐘)顯示圖像安全信息。同樣地，立體運動圖片數(shù)據(jù)中所包括的圖像安全信息可以被觀看者用于基于維度感、圖像安全等選擇對應(yīng)的立體運動圖片文件；可以被預(yù)先作為立體運動圖片文件的安全信息提供給觀看者；或者可用于將立體運動圖片的三維效果調(diào)節(jié)到觀看者期望的等級。如上所述，在本發(fā)明的各實施例中，對立體運動圖片的圖像特性進行分析以獲得與觀看者觀看立體圖像期間可能產(chǎn)生的圖像安全(諸如視覺疲勞、VIMS等)有關(guān)的信息，并且將所獲得的信息作為附加數(shù)據(jù)包括在相應(yīng)的立體運動圖片文件中。此外，就立體運動圖片的品質(zhì)穩(wěn)定性而言，可能產(chǎn)生除上述問題之外的問題，包括立體運動圖片文件的創(chuàng)建、發(fā)行和播放。例如，這些問題可能包括:為了修正在立體圖像獲取期間發(fā)生的圖像質(zhì)量失真而對文件格式增加具有特定屬性的元數(shù)據(jù)，以及與關(guān)于人的視覺疲勞的立體內(nèi)容的安全的文件格式的元數(shù)據(jù)有關(guān)的分量的組成和增加。目前，由于不存在立體運動圖片的標準，因而基本上一直存在因左圖像與右圖像之間的視差以及左圖像和右圖像中的各種失真而導(dǎo)致的、所創(chuàng)建的立體圖像內(nèi)容的圖像質(zhì)量中的失真，并且由于根據(jù)深度信息的過度深度效果，觀看者在觀看立體運動圖片時經(jīng)受的視覺疲勞可能增加。為了克服上述缺點，可以定義控制分量并且可以建立該分量的標準。于是，可以在內(nèi)容創(chuàng)建過程期間將有關(guān)的分量應(yīng)用于立體內(nèi)容的文件格式，使得觀看者可以舒適和自然的方式觀看立體(或3D)內(nèi)容，在上述實施例中詳細地提供了這些過程的方法的示例。此外，可能需要修改關(guān)于從立體靜止圖像捕獲的立體圖像或者由包括左光學系統(tǒng)和右光學系統(tǒng)的雙目照相機拍攝的運動圖片的人類視覺疲勞的標準，并且需要對立體圖像獲取過程中發(fā)生的圖像質(zhì)量失真進行校正，并且可能需要建立校正的標準?？梢詫⒂糜谛ＵⅢw圖像的圖像質(zhì)量的分量連同上述與視覺疲勞相關(guān)聯(lián)的分量定義為文件的元數(shù)據(jù)，并且這樣的元數(shù)據(jù)可以用于使立體圖像的穩(wěn)定性和圖像質(zhì)量表現(xiàn)最大化。根據(jù)上述實施例中的方法，通過包括附加的數(shù)據(jù)來配置立體運動圖片文件，并且可以按等級來對需要長時間觀看的立體內(nèi)容和對短時期觀看提供深度的現(xiàn)實感的立體內(nèi)容進行分類和定義。立體運動圖片文件的觀看者可以使用這樣的附加數(shù)據(jù)作為參考和/或可以使用該數(shù)據(jù)來回放立體運動圖片文件(如果必要的話，對立體運動圖片進行調(diào)節(jié)以具有期望程度的深度效果并回放調(diào)節(jié)后的文件)。圖4是示出被嵌入到上述立體運動圖片文件中的圖像安全信息的示例的框圖。在圖4示出的示例中使用的類別信息包括上述圖像安全信息，并且僅為了示例的目的而提供該類別信息。參考圖4的(A)，立體類別頭在系統(tǒng)頭之后。在圖4的(B)中，立體類別頭在系統(tǒng)頭之前；在圖4的(C)中，立體類別頭在圖像編解碼器之后；并且在圖4的(D)中，立體類別頭被插在圖像編解碼器之間。圖5是示出根據(jù)本發(fā)明的示例性實施例配置的立體運動圖片文件的格式的示例的框圖。圖5的(A)示出了將立體運動圖片文件分類成類別1、2、3及更多的文件頭的示例，并且圖5的(B)示出了說明與由圖5的(A)示出的每一類別定義的立體圖像相關(guān)聯(lián)的分量的主分類的圖。圖5的(C)示出了進一步進行分類和定義的、與立體圖像相關(guān)聯(lián)的、圖5的(B)不出的分量的輔助分類。根據(jù)本發(fā)明的上述示例性實施例配置的立體運動圖片文件包括圖像安全信息?；谠搱D像安全信息，立體運動圖片文件可以被分類為多個類別。例如，為了改進基于人的視覺疲勞及立體圖像的左圖像和右圖像重新配置立體圖像時發(fā)生的圖像質(zhì)量失真，可以在非常短的時間段內(nèi)提供諸如放映時間為例如20秒到幾分鐘的廣告的立體內(nèi)容，以呈現(xiàn)逼真的立體效果，并且該立體內(nèi)容可以被定義為“類別I”。例如，諸如放映時間為30分鐘到3小時的電影、戲劇或者動畫片的立體內(nèi)容顯示出相對優(yōu)良的3D效果但相對低的深度等級，使得觀看者在觀看期間除了瞬間的視覺疲勞以外不會經(jīng)受太多痛苦，并且這樣的立體內(nèi)容可以被定義為“類別2”。此外，用于立體廣播的立體圖像可以將3D效果減弱為使得具有不同的視覺能力的廣泛的觀看者(包括孩子和老人)能夠經(jīng)受更少視覺疲勞并保護觀看者的視覺安全，從而使得即使當觀看者整天觀看立體轉(zhuǎn)播內(nèi)容時他們也不會感到不舒服或惡心。這樣的立體內(nèi)容例如可以被分類為“類別3”。此外，通過由二維(2D)圖像轉(zhuǎn)換成3D圖像而獲得的立體內(nèi)容可以被分類為“類別4”，并且可以執(zhí)行其它類型的立體內(nèi)容的各種分類。同樣地，考慮到人的視覺疲勞，預(yù)先將與圖像安全有關(guān)的信息提供給立體內(nèi)容的普通觀看者，并且如果必要的話，對圖像質(zhì)量失真進行校正或者對用于應(yīng)用3D效果的圖像數(shù)據(jù)進行修改，使得觀看者不僅可以安全地欣賞該內(nèi)容并且可以提供具有高品質(zhì)的圖像。如上所述，可以使用圖像安全信息將立體運動圖片文件分類為多個類別之一?？梢允褂糜绊憟D像安全的參數(shù)將立體運動圖片文件分類為多個類別之一，以下提供這些參數(shù)的示例。例如，如上所述，可以使用從左圖像和右圖像獲得的視差信息和深度信息作為用于分類的參數(shù)。另外，可以將以下內(nèi)容定義為與立體圖像有關(guān)的分量:亮度信息；色差信息；焦點信息；與關(guān)于圖像大小的最小觀看距離有關(guān)的信息；聚焦方案(平行立體照相機系統(tǒng)或交叉立體照相機系統(tǒng))信息；主對象與背景之間的時差的可容許范圍；觀看空間的光和音頻信息；水平視角和垂直視角；顯示器串擾的可容許范圍；顯示器刷新速率；中斷的子標題的信息；對象的邊界值的容許誤差；與觀看的年齡限制有關(guān)的信息；對于斜視或散光觀看者的警告信息；關(guān)于每個觀看者的左眼與右眼之間的差異的信息；聚焦和調(diào)節(jié)的視差(垂直誤差、旋轉(zhuǎn)誤差和大小誤差)的可容許范圍等。除了以上因素之外，觀看環(huán)境的亮度也可能影響視覺疲勞。3D電影的亮度可能低于2D電影的亮度，并且視覺疲勞可能根據(jù)周圍環(huán)境的亮度而增加。可以根據(jù)分量的類型對上述分量進一步分類。例如，與圖像有關(guān)的分量可以被分類為第一分量，并且與觀看環(huán)境的有關(guān)的分量(諸如周圍的亮度)可以被分類為第二分量。與觀看者的特征有關(guān)的分量(諸如觀看的年齡限制)可以被分類為第三分量。此外，可以基于其它屬性將這些分量分類為第四分量或更多分量。可以將與圖像有關(guān)的分量進一步分類為多組分量。例如，第一組分量可以包括與圖像的視覺疲勞直接相關(guān)聯(lián)的深度信息或視差信息，第二組分量可以包括與立體圖像中的圖像質(zhì)量失真有關(guān)的信息、中斷的子標題的失真信息和對象邊界值的誤差信息等。如果必要的話，可以將分量詳細地分類為三組或更多組分量。作為用于上述類別分量的分類和代表的單位，可以利用索引來記錄實際的距離值，其中，該索引是特定的指示值且是基于諸如深度信息或視差信息的距離信息而分發(fā)的，并且可以被例如從I到10的單位等級來表示。替代地，可以將兩個或更多分量合并為一個索引。圖像安全問題(包括視覺疲勞)被認為是立體圖像技術(shù)中必須解決的關(guān)鍵問題。然而，由于還沒有針對這些問題的規(guī)范或標準，創(chuàng)建立體圖像或使用這樣的立體內(nèi)容的人難以分發(fā)和再現(xiàn)該內(nèi)容。根據(jù)本發(fā)明的示例性實施例，將圖像安全信息嵌入到立體運動圖片數(shù)據(jù)中，因此能夠基于嵌入的圖像安全信息對立體內(nèi)容進行分類和分發(fā)。此外，立體圖像被分類為若干類別并且將這樣的分類應(yīng)用于立體圖像的獲取、存儲、分發(fā)和廣播，使得可以確保觀看者的安全并降低觀看者的疲勞。因此，當與現(xiàn)有方法相比時，用戶可以選擇并使用更適于各用戶的具有較小比特率的立體內(nèi)容，并且將清楚的分類標準提供給發(fā)行者和內(nèi)容創(chuàng)建者，使得可以更好地激活相關(guān)的市場。本領(lǐng)域的技術(shù)人員顯然知道，在不脫離本發(fā)明的精神或范圍的前提下可以對本發(fā)明進行各種修改和變型。因此，希望本發(fā)明涵蓋落入所附權(quán)利要求和等同物范圍內(nèi)的修改和變型。工業(yè)實用性本發(fā)明可以有效地應(yīng)用于與立體圖像的處理有關(guān)的編碼器、解碼器等。
權(quán)利要求
1.一種用于配置立體運動圖片文件的方法，包括以下步驟: 通過對構(gòu)成立體運動圖片的多個左圖像和右圖像進行分析，來獲得立體運動圖片文件的視差息和深度息； 使用從所述視差信息和所述深度信息獲得的至少一條信息來設(shè)置所述立體運動圖片文件的圖像安全信息；以及 將所述圖像安全信息包括在所述立體運動圖片的編碼數(shù)據(jù)中。
2.根據(jù)權(quán)利要求1所述的方法，其中，使用從關(guān)于整個立體運動圖片文件的視差區(qū)域信息和視差大小信息而獲得的至少一條信息，來獲得所述立體運動圖片文件的所述視差信肩、O
3.根據(jù)權(quán)利要求2所述的方法，其中，所述視差區(qū)域信息與所述整個運動圖片的每個幀的左圖像與右圖像之間的塊或像素的數(shù)量差有關(guān)，或者與各幀之間的塊或像素的數(shù)量的變化率有關(guān)。
4.根據(jù)權(quán)利要求2所述的方法，其中，使用所述整個運動圖片的每個幀的以塊或像素為單位的視差值的最大值、最小值或平均值，或者各幀之間的最大值或平均值的變化率，來獲得所述視差大小信息。
5.根據(jù)權(quán)利要求1所述的方法，其中，使用從關(guān)于所述整個立體運動圖片文件的深度區(qū)域信息和深度大小信息而獲得的至少一條信息，來獲得所述立體運動圖片文件的所述深度信息。
全文摘要
本發(fā)明公開了一種用于配置立體運動圖片文件的方法。根據(jù)本發(fā)明的一個實施例，用于配置立體運動圖片文件的方法在于對構(gòu)成立體運動圖片的多個左圖像和右圖像進行分析；獲得立體運動圖片文件的視差信息和深度信息。然后，使用從該視差信息和深度信息獲得的至少一條信息來設(shè)置用于立體運動圖片文件的生物穩(wěn)定性信息，并且所設(shè)置的生物穩(wěn)定性信息被包括在該立體運動圖片的編碼數(shù)據(jù)中。
文檔編號G06T7/00GK103081478SQ201180040725
公開日2013年5月1日 申請日期2011年4月25日 優(yōu)先權(quán)日2010年6月24日
發(fā)明者千勝文, 崔炳胡, 辛華善 申請人:電子部品研究院