專利名稱：產(chǎn)生立體圖像的方法和裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及產(chǎn)生立體圖像的方法和裝置，并且特別涉及有效產(chǎn)生圖像的方法和裝置，其中產(chǎn)生具有自適應(yīng)于各種運(yùn)動類型畫面的自然和穩(wěn)定的立體感的立體圖像，并且從MPEG(運(yùn)動圖像專家組)位流中提取并產(chǎn)生每個(gè)I、P和B畫面的運(yùn)動矢量。
盡管沒使用采用兩個(gè)攝像機(jī)的立體攝像機(jī)，本發(fā)明能夠使對應(yīng)于MPEG-1CD(光盤)、MPEG-2HDTV(高清晰度TV)或MPEG-2DVD(數(shù)字通用盤)的兩維運(yùn)動圖像直接作為立體圖像觀看。此外，本發(fā)明的工業(yè)應(yīng)用覆蓋了能夠使視頻畫面作為立體圖像觀看的所有領(lǐng)域。更具體地說，本發(fā)明能夠應(yīng)用到諸如NTSC、PAL和SECAM廣播系統(tǒng)的模擬類型視頻信號領(lǐng)域，以及使用MPEG數(shù)據(jù)的所有領(lǐng)域。
作為與本發(fā)明比較的一個(gè)現(xiàn)有技術(shù)，修改時(shí)間差(以下稱為MTD)方法已經(jīng)由日本的SANYO DENKI有限公司開發(fā)出來。此外，將垂直視差轉(zhuǎn)換為水平視差的方法已經(jīng)由韓國的SAMSUNG ELECTRONICS有限公司開發(fā)出來。這些現(xiàn)有技術(shù)從模擬類型的圖像信號產(chǎn)生立體圖像。由SANYO DENKI有限公司開發(fā)的MTD方法1)提取一運(yùn)動區(qū)域，2)確定運(yùn)動的速度和方向，3)基于運(yùn)動的速度和方向從先前幀確定一延遲方向和延遲時(shí)間，和4)按照確定的延遲方向和延遲時(shí)間確定所延遲的延遲圖像通過右眼和左眼的哪一個(gè)眼觀看。
由韓國的SAMSUNG ELECTRONICS有限公司開發(fā)的將垂直視差轉(zhuǎn)換為水平視差的方法1)逐塊預(yù)測一運(yùn)動，2)計(jì)算塊運(yùn)動矢量的幅值，3)將由2)獲得的幅值值轉(zhuǎn)換為水平視差值，以便將所有垂直分量轉(zhuǎn)換為水平視差值，4)在水平方向上將每個(gè)塊移動水平視差值，和5)通過收集水平移動的塊產(chǎn)生混合畫面。
然而，由于在上述MTD方法的情況下，先前K幀中的一幀由運(yùn)動信息強(qiáng)制選擇為延遲圖像，在一幀中由一些區(qū)域占據(jù)的不同深度被忽略。結(jié)果，由于當(dāng)觀看立體圖像時(shí)，不存在深度感，立體感針對移動物體存在，但是針對具有較少移動的部分例如畫面的背景，立體感不存在。
在由SAMSUNG ELECTRONICS有限公司提出的方法中，由于按照相鄰塊之間的水平視差的差值水平移動每個(gè)塊，產(chǎn)生圖像失真。因此，不能夠自適應(yīng)于各種運(yùn)動類型圖像產(chǎn)生自然和穩(wěn)定的立體圖像。
于是，在由上述現(xiàn)有方法產(chǎn)生的立體圖像的情況下，對于圖像的某些運(yùn)動類型不能獲得立體感，或立體圖像的運(yùn)動不自然。
此外，當(dāng)使用MPEG編碼數(shù)據(jù)產(chǎn)生立體圖像時(shí)，上述現(xiàn)有方法應(yīng)該針對解碼圖像再次執(zhí)行運(yùn)動預(yù)測方法。因此，不使用包含在MPEG位流中的運(yùn)動信息。結(jié)果，由于再使用運(yùn)動預(yù)測方法，產(chǎn)生立體圖像的算法和硬件變得復(fù)雜。
為了解決上述問題，本發(fā)明的一個(gè)目的是提供一種方法，用于即使對于各種運(yùn)動類型的圖像，也產(chǎn)生具有自然和穩(wěn)定立體感的最優(yōu)立體圖像。
本發(fā)明的另一個(gè)目的是提供一種裝置，用于即使對于各種運(yùn)動類型的圖像，也產(chǎn)生具有自然和穩(wěn)定立體感的最優(yōu)立體圖像。
本發(fā)明的另一個(gè)目的是提供一種方法，用于通過使用編碼的MPEG數(shù)據(jù)，即使對于各種運(yùn)動類型的圖像，也有效產(chǎn)生具有自然和穩(wěn)定立體感的最優(yōu)立體圖像。
本發(fā)明的另一個(gè)目的是提供一種裝置，用于通過使用編碼的MPEG數(shù)據(jù)，即使對于各種運(yùn)動類型的圖像，也產(chǎn)生具有自然和穩(wěn)定立體感的最優(yōu)立體圖像。
為了完成本發(fā)明的目的，提供了一種從圖像數(shù)據(jù)產(chǎn)生立體圖像的立體圖像產(chǎn)生方法，該方法包括下列步驟(a)使用按照圖像數(shù)據(jù)的每個(gè)畫面中的運(yùn)動矢量，將當(dāng)前畫面的運(yùn)動類型確定為靜止畫面、非水平運(yùn)動畫面、水平運(yùn)動畫面和快速運(yùn)動畫面中的一種；(b)使用根據(jù)所述圖像數(shù)據(jù)的先前畫面和所述確定的運(yùn)動類型，產(chǎn)生對應(yīng)于當(dāng)前畫面的混合畫面，并且輸出所述當(dāng)前畫面和所述混合畫面；和(c)接收所述輸出的當(dāng)前畫面和所述混合畫面，并且按照在步驟(a)確定的所述運(yùn)動類型，將所述當(dāng)前畫面確定為形成立體圖像的左畫面和右畫面中的一個(gè)，并且將所述混合畫面確定為另一個(gè)。
為了實(shí)現(xiàn)本發(fā)明的另一個(gè)目的，還提供了一種從立體圖像數(shù)據(jù)產(chǎn)生立體圖像的立體圖像產(chǎn)生裝置，該裝置包括運(yùn)動類型確定器，使用按照圖像數(shù)據(jù)的每個(gè)畫面中的運(yùn)動矢量，將當(dāng)前畫面的運(yùn)動類型確定為靜止畫面、非水平運(yùn)動畫面、水平運(yùn)動畫面和快速運(yùn)動畫面中的一種；立體圖像產(chǎn)生器，使用根據(jù)所述圖像數(shù)據(jù)的先前畫面和所述確定的運(yùn)動類型，產(chǎn)生對應(yīng)于當(dāng)前畫面的混合畫面，并且輸出所述當(dāng)前畫面和所述混合畫面；左/右畫面確定器，接收從所述立體圖像產(chǎn)生器輸出的當(dāng)前畫面和混合畫面，并且按照在運(yùn)動類型確定器中確定的所述運(yùn)動類型，將所述當(dāng)前畫面確定為形成立體圖像的左畫面和右畫面中的一個(gè)，并且將所述混合畫面確定為另一個(gè)。
為了實(shí)現(xiàn)本發(fā)明的另一個(gè)目的，還提供了一種立體圖像產(chǎn)生方法，用于使用包含I、B和P畫面的MPEG編碼數(shù)據(jù)，產(chǎn)生立體圖像，該方法包括下列步驟(a)接收所述編碼的畫面數(shù)據(jù)，并且產(chǎn)生和存儲對應(yīng)于該畫面中的宏塊的運(yùn)動矢量；(b)存儲K個(gè)從所述編碼的畫面數(shù)據(jù)中再現(xiàn)的畫面；(c)使用在步驟(a)中獲得的所述運(yùn)動矢量，將對應(yīng)于當(dāng)前畫面的運(yùn)動類型確定為靜止畫面、非水平運(yùn)動畫面、水平運(yùn)動畫面和快速運(yùn)動畫面中的一種；(d)使用在步驟(b)存儲的先前畫面和在步驟(c)確定的所述運(yùn)動類型，產(chǎn)生對應(yīng)于所述當(dāng)前畫面的混合畫面，并且輸出所述當(dāng)前畫面和所述混合畫面；和(e)接收從步驟(d)輸出的所述當(dāng)前畫面和所述混合畫面，并且將所述當(dāng)前畫面確定為形成立體圖像的左畫面和右畫面中的一個(gè)，將所述混合畫面確定為另一個(gè)。
為了實(shí)現(xiàn)本發(fā)明的另一個(gè)目的，還提供了一種立體圖像產(chǎn)生裝置，用于使用包含I、B和P畫面的MPEG編碼數(shù)據(jù)，產(chǎn)生立體圖像，所述裝置包括運(yùn)動矢量產(chǎn)生和存儲單元，接收所述編碼的畫面數(shù)據(jù)，并且產(chǎn)生和存儲對應(yīng)于該畫面中的宏塊的運(yùn)動矢量；畫面存儲單元，存儲K個(gè)從所述編碼的畫面數(shù)據(jù)中再現(xiàn)的畫面；運(yùn)動類型確定器，使用在所述運(yùn)動矢量產(chǎn)生和存儲單元中產(chǎn)生的、對應(yīng)于所述當(dāng)前畫面的所述運(yùn)動矢量，將對應(yīng)于當(dāng)前畫面的運(yùn)動類型確定為靜止畫面、非水平運(yùn)動畫面、水平運(yùn)動畫面和快速運(yùn)動畫面中的一種；立體圖像產(chǎn)生器，使用在畫面存儲單元中存儲的所述先前畫面和在所述運(yùn)動類型確定器中確定的所述運(yùn)動類型，產(chǎn)生對應(yīng)于所述當(dāng)前畫面的混合畫面，并且輸出所述當(dāng)前畫面和所述混合畫面；和左/右畫面確定器，接收從所述立體圖像產(chǎn)生器輸出的所述當(dāng)前畫面和所述混合畫面，并且將所述當(dāng)前畫面確定為形成立體圖像的所述左畫面和所述右畫面中的一個(gè)，將所述混合畫面確定為另一個(gè)。
最好是，運(yùn)動矢量產(chǎn)生步驟和運(yùn)動矢量產(chǎn)生器分析MPEG編碼位流的GOP(畫面組)中的首標(biāo)，以提取I、B和P畫面，并且提取和產(chǎn)生對應(yīng)于每個(gè)畫面宏塊的運(yùn)動矢量，以形成一運(yùn)動矢量場。
此處，最好是，從來自對應(yīng)于一對應(yīng)畫面的MPEG位流中逐個(gè)宏塊地提取、內(nèi)插并且產(chǎn)生B畫面和P畫面的運(yùn)動矢量，并且使用按照先前B畫面的宏塊的運(yùn)動矢量，產(chǎn)生I畫面幀內(nèi)編碼的運(yùn)動矢量。
最好是，運(yùn)動類型確定步驟和運(yùn)動類型確定器分析當(dāng)前畫面的運(yùn)動矢量場，以將當(dāng)前畫面的運(yùn)動類型確定為沒有移動的靜止畫面、攝像機(jī)和/或物體在非水平方向移動的非水平運(yùn)動畫面、攝像機(jī)和/或物體在水平方向移動的水平運(yùn)動畫面、和具有快速移動的快速運(yùn)動畫面中的一種。
在此，將畫面的運(yùn)動類型確定為靜止畫面和運(yùn)動畫面中的一種的步驟最好是，根據(jù)在畫面的全部宏塊中、由水平運(yùn)動分量和垂直運(yùn)動分量均為零的靜止宏塊占據(jù)的比率，分析畫面的運(yùn)動矢量場，并且確定運(yùn)動類型。
在此，將畫面的運(yùn)動類型確定為非水平運(yùn)動畫面和水平運(yùn)動畫面中的一種的步驟最好是，分析畫面的運(yùn)動矢量場，并且根據(jù)在畫面的全部宏塊中、由基于最大垂直會聚閾值角和最大水平視差閾值的非水平宏塊占據(jù)的比率，確定運(yùn)動類型。
將畫面的運(yùn)動類型確定為快速運(yùn)動畫面和水平運(yùn)動畫面中的一種的步驟最好是，分析畫面的運(yùn)動矢量場，并且根據(jù)在畫面的全部宏塊中、由基于最大水平視差閾值的快速運(yùn)動宏塊占據(jù)的比率，確定運(yùn)動類型。
最好是，立體圖像產(chǎn)生器至少包括混合靜止畫面產(chǎn)生器、混合非水平運(yùn)動畫面產(chǎn)生器、混合快速運(yùn)動畫面產(chǎn)生器、混合水平運(yùn)動畫面產(chǎn)生器中的一個(gè)，所述靜止畫面產(chǎn)生器，用于產(chǎn)生確定為靜止畫面的當(dāng)前畫面的立體圖像，所述混合非水平運(yùn)動畫面產(chǎn)生器，用于產(chǎn)生確定為非水平運(yùn)動畫面的當(dāng)前畫面的立體圖像，所述混合快速運(yùn)動畫面產(chǎn)生器，用于產(chǎn)生確定為快速運(yùn)動畫面的當(dāng)前畫面的立體圖像，所述混合水平運(yùn)動畫面產(chǎn)生器，用于產(chǎn)生確定為水平運(yùn)動畫面的當(dāng)前畫面的立體圖像。
在此，對應(yīng)于確定為靜止畫面的當(dāng)前畫面的立體圖像產(chǎn)生步驟，基于靜止畫面中每個(gè)預(yù)定塊的亮度和/或其標(biāo)準(zhǔn)偏差，分配彼此不同的深度信息，將分配的深度信息轉(zhuǎn)換成水平視差，并且產(chǎn)生相應(yīng)于靜止畫面的混合畫面。
在此，在攝像機(jī)和物體二者在非水平運(yùn)動畫面中移動的情況下，產(chǎn)生對應(yīng)于確定為非水平運(yùn)動畫面的當(dāng)前畫面的立體圖像的步驟最好是，在運(yùn)動方向與攝像機(jī)運(yùn)動方向相同的宏塊和運(yùn)動方向與攝像機(jī)運(yùn)動方向不相同的宏塊之間，分配彼此不同的每個(gè)視差值，由此產(chǎn)生混合畫面。在只有物體在非水平運(yùn)動畫面上移動的情況下，產(chǎn)生對應(yīng)于確定為非水平運(yùn)動畫面的當(dāng)前畫面的立體圖像步驟最好是，在運(yùn)動宏塊和靜止宏塊之間分配彼此不同的每個(gè)視差值，由此產(chǎn)生混合畫面。在只有攝像機(jī)在非水平運(yùn)動畫面中移動的情況下，產(chǎn)生對應(yīng)于確定為非水平運(yùn)動畫面的當(dāng)前畫面的立體圖像步驟最好是，通過使用按照當(dāng)前宏塊邊緣特性的外圍邊緣宏塊和先前畫面宏塊的運(yùn)動矢量，獲得對應(yīng)于每個(gè)當(dāng)前宏塊的每個(gè)視差值，由此產(chǎn)生混合畫面。
在此，產(chǎn)生對應(yīng)于確定為快速運(yùn)動畫面的當(dāng)前畫面的立體圖像的步驟最好是，將當(dāng)前畫面中快速運(yùn)動宏塊的運(yùn)動矢量轉(zhuǎn)換成最大水平視差值，在水平方向上移動轉(zhuǎn)換的結(jié)果，并且將水平移動的結(jié)果與緊鄰的先前畫面混合，由此產(chǎn)生對應(yīng)于快速運(yùn)動畫面的混合畫面。
在此，產(chǎn)生對應(yīng)于確定為水平運(yùn)動畫面的當(dāng)前畫面的立體圖像的步驟最好是，根據(jù)基于心理物理學(xué)理論的最大水平視差閾值和當(dāng)前畫面中預(yù)定水平運(yùn)動速度值，將先前畫面確定為對應(yīng)于水平運(yùn)動畫面的混合畫面。
最好是，在當(dāng)前畫面的運(yùn)動類型確定為水平運(yùn)動畫面的情況下，自適應(yīng)根據(jù)在水平運(yùn)動畫面中攝像機(jī)和/或物體的運(yùn)動類型，左/右畫面確定步驟和確定器選擇模式A或模式B，由此確定形成立體圖像的左畫面和右畫面，對于模式A，當(dāng)前畫面確定為左畫面，并且先前畫面確定為右畫面，對于模式B，當(dāng)前畫面確定為右畫面，并且先前畫面確定為左畫面。在當(dāng)前畫面的運(yùn)動類型不是水平運(yùn)動畫面的情況下，最好是，當(dāng)前畫面確定為左畫面，和混合畫面確定為右畫面。
在此，對應(yīng)于確定為水平運(yùn)動畫面的當(dāng)前畫面，模式A或模式B的確定最好是，將當(dāng)前畫面對分成是邊緣區(qū)域的第一確定區(qū)域和是中央?yún)^(qū)域的第二確定區(qū)域，并且基于(分別屬于第一和第二確定區(qū)域)的每個(gè)宏塊的每個(gè)水平運(yùn)動矢量方向、宏塊的數(shù)目和分布。
最好是，按照本發(fā)明的立體圖像產(chǎn)生方法和裝置，自適應(yīng)根據(jù)先前畫面的運(yùn)動類型和對應(yīng)于當(dāng)前畫面的運(yùn)動矢量的每種組合，再確定在運(yùn)動類型確定器中最初確定的當(dāng)前畫面的運(yùn)動類型，以便顯著減少時(shí)間上連續(xù)的立體圖像之間的抖動，并且由此執(zhí)行立體圖像的產(chǎn)生和/或左/右畫面的確定。
通過參照附圖詳細(xì)描述優(yōu)選實(shí)施例，本發(fā)明的上述目的和其它優(yōu)點(diǎn)將變得更清楚，其中

圖1是按照本發(fā)明優(yōu)選實(shí)施例的MPEG數(shù)據(jù)立體圖像產(chǎn)生裝置的方框圖；圖2是詳細(xì)表示運(yùn)動矢量產(chǎn)生器結(jié)構(gòu)的方框圖；圖3示出了與I畫面宏塊重疊的B畫面宏塊的重疊；圖4示出了用來產(chǎn)生I畫面運(yùn)動矢量的運(yùn)動矢量的方向；圖5是運(yùn)動類型確定器和立體圖像產(chǎn)生器的詳細(xì)結(jié)構(gòu)的方框圖；圖6是用于解釋靜止畫面和運(yùn)動畫面確定的流程圖；圖7是用于解釋非水平運(yùn)動畫面和水平運(yùn)動畫面的確定的流程圖；圖8示出了最大垂直會聚(fusion)閾值角和最大垂直視差之間的關(guān)系；圖9是解釋快速運(yùn)動畫面的確定的流程圖；圖10示出了最大水平聚度閾值角和最大水平視差之間的關(guān)系；圖11是用于解釋將水平運(yùn)動畫面轉(zhuǎn)換成立體圖像的方法的流程圖；圖12示出了一畫面區(qū)域被分成主確定區(qū)域和次確定區(qū)域；圖13是用于解釋將非水平運(yùn)動畫面轉(zhuǎn)換成立體圖像的方法的流程圖；圖14示出了用于邊緣方向確定的方向?yàn)V波器T1-T5；圖15是用于解釋將快速運(yùn)動畫面轉(zhuǎn)換成立體圖像的方法的流程圖；圖16是用于解釋將靜止畫面轉(zhuǎn)換成立體圖像的方法的流程圖；圖17是按照本發(fā)明的優(yōu)選實(shí)施例使用MPEG數(shù)據(jù)的立體圖像產(chǎn)生裝置的方框圖，其中該優(yōu)選實(shí)施例是圖1實(shí)施例的改進(jìn)；圖18是用于簡要解釋圖17中的運(yùn)動類型再確定器的操作的流程圖；圖19是用于解釋在先前畫面的運(yùn)動類型是非水平運(yùn)動畫面的情況下，當(dāng)前畫面運(yùn)動類型的再確定的流程圖；圖20是用于解釋在先前畫面的運(yùn)動類型是水平運(yùn)動畫面的情況下，當(dāng)前畫面運(yùn)動類型的再確定的流程圖；圖21是先前畫面的運(yùn)動類型與當(dāng)前畫面的運(yùn)動類型相同的情況下，當(dāng)前畫面運(yùn)動類型的再確定的流程圖。
將參照附圖，描述本發(fā)明的優(yōu)選實(shí)施例。
圖1是按照本發(fā)明優(yōu)選實(shí)施例的MPEG數(shù)據(jù)立體圖像產(chǎn)生裝置的方框圖。圖1所示的裝置包括畫面提取器100；運(yùn)動矢量產(chǎn)生器110；運(yùn)動矢量場形成器120；運(yùn)動類型確定器130；立體圖像產(chǎn)生器140；左/右畫面確定器150；先前畫面存儲器160和數(shù)字模擬轉(zhuǎn)換器(DAC)170和180。
當(dāng)MPEG編碼數(shù)據(jù)位流輸入時(shí)，畫面提取器100使用在輸入位流的畫面首標(biāo)中的3位代碼，識別畫面的種類。畫面首標(biāo)中的3位代碼表示幀畫面或場畫面的種類。例如，如果3位代碼是001，該畫面是I畫面。如果3為代碼是010，該畫面是P畫面。如果3位代碼是100，該畫面是B畫面。畫面提取器110從MPEG編碼位流中提取I、P和B畫面數(shù)據(jù)，并且將該畫面數(shù)據(jù)提供給運(yùn)動矢量產(chǎn)生器110和先前畫面存儲器160。
運(yùn)動矢量產(chǎn)生器110從位流中提取在I、B和P畫面中每個(gè)宏塊的運(yùn)動矢量，并且為沒有運(yùn)動矢量的宏塊參照其它畫面的數(shù)據(jù)，產(chǎn)生一運(yùn)動矢量。由于I畫面是幀內(nèi)編碼畫面，在I畫面中不存在運(yùn)動矢量。于是，使用先前B畫面的運(yùn)動矢量，提取運(yùn)動矢量。由于P和B畫面是幀間編碼畫面，它們具有自己的運(yùn)動矢量。于是，可使用MPEG標(biāo)準(zhǔn)的現(xiàn)有運(yùn)動矢量提取方法，獲得運(yùn)動矢量。
在M是3的情況下，在輸入到MPEG編碼器的原始圖像中GOP的畫面序列如下…B0B1P2B3B4I5B6B7P8B9B10P11…在輸入到MPEG解碼器的圖像中GOP畫面序列符合下列編碼順序…P2B0B1I5B3B4P8B6B7P11B9B10…編碼器使用I5對于畫面B3和B4執(zhí)行后向運(yùn)動預(yù)測。于是，為了提取畫面I5的宏塊運(yùn)動矢量，使用在編碼器中獲得的先前畫面B3和B4的運(yùn)動矢量。表1示出了原始圖像序列的MPEG標(biāo)準(zhǔn)中I、B和P畫面的顯示順序和為編碼圖像序列的解碼器輸入順序。
表1
條目(a)表示MPEG畫面的顯示順序，條目(b)表示MPEG畫面的解碼器輸入順序。
當(dāng)在畫面提取器100中提取B畫面時(shí)，B畫面運(yùn)動矢量提取器200從對應(yīng)于相應(yīng)B畫面的位流中提取每個(gè)宏塊中的運(yùn)動矢量。B畫面運(yùn)動矢量產(chǎn)生器210以后面描述的方式標(biāo)度提取的宏塊運(yùn)動矢量，并且使用內(nèi)插方法，產(chǎn)生由于幀內(nèi)編碼例如B畫面中的強(qiáng)制幀內(nèi)編碼而沒有運(yùn)動矢量的宏塊的運(yùn)動矢量。
首先，下面將描述標(biāo)度從B畫面位流提取的宏塊運(yùn)動矢量的方法。B畫面運(yùn)動矢量產(chǎn)生器210標(biāo)度關(guān)于N和M的提取的宏塊運(yùn)動矢量，其中N是由GOP組成的幀數(shù)目，而M是I/P畫面和P畫面之間的畫面間隔。假定M=3，在表1的條目(a)中，B3距前向預(yù)測的P2有一個(gè)畫面間隔的距離，距后向預(yù)測的I5有兩個(gè)畫面間隔的距離。同時(shí)，B4距前向預(yù)測的P2有兩個(gè)畫面間隔的距離，并且距后向預(yù)測的I5一個(gè)畫面間隔的距離。參照畫面間隔M標(biāo)度的B3的運(yùn)動矢量可利用如下列等式1來獲得。(dBx,dBy)s=1M-2(dBx,dBy)f+1M-1(dBx,dBy)r-----…(1)]]>在此，從雙向預(yù)測的特定宏塊中同時(shí)或選擇性地提取兩個(gè)運(yùn)動矢量(dBx,dBy)r和(dBx,dBy)r。已經(jīng)由等式1標(biāo)度的運(yùn)動矢量(dBx,dBy)s包括B畫面中的宏塊類型中的所有前向幀間預(yù)測編碼類型、后向幀間預(yù)測編碼類型和雙向預(yù)測內(nèi)插幀間預(yù)測編碼類型。通過等式1獲得的運(yùn)動矢量(dBx,dBy)s變成本發(fā)明中使用的相應(yīng)宏塊的運(yùn)動矢量值。
同樣，通過下列等式2可獲得被標(biāo)度的B4的運(yùn)動矢量。(dBx,dBy)s=1M-1(dBx,dBy)f+1M-2(dBx,dBy)r----…(2)]]>同時(shí)，使用內(nèi)插方法產(chǎn)生按照B畫面中的幀內(nèi)編碼的沒有運(yùn)動矢量的宏塊的運(yùn)動矢量。由于很好地理解本發(fā)明的技術(shù)概念的本領(lǐng)域普通技術(shù)人員可清楚理解內(nèi)插方法，將忽略其詳細(xì)描述。
對應(yīng)于B畫面中的所有宏塊的運(yùn)動矢量(已經(jīng)在B畫面運(yùn)動矢量產(chǎn)生器210中標(biāo)度或內(nèi)插)存儲在B畫面運(yùn)動矢量存儲器220中，并且輸入到圖1的運(yùn)動矢量場形成器120。
當(dāng)在畫面提取器100中提取P畫面時(shí)，P畫面運(yùn)動矢量提取器240從位流中提取P畫面中的宏塊的運(yùn)動矢量。P畫面中的宏塊在編碼器中用先前I畫面或P畫面進(jìn)行前向幀間預(yù)測編碼和幀內(nèi)編碼。因此，在P畫面中的所有宏塊中，從P畫面運(yùn)動矢量提取器240中提取的運(yùn)動矢量的宏塊類型變成前向預(yù)測編碼類型，并且沒有提取的運(yùn)動矢量的宏塊類型是幀內(nèi)編碼類型。
P畫面運(yùn)動矢量產(chǎn)生器250以后面描述的方式，標(biāo)度從對應(yīng)于P畫面的位流中提取的宏塊運(yùn)動矢量，如同在B畫面的情況。使用內(nèi)插方法產(chǎn)生按照P畫面中的幀內(nèi)編碼而沒有運(yùn)動矢量的宏塊的運(yùn)動矢量。
具體地說，在P畫面的運(yùn)動矢量標(biāo)度中，應(yīng)該考慮P畫面和運(yùn)動預(yù)測先前I/P畫面之間的畫面間隔M，其用來在編碼器中預(yù)測P畫面的運(yùn)動矢量。這是因?yàn)?，在后面要描述的立體圖像產(chǎn)生之前或之后的畫面之間要保持恒定量的移動。這樣，P畫面宏塊的被標(biāo)度運(yùn)動矢量可在計(jì)入畫面間隔M的下列等式3中獲得。(dPx,dPy)s=1M(dPx,dPy)-----…(3)]]>在此，考慮在編碼器中用在預(yù)測編碼中的恒定畫面間隔M，為運(yùn)動矢量(dPx,dPy)標(biāo)度被標(biāo)度運(yùn)動矢量(dPx,dPy)s，運(yùn)動矢量(dPx,dPy)在先前I/P畫面和當(dāng)前P畫面之間被前向預(yù)測。
在P畫面運(yùn)動矢量產(chǎn)生器215中已經(jīng)標(biāo)度或內(nèi)插的、對應(yīng)于P畫面中所有宏塊的運(yùn)動矢量輸入到圖1的運(yùn)動矢量場形成器120。
存儲在B畫面運(yùn)動矢量存儲器220中的運(yùn)動矢量用來使I畫面運(yùn)動矢量產(chǎn)生器230產(chǎn)生對應(yīng)于I畫面中的宏塊的運(yùn)動矢量。由于I畫面中的所有宏塊是幀內(nèi)編碼的，沒有運(yùn)動矢量存在。于是，為了產(chǎn)生I畫面的運(yùn)動矢量，應(yīng)該等到在編碼器中參照I畫面、在B畫面運(yùn)動矢量提取器200和B畫面運(yùn)動矢量產(chǎn)生器250中獲得在后向運(yùn)動預(yù)測B畫面中所有宏塊的運(yùn)動矢量。在I畫面中每個(gè)宏塊的運(yùn)動矢量(dx,dy)I可如下獲得。
諸如從表1的序列可看出，沒有運(yùn)動矢量的I5的運(yùn)動矢量可使用位流中具有運(yùn)動信息的先前P和B畫面獲得。
參照表1,I畫面運(yùn)動矢量產(chǎn)生器230使用先前畫面B3和B4獲得I5的運(yùn)動矢量，這對于最小化時(shí)間延遲和保證可靠性是最好的。這是基于這樣的事實(shí)，畫面B3和B4在編碼器中已經(jīng)參照畫面I5直接預(yù)測編碼，并且時(shí)間上相近。例如，盡管表1中畫面P2、B0和B1在時(shí)間上早于畫面B3和B4，編碼器不直接參照畫面I5。因此，降低了可靠性。畫面P8、B6和B7在解碼器輸入序列中和顯示序列中晚于畫面B3和B4，這樣，延遲時(shí)間增加，盡管編碼器直接參照畫面I5。于是，考慮編碼器中的所有參考、解碼器輸入序列和顯示序列，使用B3和B4的運(yùn)動矢量獲得I5的運(yùn)動矢量是最好的。
因此，最好是，按照本發(fā)明的I畫面運(yùn)動矢量產(chǎn)生器230使用剛好在任何I畫面之前的后向預(yù)測B畫面，產(chǎn)生運(yùn)動矢量。提供了下列三種詳細(xì)方法。
方法1考慮方向的加權(quán)值的使用首先，時(shí)間上較晚輸入到解碼器的B4的運(yùn)動矢量按原樣使用，以獲得I5的運(yùn)動矢量。然而，該方法僅能在假定所有宏塊線性移動的情況下使用。此外，由于由B畫面的宏塊參照的I畫面的宏塊沒有以宏塊為單位精確對齊，所以獲得的運(yùn)動矢量值不是所需宏塊的運(yùn)動矢量值。
于是，在塊被移動可被使用的B畫面的運(yùn)動矢量值之后，與I畫面的當(dāng)前宏塊重疊的B畫面宏塊的信息用來計(jì)算I畫面宏塊的運(yùn)動矢量值。在圖3中，MB(x,y,k-1)表示具有運(yùn)動矢量的、是先前畫面的B畫面的宏塊，MB(x,y,k)用來表示獲得當(dāng)前運(yùn)動矢量的I畫面的宏塊。由于箭頭標(biāo)記表示運(yùn)動矢量的方向，MB1和MB2彼此具有相同的運(yùn)動矢量，但是MB3具有不同的運(yùn)動矢量。因此，如在MB3中，運(yùn)動矢量方向不同于整個(gè)運(yùn)動矢量方向的宏塊不是侯選對象。因此，能夠避免從具有小相關(guān)的區(qū)域中獲得運(yùn)動矢量。此外，由于運(yùn)動矢量的方向能夠以各種方式存在，最好將它們分類成四個(gè)區(qū)域，如圖4所示。此外，當(dāng)運(yùn)動矢量定義為(dx,dy)時(shí)，使用下列等式4可計(jì)算運(yùn)動矢量的方向，并且被計(jì)算方向劃分成左上、右上、左下和右下中的一種，如圖4所示。 I畫面的運(yùn)動矢量獲得如下。Fk和Fk-1分別表示當(dāng)前畫面和先前畫面。N表示至少部分與需要獲得運(yùn)動矢量的I畫面的宏塊MB(x,y,k)重疊并且運(yùn)動矢量方向彼此相同的B畫面宏塊的數(shù)目。Ln=[Lxn,Lyn]T表示對應(yīng)于在x軸和y軸上與MB(x,y,k)重疊部分的長度的象素?cái)?shù)目。使用下列等式5獲得Ln=[Lxn,Lyn]T的加權(quán)值w=[wx,wy]T(wxiwyi)T=(LxiΣi=1NLxiLyiΣi=1NLyi)T(i=1…N)----…(5)]]>在此，T是轉(zhuǎn)置。
然后，使用在等式5中獲得的加權(quán)值，獲得I畫面的運(yùn)動矢量，如下列等式6。 方法2在x軸和y軸的每個(gè)軸上的加權(quán)值的使用除了在方法1中考慮方向之外，只使用加權(quán)值的該計(jì)算方法與方法1相同。即，只具有特定方向的運(yùn)動矢量的宏塊不予考慮，但是考慮重疊的所有宏塊，由此獲得I畫面的運(yùn)動矢量。
方法3作為加權(quán)值的區(qū)域的使用方法3與方法2相同，其中不獲得針對x軸和y軸每個(gè)軸的加權(quán)值，但是與需要的宏塊重疊的所有宏塊的區(qū)域，即象素?cái)?shù)被看作加權(quán)值，以計(jì)算I畫面的運(yùn)動矢量。
由上述方法中的一種產(chǎn)生的I畫面內(nèi)所有宏塊的運(yùn)動矢量提供給運(yùn)動矢量場形成器120。
如果獲得在I、B和P畫面中宏塊的運(yùn)動矢量，運(yùn)動矢量場形成器120形成運(yùn)動矢量場，該運(yùn)動矢量場由對應(yīng)于每個(gè)畫面中所有宏塊的運(yùn)動矢量構(gòu)成。運(yùn)動矢量場表達(dá)為陣列或集合。在此，場的概念區(qū)別于作為一種畫面的場。
如果形成運(yùn)動矢量場，運(yùn)動類型確定器130將運(yùn)動分析方法應(yīng)用到逐畫面運(yùn)動矢量場，該逐畫面運(yùn)動矢量場存儲在運(yùn)動矢量場形成器120或從該運(yùn)動矢量場形成器輸出，運(yùn)動類型確定器130確定當(dāng)前畫面的運(yùn)動類型為多種運(yùn)動類型中的一種，并且將結(jié)果輸出到立體圖像產(chǎn)生器140。在此，上述運(yùn)動類型分類成沒有移動的靜止畫面、攝像機(jī)和/或物體在非水平方向上移動的非水平運(yùn)動畫面、具有快速移動的快速運(yùn)動畫面、及攝像機(jī)和/或物體在水平方向上移動的水平運(yùn)動畫面。運(yùn)動類型確定器130包括運(yùn)動/靜止畫面確定器500、水平/非水平運(yùn)動畫面確定器510、和水平/快速運(yùn)動畫面確定器520，如圖5所示。圖5中所示的混合靜止畫面產(chǎn)生器530、混合非水平運(yùn)動畫面產(chǎn)生器540、混合快速運(yùn)動畫面產(chǎn)生器550和混合水平運(yùn)動畫面產(chǎn)生器560形成圖1所示的立體圖像產(chǎn)生器140。
下面將參照圖6描述圖5中所示的運(yùn)動/靜止畫面確定器500的操作。運(yùn)動/靜止畫面確定器500分析運(yùn)動矢量場，并且確定當(dāng)前畫面為靜止畫面和運(yùn)動畫面中的一種。參照圖6，運(yùn)動/靜止畫面確定器500計(jì)算當(dāng)前畫面的運(yùn)動矢量(dx,dy)中水平分量和垂直分量都為零的宏塊(即，運(yùn)動矢量都是(0,0)的、稱作靜止宏塊的宏塊)的數(shù)目N0(步驟600)，計(jì)算在當(dāng)前畫面中的總宏塊的數(shù)目NMB(步驟610)，并且使用下列等式7，獲得畫面中靜止宏塊數(shù)N0相對于總宏塊數(shù)NMB的比率αs(步驟620)。此外，靜止宏塊包括在MPEG編碼中使用的“NO-MC”宏塊，即，不執(zhí)行運(yùn)動補(bǔ)償(MC)的宏塊。αs=NONMB-----…(7)]]>然后，如果在步驟620中獲得的αs的值大于閾值Ts，運(yùn)動/靜止畫面確定器500確定當(dāng)前畫面的運(yùn)動類型為靜止畫面，并且如果前者不大于后者，將當(dāng)前畫面的運(yùn)動類型確定為運(yùn)動畫面(步驟630)。在此，閾值Ts=
。例如，在Ts=0.9的情況下，如果靜止宏塊的區(qū)域是總區(qū)域的90％以上，當(dāng)前畫面確定為靜止畫面，如果不是，確定為運(yùn)動畫面。在步驟630的鑒別結(jié)果中，如果當(dāng)前畫面的運(yùn)動類型是靜止畫面，包含運(yùn)動矢量的當(dāng)前畫面的數(shù)據(jù)輸入到混合靜止畫面產(chǎn)生器530，并且如果當(dāng)前畫面的運(yùn)動類型是運(yùn)動畫面，則包含運(yùn)動矢量的當(dāng)前畫面的數(shù)據(jù)輸入到水平/非水平運(yùn)動畫面確定器510。
下面將參照圖7和圖8描述圖5中所示的水平/非水平運(yùn)動畫面確定器51 0的操作。水平/非水平運(yùn)動畫面確定器510基于心理物理學(xué)理論，將當(dāng)前畫面的運(yùn)動類型確定為非水平運(yùn)動類型和水平運(yùn)動類型中的一種。
按照本領(lǐng)域所知的心理物理學(xué)理論，如果圖像僅在水平方向移動，由于兩眼的水平視差，出現(xiàn)圖像深度感。同時(shí)，由于非水平移動的垂直視差是兩個(gè)匹配點(diǎn)之間的差值，其中每個(gè)匹配點(diǎn)稱為類同點(diǎn)(homologous point)。已知垂直視差使兩眼執(zhí)行圖像的會聚很難和不方便。通過心理物理實(shí)驗(yàn)，使得圖像能夠會聚的垂直視差的幅值已經(jīng)測量為最大垂直會聚閾值角θv,θv應(yīng)該至少在10′(弧度的弧分)角度以內(nèi)。通過其它實(shí)驗(yàn)，θv應(yīng)該滿足6′角度的垂直視差，并且在執(zhí)行圖像的會聚之后，觀察到盡管θv變成20′，圖像仍然穩(wěn)定會聚。
于是，在步驟700，將范圍從6′到20′的任何值設(shè)定為最大垂直會聚閾值角(θv)。對應(yīng)于θv的在顯示監(jiān)視器上的距離Lv是最大垂直視差閾值，使用與圖8有關(guān)的下列等式可獲得該閾值(步驟710)。Lv=2·D·tan(θv60·2)·(VyWy)----…(8)]]>在此，由于θv的單位是弧分，它應(yīng)該由60劃分，以便用度表示它。最大垂直視差閾值Lv的單位是象素。D是以cm為單位的可視距離。Ny是以象素為單位的畫面的垂直幅值。Wy是以cm為單位的在顯示監(jiān)視器上畫面的垂直長度。
如果確定畫面的非水平運(yùn)動的非常關(guān)鍵因數(shù)Lv在步驟710獲得，計(jì)算稱為非水平宏塊(其中，在當(dāng)前畫面中運(yùn)動矢量的垂直分量dy的幅值大于Lv)的宏塊的數(shù)目NLV(步驟720)，并且使用下列等式9獲得非水平宏塊NLV相對于總宏塊數(shù)目NMB的比率αv(步驟730)。αv=NLVNMB-----…(9)]]>如果在步驟730中獲得的當(dāng)前畫面的比率αv大于閾值Tv，水平/非水平運(yùn)動畫面確定器510將當(dāng)前畫面的運(yùn)動類型確定為非水平運(yùn)動畫面，并且如果不是，確定為水平運(yùn)動畫面(步驟740)。
αv和Tv是確定當(dāng)前畫面的運(yùn)動類型是水平運(yùn)動畫面還是非水平運(yùn)動畫面的非常關(guān)鍵因數(shù)。即使在實(shí)際立體圖像中以非水平方向移動的小物體也影響立體感。于是，在畫面中非水平宏塊的數(shù)目決定αv。通過實(shí)驗(yàn)，已經(jīng)觀察到在攝像機(jī)停止的狀態(tài)下非水平物體運(yùn)動使得人們的眼睛比在攝像機(jī)移動的狀態(tài)下更疲勞。這是因?yàn)楫嬅嬷徐o止區(qū)域和運(yùn)動區(qū)域的視差之間的差值在前一種情況下大，而在后一種情況下相對小。這樣，最好是，αv的閾值Tv在攝像機(jī)停止的狀態(tài)設(shè)定到0.05，并且在攝像機(jī)移動的狀態(tài)設(shè)定到0.15。在步驟740的鑒別結(jié)果中，如果當(dāng)前畫面的運(yùn)動類型是非水平運(yùn)動類型，包含運(yùn)動矢量的當(dāng)前畫面的數(shù)據(jù)提供給混合非水平運(yùn)動畫面產(chǎn)生器530，否則提供給水平/快速運(yùn)動畫面確定器520。
下面將參照圖9和10描述圖5中所示的水平/快速運(yùn)動畫面確定器520的操作。水平/快速運(yùn)動畫面確定器520將當(dāng)前畫面的運(yùn)動類型確定為具有快速移動的快速運(yùn)動畫面和具有非快速移動的水平運(yùn)動畫面中的一種。
首先，水平/快速運(yùn)動畫面確定器520確定不使人眼疲勞的最大水平視差值。通過心理物理學(xué)實(shí)驗(yàn)，水平會聚閾值角度θH對于負(fù)視差或交叉視差(crossed disparity)是近似27′角度，并且對于正視差或非交叉視差是24′角度。此外，似乎是在約2秒的時(shí)間間隔下人類視覺的會聚反應(yīng)大于視差值27′和24′。在此，由于負(fù)視差或交叉視差的概念以及正視差或非交叉視差的概念對于本領(lǐng)域技術(shù)人員是熟知的，將略去其詳細(xì)描述。此外，證明能夠由人類眼睛立體會聚的水平會聚閾值角度對于負(fù)視差約為4.93°，并且對于正視差約為1.57°。
于是，水平會聚閾值角度θH設(shè)定為上述值(步驟900)，這樣使用圖10的關(guān)系，由下列等式10獲得在顯示監(jiān)視器上最大水平閾值LH(步驟910)。LH=2·D·tan(θH2)·(NxWx)----…(10)]]>在此，D是人眼和屏幕之間的觀看距離。Nx表示畫面的水平幅值，并且Wx表示顯示監(jiān)視器上畫面的水平長度，兩者的單位是cm。
在此，由于通過等式10獲得的最大水平視差閾值LH是不使人眼疲勞的可會聚的最大閾值，更好地是，為其指定加權(quán)值。于是，使用相對于水平會聚閾值角度1.57°和4.93°指定加權(quán)值的等式11，計(jì)算最大水平視差閾值，該最大水平視差閾值是確定畫面快速移動的關(guān)鍵因數(shù)(步驟910)。 在此ω1+ω2=1。如果兩個(gè)加權(quán)值ω1和ω2均為1/2，由等式11獲得的最大水平視差閾值LH變成相對于水平會聚閾值角度1.57°和4.93°的平均值。
然后，水平/快速運(yùn)動畫面確定器520確定一個(gè)快速移動部分或多個(gè)快速移動部分，該快速移動部分使得在水平方向上移動的當(dāng)前畫面中難以會聚圖像。該確定方法基于心理物理學(xué)理論。更詳細(xì)地說，水平/快速運(yùn)動畫面確定器520計(jì)算在當(dāng)前畫面中的宏塊的運(yùn)動矢量中，其水平分量dx的絕對值大于由等式11獲得的LH的宏塊(以下稱為快速運(yùn)動宏塊)的數(shù)目NLH(步驟920)。并且使用下列等式12獲得畫面中快速運(yùn)動宏塊數(shù)目NLH相對于總宏塊數(shù)NMB的比率αH(步驟930)。αH=NLHNMB-----…(12)]]>水平/快速運(yùn)動畫面確定器520比較在步驟930中獲得當(dāng)前畫面的αH和閾值TH，如果在比較的結(jié)果中當(dāng)前畫面的比率αH大于閾值TH，將當(dāng)前畫面的運(yùn)動類型確定為快速運(yùn)動畫面，并且如果當(dāng)前畫面的比率αH不大于閾值TH，在確定為水平運(yùn)動畫面(步驟940)。在此，閾值TH是0.0和1.0之間的值。
如果當(dāng)前畫面的運(yùn)動類型是快速運(yùn)動畫面，水平/快速運(yùn)動畫面確定器520將包含運(yùn)動矢量的當(dāng)前畫面的數(shù)據(jù)提供給混合快速運(yùn)動畫面產(chǎn)生器550，并且如果當(dāng)前畫面的運(yùn)動類型是水平運(yùn)動畫面，在將包含運(yùn)動矢量的當(dāng)前畫面的數(shù)據(jù)提供給混合水平運(yùn)動畫面產(chǎn)生器560。
然后，圖5所示的混合運(yùn)動畫面產(chǎn)生器560的操作將參照圖11和12進(jìn)行描述。如果在水平/快速運(yùn)動畫面確定器520處，將當(dāng)前畫面的運(yùn)動類型確定為水平運(yùn)動畫面，混合水平運(yùn)動畫面產(chǎn)生器560從當(dāng)前畫面中獲得一延遲因數(shù)，并且將對應(yīng)于延遲因數(shù)的先前畫面確定為混合水平運(yùn)動畫面。然后，混合水平運(yùn)動畫面產(chǎn)生器560分析是水平運(yùn)動畫面的當(dāng)前畫面中攝像機(jī)和/或物體的運(yùn)動種類，并且按照分析的運(yùn)動種類確定當(dāng)前畫面和確定的先前畫面將由左眼和右眼中的哪個(gè)眼睛觀看。
參照圖11，混合水平運(yùn)動畫面產(chǎn)生器560計(jì)算當(dāng)前畫面的平均水平運(yùn)動速度或最大水平運(yùn)動速度，其中當(dāng)前畫面是水平運(yùn)動畫面(步驟1100)。平均水平運(yùn)動速度是所有水平運(yùn)動矢量分量(其中當(dāng)前畫面中運(yùn)動矢量的水平分量dx的值不是零)的絕對值的平均值，并且由下列等式13獲得。dx-=1NΣi=1N|dxi|----…(13)]]>在此，N是其中當(dāng)前畫面中運(yùn)動矢量的水平分量dx的值不是零的宏塊的數(shù)目。最大水平運(yùn)動速度dxmax是最大水平運(yùn)動矢量分量，并且由下列等式14獲得。
dxmax=maxi|dxi|i=1,2…N…(14)然后，混合水平運(yùn)動畫面產(chǎn)生器560確定對應(yīng)于當(dāng)前畫面的延遲畫面，即，與是水平運(yùn)動畫面的當(dāng)前畫面一起形成立體圖像的先前畫面(步驟1101)。在步驟1101中，最大水平運(yùn)動值dxmax和最大水平視差閾值LH相互比較，由此確定先前畫面。為了使用圖9的步驟910中獲得的LH形成立體圖像，選擇一個(gè)先前幀。為了確定此，計(jì)算一延遲因數(shù)。在當(dāng)前畫面的運(yùn)動類型是水平運(yùn)動畫面的情況下，形成立體圖像的當(dāng)前畫面和延遲畫面應(yīng)合適地被左眼和右眼觀看。延遲畫面被選擇為K個(gè)先前畫面中的一個(gè)，在時(shí)間軸上所述先前畫面比當(dāng)前畫面在時(shí)間上早。使用平均當(dāng)前畫面的水平運(yùn)動速度或最大水平運(yùn)動速度，獲得確定延遲畫面的延遲因數(shù)。使用平均水平運(yùn)動速度有一缺點(diǎn)，其中一個(gè)宏塊會大大影響立體感，而使用當(dāng)前畫面的最大水平運(yùn)動速度基于一優(yōu)點(diǎn)，其中確定的所有水平視差均小于最大水平視差閾值。因此，最好是，基于最大水平運(yùn)動速度確定水平運(yùn)動畫面的立體圖像的先前畫面。當(dāng)前畫面定義為Ik，并且先前畫面定義為Ik-n(n=1,2,…,∞)。使用延遲因數(shù)，如果水平運(yùn)動速度快，選擇接近當(dāng)前畫面的先前畫面，而如果水平運(yùn)動速度慢，選擇遠(yuǎn)離當(dāng)前畫面的先前畫面。由下列等式15獲得延遲因數(shù)fD。fD=ROUND[LHdxmax]----…(15)]]>在此，由于水平運(yùn)動畫面的最大水平運(yùn)動值dxmax不大于最大水平視差閾值LH，延遲因數(shù)fD的最小值是1。ROUND[]舍入算子。在小量的水平運(yùn)動情況下，由于下列等式15中的分母的值變小，延遲因數(shù)fD的值變大。
需要一存儲器存儲先前畫面。由于存儲器的容量有限，fD的最大值是K。該存儲器存儲K個(gè)先前畫面，其中，K的幅值基于LH自適應(yīng)確定。如果延遲因數(shù)fD由上述方法確定，用于形成立體圖像的先前畫面基于延遲因數(shù)確定。
如果完成步驟1101，混合水平運(yùn)動畫面產(chǎn)生器560用沿水平方向移動的當(dāng)前畫面Ik和對應(yīng)于當(dāng)前畫面的延遲的先前畫面Ik-fD形成一立體圖像。此處，在當(dāng)前畫面是水平運(yùn)動畫面的情況下，最好是，用當(dāng)前畫面和延遲的先前畫面形成一立體圖像。
同時(shí)，在當(dāng)前畫面的運(yùn)動類型是水平運(yùn)動畫面的情況下，按照當(dāng)前畫面中攝像機(jī)和/或物體的運(yùn)動種類，確定形成立體圖像的當(dāng)前畫面和延遲的先前畫面自適應(yīng)地被兩個(gè)眼睛的哪個(gè)眼睛觀看。在此，有兩種類型的確定當(dāng)前畫面為左畫面和右畫面中的一種的方法。第一方法是確定當(dāng)前畫面為左畫面和先前畫面為右畫面的方法，以下稱為模式“A”。第二方法是確定當(dāng)前畫面為右畫面和先前畫面為左畫面的方法，以下稱為模式“B”。當(dāng)水平運(yùn)動畫面的立體圖像形成時(shí)，確定模式“A”或模式“B”是很重要的。
按照當(dāng)前畫面中攝像機(jī)和/或物體的運(yùn)動種類確定上述模式“A”或“B”的方法的具體細(xì)節(jié)將參照圖11和12及表2到4描述。
表2
為了選擇模式“A”或模式“B”，首先應(yīng)該使用當(dāng)前畫面的運(yùn)動矢量場中運(yùn)動矢量的水平分量，確定當(dāng)前畫面中攝像機(jī)和/或物體的運(yùn)動種類。當(dāng)前畫面中現(xiàn)存的攝像機(jī)和/或物體的移動分成10類運(yùn)動，如表2所示。在表2中，有按照每個(gè)運(yùn)動種類的攝像機(jī)和/或物體的運(yùn)動方向，以及按照劃分的運(yùn)動種類自適應(yīng)確定的左畫面和右畫面。如果按照運(yùn)動矢量場的分析確定上述十類運(yùn)動，當(dāng)前畫面和先前畫面最終通過左眼/右眼或右眼/左眼顯示。
表2的運(yùn)動種類再主要分成模式“A”和模式“B”。運(yùn)動種類被劃分成模式“A”的情況是(2)攝像機(jī)左運(yùn)動，(3)物體右運(yùn)動，(5)攝像機(jī)右運(yùn)動和物體右運(yùn)動，或(8)攝像機(jī)左運(yùn)動和物體右運(yùn)動。模式“A”的情況示于下列表3中。
運(yùn)動種類被劃分成模式“B”的情況是(1)攝像機(jī)右運(yùn)動，(4)物體左運(yùn)動，(6)攝像機(jī)右運(yùn)動和物體左運(yùn)動，(7)攝像機(jī)左運(yùn)動和物體左運(yùn)動，(9)攝像機(jī)右運(yùn)動和物體在左和右運(yùn)動，或(10)攝像機(jī)左運(yùn)動和物體在左和右運(yùn)動。模式“B”的情況示于下列表4中。
表3
表4
這樣，本發(fā)明找出了將畫面的運(yùn)動矢量場分成模式“A”或模式“B”的確定因數(shù)。分析按照每個(gè)運(yùn)動種類的運(yùn)動矢量場。如果物體的運(yùn)動方向是右，不管攝像機(jī)的運(yùn)動，則無條件地選擇模式“A”。如果物體的運(yùn)動方向是左，不管攝像機(jī)的運(yùn)動，則無條件地選擇模式“B”。此外，如果攝像機(jī)是在左運(yùn)動狀態(tài)，并且物體沒有運(yùn)動狀態(tài)，選擇模式“A”，而如果攝像機(jī)是在右運(yùn)動狀態(tài)，并且物體沒有運(yùn)動狀態(tài)，選擇模式“B”。
同時(shí)，將參照圖11的步驟1102到1112和圖12描述確定當(dāng)前畫面中攝像機(jī)和/或物體的運(yùn)動種類的具體方法。
在圖11的流程圖中，如果在步驟1101確定一延遲畫面，當(dāng)前畫面劃分成主確定區(qū)域(PDA)和次確定區(qū)域(SDA)(步驟1102)。PDA是從圖12所示的總畫面區(qū)域中不包括內(nèi)部長方形[τNx,(1-τ)Nx]×[τNy,(1-τ)Ny]的區(qū)域。SDA是區(qū)域[τNx,(1-τ)Nx]×[τNy,(1-τ)Ny]。τ的值的范圍是
。PDA確定涉及整個(gè)畫面移動的攝像機(jī)運(yùn)動，例如背景的移動，并且SDA確定畫面中攝像機(jī)和/或物體的運(yùn)動。
確定攝像機(jī)運(yùn)動方向的PDA中宏塊的水平運(yùn)動矢量分量具有負(fù)標(biāo)記、零標(biāo)記和正標(biāo)記。在步驟1103中，PDA中每個(gè)宏塊的水平運(yùn)動分量按照步驟1103的標(biāo)記劃分。然后，計(jì)算負(fù)標(biāo)記數(shù)目、零標(biāo)記數(shù)目和正標(biāo)記數(shù)目(步驟1104)。這些數(shù)目分別定義為PDA
、PDA[1]和PDA[2]。PDA
、PDA[1]和PDA[2]中最大數(shù)目定義為PDA[i*](步驟1105)。在此，i*∈{0,1,2}。i*是第一方向，它是被確定為‘+’、‘0’和‘-’中之一的要在表3和4中使用的PDA中的運(yùn)動方向。結(jié)果在下面的步驟1112使用。
同時(shí)，分析SDA，這樣，畫面中物體和/或攝像機(jī)的運(yùn)動種類分成僅物體運(yùn)動、僅攝像機(jī)運(yùn)動和物體和攝像機(jī)兩者運(yùn)動。首先，劃分包含在SDA中宏塊運(yùn)動矢量的水平分量標(biāo)記(步驟1106)。然后，計(jì)算負(fù)標(biāo)記的數(shù)目、零標(biāo)記數(shù)目和正標(biāo)記數(shù)目(步驟1107)。這些數(shù)目定義為SDA
,SDA[1]和SDA[2]。在這些數(shù)目中，選擇除了對應(yīng)于PDA[i*]的SDA[i*]以外的兩個(gè)剩余數(shù)目的較大數(shù)目，并且定義為SDA[j*](步驟1108)。j*定義為第二方向。此外，選擇除了第二方向以外的兩個(gè)剩余數(shù)目的較大數(shù)目，并且可定義為第三方向。
在SDA中，攝像機(jī)和物體的運(yùn)動同時(shí)存在。這樣，研究關(guān)于第二方向的精確性。第二方向初始假定為物體運(yùn)動。在下列步驟中，應(yīng)該確定第二方向是物體運(yùn)動方向還是攝像機(jī)運(yùn)動方向。下列方法已經(jīng)使用。
首先，在SDA中，通過下列等式16計(jì)算在第一方向和第二方向中存在的數(shù)目的比率γSDA(步驟1111)。γSDA=SDA[j*]SDA[i*]----…(16)]]>其次，使用下列等式17，計(jì)算當(dāng)水平運(yùn)動分量在SDA中的水平范圍[τNx,(1-τ)Nx]內(nèi)均勻分布時(shí)的平方偏差σU2、相對于包含在第二方向中水平運(yùn)動分量的畫面中水平位置值的平方偏差σSDA2(在步驟1109中計(jì)算)的比率γσ(步驟1110)。γσ=σU2σSDA2-----…(17)]]>如果在步驟1111中獲得的γSDA大于閾值Tγ，在步驟1110中獲得的γσ大于1，第二方向不改變，或者，如果不滿足上述條件，第二方向可由第三方向代替。如果第二方向指出‘+’(右運(yùn)動)，或第一方向指出‘-’(左運(yùn)動)，并且第二方向指出‘0’(靜止?fàn)顟B(tài))，基于表3選擇模式“A”。在所有其它情況中，基于表4選擇模式“B”(步驟1112)。
在水平運(yùn)動畫面的情況下，如果如上所述，在左/右畫面確定器150中按照畫面中攝像機(jī)和/或物體的運(yùn)動種類確定出模式“A”或模式“B”，當(dāng)前畫面和延遲先前畫面顯示為適合于雙眼的立體圖像。
下面將參照圖13和14描述圖15中所示的混合非水平運(yùn)動畫面產(chǎn)生器540的操作。如果當(dāng)前畫面的運(yùn)動類型在水平/非水平運(yùn)動畫面確定器510中確定為非水平運(yùn)動畫面，混合非水平運(yùn)動畫面產(chǎn)生器540按照是非水平運(yùn)動畫面的當(dāng)前畫面中攝像機(jī)和/或物體的運(yùn)動種類，自適應(yīng)產(chǎn)生立體圖像。
參照圖13，混合非水平運(yùn)動畫面產(chǎn)生器540首先根據(jù)上面描述的在水平運(yùn)動畫面情況中的方法，判決是非水平運(yùn)動畫面的當(dāng)前畫面中攝像機(jī)和/或物體的運(yùn)動種類。
在步驟1300，如果是非水平運(yùn)動畫面的當(dāng)前畫面確定為攝像機(jī)和物體均移動的畫面，圖11的步驟1105中獲得的第一方向確定為攝像機(jī)運(yùn)動方向(步驟1301)，然后提取與攝像機(jī)運(yùn)動方向相對的靜止或運(yùn)動宏塊(步驟1302)。然后，相同的正視差值指定給具有攝像機(jī)運(yùn)動方向的宏塊，并且零視差指定給其它宏塊(步驟1303)。即，當(dāng)前畫面中的宏塊具有零視差或某些值的正視差。然后，宏塊在水平方向上移動確定的視差值(步驟1309)，由此產(chǎn)生混合畫面(步驟1310)。
在步驟1300和1304中，如果是非水平運(yùn)動畫面的當(dāng)前畫面確定為攝像機(jī)在靜止?fàn)顟B(tài)并且只有物體移動的畫面，相同的正視差值指定給靜止宏塊，并且零視差指定給運(yùn)動宏塊(步驟1305)。然后，宏塊在水平方向上移動確定的視差值(步驟1309)，由此產(chǎn)生關(guān)于非水平運(yùn)動畫面的混合畫面(步驟1310)。
在步驟1300和1304中，如果是非水平運(yùn)動畫面的當(dāng)前畫面確定為物體是在靜止?fàn)顟B(tài)、而只有攝像機(jī)運(yùn)動的畫面，校正標(biāo)記不同于攝像機(jī)的水平運(yùn)動分量標(biāo)記的運(yùn)動矢量(步驟1306)。為了獲得精確的運(yùn)動矢量，使用邊緣信息。在步驟1307中，確定宏塊的邊緣方向，這將參照圖14更詳細(xì)地描述。
1)以與圖11的步驟1105相同的方式確定攝像機(jī)運(yùn)動方向是左還是右。在宏塊的水平運(yùn)動矢量分量不同于攝像機(jī)運(yùn)動方向的情況下，校正運(yùn)動矢量。例如，如果當(dāng)前畫面中任何宏塊MB(n1,n2)的運(yùn)動矢量不同與攝像機(jī)運(yùn)動方向，相應(yīng)宏塊MB(n1,n2)的運(yùn)動矢量由先前宏塊MB(n1-1,n2)的運(yùn)動矢量代替。MB(n1+1,n2)不使用，因?yàn)殡y以實(shí)現(xiàn)。
2)檢驗(yàn)在當(dāng)前畫面中的每個(gè)宏塊中是否存在邊緣。此時(shí)，使用圖14所示的五種方向?yàn)V波器。宏塊的實(shí)際大小是16×16。然而，為了便于解釋，假定尺寸為8×8。首先，使用T5檢驗(yàn)在該宏塊中是否存在邊緣。如果該宏塊中象素值的平方偏差大于閾值T，邊緣存在，否則邊緣不存在。如果邊緣存在，則分別獲得平方偏差T1、T2、T3和T4。具有最小值的濾波器的邊緣方向確定為相應(yīng)宏塊的邊緣方向。這樣，在當(dāng)前畫面中的每個(gè)宏塊分類成無邊緣MB和邊緣NB，其中邊緣MB具有邊緣方向。由于垂直邊緣大大影響立體感，在剛好在當(dāng)前宏塊之上的宏塊掃描行中存在的三個(gè)宏塊中，具有邊緣方向的邊緣宏塊用作當(dāng)前邊緣宏塊。
3)在攝像機(jī)運(yùn)動中，當(dāng)前畫面與先前畫面密切相關(guān)。這樣，當(dāng)獲得運(yùn)動視差時(shí)，考慮先前宏塊的運(yùn)動矢量。
在步驟1308，運(yùn)動矢量被轉(zhuǎn)換成視差，并且計(jì)算改善的視差值。每個(gè)宏塊的提取的運(yùn)動矢量由水平分量和垂直分量組成。運(yùn)動矢量的垂直分量引起眼睛疲勞，這是因?yàn)楫?dāng)觀看立體圖像時(shí)深度感丟失。因此，運(yùn)動矢量轉(zhuǎn)換成水平視差值，以便去除運(yùn)動矢量的垂直分量。
運(yùn)動矢量的視差轉(zhuǎn)換使用下列三種方法。如果獲得宏塊的運(yùn)動矢量，使用下列等式18獲得運(yùn)動矢量的模方(norm)dMB，以去除垂直運(yùn)動分量的影響。dMB=dx2+dy2----…(18)]]>在此，dx和dy是宏塊運(yùn)動矢量的水平和垂直分量。
此外，為了減少運(yùn)算量，可使用下列等式19。
dMB=MAX(|dx|,|dy|)…(19)此外，可使用只考慮水平分量的下列等式20。
dMB=|dx| …(20)在此，等式20可減少運(yùn)算量。
為了獲得負(fù)視差，所有宏塊在水平方向上向右移動，由此混合左畫面。在正視差的情況下，當(dāng)觀看立體圖像時(shí)，在屏幕上的后側(cè)出現(xiàn)三維(3-D)深度。為了獲得正視差的場，使用下列等式21獲得實(shí)際水平視差。
dMB+=MAX(dMB)-dMB…(21)在此，MAX(dMB)是預(yù)定值，或確定為每個(gè)畫面中宏塊的運(yùn)動模方的最大值。
最后，在步驟1308通過使用下列等式22可獲得使用邊緣的改善的視差。px(n1,n2)=w1·dMBk(n1,n2)+w2·dMBk-1(n1,n2)+]]>Σi=-11δ[(n1,n2),(n1-i,n2-1)]·dMBk(n1-i,n2-1)----…(22)]]>在此，δ是宏塊(n1,n2)和宏塊(n1-i,n2-1)之間的邊緣方向差的加權(quán)值。如果邊緣方向差的差值是零度，δ值是1，如果前者是45度，后者是1/2，如果前者是90度，后者是0。或者可以不同方法確定δ值。w1和w2是相對于當(dāng)前畫面的宏塊(n1,n2)和先前畫面的宏塊(n1,n2)之間的視差值的加權(quán)值，并且隨機(jī)確定。MBk意指第k個(gè)畫面的宏塊。如果由等式22獲得改善的視差值，宏塊在水平方向上移動所述視差值(步驟1309)。由此產(chǎn)生非水平運(yùn)動畫面的立體圖像的混合畫面(步驟1310)。
將參照圖15描述圖5中所示的混合快速運(yùn)動畫面產(chǎn)生器550的操作。如果當(dāng)前畫面的運(yùn)動類型在水平/快速運(yùn)動畫面確定器520中確定為快速運(yùn)動畫面，混合快速運(yùn)動畫面產(chǎn)生器550產(chǎn)生對應(yīng)于快速運(yùn)動畫面的立體圖像的混合畫面。
參照圖15，混合快速運(yùn)動畫面產(chǎn)生器550提取緊鄰當(dāng)前畫面的先前畫面(步驟1500)。在步驟1504中使用該被提取的先前畫面。然后，提取在當(dāng)前畫面的所有宏塊中具有大于最大水平視差閾值LH的運(yùn)動矢量分量的宏塊，即快速運(yùn)動宏塊(步驟1501)，并且被提取的快速運(yùn)動宏塊的運(yùn)動矢量分量由LH代替(步驟1502)。然后，相應(yīng)宏塊在水平方向上移動LH的值(步驟1503)。水平移動的宏塊和在步驟1500提取的先前畫面混合(步驟1504)，由此產(chǎn)生用于快速運(yùn)動畫面的立體圖像的混合畫面。
圖5中所示的混合靜止畫面產(chǎn)生器530的操作將參照圖16描述。如果當(dāng)前畫面的運(yùn)動類型在運(yùn)動/靜止畫面確定器500中確定為靜止畫面，混合靜止畫面產(chǎn)生器530使用該靜止畫面中每個(gè)預(yù)定塊的亮度和/或標(biāo)準(zhǔn)偏差，產(chǎn)生用于立體圖像的混合圖像。
更詳細(xì)地說，如果是當(dāng)前畫面的靜止畫面是彩色畫面，混合靜止畫面產(chǎn)生器530首先將當(dāng)前畫面轉(zhuǎn)換成灰度畫面(步驟1600)，并且將灰度畫面劃分成N×N塊(步驟1610)。然后，計(jì)算關(guān)于灰度畫面中的每塊的平均亮度μ和標(biāo)準(zhǔn)偏差σ(步驟1620)。在此，使用下列等式23計(jì)算關(guān)于每塊的平均亮度μ。μ=1N2ΣinΣjNf(i,j)-----…(23)]]>在此，N是塊大小，f(i、j)是相應(yīng)象素的灰度值。
此外，關(guān)于每個(gè)塊的標(biāo)準(zhǔn)偏差σ使用下列等式24計(jì)算。σ=1N2ΣiNΣjN[f(i,j)-μ]2----…(24)]]>如果執(zhí)行步驟1620，獲得關(guān)于當(dāng)前畫面中所有塊的最小平均亮度μmin，最大平均亮度μmax，最小標(biāo)準(zhǔn)偏差σmin，和最大標(biāo)準(zhǔn)偏差σmax(步驟1630)。
如果完成步驟1620和1630，使用等式25a到25f，獲得關(guān)于平均亮度μ、標(biāo)準(zhǔn)偏差σ、最小平均亮度μmin、最大平均亮度μmax、最小標(biāo)準(zhǔn)偏差σmin、和最大標(biāo)準(zhǔn)偏差σmax的歸一化值(步驟1640)。μN=μ255----…(25a)]]>σN=σMAX(σ)---…(25b)]]>μminN=μmin255---…(25c)]]>μmaxN=μmax255---…(25d)]]>σminN=σminMAX(σ)---…(25e)]]>σmaxN=σmaxMAX(σ)---…(25f)]]>在此，σmaxN的最大值設(shè)定到1.0。當(dāng)象素值均勻分布在
時(shí)，MAX(σ)是均勻分布的標(biāo)準(zhǔn)偏差，它由下列等式26獲得。MAX(σ)=255212=73.0---…(26)]]>然后，使用等式27a和27b，每個(gè)塊的歸一化平均亮度μN(yùn)和歸一化標(biāo)準(zhǔn)偏差σN轉(zhuǎn)換成相應(yīng)的深度值Dμ和Dσ(步驟1650)。Dμ=A1e-aμN+B1----…(27a)]]>Dσ=A2e-bσN+B2----…(27b)]]>在此，使用等式28a到等式28d計(jì)算A1、B1、A2和B2。A1=1e-aμmin-e-aμmax---…(28a)]]>B1=e-aμmaxe-aμmin-e-aμmax----…(28b)]]>A2=1e-bσmin-e-bσmax---…(28c)]]>B2=e-bσmaxe-bσmin-e-bσmax---…(28d)]]>如果完成步驟1650，使用等式29計(jì)算包括Dμ和Dσ的深度值D。
D=ω·Dμ+(1-ω)·Dσ…(29)在此，D和ω分別具有0.0和1.0之間的值。因此，當(dāng)相應(yīng)塊的亮度在每個(gè)塊中較大時(shí)，為相應(yīng)深度值指定較大值。當(dāng)亮度較暗時(shí)，為相應(yīng)深度值指定較小值。
然后，在步驟1660中獲得的深度值D使用下列等式30轉(zhuǎn)換成水平視差值px(步驟1670)。
px=最大水平視差·D…(30)如果在步驟1670獲得水平視差值px，每個(gè)塊在水平方向上移動相應(yīng)水平視差值px，由此產(chǎn)生用于靜止畫面的立體圖像的混合畫面(步驟1680)。
圖1的左/右畫面確定器150從立體圖像產(chǎn)生器140接收當(dāng)前畫面和混合畫面，將當(dāng)前畫面確定為形成立體圖像的左畫面和右畫面中的一個(gè)，并且將混合畫面確定為其另一個(gè)畫面。詳細(xì)地說，如果接收的當(dāng)前畫面的運(yùn)動類型是水平運(yùn)動畫面，按照聯(lián)系表2到4解釋的方法，確定模式“A”或模式“B”。在接收的當(dāng)前畫面的運(yùn)動類型為不是水平運(yùn)動類型的一種運(yùn)動類型的情況下，最好是，接收的當(dāng)前畫面確定為左畫面，并且混合畫面確定為右畫面。
圖1的先前畫面存儲器160存儲由MPEG解碼器(未示出)從編碼畫面數(shù)據(jù)再現(xiàn)的先前畫面，該先前畫面用于如上所述立體圖像產(chǎn)生器140中混合畫面的產(chǎn)生，并且存儲在時(shí)間上早于當(dāng)前畫面的K個(gè)畫面。如果存儲一新畫面，在先前畫面存儲器160中最早存儲的先前畫面消失。
圖1的DAC170和180將從左/右畫面確定器150輸出的左/右畫面數(shù)據(jù)轉(zhuǎn)換成要存儲在顯示緩沖器(未示出)中的模擬圖像信號。
為了觀看通過上述過程在監(jiān)視器上顯示的立體圖像，需要一對與立體圖像同步的立體眼鏡。
另外，作為圖1實(shí)施例的改進(jìn)的本發(fā)明另一實(shí)施例在圖17到21中示出。圖17實(shí)施例通過運(yùn)動類型再確定器190明顯減少時(shí)間上連續(xù)的立體圖像之間的畫面抖動或振動。由于圖17的單元中標(biāo)號和符號與圖1的單元相同的單元執(zhí)行與圖1單元相同的功能，將略去對其詳細(xì)描述。
圖17所示的運(yùn)動類型再確定器190基于先前畫面運(yùn)動類型和當(dāng)前畫面運(yùn)動類型的組合，自適應(yīng)再確定最初在運(yùn)動類型確定器130中確定的當(dāng)前畫面的運(yùn)動類型。立體圖像產(chǎn)生器140和左/右畫面確定器150根據(jù)在運(yùn)動類型再確定器190中再確定的當(dāng)前畫面的運(yùn)動類型，分別產(chǎn)生對應(yīng)于當(dāng)前畫面的立體圖像，并且確定左/右畫面。
參照圖18，圖17的運(yùn)動類型再確定器190首先比較先前畫面的運(yùn)動類型和當(dāng)前畫面的運(yùn)動類型(步驟1800)。在此，最好是，先前畫面是在時(shí)間上與當(dāng)前畫面連續(xù)的緊鄰的先前畫面。在此，考慮畫面的運(yùn)動類型分類成靜止畫面、非水平運(yùn)動畫面和水平運(yùn)動畫面，其中水平運(yùn)動畫面包括在運(yùn)動類型確定器130中考慮的快速水平運(yùn)動畫面和水平運(yùn)動畫面。
在步驟1800的比較結(jié)果中，如果兩個(gè)畫面的運(yùn)動類型彼此不同，運(yùn)動類型再確定器190按照不同的運(yùn)動類型確定算法，再確定當(dāng)前畫面的運(yùn)動類型(步驟1810)。如果兩個(gè)畫面的運(yùn)動類型相同，運(yùn)動類型再確定器190按照相同運(yùn)動類型確定算法，再確定當(dāng)前畫面的運(yùn)動類型(步驟1820)。
聯(lián)系步驟1810，在先前畫面和當(dāng)前畫面的運(yùn)動類型彼此不同的情況下，自適應(yīng)再確定當(dāng)前畫面的運(yùn)動類型的方法將參照圖19和20詳細(xì)描述。如上所述，有三種作為在運(yùn)動類型再確定器190中考慮的畫面的運(yùn)動類型，諸如靜止畫面、非水平運(yùn)動畫面和水平運(yùn)動畫面。因此，在先前畫面的運(yùn)動類型是靜止畫面的情況下，當(dāng)前畫面的運(yùn)動類型變成非水平運(yùn)動畫面或水平運(yùn)動畫面。在此情況下，當(dāng)前畫面的運(yùn)動類型不校正。在其它兩種情況下，用于在運(yùn)動類型確定器130中確定當(dāng)前畫面的每種運(yùn)動類型的閾值，按照先前畫面和當(dāng)前畫面的運(yùn)動類型的每種組合，自適應(yīng)再確定，由此再確定當(dāng)前畫面的運(yùn)動類型。因此，在先前畫面和當(dāng)前畫面之間的相關(guān)性相當(dāng)大的情況下，當(dāng)前畫面的運(yùn)動類型校正成先前畫面的運(yùn)動類型。結(jié)果，當(dāng)觀看立體圖像時(shí)，時(shí)間上連續(xù)的立體圖像之間的抖動明顯減少。
然后，在先前畫面的運(yùn)動類型是非水平運(yùn)動畫面的情況下，當(dāng)前畫面的運(yùn)動類型變成靜止畫面或水平運(yùn)動畫面。當(dāng)前畫面的運(yùn)動類型按照圖19所示的算法自適應(yīng)再確定。
參照圖19，如果先前畫面的運(yùn)動類型最初確定為非水平運(yùn)動畫面(步驟1900)，并且在運(yùn)動/靜止畫面確定器500中當(dāng)前畫面的運(yùn)動類型最初確定為靜止畫面(步驟1910)，則運(yùn)動類型再確定器190將按照等式7的當(dāng)前畫面的比率αs的幅值與新調(diào)整的閾值“Ts+δs”比較(步驟1920)。在此，確定為δs=
。因此，新調(diào)整閾值(Ts+δs)與最初確定時(shí)的閾值Ts比較，適當(dāng)向上調(diào)整。在步驟1920的比較結(jié)果中，如果從當(dāng)前畫面獲得的αs的幅值不小于向上調(diào)整的閾值Ts+δs，當(dāng)前畫面的運(yùn)動類型確定為不可變的(靜止畫面)(步驟1930)。如果前者小于后者，當(dāng)前畫面運(yùn)動類型再確定為是先前畫面運(yùn)動類型的非水平運(yùn)動畫面(步驟1940)。
然而，步驟1900和1910中，如果最初確定先前畫面的運(yùn)動類型是非水平運(yùn)動畫面，并且當(dāng)前畫面運(yùn)動類型是水平運(yùn)動畫面，則運(yùn)動類型再確定器190將按照等式9的當(dāng)前畫面的比率的αv的幅值與新調(diào)整閾值Tv-δv比較(步驟1950)。在此，δv=
。于是，新調(diào)整閾值Tv-δv與最初確定的閾值Tv相比，適當(dāng)向下調(diào)整。在步驟1950的比較結(jié)果中，如果對應(yīng)于當(dāng)前畫面的αv的幅值不大于向下調(diào)整的閾值Tv-δv，當(dāng)前畫面的運(yùn)動類型確定為不可變的，即，水平運(yùn)動畫面(步驟1930)。如果前者大于后者，當(dāng)前畫面運(yùn)動類型再確定為是先前畫面的運(yùn)動類型的非水平運(yùn)動畫面(步驟1940)。
因此，在步驟1940中，在當(dāng)前畫面的運(yùn)動類型再確定為非水平運(yùn)動畫面的情況下，當(dāng)前畫面的運(yùn)動矢量場由先前畫面的運(yùn)動矢量場代替，并且當(dāng)前畫面中攝像機(jī)和/或物體的運(yùn)動種類由先前畫面的運(yùn)動種類代替。因此，在立體圖像產(chǎn)生器140中產(chǎn)生對應(yīng)于非水平運(yùn)動畫面的立體圖像。
然而，在先前畫面的運(yùn)動類型是水平運(yùn)動畫面的情況下，當(dāng)前畫面的運(yùn)動類型最初變成靜止畫面或非水平運(yùn)動畫面。當(dāng)前畫面的運(yùn)動類型按照圖20所示的算法自適應(yīng)再確定。
參照圖20，如果確定先前畫面的運(yùn)動類型最初確定為水平運(yùn)動畫面(步驟2000)，并且在運(yùn)動/靜止畫面確定器500中當(dāng)前畫面的運(yùn)動類型最初確定為靜止畫面(步驟2010)，運(yùn)動類型再確定器190將按照等式7的當(dāng)前畫面的比率αs的幅值與新調(diào)整閾值Ts+δs比與較(步驟2020)。在此，δs=
。于是，新調(diào)整閾值Ts+δs與最初確定的閾值Ts相比適當(dāng)向上調(diào)整。在步驟2020的比較結(jié)果中，如果對應(yīng)于當(dāng)前畫面的αs的幅值不小于向上調(diào)整的閾值Ts+δs，當(dāng)前畫面的運(yùn)動類型確定為不可變的，即靜止運(yùn)動畫面(步驟2030)。如果前者小于后者，當(dāng)前畫面的運(yùn)動類型再確定為是先前畫面運(yùn)動類型的水平運(yùn)動畫面(步驟2040)。
然而，在步驟2000和2010中，如果最初確定先前畫面的運(yùn)動類型是水平運(yùn)動畫面，并且當(dāng)前畫面的運(yùn)動類型是非水平運(yùn)動畫面，在運(yùn)動類型再確定器190將按照等式9的當(dāng)前畫面的比率αv的幅值與新調(diào)整閾值Tv+δv比較(步驟2050)。在此，δv=
。于是，新調(diào)整閾值Tv+δv與最初確定的閾值Tv相比適當(dāng)向上調(diào)整。在步驟2050的比較結(jié)果中，如果對應(yīng)于當(dāng)前畫面的αv的幅值不小于向上調(diào)整的閾值Tv+δv，當(dāng)前畫面的運(yùn)動類型確定為不可變的，即，非水平運(yùn)動畫面(步驟2030)。如果前者小于后者，當(dāng)前畫面運(yùn)動類型再確定為是先前畫面的運(yùn)動類型的水平運(yùn)動畫面(步驟2040)。
因此，在步驟2040中，在當(dāng)前畫面的運(yùn)動類型再確定為水平運(yùn)動畫面的情況下，當(dāng)前畫面的延遲因數(shù)fd由先前畫面的延遲因數(shù)fd代替，并且當(dāng)前畫面的模式“A”或“B”由先前畫面的模式代替。因此，在立體圖像產(chǎn)生器140中選擇對應(yīng)于被代替的延遲因數(shù)fd的先前畫面，并且按照被代替的模式，在左/右畫面確定器中確定立體圖像的顯示。
圖21簡單示出了在先前畫面和當(dāng)前畫面的運(yùn)動類型彼此相同的情況下，再確定當(dāng)前畫面的運(yùn)動類型的方法。參照圖21，如果先前和當(dāng)前畫面的運(yùn)動類型均為靜止畫面(步驟2100)，當(dāng)前畫面的運(yùn)動類型是不可變的，為靜止畫面(步驟2110)。
然而，如果先前和當(dāng)前畫面的運(yùn)動類型最初均為非水平運(yùn)動畫面(步驟2120)，運(yùn)動類型再確定器190再確定在是當(dāng)前畫面的非水平運(yùn)動畫面中攝像機(jī)和/或物體的運(yùn)動種類(步驟2130)。在非水平運(yùn)動畫面中有三種運(yùn)動種類，諸如攝像機(jī)和物體均移動、只有物體移動、只有攝像機(jī)移動的情況。再確定非水平運(yùn)動畫面中攝像機(jī)和/或物體的運(yùn)動種類的方法將參照圖12中所示的PDA和SDA描述。在PDA中，按照下列等式31計(jì)算如下一個(gè)值。γPDA=MAX(PDA[m],PDA[n])PDA[L]----…(31)]]>在此，m≠n≠L。在PDA
、PDA[1]和PDA[2]中，最大數(shù)確定為PDA[L]。取剩余的兩個(gè)數(shù)PDA[m]和PDA[n]中較大數(shù)計(jì)算等式31。然后，如果按照等式31計(jì)算的比率γPDA值小于閾值TPDA,L的上述值由先前畫面的L值代替。在此，TPDA=
。
正如在PDA中，SDA按照下列等式32計(jì)算如下一個(gè)值。γSDA=MAX(SDA[q],SDA[r])SDA[p]----…(32)]]>在此，q≠r≠p。在SDA
、SDA[1]和SDA[2]中，最大數(shù)確定為SDA[p]。取剩余的兩個(gè)數(shù)SDA[q]和SDA[r]中較大數(shù)計(jì)算等式32。然后，如果按照等式32計(jì)算的比率γSDA值小于閾值TSDA,p的上述值由先前畫面的p值代替。在此，TSDA=
。
使用由上述方法獲得的L和p的值，運(yùn)動類型再確定器190再確定在是當(dāng)前畫面的非水平運(yùn)動畫面中攝像機(jī)和/或物體的運(yùn)動種類。再確定的運(yùn)動種類用來在立體圖像產(chǎn)生器140中產(chǎn)生對應(yīng)于是當(dāng)前畫面的非水平運(yùn)動畫面的立體圖像。
在圖21的流程圖中，如果先前畫面和當(dāng)前畫面的運(yùn)動類型最初均為水平運(yùn)動畫面(步驟2140)，運(yùn)動類型再確定器190再確定延遲因數(shù)或模式“A”或模式“B”，它們用于對應(yīng)于水平運(yùn)動畫面的立體圖像的產(chǎn)生和顯示模式確定。
首先，為了再確定是當(dāng)前畫面的水平運(yùn)動畫面中攝像機(jī)和/或物體的運(yùn)動種類，獲得如步驟2130中的L和p值。L和p的獲得值應(yīng)用到表2到4，以確定模式“A”或“B”。所確定的模式用于對應(yīng)于左/右畫面確定器150中水平運(yùn)動畫面的立體圖像的顯示。
同時(shí)，為了抑制在先前畫面和當(dāng)前畫面之間延遲因數(shù)的突然變化，考慮先前畫面和當(dāng)前畫面的兩個(gè)延遲因數(shù)，使用等式33或34來獲得延遲因數(shù)fd，該延遲因數(shù)fd用來產(chǎn)生是水平運(yùn)動畫面的當(dāng)前畫面的立體圖像。fd=ω·ROUND[LHdxmax(k-1)]+(1-ω)·ROUND[LHdxmax(k)]----…(33)]]>fd=ROUND[LHω·dxmax(k-1)+(1-ω)·dxmax(k)]-----…(34)]]>在等式33和34中，使用等式11獲得最大水平視差閾值LH。項(xiàng)dxmax(k)是當(dāng)前畫面的最大水平運(yùn)動速度，項(xiàng)dxmax(k-1)是先前畫面的最大水平運(yùn)動速度。加權(quán)值ω和(1-ω)被適當(dāng)確定。
因此，當(dāng)前畫面的運(yùn)動類型由運(yùn)動類型再確定器190按照先前畫面和當(dāng)前畫面的每種運(yùn)動類型的組合，自適應(yīng)再確定，并且通過根據(jù)再確定的結(jié)果產(chǎn)生立體圖像和確定左/右畫面，可明顯減少時(shí)間上連續(xù)的立體圖像的抖動。
同時(shí)，MPEG解碼器將編碼位流再現(xiàn)成為先前壓縮的原始圖像，并且將結(jié)果提供給先前畫面存儲器160。由于MPEG解碼器的詳細(xì)結(jié)構(gòu)和操作對于本領(lǐng)域技術(shù)人員是顯而易見的，將略去對其詳細(xì)描述。
此外，按照本發(fā)明的圖1和17的實(shí)施例應(yīng)用到MPEG標(biāo)準(zhǔn)的編碼圖像數(shù)據(jù)。然而，對于本領(lǐng)域技術(shù)人員是顯而易見的，本發(fā)明可應(yīng)用到以不同于MPEG標(biāo)準(zhǔn)的編碼方法編碼的圖像數(shù)據(jù)。
對于本領(lǐng)域技術(shù)人員也是顯而易見的是，在本發(fā)明中提出的用于產(chǎn)生相對于各種運(yùn)動類型的畫面自適應(yīng)穩(wěn)定的立體圖像的方法和裝置可應(yīng)用到NTSC/PAL/SECAM的模擬圖像信號和MPEG編碼數(shù)據(jù)。
如上所述，按照本發(fā)明的立體圖像產(chǎn)生方法和裝置確定畫面的運(yùn)動類型為靜止畫面、非水平運(yùn)動畫面、水平運(yùn)動畫面和快速運(yùn)動畫面，并且在每種運(yùn)動類型的確定畫面中產(chǎn)生最優(yōu)立體圖像，由此使得即使對于各種運(yùn)動類型也能夠觀看自然和穩(wěn)定的立體圖像。此外，本發(fā)明能夠從MPEG編碼數(shù)據(jù)中有效產(chǎn)生立體圖像，由此大大簡化了產(chǎn)生立體圖像的算法和硬件的復(fù)雜性。
本發(fā)明可應(yīng)用到采用MPEG標(biāo)準(zhǔn)的MPEG-2HDTV、MPEG-2DVD播放器、MPEG-1視頻CD，并且可應(yīng)用到用于按照不采用MPEG標(biāo)準(zhǔn)的NTSC/PAL/SECAM廣播方法的圖像信號的TV和VCR。本發(fā)明也可適用于大大改善診斷效率的醫(yī)療可視系統(tǒng)。
然而，在本發(fā)明的技術(shù)范圍中可能存在各種修改或變化，這對于很好理解技術(shù)概念和優(yōu)選實(shí)施例的本領(lǐng)域技術(shù)人員是顯而易見的。
權(quán)利要求
1.一種從圖像數(shù)據(jù)產(chǎn)生立體圖像的立體圖像產(chǎn)生方法，該方法包括下列步驟(a)使用按照圖像數(shù)據(jù)的每個(gè)畫面中的運(yùn)動矢量，將當(dāng)前畫面的運(yùn)動類型確定為靜止畫面、非水平運(yùn)動畫面、水平運(yùn)動畫面和快速運(yùn)動畫面中的一種；(b)使用根據(jù)所述圖像數(shù)據(jù)的先前畫面和所述確定的運(yùn)動類型，產(chǎn)生對應(yīng)于當(dāng)前畫面的混合畫面，并且輸出所述當(dāng)前畫面和所述混合畫面；和(c)接收所述輸出的當(dāng)前畫面和所述混合畫面，并且按照在步驟(a)確定的所述運(yùn)動類型，將所述當(dāng)前畫面確定為形成立體圖像的左畫面和右畫面中的一個(gè)，并且將所述混合畫面確定為另一個(gè)。
2.如權(quán)利要求1所述的立體圖像產(chǎn)生方法，其中，所述步驟(a)包括步驟根據(jù)在當(dāng)前畫面的全部宏塊中、由具有對應(yīng)于所述每個(gè)運(yùn)動類型的運(yùn)動特性的宏塊占據(jù)的比率，確定當(dāng)前畫面的運(yùn)動類型。
3.如權(quán)利要求1所述的立體圖像產(chǎn)生方法，其中，所述步驟(b)至少使用下列方法的一種第一方法，如果在步驟(a)中當(dāng)前畫面的運(yùn)動類型確定為靜止畫面，基于當(dāng)前畫面中每個(gè)預(yù)定塊的亮度和/或其標(biāo)準(zhǔn)偏差，分配彼此不同的深度信息，將分配的深度信息轉(zhuǎn)換成水平視差，并且產(chǎn)生所述混合畫面；第二方法，如果在步驟(a)中當(dāng)前畫面的運(yùn)動類型確定為非水平運(yùn)動畫面，自適應(yīng)于當(dāng)前畫面中的攝像機(jī)和/或物體的運(yùn)動種類，產(chǎn)生所述混合畫面；第三方法，如果在步驟(a)中當(dāng)前畫面的運(yùn)動類型確定為快速運(yùn)動畫面，由最大水平視差值代替當(dāng)前畫面中快速宏塊的運(yùn)動矢量，并且產(chǎn)生所述混合畫面；和第四方法，如果在步驟(a)中當(dāng)前畫面的運(yùn)動類型確定為水平運(yùn)動畫面，根據(jù)最大水平視差閾值和當(dāng)前畫面中運(yùn)動矢量的預(yù)定水平運(yùn)動速度，產(chǎn)生先前畫面作為混合畫面。
4.如權(quán)利要求1所述的立體圖像產(chǎn)生方法，其中，所述步驟(c)包括下列步驟在確定的當(dāng)前畫面的運(yùn)動類型不是水平運(yùn)動畫面的運(yùn)動類型情況下，選擇第一模式；和在確定的當(dāng)前畫面的運(yùn)動類型是水平運(yùn)動畫面的情況下，按照在水平運(yùn)動的當(dāng)前畫面中攝像機(jī)和/或物體的運(yùn)動種類，自適應(yīng)選擇第一模式和第二模式中的一種，其中，所述第一模式是當(dāng)前畫面確定為左畫面、并且相應(yīng)混合畫面確定為右畫面的立體圖像顯示模式，所述第二模式是當(dāng)前畫面確定為右畫面、相應(yīng)混合畫面確定為左畫面的立體圖像顯示模式。
5.如權(quán)利要求1所述的立體圖像產(chǎn)生方法，其中，所述步驟(a)還包括步驟根據(jù)當(dāng)前畫面和先前畫面的每種運(yùn)動類型的組合，自適應(yīng)再確定被確定的當(dāng)前畫面的運(yùn)動類型，以便大大減少時(shí)間上連續(xù)的立體圖像之間的畫面抖動。
6.一種使用包含I、B和P畫面的MPEG編碼數(shù)據(jù)來產(chǎn)生立體圖像的立體圖像產(chǎn)生方法，該方法包括下列步驟(a)接收所述畫面數(shù)據(jù)，并且產(chǎn)生和存儲對應(yīng)于該畫面中的宏塊的運(yùn)動矢量；(b)存儲K個(gè)從所述編碼畫面數(shù)據(jù)中再現(xiàn)的畫面；(c)使用在步驟(a)中獲得的所述運(yùn)動矢量，將對應(yīng)于當(dāng)前畫面的運(yùn)動類型確定為靜止畫面、非水平運(yùn)動畫面、水平運(yùn)動畫面和快速運(yùn)動畫面中的一種；(d)使用在步驟(b)存儲的所述先前畫面和在步驟(c)確定的所述運(yùn)動類型，產(chǎn)生對應(yīng)于所述當(dāng)前畫面的混合畫面，并且輸出所述當(dāng)前畫面和所述混合畫面；和(e)接收從步驟(d)輸出的所述當(dāng)前畫面和所述混合畫面，并且將所述當(dāng)前畫面確定為形成立體圖像的左畫面和右畫面中的一個(gè)，將所述混合畫面確定為另一個(gè)。
7.如權(quán)利要求6所述的立體圖像產(chǎn)生方法，其中，所述步驟(a)包括步驟分析包含所述畫面數(shù)據(jù)的位流，提取I、B和P畫面的數(shù)據(jù)，并且使用提取的I、B和P畫面，提取和產(chǎn)生每個(gè)畫面的宏塊的運(yùn)動矢量，由此，形成相應(yīng)畫面的運(yùn)動矢量場。
8.如權(quán)利要求7所述的立體圖像產(chǎn)生方法，其中，所述步驟(a)包括步驟在所述提取的畫面數(shù)據(jù)是B畫面數(shù)據(jù)的情況下，為每個(gè)宏塊提取包含在畫面數(shù)據(jù)中的運(yùn)動矢量，考慮在預(yù)測編碼時(shí)采用的標(biāo)度畫面間隔M的提取結(jié)果，將內(nèi)插方法應(yīng)用到?jīng)]有運(yùn)動矢量的宏塊，以獲得相應(yīng)宏塊的運(yùn)動矢量，并且用標(biāo)度的運(yùn)動矢量和內(nèi)插的運(yùn)動矢量形成B畫面的運(yùn)動矢量場。
9.如權(quán)利要求7所述的立體圖像產(chǎn)生方法，其中，所述步驟(a)包括步驟在所述提取的畫面數(shù)據(jù)是P畫面數(shù)據(jù)的情況下，為每個(gè)宏塊提取包含在畫面數(shù)據(jù)中的運(yùn)動矢量，考慮在預(yù)測編碼是采用的I/P畫面和P畫面之間的畫面間隔M標(biāo)度提取結(jié)果，將內(nèi)插方法應(yīng)用到?jīng)]有運(yùn)動矢量的宏塊，以獲得相應(yīng)宏塊的運(yùn)動矢量，并且用標(biāo)度的運(yùn)動矢量和內(nèi)插的運(yùn)動矢量形成P畫面的運(yùn)動矢量場。
10.如權(quán)利要求7所述的立體圖像產(chǎn)生方法，其中，所述步驟(a)包括步驟在所述提取的畫面數(shù)據(jù)是I畫面數(shù)據(jù)的情況下，使用在I畫面之前已經(jīng)后向預(yù)測的至少一個(gè)B畫面的運(yùn)動矢量，形成I畫面的運(yùn)動矢量。
11.如權(quán)利要求10所述的立體圖像產(chǎn)生方法，其中，通過使用對應(yīng)于I畫面中的每個(gè)宏塊的B畫面中宏塊的運(yùn)動矢量，獲得I畫面的運(yùn)動矢量，并且通過使用第一方法、第二方法和第三方法中的一種方法獲得I畫面的所述運(yùn)動矢量，所述第一方法考慮對應(yīng)于B畫面的宏塊的運(yùn)動矢量和所述運(yùn)動矢量的整個(gè)方向，所述第二方法只考慮相應(yīng)宏塊的運(yùn)動矢量，所述第三方法只考慮相應(yīng)宏塊的一區(qū)域。
12.如權(quán)利要求6所述的立體圖像產(chǎn)生方法，其中，所述步驟(c)包括步驟根據(jù)在當(dāng)前畫面全部宏塊中、由具有對應(yīng)于每種運(yùn)動類型的運(yùn)動特性的宏塊占據(jù)的比率，確定當(dāng)前畫面的運(yùn)動類型。
13.如權(quán)利要求12所述的立體圖像產(chǎn)生方法，其中，所述步驟(c)包括步驟根據(jù)在當(dāng)前畫面的全部宏塊中、由靜止宏塊占據(jù)的比率，將當(dāng)前畫面的運(yùn)動類型確定為靜止畫面和運(yùn)動畫面的一種，根據(jù)在當(dāng)前畫面的全部宏塊中、由基于最大垂直會聚閾值角和最大垂直視差閾值的非水平宏塊占據(jù)的比率，將當(dāng)前畫面的運(yùn)動類型確定為非水平運(yùn)動畫面和水平運(yùn)動畫面中的一種，根據(jù)在當(dāng)前畫面的全部宏塊中、由基于最大水平視差閾值的快速運(yùn)動宏塊占據(jù)的比率，將當(dāng)前畫面的運(yùn)動類型確定為快速運(yùn)動畫面和水平運(yùn)動畫面中的一種。
14.如權(quán)利要求6所述的立體圖像產(chǎn)生方法，其中，所述步驟(d)包括步驟如果在步驟(c)中當(dāng)前畫面的運(yùn)動類型確定為靜止畫面，基于當(dāng)前畫面中每個(gè)預(yù)定塊的亮度和/或其標(biāo)準(zhǔn)偏差，分配彼此不同的深度信息，將分配的深度信息轉(zhuǎn)換成水平視差，并且產(chǎn)生混合畫面。
15.如權(quán)利要求6所述的立體圖像產(chǎn)生方法，其中，如果在步驟(c)中當(dāng)前畫面的運(yùn)動類型確定為非水平運(yùn)動畫面，所述步驟(d)包括步驟在攝像機(jī)和物體二者在當(dāng)前畫面中移動的情況下，在運(yùn)動方向與攝像機(jī)運(yùn)動方向相同的宏塊和運(yùn)動方向與攝像機(jī)運(yùn)動方向不相同的宏塊之間，分配彼此不同的視差值，并且產(chǎn)生混合畫面；所述步驟(d)包括步驟在只有物體在當(dāng)前畫面中移動的情況下，在運(yùn)動宏塊和靜止宏塊之間分配彼此不同的視差值，并且產(chǎn)生混合畫面；和所述步驟(d)包括步驟在只有攝像機(jī)在當(dāng)前畫面中移動的情況下，通過使用按照當(dāng)前宏塊邊緣特性的外圍邊緣宏塊的至少一個(gè)運(yùn)動矢量和先前畫面宏塊的運(yùn)動矢量，獲得對應(yīng)于當(dāng)前宏塊的視差值，并且產(chǎn)生混合畫面。
16.如權(quán)利要求6所述的立體圖像產(chǎn)生方法，其中，所述步驟(d)包括步驟如果在步驟(c)中當(dāng)前畫面的運(yùn)動類型確定為快速運(yùn)動畫面，將當(dāng)前畫面中快速運(yùn)動宏塊的運(yùn)動矢量轉(zhuǎn)換成最大水平視差值，以便將所述宏塊移動最大水平視差值，將水平移動的宏塊與緊鄰的先前畫面混合，由此產(chǎn)生混合畫面。
17.如權(quán)利要求6所述的立體圖像產(chǎn)生方法，其中，所述步驟(d)包括步驟如果在步驟(c)中將當(dāng)前畫面的運(yùn)動類型確定為水平運(yùn)動畫面，基于當(dāng)前畫面中運(yùn)動矢量的最大水平視差閾值、平均水平運(yùn)動速度或最大水平運(yùn)動速度，產(chǎn)生先前畫面作為混合畫面；并且其中，如果當(dāng)前畫面中水平運(yùn)動速度相對快，選擇時(shí)間上接近的先前畫面，而如果當(dāng)前畫面中水平運(yùn)動速度相對慢，選擇時(shí)間上遠(yuǎn)離的先前畫面。
18.如權(quán)利要求6所述的立體圖像產(chǎn)生方法，其中，所述步驟(e)包括下列步驟在所述步驟(c)中確定當(dāng)前畫面的運(yùn)動類型不是水平運(yùn)動畫面的運(yùn)動類型情況下，選擇第一模式；和在所述步驟(c)中確定當(dāng)前畫面的運(yùn)動類型確定是水平運(yùn)動畫面的情況下，按照當(dāng)前畫面中攝像機(jī)和/或物體的運(yùn)動種類，自適應(yīng)選擇第一模式和第二模式中的一種，其中，所述第一模式是當(dāng)前畫面確定為左畫面、并且相應(yīng)混合畫面確定為右畫面的立體圖像顯示模式，所述第二模式是當(dāng)前畫面確定為右畫面、相應(yīng)混合畫面確定為左畫面的立體圖像顯示模式。
19.如權(quán)利要求18所述的立體圖像產(chǎn)生方法，其中，如果所述當(dāng)前畫面的運(yùn)動類型是水平運(yùn)動畫面，分析當(dāng)前畫面的運(yùn)動矢量場，以便在當(dāng)前畫面中只有攝像機(jī)向左移動、只有物體向右移動、攝像機(jī)和物體均向右移動、或攝像機(jī)向左移動并且物體向右移動的情況下，選擇所述第一模式，在當(dāng)前畫面中只有攝像機(jī)向右移動、只有物體向左移動、攝像機(jī)向右移動和物體向左移動、攝像機(jī)和物體均向左移動、攝像機(jī)向右移動和物體向左和右移動，或攝像機(jī)向左移動和物體向左和右移動的情況下，選擇所述第二模式。
20.如權(quán)利要求18所述的立體圖像產(chǎn)生方法，其中，如果所述當(dāng)前畫面的運(yùn)動類型是水平運(yùn)動畫面，將當(dāng)前畫面對分成是邊緣區(qū)域的第一區(qū)域和是中央?yún)^(qū)域的第二區(qū)域，并且基于屬于第一和第二區(qū)域中每個(gè)區(qū)域的每個(gè)水平運(yùn)動矢量方向和宏塊、宏塊的數(shù)目和分布，確定當(dāng)前畫面中攝像機(jī)和/或物體的運(yùn)動種類。
21.如權(quán)利要求6所述的立體圖像產(chǎn)生方法，還包括步驟基于當(dāng)前畫面和先前畫面的每種運(yùn)動類型的組合，自適應(yīng)再確定已被確定的當(dāng)前畫面的運(yùn)動類型，以便顯著減少時(shí)間上連續(xù)的立體圖像之間的畫面抖動。
22.如權(quán)利要求21所述的立體圖像產(chǎn)生方法，其中，在運(yùn)動類型再確定步驟中考慮的畫面的運(yùn)動類型分類成靜止畫面、非水平運(yùn)動畫面和水平運(yùn)動畫面，其中所述水平運(yùn)動畫面包括在初始確定中考慮的快速運(yùn)動畫面和水平運(yùn)動畫面，并且如果先前畫面的運(yùn)動類型是靜止畫面，不管當(dāng)前畫面的運(yùn)動類型如何初始確定的運(yùn)動類型都不改變。
23.如權(quán)利要求22所述的立體圖像產(chǎn)生方法，其中，所述運(yùn)動類型再確定步驟包括步驟如果先前畫面和當(dāng)前畫面的運(yùn)動類型彼此不同，按照當(dāng)前畫面和先前畫面的每種運(yùn)動類型的組合，自適應(yīng)再調(diào)整在當(dāng)前畫面的運(yùn)動類型的初始確定時(shí)使用的閾值，并且再確定當(dāng)前畫面的運(yùn)動類型。
24.如權(quán)利要求22所述的立體圖像產(chǎn)生方法，其中，如果先前畫面的運(yùn)動類型和當(dāng)前畫面相同，在先前畫面和當(dāng)前畫面的運(yùn)動類型均是非水平運(yùn)動畫面的情況下，所述運(yùn)動類型再確定步驟包括步驟再確定在該非水平運(yùn)動畫面中攝像機(jī)和/或物體的運(yùn)動種類，并根據(jù)再確定結(jié)果產(chǎn)生相應(yīng)的立體圖像；和在先前畫面和當(dāng)前畫面的運(yùn)動類型均是水平運(yùn)動畫面的情況下，利用先前和當(dāng)前畫面二者的水平運(yùn)動速度，確定對應(yīng)于混合畫面的先前畫面，再確定當(dāng)前畫面中攝像機(jī)和/或物體的運(yùn)動種類，并且基于所述再確定結(jié)果確定立體圖像顯示模式。
25.一種從圖像數(shù)據(jù)產(chǎn)生立體圖像的立體圖像產(chǎn)生裝置，該裝置包括運(yùn)動類型確定器，使用按照圖像數(shù)據(jù)的每個(gè)畫面中的運(yùn)動矢量，將當(dāng)前畫面的運(yùn)動類型確定為靜止畫面、非水平運(yùn)動畫面、水平運(yùn)動畫面和快速運(yùn)動畫面中的一種；立體圖像產(chǎn)生器，使用根據(jù)所述圖像數(shù)據(jù)的先前畫面和所述確定的運(yùn)動類型，產(chǎn)生對應(yīng)于當(dāng)前畫面的混合畫面，并且輸出所述當(dāng)前畫面和所述混合畫面；和左/右畫面確定器，接收從所述立體圖像產(chǎn)生器輸出的當(dāng)前畫面和混合畫面，并且按照在運(yùn)動類型確定器中確定的所述運(yùn)動類型，將所述當(dāng)前畫面確定為形成立體圖像的左畫面和右畫面中的一個(gè)，并且將所述混合畫面確定為另一個(gè)。
26.如權(quán)利要求25所述的立體圖像產(chǎn)生裝置，其中，所述運(yùn)動類型確定器根據(jù)在當(dāng)前畫面的全部宏塊中、由具有對應(yīng)于所述每種運(yùn)動類型的運(yùn)動特性的宏塊占據(jù)的比率，確定當(dāng)前畫面的運(yùn)動類型。
27.如權(quán)利要求25所述的立體圖像產(chǎn)生裝置，其中，所述立體圖像產(chǎn)生器至少包括混合靜止畫面產(chǎn)生器、混合非水平運(yùn)動畫面產(chǎn)生器、混合快速運(yùn)動畫面產(chǎn)生器和混合水平運(yùn)動畫面產(chǎn)生器中的一種；如果在所述運(yùn)動類型確定器中將當(dāng)前畫面的運(yùn)動類型確定為靜止畫面，所述混合靜止畫面產(chǎn)生器基于當(dāng)前畫面中每個(gè)預(yù)定塊的亮度和/或其標(biāo)準(zhǔn)偏差，分配彼此不同的深度信息，將分配的深度信息轉(zhuǎn)換成水平視差，并且產(chǎn)生混合畫面；如果在所述運(yùn)動類型確定器中將當(dāng)前畫面的運(yùn)動類型確定為非水平運(yùn)動畫面，所述混合非水平運(yùn)動畫面產(chǎn)生器在攝像機(jī)和物體均在當(dāng)前畫面中移動的情況下，在運(yùn)動方向與攝像機(jī)運(yùn)動方向相同的宏塊和運(yùn)動方向與攝像機(jī)運(yùn)動方向不相同的宏塊之間，分配彼此不同的視差值，并且產(chǎn)生混合畫面，在只有物體在當(dāng)前畫面中移動的情況下，在運(yùn)動宏塊和靜止宏塊之間分配彼此不同的視差值，并且產(chǎn)生混合畫面，在只有攝像機(jī)在當(dāng)前畫面中移動的情況下，使用按照當(dāng)前宏塊邊緣特性的外圍邊緣宏塊的至少一個(gè)運(yùn)動矢量和先前畫面宏塊的運(yùn)動矢量，獲得對應(yīng)于當(dāng)前宏塊的視差值，并且產(chǎn)生混合畫面；如果在所述運(yùn)動類型確定器中將當(dāng)前畫面的運(yùn)動類型確定為快速運(yùn)動畫面，所述混合快速運(yùn)動畫面產(chǎn)生器將當(dāng)前畫面中快速運(yùn)動宏塊的運(yùn)動矢量轉(zhuǎn)換成最大水平視差值，以便將所述宏塊移動最大水平視差值，并且將水平移動的宏塊與緊鄰的先前畫面混合，由此產(chǎn)生混合畫面；以及如果在所述運(yùn)動類型確定器中將當(dāng)前畫面的運(yùn)動類型確定為水平運(yùn)動畫面，所述混合水平運(yùn)動畫面產(chǎn)生器根據(jù)當(dāng)前畫面中運(yùn)動矢量的最大水平視差閾值和預(yù)定水平運(yùn)動速度值，產(chǎn)生先前畫面作為混合畫面。
28.如權(quán)利要求25所述的立體圖像產(chǎn)生裝置，其中，所述左/右畫面確定器包括下列步驟在所述運(yùn)動類型確定器中確定當(dāng)前畫面的運(yùn)動類型不是水平運(yùn)動畫面的運(yùn)動類型的情況下，選擇第一模式；和在所述運(yùn)動類型確定器中確定當(dāng)前畫面的運(yùn)動類型是水平運(yùn)動畫面的情況下，按照當(dāng)前畫面中攝像機(jī)和/或物體的運(yùn)動種類，自適應(yīng)選擇第一模式和第二模式中的一種，其中，所述第一模式是當(dāng)前畫面確定為左畫面、并且相應(yīng)混合畫面確定為右畫面的立體圖像顯示模式，所述第二模式是當(dāng)前畫面確定為右畫面、相應(yīng)混合畫面確定為左畫面的立體圖像顯示模式。
29.如權(quán)利要求25所述的立體圖像產(chǎn)生裝置，還包括運(yùn)動類型再確定器，基于當(dāng)前畫面和先前畫面的每種運(yùn)動類型的組合，自適應(yīng)再確定在所述運(yùn)動類型確定器中確定的當(dāng)前畫面的運(yùn)動類型，以便顯著減少時(shí)間上連續(xù)的立體圖像之間的畫面抖動，其中當(dāng)前畫面的再確定運(yùn)動類型用于相應(yīng)立體圖像的產(chǎn)生和/或左/右畫面的確定。
30.如權(quán)利要求25所述的立體圖像產(chǎn)生裝置，其中，所述立體圖像產(chǎn)生器至少包括混合靜止畫面產(chǎn)生器、混合非水平運(yùn)動畫面產(chǎn)生器、混合快速運(yùn)動畫面產(chǎn)生器和混合水平運(yùn)動畫面產(chǎn)生器中的一種，如果在所述運(yùn)動類型確定器中將當(dāng)前畫面的運(yùn)動類型確定為靜止畫面，所述混合靜止畫面產(chǎn)生器基于當(dāng)前畫面中每個(gè)預(yù)定塊的亮度和/或其標(biāo)準(zhǔn)偏差，分配彼此不同的深度信息，將分配的深度信息轉(zhuǎn)換成水平視差，并且產(chǎn)生對應(yīng)于靜止畫面的混合畫面；如果在所述運(yùn)動類型確定器中將當(dāng)前畫面的運(yùn)動類型確定為非水平運(yùn)動畫面，所述混合非水平運(yùn)動畫面產(chǎn)生器在攝像機(jī)和物體均在當(dāng)前畫面中移動的情況下，在運(yùn)動方向與攝像機(jī)運(yùn)動方向相同的宏塊和運(yùn)動方向與攝像機(jī)運(yùn)動方向不相同的宏塊之間，分配彼此不同的視差值，并且產(chǎn)生混合畫面，在只有物體在當(dāng)前畫面中移動的情況下，在運(yùn)動宏塊和靜止宏塊之間分配彼此不同的視差值，并且產(chǎn)生混合畫面，在只有攝像機(jī)在當(dāng)前畫面中移動的情況下，使用按照當(dāng)前宏塊邊緣特性的外圍邊緣宏塊的至少一個(gè)運(yùn)動矢量和先前畫面宏塊的運(yùn)動矢量，獲得對應(yīng)于當(dāng)前宏塊的視差值，并且產(chǎn)生對應(yīng)于非水平運(yùn)動畫面的混合畫面；如果在所述運(yùn)動類型確定器中將當(dāng)前畫面的運(yùn)動類型確定為快速運(yùn)動畫面，所述混合快速運(yùn)動畫面產(chǎn)生器將當(dāng)前畫面中快速運(yùn)動宏塊的運(yùn)動矢量轉(zhuǎn)換成最大水平視差值，以便所述宏塊移動最大水平視差值，并且將水平移動的所述宏塊與緊鄰的先前畫面混合，由此產(chǎn)生對應(yīng)于快速運(yùn)動畫面的混合畫面；以及如果在所述運(yùn)動類型確定器中將當(dāng)前畫面的運(yùn)動類型確定為水平運(yùn)動畫面，所述混合水平運(yùn)動畫面產(chǎn)生器根據(jù)當(dāng)前畫面中運(yùn)動矢量的最大水平視差閾值和預(yù)定水平運(yùn)動速度值，產(chǎn)生先前畫面作為對應(yīng)于水平運(yùn)動畫面的混合畫面。
31.一種使用包含I、B和P畫面的MPEG編碼數(shù)據(jù)來產(chǎn)生立體圖像的立體圖像產(chǎn)生裝置，所述裝置包括運(yùn)動矢量產(chǎn)生和存儲單元，接收所述編碼的畫面數(shù)據(jù)，并且產(chǎn)生和存儲對應(yīng)于該畫面中的宏塊的運(yùn)動矢量；畫面存儲單元，存儲K個(gè)從所述編碼畫面數(shù)據(jù)中再現(xiàn)的畫面；運(yùn)動類型確定器，使用在所述運(yùn)動矢量產(chǎn)生和存儲單元中產(chǎn)生的、對應(yīng)于當(dāng)前畫面的運(yùn)動矢量，將對應(yīng)于當(dāng)前畫面的運(yùn)動類型確定為靜止畫面、非水平運(yùn)動畫面、水平運(yùn)動畫面和快速運(yùn)動畫面中的一種；立體圖像產(chǎn)生器，使用在畫面存儲單元中存儲的先前畫面和在所述運(yùn)動類型確定器中確定的所述運(yùn)動類型，產(chǎn)生對應(yīng)于所述當(dāng)前畫面的混合畫面，并且輸出所述當(dāng)前畫面和所述混合畫面；和左/右畫面確定器，接收從所述立體圖像產(chǎn)生器輸出的所述當(dāng)前畫面和所述混合畫面，并且將所述當(dāng)前畫面確定為形成立體圖像的左畫面和右畫面中的一個(gè)，將所述混合畫面確定為另一個(gè)。
32.如權(quán)利要求31所述的立體圖像產(chǎn)生裝置，其中，所述運(yùn)動矢量產(chǎn)生和存儲單元包括畫面提取器，用于從所述MPEG編碼數(shù)據(jù)中提取I、B和P畫面的數(shù)據(jù)；B畫面運(yùn)動矢量產(chǎn)生器，用于從所述畫面提取器的B畫面編碼數(shù)據(jù)中提取和產(chǎn)生B畫面的每個(gè)宏塊的運(yùn)動矢量；p畫面運(yùn)動矢量產(chǎn)生器，用于從所述畫面提取器的P畫面編碼數(shù)據(jù)中提取和產(chǎn)生P畫面的每個(gè)宏塊的運(yùn)動矢量；I畫面運(yùn)動矢量產(chǎn)生器，用于使用所述B畫面運(yùn)動矢量產(chǎn)生器中產(chǎn)生的B畫面運(yùn)動矢量來產(chǎn)生I畫面運(yùn)動矢量；以及運(yùn)動矢量場形成器，用于對應(yīng)于分別從所述B畫面運(yùn)動矢量產(chǎn)生器、所述P畫面運(yùn)動矢量產(chǎn)生器和所述I畫面運(yùn)動矢量產(chǎn)生器中輸入的運(yùn)動矢量，形成每個(gè)畫面的運(yùn)動矢量場。
33.如權(quán)利要求31所述的立體圖像產(chǎn)生裝置，其中，所述運(yùn)動類型確定器根據(jù)當(dāng)前畫面的全部宏塊中、由具有對應(yīng)于所述每種運(yùn)動類型的運(yùn)動特性的宏塊占據(jù)的比率，確定當(dāng)前畫面的運(yùn)動類型。
34.如權(quán)利要求33所述的立體圖像產(chǎn)生裝置，其中，所述運(yùn)動類型確定器至少包括運(yùn)動/靜止畫面確定器、水平/非水平運(yùn)動畫面確定器和水平/快速運(yùn)動畫面確定器中的一種；所述運(yùn)動/靜止畫面確定器根據(jù)當(dāng)前畫面的全部宏塊中、由靜止宏塊占據(jù)的比率，將當(dāng)前畫面的運(yùn)動類型確定為靜止畫面和運(yùn)動畫面中的一種；所述水平/非水平運(yùn)動畫面確定器根據(jù)當(dāng)前畫面的全部宏塊中、由基于最大垂直會聚閾值角和最大垂直視差閾值的非水平宏塊占據(jù)的比率，將當(dāng)前畫面的運(yùn)動類型確定為非水平運(yùn)動畫面和水平運(yùn)動畫面中的一種；和所述水平/快速運(yùn)動畫面確定器根據(jù)當(dāng)前畫面的全部宏塊中、由基于最大水平視差閾值的快速運(yùn)動宏塊占據(jù)的比率，將當(dāng)前畫面的運(yùn)動類型確定為快速運(yùn)動畫面和水平運(yùn)動畫面中的一種。
35.如權(quán)利要求31所述的立體圖像產(chǎn)生裝置，其中，所述立體圖像產(chǎn)生器至少包括混合靜止畫面產(chǎn)生器、混合非水平運(yùn)動畫面產(chǎn)生器、混合快速運(yùn)動畫面產(chǎn)生器和混合水平運(yùn)動畫面產(chǎn)生器中的一種；如果在所述運(yùn)動類型確定器中將當(dāng)前畫面的運(yùn)動類型確定為靜止畫面，所述混合靜止畫面產(chǎn)生器基于當(dāng)前畫面中每個(gè)預(yù)定塊的亮度和/或其標(biāo)準(zhǔn)偏差，分配彼此不同的深度信息，將分配的深度信息轉(zhuǎn)換成水平視差，并且產(chǎn)生混合畫面，如果在所述運(yùn)動類型確定器中將當(dāng)前畫面的運(yùn)動類型確定為非水平運(yùn)動畫面，所述混合非水平運(yùn)動畫面產(chǎn)生器在攝像機(jī)和物體均在當(dāng)前畫面中移動的情況下，在運(yùn)動方向與攝像機(jī)運(yùn)動方向相同的宏塊和運(yùn)動方向與攝像機(jī)運(yùn)動方向不相同的宏塊之間，分配彼此不同的視差值，并且產(chǎn)生混合畫面，在只有物體在當(dāng)前畫面中移動的情況下，在運(yùn)動宏塊和靜止宏塊之間分配彼此不同的視差值，并且產(chǎn)生混合畫面，在只有攝像機(jī)在當(dāng)前畫面中移動的情況下，使用按照當(dāng)前宏塊邊緣特性的外圍邊緣宏塊的至少一個(gè)運(yùn)動矢量和先前畫面宏塊的運(yùn)動矢量，獲得對應(yīng)于當(dāng)前宏塊的視差值，并且產(chǎn)生混合畫面，如果在所述運(yùn)動類型確定器中將當(dāng)前畫面的運(yùn)動類型確定為快速運(yùn)動畫面，所述混合快速運(yùn)動畫面產(chǎn)生器將當(dāng)前畫面中快速運(yùn)動宏塊的運(yùn)動矢量轉(zhuǎn)換成最大水平視差值，以便所述宏塊移動最大水平視差值，并且將水平移動的宏塊與緊鄰的先前畫面混合，由此產(chǎn)生混合畫面；以及如果在所述運(yùn)動類型確定器中將當(dāng)前畫面的運(yùn)動類型確定為水平運(yùn)動畫面，所述混合水平運(yùn)動畫面產(chǎn)生器根據(jù)當(dāng)前畫面中運(yùn)動矢量的最大水平視差閾值和預(yù)定水平運(yùn)動速度值，產(chǎn)生先前畫面作為混合畫面。
36.如權(quán)利要求31所述的立體圖像產(chǎn)生裝置，其中，所述左/右畫面確定器在所述運(yùn)動類型確定器中確定當(dāng)前畫面的運(yùn)動類型不是水平運(yùn)動畫面的運(yùn)動類型情況下，選擇第一模式，在所述運(yùn)動類型確定器中確定當(dāng)前畫面的運(yùn)動類型是水平運(yùn)動畫面的情況下，按照當(dāng)前畫面中攝像機(jī)和/或物體的運(yùn)動種類，自適應(yīng)選擇第一模式和第二模式中的一種，其中，所述第一模式是當(dāng)前畫面確定為左畫面、并且相應(yīng)混合畫面確定為右畫面的立體圖像顯示模式，所述第二模式是當(dāng)前畫面確定為右畫面、相應(yīng)混合畫面確定為左畫面的立體圖像顯示模式。
37.如權(quán)利要求31所述的立體圖像產(chǎn)生裝置，還包括運(yùn)動類型再確定器，基于當(dāng)前畫面和先前畫面的每種運(yùn)動類型的組合，自適應(yīng)再確定在所述運(yùn)動類型確定器中已確定的當(dāng)前畫面的運(yùn)動類型，以便顯著減少時(shí)間上連續(xù)的立體圖像之間的畫面抖動，其中當(dāng)前畫面的再確定運(yùn)動類型用于相應(yīng)立體圖像的產(chǎn)生和/或左/右畫面的確定。
38.如權(quán)利要求37所述的立體圖像產(chǎn)生裝置，其中，如果先前畫面的運(yùn)動類型是靜止畫面，所述運(yùn)動類型再確定器不改變當(dāng)前畫面的運(yùn)動類型；如果先前畫面和當(dāng)前畫面的運(yùn)動類型彼此不同，所述運(yùn)動類型再確定器按照所述當(dāng)前畫面和所述先前畫面的每種運(yùn)動類型的組合，自適應(yīng)再調(diào)整在當(dāng)前畫面的運(yùn)動類型初始確定時(shí)使用的閾值，并且再確定當(dāng)前畫面的運(yùn)動類型；和如果先前畫面和當(dāng)前畫面的運(yùn)動類型相同，所述運(yùn)動類型再確定器再確定在非水平運(yùn)動畫面或水平運(yùn)動畫面中攝像機(jī)和/或物體的運(yùn)動種類，并且利用先前和當(dāng)前畫面二者的水平運(yùn)動速度，確定對應(yīng)于水平運(yùn)動畫面的先前畫面。
全文摘要
一種立體圖像產(chǎn)生裝置。畫面提取器從MPEG編碼數(shù)據(jù)中提取每個(gè)畫面數(shù)據(jù)。運(yùn)動矢量產(chǎn)生器產(chǎn)生對應(yīng)于畫面中宏塊的運(yùn)動矢量,且提供給運(yùn)動矢量場形成器。畫面存儲單元存儲從編碼畫面數(shù)據(jù)再現(xiàn)的畫面。運(yùn)動類型確定器確定當(dāng)前畫面的運(yùn)動類型。立體圖像產(chǎn)生器使用先前畫面和運(yùn)動類型,產(chǎn)生當(dāng)前畫面的混合畫面,并且輸出當(dāng)前畫面和混合畫面。左/右畫面確定器將它們確定為立體圖像的左畫面和右畫面。使得對于多種運(yùn)動類型的畫面都獲得自然穩(wěn)定的圖像立體感。
文檔編號H04N13/00GK1313712SQ00104048
公開日2001年9月19日 申請日期2000年3月14日 優(yōu)先權(quán)日2000年3月14日
發(fā)明者金萬培, 姜豪奭 申請人:株式會社索夫特4D