專(zhuān)利名稱(chēng)：用于將二維圖像信號(hào)轉(zhuǎn)換為三維圖像信號(hào)的裝置及方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種用于轉(zhuǎn)換圖像信號(hào)的裝置，并且更具體地，涉及一種將二維圖像 信號(hào)轉(zhuǎn)換為三維圖像信號(hào)的裝置及方法。
背景技術(shù)：
近來(lái)，由于三維(3D)立體圖像引起了更多關(guān)注，各種各樣的立體圖像捕獲裝置及 顯示裝置正處于發(fā)展中。可以通過(guò)使用左右攝像機(jī)對(duì)捕獲立體圖像信號(hào)來(lái)獲取用于顯示立 體圖像的立體圖像信號(hào)。這種方法適于顯示自然的立體圖像，但需要使用兩個(gè)攝像機(jī)來(lái)捕 獲圖像。此外，當(dāng)對(duì)捕獲到的左側(cè)圖像和右側(cè)圖像進(jìn)行拍攝或編碼時(shí)將會(huì)出現(xiàn)問(wèn)題，需要解 決左側(cè)圖像和右側(cè)圖像的不同幀率。還可以通過(guò)將使用一個(gè)攝像機(jī)獲取的二維圖像信號(hào)轉(zhuǎn)換為三維圖像信號(hào)來(lái)獲取 立體圖像信號(hào)。根據(jù)該方法，獲取的二維圖像(原始圖像)經(jīng)過(guò)預(yù)置的信號(hào)處理過(guò)程生成 三維圖像，即左側(cè)圖像和右側(cè)圖像。因此，在對(duì)通過(guò)使用左、右攝像機(jī)獲取的立體圖像信號(hào) 進(jìn)行處理時(shí)該方法不會(huì)出現(xiàn)問(wèn)題。然而，由于使用一個(gè)圖像形成了兩個(gè)圖像，該方法不適于 顯示自然且穩(wěn)定的立體圖像。因此，對(duì)于二維圖像信號(hào)向三維圖像信號(hào)的轉(zhuǎn)換，使用轉(zhuǎn)換后 的三維圖像信號(hào)來(lái)顯示更自然且穩(wěn)定的立體圖像是非常重要的一點(diǎn)?？梢酝ㄟ^(guò)改進(jìn)的時(shí)間差分(MTD)法將二維圖像信號(hào)轉(zhuǎn)換為三維圖像信號(hào)。在MTD 方法中，可以使用選自多個(gè)先前幀的圖像中的任意圖像作為當(dāng)前圖像的一對(duì)幀，該當(dāng)前圖 像的一對(duì)幀即為二維圖像信號(hào)。被選擇作為當(dāng)前圖像的一對(duì)幀的先前圖像也被稱(chēng)為延遲圖 像?；谶\(yùn)動(dòng)速度和方向來(lái)選擇一幀圖像作為延遲圖像并確定該延遲圖像是左側(cè)圖像還是 右側(cè)圖像。然而，該方法中，必須從先前幀中選擇一幀作為延遲圖像。因此，并未充分考慮 包含于一幀中的區(qū)域的各種特性，例如，遠(yuǎn)近感差異、運(yùn)動(dòng)方位和/或運(yùn)動(dòng)速度差異或亮度 及顏色差異。因此，該方法不適于顯示自然且穩(wěn)定的立體圖像。

發(fā)明內(nèi)容
(一)要解決的技術(shù)問(wèn)題本發(fā)明提供一種用于將二維圖像信號(hào)轉(zhuǎn)換為三維圖像信號(hào)的裝置及方法，該裝置 及方法能夠顯示自然且穩(wěn)定的立體圖像。( 二 )技術(shù)方案根據(jù)本發(fā)明的實(shí)施例的用于將二維圖像信號(hào)轉(zhuǎn)換為三維圖像信號(hào)的方法包括獲 取關(guān)于當(dāng)前幀的運(yùn)動(dòng)信息，所述當(dāng)前幀為二維輸入圖像信號(hào)；使用所述運(yùn)動(dòng)信息確定所述 當(dāng)前幀的運(yùn)動(dòng)類(lèi)型；以及，當(dāng)所述當(dāng)前幀不為水平運(yùn)動(dòng)幀時(shí)，將所述當(dāng)前幀的深度圖應(yīng)用于 當(dāng)前圖像，以生成三維輸出圖像信號(hào)，其中，使用所述當(dāng)前幀的水平邊界生成所述深度圖。根據(jù)當(dāng)前實(shí)施例的一個(gè)方面，當(dāng)所述當(dāng)前幀為水平運(yùn)動(dòng)幀且為場(chǎng)景切換幀時(shí)，將 所述當(dāng)前幀的深度圖應(yīng)用于當(dāng)前圖像，以生成三維輸出圖像信號(hào)。當(dāng)所述當(dāng)前幀為水平運(yùn) 動(dòng)幀且不為場(chǎng)景切換幀時(shí)，使用當(dāng)前圖像和延遲圖像生成三維輸出圖像信號(hào)。
根據(jù)當(dāng)前實(shí)施例的另一個(gè)方面，為應(yīng)用所述深度圖，檢測(cè)所述當(dāng)前幀的水平邊界， 然后，每當(dāng)在沿垂直方向相對(duì)于所述當(dāng)前幀移動(dòng)的過(guò)程中遇到所檢測(cè)到的水平邊界，循序 增加深度值，由此生成所述深度圖。在這種情況下，在生成所述深度圖之前，所述方法還可 以包括對(duì)所述深度值使用水平平均濾波器。根據(jù)本發(fā)明的另一實(shí)施例的用于將二維圖像信號(hào)轉(zhuǎn)換為三維圖像信號(hào)的方法包 括獲取關(guān)于當(dāng)前幀的運(yùn)動(dòng)信息，所述當(dāng)前幀為二維輸入圖像信號(hào)；使用所述運(yùn)動(dòng)信息確 定所述當(dāng)前幀的運(yùn)動(dòng)類(lèi)型；以及，當(dāng)所述當(dāng)前幀為水平運(yùn)動(dòng)幀時(shí)，確定所述當(dāng)前幀是否為場(chǎng) 景切換幀；并且，如果所述當(dāng)前幀為水平運(yùn)動(dòng)幀且不為場(chǎng)景切換幀，使用當(dāng)前圖像和延遲圖 像生成三維輸出圖像信號(hào)；并且，如果所述當(dāng)前幀不為水平運(yùn)動(dòng)幀，或，所述前幀為水平運(yùn) 動(dòng)幀且為場(chǎng)景切換幀，將深度圖應(yīng)用于當(dāng)前圖像，以生成三維輸出圖像信號(hào)。根據(jù)本發(fā)明的另一實(shí)施例的用于將二維圖像信號(hào)轉(zhuǎn)換為三維圖像信號(hào)的方法包 括檢測(cè)當(dāng)前幀的水平邊界，所述當(dāng)前幀為二維輸入圖像信號(hào)；通過(guò)在沿垂直方向相對(duì)于 所述當(dāng)前幀移動(dòng)的過(guò)程中遇到所述水平邊界時(shí)增加深度值來(lái)生成深度圖；以及，將所述深 度圖應(yīng)用于當(dāng)前圖像，以生成三維輸出圖像信號(hào)。根據(jù)本發(fā)明的實(shí)施例的用于將二維圖像信號(hào)轉(zhuǎn)換為三維圖像信號(hào)的裝置包括運(yùn) 動(dòng)信息計(jì)算單元，用于獲取關(guān)于當(dāng)前幀的運(yùn)動(dòng)信息，所述當(dāng)前幀為二維輸入圖像信號(hào)；運(yùn)動(dòng) 類(lèi)型確定單元，用于使用所述運(yùn)動(dòng)信息確定所述當(dāng)前幀的運(yùn)動(dòng)類(lèi)型；以及，三維圖像生成單 元，用于當(dāng)所述當(dāng)前幀不為水平運(yùn)動(dòng)幀時(shí)，將所述當(dāng)前幀的深度圖應(yīng)用于當(dāng)前圖像，以生成 三維輸出圖像信號(hào)，其中，所述三維圖像生成單元使用所述當(dāng)前幀的水平邊界生成所述深 度圖。(三)有益效果根據(jù)本發(fā)明的用于將二維圖像信號(hào)轉(zhuǎn)換為三維圖像信號(hào)的裝置及方法適于顯示 自然且穩(wěn)定的立體圖像。


圖1為示出了根據(jù)本發(fā)明的實(shí)施例的將二維圖像信號(hào)轉(zhuǎn)換為三維圖像信號(hào)的轉(zhuǎn) 換過(guò)程的流程圖；圖2為示出了使用完全搜索時(shí)搜索點(diǎn)的位置方差的實(shí)施例的示意圖；圖3示出了用于解釋如何確定應(yīng)用于本發(fā)明的實(shí)施例的公式2中的與誤差相關(guān)的 閾值的參考幀的圖像；圖4為示出了中值濾波器的應(yīng)用過(guò)程的實(shí)例的示意圖；圖5為用于解釋當(dāng)飛機(jī)從左側(cè)移動(dòng)到右側(cè)且作為背景的山固定時(shí)，基于羅斯 (Ross)效應(yīng)將二維圖像轉(zhuǎn)換為三維圖像的方法的示意圖；圖6為示出了攝像機(jī)固定且物體移動(dòng)時(shí)，塊單元中運(yùn)動(dòng)矢量的實(shí)施例的示意圖；圖7為示出了物體固定且攝像機(jī)移動(dòng)時(shí)，塊單元中運(yùn)動(dòng)矢量的實(shí)施例的示意圖；圖8為示出了如何使用延遲圖像和當(dāng)前圖像確定左側(cè)圖像和右側(cè)圖像的一個(gè)實(shí) 例的示意圖；圖9為詳細(xì)示出了圖1中操作S50的操作過(guò)程的流程圖；圖10顯示了用于解釋與垂直位置相關(guān)的深度感的圖像；
圖11為示出了索貝爾(Sobel)掩碼的示意圖；圖12顯示了應(yīng)用了圖11中的索貝爾掩碼的圖像；圖13為顯示了將圖11中的索貝爾掩碼應(yīng)用于圖12中的圖像所獲得的結(jié)果的示 意圖；圖14為示出了使用檢測(cè)到的邊界形成深度圖的操作的示意圖；圖15為通過(guò)圖14中的操作形成的深度圖的示意圖；圖16為示出了使用深度圖的方差(Variance)應(yīng)用方法和遮蔽(occlusion)區(qū)域 處理方法的示意圖；圖17為用于解釋當(dāng)運(yùn)動(dòng)類(lèi)型發(fā)生方差時(shí)的處理過(guò)程的方框圖；圖18為顯示了水平運(yùn)動(dòng)幀的運(yùn)動(dòng)矢量的示意圖；圖19為顯示了使用延遲圖像和當(dāng)前圖像生成立體圖像的轉(zhuǎn)換結(jié)果的示意圖，該 轉(zhuǎn)換結(jié)果通過(guò)將如上所述的本發(fā)明的實(shí)施例應(yīng)用于圖18中的運(yùn)動(dòng)矢量獲得；圖20為顯示了非水平運(yùn)動(dòng)幀的深度圖的示意圖；圖21顯示了應(yīng)用了圖20中的深度圖的、根據(jù)本發(fā)明的一個(gè)實(shí)施例的立體圖；圖22為示出了根據(jù)本發(fā)明的實(shí)施例的將二維圖像信號(hào)轉(zhuǎn)換為三維圖像信號(hào)的裝 置的結(jié)構(gòu)框圖。
具體實(shí)施例方式下文中，將結(jié)合附圖詳細(xì)描述本發(fā)明的實(shí)施例。本實(shí)施例僅用于解釋本發(fā)明的技 術(shù)方案。因此，本發(fā)明的技術(shù)方案不應(yīng)被解釋為由當(dāng)前實(shí)施例限定。當(dāng)前實(shí)施例使用的元素 還可以使用不同的名稱(chēng)。如果具有不同名稱(chēng)的元素在結(jié)構(gòu)和功能方面與當(dāng)前實(shí)施例中使用 的相應(yīng)的元素類(lèi)似或相同，這些具有不同名稱(chēng)的元素也應(yīng)該被視為等同于當(dāng)前實(shí)施例使用 的相應(yīng)的元素。類(lèi)似地，當(dāng)采用附圖中所示出的當(dāng)前實(shí)施例的改進(jìn)的實(shí)施例時(shí)，如果該改進(jìn) 的實(shí)施例在結(jié)構(gòu)和功能方面與當(dāng)前實(shí)施例類(lèi)似或相同，則這兩個(gè)實(shí)施例應(yīng)該被視為相同。圖1是示出了根據(jù)本發(fā)明的實(shí)施例的將二維QD)圖像信號(hào)轉(zhuǎn)換為三維(3D)圖像 信號(hào)的轉(zhuǎn)換過(guò)程的流程圖。參照?qǐng)D1，首先，使用二維圖像信號(hào)計(jì)算當(dāng)前幀的運(yùn)動(dòng)信息(S10)。執(zhí)行上述獲取 運(yùn)動(dòng)信息的過(guò)程以獲取能夠用于確定當(dāng)前幀的運(yùn)動(dòng)類(lèi)型的材料。該過(guò)程包括用于通過(guò)運(yùn) 動(dòng)評(píng)估(ME)獲取運(yùn)動(dòng)矢量(MV)的運(yùn)動(dòng)搜索過(guò)程，以及，用于所述獲取的MV的后置(post) 過(guò)程。運(yùn)動(dòng)搜索可以通過(guò)多種方式實(shí)施所述通過(guò)ME獲取MV的運(yùn)動(dòng)搜索。例如，所述運(yùn)動(dòng)搜索可 以為僅在參考幀的預(yù)置區(qū)域中執(zhí)行的局部搜索，或，在所述參考幀的全部區(qū)域中執(zhí)行的完 全搜索。由于搜索范圍狹窄，局部搜索所需要的搜索時(shí)間較短。另一方面，完全搜索需要的 搜索時(shí)間較局部搜索長(zhǎng)，但能夠使運(yùn)動(dòng)搜索更精確。根據(jù)本發(fā)明的實(shí)施例的一方面，使用完 全搜索。盡管如此，本發(fā)明的實(shí)施例并不限于完全搜索。當(dāng)使用完全搜索時(shí)，能夠通過(guò)精確 的運(yùn)動(dòng)搜索準(zhǔn)確地確定圖像的運(yùn)動(dòng)類(lèi)型，而且，最終能夠改善顯示圖像的三維效果。圖2是示出了在一個(gè)像素單元中使用完全搜索時(shí)，搜索點(diǎn)的位置方差的實(shí)施例的 示意圖。參照?qǐng)D2，在參考幀中沿逆時(shí)針?lè)较蛞?_1，_1)，(0,-1), (1,-1), (1,0), (1,1),(0，1)，(-1，1)，(-1,0)…的順序循序改變搜索點(diǎn)的同時(shí)，檢測(cè)所選擇的參考?jí)K和當(dāng)前塊之 間的誤差。此處，搜索點(diǎn)的坐標(biāo)為當(dāng)前塊位置與參考?jí)K位置之間的差距，即位移(dx，dy)。 在運(yùn)動(dòng)搜索過(guò)程中，選擇在位移方差的過(guò)程中具有最小誤差的搜索點(diǎn)，并且將被選擇的搜 索點(diǎn)的位移確定為當(dāng)前塊的MV(MVx，MVy)?？梢允褂霉?測(cè)量每一位移(dx，dy)的誤差。公式1中，η和m分別表示塊的 水平和垂直長(zhǎng)度，F(xiàn)(i，j)和G(i，j)分別表示當(dāng)前塊和參考?jí)K在(i，j)處的像素值。公式1
n/2 milError(dx,dy) = Σ Σ \F(i, j) - G{dx + i,dy + j)\
i^-n/2 j=-nt/2l■MV的后置過(guò)稈盡管如此，當(dāng)將具有最小誤差的位移確定為MV時(shí)，所確定的MV也不總是可靠的。 這是因?yàn)檩^大的最小誤差或相鄰塊的較大的MV差異可能表明ME不精確。因此，本實(shí)施例還 使用兩個(gè)后置過(guò)程來(lái)增強(qiáng)MV的可靠性。盡管使用兩個(gè)后置過(guò)程是可取的，但根據(jù)實(shí)施例， 可能只需要使用這些后置過(guò)程中的一個(gè)。用于增強(qiáng)MV的可靠性的第一后置過(guò)程包括將誤差值大于預(yù)置閾值的MV從所有 通過(guò)運(yùn)動(dòng)搜索由運(yùn)動(dòng)信息中獲取的MV中移除。該第一后置過(guò)程可以由公式2表示。公式 2中，error表示MV的誤差值，Threshold value表示用于確定MV是否有價(jià)值的閾值。根 據(jù)公式2，當(dāng)特定MV的誤差值大于該閾值時(shí)，假設(shè)ME是不精確的，并且在隨后的過(guò)程中，例 如，確定運(yùn)動(dòng)類(lèi)型的操作可以?xún)H使用具有與該閾值相等或小于該閾值的誤差值的MV。公式2f (error > Threshold value)MV_x = 0，MV_y = 0用于確定關(guān)于誤差的閾值的方法不限于此。例如，考慮到當(dāng)前幀的多種運(yùn)動(dòng)類(lèi)型 在存在場(chǎng)景切換的情況下，在存在大運(yùn)動(dòng)的情況下，以及在存在小運(yùn)動(dòng)的情況下。然后，在 考慮上述各種情況的平均誤差值的情況下確定該閾值。當(dāng)前實(shí)施例中，基于8X8塊，將公 式2的閾值設(shè)為250。下面將詳細(xì)描述該閾值的這種設(shè)置的原因。圖3示出了參考幀的圖像，用于解釋如何確定應(yīng)用于本實(shí)施例的公式2中的與誤 差相關(guān)的閾值。圖3中，上方的幀具有場(chǎng)景切換，中間的幀幾乎不運(yùn)動(dòng)，下方的幀具有較大 的運(yùn)動(dòng)。參照?qǐng)D3，對(duì)于前一幀與下一幀之間不存在任何關(guān)系的圖像來(lái)說(shuō)，例如，具有場(chǎng)景切 換的圖像，平均誤差值為1848 ；對(duì)于前一幀與下一幀之間存在較大關(guān)聯(lián)的圖像來(lái)說(shuō)，例如， 幾乎沒(méi)有運(yùn)動(dòng)的圖像，平均誤差值為比較小的53 ；對(duì)于前一幀與下一幀之間關(guān)聯(lián)較小的圖 像來(lái)說(shuō)，例如，盡管具有較大運(yùn)動(dòng)，但不存在場(chǎng)景切換的圖像，平均誤差值為300。因此，本實(shí) 施例中，將存在場(chǎng)景切換的情況、存在大運(yùn)動(dòng)的情況以及存在小運(yùn)動(dòng)的情況下的平均誤差 值考慮在內(nèi)，將閾值設(shè)置為250。盡管如此，該閾值為示例性的。用于增強(qiáng)通過(guò)運(yùn)動(dòng)搜索獲取的MV的可靠性的第二后置過(guò)程為修正錯(cuò)誤的MV。一 般來(lái)說(shuō)，除物體的邊緣之外，運(yùn)動(dòng)是連續(xù)的。然而，當(dāng)通過(guò)ME獲取MV時(shí)，可能存在與相鄰塊 的MV大不相同的錯(cuò)誤的MV。錯(cuò)誤的MV可能相對(duì)于相鄰塊的MV不連續(xù)。當(dāng)前實(shí)施例中，在確定運(yùn)動(dòng)類(lèi)型的過(guò)程中修正這類(lèi)錯(cuò)誤的MV。修正方法可以使用， 例如，平均值或中間值。盡管如此，修正方法并不限于這些方法。對(duì)于使用平均值的修正方 法，將當(dāng)前塊和所述當(dāng)前塊的多個(gè)相鄰塊的MV的平均值設(shè)為所述當(dāng)前塊的MV。另一方面，
7對(duì)于使用中間值的修正方法，將由當(dāng)前塊和所述當(dāng)前塊的多個(gè)相鄰塊的MV中選出的一個(gè) 中間值設(shè)為所述當(dāng)前塊的MV。根據(jù)本實(shí)施例的一方面，可以通過(guò)，例如，中值濾波器(MedianFilter)，來(lái)實(shí)現(xiàn)上 述使用中間值的修正方法。可以對(duì)預(yù)置數(shù)目的相鄰塊的MV的水平方向分量和垂直方向分 量中的每一個(gè)應(yīng)用中值濾波器。圖4是示出了中值濾波器的應(yīng)用過(guò)程的實(shí)例的示意圖。參 照?qǐng)D4，當(dāng)多個(gè)輸入值3，6，4，8和9通過(guò)中值濾波器時(shí)，輸出的是其中間值，S卩6。例如，假設(shè)五個(gè)相鄰塊的MV分別為(3,5), (6,2), (4，2), (8,4)和(9，3)。在這種 情況下，當(dāng)前塊的MV是0，2)。盡管如此，如果對(duì)這五個(gè)塊的MV的水平方向分量和垂直方 向分量中的每一個(gè)應(yīng)用中值濾波器，輸出值應(yīng)為(6，；3)。因此，當(dāng)根據(jù)本發(fā)明實(shí)施例執(zhí)行應(yīng) 用中值濾波器的后置程序時(shí)，當(dāng)前塊的MV從(4, 變?yōu)?6，3)。如上所述，在該過(guò)程中，首先在預(yù)置尺寸的塊單元中通過(guò)運(yùn)動(dòng)搜索獲取MV，然后， 對(duì)所獲取的MV執(zhí)行預(yù)置的后置程序，由此增強(qiáng)MV的可靠性。參照?qǐng)D1，使用SlO中獲取的MV，即已經(jīng)經(jīng)過(guò)后置程序(S20)處理過(guò)的MV確定當(dāng) 前幀的運(yùn)動(dòng)類(lèi)型。執(zhí)行這一過(guò)程是為了確定當(dāng)前幀是否為水平運(yùn)動(dòng)幀?？梢允褂枚喾N方法 確定當(dāng)前幀是否為水平運(yùn)動(dòng)幀。例如，可以通過(guò)參照當(dāng)前幀的MV的方式識(shí)別水平運(yùn)動(dòng)來(lái)確 定當(dāng)前幀是否為水平運(yùn)動(dòng)幀，即通過(guò)使用MV的水平方向分量的統(tǒng)計(jì)信息。當(dāng)前實(shí)施例使用否定法確定當(dāng)前幀是否為水平運(yùn)動(dòng)幀。根據(jù)否定法，根據(jù)預(yù)置標(biāo) 準(zhǔn)確定當(dāng)前幀是否為其他類(lèi)型幀，然后，如果當(dāng)前幀不是其他類(lèi)型幀，則確定當(dāng)前幀為水平 運(yùn)動(dòng)幀。例如，根據(jù)本實(shí)施例的一個(gè)方面，首先確定當(dāng)前幀是否為“靜止幀”、“高速運(yùn)動(dòng)幀” 或“垂直運(yùn)動(dòng)幀”，如果當(dāng)前幀并非上述任何一種類(lèi)型的幀，則確定當(dāng)前幀為水平運(yùn)動(dòng)幀。盡 管如此，上述否定法為示例性的。根據(jù)本發(fā)明的另一實(shí)施例，設(shè)置有用于確定水平運(yùn)動(dòng)幀的 預(yù)置標(biāo)準(zhǔn)(例如，MV的水平分量大于0，但位于使得當(dāng)前幀不為高速運(yùn)動(dòng)幀的值域內(nèi)，并且 MV的垂直分量為0，或位于一個(gè)非常小的值域內(nèi))，僅當(dāng)該預(yù)置標(biāo)準(zhǔn)得到滿(mǎn)足時(shí)，才確定當(dāng) 前幀為水平運(yùn)動(dòng)幀。下面將詳細(xì)描述確定當(dāng)前幀是否為“靜止幀”、“高速運(yùn)動(dòng)幀”或“垂直運(yùn)動(dòng)幀”的 實(shí)施例。<確定當(dāng)前幀是否為靜止幀>靜止幀是指，與參考幀中的物體相比，其中物體不移動(dòng)的圖像。對(duì)于靜止幀，攝像 機(jī)和物體二者都不運(yùn)動(dòng)，MV也具有零值或非常小的值。其也可以稱(chēng)作凍結(jié)幀。因此，當(dāng)具有 MV水平分量(MVx)和MV垂直分量(MVy)為零或很小的MV的塊與一幀之中所有塊的比例 很高時(shí)，可以確定當(dāng)前幀為靜止幀。例如，當(dāng)具有MV水平分量(MVx)和MV垂直分量(MVy) 的MV的塊與所有塊的比例為50%或更高時(shí)，可以確定當(dāng)前幀為靜止幀。盡管如此，所述確 定方法也是示例性的。如果當(dāng)前幀為靜止幀，將只使用當(dāng)前幀的圖像而不使用延遲圖像來(lái) 生成立體圖像，這將在下文中進(jìn)行介紹。〈確定當(dāng)前幀是否為高速運(yùn)動(dòng)幀〉高速運(yùn)動(dòng)幀是指，與參考幀中的物體相比，圖像中的物體以非?？斓乃俣纫苿?dòng)。對(duì) 于高速運(yùn)動(dòng)幀，物體與攝像機(jī)相對(duì)高速運(yùn)動(dòng)，并且MV的值較大。因此，即使當(dāng)前幀被確定為 高速運(yùn)動(dòng)幀，MV仍可以被使用。例如，參照具有大于預(yù)定值(使用MV的絕對(duì)值或水平分量 作為預(yù)定值)的MV的塊占所有塊的比例，可以確定當(dāng)前幀是否為高速運(yùn)動(dòng)幀。用于確定當(dāng)前幀是否為高速運(yùn)動(dòng)幀的MV的大小或上述比例的標(biāo)準(zhǔn)可以改變，并且可以使用不同樣品 的統(tǒng)計(jì)數(shù)據(jù)來(lái)準(zhǔn)確地確定。在高速運(yùn)動(dòng)幀中，物體每單位時(shí)間的移動(dòng)距離很大。例如，當(dāng)物體沿水平方向快速 移動(dòng)，并且延遲圖像作為當(dāng)前幀的配對(duì)圖像時(shí)，水平方差因高速而非常大，使得難于合成左 側(cè)和右側(cè)圖像。因此，當(dāng)前實(shí)施例中，對(duì)于高速運(yùn)動(dòng)圖像，將當(dāng)前幀而非延遲圖像作為當(dāng)前 幀的配對(duì)圖像。<確定當(dāng)前幀是否為垂直運(yùn)動(dòng)幀>垂直運(yùn)動(dòng)幀是指，與參考幀中的物體相比，圖像中的物體沿垂直方向運(yùn)動(dòng)。對(duì)于垂 直運(yùn)動(dòng)幀，物體和攝像機(jī)具有沿垂直方向的相對(duì)運(yùn)動(dòng)，并且MV的垂直分量的值等于或大于 預(yù)定值。根據(jù)當(dāng)前實(shí)施例，垂直運(yùn)動(dòng)幀還指，除垂直方向之外，圖像中的物體還沿水平方向 運(yùn)動(dòng)，即沿對(duì)角線(xiàn)方向。一般來(lái)說(shuō)，當(dāng)左側(cè)和右側(cè)圖像存在垂直方差時(shí)，難于合成左側(cè)和 右側(cè)圖像。即使合成了左側(cè)和右側(cè)圖像，也難以顯示具有三維效果的自然的立體圖像。此 外，可以使用MV，尤其是具有垂直分量(MVy)塊的比例大于預(yù)定值的MV，來(lái)確定當(dāng)前幀是否 為垂直運(yùn)動(dòng)幀。在當(dāng)前實(shí)施例中，與高速運(yùn)動(dòng)幀相同的是，使用當(dāng)前幀作為當(dāng)前幀的配對(duì)圖 像。如上所述，根據(jù)本實(shí)施例的一方面，首先確定當(dāng)前幀是否為靜止幀、高速運(yùn)動(dòng)幀或 垂直運(yùn)動(dòng)幀。若當(dāng)前幀為選自靜止幀、高速運(yùn)動(dòng)幀和垂直運(yùn)動(dòng)幀中的任意一種幀，執(zhí)行操作 S50，以?xún)H使用當(dāng)前圖像生成立體圖像。另一方面，若當(dāng)前幀并非選自上述靜止幀、高速運(yùn)動(dòng) 幀和垂直運(yùn)動(dòng)幀中的任意一種幀，確定當(dāng)前幀為垂直運(yùn)動(dòng)幀。在這種垂直運(yùn)動(dòng)圖像的情況 下，使用先前圖像作為當(dāng)前幀的配對(duì)圖像。執(zhí)行操作S30來(lái)完成這一過(guò)程。參照?qǐng)D1，如果當(dāng)前幀被確定為水平運(yùn)動(dòng)幀，則確定當(dāng)前幀是否為場(chǎng)景切換幀 (S30)。場(chǎng)景切換幀是指，與作為參考幀的先前圖像相比，該幀發(fā)生了場(chǎng)景切換。下面將詳 細(xì)描述在已經(jīng)確定當(dāng)前幀為水平運(yùn)動(dòng)幀后，確定當(dāng)前幀是否為場(chǎng)景切換幀的原因。如上所述，根據(jù)當(dāng)前實(shí)施例，若當(dāng)前幀為水平運(yùn)動(dòng)幀，使用延遲圖像作為當(dāng)前圖像 的配對(duì)圖像。盡管如此，如果在當(dāng)前幀和作為延遲圖像的前一幀之間存在場(chǎng)景切換，即使當(dāng) 前幀被確定為水平運(yùn)動(dòng)圖像，也不能使用該延遲圖像。這是因?yàn)椋绻诎l(fā)生場(chǎng)景切換的情 況下使用延遲圖像，在顯示立體圖像時(shí)，不同的場(chǎng)景圖像可能會(huì)重疊。因此，如果當(dāng)前幀被 確定為水平運(yùn)動(dòng)幀，需要對(duì)場(chǎng)景切換進(jìn)行檢測(cè)?？梢酝ㄟ^(guò)多種方法對(duì)場(chǎng)景切換進(jìn)行檢測(cè)。例如，可以通過(guò)比較當(dāng)前幀和參考幀的 統(tǒng)計(jì)特征或使用當(dāng)前幀與參考幀的像素值差異來(lái)檢測(cè)是否發(fā)生了場(chǎng)景切換。盡管如此，在 本實(shí)施例中，場(chǎng)景切換的檢測(cè)方法不限于此。下文中，作為可以應(yīng)用于本實(shí)施例的場(chǎng)景切換 檢測(cè)方法的一個(gè)實(shí)施例，將描述一種使用亮度直方圖的方法。這種使用亮度直方圖的方法 很有效，因?yàn)槠淇梢院?jiǎn)單地實(shí)施，并且計(jì)算量很小。此外，即使在運(yùn)動(dòng)場(chǎng)景的情況下，幀的亮 度等級(jí)也不會(huì)發(fā)生較大的改變。因此，該方法不會(huì)受到物體或攝像機(jī)運(yùn)動(dòng)的影響。使用亮度直方圖的方法的理論基礎(chǔ)在于，當(dāng)發(fā)生場(chǎng)景切換時(shí)，將會(huì)出現(xiàn)較大的亮 度改變。即當(dāng)場(chǎng)景未發(fā)生切換時(shí)，各幀的顏色分布和亮度分布將會(huì)彼此相似。而場(chǎng)景發(fā)生 切換時(shí)，各幀將具有不同的顏色分布和亮度分布。因此，如公式3所示，根據(jù)該使用亮度直 方圖的方法，當(dāng)連續(xù)幀的亮度直方圖的差異大于預(yù)置閾值時(shí)，確定當(dāng)前幀為場(chǎng)景切換幀。公式3
權(quán)利要求
1.一種用于將二維圖像信號(hào)轉(zhuǎn)換為三維圖像信號(hào)的方法，所述方法包括 獲取關(guān)于當(dāng)前幀的運(yùn)動(dòng)信息，所述當(dāng)前幀為二維輸入圖像信號(hào)；使用所述運(yùn)動(dòng)信息確定所述當(dāng)前幀的運(yùn)動(dòng)類(lèi)型；以及，當(dāng)所述當(dāng)前幀不為水平運(yùn)動(dòng)幀時(shí)，將所述當(dāng)前幀的深度圖應(yīng)用于當(dāng)前圖像，以生成三 維輸出圖像信號(hào)，其中，使用所述當(dāng)前幀的水平邊界生成所述深度圖。
2.如權(quán)利要求1所述的方法，其中，當(dāng)所述當(dāng)前幀為水平運(yùn)動(dòng)幀且為場(chǎng)景切換幀時(shí)，將 所述當(dāng)前幀的深度圖應(yīng)用于所述當(dāng)前圖像，以生成三維輸出圖像信號(hào)。
3.如權(quán)利要求1所述的方法，其中，當(dāng)所述當(dāng)前幀為水平運(yùn)動(dòng)幀且不為場(chǎng)景切換幀時(shí)， 使用所述當(dāng)前圖像和延遲圖像生成三維輸出圖像信號(hào)。
4.如權(quán)利要求1所述的方法，其中，為應(yīng)用所述深度圖，檢測(cè)所述當(dāng)前幀的水平邊界，然后，每當(dāng)在沿垂直方向相對(duì)于所述當(dāng)前幀移動(dòng)的過(guò)程 中遇到所檢測(cè)到的水平邊界時(shí)，循序增加深度值，由此生成所述深度圖。
5.如權(quán)利要求4所述的方法，在生成所述深度圖之前，還包括 對(duì)所述深度值應(yīng)用水平平均濾波器。
6.一種用于將二維圖像信號(hào)轉(zhuǎn)換為三維圖像信號(hào)的方法，所述方法包括 獲取關(guān)于當(dāng)前幀的運(yùn)動(dòng)信息，所述當(dāng)前幀為二維輸入圖像信號(hào)；使用所述運(yùn)動(dòng)信息確定所述當(dāng)前幀的運(yùn)動(dòng)類(lèi)型；以及， 當(dāng)所述當(dāng)前幀為水平運(yùn)動(dòng)幀時(shí)，確定所述當(dāng)前幀是否為場(chǎng)景切換幀；并且， 如果所述當(dāng)前幀為水平運(yùn)動(dòng)幀且不為場(chǎng)景切換幀，使用當(dāng)前圖像和延遲圖像生成三維 輸出圖像信號(hào)；并且，如果所述當(dāng)前幀不為水平運(yùn)動(dòng)幀，或，所述當(dāng)前幀為水平運(yùn)動(dòng)幀且為場(chǎng)景切換幀，將深 度圖應(yīng)用于當(dāng)前圖像，以生成三維輸出圖像信號(hào)。
7.如權(quán)利要求6所述的方法，其中，使用所述當(dāng)前幀的水平邊界生成所述深度圖。
8.如權(quán)利要求6所述的方法，其中，為應(yīng)用所述深度圖，檢測(cè)所述當(dāng)前幀的水平邊界，然后，每當(dāng)在沿垂直方向相對(duì)于所述當(dāng)前幀移動(dòng)的過(guò)程 中遇到所檢測(cè)到的水平邊界時(shí)，循序增加深度值，由此生成所述深度圖。
9.如權(quán)利要求6所述的方法，其中，所述獲取運(yùn)動(dòng)信息包括 在預(yù)定大小的塊單元中，使用參考幀獲取所述當(dāng)前幀的運(yùn)動(dòng)矢量；測(cè)量所述當(dāng)前幀和所述參考幀之間與所述運(yùn)動(dòng)矢量相關(guān)的誤差，以便選擇具有等于或 小于預(yù)定閾值的誤差的運(yùn)動(dòng)矢量；以及，對(duì)所選擇的運(yùn)動(dòng)矢量的垂直方向分量和水平方向分量中的每一個(gè)應(yīng)用中值濾波器。
10.如權(quán)利要求6所述的方法，其中，當(dāng)所述當(dāng)前幀不為選自靜止幀、高速運(yùn)動(dòng)幀和垂 直運(yùn)動(dòng)幀中的任意一種幀時(shí)，確定所述當(dāng)前幀為水平運(yùn)動(dòng)幀。
11.一種用于將二維圖像信號(hào)轉(zhuǎn)換為三維圖像信號(hào)的方法，所述方法包括 檢測(cè)當(dāng)前幀中的水平邊界，所述當(dāng)前幀為二維輸入圖像信號(hào)；通過(guò)在沿垂直方向相對(duì)于所述當(dāng)前幀移動(dòng)的過(guò)程中遇到所述水平邊界時(shí)增加深度值， 來(lái)生成深度圖；以及，將所述深度圖應(yīng)用于當(dāng)前圖像，以生成三維輸出圖像信號(hào)。
12.如權(quán)利要求11所述的方法，還包括對(duì)所檢測(cè)到的水平邊界應(yīng)用水平平均濾波器。
13.如權(quán)利要求11所述的方法，其中，所述生成三維輸出圖像信號(hào)包括劃分所述深度 圖的方差，并且將所劃分的方差應(yīng)用于所述當(dāng)前圖像，以生成左側(cè)圖像和右側(cè)圖像。
14.如權(quán)利要求13所述的方法，其中，使用小于其他方差的方差對(duì)當(dāng)沿水平方向設(shè)置 的連續(xù)像素的方差彼此不同時(shí)形成于所述左側(cè)圖像或右側(cè)圖像中的遮蔽區(qū)域進(jìn)行內(nèi)插。
15.一種用于將二維圖像信號(hào)轉(zhuǎn)換為三維圖像信號(hào)的裝置，所述裝置包括運(yùn)動(dòng)信息計(jì)算單元，用于獲取關(guān)于當(dāng)前幀的運(yùn)動(dòng)信息，所述當(dāng)前幀為二維輸入圖像信號(hào)；運(yùn)動(dòng)類(lèi)型確定單元，用于使用所述運(yùn)動(dòng)信息確定所述當(dāng)前幀的運(yùn)動(dòng)類(lèi)型；以及， 三維圖像生成單元，用于當(dāng)所述當(dāng)前幀不為水平運(yùn)動(dòng)幀時(shí)，將所述當(dāng)前幀的深度圖應(yīng) 用于當(dāng)前圖像，以生成三維輸出圖像信號(hào)；其中，所述三維圖像生成單元使用所述當(dāng)前幀的水平邊界生成所述深度圖。
全文摘要
公開(kāi)了一種用于將二維圖像信號(hào)轉(zhuǎn)換為三維立體圖像信號(hào)并輸出轉(zhuǎn)換后的三維立體圖像信號(hào)的裝置及方法。根據(jù)本發(fā)明的實(shí)施例的轉(zhuǎn)換圖像信號(hào)的方法，首先獲取關(guān)于當(dāng)前幀的運(yùn)動(dòng)信息，所述當(dāng)前幀為二維輸入圖像信號(hào)；然后，使用所述運(yùn)動(dòng)信息確定所述當(dāng)前幀的運(yùn)動(dòng)類(lèi)型。作為確定結(jié)果，如果所述當(dāng)前幀的運(yùn)動(dòng)類(lèi)型為水平運(yùn)動(dòng)幀，確定所述當(dāng)前幀是否為場(chǎng)景切換幀。如果所述當(dāng)前幀為水平運(yùn)動(dòng)幀，且不為場(chǎng)景切換幀，使用當(dāng)前圖像和延遲圖像生成三維輸出圖像信號(hào)。如果所述當(dāng)前幀不為水平運(yùn)動(dòng)幀，或，如果所述當(dāng)前幀為水平運(yùn)動(dòng)幀，且為場(chǎng)景切換幀，將深度圖應(yīng)用于當(dāng)前圖像，生成三維輸出圖像信號(hào)。在這種情況下，使用水平邊界和根據(jù)垂直位置的深度感差異獲取所述深度圖，以實(shí)現(xiàn)立體圖像。
文檔編號(hào)H04N13/00GK102124745SQ200880130733
公開(kāi)日2011年7月13日 申請(qǐng)日期2008年8月26日 優(yōu)先權(quán)日2008年8月26日
發(fā)明者丁泰燮, 劉智相, 千勝文, 吳镕協(xié), 尹正煥, 樸世恒, 白允基, 金鐘大 申請(qǐng)人:光云大學(xué)校, 升級(jí)芯片技術(shù)公司