使用多視點(diǎn)圖像的差異信息來(lái)估計(jì)圖像運(yùn)動(dòng)的方法和裝置制造方法
【專利摘要】提供一種用于處理多視點(diǎn)圖像的方法和裝置。所述方法包括：提取在第一視角的圖像和第二視角的圖像之間的差異信息；以及使用提取的差異信息來(lái)估計(jì)第一視角或第二視角的兩個(gè)連續(xù)圖像之間的運(yùn)動(dòng)。所述裝置可以包括：處理器，其被配置為提取多視點(diǎn)圖像中的第一視角的圖像和第二視角的圖像之間的差異信息，并且還被配置為使用提取的差異信息來(lái)估計(jì)第一視角或第二視角的兩個(gè)連續(xù)圖像之間的運(yùn)動(dòng)。
【專利說(shuō)明】使用多視點(diǎn)圖像的差異信息來(lái)估計(jì)圖像運(yùn)動(dòng)的方法和裝置

【技術(shù)領(lǐng)域】
[000U 該方法和裝置設(shè)及用于通過(guò)使用多視點(diǎn)圖像（multi-view image)的差異 (disparity)信息來(lái)估計(jì)和處理多視點(diǎn)圖像的運(yùn)動(dòng)的方法和裝置。

【背景技術(shù)】
[0002] 用于生成兩個(gè)圖像之間的圖像的多視點(diǎn)圖像的運(yùn)動(dòng)估計(jì)可W通過(guò)估計(jì)兩個(gè)連續(xù) 圖像之間的運(yùn)動(dòng)的方法或通過(guò)估計(jì)具有不同視角的兩個(gè)圖像之間的運(yùn)動(dòng)的方法來(lái)執(zhí)行。后 者可W通過(guò)獲取差異信息來(lái)執(zhí)行，而前者可W通過(guò)獲取運(yùn)動(dòng)矢量來(lái)執(zhí)行。
[0003] 在該種情況下，當(dāng)估計(jì)運(yùn)動(dòng)時(shí)，在兩個(gè)連續(xù)圖像之間（其中每個(gè)圖像具有獨(dú)立的 視角），各視角的運(yùn)動(dòng)估計(jì)值可能缺乏一致性。


【發(fā)明內(nèi)容】

[0004] 技術(shù)問(wèn)題
[0005] 該方法和裝置提供用于通過(guò)使用多視點(diǎn)圖像的差異信息來(lái)估計(jì)和處理多視點(diǎn)圖 像的運(yùn)動(dòng)的方法和裝置。
[0006] 有益效果
[0007] 根據(jù)本發(fā)明構(gòu)思的示例性實(shí)施例，當(dāng)多視點(diǎn)圖像處理裝置通過(guò)在多視點(diǎn)圖像的每 個(gè)視角處獲取兩個(gè)連續(xù)圖像之間的運(yùn)動(dòng)估計(jì)信息而額外生成兩個(gè)連續(xù)圖像之間的圖像時(shí)， 兩個(gè)連續(xù)圖像之間的運(yùn)動(dòng)估計(jì)信息可W通過(guò)考慮兩個(gè)視角之間的差異來(lái)獲取W便加強(qiáng)兩 個(gè)視角之間的暫時(shí)運(yùn)動(dòng)估計(jì)信息的一致性并且提高運(yùn)動(dòng)估計(jì)的性能。

【專利附圖】

【附圖說(shuō)明】
[000引圖1是根據(jù)本發(fā)明的實(shí)施例的描述處理多視點(diǎn)圖像的方法的圖；
[0009] 圖2是根據(jù)本發(fā)明構(gòu)思的示例性實(shí)施例的圖示處理多視點(diǎn)圖像的方法的流程圖；
[0010] 圖3a和3b是根據(jù)本發(fā)明構(gòu)思的示例性實(shí)施例的描述處理多視點(diǎn)圖像的方法的框 圖；
[0011] 圖4是圖示根據(jù)本發(fā)明構(gòu)思的示例性實(shí)施例的圖3a和3b的方法的流程圖；
[0012] 圖5是用于描述根據(jù)本發(fā)明構(gòu)思的另一示例性實(shí)施例的處理多視點(diǎn)圖像的方法 的框圖；
[0013] 圖6是圖示根據(jù)本發(fā)明構(gòu)思的另一示例性實(shí)施例的圖5的方法的流程圖；
[0014] 圖7a至8c是根據(jù)本發(fā)明構(gòu)思的示例性實(shí)施例的多視點(diǎn)圖像；
[0015] 圖9是根據(jù)本發(fā)明構(gòu)思的另一示例性實(shí)施例的圖示通過(guò)獲取相應(yīng)區(qū)域來(lái)處理多 視點(diǎn)圖像的方法的流程圖；
[0016] 圖10是根據(jù)本發(fā)明構(gòu)思的另一示例性實(shí)施例的圖示通過(guò)獲取相應(yīng)區(qū)域來(lái)處理多 視點(diǎn)圖像的方法的流程圖；W及
[0017] 圖11是根據(jù)本發(fā)明構(gòu)思的示例性實(shí)施例的用于處理多視點(diǎn)圖像的裝置的框圖。

【具體實(shí)施方式】
[0018] 根據(jù)本發(fā)明構(gòu)思的一方面，提供一種處理多視點(diǎn)圖像的方法。所述方法包括；提取 在第一視角的圖像和第二視角的圖像之間的差異信息；W及使用提取的差異信息來(lái)估計(jì)第 一視角或第二視角的兩個(gè)連續(xù)圖像之間的運(yùn)動(dòng)。
[0019] 所述估計(jì)可W包括；使用提取的差異信息來(lái)獲取第一視角和第二視角的圖像中的 相應(yīng)區(qū)域；估計(jì)第一視角和第二視角中的每一個(gè)的兩個(gè)連續(xù)圖像之間的相應(yīng)區(qū)域的運(yùn)動(dòng)； W及使用在其它視角處估計(jì)的運(yùn)動(dòng)信息來(lái)補(bǔ)償在第一視角和第二視角中的每一個(gè)處估計(jì) 的運(yùn)動(dòng)信息。
[0020] 所述估計(jì)可W包括；估計(jì)第一視角或第二視角的兩個(gè)連續(xù)圖像之間的運(yùn)動(dòng)；W及 使用提取的差異信息來(lái)補(bǔ)償?shù)谝灰暯腔虻诙暯堑膬蓚€(gè)連續(xù)圖像之間的估計(jì)的運(yùn)動(dòng)信息。
[0021] 所述估計(jì)可W包括；估計(jì)第一視角的兩個(gè)連續(xù)圖像之間的運(yùn)動(dòng)；W及使用提取的 差異信息和在第一視角處估計(jì)的運(yùn)動(dòng)信息來(lái)估計(jì)第二視角的兩個(gè)連續(xù)圖像之間的運(yùn)動(dòng)。
[0022] 所述提取可W包括同時(shí)提取第一視角和第二視角的兩個(gè)圖像之間的差異信息。
[0023] 提取兩個(gè)連續(xù)圖像中的至少一個(gè)的時(shí)間可W等于或接近于提取差異信息的時(shí)間。
[0024] 所述估計(jì)可W包括獲取第一視角或第二視角的兩個(gè)連續(xù)圖像之間的運(yùn)動(dòng)矢量。
[0025] 所述方法還可W包括基于估計(jì)的運(yùn)動(dòng)信息生成第一視角或第二視角的兩個(gè)連續(xù) 圖像之間的圖像。
[0026] 示例性實(shí)施例可W提供一種用于處理多視點(diǎn)圖像的裝置，所述裝置包括：處理器， 其被配置為提取多視點(diǎn)圖像中的第一視角的圖像和第二視角的圖像之間的差異信息，且還 被配置為使用提取的差異信息來(lái)估計(jì)第一視角或第二視角的兩個(gè)連續(xù)圖像之間的運(yùn)動(dòng)。所 述裝置還可W包括存儲(chǔ)多視點(diǎn)圖像的存儲(chǔ)器。
[0027] 另一示例性實(shí)施例可W提供一種用于處理多視點(diǎn)圖像的裝置，所述裝置包括：至 少兩個(gè)相機(jī)，每一個(gè)拍攝彼此間隔開且與相機(jī)間隔開的兩個(gè)對(duì)象；W及處理器，其被配置為 提取在該多視點(diǎn)圖像中第一相機(jī)所拍攝的第一視角的圖像和第二相機(jī)所拍攝的第二視角 的圖像之間的差異信息，且還被配置為使用提取的差異信息來(lái)估計(jì)第一視角或第二視角的 兩個(gè)連續(xù)圖像之間的運(yùn)動(dòng)。
[002引另一示例性實(shí)施例可W提供一種用于處理多視點(diǎn)圖像的裝置，所述裝置包括：第 一運(yùn)動(dòng)估計(jì)模塊，其估計(jì)第一視角的兩個(gè)連續(xù)圖像之間的運(yùn)動(dòng)；第二運(yùn)動(dòng)估計(jì)模塊，其估計(jì) 第二視角的兩個(gè)連續(xù)圖像之間的運(yùn)動(dòng)；W及差異提取模塊，其提取在第一視角的圖像和第 二視角的圖像之間的差異信息；其中兩個(gè)運(yùn)動(dòng)估計(jì)模塊基于提取的差異信息來(lái)估計(jì)兩個(gè)連 續(xù)圖像之間的運(yùn)動(dòng)。
[0029] 本申請(qǐng)要求于2012年7月10日在USPTO提交的美國(guó)臨時(shí)申請(qǐng)第61/669,757號(hào) W及于2012年9月11日在韓國(guó)知識(shí)產(chǎn)權(quán)局提交的韓國(guó)專利申請(qǐng)第10-2012-0100654號(hào)的 權(quán)益，通過(guò)引用將其全部公開內(nèi)容結(jié)合于此。
[0030] 在下文中，將參照附圖更全面地描述本發(fā)明構(gòu)思，附圖中示出了發(fā)明的示例性實(shí) 施例。在下列描述及圖中，不對(duì)已知的功能或構(gòu)造進(jìn)行詳細(xì)描述，因?yàn)樗鼈儗不必要的細(xì) 節(jié)模糊本發(fā)明。另外，貫穿說(shuō)明書中，同樣的參考標(biāo)記表示同樣的元件。
[0031] 下述說(shuō)明書和權(quán)利要求中使用的術(shù)語(yǔ)或詞匯不必被分析為具有普遍的或詞典的 含義，并且必須在符合本發(fā)明構(gòu)思的技術(shù)精神的含義和概念內(nèi)被分析w最適當(dāng)?shù)乇硎臼纠?性實(shí)施例。因此，因?yàn)檎f(shuō)明書中公開的示例性實(shí)施例和圖中所示的配置僅表示本發(fā)明構(gòu)思 的最具示例性的實(shí)施例，而不表示本發(fā)明構(gòu)思的所有技術(shù)精神，所W應(yīng)當(dāng)清楚，在應(yīng)用了本 發(fā)明構(gòu)思示例性實(shí)施例時(shí)會(huì)存在用于替換它們的各種等效物和修改。
[0032] 諸如"其中的至少一個(gè)"的表達(dá)當(dāng)在元素列表之前時(shí)，修飾整個(gè)列表的元素而不修 飾列表的單個(gè)元素。
[0033] 圖1是根據(jù)本發(fā)明構(gòu)思的示例實(shí)施例描述處理多視點(diǎn)圖像的方法的圖。
[0034] 參照?qǐng)D1，在時(shí)刻TO、T1、T2、T3和T4處，多視點(diǎn)圖像的圖像數(shù)據(jù)可W根據(jù)每個(gè)視 角存在。當(dāng)能夠顯示多視點(diǎn)圖像的顯示設(shè)備顯示多視點(diǎn)圖像時(shí)（其中隨著時(shí)間的圖像數(shù)據(jù) 如圖1中所示地根據(jù)每個(gè)視角存在），必須獲取圖像之間的運(yùn)動(dòng)估計(jì)信息W額外生成每?jī)?個(gè)連續(xù)圖像之間的圖像，從而自然地顯示圖像。
[0035] 根據(jù)本發(fā)明構(gòu)思的示例性實(shí)施例，當(dāng)多視點(diǎn)圖像處理裝置通過(guò)在多視點(diǎn)圖像的每 個(gè)視角處獲取兩個(gè)連續(xù)圖像之間的運(yùn)動(dòng)估計(jì)信息而額外生成兩個(gè)連續(xù)圖像之間的圖像時(shí)， 兩個(gè)連續(xù)圖像之間的運(yùn)動(dòng)估計(jì)信息可W通過(guò)考慮兩個(gè)視角之間的差異來(lái)獲取W便加強(qiáng)兩 個(gè)視角之間的暫時(shí)運(yùn)動(dòng)估計(jì)信息的一致性并且提高運(yùn)動(dòng)估計(jì)的性能。
[0036] 圖2是根據(jù)本發(fā)明構(gòu)思的示例性實(shí)施例的圖示處理多視點(diǎn)圖像的方法的流程圖。
[0037] 參照?qǐng)D2,在操作S201中，根據(jù)本發(fā)明構(gòu)思的示例性實(shí)施例的多視點(diǎn)圖像處理裝 置提取在第一視角和第二視角的圖像之間的差異信息。在該種情況下，從其提取差異信息 的第一視角和第二視角的圖像可W是同時(shí)拍攝的圖像，并且差異信息可W從多視點(diǎn)圖像數(shù) 據(jù)中的元數(shù)據(jù)中提取。提取差異信息的方法不限于此，并且可W使用提供差異信息的各種 方法。
[003引在操作S203中，多視點(diǎn)圖像處理裝置通過(guò)考慮到提取的差異信息來(lái)估計(jì)第一視 角和第二視角中的每一個(gè)的兩個(gè)連續(xù)圖像之間的運(yùn)動(dòng)。在該種情況下，提取兩個(gè)連續(xù)圖像 中的至少一個(gè)的時(shí)間可W等于或接近于提取差異信息的時(shí)間。另外，當(dāng)多視點(diǎn)圖像處理裝 置估計(jì)第一視角和第二視角中的每一個(gè)的兩個(gè)連續(xù)圖像之間的運(yùn)動(dòng)時(shí)，多視點(diǎn)圖像處理裝 置可W估計(jì)兩個(gè)連續(xù)圖像之間的運(yùn)動(dòng)從而可通過(guò)運(yùn)動(dòng)估計(jì)信息生成的第一視角和第二視 角的圖像具有估計(jì)的差異。
[0039] 圖3a和3b是根據(jù)本發(fā)明構(gòu)思的示例性實(shí)施例的描述處理多視點(diǎn)圖像的方法的框 圖。在圖3a和3b中，運(yùn)動(dòng)估計(jì)模塊V。和V "_k 300和320、差異提取模塊310和運(yùn)動(dòng)估計(jì)補(bǔ) 償模塊330可W是存儲(chǔ)在根據(jù)本發(fā)明構(gòu)思的示例性實(shí)施例的多視點(diǎn)圖像處理裝置的存儲(chǔ) 器中的程序。
[0040] 參照?qǐng)D3a，運(yùn)動(dòng)估計(jì)模塊V。300可W估計(jì)第一視角的兩個(gè)連續(xù)圖像V"Tm和VJm+1 之間的運(yùn)動(dòng)。在該種情況下，可估計(jì)的運(yùn)動(dòng)信息可W由運(yùn)動(dòng)矢量- 表示。 運(yùn)動(dòng)估計(jì)模塊V"_k 320可W估計(jì)第二視角的兩個(gè)連續(xù)圖像V"_kTm和V"_kTm+i之間的運(yùn)動(dòng)，并 且運(yùn)動(dòng)估計(jì)模塊V"_k 320所估計(jì)的運(yùn)動(dòng)信息可W由運(yùn)動(dòng)矢量- 表示。差 異提取模塊310可W提取第一視角的圖像VJm和第二視角的圖像V"_kTm之間的差異信息 DlSpiUltV Y J 導(dǎo) 巧放 巧-義從。
[0041] 根據(jù)示例性實(shí)施例，運(yùn)動(dòng)估計(jì)模塊V。300和運(yùn)動(dòng)估計(jì)模塊V"_k 320可w通過(guò)考慮 到差異信息句一F".,r來(lái)估計(jì)兩個(gè)連續(xù)圖像之間的運(yùn)動(dòng)。
[0042] 在圖3b中，還可W包括用于補(bǔ)償運(yùn)動(dòng)估計(jì)模塊V。和V "_k 300和320所估計(jì)的運(yùn)動(dòng) ^^又4:和歷的運(yùn)動(dòng)估計(jì)補(bǔ)償模塊33〇。
[0043] 參照?qǐng)D3b，運(yùn)動(dòng)估計(jì)補(bǔ)償模塊330可W分別通過(guò)考慮到差異信息 Di句?an巧或其它視角的運(yùn)動(dòng)估計(jì)信息MI>V,,4：r,。一 K".k：Tw,或 A^r,r ^r,r。"來(lái)補(bǔ)償運(yùn)動(dòng)估計(jì)模塊￥。和V n_k 300和320所估計(jì)的運(yùn)動(dòng)矢量 脈 F"r"- FX+,和..成,。
[0044] 具體地，運(yùn)動(dòng)估計(jì)補(bǔ)償模塊330可W使用差異信息&巧一 或第一視角的運(yùn)動(dòng)估計(jì)信息^ 來(lái)補(bǔ)償?shù)诙暯堑倪\(yùn)動(dòng)估計(jì) 信息第二視角的經(jīng)補(bǔ)償?shù)倪\(yùn)動(dòng)估計(jì)信息可W由運(yùn)動(dòng)矢量 表示。
[0045] 另夕b運(yùn)動(dòng)估計(jì)補(bǔ)償模塊330可W使用差異信息/.)坤，卻術(shù) 或第二視角的運(yùn)動(dòng)估計(jì)信息^ 來(lái)補(bǔ)償?shù)谝灰暯堑倪\(yùn)動(dòng)估計(jì) 信息'Wf 。第一視角的經(jīng)補(bǔ)償?shù)倪\(yùn)動(dòng)估計(jì)信息可W由運(yùn)動(dòng)矢量 娜心示。
[0046] 圖4是圖示根據(jù)本發(fā)明構(gòu)思的示例性實(shí)施例的圖3a和3b的方法的流程圖。
[0047] 參照?qǐng)D4,在操作S401中，根據(jù)本發(fā)明構(gòu)思的示例性實(shí)施例的多視點(diǎn)圖像處理裝 置提取第一視角的圖像和第二視角的圖像之間的差異信息。在操作S403中，多視點(diǎn)圖像處 理裝置估計(jì)第一視角和第二視角中的每一個(gè)的兩個(gè)連續(xù)圖像之間的運(yùn)動(dòng)。在操作S405中， 多視點(diǎn)圖像處理裝置使用提取的差異信息補(bǔ)償在操作S403中估計(jì)的運(yùn)動(dòng)信息。例如，運(yùn)動(dòng) 信息可W被補(bǔ)償W使得可通過(guò)運(yùn)動(dòng)信息生成的第一視角的圖像和第二視角的圖像具有對(duì) 應(yīng)于提取的差異信息的差異。
[0048] 圖5是根據(jù)本發(fā)明構(gòu)思的另一示例性實(shí)施例的描述處理多視點(diǎn)圖像的方法的框 圖。在圖5中，運(yùn)動(dòng)估計(jì)模塊V。和V"_k 500和520 W及差異提取模塊510可W是存儲(chǔ)在根 據(jù)本發(fā)明構(gòu)思的示例性實(shí)施例的多視點(diǎn)圖像處理裝置的存儲(chǔ)器中的程序。
[0049] 參照?qǐng)D5,運(yùn)動(dòng)估計(jì)模塊V。500可W估計(jì)第一視角的兩個(gè)連續(xù)圖像V"Tm和V Jm+i 之間的運(yùn)動(dòng)。在該種情況下，可估計(jì)的運(yùn)動(dòng)信息可W由運(yùn)動(dòng)矢量 動(dòng)估計(jì)模塊V"_k 520可W估計(jì)第二視角的兩個(gè)連續(xù)圖像V"_kTm和V "_kTm+i之間的運(yùn)動(dòng)，并且 運(yùn)動(dòng)估計(jì)模塊V"_k 520所估計(jì)的運(yùn)動(dòng)信息可W由運(yùn)動(dòng)矢量 異提取模塊510可W提取第一視角的圖像VJm和第二視角的圖像V"_kTm之間的差異信息 Disparity ^ t t 巧 況 巧-k 規(guī)D
[0050] 根據(jù)示例性實(shí)施例，運(yùn)動(dòng)估計(jì)模塊V"_k 520可w使用差異信息 句wn'CF 和運(yùn)運(yùn)矢量I/"。r 一 F'。!；+,可獲取的運(yùn)動(dòng)信息來(lái)估計(jì)第二視 角的兩個(gè)連續(xù)圖像V"_kTm和V "_kTm+i之間的運(yùn)動(dòng)信息，并且運(yùn)動(dòng)信息可W按照運(yùn)動(dòng)矢量 換句話說(shuō)，根據(jù)示例性實(shí)施例，多視點(diǎn)圖像處理裝置可^使 用兩個(gè)視角之間的差異信息來(lái)估計(jì)一個(gè)視角的運(yùn)動(dòng)信息，并且可W估計(jì)其它視角的運(yùn)動(dòng)信 息。
[0051] 圖6是圖示根據(jù)本發(fā)明構(gòu)思的另一示例性實(shí)施例的圖5的方法的流程圖。
[0化2] 參照?qǐng)D6,在操作S601中，多視點(diǎn)圖像處理裝置提取第一視角的圖像和第二視角 的圖像之間的差異信息。在操作S603中，多視點(diǎn)圖像處理裝置估計(jì)第一視角的兩個(gè)連續(xù)圖 像之間的運(yùn)動(dòng)。在操作S605中，多視點(diǎn)圖像處理裝置使用差異信息和估計(jì)的第一視角的運(yùn) 動(dòng)信息來(lái)估計(jì)第二視角的兩個(gè)連續(xù)圖像之間的運(yùn)動(dòng)。例如，第二視角的運(yùn)動(dòng)信息可W被估 計(jì)W使得第二視角的圖像具有從第一視角的相應(yīng)圖像提取的差異，第一視角的相應(yīng)圖像可 W基于在第一視角處估計(jì)的運(yùn)動(dòng)信息來(lái)生成。
[0053] 圖7a至8c是根據(jù)本發(fā)明構(gòu)思的示例性實(shí)施例的多視點(diǎn)圖像。
[0054] 圖7a和化示出了不同視角的兩個(gè)圖像，它們由兩個(gè)相機(jī)同時(shí)捕獲。參照?qǐng)D7a和 7b，在多視點(diǎn)圖像中，關(guān)于不同視角生成的圖像由于兩個(gè)相機(jī)之間的位置差異而具有全局 差異。圖7a中所示的圖像的左邊區(qū)域710未在圖化中示出。另外，圖化中所示的圖像的 右邊區(qū)域740未在圖7a中示出。如果圖7a中所示的圖像被移動(dòng)到右邊，則經(jīng)移動(dòng)的圖像 可W與圖化中所示的圖像類似。
[0055] 因此，根據(jù)本發(fā)明構(gòu)思的示例性實(shí)施例的多視點(diǎn)圖像處理裝置可W使用差異信息 來(lái)獲取圖化中的相應(yīng)區(qū)域730,該相應(yīng)區(qū)域730對(duì)應(yīng)于圖7a中的當(dāng)前區(qū)域720。
[0056] 圖8a示出相機(jī)810和820,每個(gè)相機(jī)拍攝兩個(gè)對(duì)象830和840,所述兩個(gè)對(duì)象830 和840的位置與相機(jī)810和820分離并彼此不同。圖8b示出位于圖8a左側(cè)的相機(jī)810所 捕獲的圖像，并且圖8c示出位于圖8a右側(cè)的相機(jī)820所捕獲的圖像。當(dāng)其位置與圖像平 面分離且并不相同的兩個(gè)對(duì)象830和840被相機(jī)810和820在不同位置拍攝時(shí)，如圖8a中 所示，對(duì)象830和840的差異彼此不同，如圖8b和8c中所示。參照?qǐng)D8b和8c，更遠(yuǎn)離相 機(jī)810和820的對(duì)象830的差異小于更靠近相機(jī)810和820的對(duì)象840的差異。也即，多 視點(diǎn)圖像中的每個(gè)區(qū)域的差異可W根據(jù)對(duì)象和相機(jī)之間的距離而變化。因此，多視點(diǎn)圖像 處理裝置可W針對(duì)多視點(diǎn)圖像中的每個(gè)區(qū)域提取差異信息，并且可W通過(guò)使用差異信息獲 取每個(gè)區(qū)域的相應(yīng)區(qū)域來(lái)估計(jì)圖像之間的運(yùn)動(dòng)，從而提高運(yùn)動(dòng)估計(jì)執(zhí)行的性能。
[0057] 圖9是根據(jù)本發(fā)明構(gòu)思的另一示例性實(shí)施例的圖示通過(guò)獲取相應(yīng)區(qū)域來(lái)處理多 視點(diǎn)圖像的方法的流程圖。
[0化引參照?qǐng)D9,在操作S901中，根據(jù)本發(fā)明構(gòu)思的示例性實(shí)施例的多視點(diǎn)圖像處理裝 置提取第一視角的圖像和第二視角的圖像之間的差異信息。在操作S903中，多視點(diǎn)圖像處 理裝置獲取第一視角和第二視角中的每一個(gè)的圖像中的相應(yīng)區(qū)域。在操作S905中，多視點(diǎn) 圖像處理裝置基于相應(yīng)區(qū)域估計(jì)第一視角和第二視角中的每一個(gè)的兩個(gè)連續(xù)圖像之間的 運(yùn)動(dòng)。在操作S907中，多視點(diǎn)圖像處理裝置基于相應(yīng)區(qū)域使用提取的差異信息補(bǔ)償在操作 S905中估計(jì)的運(yùn)動(dòng)信息。
[0059] 圖10是根據(jù)本發(fā)明構(gòu)思的另一示例性實(shí)施例的圖示通過(guò)獲取相應(yīng)區(qū)域來(lái)處理多 視點(diǎn)圖像的方法的流程圖。
[0060] 參照?qǐng)D10,在操作S1001中，根據(jù)本發(fā)明構(gòu)思的示例性實(shí)施例的多視點(diǎn)圖像處理 裝置提取在第一視角的圖像和第二視角的圖像之間的差異信息。在操作S1003中，多視點(diǎn) 圖像處理裝置獲取第一視角和第二視角中的每一個(gè)的圖像中的相應(yīng)區(qū)域。在操作S1005 中，多視點(diǎn)圖像處理裝置基于相應(yīng)區(qū)域估計(jì)第一視角的兩個(gè)連續(xù)圖像之間的運(yùn)動(dòng)。在操作 S1007中，多視點(diǎn)圖像處理裝置使用差異信息和在第一視角處估計(jì)的運(yùn)動(dòng)信息、基于相應(yīng)區(qū) 域來(lái)估計(jì)第二視角的兩個(gè)連續(xù)圖像之間的運(yùn)動(dòng)。例如，第二視角的運(yùn)動(dòng)信息可W被基于相 應(yīng)區(qū)域來(lái)估計(jì)W使得第二視角的圖像具有從第一視角的相應(yīng)圖像提取的差異，所述第一視 角的圖像可W基于在第一視角處估計(jì)的運(yùn)動(dòng)信息來(lái)生成。
[0061] 圖11是根據(jù)本發(fā)明構(gòu)思的示例性實(shí)施例的用于處理多視點(diǎn)圖像的裝置1100的框 圖。
[006引參照?qǐng)D11，裝置1100可W包括；存儲(chǔ)器1140,其存儲(chǔ)多視點(diǎn)圖像1141和用于處理 多視點(diǎn)圖像1141的程序；W及處理器1130,其處理多視點(diǎn)圖像1141。裝置1100還可W包 括；顯示器1120,其顯示經(jīng)處理的多視點(diǎn)圖像；W及輸入單元1110,其從用戶接收輸入。
[0063] 處理器1130可W通過(guò)運(yùn)行存儲(chǔ)在存儲(chǔ)器1140中的程序來(lái)處理多視點(diǎn)圖像1141。 存儲(chǔ)在存儲(chǔ)器1140中的程序可W根據(jù)其功能被分為多個(gè)模塊，例如，差異提取模塊1142、 運(yùn)動(dòng)估計(jì)模塊1143、運(yùn)動(dòng)估計(jì)補(bǔ)償模塊1144、多視點(diǎn)圖像解碼模塊1145 W及多視點(diǎn)圖像再 現(xiàn)模塊1146。
[0064] 差異提取模塊1142可W提取第一視角的圖像和第二視角的圖像之間的差異信 息。提取的差異信息可W設(shè)及整個(gè)圖像或部分圖像。從其提取差異信息的第一視角和第二 視角的圖像可W同時(shí)被生成。
[00化]運(yùn)動(dòng)估計(jì)模塊1143可W基于提取的差異信息來(lái)估計(jì)第一視角或第二視角的兩個(gè) 連續(xù)圖像之間的運(yùn)動(dòng)。當(dāng)差異信息根據(jù)圖像中的每個(gè)區(qū)域而不同時(shí)，運(yùn)動(dòng)估計(jì)模塊1143可 W使用差異信息來(lái)獲取第一視角和第二視角中的每一個(gè)的相應(yīng)區(qū)域，并且對(duì)每個(gè)相應(yīng)區(qū)域 執(zhí)行運(yùn)動(dòng)估計(jì)。
[0066] 根據(jù)本發(fā)明構(gòu)思的示例性實(shí)施例，運(yùn)動(dòng)估計(jì)模塊1143可W估計(jì)第一視角和第二 視角中的每一個(gè)的兩個(gè)連續(xù)圖像之間的運(yùn)動(dòng)并且使用差異信息來(lái)補(bǔ)償在第一視角和第二 視角中的每一個(gè)處估計(jì)的運(yùn)動(dòng)信息。
[0067] 根據(jù)本發(fā)明構(gòu)思的另一示例性實(shí)施例，運(yùn)動(dòng)估計(jì)模塊1143可W估計(jì)第一視角的 兩個(gè)連續(xù)圖像之間的運(yùn)動(dòng)，并且可W使用差異信息和在第一視角處估計(jì)的運(yùn)動(dòng)信息來(lái)估計(jì) 第二視角的兩個(gè)連續(xù)圖像之間的運(yùn)動(dòng)。第一視角和第二視角不限于特定視角。提取兩個(gè)連 續(xù)圖像中的至少一個(gè)的時(shí)間可W等于或接近于提取差異信息的時(shí)間。也即，運(yùn)動(dòng)估計(jì)模塊 1143可W在提取差異信息之時(shí)估計(jì)圖像的暫時(shí)變化的運(yùn)動(dòng)信息。另外，運(yùn)動(dòng)估計(jì)模塊1143 可W通過(guò)獲取運(yùn)動(dòng)矢量來(lái)估計(jì)連續(xù)圖像之間的運(yùn)動(dòng)。
[0068] 運(yùn)動(dòng)估計(jì)補(bǔ)償模塊1144可W通過(guò)考慮到差異信息或另一視角的運(yùn)動(dòng)估計(jì)信息來(lái) 補(bǔ)償估計(jì)的運(yùn)動(dòng)矢量。
[0069] 具體地，運(yùn)動(dòng)估計(jì)補(bǔ)償模塊1144可W使用差異信息或在第一視角處估計(jì)的運(yùn)動(dòng) 信息來(lái)補(bǔ)償在第二視角處估計(jì)的運(yùn)動(dòng)信息。另外，運(yùn)動(dòng)估計(jì)補(bǔ)償模塊1144可W使用差異信 息或在第二視角處估計(jì)的運(yùn)動(dòng)信息來(lái)補(bǔ)償在第一視角處估計(jì)的運(yùn)動(dòng)信息。
[0070] 多視點(diǎn)圖像解碼模塊1145可W使用運(yùn)動(dòng)估計(jì)模塊1143所估計(jì)的運(yùn)動(dòng)信息或運(yùn)動(dòng) 估計(jì)補(bǔ)償模塊1144所補(bǔ)償?shù)倪\(yùn)動(dòng)信息來(lái)生成每個(gè)視角的兩個(gè)連續(xù)圖像之間的圖像。
[0071] 多視點(diǎn)圖像再現(xiàn)模塊1146可W控制顯示器1120使用多視點(diǎn)圖像解碼模塊1145 所生成的圖像來(lái)顯示多視點(diǎn)圖像。根據(jù)本發(fā)明構(gòu)思的示例性實(shí)施例，多視點(diǎn)圖像再現(xiàn)模塊 1146可W控制顯示器1120使用多視點(diǎn)圖像解碼模塊1145所生成的圖像來(lái)顯示圖像。
[0072] 本發(fā)明構(gòu)思還可W具體實(shí)現(xiàn)為非暫態(tài)計(jì)算機(jī)可讀記錄介質(zhì)上的計(jì)算機(jī)可讀代 碼。非暫態(tài)計(jì)算機(jī)可讀記錄介質(zhì)是可W存儲(chǔ)可在其后由計(jì)算機(jī)系統(tǒng)讀取的數(shù)據(jù)的任何數(shù) 據(jù)存儲(chǔ)設(shè)備。計(jì)算機(jī)可讀記錄介質(zhì)的示例包括只讀存儲(chǔ)器（ROM)、隨機(jī)存取存儲(chǔ)器（RAM)、 CD-ROM、磁帶、軟盤、光數(shù)據(jù)存儲(chǔ)設(shè)備等等。
[0073] 雖然已經(jīng)參照其示例性實(shí)施例具體示出和描述了本發(fā)明構(gòu)思，但是本領(lǐng)域普通技 術(shù)人員將會(huì)理解，可W在其中進(jìn)行形式和細(xì)節(jié)上的各種變化而不脫離權(quán)利要求書所限定的 本發(fā)明的精神和范圍。
【權(quán)利要求】
1. 一種處理多視點(diǎn)圖像的方法，所述方法包括： 提取在第一視角的圖像和第二視角的圖像之間的差異信息；以及 使用提取的差異信息來(lái)估計(jì)第一視角或第二視角的兩個(gè)連續(xù)圖像之間的運(yùn)動(dòng)。
2. 如權(quán)利要求1所述的方法，其中，所述估計(jì)包括： 使用提取的差異信息來(lái)獲取第一視角和第二視角的圖像中的相應(yīng)區(qū)域； 基于所述相應(yīng)區(qū)域來(lái)估計(jì)第一視角和第二視角中的每一個(gè)的兩個(gè)連續(xù)圖像之間的運(yùn) 動(dòng)；以及 使用在其它視角處估計(jì)的運(yùn)動(dòng)信息來(lái)補(bǔ)償在第一視角和第二視角中的每一個(gè)處估計(jì) 的運(yùn)動(dòng)信息。
3. 如權(quán)利要求1所述的方法，其中，所述估計(jì)包括： 估計(jì)第一視角或第二視角的兩個(gè)連續(xù)圖像之間的運(yùn)動(dòng)；以及 使用提取的差異信息來(lái)補(bǔ)償?shù)谝灰暯腔虻诙暯堑膬蓚€(gè)連續(xù)圖像之間的估計(jì)的運(yùn)動(dòng) 信息。
4. 如權(quán)利要求1所述的方法，其中，所述估計(jì)包括： 估計(jì)所述第一視角的兩個(gè)連續(xù)圖像之間的運(yùn)動(dòng)；以及 使用提取的差異信息和在所述第一視角處估計(jì)的運(yùn)動(dòng)信息來(lái)估計(jì)所述第二視角的兩 個(gè)連續(xù)圖像之間的運(yùn)動(dòng)。
5. 如權(quán)利要求1所述的方法，還包括：基于估計(jì)的運(yùn)動(dòng)信息生成所述第一視角或所述 第二視角的兩個(gè)連續(xù)圖像之間的圖像。
6. 如權(quán)利要求1所述的方法，其中，所述估計(jì)包括： 估計(jì)第一視角和第二視角中的每一個(gè)的兩個(gè)連續(xù)圖像之間的運(yùn)動(dòng)；以及 使用提取的差異信息或在所述第一視角處估計(jì)的運(yùn)動(dòng)信息來(lái)補(bǔ)償在所述第二視角處 估計(jì)的運(yùn)動(dòng)信息。
7. 如權(quán)利要求1所述的方法，其中，所述估計(jì)包括： 估計(jì)第一視角和第二視角中的每一個(gè)的兩個(gè)連續(xù)圖像之間的運(yùn)動(dòng)；以及 使用提取的差異信息或在所述第二視角處估計(jì)的運(yùn)動(dòng)信息來(lái)補(bǔ)償在所述第一視角處 估計(jì)的運(yùn)動(dòng)信息。
8. -種用于處理多視點(diǎn)圖像的裝置，所述裝置包括： 用于存儲(chǔ)多視點(diǎn)圖像的存儲(chǔ)器；以及 處理器，其提取所述多視點(diǎn)圖像中的第一視角的圖像和第二視角的圖像之間的差異信 息，并使用提取的差異信息來(lái)估計(jì)所述第一視角或所述第二視角的兩個(gè)連續(xù)圖像之間的運(yùn) 動(dòng)。
9. 如權(quán)利要求8所述的裝置，其中，所述處理器使用提取的差異信息來(lái)獲取第一視角 和第二視角的圖像中的相應(yīng)區(qū)域，基于所述相應(yīng)區(qū)域來(lái)估計(jì)第一視角和第二視角中的每一 個(gè)的兩個(gè)連續(xù)圖像之間的運(yùn)動(dòng)，并且使用在其它視角處估計(jì)的運(yùn)動(dòng)信息補(bǔ)償在第一視角和 第二視角中的每一個(gè)處估計(jì)的運(yùn)動(dòng)信息。
10. 如權(quán)利要求8所述的裝置，其中，所述處理器估計(jì)第一視角或第二視角的兩個(gè)連續(xù) 圖像之間的運(yùn)動(dòng)并且使用提取的差異信息來(lái)補(bǔ)償?shù)谝灰暯腔虻诙暯堑膬蓚€(gè)連續(xù)圖像之 間的估計(jì)的運(yùn)動(dòng)信息。
11. 如權(quán)利要求8所述的裝置，其中，所述處理器估計(jì)第一視角的兩個(gè)連續(xù)圖像之間的 運(yùn)動(dòng)并且使用提取的差異信息和在所述第一視角處估計(jì)的運(yùn)動(dòng)信息來(lái)估計(jì)所述第二視角 的兩個(gè)連續(xù)圖像之間的運(yùn)動(dòng)。
12. 如權(quán)利要求8所述的裝置，其中，所述處理器基于估計(jì)的運(yùn)動(dòng)信息來(lái)生成第一視角 或第二視角的兩個(gè)連續(xù)圖像之間的圖像。
13. 如權(quán)利要求8所述的裝置，其中，所述處理器估計(jì)第一視角和第二視角中的每一個(gè) 的兩個(gè)連續(xù)圖像之間的運(yùn)動(dòng)并且使用提取的差異信息或在所述第一視角處估計(jì)的運(yùn)動(dòng)信 息來(lái)補(bǔ)償在所述第二視角處估計(jì)的運(yùn)動(dòng)信息。
14. 如權(quán)利要求8所述的裝置，其中，所述處理器估計(jì)第一視角和第二視角中的每一個(gè) 的兩個(gè)連續(xù)圖像之間的運(yùn)動(dòng)并且使用提取的差異信息或在所述第二視角處估計(jì)的運(yùn)動(dòng)信 息來(lái)補(bǔ)償在所述第一視角處估計(jì)的運(yùn)動(dòng)信息。
15. -種非暫態(tài)計(jì)算機(jī)可讀記錄介質(zhì)，其存儲(chǔ)運(yùn)行處理視頻信號(hào)的方法的計(jì)算機(jī)可讀 程序，其中，所述程序當(dāng)被計(jì)算機(jī)的處理器運(yùn)行時(shí)使得所述計(jì)算機(jī)運(yùn)行一方法，所述方法包 括： 提取在第一視角的圖像和第二視角的圖像之間的差異信息；以及 使用提取的差異信息來(lái)估計(jì)第一視角或第二視角的兩個(gè)連續(xù)圖像之間的運(yùn)動(dòng)。
【文檔編號(hào)】H04N13/00GK104488264SQ201380039625
【公開日】2015年4月1日 申請(qǐng)日期:2013年5月3日 優(yōu)先權(quán)日:2012年7月10日
【發(fā)明者】樸勝浩, 樸世赫 申請(qǐng)人:三星電子株式會(huì)社