專利名稱：圖像處理方法以及裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及從2維圖像生成用于立體顯示的視差圖像的圖像處理方法以及裝置。
背景技術(shù)：
已知有通過進(jìn)行顯示以便用左眼、右眼來視覺觀察每一個有視差的圖像，從而識別立體圖像的立體顯示技術(shù)。根據(jù)三角測量的要領(lǐng)，如果用右眼看用左眼看時的像，則位置會偏離若干。通過三角測量的要領(lǐng)掌握該偏差，從而判定該物體是在跟前還是在深處。艮口， 為了實(shí)現(xiàn)立體顯示，需要在圖像間有兩眼視差的3維圖像。近年來，正在開發(fā)對于一般的電視廣播那樣原本不包含3維信息的2維圖像也生成能夠進(jìn)行3維顯示那樣的影像的技術(shù)。在從2維圖像生成3維圖像時，表示從左眼看物體時和從右眼看物體時偏差多少的視差成為非常重要的因素。因?yàn)橛靡慌_照相機(jī)拍攝被拍攝體時進(jìn)深的信息損失，所以如何求出進(jìn)深就成為從2維圖像向3維圖像變換的問題。例如， 專利文獻(xiàn)1提供了如下所述的方法檢測從2維運(yùn)動圖像的基準(zhǔn)幀向其它幀的運(yùn)動向量， 根據(jù)運(yùn)動向量的水平分量決定幀延遲量，根據(jù)運(yùn)動向量的垂直分量決定線延遲量，從幀和/ 或線延遲量生成與基準(zhǔn)幀對應(yīng)的視差圖像，并根據(jù)運(yùn)動立體原理對其進(jìn)行立體觀察。但在該方法中，雖然能夠修正畫面整體的上下運(yùn)動而生成正確的視差圖像，但當(dāng)在畫面內(nèi)包含有局部運(yùn)動的物體的情況下，物體晃動而不能生成正確的視差圖像。另外，在專利文獻(xiàn)2中提供了如下的方法檢測運(yùn)動向量和背景區(qū)域，從背景區(qū)域的運(yùn)動向量計算背景向量，通過從全部運(yùn)動向量中減去背景向量而計算出相對向量，并以相對向量越大越配置在跟前的方式生成視差圖像。但是，在這種方法中，根據(jù)背景區(qū)域的檢測結(jié)果，有時變成存在于深處的物體被配置在跟前那樣的異樣感的視差圖像。專利文獻(xiàn)1 日本特開平7464631號公報專利文獻(xiàn)2 日本特開2000-261828號公報

發(fā)明內(nèi)容
本發(fā)明的目的在于在輸入了 2維運(yùn)動圖像時，生成能夠立體觀察的1張以上的視差圖像。另外，其目的還在于在用立體眼鏡立體觀察2維運(yùn)動圖像那樣用途的情況下生成左右2張視差圖像。本發(fā)明的一方式提供一種從2維運(yùn)動圖像生成用于3維顯示的視差圖像的圖像處理方法，該圖像處理方法具有根據(jù)2維運(yùn)動圖像的任意時刻的第1圖像、和與上述第1圖像不同時刻的第2圖像，針對上述第1圖像的每個塊檢測與第2圖像之間的運(yùn)動向量的步驟；從上述運(yùn)動向量中檢測進(jìn)深為深處側(cè)的部分的最深向量的步驟；求各運(yùn)動向量與上述最深向量的差分向量，越是與上述差分向量大的上述運(yùn)動向量對應(yīng)的上述第1圖像的塊， 越分配跟前側(cè)的進(jìn)深的步驟；根據(jù)上述第1圖像和上述進(jìn)深生成1張以上的視差圖像的步馬聚ο


圖1是本發(fā)明的第1種實(shí)施方式的、從2維圖像生成用于立體顯示的視差圖像的圖像處理裝置的框圖。圖2是表示本發(fā)明的第1實(shí)施方式的圖像處理方法的流程圖。圖3是用于說明運(yùn)動立體的原理的圖。圖4是用于說明運(yùn)動晃動的情況的圖。圖5是用于說明從視差向量向進(jìn)深的變換模式的圖。圖6是用于說明圖像的物體沖突的圖。圖7是表示最深向量檢測方法的流程圖。圖8是用于說明進(jìn)深變換模式的圖。圖9是用于說明視差圖像生成的圖。符號說明21 幀存儲器22:運(yùn)動向量檢測器23 分組(clustering)裝置24:最深向量檢測器25 進(jìn)深計算器26:視差向量計算器27 視差圖像生成器
具體實(shí)施例方式以下，詳細(xì)說明本發(fā)明的實(shí)施方式。[第1實(shí)施方式]參照圖1的框圖說明第1實(shí)施方式的、從2維圖像生成用于立體顯示的視差圖像的圖像處理裝置。根據(jù)圖1所示的圖像處理裝置，幀存儲器11以幀單位存儲來自視頻照相機(jī)、視頻再現(xiàn)機(jī)等視頻裝置的輸入運(yùn)動圖像。該幀存儲器11與運(yùn)動向量檢測器21連接。運(yùn)動向量檢測器21通過塊匹配等公知的方法從輸入運(yùn)動圖像和存儲在幀存儲器11中的圖像檢測運(yùn)動向量。運(yùn)動向量檢測器21的輸出與分組裝置23連接。分組裝置23將圖像(幀)分割成多個區(qū)域(組)。分組裝置23的輸出與最深向量檢測器M連接，該最深向量檢測器M 根據(jù)組檢測最深的物體的向量，即最深向量。具體地說，根據(jù)組檢測深處的物體和跟前的物體的重合，將重疊最多的組確定為最深，將該組的向量作為最深向量檢測出來。最深向量檢測器M的輸出與進(jìn)深計算器25連接，該進(jìn)深計算器25從最深向量計算進(jìn)深。具體地說， 從最深向量和最跟前的物體的向量、即最跟前向量計算直到最深物體的進(jìn)深。進(jìn)深計算器 25的輸出與視差向量計算器沈連接，該視差計算器沈根據(jù)進(jìn)深信息計算視差向量。視差向量計算器26的輸出與視差圖像生成器27連接。該視差圖像生成器27通過以后說明的方法從視差向量制成用右眼看的影像和用左眼看的影像。在參照圖2的流程圖說明圖1的圖像處理裝置的作用之前，說明從2維圖像變換到3維圖像的機(jī)理。
從2維圖像生成3維圖像的根據(jù)是利用圖3所示那樣的運(yùn)動立體的原理。即如果考慮1臺照相機(jī)一邊從左向右移動一邊拍攝的狀況，則可以考慮tl時刻的影像酷似能夠用左眼看到的圖像，t2時刻的影像酷似能夠用右眼看到的圖像。通過用右眼以及左眼看這樣的移動照相機(jī)的影像，立體觀察成為可能。像這樣地將來自移動照相機(jī)的運(yùn)動圖像分別作為左視差圖像以及右視差圖像利用的技術(shù)就是運(yùn)動立體。但如圖4所示，如果在畫面內(nèi)有和照相機(jī)的運(yùn)動獨(dú)立地運(yùn)動著的物體，則不同時刻的影像進(jìn)入到右眼和左眼，手和腳晃動而不能正確地立體觀察物體。因此，在本實(shí)施方式中，求從輸入的運(yùn)動圖像的基準(zhǔn)幀向其它時刻的幀的運(yùn)動向量，將運(yùn)動向量看做視差向量并從視差向量計算進(jìn)深圖，從計算出的進(jìn)深圖再次計算視差向量，根據(jù)視差向量從基準(zhǔn)幀生成2張視差圖像(但并不限于2張)。通過這樣做，因?yàn)槟軌驈?張(1時刻)基準(zhǔn)幀生成同時刻的視差圖像，所以能夠解決前面所述的手腳晃動的問題。已知在將運(yùn)動向量的水平分量作為視差向量時，從視差向量向進(jìn)深的變換是根據(jù)人的左右眼和向?qū)ο笪矬w的幾何學(xué)關(guān)系而按照圖5的模式進(jìn)行的。因?yàn)樽笥已叟渲迷谒椒较蛏?，所以視差基本上在左右水平地發(fā)生。根據(jù)該模式能夠從運(yùn)動再現(xiàn)自然的進(jìn)深。但是因?yàn)橹荒芾眠\(yùn)動的水平分量，所以限于具有水平方向的運(yùn)動的影像。在本實(shí)施方式不是檢測背景向量，而是采用從運(yùn)動圖像的運(yùn)動跟蹤進(jìn)深的方法。 即，檢測應(yīng)該配置在最深的區(qū)域的運(yùn)動向量(最深向量)，將與最深向量的差分向量越大的物體越配置在跟前。最深向量從運(yùn)動向量的重疊關(guān)系檢測出來。由此，就能夠根據(jù)運(yùn)動向量的差，將物體從最深的區(qū)域依次配置到跟前。以下，參照圖2的流程圖說明圖1的圖像處理裝置的作用。設(shè)在輸入2維運(yùn)動圖像的時刻t幀的位置X，y的像素值是lt(x，y)，時刻t_l幀的位置X，y的像素值是Ih (X，y)，時刻t+Ι幀的位置x, y的像素值是lt+1 (χ, y)。〈運(yùn)動向量檢測步驟Sll>在運(yùn)動向量檢測步驟Sl 1中，運(yùn)動向量檢測器22檢測從t幀到t-Ι幀的運(yùn)動向量。 在運(yùn)動向量的檢測中可以使用各種方法，但在此講述使用了塊匹配的方法。但是并不限于此。塊匹配是將t幀分割為矩形塊的部分，從t-Ι幀上檢索與每個塊對應(yīng)的塊的方法。設(shè)塊的大小為M1, M2，塊的位置為i，j。作為用于求運(yùn)動的誤差函數(shù)，能夠使用平均絕對值差分(Mean Absolute Difference :MAD)等。[數(shù)學(xué)式1]
權(quán)利要求
1.一種圖像處理方法，從2維運(yùn)動圖像生成用于3維顯示的視差圖像，具有根據(jù)2維運(yùn)動圖像的任意時刻的第1圖像、和與上述第1圖像不同時刻的第2圖像，針對上述第1圖像的每個塊檢測與第2圖像之間的運(yùn)動向量的步驟；從上述運(yùn)動向量中檢測對應(yīng)該將進(jìn)深設(shè)為最深側(cè)的塊求出的最深向量的步驟； 求各運(yùn)動向量與上述最深向量的差分向量，越是與上述差分向量大的上述運(yùn)動向量對應(yīng)的上述第1圖像的塊，越分配跟前側(cè)的進(jìn)深的步驟； 以及根據(jù)上述第1圖像和上述進(jìn)深生成1張以上的視差圖像的步驟。
2.根據(jù)權(quán)利要求1所述的圖像處理方法，其特征在于 檢測上述最深向量的步驟包括將上述運(yùn)動向量分類為1個以上的組，并求上述組內(nèi)的平均運(yùn)動向量的步驟；以及將上述平均運(yùn)動向量的某一個設(shè)定為上述最深向量的步驟。
3.根據(jù)權(quán)利要求2所述的圖像處理方法，其特征在于上述最深向量檢測步驟包括檢測上述組間的運(yùn)動向量的重合，將被覆蓋最多的組內(nèi)的平均運(yùn)動向量設(shè)定為上述最深向量的步驟。
4.根據(jù)權(quán)利要求3所述的圖像處理方法，其特征在于 上述差分向量的大小和上述進(jìn)深的關(guān)系成反比例。
5.根據(jù)權(quán)利要求3所述的圖像處理方法，其特征在于 上述差分向量的大小和上述進(jìn)深的關(guān)系成比例。
6.一種圖像處理裝置，從2維運(yùn)動圖像生成用于3維顯示的視差圖像，包括運(yùn)動向量檢測器，根據(jù)2維運(yùn)動圖像的任意時刻的第1圖像、和與上述第1圖像不同時刻的第2圖像，針對上述第1圖像的每個塊檢測與第2圖像之間的運(yùn)動向量； 進(jìn)深向量檢測器，從上述運(yùn)動向量中檢測進(jìn)深成為深側(cè)的部分的最深向量； 視差向量計算器，求各運(yùn)動向量與上述最深向量的差分向量，越是與上述差分向量大的上述運(yùn)動向量對應(yīng)的上述第1圖像的塊，越分配跟前側(cè)的進(jìn)深；以及視差圖像生成器，根據(jù)上述第1圖像和上述進(jìn)深生成1張以上的視差圖像。
全文摘要
一種從2維運(yùn)動圖像生成用于立體顯示的視差圖像的圖像處理方法，具有根據(jù)2維運(yùn)動圖像的任意時刻的第1圖像、和與第1圖像不同時刻的第2圖像，針對第1圖像的每個塊檢測與第2圖像之間的運(yùn)動向量的步驟；從運(yùn)動向量中檢測進(jìn)深成為最深側(cè)的部分的最深向量的步驟；求各運(yùn)動向量與最深向量的差分向量，越是與差分向量大的運(yùn)動向量對應(yīng)的第1圖像的塊，越分配跟前側(cè)的進(jìn)深的步驟；以及根據(jù)第1圖像和上述進(jìn)深生成1張以上的視差圖像的步驟。
文檔編號G06T7/20GK102326394SQ20098015719
公開日2012年1月18日 申請日期2009年9月8日 優(yōu)先權(quán)日2009年9月8日
發(fā)明者三島直, 三田雄志, 下山賢一, 井田孝 申請人:株式會社東芝