圖像處理裝置、攝像裝置及圖像處理方法
【專利摘要】一種圖像處理裝置（10），利用從相互不同的視點拍攝的第1圖像及第2圖像生成深度數(shù)據(jù)，具備：視差值計算部（11），針對作為第1圖像內(nèi)的一部分像素的多個代表像素中的各個像素，基于代表像素與對應(yīng)于代表像素的第2圖像內(nèi)的像素的位置關(guān)系，計算代表像素的視差值；分段部（12），基于像素值的類似性，將第1圖像分割為多個段；以及深度數(shù)據(jù)生成部（13），按每個段，基于段中包含的代表像素的視差值確定段的視差值，從而生成表示與各段對應(yīng)的進深的深度數(shù)據(jù)。
【專利說明】圖像處理裝置、攝像裝置及圖像處理方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及使用從相互不同的視點拍攝的第I圖像和第2圖像生成深度數(shù)據(jù)的圖像處理裝置、攝像裝置及圖像處理方法。
【背景技術(shù)】
[0002]近年來，顯示3D圖像的3D顯示器開始廣泛普及。并且，拍攝向這樣的3D顯示器顯示的3D圖像的3D照相機的需求也增加。在通常的3D照相機中，使用兩組透鏡及傳感器拍攝立體圖像。
[0003]已知有使用通過這樣的3D照相機拍攝的立體圖像生成表示立體圖像的進深的深度數(shù)據(jù)的方法。例如，通過在立體圖像中按每個像素檢測對應(yīng)點，并計算對應(yīng)點間的視差值，能夠生成深度數(shù)據(jù)。并且，能夠使用這樣生成的深度數(shù)據(jù)對立體圖像實施各種處理。
[0004]現(xiàn)有技術(shù)文獻
[0005]專利文獻
[0006]專利文獻1:特表2007-520822號公報
[0007]發(fā)明概要
[0008]發(fā)明要解決的問題
[0009]但是，在上述以往的方法中，為了生成深度數(shù)據(jù)而需要按每個像素檢測對應(yīng)點，處理負荷變高。
[0010]對此，公開了按照通過將圖像分割而得到的每個段、基于該段的大小分配進深值的方法(例如，參照專利文獻I)。在專利文獻I的方法中，越小的段分配越小的進深值。但是，并不一定段越小則與該段對應(yīng)的被攝體越存在于近前。即，在專利文獻I的方法中，在生成深度數(shù)據(jù)時，雖然能夠減輕處理負荷，但深度數(shù)據(jù)的正確度大幅下降。

【發(fā)明內(nèi)容】

[0011]所以，本發(fā)明提供一種在使用從相互不同的視點拍攝的第I圖像和第2圖像生成深度數(shù)據(jù)時，能夠抑制深度數(shù)據(jù)的正確度的下降，并且減輕處理負荷的圖像處理裝置、攝像裝置及圖像處理方法。
[0012]用于解決問題的手段
[0013]有關(guān)本發(fā)明的一形態(tài)的圖像處理裝置，是利用從相互不同的視點拍攝的第I圖像及第2圖像生成深度數(shù)據(jù)的圖像處理裝置，具備:視差值計算部，針對作為上述第I圖像內(nèi)的一部分像素的多個代表像素中的各個代表像素，基于上述代表像素與對應(yīng)于上述代表像素的上述第2圖像內(nèi)的像素的位置關(guān)系，計算上述代表像素的視差值；分段部，基于像素值的類似性，將上述第I圖像分割為多個段；以及深度數(shù)據(jù)生成部，按每個段，基于上述段中包含的代表像素的視差值確定上述段的視差值，從而生成表示與各段對應(yīng)的進深的深度數(shù)據(jù)。
[0014]另外，這些總括性的或具體的形態(tài)也可以通過系統(tǒng)、方法、集成電路、計算機程序或計算機可讀取的⑶_ROM (Compact Disc Read Only Memory)等的記錄介質(zhì)實現(xiàn),也可以通過系統(tǒng)、方法、集成電路、計算機程序及記錄介質(zhì)的任意的組合來實現(xiàn)。
[0015]發(fā)明效果
[0016]根據(jù)有關(guān)本發(fā)明的一形態(tài)的圖像處理裝置，當使用從相互不同的視點拍攝的第I圖像和第2圖像生成深度數(shù)據(jù)時，能夠抑制深度數(shù)據(jù)的正確度的下降，并且減輕處理負荷。
【專利附圖】

【附圖說明】
[0017]圖1是表示有關(guān)實施方式I的圖像處理裝置的功能結(jié)構(gòu)的框圖。
[0018]圖2是表示有關(guān)實施方式I的圖像處理裝置的處理動作的流程圖。
[0019]圖3是用于說明有關(guān)實施方式I的圖像處理裝置的處理動作的圖。
[0020]圖4是表示有關(guān)實施方式2的圖像處理裝置的功能結(jié)構(gòu)的框圖。
[0021]圖5是表示有關(guān)實施方式2的圖像處理裝置的處理動作的流程圖。
[0022]圖6是表示有關(guān)實施方式2的校準處理的概要的圖。
[0023]圖7是用于說明有關(guān)實施方式2的校準處理的一例的圖。
[0024]圖8是表示有關(guān)實施方式2的分段的詳細情況的流程圖。
[0025]圖9是用于說明有關(guān)實施方式2的分段的圖。
[0026]圖10是用于說明有關(guān)實施方式2的分段的圖。
[0027]圖11是表示有關(guān)實施方式2的分段結(jié)果的一例的圖。
[0028]圖12是表示有關(guān)實施方式2的段結(jié)合處理的詳細情況的流程圖。
[0029]圖13是用于說明有關(guān)實施方式2的段結(jié)合處理的圖。
[0030]圖14是表示有關(guān)實施方式2的變形例的深度數(shù)據(jù)生成處理的詳細情況的流程圖。
[0031]圖15是表示有關(guān)一實施方式的攝像裝置的結(jié)構(gòu)的框圖。
【具體實施方式】
[0032]有關(guān)本發(fā)明的一形態(tài)的圖像處理裝置，是利用從相互不同的視點拍攝的第I圖像及第2圖像生成深度數(shù)據(jù)的圖像處理裝置，具備:視差值計算部，對作為上述第I圖像內(nèi)的一部分像素的多個代表像素中的各個代表像素，基于上述代表像素與對應(yīng)于上述代表像素的上述第2圖像內(nèi)的像素的位置關(guān)系，計算上述代表像素的視差值；分段部，基于像素值的類似性，將上述第I圖像分割為多個段；以及深度數(shù)據(jù)生成部，按每個段，基于上述段中包含的代表像素的視差值確定上述段的視差值，從而生成表示與各段對應(yīng)的進深的深度數(shù)據(jù)。
[0033]根據(jù)該結(jié)構(gòu)，能夠基于各段中包含的代表像素的視差值生成表示與各段對應(yīng)的進深的深度數(shù)據(jù)。即，為了生成深度數(shù)據(jù)，只要檢測與各代表像素對應(yīng)的第2圖像內(nèi)的像素就可以，不需要檢測與全部的像素分別對應(yīng)的第2圖像內(nèi)的像素。因而，能夠減輕用于生成深度數(shù)據(jù)的處理負荷。
[0034]進而，根據(jù)該結(jié)構(gòu)，由于基于像素值的類似性將第I圖像分割為多個段，所以在I個段中包含相互不同的多個被攝體的可能性變低。即，進深類似的區(qū)域被分割為I個段的可能性變高。通過按這樣分割后的每個段確定視差值，能夠抑制表示與各段對應(yīng)的進深的深度數(shù)據(jù)的正確度下降。[0035]此外，優(yōu)選的是，上述圖像處理裝置還具備段結(jié)合部，所述段結(jié)合部在上述多個段中包括不包含代表像素的空段的情況下，將上述空段與相鄰于上述空段的段結(jié)合為I個；上述深度數(shù)據(jù)生成部基于由上述段結(jié)合部結(jié)合后的段生成上述深度數(shù)據(jù)。
[0036]根據(jù)該結(jié)構(gòu)，在多個段中包括空段的情況下，能夠?qū)⒃摽斩魏拖噜彾谓Y(jié)合為I個。因而，當通過分段部將第I圖像分割為多個段時，不需要必須分割為包含代表像素。即，能夠不考慮與代表像素的對應(yīng)關(guān)系而進行分段。結(jié)果，能夠?qū)⒎侄魏痛硐袼氐囊暡钪涤嬎悴⑿刑幚?，能夠?qū)崿F(xiàn)深度數(shù)據(jù)生成處理的高速化。
[0037]此外，優(yōu)選的是，上述段結(jié)合部在上述空段與多個段相鄰的情況下，基于顏色的類似性從上述多個段中選擇至少I個段，將所選擇的上述至少I個段與上述空段結(jié)合為I個。
[0038]根據(jù)該結(jié)構(gòu)，能夠?qū)㈩伾愃频亩伪舜私Y(jié)合為I個。即，由于將顏色類似的區(qū)域作為I個段，所以進深類似的區(qū)域成為I個段的可能性變高。通過按這樣得到的每個段確定視差值，能夠更正確地生成表示與各段對應(yīng)的進深的深度數(shù)據(jù)。
[0039]此外，優(yōu)選的是，上述深度數(shù)據(jù)生成部在上述段中包含兩個以上的代表像素的情況下，將上述兩個以上的代表像素的視差值的中央值或平均值確定為上述段的視差值。
[0040]根據(jù)該結(jié)構(gòu)，在段中包含有兩個以上的代表像素的情況下，能夠?qū)蓚€以上的代表像素的視差值的中央值或平均值確定為段的視差值。因而，能夠簡單地確定段的視差值，能夠減輕用于生成深度數(shù)據(jù)的處理負荷。此外，能夠使段的視差值與段中包含的各像素的視差值的誤差比較小，能夠更正確地生成深度數(shù)據(jù)。
[0041]此外，優(yōu)選的是，上述深度數(shù)據(jù)生成部按每個段，使用上述段中包含的至少I個代表像素的視差值對上述段中包含的其他像素的視差值進行插補，從而計算上述段中包含的各像素的視差值；基于計算出的各像素的視差值，生成表示各像素的進深的深度圖作為上述深度數(shù)據(jù)。
[0042]根據(jù)該結(jié)構(gòu)，能夠按每個段，使用該段中包含的至少I個代表像素的視差值對該段中包含的其他像素的視差值進行插補。因而，能夠通過插補得到各像素的視差值，能夠更正確地生成深度數(shù)據(jù)。
[0043]此外，優(yōu)選的是，上述分段部通過基于類似性的聚類，將上述第I圖像分割為多個段，該類似性是使用像素值及像素位置定義的類似性。
[0044]根據(jù)該結(jié)構(gòu)，能夠通過基于使用像素值及像素位置定義的類似性的聚類，來將第I圖像分割為多個段。因而，能夠以I個段中不包含相互不同的多個被攝體的方式將第I圖像高精度地分割為多個段。結(jié)果，能夠更正確地生成深度數(shù)據(jù)。
[0045]此外,優(yōu)選的是,上述聚類是k平均法(k-means clustering)。
[0046]根據(jù)該結(jié)構(gòu)，能夠通過k平均法將第I圖像分割為多個段。因而，能夠以I個段中不包含相互不同的多個被攝體的方式將第I圖像更高精度地分割為多個段。進而，能夠通過比較簡單的處理進行分段，所以還能夠減輕用于生成深度數(shù)據(jù)的處理負荷。
[0047]此外，優(yōu)選的是，上述圖像處理裝置還具備計算上述第I圖像的特征點作為上述代表像素的特征點計算部。
[0048]根據(jù)該結(jié)構(gòu)，能夠計算特征點作為代表像素。因而，容易地檢測與代表像素對應(yīng)的第2圖像內(nèi)的像素，能夠減輕處理負荷。
[0049]此外，優(yōu)選的是，上述圖像處理裝置還具備使用上述特征點進行用于使上述第I圖像和上述第2圖像平行化的校準處理的校準處理部；上述視差值計算部使用進行上述校準處理后的上述第I圖像及上述第2圖像，計算上述代表像素的視差值。
[0050]根據(jù)該結(jié)構(gòu)，能夠進行用于使第I圖像和第2圖像平行化的校準處理。一般而言，在拍攝了立體圖像等的多視點圖像的情況下，進行多視點圖像的校準處理。此外，在校準處理中，進行特征點的計算及對應(yīng)點的檢測。即，能夠挪用在校準處理中進行的特征點的計算及對應(yīng)點的檢測結(jié)果來計算代表像素的視差值，所以能夠減輕用于生成深度數(shù)據(jù)的處理負荷。
[0051]此外，優(yōu)選的是，上述圖像處理裝置還具備基于上述深度數(shù)據(jù)將上述第I圖像分離為前景區(qū)域和背景區(qū)域、并對上述背景區(qū)域?qū)嵤┠：幚淼膱D像處理部。
[0052]根據(jù)該結(jié)構(gòu)，能夠基于深度數(shù)據(jù)將第I圖像分離為前景區(qū)域和背景區(qū)域，并對背景區(qū)域?qū)嵤┠：幚?。用于分離為前景區(qū)域和背景區(qū)域的深度數(shù)據(jù)不需要一定是像素單位的高精細的深度數(shù)據(jù)。因而，能夠有效地利用基于各段的視差值的深度數(shù)據(jù)。
[0053]此外，優(yōu)選的是，上述圖像處理裝置還具備基于上述深度數(shù)據(jù)將上述第I圖像分離為前景區(qū)域和背景區(qū)域、并將上述前景區(qū)域與不同于上述第I圖像及上述第2圖像的第3圖像進行合成的圖像處理部。
[0054]根據(jù)該結(jié)構(gòu)，能夠基于深度數(shù)據(jù)將第I圖像分離為前景區(qū)域和背景區(qū)域，并將前景區(qū)域與相當于背景區(qū)域的其他圖像進行合成。用于分離為前景區(qū)域和背景區(qū)域的深度數(shù)據(jù)不需要一定是像素單位的高精細的深度數(shù)據(jù)。因而，能夠有效地利用基于各段的視差值的深度數(shù)據(jù)。
[0055]此外，上述圖像處理裝置也可以構(gòu)成為集成電路。
[0056]此外，有關(guān)本發(fā)明的一形態(tài)的攝像裝置具備上述圖像處理裝置、以及拍攝上述第I圖像及上述第2圖像的攝像部。
[0057]根據(jù)該結(jié)構(gòu)，能夠起到與上述圖像處理裝置同樣的效果。
[0058]另外，這些總括性的或具體的形態(tài)也可以通過系統(tǒng)、方法、集成電路、計算機程序或計算機可讀取的⑶-ROM (Compact Disc Read Only Memory)等的記錄介質(zhì)實現(xiàn),也可以通過系統(tǒng)、方法、集成電路、計算機程序及記錄介質(zhì)的任意的組合來實現(xiàn)。
[0059]以下，利用附圖對實施方式進行詳細的說明。另外，以下說明的實施方式都表示本發(fā)明的一具體例。即，在以下的實施方式中表示的數(shù)值、形狀、材料、構(gòu)成要素、構(gòu)成要素的配置位置及連接形態(tài)、步驟、步驟的順序等是一例，并不是要限定本發(fā)明。此外，關(guān)于以下的實施方式的構(gòu)成要素中的、在表示最上位概念的獨立權(quán)利要求中沒有記載的構(gòu)成要素，作為任意的構(gòu)成要素進行說明。
[0060](實施方式I)
[0061]圖1是表示有關(guān)實施方式I的圖像處理裝置10的功能結(jié)構(gòu)的框圖。圖像處理裝置10利用從相互不同的視點拍攝的第I圖像及第2圖像(例如立體圖像)生成第I圖像的深度數(shù)據(jù)。第I圖像及第2圖像例如是立體圖像(左眼用圖像及右眼用圖像)。
[0062]如圖1所示，有關(guān)本實施方式的圖像處理裝置10具備視差值計算部11、分段部12和深度數(shù)據(jù)生成部13。
[0063]視差值計算部11按第I圖像內(nèi)的每個代表像素檢測第2圖像內(nèi)的對應(yīng)像素，由此計算代表像素與對應(yīng)像素之間的視差值。即，視差值計算部11對于第I圖像內(nèi)的一部分像素計算視差值。
[0064]這里，所謂代表像素，是第I圖像所包含的像素中的一部分像素。在本實施方式中，代表像素是存在于圖像內(nèi)的預(yù)先設(shè)定的位置的像素。
[0065]此外，所謂對應(yīng)像素，是與代表像素對應(yīng)的像素。即，對應(yīng)像素是與第I圖像內(nèi)的代表像素類似的第2圖像內(nèi)的像素。代表像素和對應(yīng)像素這兩個像素也被稱為對應(yīng)點。該對應(yīng)像素例如可以通過塊匹配法來檢測。
[0066]此外，所謂代表像素與對應(yīng)像素之間的視差值，是表示代表像素的位置與對應(yīng)像素的位置的偏差的值。如果使用該視差值，則基于三角測量的原理，能夠計算從攝像裝置到被攝體的距離(進深)。另外，將該代表像素與對應(yīng)像素之間的視差值簡稱為代表像素的視差值。
[0067]分段部12基于像素值的類似性，將第I圖像分割為多個段。即，分段部12以像素值相互類似的像素包含在I個段中的方式將第I圖像分割為多個段。在本實施方式中，分段部12以在各段中包含至少I個代表像素的方式將第I圖像分割為多個段。
[0068]這里，所謂段，相當于第I圖像內(nèi)的一部分區(qū)域。此外，以下將分割為多個段的處理也稱作分段。
[0069]此外，所謂像素值，是構(gòu)成圖像的像素具有的值。像素值例如是表示像素的亮度、顏色、明亮度、色調(diào)或色度、或者它們的組合的值。
[0070]深度數(shù)據(jù)生成部13按每個段，基于該段中包含的代表像素的視差值確定該段的視差值，從而生成深度數(shù)據(jù)。即，深度數(shù)據(jù)生成部13基于按每個段確定的視差值而生成深度數(shù)據(jù)。
[0071]這里生成的深度數(shù)據(jù)表示與各段對應(yīng)的進深。例如，深度數(shù)據(jù)也可以是將段的進深值與表示段的位置及大小的段信息建立了對應(yīng)的數(shù)據(jù)。此外，深度數(shù)據(jù)例如也可以是作為像素值而具有進深值的深度圖(深度圖像)。
[0072]另外，深度數(shù)據(jù)并不需要一定包含進深值，只要包含表示進深的數(shù)據(jù)就可以。例如，深度數(shù)據(jù)也可以包含視差值作為表示進深的數(shù)據(jù)。
[0073]接著，說明如以上那樣構(gòu)成的圖像處理裝置10的處理動作。
[0074]圖2是表示有關(guān)實施方式I的圖像處理裝置10的處理動作的流程圖。圖3是用于說明有關(guān)實施方式I的圖像處理裝置10的處理動作的一例的圖。
[0075]首先，視差值計算部11計算各代表像素的視差值(S101)。例如如圖3 Ca)所示，視差值計算部11按第I圖像101內(nèi)的位于預(yù)先決定的位置的每個代表像素檢測第2圖像102內(nèi)的對應(yīng)像素。并且，視差值計算部11基于代表像素與對應(yīng)像素的位置關(guān)系，分別計算代表像素的視差值。
[0076]接著，分段部12將第I圖像101分割為多個段(S102)。例如如圖3 (b)所示，分段部12將第I圖像101分割為分別具有預(yù)先設(shè)定的尺寸的矩形狀的多個段。這里，在圖3(b)中，以在各段中包含I個代表像素的方式將第I圖像101分割。
[0077]最后，深度數(shù)據(jù)生成部13基于各段的視差值生成深度數(shù)據(jù)(S103)。此時，深度數(shù)據(jù)生成部13如圖3 (c)所示，基于該段中包含的代表像素的視差值來確定各段的視差值。
[0078]如以上這樣，根據(jù)有關(guān)本實施方式的圖像處理裝置10，能夠基于各段中包含的代表像素的視差值生成表示與各段對應(yīng)的進深的深度數(shù)據(jù)。即，為了生成深度數(shù)據(jù)，只要檢測與各代表像素對應(yīng)的第2圖像內(nèi)的像素就可以，不需要檢測與全部像素分別對應(yīng)的第2圖像內(nèi)的像素。因而，能夠減輕用于生成深度數(shù)據(jù)的處理負荷。
[0079]進而，根據(jù)有關(guān)本實施方式的圖像處理裝置10，由于基于像素值的類似性將第I圖像分割為多個段，所以在I個段中包含相互不同的多個被攝體的可能性變低。即，進深類似的區(qū)域被分割為I個段的可能性變高。通過按這樣分割后的每個段確定視差值，能夠抑制表示與各段對應(yīng)的進深的深度數(shù)據(jù)的正確度下降。
[0080]另外，在圖2中，在視差值計算(SlOl)后進行分段(S102)，但并不一定需要以該順序進行。即，也可以在分段(S102)后進行視差值計算(S101)。在此情況下，視差值計算部11例如只要將由分段部12分割出的各段的重心位置的像素作為代表像素就可以。
[0081]此外，視差值計算(SlOl)和分段(S102)也可以并行地進行。由此，能夠?qū)崿F(xiàn)處理的高速化。
[0082](實施方式2)
[0083]接著，參照附圖對實施方式2進行說明。
[0084]圖4是表示有關(guān)實施方式2的圖像處理裝置20的功能結(jié)構(gòu)的框圖。有關(guān)本實施方式的圖像處理裝置20具備特征點計算部21、校準(alignment)處理部22、視差值計算部23、分段部24、段結(jié)合部25、深度數(shù)據(jù)生成部26和圖像處理部27。
[0085]特征點計算部21計算第I圖像的特征點作為代表像素。具體而言，特征點計算部21使用通過特征量提取方法提取的特征量計算特征點。作為特征量提取方法，例如可以使用在參考文獻 I (David G.Lowe, “Distinctive image features from scale-1nvariantkey points，，，International Journal of Computer Vision, 60, 2 (2004) , pp.91-110.)中公開的SIFT (Scale Invariant Feature Transform)。此外，作為特征量提取方法，也可以使用在參考文獻 2 (Herbert Bay, Andreas Ess, Tinne Tuytelaars, Luc VanGool,“SURF:Speeded Up Robust Features，，, Computer Vision and Image Understanding(CVIU), Vol.110,否? 3，pp.346-359，2008)中公開的 SURF(Speeded Up Robust Features)。
[0086]校準處理部22使用計算出的特征點，進行用于進行第I圖像和第2圖像的平行化(rectification)的校準處理。具體而言,校準處理部22基于特征量,檢測與特征點對應(yīng)的第2圖像內(nèi)的點。進而，校準處理部22利用檢測出的第2圖像內(nèi)的點和特征點的兩點(對應(yīng)點)間的位置關(guān)系進行校準處理。
[0087]視差值計算部23使用進行校準處理后的第I圖像及第2圖像計算代表像素的視差值。即，視差值計算部23按每個特征點，利用對應(yīng)點間的位置關(guān)系計算視差值。
[0088]分段部24通過基于類似性的聚類，將第I圖像分割為多個段，該類似性是使用像素值及像素位置定義的類似性。另外，關(guān)于該聚類的詳細情況在后面敘述。
[0089]段結(jié)合部25在多個段中包括空段的情況下，將該空段與相鄰于該空段的段結(jié)合為I個。這里，所謂空段，是不包含代表像素的段。
[0090]另外，段結(jié)合部25在結(jié)合后的段中不包含代表像素的情況下，還重復與相鄰的段的結(jié)合。即，段結(jié)合部25將段結(jié)合，以使得在各段中包含至少I個代表像素。
[0091]深度數(shù)據(jù)生成部26基于由段結(jié)合部25結(jié)合后的段生成深度數(shù)據(jù)。具體而言，深度數(shù)據(jù)生成部26例如將段中包含的代表像素的視差值確定為段的視差值。此外，在段中包含有兩個以上的代表像素的情況下，深度數(shù)據(jù)生成部26例如將兩個以上的代表像素的視差值的中央值或平均值確定為段的視差值。
[0092]圖像處理部27基于生成的深度數(shù)據(jù)，對第I圖像及第2圖像的至少一方實施圖像處理。例如，圖像處理部27基于深度數(shù)據(jù)，將第I圖像分離為前景區(qū)域和背景區(qū)域。并且，圖像處理部27對背景區(qū)域?qū)嵤┠：幚?。此外，例如圖像處理部27也可以將前景區(qū)域與不同于第I圖像及第2圖像的第3圖像合成。
[0093]這樣的用于將第I圖像分離為前景區(qū)域和背景區(qū)域的深度數(shù)據(jù)并不需要一定是像素單位的高精細的深度數(shù)據(jù)。即，可以有效利用基于各段的視差值的深度數(shù)據(jù)。
[0094]接著，說明如以上那樣構(gòu)成的圖像處理裝置20的處理動作。
[0095]圖5是表示有關(guān)實施方式2的圖像處理裝置20的處理動作的流程圖。
[0096]首先，特征點計算部21計算第I圖像的特征點作為代表像素(S201)。校準處理部22使用計算出的特征點，進行用于將第I圖像和第2圖像平行化的校準處理(S202)。
[0097]視差值計算部23使用進行校準處理后的第I圖像及第2圖像計算代表像素的視差值(S203)。分段部24通過基于類似性的聚類，將第I圖像分割為多個段，該類似性是使用像素值及像素位置定義的類似性(S204)。
[0098]段結(jié)合部25將多個段結(jié)合，以使得在各段中包含至少I個代表像素(S205)。深度數(shù)據(jù)生成部26基于由段結(jié)合部25結(jié)合后的段生成深度數(shù)據(jù)(S206)。最后，圖像處理部27基于生成的深度數(shù)據(jù)，對第I圖像及第2圖像的至少一方實施圖像處理(S207)。
[0099]以下，參照附圖對這樣的圖像處理裝置20的處理動作的詳細情況進行說明。首先，使用圖6及圖7說明校準處理(S202)的詳細情況。
`[0100]圖6是表示有關(guān)實施方式2的校準處理的概要的圖。
[0101]如圖6 (a)所示，由立體照相機拍攝的立體圖像相互不平行的情況較多。即，在第I圖像101及第2圖像102的各自中，極線(epipolar line)不為水平的情況較多。
[0102]所以，校準處理部22如圖6 (b)所示，進行第I圖像101及第2圖像102的平行化，以使得在第I圖像101及第2圖像102的各自中極線成為水平。
[0103]圖7是用于說明有關(guān)實施方式2的校準處理的一例的圖。具體而言，圖7是用于說明基于在參考文獻3 (“新編圖像解析手冊”(高木干夫?下田陽久監(jiān)修，東京大學出版會干IJ，2004年9月，1333-1337頁))中公開的方法的校準處理的圖。
[0104]圖像L及圖像R是拍攝對象物P而得到的立體圖像。與圖像L上的點P’L對應(yīng)的圖像R上的點P’ R存在于包括兩張圖像的投影中心OL及OR和圖像L上的點P’ L在內(nèi)的平面與圖像R交叉的直線上。
[0105]將該直線稱作極線。此外，將包括對象物P和兩張圖像的投影中心OL及OR子在內(nèi)的平面稱作極平面(epipolar plane)。
[0106]即，極平面與兩張圖像L、R各自的圖像投影面的交線為極線。在這樣沒有平行化的圖像中，極線不與圖像的掃描方向(這里是水平方向)平行。因此，在對應(yīng)點的匹配中，需要2維的探索，計算量增加。所以，為了使探索簡單化，用以下所示的方法將兩張立體圖像平行化。
[0107]考慮以圖像L的投影中心OL為原點，X’軸、y，軸分別與UL軸、VL軸平行的坐標系(x’，y’，z’)。將該坐標系稱作模型坐標系。在模型坐標系中，圖像L的傳感器的投影中心的位置為(0，0，0)，姿勢為(0，0，0)，此外圖像R的傳感器的投影中心的位置為(Bx’，By’，Bz’)，姿勢為(《’，小，，x，)。如果設(shè) Bx’ 為單位長度，by’ =By’ /Bx，，bz，=Bz，/Bx’，則該模型坐標系與各自的假想投影面坐標系之間的坐標變換如以下的式I及式2那樣表示。
[0108][數(shù)式I]
【權(quán)利要求】
1.一種圖像處理裝置，利用從相互不同的視點拍攝的第I圖像及第2圖像生成深度數(shù)據(jù)，具備: 視差值計算部，針對作為上述第I圖像內(nèi)的一部分像素的多個代表像素中的各個代表像素，基于上述代表像素與對應(yīng)于上述代表像素的上述第2圖像內(nèi)的像素的位置關(guān)系，計算上述代表像素的視差值； 分段部，基于像素值的類似性，將上述第I圖像分割為多個段；以及 深度數(shù)據(jù)生成部，按每個段，基于上述段中包含的代表像素的視差值確定上述段的視差值，從而生成表示與各段對應(yīng)的進深的深度數(shù)據(jù)。
2.如權(quán)利要求1所述的圖像處理裝置， 上述圖像處理裝置還具備段結(jié)合部，所述段結(jié)合部在上述多個段中包括不包含代表像素的空段的情況下，將上述空段與相鄰于上述空段的段結(jié)合為I個； 上述深度數(shù)據(jù)生成部基于由上述段結(jié)合部結(jié)合后的段生成上述深度數(shù)據(jù)。
3.如權(quán)利要求2所述的圖像處理裝置， 上述段結(jié)合部在上述空段與多個段相鄰的情況下，基于顏色的類似性從上述多個段中選擇至少I個段，將所選擇的上述至少I個段與上述空段結(jié)合為I個。
4.如權(quán)利要求1~3中任一項所述的圖像處理裝置， 上述深度數(shù)據(jù)生成部在上述段中包含兩個以上的代表像素的情況下，將上述兩個以上的代表像素的視差值的中央值或平均值確定為上述段的視差值。
5.如權(quán)利要求1~3中任一項所述的圖像處理裝置， 上述深度數(shù)據(jù)生成部按每個段，使用上述段中包含的至少I個代表像素的視差值對上述段中包含的其他像素的視差值進行插補，從而計算上述段中包含的各像素的視差值； 上述深度數(shù)據(jù)生成部基于計算出的各像素的視差值，生成表示各像素的進深的深度圖作為上述深度數(shù)據(jù)。
6.如權(quán)利要求1~5中任一項所述的圖像處理裝置， 上述分段部通過基于類似性的聚類，將上述第I圖像分割為多個段，上述類似性是使用像素值及像素位置定義的類似性。
7.如權(quán)利要求6所述的圖像處理裝置， 上述聚類是k平均法即k-means clustering。
8.如權(quán)利要求1~7中任一項所述的圖像處理裝置， 上述圖像處理裝置還具備特征點計算部，該特征點計算部計算上述第I圖像的特征點作為上述代表像素。
9.如權(quán)利要求8所述的圖像處理裝置， 上述圖像處理裝置還具備校準處理部，該校準處理部使用上述特征點進行用于使上述第I圖像和上述第2圖像平行化的校準處理； 上述視差值計算部使用進行上述校準處理后的上述第I圖像及上述第2圖像，計算上述代表像素的視差值。
10.如權(quán)利要求1~9中任一項所述的圖像處理裝置， 上述圖像處理裝置還具備圖像處理部，該圖像處理部基于上述深度數(shù)據(jù)將上述第I圖像分離為前景區(qū)域和背景區(qū)域，并對上述背景區(qū)域?qū)嵤┠：幚怼?br> 11.如權(quán)利要求1~9中任一項所述的圖像處理裝置， 上述圖像處理裝置還具備圖像處理部，該圖像處理部基于上述深度數(shù)據(jù)將上述第I圖像分離為前景區(qū)域和背景區(qū)域，并將上述前景區(qū)域與不同于上述第I圖像及上述第2圖像的第3圖像進行合成。
12.如權(quán)利要求1~11中任一項所述的圖像處理裝置， 上述圖像處理裝置構(gòu)成為集成電路。
13.一種攝像裝置，具備: 權(quán)利要求1~12中任一項所述的圖像處理裝置；以及 攝像部，拍攝上述第I圖像及上述第2圖像。
14.一種圖像處理方法，利用從相互不同的視點拍攝的第I圖像及第2圖像生成深度數(shù)據(jù)，包括: 視差值計算步驟，針對作為上述第I圖像內(nèi)的一部分像素的多個代表像素中的各個代表像素，基于上述代表像素與對應(yīng)于上述代表像素的上述第2圖像內(nèi)的像素的位置關(guān)系，計算上述代表像素的視差值； 分段步驟，基于像素值的類似性，將上述第I圖像分割為多個段；以及 深度數(shù)據(jù)生成步驟，按每個段，基于上述段中包含的代表像素的視差值確定上述段的視差值，從而生成表示與各段對應(yīng)的進深的深度數(shù)據(jù)`。`
15.一種程序， 用于使計算機執(zhí)行權(quán)利要求14所述的圖像處理方法。
【文檔編號】G06T1/00GK103493093SQ201280019440
【公開日】2014年1月1日 申請日期:2012年11月13日 優(yōu)先權(quán)日:2011年11月17日
【發(fā)明者】石井育規(guī) 申請人:松下電器產(chǎn)業(yè)株式會社