專利名稱：：由單眼圖像產生深度圖的方法及其系統(tǒng)的制作方法
技術領域：
：本發(fā)明涉及產生深度圖的方法及其系統(tǒng)，特別是由圖像產生深度圖的方法，例如是單眼圖像或單眼動態(tài)圖像。為了接著在一適合的系統(tǒng)上播放，例如一自動立體顯示器，這些深度圖可被適當地轉換。
背景技術：
：隨著新的立體顯示科技以及單眼圖像的大量數據庫的出現，不管它們是來自相片、電影或影片，均有明顯的裝置需求可轉換這些圖像以讓它們可在立體顯示器上觀賞。目前已提出許多方法來進行這種轉換。在美國專利公開號U.S.2008/0260288「CreatingaDepthMap」中，此轉換依據圖像分割(imagesegmentation),且深度信息的指派依據所分割的物件(segmentedobjects)的相對尺寸。有幾種方法是依據一圖像序列中的移動(motion),例如在美國專利U.S.5748199「Methodandapparatusforconvertingtwodimensionalmotionpictureintoathreedimensionalmotionpicture」以及美國專利U.S.7489812「Conversionandencodingtechniques」。
發(fā)明內容本發(fā)明提供一種產生深度圖的方法及其系統(tǒng)。在本發(fā)明中，如果未另外指明，「圖像」此詞是指由一單眼圖像所取得的圖像，或是由動態(tài)影片所擷取的圖像。本發(fā)明提供一種產生深度圖的方法，包括取得包含多個像素的一圖像；取得一初始深度圖，其中該初始深度圖定義該等像素對應的多個初始深度值；依據該等像素的位置將該等圖像映射至該初始深度圖，藉以取得該等像素所相關的該等初始深度值；以及將該圖像的一圖像數據空間分割為多個子圖像空間，并依據位于同一子圖像空間中的該等像素所相關的該等初始深度值過濾該等像素的該等初始深度值，藉以取得該等像素的一深度信息并保留單眼圖像的良好細節(jié)。本發(fā)明還提供一種深度圖產生系統(tǒng)，包括一存儲單元，包括具有多個像素的一圖像及用以定義該等像素的多個初始深度值的一初始深度圖，其中該圖像由一視頻數據所取得；以及一處理單元，用以依據該等像素的位置將該等圖像映射至該初始深度圖，藉以取得該等像素所相關的該等初始深度值，以及將該圖像的一圖像數據空間分割為多個子圖像空間，并依據位于同一子圖像空間中的該等像素所相關的該等初始深度值過濾該等像素的該等初始深度值，藉以取得該等像素的一深度信息。本發(fā)明還提供一種產生深度圖的方法，包括取得包含多個像素的一圖像；取得一初始深度圖，其中該初始深度圖定義該等像素的多個初始深度值；依據該等像素的位置，將該圖像的該等像素映射至該初始深度圖，藉以取得該等像素相關的該等初始深度值；以及利用一雙向濾波器過濾該圖像的該等像素相關的該等初始深度值，藉以取得該等像素一深度信息并保留原始圖像的細節(jié)。本發(fā)明還提供一種深度圖產生系統(tǒng)，包括一存儲單元，包括具有多個像素的一圖像以及定義該等像素的多個初始深度值的一初始深度圖；以及一處理單元，依據該等像素的位置，將該圖像的該等像素映射至該初始深度圖，藉以取得相關的該等初始深度值，并使用一雙向濾波器過濾該圖像的該等像素相關的該等初始深度值，藉以取得該等像素的一深度信息。圖I是顯示依據本發(fā)明一實施例的一深度圖產生系統(tǒng)的功能方塊圖。圖2A圖2F是顯示依據本發(fā)明一實施例的初始深度圖的示意圖。、圖3A圖3B是顯示依據本發(fā)明另一實施例的初始深度圖的示意圖。圖4是顯示依據本發(fā)明一實施例的估計一初始深度圖的方法的功能方塊圖。圖5是顯示依據本發(fā)明一實施例的產生深度圖的方法的流程圖。圖6是顯示依據本發(fā)明另一實施例中由一動態(tài)影片中取出的一連串圖像中產生深度圖的方法的流程圖。具體實施例方式本發(fā)明提供產生深度圖的方法及系統(tǒng)。圖I是顯示依據本發(fā)明一實施例的深度圖產生系統(tǒng)的功能方塊圖。深度圖產生系統(tǒng)100可用于一電子裝置，例如是計算機系統(tǒng)、顯示裝置、接收裝置、播放裝置、移動電話中的擷取裝置以及其他包括但不是顯示器的相關裝置。深度圖產生系統(tǒng)100包括一存儲單元110以及一處理單元120。存儲單元110包括至少一圖像111以及至少一相關初始深度圖113。該至少一圖像111可由單眼靜止圖像或單眼動態(tài)圖像所取得。初始深度圖113定義該至少一圖像111的各像素的初始深度值。圖2A圖2F是顯示依據本發(fā)明一實施例的初始深度圖的示意圖。如圖2A圖2F所示，各初始深度圖由多個像素所組成，且各像素具有一相關的初始深度值。需注意的是，在圖2A圖2F中，初始深度值由介于白與黑之間的灰階值所表示，且各灰階有關于一特定深度值，其中黑色表示最深的深度，且白色表示最淺的深度。當了解的是在圖2A圖2F中的初始深度圖僅為本發(fā)明的例子，本發(fā)明并不限于此。初始深度圖113可依據該至少一圖像111以預先設定或產生。在一些實施例中，初始深度圖113可依據該至少一圖像111中的各像素的對比、亮度、模糊信息(blurinformation)或材質梯度(texturegradient)所產生。圖3A是顯示依據本發(fā)明一實施例的依據一模糊度測量量的初始深度圖，其中初始深度圖通過利用一子窗在該至少一圖像111中的一個滑動以計算模糊度量的方法所取得。圖3B是顯示依據本發(fā)明一實施例的依據對比測量的初始深度圖。在一些實施例中，當該至少一圖像111為一影片，可依據圖像數據112計算各圖像111中除了以第一時間序列所構成的電影場景之外的各像素的移動向量，且可依據圖像111中的各像素的移動向量來建立初始深度圖，其中移動向量的一特定值可映對至一特定的初始深度值。更進一步而言，在一些實施例中，可依據由圖像111中取得的一圖像子集合的各像素的移動向量來選擇初始深度圖中的一個。在這些實施例中，圖像子集合中的各圖像包括至少一感興趣區(qū)域(Regionofinterest)。一相關感興趣區(qū)域在欲估計的初始深度圖中定義,且該初始深度圖與圖像子集合有關。上述感興趣區(qū)域所指派的相關標簽依據上述感興趣區(qū)域的運動量(amountofmotion),其中上述標簽表示一深或淺的深度,意即表示距離近或遠。舉例來說，初始深度圖300定義5個感興趣區(qū)域ROIlR0I5，如圖4所示，其中各感興趣區(qū)域具有一表示近或遠的標簽。可計算及平均由圖像111所取出的圖像子集合中的感興趣區(qū)域的各像素的移動向量。上述感興趣區(qū)域的平均移動向量的數值可與一閾值進行比較，用以為上述感興趣區(qū)域取得一標簽(近或遠)，接著可依據上述感興趣區(qū)域的標簽創(chuàng)造一特定初始深度圖，其中該特定深度模型的感興趣區(qū)域標簽符合圖像111中的一圖像的上述標簽。需了解的是，當在圖像111及初始深度圖113中定義了數個感興趣區(qū)域，感興趣區(qū)域標簽的結合可用以選擇最適合的初始深度圖，例如選擇一查找表(Look-uptable)中的一元件(未繪示)。更需了解的是，在一些實施例中，各感興趣區(qū)域可定義為由多個點所組成的多個格子(grids)，其中可計算上述格子的移動向量以加速評估移動。處理單元120系執(zhí)行本發(fā)明的用于產生深度圖的方法，其細節(jié)將于后述段落中詳述。圖5是顯示依據本發(fā)明一實施例的用于產生深度圖的方法的流程圖。本發(fā)明的用于產生深度圖的方法可用于一電子裝置，例如是一計算機系統(tǒng)、一顯示裝置、一接收裝置、一播放裝置及其他裝置等等。在步驟S410，取得包括多個像素的一圖像。舉例來說，該圖像可由一靜態(tài)圖像或一動態(tài)圖像所取得。在步驟S420，取得一初始深度圖。該初始深度圖定義該圖像中的各像素的初始深度值。同樣地，在一些實施例中，初始深度圖可由多張候選初始深度圖中所選擇，或是依據該圖像中的各像素的對比、亮度、藝術透視(atmosphericperspective)、模糊信息、或材質梯度所產生。在一些實施例中，可計算與視頻圖像中所定義的至少一感興趣區(qū)域相關的移動向量，且這些移動向量的數值可用以直接建構該初始深度圖，或是由多張候選初始深度圖中選擇該初始深度圖。本發(fā)明選擇或建構該初始深度圖的相關細節(jié)已于上述實施例中被公開。在步驟S430，為了取得相關的初始深度值，依據該圖像中的各像素的位置，映射該圖像中的各像素至該初始深度圖。在步驟S440,該圖像的圖像數據空間(imagedataspace)系分割為多個子圖像空間(sub-imagespaces),而且為了取得該圖像的像素的深度信息，依據該等像素位于同一子圖像空間的初始深度值以過濾該圖像中的各像素的初始深度值。需注意的是，在一些實施例中，為了要取得該圖像或視頻圖像的像素的深度信息，可利用一雙向濾波器以過濾該圖像中的各像素的初始深度值來執(zhí)行步驟S440。需注意的是，該等像素的顏色值由初始深度值所取代，且輸入至該雙向濾波器進行濾波。對于本發(fā)明領域的技藝者來說，雙向濾波器為已知技術，因此其細節(jié)在本發(fā)明中已省略，例如可參考“Real-timeEdge-AwareImageProcessingwiththeBilateralGrid”；JiawenChen,SylvainParis,andFredoDurand;ACMTransactionsonGraphics(ProceedingsoftheACMSIGGRAPH'07conference)等文獻。該圖像中各像素的初始深度值的濾波過程可通過使用雙向方格法來進行加速。首先，依據像素的亮度以映射該圖像中的各像素到至少一三維方格，可能依據其他可得到的像素信息以映射至其他的三維方格。在此映射過程中，依據一映射函數以將該圖像的各像素的二維坐標及其亮度映射至一三維坐標，該映射函數可表示為權利要求1.一種產生深度圖的方法，包括取得包含多個像素的ー圖像；取得ー初始深度圖，其中該初始深度圖定義所述多個像素對應的多個初始深度值；依據所述多個像素的位置將所述圖像中的每ー個映射至該初始深度圖，藉以取得所述多個像素所相關的所述多個初始深度值；以及將該圖像的一圖像數據空間分割為多個子圖像空間，并依據位于同一子圖像空間中的所述像素的所述初始深度值過濾所述像素的每ー個的所述初始深度值，藉以取得所述像素的一深度信息。2.如權利要求I所述的方法，其中分割該圖像數據空間及過濾該圖像數據的所述像素的每ー個的該初始深度值的步驟還包括依據所述像素的像素亮度，將所述圖像數據的像素的每ー個映射至至少ー或多個三維方格；依據各個所述多個像素在所述單元中的所述初始深度值，計算所述ー或多個三維方格中各単元的一平均深度值；以及利用所述像素所在的方格的該平均深度值取代該圖像數據的所述像素的每ー個的初始深度值，藉以取得所述像素的該深度信息。3.如權利要求2所述的方法，還包括依據周圍単元，平滑各単元的該平均深度值。4.如權利要求I所述的方法，還包括依據該圖像數據及ー第二圖像，計算該多個圖像的每ー個像素的移動向量；以及依據所述像素的所述移動向量，調整在該初始深度圖中的所述像素的每ー個像素所述初始深度值。5.如權利要求4所述的方法，還包括分割該圖像，使得所述像素被分群為多個分段；以及在各分段中的各個像素的所述移動向量，計算各分段的一平均移動向量，井指派該平均移動向量至各分段中的各像素。6.如權利要求I所述的方法，還包括計算在該圖像中至少ー感興趣區(qū)域的一平均移動向量；以及依據該感興趣區(qū)域的該平均移動向量，由多個候選初始深度圖中選擇該初始深度圖。7.如權利要求6所述的方法，還包括依據該感興趣區(qū)域的該平均移動向量，決定在該圖像中的該感興趣區(qū)域的一標簽；以及在多個初始深度圖中選擇ー特定候選者作為該初始深度圖，其中該特定候選初始深度圖每個定義該感興趣區(qū)域及表示其深度的一相關標簽，且在該特定候選初始深度圖中的該感興趣區(qū)域的該相關標簽符合在該圖像中的該感興趣區(qū)域的該標簽。8.如權利要求I所述的方法，還包括依該圖像及第ニ圖像，計算該圖像的各像素的一移動向量；以及分別依據該圖像的各像素的所述移動向量，建構該初始深度圖。9.如權利要求I所述的方法，還包括依據該圖像中各像素的對比，產生該初始深度圖。10.如權利要求I所述的方法，還包括依據該圖像中各像素的一模糊信息，產生該初始深度圖。11.如權利要求I所述的方法，還包括依據該圖像中各像素的一材質梯度，產生該初始深度圖。12.—種產生深度圖的方法，包括取得一初始深度圖，其中該初始深度圖定義所述多個像素的多個初始深度值；取得包含多個像素的一圖像；依據所述像素的位置，將該圖像的所述像素的每一個映射至該初始深度圖，藉以取得相關的所述初始深度值；以及利用一雙向濾波器過濾該圖像的各像素的所述初始深度值，藉以取得所述像素一深度信息。13.如權利要求12所述的方法，還包括利用一雙向方格法加速過濾該圖像的各像素的所述初始深度值的步驟。14.如權利要求12所述的方法，還包括依據介于一動態(tài)影片的一序列的一第一圖像部分及一第二圖像部分之間的所述像素的一移動向量，調整在該初始深度圖中的各像素的所述初始深度值。15.一種深度圖產生系統(tǒng)，包括一存儲單元，包括具有多個像素的一或多個圖像及用以定義該一或多個圖像的各像素的一或多個初始深度值的一初始深度圖，其中該一或多個圖像由一視頻數據所取得；以及一處理單元，用以依據所述像素的位置將各圖像的像素映射至該初始深度圖，藉以取得相關的所述初始深度值，以及將該圖像的一圖像數據空間分割為多個子圖像空間，并依據位于同一子圖像空間中的所述多個像素所相關的所述多個初始深度值過濾各像素的所述初始深度值，藉以取得所述像素的一深度信息。16.如權利要求15所述的深度圖產生系統(tǒng)，其中該處理單元還依據所述像素的像素亮度，將所述像素映射至一三維單元，并依據所述多個像素在所述多個單元中的所述多個初始深度值，計算該三維方格中各單元的一平均深度值，以及利用所述多個像素所在的三維方格的該平均深度值取代該圖像數據的所述多個像素的所述多個初始深度值，藉以取得所述多個像素的該深度信息。17.如權利要求16所述的深度圖產生系統(tǒng)，其中該處理單元所執(zhí)行的該過濾步驟包括依據周圍單元，平滑各單元的該平均深度值。18.如權利要求15所述的深度圖產生系統(tǒng)，其中該存儲單元還包括該視頻數據，且該處理單元還計算各像素的多個移動向量，依據不同時間的二張相關視頻圖像的該圖像數據，將所述像素分為多個群組或將該圖像分割為多個分段，并依據所述多個像素的所述多個移動向量、所述多個像素的所述多個群組或該圖像的所述多個分段，調整在該初始深度圖中的所述多個像素的所述多個初始深度值。19.如權利要求18所述的深度圖產生系統(tǒng)，其中該處理單元還分割該圖像的所述像素，依據各分段中的所述像素的所述多個移動向量，計算各分段的一平均移動向量，并指派該平均移動向量至各分段中的各所述多個像素。20.如權利要求15所述的深度圖產生系統(tǒng)，其中該處理單元還計算在該圖像數據中的至少一感興趣區(qū)域的一平均移動向量，并依據該感興趣區(qū)域的該平均移動向量由多個候選初始深度圖中選擇該初始深度圖。21.如權利要求20所述的深度圖產生系統(tǒng)，其中該處理單元還依該感興趣區(qū)域的該平均移動向量以決定在該圖像中的該感興趣區(qū)域的一標簽，并選擇一定特候選初始深度作為該初始深度圖，其中各候選初始深度圖定義該感興趣區(qū)域及相關表示一近側或一遠側的該標簽，且在所述多個定候選深度中的該感興趣區(qū)域的該標簽符合在該圖像數據中的該感興趣區(qū)域的該標簽。22.如權利要求15所述的深度圖產生系統(tǒng)，其中該處理單元還依據該圖像及一第二圖像計算該圖像中的各像素的一移動向量，并分別依據該圖像中的各像素的該移動向量建構該初始深度圖。23.如權利要求15所述的深度圖產生系統(tǒng)，其中該處理單元還依據該圖像的各像素的一對比、一亮度、一模糊信息或一材質梯度以產生該初始深度圖。24.一種深度圖產生系統(tǒng)，包括一存儲單元，包括具有多個像素的一圖像以及定義所述多個像素的多個初始深度值的一初始深度圖；以及一處理單元，依據所述像素的位置，將該圖像的所述多個像素映射至該初始深度圖，藉以取得相關的所述多個初始深度值，并使用一雙向濾波器過濾該圖像的所述多個像素相關的所述多個初始深度值，藉以取得所述多個像素的一深度信息。25.如權利要求24所述的深度圖產生系統(tǒng)，其中該處理單元還利用一雙向方格法以加速過濾該圖像數據的所述多個像素的所述多個初始深度值。26.如權利要求24所述的深度圖產生系統(tǒng)，其中該處理單元還依據介于該圖像數據及一第二圖像數據之間的所述像素中的一移動向量，調整在該初始深度圖中的所述像素的每一個的所述多個初始深度值。27.一種機器可讀存儲介質，包括一計算機程序，當執(zhí)行時使得設備執(zhí)行深度圖產生的方法，該方法包括取得一初始深度圖，其中該初始深度圖定義多個像素對應的初始深度值；取得包含多個像素的一圖像；依據所述像素的位置將所述圖像數據的各像素映射至該初始深度圖，藉以取得相關的初始深度值；以及將該圖像的一圖像數據空間分割為多個子圖像空間，并依據位于同一子圖像空間中的所述像素的所述初始深度值過濾各像素的初始深度值，藉以取得所述像素的一深度信息。28.一種機器可讀存儲介質，包括一計算機程序，當執(zhí)行時使得設備執(zhí)行深度圖產生的方法，該方法包括取得包含多個像素的一圖像；取得一初始深度圖，其中該初始深度圖定義所述多個像素的多個初始深度值；取得包含多個像素的一圖像；依據所述像素的位置，將該圖像數據的每個所述像素映射至該初始深度圖，藉以取得相關的初始深度值；以及利用一雙向濾波器過濾該圖像數據的每個所述像素的所述初始深度值，藉以取得所述像素一深度信息。全文摘要本發(fā)明提供一種由單眼圖像產生深度圖的方法及其系統(tǒng)。首先，估計或定義一初始深度圖。對于視頻輸入，可使用運動信息。對于靜止圖像，初始背景可預設為可變的、由使用者選擇、或是可估計的。估計初始深度圖可依據一對比圖或是一模糊圖。初始深度圖定義單眼圖像或單眼動態(tài)影片中的各像素的初始深度值。依據像素的位置，映射在原始圖像或視頻圖像數據中的各像素至初始深度圖，藉以取得相關的初始深度值。將該圖像的一圖像數據空間切割為多個子圖像空間，并依據位于同一子圖像空間中的該等像素所相關的該等初始深度值過濾該等像素的該等初始深度值，藉以取得該等像素的一深度信息。文檔編號G06T7/00GK102741879SQ200980162522公開日2012年10月17日申請日期2009年11月18日優(yōu)先權日2009年11月18日發(fā)明者L.安戈特,劉楷哲,黃維嘉申請人:財團法人工業(yè)技術研究院