本發(fā)明涉及一種自動對焦方法，特別的是有關(guān)于一種3d自動對焦顯示方法及其自動對焦系統(tǒng)。

背景技術(shù)：

立體顯示器的基本技術(shù)是在于呈現(xiàn)偏移影像，此種偏移影像分別在左眼和右眼中顯示。接著將這兩個二維偏移影像在大腦中合并以得到的3d深度的感知。有許多顯示技術(shù)的方法來實現(xiàn)立體3d影像，例如用于裸視3d影像的偏光和快門鏡片，雙凸透鏡和屏障鏡片，如同雙顯示器的使用例如用于虛擬實境的頭戴式產(chǎn)品。

許多人觀看立體視頻時遇到眼睛疲勞和不適，這是眾所周知的，此種不適有多種因素。這樣的例子中，大家所知道的是例如3d眼鏡造成的身體不適，從頭戴式產(chǎn)品由于視頻影像相對于使用者頭部移動時的等待時間所造成的頭暈現(xiàn)象，以及由串?dāng)_(cross-talk)所造成的影像模糊。以上所述的實施例均是涉及在硬件顯示技術(shù)的不足而造成的問題。

值得注意的是，3d立體內(nèi)容的質(zhì)量也是觀看3d立體顯示器時造成眼睛疲勞和眼睛疲勞的主要原因。一般來說，有三種方法來形成立體3d影像，此立體3d影像是自然選取使用立體照相機系統(tǒng)，從2d影像轉(zhuǎn)換，這意味著由原始的2d影像的兩個視圖，是從計算機程序的模式中產(chǎn)生的。計算引起觀看者不適的3d立體內(nèi)容的相關(guān)特性不是那么重要。但這是確實存在可靠的指標(biāo)來量化3d立體內(nèi)容，例如垂直視差以及在眼中所看到的立體影像的色彩，對比度和亮度的差異。

3d立體內(nèi)容質(zhì)量的一個關(guān)鍵特性在于調(diào)節(jié)-收斂沖突(accommodation-convergenceconflict.)。調(diào)節(jié)(accommodation)定義為眼睛的聚焦平面，及收斂(convergence)是指眼睛的聚焦點。在自然中，調(diào)節(jié)和收斂是同時透過觀看者的眼球到影像之間的距離來確定。自然觀看造成同步進行收斂及調(diào)節(jié)。在3d立體顯示器上觀看影像的情況下，調(diào)節(jié)指的是實體顯示的距離，而收斂指的是感知到屏幕上的虛擬影像之間的距離，它具有一個虛擬雙眼深度和將前面或感知距離背后的顯示屏幕。在觀看3d的顯示，其收斂和調(diào)節(jié)會分開且不是相等的。因此，眼睛疲勞問題實質(zhì)上是由于3d立體內(nèi)容在顯示器上觀看而引起非自然的觀看，其中 人的眼睛是非自然的觀看習(xí)慣，此種非自然的觀看的程度，在一個可容忍的范圍內(nèi)，是可以通過3d立體內(nèi)容影像本身來判斷。

在3d立體內(nèi)容的收斂和調(diào)整的分離程度是由3d立體內(nèi)容的水平視差特性來決定。值得注意的是，有一個區(qū)域或是收斂調(diào)節(jié)分離的范圍通常是人的眼睛可以接受的范圍且在此區(qū)域或是此范圍內(nèi)最小的眼睛疲勞和應(yīng)變可能會存在。3d立體內(nèi)容的水平視差的理想是在這個區(qū)域或范圍內(nèi)，以避免不良觀看癥狀。

技術(shù)實現(xiàn)要素：

根據(jù)現(xiàn)有技術(shù)的缺點，本發(fā)明提供一種在3d顯示器上觀看影像時實現(xiàn)自動對焦功能的方法以及系統(tǒng)，此自動對焦的方法及系統(tǒng)采用眼球軌跡技術(shù)、深度圖攝像系統(tǒng)來達成。

本發(fā)明所涉及的3d自動對焦顯示方法及其系統(tǒng)的另一目的在于，建立一個3d系統(tǒng)可以模擬自然觀看(naturalviewing)。因此，本發(fā)明所涉及的3d自動對焦顯示方法及其系統(tǒng)不須要眼鏡或其他輔助用具來觀看，以增加方便性以及擴大應(yīng)用性以最佳化模擬自然觀看的環(huán)境。

自然觀看的模擬進一步是通過眼球追蹤技術(shù)系統(tǒng)(eyetrackingtechnologysystem)來實現(xiàn)。對于觀看者的眼睛來說，一個3d顯示系統(tǒng)的調(diào)節(jié)是指觀看者的眼睛其距離顯示器以及可以假設(shè)至觀看者或是3d影像在彼此之間沒有相對的移動之下所表示的固定距離。觀看者的眼睛的收斂點(或稱聚焦點)是根據(jù)在任何情況下來呈現(xiàn)的物體及3d內(nèi)容的場景，因此不是固定的。因此，為了確定在關(guān)于觀看者的眼睛的焦點到顯示的坐標(biāo)將提出一個自動對焦顯示系統(tǒng)，以便更好地表示自然的觀看的能力。

根據(jù)以上所述顯示及眼球追蹤系統(tǒng)，本發(fā)明提供一種3d自動對焦顯示方法，其包含兩種系統(tǒng)的整合。其方法包括先顯示3d立體內(nèi)容影像，其中觀看者的眼球聚焦在實體空間的特定點上。接著執(zhí)行眼球追蹤步驟，其中可以得到觀看者的焦點坐標(biāo)(x1，y1)，并利用眼球追蹤系統(tǒng)來判斷觀看者的焦點坐標(biāo)(x1，y1)。然后再將此觀看者的焦點坐標(biāo)(x1，y1)映射至顯示器坐標(biāo)(x2，y2)，其表示為顯示器的像素坐標(biāo)(pixelcoordinate)。對影像執(zhí)行景深映射步驟以得到相對應(yīng)影像的深度圖。此深度圖可以利用硬件元件或是透過利用景深結(jié)構(gòu)運算來處理3d立體影像來得到。相對于影像的顯示器坐標(biāo)(x2，y2)做為3d立體顯示器系統(tǒng)影像處理模塊的輸入?yún)?shù)。其影像處理模塊利用輸入顯示器坐標(biāo)(x2，y2)以及利用影像深度圖來確認影像在座標(biāo)上那個區(qū)域。影像深度圖是影像的區(qū)域的識別的因素，即影像深度圖是由不同區(qū)域的區(qū)段的結(jié)合，其中每一區(qū)段定義為影像的一組像素，其具有相同的深度值或是在同一個深度值的范圍內(nèi)。影像處理模塊利用影像與深度數(shù)據(jù)的結(jié)合來修正3d立體影像， 其體現(xiàn)了顯示器坐標(biāo)(x2，y2)將成為焦點。接著影像處理模塊通過形成子像素圖案(rgb圖案)來輸出修正后的聚焦影像以及將其輸出至顯示器以形成子像素圖案以及輸出至顯示器以便于觀看。

根據(jù)上述3d自動對焦顯示方法，本發(fā)明還涉及一種3d自動對焦系統(tǒng)，其不需要眼鏡就可以顯示立體內(nèi)容以及3d立體自動對焦影像特征。3d自動對焦顯示系統(tǒng)包含3d自動立體顯示模塊(3dauto-stereoscopicdisplaymodule)、前視影像選取感測模塊(frontviewerimagecapturingsensormodule)(眼球追蹤相機)，用以直接執(zhí)行眼球追蹤功能以得到影像的第一焦點坐標(biāo)(x1，y1)、后視影像選取感測模塊(rearviewerimagecapturingsensormodule)(立體深度相機)，用以選取立體影像及/或隨著影像深度圖選取2d影像。此系統(tǒng)也包含多個影像處理模塊。影像處理模塊用于形成、增益以及輸出以顯示3d立體影像。3d立體影像是利用2d影像以及相對于2d影像的深度圖訊息來形成。3d立體影像的增益是通過在3d立體影像上執(zhí)行數(shù)個影像分析以及過濾運算以及利用影像數(shù)據(jù)以及深度圖數(shù)據(jù)來修正3d立體影像。另一個影像處理模塊是利用外插法(extrapolating)來外插第一焦點坐標(biāo)(x1，y1)來執(zhí)行自動對焦以及將觀看者的焦點坐標(biāo)(x1，y1)轉(zhuǎn)譯成相對于顯示模塊的顯示器焦點坐標(biāo)(x2，y2)(第二坐標(biāo))，接著對影像的區(qū)段進行確認以體現(xiàn)顯示器坐標(biāo)(x2，y2)以及形成合適的立體增益影像以確認所顯示的立體影像是在焦點上。最后的影像處理模塊具有輸入以及增益立體影像以及接著執(zhí)行rgb次像素運算以輸出立體影像至顯示模塊上。

附圖說明

圖1為本發(fā)明的3d自動對焦顯示方法的各步驟流程示意圖。

圖2為本發(fā)明的3d自動對焦顯示系統(tǒng)方塊圖。

圖3為后視影像選取感測模塊為立體攝像裝置時，于顯示模塊上得到3d立體圖的示意圖。

圖4為后視影像選取感測模塊為時間測距攝像裝置時，于顯示模塊上得到3d立體圖的示意圖。

圖5至圖7為本發(fā)明的3d影對焦的各步驟示意圖。

附圖標(biāo)號說明

23d自動對焦顯示系統(tǒng)

21前視影像選取感測模塊

23后視影像選取感測模塊

25影像處理模塊

27顯示模塊

30第一聚焦焦點

302第二聚焦焦點

304第三聚焦焦點

具體實施方式

首先請參考圖1，圖1表示本發(fā)明所涉及3d自動對焦顯示方法的各步驟流程示意圖。在圖1中，步驟11，提供3d立體影像。接著于步驟111，對影像執(zhí)行眼球追蹤(eye-tracking)步驟，其中啟動或是使用前視影像選取感測模塊。眼球追蹤步驟會得到觀看者的眼球的焦點坐標(biāo)(focalpointcoordination)(x1，y1)。步驟113，將焦點坐標(biāo)(x1，y1)映射至顯示器的坐標(biāo)位置以得到相對于在顯示器上的影像的所在位置的焦點坐標(biāo)為(x2，y2)。另外于步驟121，于執(zhí)行步驟111時，也同時對影像執(zhí)行景深映射(depthmap)步驟以得到原始影像的影像檔案組(imagefileset)以及其相對應(yīng)的深度圖。接著，于步驟123，判斷影像檔案組是否為3d立體影像，若否，則執(zhí)行步驟125，將影像檔案組利用深度圖轉(zhuǎn)換成3d立體影像，若是，則執(zhí)行步驟127，利用景深映射步驟修正或是增強影像檔案組，藉此以得到此影像的3d立體影像及影像的深度圖。

接著于步驟13，利用3d影像自動對焦步驟將相對于影像的焦點坐標(biāo)的顯示器坐標(biāo)(x2，y2)、3d立體影像以及影像深度映射來執(zhí)行影像處理，相對于焦點坐標(biāo)(x2，y2)而形成新的具有對焦校正的3d立體影像。步驟15，執(zhí)行子像素映射(subpixelmapping)步驟，在3d立體影像中已經(jīng)經(jīng)過對焦校正。最后于步驟17，輸出3d立體影像對焦校正影像其可以在顯示器上體現(xiàn)焦點坐標(biāo)(x2，y2)。

更明確來說，根據(jù)本發(fā)明所涉及的3d自動對焦顯示方法是將兩個系統(tǒng)整合。其方法包括3d立體內(nèi)容的顯示影像，如步驟11，其觀看者的眼睛聚焦在實體空間的特定點上。接著，執(zhí)行眼球追蹤步驟，如步驟111，該步驟用以得到觀看者的焦點坐標(biāo)(x1，y1)，并利用眼球追蹤系統(tǒng)來判斷觀看者的焦點坐標(biāo)(x1，y1)。接下來，將觀看者的焦點坐標(biāo)(x1，y1)映射至顯示器的坐標(biāo)(x2，y2)，如步驟113，其顯示器的坐標(biāo)(x2，y2)由顯示器的像素坐標(biāo)來表示。在影像上執(zhí)行深度映射步驟是為了得到相對應(yīng)影像的深度圖，如步驟121。深度圖可以利用硬件得到或利用深度影像處理運算來處理3d立體影像來得到。顯示器的坐標(biāo)(x2，y2)相對應(yīng)于影像是用來作為本發(fā)明所涉及的3d自動對焦顯示系統(tǒng)2的影像處理模塊25的 輸入?yún)?shù)。影像處理模塊25判斷該影像的區(qū)域坐標(biāo)是利用所輸入的顯示器的坐標(biāo)(x2，y2)的位置以及利用影像深度映射。影像深度映射是影像的區(qū)域的卻識別因素。就其他方面來說，深度映射是不同區(qū)域的區(qū)段的結(jié)合。每一個區(qū)段定義為影像的像素的集合，該集合具有相同的深度值或是在相同的深度值的范圍內(nèi)。影像處理模塊25體現(xiàn)顯示器的坐標(biāo)(x2，y2)且在校正后會聚焦。影像處理模塊接著25輸出校正聚焦影像，這個校正影像是由次像素圖案(rgb圖案)所形成并對觀看者來輸出次像素圖案。

接著，請參考圖2，圖2表示本發(fā)明所涉及的3d自動對焦顯示系統(tǒng)方塊圖。在圖2中，3d自動對焦顯示系統(tǒng)2包括前視影像選取感測模塊(frontviewerimagecapturingsensormodule)21、后視影像選取感測模塊(rearviewerimagecapturingsensormodule)23、影像處理模塊(imageprocessingmodule)25及顯示模塊(displaymodule)27，其中影像處理模塊25分別與前視影像選取感測模塊21、后視影像選取感測模塊23及顯示模塊27彼此電性連接。其中前視影像選取感測模塊21用以對影像執(zhí)行眼球追蹤功能，以得到影像所在位置的焦點坐標(biāo)(x1，y1)，于本發(fā)明的實施例中，前視影像選取感測模塊21可以是具有紅外線傳感器的攝像模塊(cameramodule)，其與影像瞳孔檢測處理(imagepupildetectionprocessing)相結(jié)合而能夠?qū)⒂^看者的眼球中的焦點予以定位。

后視影像選取感測模塊23，用以對影像進行影像選取，且為本發(fā)明中立體影像的來源。在本發(fā)明的較佳實施例中，后視影像選取感測模塊23可以是具有時間測距的傳感器(time-of-flightsensor)的立體攝像模塊(stereocameramodule)。此種影像模塊可以以本機來選取立體影像，以及使用飛行傳感器來選取相對于深度圖的影像。對于另一種的后視影像選取感測模塊其包括不具有時間測距的傳感器的立體攝像裝置以及2d影像傳感器，但并不限于此。這些模塊可以經(jīng)過利用立體或是2d影像的影像處理方式來建立體及深度圖并且將其輸出。

影像處理模塊25，用以執(zhí)行影像處理步驟。此影像處理步驟包括立體影像及相對應(yīng)的深度圖的識別和建立影像數(shù)據(jù)組(imagedataset)，一個立體影像的和其相應(yīng)的深度圖。影像處理模塊25處理觀看者的眼球的焦點坐標(biāo)(x1，y1)并將其映射(mapping)至另一個相對于顯示模塊27的顯示器的焦點坐標(biāo)(x2，y2)以及執(zhí)行自動對焦增益及校正步驟，使得顯示器的焦點坐標(biāo)(x2，y2)可以體現(xiàn)在顯示模塊27中。

當(dāng)經(jīng)過影像處理模塊25處理之后，校正后的3d立體影像可以體現(xiàn)顯示器的焦點坐標(biāo)(x2，y2)，且傳送至可以顯示3d立體影像的顯示模塊27，使得對于與影像區(qū)段具有特定焦聚的觀看者來顯示3d立體影像。

根據(jù)上述，請接著參考圖3，圖3表示后視影像選取感測模塊為立體攝像裝置時，于顯示模塊上得到3d立體影像的示意圖。在圖3中，立體影像可以包含三個影像(例如心型、星星及笑臉)。在此立體影像的中心為虛線，此虛線是用來表示圖3的影像是具有深度的影像，并且同時具有左側(cè)影像及右側(cè)影像，但這些都是由相同的影像如心型、星星及笑臉通過不同的觀看者的聚焦位置選取到的影像所產(chǎn)生的。影像處理模塊25最后執(zhí)行3d子像素映射步驟。此子像素映射步驟是將左側(cè)和右側(cè)的影像合并形成rgb影像，并可以輸出至顯示模塊27讓觀看者可以看到一個正確3d對焦立體影像。

請參考圖4，圖4表示由具有其相對應(yīng)的深度圖的顯示模塊得到的影像的示意圖。于相對應(yīng)的深度圖可以由幾種方式得到其包括，但不限于此，時間測距傳感器、深度圖計算集成電路(depthmapcalculatingintegratedcircuit)以及軟件影像處理運算(softimageprocessingalgorithms)由2d或3d立體影像來建構(gòu)深度圖。一般的深度圖具有一組深度值其分配至其對應(yīng)的影像的每一個像素。在本發(fā)明中，影像處理模塊25處理這些深度值并且利用影像處理運算來定義區(qū)段或根據(jù)深度值的范圍來定義深度值的區(qū)域。本發(fā)明的自動對焦影像處理利用深度圖來確定影像的區(qū)段，并通過其相對應(yīng)的深度圖來定義，以體現(xiàn)了第二焦點坐標(biāo)(x2，y2)及根據(jù)影像的區(qū)段或是部份的影像來建立校正后的對焦立體影像，以體現(xiàn)在此區(qū)段中的影像。

圖5至圖7表示3d影對焦的各步驟示意圖。當(dāng)顯示器提供觀看者(或者使用者)觀看3d立體影像時，感知3d影像會同時在觀看者的左眼及右眼中產(chǎn)生深度(depth)和視差差距(parallaxdisparity)兩種視覺影像。但左眼和右眼在觀看3d立體影像時，會先產(chǎn)生第一聚焦焦點30。攝像系統(tǒng)面對觀看者且具有追蹤觀看者的眼球以及經(jīng)由影像感測和軟件影像處理的結(jié)合來得到觀看者的焦點，即當(dāng)觀看者看著圖6中的星星時，在觀看者的眼中會產(chǎn)生視差差距，在所觀察的星星上則會有另一第二聚焦焦點302。因為星星是3d立體影像，在顯示器上不同的位置與觀看者的眼球的距離及深淺(或指距離熒幕的遠近)有所不同，因此在觀看一個3d立體影像(星星)時會產(chǎn)生視差差距。

接著請繼續(xù)參考圖7。攝像系統(tǒng)中的后視攝像選取感測模塊是沿著影像的深度圖來得到觀看影像的深度映射訊息。在圖7中，在心型圖案上具有觀察者在觀看時的另一聚焦焦點304，觀看者在觀看圖面左邊的心型時，通過此第三聚焦焦點304利用后視攝像選取感測模塊來取得心型的深度映射訊息，最后再利用影像傳感器及軟件影像處理的結(jié)結(jié)構(gòu)來得到該心型影像的深度圖訊息。最后根據(jù)上述重新計算觀看者的眼球至顯示器之間的距離以及根據(jù)眼球追蹤系統(tǒng)將眼球所看到的每一個深淺不一的影像(或可以稱為像素)結(jié)合，而得到3d立體影像。

在此說明書中，本發(fā)明已參照其特定的實施例作了描述。但是，很顯然仍可以作出各種修改和變換而不背離本發(fā)明的精神和范圍。因此，說明書和附圖應(yīng)被認為是說明性的而非限制性的。