專利名稱：對用于立體視覺的眼鏡進(jìn)行識別的設(shè)備和方法以及控制立體視覺視頻流的顯示的相關(guān)方法
對用于立體視覺的眼鏡進(jìn)行識別的設(shè)備和方法以及控制立體視覺視頻流的顯示的相關(guān)方法本發(fā)明一般地涉及立體視覺顯示系統(tǒng)。本發(fā)明具體地涉及根據(jù)權(quán)利要求I的前序部分的對用于立體視覺的眼鏡進(jìn)行識別的方法，以及涉及使用這樣的方法以控制立體視覺圖像或視頻流的顯示的顯示系統(tǒng)。如已知的那樣,通過使用與同一對象的對應(yīng)視角(perspective)相關(guān)的兩個圖像來獲得立體視覺，所述視角典型地為右視角和左視角。與這兩個視角相關(guān)的圖像(典型地被稱為右圖像和左圖像)分別被用于右眼和左目艮，使得人腦將把這兩個視角一起整合成被感知為三維的一個圖像。所述右圖像和左圖像能夠通過使用合適的獲取系統(tǒng)(帶有兩個物鏡或一對攝像機(jī)的所謂的“立體視覺攝像機(jī)”)來獲得或者通過從第一圖像(例如左圖像)開始并且進(jìn)而 通過電子方式(通過數(shù)值處理)構(gòu)建另一圖像(例如右圖像)來獲得。到目前為止已開發(fā)了許多允許享受通過立體視覺圖像所傳送的3D內(nèi)容的技術(shù)。第一種已知的技術(shù)使右圖像的可視化與左圖像的可視化隨時間交替。然而，這種技術(shù)具有如下缺點(diǎn)，即用戶必須佩戴主動式眼鏡(也稱為“快門式眼鏡”)，其交替地遮蔽右眼或左眼，使得每個眼睛僅能看到與給定視角關(guān)聯(lián)的圖像。根據(jù)另一種已知的技術(shù)，通過不同偏振的光來投影右圖像和左圖像。這可以例如通過適當(dāng)?shù)靥幚黼娨暀C(jī)的屏幕或者通過在投影儀中使用合適的濾光器來獲得。在這種情況下，用戶也必須佩戴配備有不同偏振的鏡片的合適的眼鏡(在這種情況下為被動式眼鏡)，每個所述鏡片僅允許右圖像或左圖像通過。在這兩種情況下，如果用戶試圖在不佩戴這些特殊的眼鏡(在下文中稱為立體視覺眼鏡以將其區(qū)別于普通的驗(yàn)光眼鏡)的情況下觀看視頻流，則視覺將被干擾并且模糊不清，導(dǎo)致用戶的眼睛變得疲勞，這可能導(dǎo)致頭痛。出于這個原因，存在允許用戶手動地選擇單一視覺(2D)或立體視覺(3D)的用于顯示3D視頻和圖像的系統(tǒng)。因此，如果用戶想要觀看3D內(nèi)容，則他/她將戴上立體視覺眼鏡并且選擇3D顯示模式；否則，他/她將選擇2D顯示模式并且將不需要佩戴立體視覺眼鏡。另一方面，用戶的手動調(diào)節(jié)限制了立體視覺設(shè)備的使用的靈活性，這是因?yàn)榭赡馨l(fā)生如下情況即例如由于身體缺陷或者由于顯示設(shè)備的位置或者由于顯示設(shè)備使用復(fù)雜，導(dǎo)致用戶在切換視頻信號顯示模式時有困難。為了解決這個問題，一些已知的立體視覺系統(tǒng)被自動地控制。例如，專利JP2001326949A和JP2008171013A描述了在用戶佩戴用于立體視覺的主動式眼鏡的同時，允許他/她進(jìn)行其他活動的設(shè)備。這些系統(tǒng)使用安裝在眼鏡上的攝像機(jī)，當(dāng)該攝像機(jī)指向屏幕時，其識別屏幕并且向眼鏡的控制單元輸出信號，眼鏡進(jìn)而被激活。當(dāng)用戶沒有觀看屏幕時，眼鏡被去激活，即兩只眼鏡都沒有被遮蔽。這些設(shè)備具有需要裝有動力的配備有攝像機(jī)的立體視覺眼鏡的缺點(diǎn)，這些眼鏡復(fù)雜、笨重并且昂貴。
此外，這些專利所提出的解決方案需要用戶始終佩戴眼鏡，因?yàn)橐曨l信號始終以立體視覺模式被顯示。因此，這些解決方案沒有對如何在用戶不佩戴立體視覺眼鏡時顯示視頻信號的問題提供解決方案。專利JP1093987A描述了一種能夠基于從布置在屏幕上的傳感器接收的信號在單一視覺與立體視覺之間自動地切換其自身的設(shè)備，所述傳感器檢測由立體視覺眼鏡上的紅外光源發(fā)出的輻射；因此，視頻信號僅在佩戴立體視覺眼鏡的用戶面對屏幕時才以立體視覺模式被顯示。該設(shè)備具有眼鏡需要用于紅外光源的特定電源并且因此既復(fù)雜又昂貴的缺點(diǎn)。本發(fā)明的目的是提供解決現(xiàn)有技術(shù)的問題的設(shè)備和方法。特別地，本發(fā)明的目的是提供一種允許識別立體視覺眼鏡在顯示3D內(nèi)容的屏幕前方的環(huán)境中的存在的方法，所述屏幕例如為立體視覺視頻流被投影或顯示的地方。本發(fā)明的目的還在于提供一種允許在不需要對立體視覺眼鏡本身進(jìn)行任何改變 或者至少不需要進(jìn)行龐大的和/或成本高的改變的情況下檢測眼鏡的存在的方法。本發(fā)明的另一個目的是提供一種允許有效地控制立體視覺內(nèi)容顯示設(shè)備的方法以及關(guān)聯(lián)的設(shè)備。本發(fā)明的另外的目的是提供一種允許根據(jù)對立體視覺圖像在其上被顯示的屏幕前方的環(huán)境的分析來控制視頻流的顯示模式的方法以及關(guān)聯(lián)的設(shè)備。本發(fā)明的還有另一個目的是提供一種用于以盡可能接近坐在立體視覺視頻內(nèi)容在其上被顯示的屏幕前方的人的意圖的方式來控制立體視覺視頻流的顯示的方法。本發(fā)明的這些及其他目的通過結(jié)合了在所附權(quán)利要求中所闡述的特征的設(shè)備和方法得以實(shí)現(xiàn)，所述特征意在作為本說明書的主要部分。在本發(fā)明的基礎(chǔ)上的總的構(gòu)想是提供一種用于立體視覺眼鏡的識別的方法，其中從同一觀察點(diǎn)獲取投影圖像前方的環(huán)境的至少兩個圖像，以框定(frame) —個或多個用戶。通過利用立體視覺眼鏡的特性(鏡片偏振或交替的眼睛遮蔽)，借助于所述兩個圖像之間的比較來識別這些眼鏡的存在。本文所描述的方法通過一種設(shè)備來實(shí)現(xiàn)，該設(shè)備包括獲取圖像的至少一個傳感器以及用于適當(dāng)?shù)靥幚硭鰣D像的裝置。該解決方案克服了現(xiàn)有技術(shù)的缺點(diǎn)，因?yàn)檠坨R在不需要使用安裝在眼鏡上的攝像機(jī)或其他主動式元件(例如光源)來檢測它們的存在的情況下被檢測到。這樣的檢測還提高了立體視覺顯示系統(tǒng)的使用的靈活性，因?yàn)槠湓试S一種顯示模式根據(jù)立體視覺眼鏡是否存在于由傳感器框定的環(huán)境中而自動地被選擇。例如，所述方法允許在單一視覺與立體視覺之間自動地進(jìn)行切換。另外，在其中圖像對在本地被生成的那些系統(tǒng)中，所述方法允許立體視覺圖像的深度根據(jù)傳感器所檢測到的條件被調(diào)節(jié)。通過使用不同的圖像獲取模式(例如以預(yù)設(shè)的時間間隔或通過偏振光)，本文所提出的構(gòu)想允許對偏振鏡片眼鏡(具有圓偏振或線偏振)和主動式眼鏡(例如“快門式眼鏡”)兩者的檢測。因此，顯而易見的是，本文所公開的解決方案在使用靈活性方面提供了顯著的優(yōu)點(diǎn)。另外有利地，該眼鏡檢測方法能夠例如通過將人的面部的位置與眼鏡的位置進(jìn)行比較來檢測眼鏡是否被佩戴。因此，能夠更準(zhǔn)確地選擇用戶最有可能期望的顯示模式。
例如，如果眼鏡位于桌子上，則這意味著用戶希望以單一視覺模式(2D)觀看視頻，并且因此該顯示模式將被選擇；反過來，如果眼鏡被佩戴，則顯然用戶希望觀看3D視頻；在這種情況下，立體視覺顯示模式將被選擇。在進(jìn)一步有利的實(shí)施例中，所述方法能夠檢測是否所有用戶都佩戴用于立體視覺的眼鏡。因此，如果僅一些用戶佩戴立體視覺眼鏡，則將不會過多干擾沒有佩戴這樣的眼鏡的那些用戶的視覺的顯示模式(例如2D)將被選擇，和/或?qū)⑾蛴^眾顯示合適的消息。例如，在一個實(shí)施例中，如果輸入信號是立體視覺信號并且沒有人佩戴眼鏡，則將生成建議使用眼鏡的消息，并且該信號將以2D格式顯示；如果僅一些觀眾佩戴眼鏡，則將生成類似消息來建議沒有佩戴眼鏡的那些觀眾將眼鏡戴上。由此生成的消息可以是視覺的和/或聲音的，并且可以使用OSD(屏上顯示)技術(shù)來顯示重疊在視頻上的字符或圖形符號，或者所述消息可利用諸如在屏幕外部的忽明忽滅的燈的發(fā)光信號。本發(fā)明的另外的目的和優(yōu)點(diǎn)將從下文對本發(fā)明的若干優(yōu)選實(shí)施例的詳細(xì)描述中變得更加顯而易見，其中將對附圖
進(jìn)行參照，所述附圖通過非限制性地舉例的方式被提供，其中。圖I是根據(jù)本發(fā)明的設(shè)備所捕獲的場景的示例的示意性圖像。 圖2示出了根據(jù)本發(fā)明的設(shè)備的第一實(shí)施例。圖3示出了根據(jù)本發(fā)明的設(shè)備的第二實(shí)施例。圖4示出了根據(jù)本發(fā)明的設(shè)備的第三實(shí)施例。圖5示出了根據(jù)本發(fā)明的方法的第一實(shí)施例。圖I的示例示出了表示典型地在屏幕前方得到的場景的圖像100，所述場景即用戶I坐在沙發(fā)上。用戶I佩戴立體視覺眼鏡2以觀看立體視覺內(nèi)容(圖像或視頻)。圖I的圖像100是立體視覺內(nèi)容在其上被顯示的屏幕前方的環(huán)境的圖像，所述屏幕例如為電視機(jī)的屏幕或圖像被投影在其上的薄板。圖像100通過位于屏幕附近并且面對坐在屏幕前方的用戶I的攝像機(jī)設(shè)備獲取。因此，攝像機(jī)設(shè)備將從正面拍攝屏幕前面的環(huán)境。這種拍攝視角是優(yōu)選的，因?yàn)橛脩粲锌赡芘宕鞯牧Ⅲw視覺眼鏡被從正面框定，并且因此攝像機(jī)設(shè)備所看到的鏡片面積比在從側(cè)向拍攝環(huán)境的情況下大。可替代地，攝像機(jī)設(shè)備可以被布置在不同的位置上，甚至遠(yuǎn)離屏幕，但無論如何，其優(yōu)選地應(yīng)框定屏幕前方的環(huán)境。在這兩種情況下，優(yōu)選并且有利的是提供具有照亮環(huán)境的合適的紅外光源的攝像機(jī)設(shè)備，以根據(jù)下文所描述的方法來改進(jìn)環(huán)境圖像的進(jìn)一步處理。圖2示意性地示出了獲取圖像100的攝像機(jī)設(shè)備3的第一實(shí)施例。設(shè)備3包括物鏡4，該物鏡4如前面參照圖I所描述的那樣框定圖像100的場景。所框定的圖像100進(jìn)而被傳送到分束器5，分束器5產(chǎn)生兩個獨(dú)立的光路。沿著第一光路6a的圖像被第一偏振器7過濾,使得由偏振器發(fā)出的福射在第一方向上被偏振,所述第一方向例如為正交于傳播方向的水平方向，或者根據(jù)圓偏振被偏振，例如沿逆時針方向。沿著第二光路6b的圖像在被分束器5輸出后被反射鏡8反射并且被第二偏振器9過濾，該第二偏振器9能夠使入射輻射在不同于(并且優(yōu)選地正交于)所述第一偏振方向的第二偏振方向上偏振，或者根據(jù)與前述圓偏振相反的圓偏振使入射輻射偏振，即沿順時針方向。在圖2的示例中，由偏振器9輸出的發(fā)光輻射垂直地(圖2中的z方向)被偏振。
所述設(shè)備還包括兩個圖像傳感器10和11，每個傳感器檢測沿兩個不同的光路6a和6b到達(dá)的圖像中的一個。這兩個傳感器可以例如是CXD傳感器或使用適用于檢測光、或一般而言為發(fā)光輻射、特別地為可見光或紅外輻射的目的的任何其他技術(shù)的傳感器。通過這樣做，獲得了在同一時刻從同一觀察點(diǎn)被捕捉的兩個圖像，其中一個圖像已被第一偏振器7過濾，而另一圖像已被第二偏振器9過濾。由圖像傳感器10和11獲取的圖像進(jìn)而被轉(zhuǎn)換成電信號并且被傳送到裝置12，該裝置12將根據(jù)稍后將描述的方法對所述電信號進(jìn)行處理。所述裝置12優(yōu)選地由處理器或微控制器構(gòu)成，但它們可包括一個或多個連接的、集成的或互連的電子設(shè)備，這些電子設(shè)備能夠根據(jù)下面的進(jìn)程對接收自圖像傳感器10和11的圖像進(jìn)行比較。設(shè)備3允許利用偏振鏡片技術(shù)來檢測用于立體視覺的眼鏡的存在。為此，偏振濾光器7和9允許使光在由電視機(jī)或投影儀顯示并且被用戶觀看的左圖像和右圖像的兩個偏振方向上偏振。偏振濾光器因此將具有與眼鏡2的兩個鏡片相同的偏振能力。
在替代實(shí)施例中，為了獲取同一環(huán)境的兩個偏振圖像，攝像機(jī)設(shè)備配備有例如紅外類型的光源，該光源借助于在圖像的兩個偏振方向上的偏振光來照亮場景。這例如通過布置在與立體視覺眼鏡的鏡片相同類型的兩個偏振濾光器后面的兩個紅外LED來獲得。作為替代，能夠想到使用能夠移動具有非偏振光源的兩個偏振濾光器的機(jī)械系統(tǒng)，以獲得偏振光在由這兩個濾光器確定的兩個不同模式中的交替。這樣的系統(tǒng)可例如包括輪盤，其具有分別覆蓋一半輪盤面積的兩個濾光器；當(dāng)輪盤轉(zhuǎn)動時，由非偏振源發(fā)出的光被這兩個濾光器交替地偏振。在該實(shí)施例中，攝像機(jī)設(shè)備可以如在圖2中那樣配備有分束器，以在同一時刻但是用不同的偏振獲取環(huán)境的圖像。可替代地，攝像機(jī)設(shè)備可以被簡化，并且使用單個圖像傳感器而不使用分束器。在這樣的情況下，照亮環(huán)境的兩個LED交替地被控制，并且在兩個不同時刻被捕獲的兩個圖像被獲取。通過使環(huán)境的照亮迅速交替(以幾十或幾百毫秒)，能夠?qū)蓚€圖像進(jìn)行比較以用于檢測立體視覺眼鏡的目的，如將在下面進(jìn)一步解釋的那樣。其中用根據(jù)兩種不同偏振的偏振光照亮場景的這種替代實(shí)施例適用于被動式眼鏡的情況；在這樣的情況下，在設(shè)備內(nèi)不需要沿(一個或多個)光路的偏振器。在該實(shí)施例中，必須特別小心以避免到異物(即除了立體視覺眼鏡以外的物體，如沙發(fā)、桌子、花瓶、地板)上的反射，所述反射可能影響光偏振并且導(dǎo)致鏡片在場景中的受干擾的檢測。圖3的示例示出了攝像機(jī)設(shè)備的另外的實(shí)施例。與圖2所示的那些相同的項(xiàng)目用相同的標(biāo)號來指示。在該實(shí)施例中，攝像機(jī)設(shè)備3’僅包括單個圖像傳感器。由物鏡4捕獲的光被分束器5分成兩個光路6a和6b ;隨后，沿這兩個光路布置的偏振器7和9使入射輻射偏振并且輸出在圖像傳感器13的兩半中會聚的兩個偏振圖像，圖像傳感器13的輸出進(jìn)而被傳送到適于對其進(jìn)行處理的裝置12’。該變型帶來設(shè)備的緊湊性并且允許減少其部件的數(shù)量。圖4示出了攝像機(jī)設(shè)備的另一個實(shí)施例。攝像機(jī)設(shè)備3’ ’包括物鏡4，該物鏡4框定前面參照圖I所描述的場景。輸入圖像直接被傳送到圖像傳感器14，該圖像傳感器14以同步裝置15所設(shè)定的頻率獲取圖像。該圖像獲取頻率與立體視覺圖像顯示頻率或其整數(shù)倍對應(yīng)，例如50Hz，使得圖像每五十分之一秒被獲取一次。優(yōu)選地，同步裝置15內(nèi)置在顯示被用戶I觀看的圖像或視頻流的電視機(jī)或投影儀中或者與其相連，使得所述圖像與右圖像和左圖像的可視化同步地被獲取。圖像傳感器14所獲取的圖像被傳送到裝置16，該裝置16進(jìn)而根據(jù)稍后將描述的方法對它們進(jìn)行處理。只要用于立體視覺的“快門式”主動式眼鏡的存在要被檢測，該設(shè)備3’ ’都特別適合。實(shí)際上，在各種獲取時刻，該設(shè)備能夠檢測眼鏡2的每個鏡片的打開和/或閉合程度的差異。如果同步裝置15與右圖像和左圖像的可視化同步，則它們也將與“快門式”眼鏡同步，而“快門式”眼鏡如已知的那樣與電視機(jī)或投影儀同步，使得右眼將始終看到右圖像，而左眼將始終看到左圖像。以這種方式，設(shè)備3’’始終框定一個閉合(關(guān)閉)的鏡片和一個透明(打開)的鏡片，但在兩次連續(xù)的框定中，在第一次框定中閉合的鏡片將在第二次框定中打開，而在第一次框定中打開的鏡片將在第二次框定中閉合。因此，在由設(shè)備于不同時刻相繼捕獲的不同圖像中，在所捕獲的第一圖像中閉合 的鏡片將在第二圖像中打開，而對于眼鏡的另一個鏡片則將發(fā)生相反的情況。在一個實(shí)施例中，攝像機(jī)設(shè)備3’’包括例如紅外類型的光源，該光源通過以與圖像獲取的頻率相同的頻率的光脈沖發(fā)射來照亮場景?？商娲?，可借助于以圖像獲取頻率的整約數(shù)(submultiple)的頻率或始終等于設(shè)備拍攝頻率的頻率的光脈沖發(fā)射來照亮場景。所述光源因此優(yōu)選地由同步裝置15控制。在另外的實(shí)施例中，攝像機(jī)設(shè)備3’’包括例如紅外類型的光源，該光源通過保持始終開啟來照亮場景，即不采用時間脈沖。在該實(shí)施例中，光源優(yōu)選地在照亮條件被認(rèn)為不利時適當(dāng)?shù)亟柚谠O(shè)備3’ ’以選擇性的方式被激活。相反地，如果場景的自然照亮是充分的，則光源將保持關(guān)閉。因此，該實(shí)施例結(jié)合了構(gòu)造簡易性(光源非脈沖發(fā)射)與低能耗(光源僅在必要時才開啟)。在所有上述實(shí)施例中，攝像機(jī)設(shè)備都允許實(shí)現(xiàn)用于檢測立體視覺眼鏡和用于控制立體視覺的方法。圖5示出了所述方法的第一實(shí)施例的各個步驟，為了清楚起見將參照攝像機(jī)設(shè)備3來描述該實(shí)施例。設(shè)備3獲取圖像51和52，該圖像51和52與偏振器7和9所過濾的兩個圖像對應(yīng)。圖5突出了用戶所佩戴的偏振立體視覺眼鏡的左鏡片與右鏡片之間的區(qū)別。在圖像51中，左鏡片是黑暗的(dark)，而在圖像52中，該同一鏡片是透明的(transparent)。這是因?yàn)楫?dāng)光穿過偏振濾光器時，具有相同偏振的鏡片將是透明的，而另一個鏡片由于其不同的偏振而將是黑暗的。如果眼鏡是主動式的(例如“快門式”眼鏡)并且圖像在不同時刻被獲取，則將獲得相同類型的圖像51和52，如前面在對圖4的設(shè)備3’ ’的描述中所解釋的那樣。在這兩種情況下，在獲取了兩個圖像51和52之后，用于對立體視覺眼鏡的存在進(jìn)行識別的方法規(guī)定對所述圖像進(jìn)行比較，以檢測它們之間的差異。在一個實(shí)施例中，將圖像51從圖像52中減去(當(dāng)然也可進(jìn)行相反的操作，即可將圖像52從圖像51中減去)。如已知的那樣，圖像由多個像素構(gòu)成，這些像素的RGB值由一系列的比特表示；因此，將兩個圖像相減等同于將一個圖像的像素的RGB值從另一個圖像的對應(yīng)像素的RGB值中減去。這種差分的結(jié)果是這樣的圖像即除了被立體視覺眼鏡的鏡片占據(jù)的區(qū)域之外，該圖像的像素在各處均具有幾乎為零的值。在這些區(qū)域中，將分別有正值和負(fù)值，與所述兩個鏡片對應(yīng)，如圖像53所示，而圖像53的剩余部分將完全為零(在此處以黑色示出)。在差分圖像53的示例中，該圖像的未被鏡片占據(jù)的部分完全為零，因?yàn)閳D像51和52是完全一致的。顯然，在實(shí)際情況下，彼此相減的圖像可能由于噪聲或其他干擾而甚至在未被鏡片占據(jù)的區(qū)域中也稍有不同。明顯地，在這種情況下，差分圖像的其中像素的RGB值接近零的部分將被認(rèn)為是實(shí)際為零，而差分圖像中被鏡片占據(jù)的區(qū)域?qū)⒕哂蓄A(yù)定閾值以上的更高RGB 值。必須指出的是，在其中兩個圖像在不同時刻被捕獲的情況下(例如對于前面參照 圖4所描述的快門式眼鏡的情況)，這兩個圖像由于可能的觀眾移動而不能夠完全重疊。然而，在下面將要描述的接下來的步驟中，眼鏡圖案仍將被識別，這是因?yàn)橐苿訉?dǎo)致的差異能夠再現(xiàn)與眼鏡產(chǎn)生的圖案相似的圖案是完全不可能的。在一個實(shí)施例中，為了避免其中觀眾移動可能損害測量結(jié)果的情形，所述方法規(guī)定基于兩個所獲取的圖像中的對應(yīng)像素之間的差的平方和來估算置信指數(shù)，從而了解這兩個圖像彼此不同的程度有多大。這樣的指數(shù)可以例如是這兩個圖像的一部分或所有像素的差的平均值或者超過某個預(yù)定閾值的差的數(shù)量。如果置信指數(shù)超過預(yù)先限定的值(例如根據(jù)經(jīng)驗(yàn)計(jì)算得到的值)，則測量結(jié)果將被忽略并且在置信指數(shù)返回所述閾值以下之前將不生成指示眼鏡存在的信號，置信指數(shù)返回所述閾值以下意味著場景中的觀眾所佩戴的眼鏡的鏡片的移動已大體上停止。在還有另一個實(shí)施例中，為了避免其中觀眾移動可能損害測量結(jié)果的情形，作為上述內(nèi)容的替代或補(bǔ)充，所述方法規(guī)定借助于已知的移動檢測技術(shù)，即對象追蹤技術(shù)來檢測用戶的移動。以這種方式，在圖像內(nèi)檢測到用戶的面部或被檢測的鏡片的移動是有可能的。因此，能夠估計(jì)鏡片在后續(xù)圖像中的平移，將其與眼鏡在所框定的場景中的存在相關(guān)聯(lián)。返回參照用于眼鏡識別的方法，在計(jì)算差分圖像之后，所述方法執(zhí)行在差分圖像內(nèi)識別眼鏡的步驟。在一個實(shí)施例中，通過檢測兩個鏡片在差分圖像內(nèi)的存在來檢測眼鏡。在一個實(shí)施例中，當(dāng)存在數(shù)量超過預(yù)定值的一組鄰接的非零像素時，鏡片被檢測到。在另一個實(shí)施例中，通過將一組鄰接的非零像素與預(yù)先限定的鏡片圖像進(jìn)行比較來檢測鏡片。在一個實(shí)施例中，借助于圖案研究或例如像Haar的技術(shù)說明的圖像處理技術(shù)來識別鏡片所占據(jù)的區(qū)域中的圖案。該方法可以例如通過使用諸如OpenCV( “開放的計(jì)算機(jī)視覺”)庫的本身已知的軟件庫來實(shí)現(xiàn)，所述軟件庫含有人工視覺算法的若干實(shí)現(xiàn)。為了在差分圖像內(nèi)識別鏡片的目的，有利的是通過評估所述方法對于可能在立體視覺圖像的觀察期間出現(xiàn)的各種場景拍攝條件(例如不佳地照亮的場景、眼鏡上的掠射光的存在等)的準(zhǔn)確性而將鏡片形狀的適當(dāng)容差考慮在內(nèi)。在不存在眼鏡的情況下，兩個圖像51和52將大體上一致；因此，差分圖像53將完全為零，并且攝像機(jī)設(shè)備的處理器(例如裝置12、12’或16)將檢測到眼鏡的不存在。
如果存在兩個傳感器，或者如果攝像機(jī)設(shè)備的光學(xué)器件沒有完全對準(zhǔn)，則兩個所獲取的圖像不能直接重疊。為了改進(jìn)眼鏡的檢測，所述方法包括確保圖像的最佳對準(zhǔn)和線性度的初始校準(zhǔn)步驟。在優(yōu)選實(shí)施例中，在已經(jīng)識別出立體視覺眼鏡的存在(或不存在)之后，攝像機(jī)設(shè)備輸出表示眼鏡的存在或不存在的信號。參照圖2、3和4，這樣的信號由從裝置12、12’和16離開的箭頭指示，所述裝置12、12’和16負(fù)責(zé)所述信號的生成。在一個實(shí)施例中，用于立體視覺眼鏡識別的設(shè)備是獨(dú)立于顯示系統(tǒng)(電視機(jī)，機(jī)頂盒，投影儀等)的設(shè)備，并且該設(shè)備包括傳輸裝置(在圖2至圖4中未示出)，該傳輸裝置允許指示立體視覺眼鏡的存在的信號被傳送到顯示系統(tǒng)。信號從眼鏡識別設(shè)備的傳輸可以通過使用標(biāo)準(zhǔn)化的通信模式和協(xié)議(USB、藍(lán)牙、Wi-Fi、以太網(wǎng)等)或私有協(xié)議而以有線或無線方式發(fā)生。顯示系統(tǒng)因此設(shè)置有用于接收和解碼這樣的信號的裝置以及適于基于所接收的信號控制3D內(nèi)容的顯示的裝置，如下所述。當(dāng)然，眼鏡識別設(shè)備可以集成到顯示系統(tǒng)中；在這樣的情況下，用于檢測眼鏡的存 在的同一裝置還可以控制3D圖像的可視化；例如，所述信號可以被用于從單一視覺向立體視覺的切換(或者從立體視覺向單一視覺的切換)。因此，通過使用根據(jù)上述方法的眼鏡檢測系統(tǒng)，實(shí)現(xiàn)用于控制圖像和/或視頻流的顯示的方法是有可能的，其中通過僅在用戶佩戴立體視覺眼鏡時才顯示立體視覺圖像來自動地選擇最符合用戶期望的顯示模式。這提高了立體視覺圖像顯示設(shè)備的使用靈活性。在另外的實(shí)施例中，除了如前所述的那樣檢測眼鏡的存在之外(即對用不同偏振光拍攝或在不同的預(yù)定時刻拍攝的兩個圖像進(jìn)行比較)，所述方法還檢測人的頭部在圖像內(nèi)的存在。更優(yōu)選地，所述方法能夠檢測面部的存在。該面部檢測借助于在安全和視頻監(jiān)視領(lǐng)域中常用的本身已知的面部識別技術(shù)來獲得。優(yōu)選地，僅在兩個所獲取的圖像中的一個上檢測面部，以減少檢測過程的處理時間和計(jì)算成本。所述方法優(yōu)選地規(guī)定檢測由面部占據(jù)的區(qū)域。面部識別步驟和眼鏡識別步驟可并行地或以任何順序執(zhí)行。進(jìn)而，將面部在圖像中的位置與鏡片的位置進(jìn)行比較。通過面部位置與鏡片位置之間的比較，立體視覺眼鏡是正由用戶佩戴還是僅被放在處于由設(shè)備所框定的這樣的位置上的一件家具或沙發(fā)上被檢測。所述方法的該步驟還可優(yōu)選地借助于OpenCV算法來實(shí)現(xiàn)。在另外的實(shí)施例中，所述方法規(guī)定檢測所檢測到的眼鏡的數(shù)量(可能基于所檢測到的鏡片的數(shù)量來計(jì)算)是否與所檢測到的面部的數(shù)量對應(yīng)，或者更優(yōu)選地，檢測是否所有眼鏡都被佩戴(即是否所有眼鏡都位于所識別出的面部的區(qū)域內(nèi))。如果所有用戶都佩戴了眼鏡，則顯示控制方法將以立體模式顯示視頻流。相反地，如果識別出用戶未佩戴立體視覺眼鏡，則所述方法將例如通過切換到單一視覺模式來改變顯示模式。可替代地，能夠想到所述方法將把顯示模式改變?yōu)榫哂袦p小的深度的另一個立體模式，以減輕沒有佩戴立體視覺眼鏡的觀眾所感覺到的不適。
在一個實(shí)施例中，作為對根據(jù)是否所有用戶都佩戴了眼鏡來選擇顯示模式的補(bǔ)充或替代，所述方法還規(guī)定為觀眾生成信息消息。例如，如果輸入信號是立體視覺信號并且沒有人佩戴眼鏡，則(視覺和/或聲音)消息將被生成，以建議使用眼鏡，并且該信號將以2D格式顯示。如果僅一些觀眾佩戴了眼鏡，則將生成建議沒有佩戴眼鏡的那些觀眾將眼鏡戴上的消息。由此生成的消息可以是視覺的和/或聲音的，并且可以使用OSD (屏上顯示)技術(shù)來顯示重疊在視頻上的字符或圖形符號，或者所述消息可利用諸如在屏幕外部的忽明忽滅的燈的發(fā)光信號。到目前為止所描述的方法可附加地包括自適應(yīng)訓(xùn)練步驟，該步驟可用于例如通過限定與立體視覺眼鏡關(guān)聯(lián)的圖案的優(yōu)選形狀來更有效地識別其中用戶希望顯示模式被自動地切換的那些情形。立體視覺眼鏡可例如在形狀和尺寸方面彼此不同，但所有立體視覺眼鏡都必須具有一些允許其被攝像機(jī)設(shè)備識別的共同特征(例如偏振類型或激活頻率)。優(yōu)選地，該自適應(yīng)訓(xùn)練也可借助于OpenCV算法來實(shí)現(xiàn)。在攝像機(jī)設(shè)備框定具有偏振鏡片但不適用于立體視覺的眼鏡(例如特殊的太陽 鏡)的情況下，所述方法將識別出這樣的眼鏡的存在，因?yàn)閮蓚€圖像之間的差異將突出具有相同偏振的鏡片的存在，并且因此，所述方法將假定在該位置上沒有立體視覺眼鏡。通過上述設(shè)備的圖像獲取和處理可連續(xù)地發(fā)生，或者更優(yōu)選地，可以固定的時間間隔(例如每15秒)重復(fù)。通過增加間隔的長度，例如減少設(shè)備的計(jì)算負(fù)荷是有可能的。在一個實(shí)施例中，屏幕前方的環(huán)境的圖像連續(xù)地被獲取和處理，這樣做意味著獲取和處理步驟被連續(xù)地重復(fù)；當(dāng)然，由于這樣的過程需要一定的時間(幾毫秒)，因此術(shù)語“連續(xù)獲取和處理”意指所述過程不斷地被重復(fù)。在該實(shí)施例中，顯示模式不是在每次眼鏡存在檢測時都不斷地被改變；這避免了任何錯誤的檢測可能導(dǎo)致圖像在兩個不同顯示模式之間不斷地被切換。在一個實(shí)施例中，可用于視頻流顯示模式選擇的信號在預(yù)定數(shù)量的獲取和處理步驟已被完成之后生成；換句話說，要使顯示模式改變，特定數(shù)量的獲取是必需的；一次獲取是不夠的。可替代地，信號在每次處理步驟結(jié)束時連續(xù)地被生成，但顯示設(shè)備將忽略它。顯而易見的是，本領(lǐng)域的普通技術(shù)人員可對本發(fā)明進(jìn)行許多改變而不背離在所附權(quán)利要求中所陳述的本發(fā)明的保護(hù)范圍。特別地，本發(fā)明顯然并不限于本文所描述的單個實(shí)施例，這是因?yàn)橥ㄟ^將所描述的那些實(shí)施例之中的不同實(shí)施例的項(xiàng)目和特征一起(并且可能還與本身對本領(lǐng)域的技術(shù)人員已知的技術(shù)方案一起)組合成不同的方法和設(shè)備能夠想到其他實(shí)施例，所述不同的方法和設(shè)備仍然使用通過獲取和比較從同一觀察點(diǎn)捕獲的兩個圖像來識別立體視覺眼鏡的基本構(gòu)想或者由于這樣的眼鏡檢測過程而控制視頻流的顯示模式的任何方式。同樣顯而易見的是，本發(fā)明不限于用于檢測立體視覺眼鏡的存在的攝像機(jī)設(shè)備，而是可被擴(kuò)展至包括所述攝像機(jī)設(shè)備和適于接收立體視覺視頻流的裝置兩者以及包括適于根據(jù)上述用于控制視頻流的顯示模式的方法顯示所述立體視覺視頻流的裝置的視頻顯示系統(tǒng)。在這樣的系統(tǒng)中，攝像機(jī)設(shè)備和顯示設(shè)備(例如電視機(jī)或投影儀)可連接或集成在一起，或者彼此操作性地關(guān)聯(lián)。在一種變型中，本文所提出的用于立體視覺眼鏡的識別的方法可以包括用于檢測眼鏡圖案移動的算法，以提供附加功能，舉例來說諸如為切換視頻信號或者甚至修改立體視覺圖像以避免為兩個眼睛中的任何一個實(shí)時生成圖像的立體視覺系統(tǒng)中的視差效應(yīng)。在另外的實(shí)施例中，“快門式”眼鏡配備有兩個偏振濾光器，其優(yōu)選地被布置在兩個鏡片附近，例如位于框定區(qū)域外部、位于鏡片旁邊。這允許使用即使在偏振立體視覺眼鏡是快門類型的情況下也能夠檢測其存在的設(shè)備。當(dāng)所述設(shè)備用在兩個濾光器的兩個方向上的偏振光來拍攝屏幕前方的環(huán)境時，環(huán)境將如前面參照圖5所論述的那樣看起來分別是透明的或黑暗的，并且因此將允許眼鏡借助于上述方法被檢測。該方法的優(yōu)點(diǎn)在于其防止了 任何檢測不確定性或誤差由于觀眾移動而發(fā)生。
權(quán)利要求
1.一種用于立體視覺眼鏡的識別的方法，其中從同一觀察點(diǎn)獲取適于顯示立體視覺視頻流的屏幕前方的環(huán)境的兩個圖像(51，52)，其特征在于 -通過從所述兩個圖像(51，52)中的一個中減去另一個來計(jì)算差分圖像(53)， -在所述差分圖像(53)內(nèi)檢測立體視覺眼鏡(2)的兩個鏡片的存在。
2.根據(jù)權(quán)利要求I所述的方法，其中當(dāng)存在數(shù)量超過預(yù)定值的一組鄰接的非零像素時，鏡片被檢測到。
3.根據(jù)權(quán)利要求I或2所述的方法，其中通過將一組鄰接的非零像素與預(yù)先限定的鏡片圖像進(jìn)行比較來檢測鏡片。
4.根據(jù)權(quán)利要求I至3中任一項(xiàng)所述的方法，其中通過相應(yīng)的偏振濾光器(7，9)來獲取所述兩個圖像(51，52)，其中與所述兩個圖像關(guān)聯(lián)的偏振濾光器(7，9)不同并且具有與所述鏡片相同的偏振能力。
5.根據(jù)權(quán)利要求I至4中任一項(xiàng)所述的方法，其中所述兩個圖像(51，52)在不同時刻被獲取，并且其中所述圖像(51，52)的獲取與右圖像和左圖像在所述屏幕上的可視化同步。
6.根據(jù)權(quán)利要求5所述的方法，其中所述右圖像和所述左圖像與立體視覺視頻流的兩個不同的立體視覺幀對應(yīng)。
7.根據(jù)權(quán)利要求I至6中任一項(xiàng)所述的方法，其中所述眼鏡的多次檢測隨時間發(fā)生，其中在第一次檢測期間，所述被檢測的眼鏡的形狀和/或尺寸被存儲在存儲器中，并且其中在隨后的檢測期間，將被檢測的眼鏡的形狀和/或尺寸與所存儲的形狀和/或尺寸進(jìn)行比較。
8.根據(jù)權(quán)利要求I至7中任一項(xiàng)所述的方法，其中所述眼鏡的多次檢測隨時間發(fā)生，并且其中所述顯示模式僅在所述圖像獲取步驟和眼鏡檢測步驟已被重復(fù)預(yù)定數(shù)量次之后被改變。
9.一種用于控制立體視覺視頻流的顯示模式的方法，其中所述立體視覺視頻流包括用于用戶的右眼的一系列右圖像和用于用戶的左眼的一系列左圖像，所述方法的特征在于，通過結(jié)合了權(quán)利要求I至8中任一項(xiàng)所闡述的特征的方法來檢測立體視覺眼鏡在適于顯示立體視覺視頻流的屏幕前方的環(huán)境內(nèi)的存在，并且以取決于所述立體視覺眼鏡的檢測的模式顯示所述立體視覺流。
10.根據(jù)權(quán)利要求9所述的方法，其中所述立體視覺眼鏡的檢測隨時間被重復(fù)，并且所述顯示模式在所述檢測的結(jié)果改變時被自動地切換。
11.根據(jù)權(quán)利要求9或10所述的方法，其中當(dāng)所述眼鏡被檢測到時，所述視頻流以立體視覺模式被顯示，并且其中當(dāng)所述眼鏡未被檢測到時，所述視頻流以單一視覺模式被顯示。
12.根據(jù)權(quán)利要求9或10或11所述的方法，其還包括在所述屏幕前方的環(huán)境內(nèi)識別用戶面部的步驟，從而作為所述眼鏡的檢測以及所述面部在與所述眼鏡的位置對應(yīng)的位置上的檢測的函數(shù)來顯示所述視頻流。
13.根據(jù)權(quán)利要求12所述的方法，其中如果所有被檢測到的眼鏡都處在與面部對應(yīng)的位置上，則生成聲音和/或視覺消息。
14.一種對用于立體視覺的眼鏡進(jìn)行識別的設(shè)備，其包括用于獲取圖像的至少一個傳感器(10，11，13，14)以及用于處理所述獲取的圖像的裝置(12，12’)，其特征在于，所述處理裝置(12，12’)適于實(shí)現(xiàn)根據(jù)權(quán)利要求I至8中任一項(xiàng)所述的用于眼鏡識別的方法。
15.根據(jù)權(quán)利要求14所述的設(shè)備，其還包括 分束器(5)，所述分束器(5)適于將由鏡片獲取的光分成兩個不同的光路； 第一偏振器(7),所述第一偏振器(7)被布置在所述兩個光路中的第一個上,并且適于以第一偏振類型使入射光偏振；以及 第二偏振器(9)，所述第二偏振器(9)被布置在所述兩個光路中的第二個上，并且適于以第二偏振類型使入射光偏振。
16.根據(jù)權(quán)利要求15所述的設(shè)備，其中所述第一圖像和所述第二圖像分別通過相應(yīng)的圖像傳感器(10，11)獲取。
17.根據(jù)權(quán)利要求15所述的設(shè)備，其中所述第一圖像和所述第二圖像兩者都通過單個圖像傳感器(14)獲取。
18.根據(jù)權(quán)利要求14至17中任一項(xiàng)所述的設(shè)備，其還包括用于照亮由所述至少一個圖像傳感器框定的場景的裝置。
19.根據(jù)權(quán)利要求18所述的設(shè)備，其中所述照亮裝置包括偏振光源。
20.根據(jù)權(quán)利要求19所述的設(shè)備，其中所述設(shè)備包括 非偏振光源，特別是紅外光源；以及 機(jī)械系統(tǒng)，所述機(jī)械系統(tǒng)適于移動所述非偏振光源前方的偏振濾光器對。
21.根據(jù)權(quán)利要求14至20中任一項(xiàng)所述的設(shè)備，其還包括適于向所述設(shè)備輸出與所述眼鏡的檢測相關(guān)的信號的裝置。
22.一種視頻顯示系統(tǒng)，其包括 根據(jù)權(quán)利要求14至21中任一項(xiàng)所述的用于檢測立體視覺眼鏡的存在的設(shè)備； 適于接收立體視覺視頻流的裝置；以及 適于根據(jù)結(jié)合了權(quán)利要求9至13中任一項(xiàng)所闡述的特征的方法來顯示所述立體視覺視頻流的裝置。
全文摘要
本發(fā)明涉及立體視覺顯示系統(tǒng)。其描述了一種用于立體視覺眼鏡的識別的方法，其中從同一觀察點(diǎn)獲取屏幕前方環(huán)境的兩個圖像。進(jìn)而通過從所述兩個圖像中的一個中減去另一個來計(jì)算差分圖像，并且在所述差分圖像內(nèi)檢測兩個鏡片的存在。本發(fā)明還涉及一種通過使用所述用于眼鏡識別的方法來控制立體視覺圖像的顯示的方法。允許實(shí)現(xiàn)所述方法的設(shè)備也被描述。
文檔編號G06K9/00GK102822848SQ201180005438
公開日2012年12月12日 申請日期2011年1月7日 優(yōu)先權(quán)日2010年1月7日
發(fā)明者D.彭尼西, A.卡拉梅利 申請人:3維開關(guān)有限公司