專利名稱：多媒體裝置、多個不同類型的圖像傳感器及其控制方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種關(guān)于多媒體裝置的技術(shù)，更具體地，涉及通過利用多個不同類型的圖像傳感器來控制多媒體裝置的技術(shù)。
背景技術(shù)：
已經(jīng)關(guān)于利用內(nèi)置在PC或筆記本計算機內(nèi)部的照相機來進(jìn)行視頻呼叫的技術(shù)進(jìn)行了很多討論。而且，隨著最近電學(xué)和電子技術(shù)的快速發(fā)展，討論了可以滿足用戶期望的各種功能和條件的方法。此外，除了根據(jù)相關(guān)技術(shù)的簡單的功能(例如，視頻呼叫)以外，與多媒體裝置交互的照相機以及各種功能的應(yīng)用已經(jīng)被建議進(jìn)行研究。例如，對于將與多媒體裝置交互的照相機應(yīng)用于用戶臉部識別領(lǐng)域并且根據(jù)用戶的姿態(tài)識別來控制多媒體裝置已經(jīng)進(jìn)行了各種嘗試。然而，這種根據(jù)相關(guān)技術(shù)、基于利用照相機來進(jìn)行用戶識別的控制所導(dǎo)致的問題在于由于提供多媒體裝置的條件、用戶意外的移動等導(dǎo)致還沒有達(dá)到所需的識別水平。

發(fā)明內(nèi)容
因此，本發(fā)明是針對多媒體裝置、多個不同類型的圖像傳感器及其控制方法，其充分地避免了由于現(xiàn)有技術(shù)的限制和缺點所導(dǎo)致的一個或更多個問題。本發(fā)明的一個實施方式提供了用于通過利用多個不同類型的圖像傳感器來精確地識別位于多媒體裝置周圍的用戶的解決方案。本發(fā)明的另一實施方式提供了可以通過解決在由與多媒體裝置交互的照相機所提供的識別過程中出現(xiàn)的問題來提高識別距離和吞吐量的設(shè)計方法。本發(fā)明的另一實施方式根據(jù)識別了單個用戶還是多個用戶以各種方式來提供偏好頻道服務(wù)，并且提高了處理速度。本發(fā)明的另一實施方式提供了通過利用多個不同類型的圖像傳感器來自動地存儲每個用戶的偏好廣播節(jié)目的技術(shù)。將在以下的描述中部分地闡明本發(fā)明的附加的優(yōu)點、目的和特征，并且其在本領(lǐng)域技術(shù)人員檢查了以下說明之后將部分地變得明顯，或者可以從本發(fā)明的實踐獲知?？梢酝ㄟ^在文字描述和其權(quán)利要求以及附圖中所特別指出的結(jié)構(gòu)來實現(xiàn)和獲得本發(fā)明的目的和其它優(yōu)點。為了達(dá)到這些目的和其它優(yōu)點并且根據(jù)本發(fā)明的目的，如在本文具體實施并廣泛描述的，一種使用多個不同類型的圖像傳感器的多媒體裝置的控制方法包括以下步驟在用于提取深度數(shù)據(jù)的第一圖像傳感器和用于提取彩色數(shù)據(jù)的第二圖像傳感器的控制下、識別位于多媒體裝置周圍的至少一個用戶；訪問存儲有每個用戶的偏好頻道的存儲器；從所訪問的存儲器提取關(guān)于與所識別的用戶相對應(yīng)的偏好頻道的信息；根據(jù)所提取的信息執(zhí)行用于切換至偏好頻道的控制操作；以及監(jiān)視位于多媒體裝置前面的用戶的改變。在本發(fā)明的另一方面，使用多個不同類型的圖像傳感器的多媒體裝置包括廣播網(wǎng)絡(luò)接口，其接收廣播數(shù)據(jù)；臉部識別模塊，其通過利用在用于提取深度數(shù)據(jù)的第一圖像傳感器和用于提取彩色數(shù)據(jù)的第二圖像傳感器的控制下所生成的信息來識別至少一個用戶； 存儲器，其存儲每個用戶的偏好頻道；提取器，其通過訪問存儲器提取關(guān)于與至少一個用戶相對應(yīng)的偏好頻道的信息；顯示模塊，其顯示指示對應(yīng)的偏好頻道的引導(dǎo)消息；以及控制器，如果施加了選擇對應(yīng)的偏好頻道的信號，則該控制器執(zhí)行用于切換至對應(yīng)的偏好頻道的控制操作。在本發(fā)明的另一方面，一種對使用多個不同類型的圖像傳感器的多媒體裝置的控制方法包括以下步驟輸出通過廣播網(wǎng)絡(luò)所接收的廣播節(jié)目；在用于提取深度數(shù)據(jù)的第一圖像傳感器和用于提取彩色數(shù)據(jù)的第二圖像傳感器的控制下、識別位于多媒體裝置周圍的至少一個用戶；如果當(dāng)正在輸出廣播節(jié)目時所識別的用戶離開多媒體裝置的特定的范圍， 則從當(dāng)所識別的用戶離開特定的范圍時開始存儲廣播節(jié)目；如果在第一圖像傳感器和第二圖像傳感器的控制下再次識別了離開的用戶，則顯示引導(dǎo)是否輸出所存儲的廣播節(jié)目的消息；以及執(zhí)行輸出所存儲的廣播節(jié)目的控制操作。在本發(fā)明的另一方面，利用多個不同類型的圖像傳感器的多媒體裝置包括廣播網(wǎng)絡(luò)接口，其接收當(dāng)前正在使用中的廣播數(shù)據(jù)；臉部識別模塊，其通過利用在用于提取深度數(shù)據(jù)的第一圖像傳感器和用于提取彩色數(shù)據(jù)的第二圖像傳感器的控制下所生成的信息來識別至少一個用戶；存儲器，其存儲每個用戶的偏好頻道；提取器，其通過訪問存儲器提取關(guān)于與至少一個用戶相對應(yīng)的偏好頻道的信息；以及控制器，如果當(dāng)前正在使用中的廣播數(shù)據(jù)的頻道與對應(yīng)于所識別的用戶的偏好頻道不同，則控制器控制存儲器存儲該偏好頻道的廣播節(jié)目。根據(jù)本發(fā)明的一個實施方式，提供了用于通過利用多個不同類型的圖像傳感器來精確地識別位于多媒體裝置周圍的用戶的解決方案。而且，根據(jù)本發(fā)明的另一實施方式，提供了設(shè)計方法，該方法可以通過解決在由與多媒體裝置交互的照相機所提供的識別過程中出現(xiàn)的問題來同時提高識別距離和吞吐量。此外，根據(jù)本發(fā)明的另一實施方式，根據(jù)識別了單個用戶還是多個用戶、以各種方式來提供偏好頻道服務(wù)，并且提高了處理速度。根據(jù)本發(fā)明的另一實施方式，提供了通過利用多個圖像傳感器來自動地存儲每個用戶的偏好廣播節(jié)目的技術(shù)。應(yīng)理解的是，通過本發(fā)明可以獲得的優(yōu)點不限于上述的優(yōu)點，并且根據(jù)以下描述， 沒有提及的其它優(yōu)點將對于本發(fā)明所屬領(lǐng)域的技術(shù)人員變得明顯。


包括附圖以提供對本發(fā)明的進(jìn)一步的理解，并且附圖構(gòu)成該申請的一部分，這些附圖例示了本發(fā)明的實施方式，并且與說明書一起來解釋本發(fā)明的原理。在附圖中圖1是例示包括根據(jù)本發(fā)明的一個實施方式的多媒體裝置的整個系統(tǒng)的示例的簡圖；圖2是例示圖1所例示的多媒體裝置的示例的詳圖；圖3是例示根據(jù)本發(fā)明的一個實施方式的基于多個不同類型的圖像傳感器多媒體裝置和照相機所拍攝的畫面的圖4是例示根據(jù)本發(fā)明的一個實施方式的利用在多個不同類型的圖像傳感器中的檢測數(shù)據(jù)和識別數(shù)據(jù)的過程以及多媒體裝置的圖；圖5是例示存儲在圖4所例示的數(shù)據(jù)庫中的臉部矢量的圖；圖6是例示本發(fā)明的一個實施方式的與多媒體裝置交互的多個不同類型的圖像傳感器根據(jù)硬件場和軟件場的操作的圖；圖7是例示根據(jù)本發(fā)明的一個實施方式的多個不同類型的圖像傳感器和多媒體裝置的圖；圖8是例示根據(jù)本發(fā)明的另一實施方式的多個不同類型的圖像傳感器和多媒體裝置的圖；圖9是例示根據(jù)本發(fā)明的一個實施方式的多個不同類型的圖像傳感器的詳圖；圖10是例示根據(jù)本發(fā)明的一個實施方式的多個不同類型的圖像傳感器的第一圖像傳感器的示例的圖；圖11是例示根據(jù)本發(fā)明的一個實施方式的多個不同類型的圖像傳感器的第一圖像傳感器的另一示例的圖；圖12是例示通過利用圖11所示的第一圖像傳感器來計算距離的方法的圖；圖13是例示由根據(jù)本發(fā)明的一個實施方式的多個不同類型的圖像傳感器的第一圖像傳感器所拍攝的圖像的圖；圖14是例示由根據(jù)本發(fā)明的一個實施方式的多個不同類型的圖像傳感器的第二圖像傳感器所拍攝的圖像的圖；圖15是例示根據(jù)本發(fā)明的一個實施方式的通過利用多個不同類型的圖像傳感器來提供每個用戶/家庭的偏好頻道的多媒體裝置的具體的模塊的圖；圖16是例示根據(jù)本發(fā)明的一個實施方式的這樣的場景的第一示例的圖，在所述場景中，通過利用多個不同類型的圖像傳感器來提供每個用戶/家庭的偏好頻道的多媒體裝置自動地選擇偏好頻道；圖17是例示存儲有通過圖16所獲取的數(shù)據(jù)的數(shù)據(jù)庫的示例的圖；圖18是例示根據(jù)本發(fā)明的一個實施方式的這樣的場景的第二示例的圖，在所述場景中，通過利用多個不同類型的圖像傳感器來提供每個用戶/家庭的偏好頻道的多媒體裝置自動地選擇偏好頻道；圖19是例示存儲通過圖18所獲取的數(shù)據(jù)的數(shù)據(jù)庫的示例的圖；圖20是例示根據(jù)本發(fā)明的一個實施方式的這樣的場景的第三示例的圖，在所述場景中，通過利用多個不同類型的圖像傳感器來提供每個用戶/家庭的偏好頻道的多媒體裝置自動地選擇偏好頻道；圖21是例示存儲通過圖20所獲取的數(shù)據(jù)的數(shù)據(jù)庫的示例的圖；圖22至圖M是例示根據(jù)本發(fā)明的一個實施方式的利用多個不同類型的圖像傳感器來提供每個用戶/家庭的偏好頻道的多媒體裝置向偏好頻道進(jìn)行自動切換處理的第一示例的圖；圖25至圖27是例示根據(jù)本發(fā)明的一個實施方式的利用多個不同類型的圖像傳感器來提供每個用戶/家庭的偏好頻道的多媒體裝置向偏好頻道進(jìn)行自動切換處理的第二示例的圖觀至圖30是例示根據(jù)本發(fā)明的一個實施方式的利用多個不同類型的圖像傳感器來提供每個用戶/家庭的偏好頻道的多媒體裝置向偏好頻道進(jìn)行自動切換處理的第三示例的圖；圖31是例示根據(jù)本發(fā)明的一個實施方式的利用多個不同類型的圖像傳感器來提供每個用戶/家庭的偏好頻道的方法的流程圖；圖32是根據(jù)本發(fā)明的一個實施方式更具體地例示圖31所示的步驟S2810的流程圖；圖33是例示根據(jù)本發(fā)明的另一實施方式的利用多個不同類型的圖像傳感器來自動地存儲每個用戶的偏好廣播節(jié)目的多媒體裝置的具體的模塊的圖；圖34至圖36是例示根據(jù)本發(fā)明的另一實施方式的當(dāng)觀看廣播節(jié)目的單個觀眾在暫時離開位置之后回到原始位置時在多媒體裝置中自動地存儲廣播節(jié)目的過程的圖；圖37至圖40是例示根據(jù)本發(fā)明的另一實施方式的當(dāng)觀看廣播節(jié)目的多個觀眾中的一些觀眾在暫時離開位置之后回到原始位置時在多媒體裝置中自動地存儲廣播節(jié)目的過程的圖；圖41和圖42是例示當(dāng)多個觀眾觀看廣播節(jié)目時、根據(jù)本發(fā)明的另一實施方式在多媒體裝置中自動地存儲并處理偏好頻道廣播節(jié)目的過程的圖；圖43至圖45是例示根據(jù)本發(fā)明的另一實施方式自動地選擇偏好頻道的方法的圖；圖46至圖48是例示根據(jù)本發(fā)明的再一實施方式自動地選擇偏好頻道的方法的圖；圖49是例示根據(jù)本發(fā)明的另一實施方式的通過利用多個不同類型的圖像傳感器來自動地存儲并處理特定的廣播節(jié)目的過程的流程圖；圖50是根據(jù)本發(fā)明的另一實施方式更具體地例示圖49所例示的步驟的流程圖；圖51是每個裝置的例示根據(jù)本發(fā)明的另一實施方式的通過利用多個不同類型的圖像傳感器來自動地存儲并處理特定的廣播節(jié)目的處理的流程圖；圖52是根據(jù)本發(fā)明的另一實施方式更具體地例示圖51所示的步驟S3050的流程圖；以及圖53是根據(jù)本發(fā)明的再一實施方式更具體地例示圖51所示的步驟S3050的流程圖。
具體實施例方式圖1是例示包括根據(jù)本發(fā)明的一個實施方式的多媒體裝置的整個系統(tǒng)的示例的簡圖。雖然圖1的多媒體裝置可以對應(yīng)于例如連接的TV，但是應(yīng)理解的是，本發(fā)明的范圍不限于連接的TV，并且應(yīng)該主要由權(quán)利要求來進(jìn)行限定。如圖1所例示的，根據(jù)本發(fā)明的一個實施方式包括多媒體裝置的整個系統(tǒng)包括內(nèi)容提供方(CP) 10、服務(wù)提供方(SP) 20、網(wǎng)絡(luò)提供方(NP) 30和家庭網(wǎng)絡(luò)終端用戶(HNED)40。 HNED 40對應(yīng)于例如客戶端100，客戶端100是根據(jù)本發(fā)明的實施方式的多媒體裝置。內(nèi)容提供方10制造各種內(nèi)容并提供這些內(nèi)容。如圖1所例示的，內(nèi)容提供方10的示例包括陸地廣播公司、有線系統(tǒng)運營商(SO)、多系統(tǒng)運營商(MSO)、衛(wèi)星廣播公司和互聯(lián)網(wǎng)廣播公司。而且，內(nèi)容提供方10除了提供廣播內(nèi)容以外，還可以提供各種應(yīng)用。服務(wù)傳送方20可以通過對由內(nèi)容提供方10所提供的內(nèi)容進(jìn)行業(yè)務(wù)封裝來提供內(nèi)容。例如，圖1的服務(wù)傳送方20可以封裝第一陸地廣播、第二陸地廣播、有線MS0、衛(wèi)星廣播、各種類型的因特網(wǎng)廣播、應(yīng)用等，并且將封裝好的內(nèi)容提供至用戶。網(wǎng)絡(luò)提供方30可以提供用于向客戶端100提供服務(wù)的網(wǎng)絡(luò)?？蛻舳?00可以構(gòu)造家庭網(wǎng)絡(luò)終端用戶(HNED)來接收服務(wù)。同時，客戶端100可以通過網(wǎng)絡(luò)提供內(nèi)容。在這種情況下，客戶端100可以是與上面相反的內(nèi)容提供方。內(nèi)容提供方10可以從客戶端100接收內(nèi)容。在這種情況下，其有利之處在于雙向內(nèi)容服務(wù)或者數(shù)據(jù)業(yè)務(wù)是可用的。圖2是例示圖1所例示的多媒體裝置的示例的詳圖。根據(jù)本發(fā)明的一個實施方式的多媒體裝置包括網(wǎng)絡(luò)接口 201、TCP/IP管理器202、 服務(wù)傳送管理器203、解復(fù)用器(Demux) 205、PSI&(PSIP和/或Si)解碼器204、音頻解碼器206、視頻解碼器207、顯示器A/V和OSD模塊208、服務(wù)控制管理器209、服務(wù)發(fā)現(xiàn)管理器 210、元數(shù)據(jù)管理器212、SI&元數(shù)據(jù)DB 211、UI管理器214和服務(wù)管理器213。然而，多個不同類型的圖像傳感器260通過例如USB模式的連接模式與多媒體裝置200連接。而且， 盡管在圖2中將多個不同類型的圖像傳感器260設(shè)計為分開的模塊，但是可以將多個不同類型的圖像傳感器260設(shè)計為容納在多媒體裝置200中的這種形式。網(wǎng)絡(luò)接口 201從網(wǎng)絡(luò)接收分組，并且將分組傳送至網(wǎng)絡(luò)。換言之，網(wǎng)絡(luò)接口 201通過網(wǎng)絡(luò)從服務(wù)傳送方接收服務(wù)、內(nèi)容等。TCP/IP管理器202涉及在多媒體裝置200中所接收的分組和從多媒體裝置200 所傳送的分組，即，從源傳送至目的地的分組。服務(wù)傳送管理器203扮演控制所接收的服務(wù)數(shù)據(jù)的角色。例如，如果服務(wù)傳送管理器203控制實時流式數(shù)據(jù)，則它可以使用RTP/RTCP。 如果服務(wù)傳送管理器203通過RTP傳送實時流式數(shù)據(jù)，則它根據(jù)RTP對接收的分組進(jìn)行解析，并且將解析后的分組傳送至解復(fù)用器205，或者在服務(wù)管理器213的控制下將解析后的分組存儲在SI&元數(shù)據(jù)DB 211中。服務(wù)傳送管理器203將所接收的信息反饋至通過利用 RTCP來提供服務(wù)的服務(wù)器。解復(fù)用器205將所接收的分組解復(fù)用為音頻、視頻和PSI (節(jié)目特定信息)數(shù)據(jù)， 然后將解復(fù)用的數(shù)據(jù)分別傳送至音頻解碼器206、視頻解碼器207和PSI&(PSIP和/或Si) 解碼器204。PSI&(PSIP和/或Si)解碼器204接收并解碼由解復(fù)用器205所解復(fù)用的PSI段、 PSIP (程序和服務(wù)信息協(xié)議)段或SI (服務(wù)信息)段。而且，PSI&(PSIP和/或Si)解碼器204解碼所接收的段以針對服務(wù)信息建立數(shù)據(jù)庫，并且將針對服務(wù)信息的數(shù)據(jù)庫存儲在SI&元數(shù)據(jù)DB 211中。音頻解碼器206和視頻解碼器207對從解復(fù)用器205接收的視頻數(shù)據(jù)和音頻數(shù)據(jù)進(jìn)行解碼。UI管理器214通過利用在屏顯示(OSD :on screen display)等針對用戶提供圖形用戶界面(GUI)，并且基于來自用戶的按鍵輸入來執(zhí)行接收操作。例如，如果從用戶輸入了針對頻道選擇的按鍵輸入信號，則UI管理器214將按鍵輸入信號傳送至服務(wù)管理器213。
服務(wù)管理器213控制與服務(wù)相關(guān)的管理器，例如，服務(wù)傳送管理器203、服務(wù)發(fā)現(xiàn)管理器210、服務(wù)控制管理器209、和元數(shù)據(jù)管理器212。而且，服務(wù)管理器213制作頻道映射表，并且通過利用該頻道映射表根據(jù)從UI管理器214所接收的按鍵輸入信號來選擇頻道。服務(wù)發(fā)現(xiàn)管理器210提供選擇提供服務(wù)的服務(wù)傳送方所需的信息。如果從服務(wù)管理器213接收到與頻道選擇相關(guān)的信號，則服務(wù)發(fā)現(xiàn)管理器210通過利用所接收的信息來發(fā)現(xiàn)對應(yīng)的服務(wù)。服務(wù)控制管理器209扮演選擇并控制服務(wù)的角色。例如，如果用戶選擇類似于現(xiàn)有的廣播方式的現(xiàn)場直播服務(wù)，則服務(wù)控制管理器209使用IGMP或者RTSP。如果用戶選擇視頻點播(VOD)服務(wù)，則服務(wù)控制管理器209通過利用RTSP選擇并控制服務(wù)。元數(shù)據(jù)管理器212管理與服務(wù)相關(guān)的元數(shù)據(jù)，并且將元數(shù)據(jù)存儲在SI&元數(shù)據(jù)DB 211中。SI&元數(shù)據(jù)DB 211存儲由PSI&(PSIP和/或Si)解碼器204所解碼的服務(wù)信息、 由元數(shù)據(jù)管理器212所管理的元數(shù)據(jù)以及選擇由服務(wù)發(fā)現(xiàn)管理器210所提供的服務(wù)傳送方所需的信息。而且，SI&元數(shù)據(jù)DB 211可以存儲針對系統(tǒng)的設(shè)置數(shù)據(jù)。同時，IG250是網(wǎng)關(guān)，在該網(wǎng)關(guān)收集訪問基于IMS的IPTV所需的功能。在圖2中所例示的多個不同類型的圖像傳感器260被設(shè)計為拍攝位于多媒體裝置 200周圍的人或物體的單個圖像或多個圖像。更具體地說，如稍后更具體地描述的，多個不同類型的圖像傳感器260被設(shè)計為在選定的時間或僅在特定的條件下連續(xù)地、周期地對單個圖像或多個圖像進(jìn)行操作。圖3是例示根據(jù)本發(fā)明的一個實施方式的基于多個不同類型的圖像傳感器的多媒體裝置和照相機所拍攝的畫面的圖。以下，將參照圖3來描述基于根據(jù)本發(fā)明的實施方式的多個不同類型的圖像傳感器的多媒體裝置和照相機所拍攝的畫面。通常，與深度數(shù)據(jù)處理相關(guān)的第一圖像傳感器包括由于有限的分辨率(例如，最大為VGA級別)和識別距離(例如，3. 5米)而不適于進(jìn)行長距離臉部識別的場。而且，與顏色數(shù)據(jù)處理相關(guān)的第二圖像傳感器的缺點在于它們的識別速度慢并且對于光線條件不魯棒(robust)。因此，為了解決圖像傳感器的缺點，根據(jù)本發(fā)明的一個實施方式將多媒體裝置設(shè)計為與混合型圖像傳感器交互，其中，混合型圖像傳感器是第一圖像傳感器和第二圖像傳感器的混合類型。將頂照相機或深度照相機用作第一圖像傳感器。更具體地說，已經(jīng)討論了渡越時間(T0F:time of flight)型頂照相機或者深度照相機以及結(jié)構(gòu)化光型頂照相機或者深度照相機。TOFS頂照相機或深度照相機通過利用由發(fā)射紅外線所導(dǎo)致的時間差來計算距離信息。結(jié)構(gòu)化光型頂照相機或者深度照相機通過將紅外線發(fā)射至特定的圖案并分析修改的圖案來計算距離信息。第一圖像傳感器在深度數(shù)據(jù)識別和處理速度方面是有利的，并且即使在暗處也能容易地感測物體、人等。然而，第一圖像傳感器的缺點在于它在長距離處的分辨率低。此外，將彩色照相機或者RGB照相機用作第二圖像傳感器。更具體地說，討論了立體照相機型彩色照相機或RGB照相機以及單一照相機型彩色照相機或RGB照相機。立體照相機型彩色照相機或RGB照相機根據(jù)通過兩個照相機拍攝的圖像時間比較信息來檢測并追蹤手或臉。單一照相機型彩色照相機或RGB照相機根據(jù)通過一個照相機拍攝的形狀和顏色信息來檢測并追蹤手或臉。與第一圖像傳感器相比，第二圖像傳感器的優(yōu)點在于它具有更加改進(jìn)的分辨率，然而，第二圖像傳感器的缺點在于它易受周圍光線的影響并且在暗處很難識別對應(yīng)的物體。更具體地說，第二圖像傳感器的缺點在于它很難識別精確的深度。如圖3所示，為了解決上述問題，根據(jù)本發(fā)明的一個實施方式的多媒體裝置被設(shè)計為具有第一圖像傳感器和第二圖像傳感器兩者?？梢詫D像傳感器設(shè)計為嵌入在多媒體裝置中，或者可以設(shè)計為單獨的硬件模塊。首先，如在圖3的(b)中所例示的，第一圖像傳感器拍攝包括位于多媒體裝置周圍的用戶的圖像。在圖3的(1)“2)、(3)和⑷中以預(yù)期的順序例示了具體的拍攝圖像。同時，如果完成了如圖3的(a)所示的第一圖像傳感器的圖像拍攝和數(shù)據(jù)分析，則第二圖像傳感器拍攝特定用戶的臉部圖像。在圖3的(5)、(6)和(7)中以預(yù)期的順序例示了具體的拍攝圖像。根據(jù)本發(fā)明的一個實施方式的多個不同類型的圖像傳感器的第一圖像傳感器位于多媒體裝置周圍，并且從所拍攝的第一圖像提取深度信息。如圖3的(1)中所例示的，將第一圖像傳感器設(shè)計為根據(jù)距離以不同的對比度顯示每個對象的場。此外，第一圖像傳感器可以通過利用所提取的深度數(shù)據(jù)來識別至少一個用戶的臉。換言之，第一圖像傳感器如圖3的O)中所例示的通過利用數(shù)據(jù)庫等來提取用戶的身體信息(例如，臉、手、腳、關(guān)節(jié)等)，并且如圖3的(3)中所例示的，獲取特定用戶的臉的位置坐標(biāo)和距離信息。更具體地說，將第一圖像傳感器設(shè)計為計算作為用戶的臉的位置信息的值x、y和z，其中，χ表示臉在所拍攝的第一圖像中的水平軸上的位置，y表示臉在所拍攝的第一圖像中的垂直軸上的位置，并且ζ表示用戶的臉和第一圖像傳感器之間的距離。而且，在根據(jù)本發(fā)明的一個實施方式的多個不同類型的圖像傳感器中，用于提取彩色圖像的第二圖像傳感器拍攝識別的用戶的臉的第二圖像，并且在圖3的(5)中例示了該第二圖像。同時，如果將在圖3中所例示的第一圖像傳感器和第二圖像傳感器設(shè)計為彼此連接，則可以忽略由于物理位置的差異導(dǎo)致的誤差。然而，根據(jù)本發(fā)明的另一實施方式，將第二圖像傳感器設(shè)計為通過利用關(guān)于物理位置的差異的信息來針對由第一圖像傳感器獲取的坐標(biāo)信息和距離信息進(jìn)行補償，并且通過利用補償后的坐標(biāo)信息或者距離信息來拍攝用戶。而且，如果將第一圖像傳感器和第二圖像傳感器設(shè)計為與地面平行地進(jìn)行布置，則可以根據(jù)水平幀來設(shè)置關(guān)于物理位置的差異的信息。如圖3的(7)中所例示的，第二圖像傳感器從所拍攝的第二圖像提取特征信息。特征信息是與特定部位(例如，嘴、鼻子、眼睛等) 相對應(yīng)的、用于識別使用多媒體裝置的多個用戶的數(shù)據(jù)。此外，第二圖像傳感器可以根據(jù)通過第一圖像傳感器的圖像拍攝所獲得的坐標(biāo)值(值x、y和ζ)、在與用戶的臉相對應(yīng)的區(qū)域中進(jìn)行放大。這表示過程從圖3的(5)轉(zhuǎn)換至圖3的(6)。如果全部執(zhí)行了第一圖像傳感器和第二圖像傳感器的圖像拍攝和分析，則根據(jù)本發(fā)明的一個實施方式的多媒體裝置訪問存儲有與所提取的特征信息相對應(yīng)的數(shù)據(jù)的存儲器，并且提取存儲在存儲器中的、用于識別特定用戶的信息。如果用于識別特定用戶的信息存在于存儲器中，則多媒體裝置提供針對特定的用戶預(yù)先設(shè)置的服務(wù)。另一方面，如果用于識別特定用戶的信息不存在于存儲器中，則多媒體裝置被設(shè)計為顯示用于將所識別的用戶信息存儲在存儲器中的引導(dǎo)消息。
如果所述，根據(jù)本發(fā)明的一個實施方式，將第一圖像傳感器設(shè)計為檢測用戶位置信息或關(guān)于用戶的臉部的坐標(biāo)信息，同時將第二圖像傳感器設(shè)計為通過利用由第一圖像傳感器所獲取的數(shù)據(jù)來識別臉部。此外，根據(jù)本發(fā)明的另一實施方式，將第二圖像傳感器設(shè)計為僅在特定的條件下工作。例如，如果通過第一圖像傳感器的操作所獲取的、用戶和第一圖像傳感器之間的距離信息小于第一參考值，或者如果通過第一圖像傳感器的操作所獲取的用戶的臉的識別率大于第二參考值，則僅通過第一圖像傳感器來檢測并識別位于多媒體裝置周圍的用戶的臉部。另一方面，通過第一圖像傳感器的操作所獲取的距離信息超過第一參考值，或者如果通過第一圖像傳感器的操作所獲取的用戶的臉的識別率小于第二參考值，則附加地使用第二圖像傳感器來識別用戶的臉部。根據(jù)本發(fā)明的另一實施方式，將第二圖像傳感器設(shè)計為通過利用由第一圖像傳感器在識別用戶臉部的過程中所獲取的距離信息來執(zhí)行放大，并且僅通過利用由第一圖像傳感器所獲取的臉部坐標(biāo)信息來拍攝臉部。因此，如上所述使用了不同類型的不同類型的圖像傳感器，其優(yōu)點在于能夠進(jìn)行長距離臉部識別，并且數(shù)據(jù)處理速度與相關(guān)技術(shù)相比得到了提高。圖4是例示根據(jù)本發(fā)明的一個實施方式利用在多個不同類型的圖像傳感器中的檢測數(shù)據(jù)和識別數(shù)據(jù)的過程以及多媒體裝置的圖。通過不同于臉部識別的處理來執(zhí)行臉部檢測。臉部檢測包括檢測一個圖像內(nèi)的臉區(qū)的處理，而臉部識別是識別所檢測的臉部是否與哪個特定用戶的臉部相對應(yīng)的處理。具體地說，將參照圖4來描述根據(jù)本發(fā)明的一個實施方式的通過利用第一圖像傳感器來執(zhí)行臉部檢測的過程以及通過利用第二圖像傳感器來執(zhí)行臉部識別的過程。如圖4所示，根據(jù)本發(fā)明的一個實施方式的多媒體裝置包括檢測模塊301、識別模塊302、數(shù)據(jù)庫(DB) 303、第一圖像傳感器304和第二圖像傳感器305。如果必要，多媒體裝置利用檢測數(shù)據(jù)306和識別數(shù)據(jù)307。例如，可以根據(jù)基于認(rèn)知的檢測技術(shù)、基于特征的檢測技術(shù)、模板匹配技術(shù)和基于外觀的檢測技術(shù)來生成檢測數(shù)據(jù)306。而且，識別數(shù)據(jù)307例如包括用于識別特定的用戶的數(shù)據(jù)，例如，眼睛、鼻子、嘴、下巴、區(qū)域、距離、形狀和角度。此外，檢測模塊301通過利用從第一圖像傳感器304接收的圖像數(shù)據(jù)來確定用戶的臉的出現(xiàn)。而且，在對用戶的臉?biāo)挥诘膮^(qū)域進(jìn)行估計的過程中，使用與上述基于認(rèn)知的檢測技術(shù)、基于特征的檢測技術(shù)、模板匹配技術(shù)和基于外觀的檢測技術(shù)相關(guān)的數(shù)據(jù)。識別模塊302通過利用從第二圖像傳感器305接收的圖像數(shù)據(jù)來確定所識別的用戶是否是特定的用戶。此時，識別模塊302將所接收的圖像數(shù)據(jù)與基于上述識別數(shù)據(jù)307 存儲在DB 303中的臉部矢量信息進(jìn)行比較。這將參照圖5進(jìn)行更具體的描述。圖5是例示存儲在圖4所例示的數(shù)據(jù)庫中的臉部矢量的圖。如圖5所示，將根據(jù)本發(fā)明的一個實施方式使用多媒體裝置的用戶的臉部矢量存儲在數(shù)據(jù)庫中。臉部矢量(例如是出現(xiàn)在用戶的臉上的特征信息的數(shù)據(jù)集合)用于識別各個特定的用戶。圖6是例示本發(fā)明的一個實施方式的與多媒體裝置交互的多個不同類型的圖像傳感器根據(jù)硬件場和軟件場的操作的圖。如圖6所示，將根據(jù)對從圖像傳感器所接收的數(shù)據(jù)進(jìn)行處理的圖像傳感器的硬件場360和多媒體裝置的軟件場350對通過由多個不同類型的圖像傳感器輸入的圖像所執(zhí)行的多媒體裝置的操作進(jìn)行描述。雖然在圖6中將硬件場360例示為單獨的模塊，但是它可以嵌入在對軟件場350 進(jìn)行處理的多媒體裝置中。首先，硬件場360包括數(shù)據(jù)收集場340和固件場330。數(shù)據(jù)收集場340從圖像傳感器接收由多媒體裝置所識別的原始數(shù)據(jù)，并且數(shù)據(jù)收集場340包括頂投光器、深度圖像傳感器、彩色圖像傳感器(RGB圖像傳感器)、麥克風(fēng)和照相機芯片。而且，固件場330用于連接硬件場和軟件場。而且，固件場330可以用作特定應(yīng)用的主應(yīng)用，并且執(zhí)行下采樣(downsampling)和鏡像(mirroring)。因此，數(shù)據(jù)收集場340和固件場330彼此進(jìn)行交互。數(shù)據(jù)收集場340和固件場330 可以通過它們的交互來控制硬件場360。而且，可以通過照相機芯片來驅(qū)動固件場。而且，軟件場350包括應(yīng)用程序接口(API)場320和中間件場310?？梢酝ㄟ^多媒體裝置的控制器來實現(xiàn)API場320。而且，如果將照相機模塊配置為與多媒體裝置分離的外部裝置，則API場可以通過個人計算機、游戲機、機頂盒等來實現(xiàn)。而且，API場320可以是允許多媒體裝置驅(qū)動硬件場的傳感器的簡單的API。中間件場310是識別算法場，并且可以包括深度處理中間件。而且，即使用戶通過他(她)的手或他(她)的整個身體輸入姿態(tài)，中間件場也能夠連同明確的用戶控制API 一起提供應(yīng)用。此外，中間件場可以包括這樣的算法，該算法執(zhí)行用于搜索用戶的手的位置的運算、用于追蹤用戶的位置的運算、用于提取用戶的骨架特征的運算以及用于從輸入圖像分別識別用戶和背景的運算?？梢酝ㄟ^利用從硬件場獲得的深度信息、顏色信息、頂信息和音頻信息來運算該算法。圖7是例示根據(jù)本發(fā)明的一個實施方式的多個不同類型的圖像傳感器和多媒體裝置的圖。以下，將參照圖7來描述根據(jù)本發(fā)明的一個實施方式的多個不同類型的圖像傳感器和多媒體裝置。雖然在圖7中分開例示了根據(jù)本發(fā)明的一個實施方式的多個不同類型的圖像傳感器和多媒體裝置，但是可以將多個照相機設(shè)計為嵌入在多媒體裝置中的形式。如圖7所示，根據(jù)本發(fā)明的一個實施方式的多媒體裝置400被設(shè)計為包括例如中央處理單元(CPU) 401和圖形處理單元404的模塊，其中，CPU 401包括應(yīng)用402和臉部識別處理模塊403。同時，根據(jù)本發(fā)明的一個實施方式的多個不同類型的圖像傳感器420被設(shè)計為包括例如專用集成電路(ASIC) 421、發(fā)射器422、第一圖像傳感器423和第二圖像傳感器4M的模塊。多媒體裝置400通過有線或無線的接口 410與多個不同類型的圖像傳感器420相連接。例如，通用串行總線(USB)接口可以用作有線或無線的接口 410。應(yīng)理解的是，圖7的模塊僅是示例性的，并且應(yīng)當(dāng)主要通過權(quán)利要求來限定本發(fā)明的范圍。發(fā)射器422向位于多媒體裝置400的周圍的至少一個用戶發(fā)光。第一圖像傳感器 423通過利用所發(fā)射的光來拍攝第一圖像，從所拍攝的第一圖像提取深度數(shù)據(jù)，并且通過利用所提取的深度數(shù)據(jù)來檢測至少一個用戶的臉部。而且，第二圖像傳感器似4在所檢測的用戶的臉上拍攝第二圖像，并且從所拍攝的第二圖像提取特征信息。將所提取的特征信息通過接口 410傳送至多媒體裝置的臉部識別處理模塊403。 雖然在圖7中未示出，但是臉部識別處理模塊403被設(shè)計為包括接收器、存儲器、提取器和
14控制器。臉部識別處理模塊403的接收器接收通過多個不同類型的圖像傳感器420和接口 410所傳送的特征信息。此外，臉部識別處理模塊403的存儲器存儲關(guān)于至少一個用戶的特征信息以及與特征信息相對應(yīng)的ID。相應(yīng)地，臉部識別處理模塊403的提取器從存儲器提取與所接收的特征信息相對應(yīng)的ID，并且臉部識別處理模塊403的控制器被設(shè)計為自動地執(zhí)行與ID相對應(yīng)的之前設(shè)置的功能。同時，如果臉部識別處理模塊被設(shè)計為通過如圖7所示的多媒體裝置的CPU來執(zhí)行，有利于降低照相機的設(shè)計成本，并且考慮到可擴(kuò)展性(例如，各種臉部的識別和功能的增加)也是有利的。圖8是例示根據(jù)本發(fā)明的另一實施方式的多個不同類型的圖像傳感器和多媒體裝置的圖。以下，將參照圖8來描述根據(jù)本發(fā)明的另一實施方式的多個不同類型的圖像傳感器和多媒體裝置。雖然在圖8中分開例示了根據(jù)本發(fā)明的一個實施方式的多個不同類型的圖像傳感器和多媒體裝置，但是可以將多個照相機設(shè)計為嵌入在多媒體裝置中的形式。如圖8所示，根據(jù)本發(fā)明的一個實施方式的多媒體裝置500被設(shè)計為例如包括中央處理單元(CPU) 501和圖形處理單元503的模塊，其中，CPU 501包括應(yīng)用502。同時，根據(jù)本發(fā)明的一個實施方式的多個不同類型的圖像傳感器520被設(shè)計為例如包括臉部識別處理模塊521、專用集成電路(ASIC) 522、發(fā)射器523、第一圖像傳感器5M和第二圖像傳感器525的模塊。多媒體裝置500通過有線或無線的接口 510與多個不同類型的圖像傳感器 520相連接。例如，通用串行總線(USB)接口可以用作有線或無線的接口 510。應(yīng)理解的是， 圖8的模塊僅是示例性的，并且應(yīng)當(dāng)主要通過權(quán)利要求來限定本發(fā)明的范圍。圖8與圖7的不同之處在于，將臉部識別模塊521內(nèi)置在多個不同類型的圖像傳感器520中。這里省略了其他重復(fù)描述。同時，如圖8所示，如果臉部識別處理模塊被設(shè)計為通過多個不同類型的圖像傳感器520來執(zhí)行，則可以通過單獨的平臺來設(shè)計各種類型的照相機。圖9是例示根據(jù)本發(fā)明的一個實施方式的多個不同類型的圖像傳感器的詳圖。以下，將參照圖9來描述根據(jù)本發(fā)明的一個實施方式的多個不同類型的圖像傳感器。如圖9所示，根據(jù)本發(fā)明的一個實施方式的多個不同類型的圖像傳感器包括第一圖像傳感器組610、第二圖像傳感器620、控制器630、存儲器640和接口 650，并且被設(shè)計為在控制器630的控制下從麥克風(fēng)670和外部音頻源660接收音頻數(shù)據(jù)。例如，存儲器640可以被設(shè)計為閃速存儲器。接口 650被設(shè)計為USB接口并與外部多媒體裝置相連接。同時，第一圖像傳感器組610包括發(fā)射器680和第一圖像傳感器690。 例如，可以將發(fā)射器設(shè)計為紅外(IR)發(fā)射器。此外，發(fā)射器680的投光器682照射鏡頭681，以在控制器630的控制下向位于多媒體裝置周圍的至少一個用戶發(fā)光。而且，在控制器630的控制下，第一圖像傳感器690通過利用由鏡頭691所接收的光來拍攝第一圖像，從所拍攝的第一圖像提取深度數(shù)據(jù)，并且將所提取的數(shù)據(jù)傳送至控制器 630?？刂破?30通過利用所傳送的深度數(shù)據(jù)來檢測至少一個用戶的臉部，并且控制第二圖像傳感器620。第二圖像傳感器620在控制器630的控制下拍攝通過鏡頭621所施加的關(guān)于所檢測的用戶的臉部的第二圖像。此外，第二圖像傳感器620將從拍攝的第二圖像所提取的特征信息傳送至控制器630。將控制器630設(shè)計為通過利用接口 650將所提取的特征信息傳送至多媒體裝置。 相應(yīng)地，已經(jīng)接收到特征信息的多媒體裝置可以迅速地確定存儲在DB中的哪一個用戶與所拍攝的圖像相對應(yīng)。圖10是例示根據(jù)本發(fā)明的一個實施方式的多個不同類型的圖像傳感器的第一圖像傳感器的示例的圖。以下，將參照圖10來描述根據(jù)本發(fā)明的一個實施方式的多個不同類型的圖像傳感器的第一圖像傳感器的示例。在圖10中所例示的頂源710可以對應(yīng)于圖9 的發(fā)射器680，并且在圖10中所例示的深度圖像處理器720可以對應(yīng)于圖9的第一圖像傳感器690。因此，圖9和圖10的描述可以互補地應(yīng)用至該實施方式。而且，可以根據(jù)上述的結(jié)構(gòu)化光類型來設(shè)計圖10中所示的照相機。如圖10所示，將頂源710設(shè)計為向目標(biāo)用戶730連續(xù)地發(fā)射編碼的圖案圖像。 深度圖像處理器720通過利用被目標(biāo)用戶730扭曲的初始圖案圖像的信息來估計用戶的位置。圖11是例示根據(jù)本發(fā)明的一個實施方式的多個不同類型的圖像傳感器的第一圖像傳感器的另一示例的圖。以下，將參照圖11來描述根據(jù)本發(fā)明的一個實施方式的多個不同類型的圖像傳感器的第一圖像傳感器的另一示例。在圖11中所例示的LED810可以對應(yīng)于圖9的發(fā)射器680，并且在圖11中所例示的深度圖像處理器820可以對應(yīng)于圖9的第一圖像傳感器。因此，圖9和圖11的描述可以互補地應(yīng)用至該實施方式。而且，可以根據(jù)上述的TOF類型來設(shè)計圖11中所示的照相機。如圖11所示，由LED 810所發(fā)射的光被傳送至目標(biāo)用戶830。由目標(biāo)用戶830所反射的光被傳送至深度圖像處理器820。與圖10不同，在圖11中所例示的模塊通過利用關(guān)于時間差的信息來計算目標(biāo)用戶830的位置。將參照圖12對此進(jìn)行詳細(xì)的描述。圖12是例示通過利用圖11所示的第一圖像傳感器來計算距離的方法的圖。以下， 將參照圖12來描述通過利用圖11所示的第一圖像傳感器來計算距離的方法。如圖12的左圖所例示的，t值是到達(dá)時間，可以通過發(fā)射的光和反射的光之間的時間差來獲得t值。而且，如圖12的右側(cè)的等式所例示的，通過將光速和t值相乘來計算LED 810和目標(biāo)用戶830之間的距離以及目標(biāo)用戶830和深度圖像處理器820之間的距離。因此，LED 810和目標(biāo)用戶830之間的距離或者深度圖像處理器820和目標(biāo)用戶830之間的距離被估計為IAL圖13是例示由根據(jù)本發(fā)明的一個實施方式的多個不同類型的圖像傳感器的第一圖像傳感器所拍攝的圖像的圖。以下，將參照圖13來描述由根據(jù)本發(fā)明的一個實施方式的多個不同類型的圖像傳感器的第一圖像傳感器所拍攝的具體的圖像。如圖13所示，由第一圖像傳感器所拍攝的圖像并不體現(xiàn)例如RGB的顏色信息。然而，由第一圖像傳感器所拍攝的圖像的優(yōu)點在于，通過根據(jù)距離的差異對比度可以快速地確定單個對象的大致位置。
例如，如圖13所示，由最暗的對比度來表示最遠(yuǎn)的門廳通道，指出門廳通道距離第一圖像傳感器IOm范圍的距離。此外，通過中間色調(diào)的對比度來表示位于中間距離水平的墻壁，并且指出墻壁距離第一圖像傳感器5m范圍的距離。通過最亮的色調(diào)的對比度來表示位于相對地最近的距離的TV觀眾，并且指出TV觀眾距離第一圖像傳感器細(xì)范圍的距
1 O圖14是例示由根據(jù)本發(fā)明的一個實施方式的多個不同類型的圖像傳感器的第二圖像傳感器所拍攝的圖像的圖。以下，將參照圖14來描述由根據(jù)本發(fā)明的一個實施方式的多個不同類型的圖像傳感器的第二圖像傳感器所拍攝的具體的圖像。與第一圖像傳感器不同，由于第二圖像傳感器使用明亮的RGB顏色，其優(yōu)點在于可以容易地識別用戶的臉部的主要要素。具體地，如圖14所示，以這樣的方式來設(shè)計第二圖像傳感器，即，對用于識別人的眼睛、鼻子和嘴的邊緣的數(shù)據(jù)進(jìn)行處理，以用作針對臉部識別的特征信息。雖然在圖14中例示了眼睛、鼻子和嘴，但是也可以使用其它的臉部要素， 例如耳朵、前額、頭發(fā)顏色、皺紋、皮膚顏色、臉型和臉的大小。圖15是例示根據(jù)本發(fā)明的一個實施方式的通過利用多個不同類型的圖像傳感器來提供每個用戶/家庭的偏好頻道的多媒體裝置的具體的模塊的圖；圖16是例示根據(jù)本發(fā)明的一個實施方式的這樣的場景的第一示例的圖，在所述場景中，通過利用多個不同類型的圖像傳感器來提供每個用戶/家庭的偏好頻道的多媒體裝置自動地選擇偏好頻道；圖17是例示存儲通過圖16所獲取的數(shù)據(jù)的數(shù)據(jù)庫的示例的圖；圖18是例示根據(jù)本發(fā)明的一個實施方式的這樣的場景的第二示例的圖，在所述場景中，通過利用多個不同類型的圖像傳感器來提供每個用戶/家庭的偏好頻道的多媒體裝置自動地選擇偏好頻道；圖19是例示存儲通過圖18所獲取的數(shù)據(jù)的數(shù)據(jù)庫的示例的圖；圖20是例示根據(jù)本發(fā)明的一個實施方式的這樣的場景的第三示例的圖，在所述場景中，通過利用多個不同類型的圖像傳感器來提供每個用戶/家庭的偏好頻道的多媒體裝置自動地選擇偏好頻道；圖21是例示存儲通過圖20所獲取的數(shù)據(jù)的數(shù)據(jù)庫的示例的圖；圖22至圖M是例示根據(jù)本發(fā)明的一個實施方式的利用多個不同類型的圖像傳感器來提供每個用戶/家庭的偏好頻道的多媒體裝置向偏好頻道進(jìn)行自動切換處理的第一示例的圖；圖25至圖27是例示根據(jù)本發(fā)明的一個實施方式的利用多個不同類型的圖像傳感器來提供每個用戶/家庭的偏好頻道的多媒體裝置向偏好頻道進(jìn)行自動切換處理的第二示例的圖；圖觀至圖30是例示根據(jù)本發(fā)明的一個實施方式的利用多個不同類型的圖像傳感器來提供每個用戶/家庭的偏好頻道的多媒體裝置向偏好頻道進(jìn)行自動切換處理的第三示例的圖；圖31是例示根據(jù)本發(fā)明的一個實施方式的利用多個不同類型的圖像傳感器來提供每個用戶/家庭的偏好頻道的方法的流程圖；圖32是根據(jù)本發(fā)明的一個實施方式更具體地例示圖31所示的步驟S2810的流程圖；圖33是例示根據(jù)本發(fā)明的另一實施方式的利用多個不同類型的圖像傳感器來自動地存儲每個用戶的偏好廣播節(jié)目的多媒體裝置的具體的模塊的圖；圖34至圖36是例示根據(jù)本發(fā)明的另一實施方式的當(dāng)觀看廣播節(jié)目的單個觀眾在暫時離開位置之后回到原始位置時在多媒體裝置中自動地存儲廣播節(jié)目的過程的圖；圖37至圖40是例示根據(jù)本發(fā)明的另一實施方式的當(dāng)觀看廣播節(jié)目的多個觀眾中的一些觀眾在暫時離開位置之后回到原始位置時在多媒體裝置中自動地存儲廣播節(jié)目的過程的圖；圖41和圖42是例示當(dāng)多個觀眾觀看廣播節(jié)目時、根據(jù)本發(fā)明的另一實施方式在多媒體裝置中自動地存儲并處理偏好頻道廣播節(jié)目的過程的圖；圖43至圖45是例示用于根據(jù)本發(fā)明的另一實施方式自動地選擇偏好頻道的方法的圖；圖46至圖48是例示用于根據(jù)本發(fā)明的再一實施方式自動地選擇偏好頻道的方法的圖；圖49是例示根據(jù)本發(fā)明的另一實施方式的通過利用多個不同類型的圖像傳感器來自動地存儲并處理特定的廣播節(jié)目的過程的流程圖；圖50是根據(jù)本發(fā)明的另一實施方式更具體地例示圖49所例示的步驟的流程圖；圖51是每個裝置的例示根據(jù)本發(fā)明的另一實施方式的通過利用多個不同類型的圖像傳感器來自動地存儲并處理特定的廣播節(jié)目的處理的流程圖；圖52是根據(jù)本發(fā)明的另一實施方式更具體地例示圖51所示的步驟S3050的流程圖；以及圖53是根據(jù)本發(fā)明的再一實施方式更具體地例示圖51所示的步驟S3050的流程圖。最佳實施方式圖15是例示根據(jù)本發(fā)明的一個實施方式的通過利用多個不同類型的圖像傳感器來提供每個用戶/家庭的偏好頻道的多媒體裝置的具體的模塊的圖。根據(jù)本發(fā)明的一個實施方式的多媒體裝置1210通過接口 1250與多個不同類型的圖像傳感器1240相連接。例如，接口 1250對應(yīng)于有線/無線數(shù)據(jù)發(fā)送和接收連接。更具體地，USB接口可以用作接口 1250。此外，多個不同類型的圖像傳感器1240包括例如深度照相機和彩色照相機，并且可以被設(shè)計為如圖15所例示的多媒體裝置1210的分立的外部模塊，或者可以嵌入在多媒體裝置1210中。而且，多媒體裝置1210包括廣播網(wǎng)絡(luò)接口 1211、臉部識別模塊1212、存儲器1213、 提取器1216、控制器1218、顯示模塊1219和揚聲器1220。根據(jù)本發(fā)明的另一實施方式，存儲器1213還包括第一生成器1214和第二生成器1215，并且提取器1216還包括確定模塊 1217。然而，應(yīng)理解的是，為了方便描述，圖15中所例示的多媒體裝置對應(yīng)于一個實施方式，并且應(yīng)該主要通過權(quán)利要求來限定本發(fā)明的范圍。廣播網(wǎng)絡(luò)接口 1211從廣播網(wǎng)絡(luò)1230接收廣播數(shù)據(jù)。雖然未示出，但是所接收的廣播數(shù)據(jù)的視頻數(shù)據(jù)經(jīng)過了視頻處理，然后通過顯示模塊1219輸出。此外，所接收的廣播數(shù)據(jù)的音頻數(shù)據(jù)經(jīng)過音頻處理，然后通過揚聲器1220輸出。臉部識別模塊1212通過利用在用于提取深度數(shù)據(jù)的第一圖像傳感器和用于提取彩色數(shù)據(jù)的第二圖像傳感器的控制下所生成的信息來識別一個或更多個用戶。第一圖像傳感器與在圖15中所例示的多個不同類型的圖像傳感器1240的深度照相機相對應(yīng)，并且第二圖像傳感器與在圖15中所例示的多個不同類型的圖像傳感器1240的彩色照相機或者 RGB照相機相對應(yīng)。存儲器1213存儲每個用戶的偏好頻道，并且根據(jù)自動臉部識別結(jié)果來構(gòu)建每個用戶或家庭的數(shù)據(jù)庫。提取器1216訪問存儲器1213并提取與由臉部識別模塊1212所識別的一個或更多個用戶相對應(yīng)的偏好頻道的信息。將顯示模塊1219設(shè)計為顯示引導(dǎo)消息，該引導(dǎo)消息指示上述偏好頻道。此外，如果施加了用于選擇以上偏好頻道的信號，則控制器1218控制廣播網(wǎng)絡(luò)接口 1211以執(zhí)行向偏好頻道的切換。同時，臉部識別模塊1212從通過第一圖像傳感器所拍攝的第一圖像檢測并識別一個或更多個用戶的臉，并且提取用戶的臉的深度數(shù)據(jù)。而且，臉部識別模塊1212允許第二圖像傳感器通過利用所提取的深度數(shù)據(jù)來拍攝所識別的用戶的臉的第二圖像。而且，臉部識別模塊1212從通過第一圖像傳感器所拍攝的第二圖像提取所識別的用戶的臉的特征信息，并且通過訪問存儲有與所提取的特征信息相對應(yīng)的數(shù)據(jù)的存儲器來識別特定的用戶。此外，深度數(shù)據(jù)對應(yīng)于關(guān)于圖像傳感器和用戶之間的距離的信息或者定位用戶的臉的坐標(biāo)信息。根據(jù)本發(fā)明的另一實施方式，將提取器1216設(shè)計為還包括確定模塊1217，確定模塊1217確定已識別了單個用戶還是多個用戶。此外，存儲器1213還包括生成每個用戶的收藏列表的第一生成器1214和生成家庭收藏列表的第二生成器1215，其中，每個用戶的收藏列表存儲單個用戶在特定的一天中的特定的時間觀看了兩次或更多次的頻道的廣播節(jié)目，并且家庭收藏列表存儲由多個用戶在特定的一天中的特定的時間同時觀看了兩次或更多次的廣播節(jié)目。相應(yīng)地，如果作為確定模塊1217的結(jié)果識別到單個用戶，則提取器1216通過訪問存儲器1213來提取與單個用戶相對應(yīng)的關(guān)于偏好頻道的信息，其中，存儲器1213中存儲有由第一生成器1214所生成的每個用戶的收藏列表。而且，如果作為確定模塊1217的結(jié)果識別到多個用戶，則提取器1216通過訪問存儲器1213來提取與多個用戶相對應(yīng)的關(guān)于偏好頻道的信息，其中，存儲器1213中存儲有由第二生成器1215所生成的家庭收藏列表。如果如上所述來設(shè)計提取器1216，其優(yōu)點在于，提取器1216可以單獨地管理每個用戶/家庭的偏好頻道列表，并且更快地訪問存儲器。而且，其優(yōu)點在于，利用多個不同類型的圖像傳感器提高了臉部識別中的精確度，并且增大了識別距離。圖16是例示根據(jù)本發(fā)明的一個實施方式的這樣的場景的第一示例的圖，在所述場景中，通過利用多個不同類型的圖像傳感器來提供每個用戶/家庭的偏好頻道的多媒體裝置自動地選擇偏好頻道，并且圖17是例示存儲通過圖16所獲取的數(shù)據(jù)的數(shù)據(jù)庫的示例的圖。如上所述，通過圖16中所例示的多個不同類型的圖像傳感器1340的操作識別到位于多媒體裝置1310的周圍的用戶A。此外，根據(jù)本發(fā)明的一個實施方式的多媒體裝置1310 和多個不同類型的圖像傳感器1340存儲用戶A所觀看的特定的頻道的記錄，并且通過連續(xù)地監(jiān)控用戶A來生成如圖17所示的每個用戶的收藏列表?？梢詫⒚總€用戶的收藏列表設(shè)計為如圖17所示的存儲用戶A在特定的一天的特定的時間觀看至少兩次或更多次的頻道的廣播節(jié)目。然而，如果存儲了用戶暫時觀看的細(xì)節(jié)，會出現(xiàn)差錯。因此，根據(jù)觀看時間的絕對率(例如，觀看持續(xù)30分鐘或更長，或者觀看持續(xù)50分鐘或更長)或者觀看時間的相對率(例如，觀看超過對應(yīng)的節(jié)目的總小時數(shù)的50% 或79% )來生成每個用戶的收藏列表。圖18是例示根據(jù)本發(fā)明的一個實施方式的這樣的場景的第二示例的圖，在所述場景中，通過利用多個不同類型的圖像傳感器來提供每個用戶/家庭的偏好頻道的多媒體裝置自動地選擇偏好頻道。并且，圖19是例示存儲通過圖18所獲取的數(shù)據(jù)的數(shù)據(jù)庫的示例的圖。如上所述，通過圖18中所例示的多個不同類型的圖像傳感器1540的操作識別到位于多媒體裝置1510的周圍的用戶B。此外，根據(jù)本發(fā)明的一個實施方式的多媒體裝置1510 和多個不同類型的圖像傳感器1540存儲用戶B所觀看的特定的頻道的記錄，并且通過連續(xù)地監(jiān)控用戶B來生成如圖19所示的每個用戶的收藏列表。由于每個用戶的收藏列表與圖 16和圖17的每個用戶的收藏列表相似，所以將省略其重復(fù)的描述。而且，在圖19中，在圖17的用戶A的數(shù)據(jù)庫中另外構(gòu)建了用戶B的數(shù)據(jù)庫。在這種情況下，在每個用戶的喜好頻道之中相同的重復(fù)的節(jié)目可以彼此進(jìn)行比較。圖20是例示根據(jù)本發(fā)明的一個實施方式的這樣的場景的第三示例的圖，在所述場景中，通過利用多個不同類型的圖像傳感器來提供每個用戶/家庭的偏好頻道的多媒體裝置自動地選擇偏好頻道，并且圖21是例示存儲通過圖20所獲取的數(shù)據(jù)的數(shù)據(jù)庫的示例的圖。與圖16至圖19的描述不同，通過圖20中所例示的多個不同類型的圖像傳感器1740 的操作識別到位于多媒體裝置1710的周圍的多個用戶，即，用戶A和用戶B。此外，根據(jù)本發(fā)明的一個實施方式的多媒體裝置1710和多個不同類型的圖像傳感器1740存儲用戶A和用戶B所觀看的特定的頻道的記錄，并且通過連續(xù)地監(jiān)控用戶A和用戶B來生成如圖21所示的家庭收藏列表?？梢詫⒓彝ナ詹亓斜碓O(shè)計為存儲多個用戶(即，圖20所示的用戶A和用戶B)在特定的一天的特定的時間觀看兩次或更多次的頻道的廣播節(jié)目。然而，如果存儲了用戶暫時觀看的細(xì)節(jié)，會出現(xiàn)差錯。因此，根據(jù)觀看時間的絕對率(例如，觀看持續(xù)30分鐘或更長， 或者觀看持續(xù)50分鐘或更長)或者觀看時間的相對率(例如，觀看超過對應(yīng)的節(jié)目的總小時數(shù)的50%或79% )來生成家庭收藏列表。雖然圖21例示了針對家庭成員中的用戶A和用戶B的組合的家庭收藏列表，但是可以將針對家庭成員中的用戶A、B和C的組合的家庭收藏列表、用戶B和D的組合的家庭收藏列表、與所有的家庭成員相對應(yīng)的用戶A、B、C和D的組合的家庭收藏列表分別存儲在 DB中。因此，其優(yōu)點在于，根據(jù)本發(fā)明的一個實施方式，根據(jù)位于多媒體裝置周圍的家庭成員的組合可以提供不同的偏好頻道服務(wù)。圖22至圖M是例示根據(jù)本發(fā)明的一個實施方式的利用多個不同類型的圖像傳感器來提供每個用戶/家庭的偏好頻道的多媒體裝置向偏好頻道進(jìn)行自動切換處理的第一示例的圖。然而，假設(shè)如圖16至圖21所例示的來生成針對偏好頻道的數(shù)據(jù)庫。根據(jù)本發(fā)明的另一實施方式，針對偏好頻道的數(shù)據(jù)庫不是自動生成的，而可以設(shè)計為通過用戶直接設(shè)置。如圖22所示，如果通過多個不同類型的圖像傳感器1940識別到用戶A和用戶B 位于多媒體裝置1910周圍，則多媒體裝置1910顯示相關(guān)的反饋畫面。例如，如在圖22的 1950中所例示的，顯示了指示搜索到自動的偏好頻道的引導(dǎo)消息，或者輸出用于指示已識別出用戶A和用戶B的引導(dǎo)消息。如果頻道11被檢測為如圖12所例示的用戶A和用戶B的偏好頻道，則如圖23所例示的，廣播接收器2010輸出用于詢問是否切換至偏好頻道11的引導(dǎo)信息2050。此外，根據(jù)本發(fā)明的另一實施方式，在圖23所例示的多個不同類型的圖像傳感器被設(shè)計為持續(xù)監(jiān)視用戶的改變。如果接受了圖23所示的引導(dǎo)信息2050，則多媒體裝置2110通過控制廣播網(wǎng)絡(luò)接口切換至偏好的頻道畫面，并且輸出如圖M所示的用于引導(dǎo)頻道切換結(jié)果的引導(dǎo)消息 2150。此外，根據(jù)本發(fā)明的另一個實施方式，在圖M所例示的多個不同類型的圖像傳感器 2140被設(shè)計為持續(xù)監(jiān)視用戶的改變。如果提供了用戶A和用戶B的多個公共的偏好頻道， 則輸出顯示有多個公共的偏好頻道的偏好頻道列表，并且將當(dāng)前畫面切換至由用戶A和用戶B選擇的特定的偏好頻道畫面。同時，除了根據(jù)本發(fā)明的實施方式的多個用戶的公共的偏好頻道(如上所述，通過多個用戶在特定的時間一起觀看的頻道來分類并提供所述公共的偏好頻道)以外，可以根據(jù)由多個用戶一起觀看的廣播節(jié)目的類別(genre)來分類并提供公共的偏好頻道。換言之，如果由用戶A和用戶B —起觀看的廣播節(jié)目的類別是“兒童”，則廣播接收器會對關(guān)于 “兒童”類別的廣播節(jié)目進(jìn)行分類，并且當(dāng)用戶A和用戶B—起被識別時提供分類后的廣播節(jié)目的列表。圖25至圖27是例示根據(jù)本發(fā)明的一個實施方式的利用多個不同類型的圖像傳感器來提供每個用戶/家庭的偏好頻道的多媒體裝置向偏好頻道進(jìn)行自動切換處理的第二示例的圖。然而，假設(shè)如圖16至圖21所示來生成針對偏好頻道的數(shù)據(jù)庫。根據(jù)本發(fā)明的另一實施方式，針對偏好頻道的DB不是自動生成的，而是被設(shè)計為直接通過用戶來設(shè)置。如圖25所示，通過多個不同類型的圖像傳感器2240的操作來感測位于多媒體裝置2210周圍的用戶是否改變。換言之，如果如圖25所示的一起觀看廣播節(jié)目的用戶A和用戶B中的用戶B離開預(yù)先設(shè)置的特定的范圍，則可以改變偏好頻道。在這種情況下，可以根據(jù)前述的不同類型的圖像傳感器不能檢測到觀看廣播節(jié)目的用戶的范圍來限定該特定的范圍，并且該特定的范圍可以與多個不同類型的圖像傳感器的視場(FOV :field-of-view)相關(guān)。同時，F(xiàn)OV的角度A被限定如下A = 2 θ = 2tan-l (K/2f)在這種情況下，f表示焦距，并且K表示圖像傳感器的對角線長度?？梢愿鶕?jù)上述方程來得到取決于傳感器的對應(yīng)的焦距f和對角線長度K而變換的角度。如圖沈所示，如果頻道9被檢測為剩余的用戶A的偏好頻道，則多媒體裝置2310 輸出詢問是否要切換至偏好頻道9的引導(dǎo)消息2350。此外，根據(jù)本發(fā)明的另一實施方式， 在圖26所例示的多個不同類型的圖像傳感器2340被設(shè)計為持續(xù)監(jiān)視用戶是否改變。換言之，如果觀看廣播節(jié)目的多個用戶中的特定的用戶離開預(yù)先設(shè)置的特定的區(qū)域并且沒有被識別，則多媒體裝置可以通過識別針對預(yù)先設(shè)置的特定區(qū)域內(nèi)剩余的用戶的公共偏好頻道來提供公共偏好頻道列表。另一方面，如果在預(yù)先設(shè)置的特定區(qū)域內(nèi)識別到并非現(xiàn)有用戶而是新的用戶在觀看廣播節(jié)目，則根據(jù)本發(fā)明的實施方式的多媒體裝置可以通過識別針對位于之前設(shè)置的特定區(qū)域內(nèi)的所有用戶的公共偏好頻道來提供公共偏好頻道列表。同時，根據(jù)本發(fā)明的實施方式的針對多個用戶的公共偏好頻道不限于僅僅多個用戶一起觀看廣播節(jié)目的情況。例如，即使用戶A在周一和周二觀看廣播節(jié)目C，用戶B在周三和周四觀看廣播節(jié)目C，S卩，用戶經(jīng)常觀看相同的廣播節(jié)目，也可以針對多個用戶提供公共偏好頻道。換言之，觀看特定廣播節(jié)目的用戶被記錄下來，并且如果用戶觀看廣播節(jié)目的次數(shù)與預(yù)先設(shè)置的次數(shù)一樣多或者更多，則可以將對應(yīng)的廣播頻道分類為公共偏好頻道。如果在圖沈中所例示的引導(dǎo)消息2350被接受，則多媒體裝置MlO通過控制廣播網(wǎng)絡(luò)接口切換至偏好的頻道畫面，并且輸出如圖27所示的用于指示頻道切換結(jié)果的引導(dǎo)消息M50。圖觀至圖30是例示根據(jù)本發(fā)明的一個實施方式的利用多個不同類型的圖像傳感器來提供每個用戶/家庭的偏好頻道的多媒體裝置向偏好頻道進(jìn)行自動切換處理的第三示例的圖。然而，假設(shè)如圖16至圖21所示來生成針對偏好頻道的數(shù)據(jù)庫。根據(jù)本發(fā)明的另一實施方式，針對偏好頻道的DB不是自動生成的，而是被設(shè)計為直接通過用戶來設(shè)置。如圖28所示，如果通過多個不同類型的圖像傳感器2540的操作識別到用戶A、用戶B和用戶C位于多媒體裝置2510的周圍，則多媒體裝置2510顯示相關(guān)的反饋畫面。例如，如圖觀的2550中所示，顯示了指示搜索自動偏好頻道的引導(dǎo)信息，或者輸出引導(dǎo)已經(jīng)識別了用戶A、用戶B和用戶C的引導(dǎo)信息。然而，作為家庭收藏列表或者每個用戶收藏列表的搜索結(jié)果，可能不存在由圖觀所示的用戶A、用戶B和用戶C同時觀看的頻道的細(xì)節(jié)。在這種情況下，多媒體裝置沈10輸出如圖四所示的引導(dǎo)每個用戶的偏好頻道的引導(dǎo)信息沈50。此外，根據(jù)本發(fā)明的另一實施方式，在圖四所示的多個不同類型的圖像傳感器被設(shè)計為持續(xù)監(jiān)視用戶是否改變。如果在圖四中所例示的引導(dǎo)消息沈50被接受，則多媒體裝置2710通過控制廣播網(wǎng)絡(luò)接口切換至偏好的頻道畫面，并且輸出如圖四所示的引導(dǎo)頻道切換結(jié)果的引導(dǎo)消息 2750。此外，根據(jù)本發(fā)明的另一實施方式，在圖30所示的多個不同類型的圖像傳感器2740 被設(shè)計為持續(xù)監(jiān)視用戶是否改變。圖31是例示根據(jù)本發(fā)明的一個實施方式的利用多個不同類型的圖像傳感器來提供每個用戶/家庭的偏好頻道的方法的流程圖。同時，雖然圖31至圖33涉及方法發(fā)明的描述，但是可以通過具有前述的產(chǎn)品發(fā)明的描述的互補的應(yīng)用來分析方法發(fā)明的描述。根據(jù)本發(fā)明的一個實施方式的用于利用多個不同類型的圖像傳感器來控制多媒體裝置的方法在用于提取深度數(shù)據(jù)的第一圖像傳感器和用于提取顏色數(shù)據(jù)的第二圖像傳感器的控制下識別位于多媒體裝置周圍的一個或更多個用戶(S2810)。此外，多媒體裝置訪問存儲有每個用戶的偏好頻道的存儲器(S^20)，并且提取關(guān)于與所識別的一個或更多個用戶相對應(yīng)的偏好頻道的信息(S^30)。而且，多媒體裝置根據(jù)所提取的信息切換至偏好頻道(S2840)，并且監(jiān)視位于多媒體裝置周圍的用戶是否改變 (S2850)。
根據(jù)本發(fā)明的另一實施方式，步驟S2840還包括顯示指示對應(yīng)的偏好頻道的引導(dǎo)消息，并且如果施加了選擇對應(yīng)的偏好頻道的信號，則切換至對應(yīng)的偏好頻道。根據(jù)本發(fā)明的另一實施方式，步驟S2830還包括確定識別了單個用戶還是多個用戶的步驟。此外，確定步驟還包括如果識別了單個用戶、則通過訪問存儲有每個用戶的收藏列表的存儲器來提取關(guān)于與單個用戶相對應(yīng)的偏好頻道的信息的步驟。并且，確定步驟還包括如果識別了多個用戶、則通過訪問存儲有家庭收藏列表的存儲器來提取關(guān)于與多個用戶相對應(yīng)的偏好頻道的信息的步驟。而且，每個用戶的收藏列表存儲單個用戶在特定的一天中的特定的時間觀看了兩次或更多次的頻道的廣播節(jié)目。家庭收藏列表存儲多個用戶在特定的一天中的特定的時間觀看了兩次或更多次的頻道的廣播節(jié)目。圖32是根據(jù)本發(fā)明的一個實施方式的更具體地例示圖31所示的步驟S2810的流程圖。根據(jù)本發(fā)明的一個實施方式，在圖31中所例示的步驟S2810被設(shè)計為包括在圖32 中所例示的步驟S2811至S2816。首先，步驟S2810包括拍攝位于多媒體裝置周圍的第一圖像(S^ll)，并且從所拍攝的第一圖像提取與用戶的距離和位置信息相關(guān)的深度數(shù)據(jù)(S2812)。如果通過利用所提取的深度數(shù)據(jù)能夠?qū)⒂脩舻哪槻繀^(qū)域進(jìn)行特寫，則多媒體裝置控制第二圖像傳感器拍攝用戶的臉部上的第二圖像(S^13)，并且從所拍攝的第二圖像提取關(guān)于用戶的臉上的特征信息。多媒體裝置被設(shè)計為訪問存儲有與所提取的特征信息相對應(yīng)的數(shù)據(jù)的存儲器 (s^i5)，并且提取用于識別存儲在存儲器中的特定用戶的信息(s^ie)。圖33是例示根據(jù)本發(fā)明的另一實施方式的利用多個不同類型的圖像傳感器來自動地存儲每個用戶的偏好廣播節(jié)目的多媒體裝置的具體的模塊的圖。根據(jù)本發(fā)明的另一實施方式的多媒體裝置1210通過接口 1250連接有多個不同類型的圖像傳感器1240。接口 1250例如對應(yīng)于有線/無線數(shù)據(jù)傳輸和接收連接。更具體地，可以將USB接口用作接口 1250。此外，多個不同類型的圖像傳感器1240例如包括深度照相機和彩色照相機，并且可以被設(shè)計為如圖33所示的多媒體裝置1210的分立的外部模塊，或者可以被嵌入在多媒體裝置1210中。而且，多媒體裝置1210包括廣播網(wǎng)絡(luò)接口 1211、臉部識別模塊1212、存儲器1213、 提取器1217、控制器1218、顯示模塊1220和揚聲器1221。根據(jù)本發(fā)明的另一個實施方式，存儲器1213還包括臉部識別DB 1214、偏好頻道DB 1215和運動識別DB 1216。控制器1218 還包括確定模塊1219。但是，應(yīng)理解的是，為了方便描述，在圖33中所例示的廣播接收器對應(yīng)于一個實施方式，并且主要通過權(quán)利要求來限定本發(fā)明的范圍。廣播網(wǎng)絡(luò)接口 1211從廣播網(wǎng)絡(luò)1230接收廣播數(shù)據(jù)。雖然沒有在圖33中示出，但是所接收的廣播數(shù)據(jù)的視頻數(shù)據(jù)經(jīng)過視頻處理，然后通過顯示模塊1220輸出。此外，所接收的廣播數(shù)據(jù)的音頻數(shù)據(jù)經(jīng)過音頻處理，然后通過揚聲器1221輸出。臉部識別模塊1212通過利用從用于提取深度數(shù)據(jù)的第一圖像傳感器和用于提取彩色數(shù)據(jù)的第二圖像傳感器所接收的信息來識別一個或更多個用戶。第一圖像傳感器對應(yīng)于圖33所示的多個不同類型的圖像傳感器1240的深度照相機，并且第二圖像傳感器對應(yīng)于圖33所示的多個不同類型的圖像傳感器1240的彩色照相機或RGB照相機。此外，當(dāng)通過廣播網(wǎng)絡(luò)接口 1211所接收的廣播節(jié)目正被輸出時，臉部識別模塊 1212根據(jù)多媒體裝置1210確定所識別的用戶是否離開了預(yù)先設(shè)定的特定的范圍。如果用戶離開了預(yù)先設(shè)定的特定的范圍，則從當(dāng)用戶離開預(yù)先設(shè)定的特定的范圍時、在控制器 1218的控制下將廣播節(jié)目存儲在存儲器1213中。在這種情況下，可以將預(yù)先設(shè)置的特定的范圍限定為前述的不同類型的圖像傳感器無法檢測觀看廣播節(jié)目的用戶的范圍，并且可以與多個不同類型的圖像傳感器的視場(FOV)范圍相關(guān)。同時，將FOV的角度A定義如下A = 2 θ = 2tan-l (K/2f)在這種情況下，f表示焦距，并且K表示圖像傳感器的對角線長度?？梢愿鶕?jù)上述方程來得到取決于傳感器的對應(yīng)的焦距f和對角線長度K而變換的角度。而且，如果第一圖像傳感器和/或第二圖像傳感器重新識別了左邊的用戶，則多媒體裝置1210從當(dāng)重新識別了左邊的用戶時結(jié)束正在存儲的廣播節(jié)目的存儲動作。接著， 多媒體裝置1210可以通過顯示模塊1220顯示已經(jīng)存儲的、用戶沒有觀看到的廣播節(jié)目。而且，控制器1218控制顯示模塊1220顯示引導(dǎo)是否輸出所存儲的廣播節(jié)目的消息。在這種情況下，通過多媒體裝置1210所顯示的消息(例如，不完整的觀看消息)可以具有各種形式。換言之，可以以每一天中、每個廣播臺中、以及每個廣播類別中不完整的觀看的次數(shù)或不完整觀看的總小時數(shù)的格式來提供不完整的觀看的消息。而且，可以通過在任何時間應(yīng)用戶的請求來顯示不完整的觀看的消息，或者可以在與不完整的觀看狀態(tài)相對應(yīng)的廣播節(jié)目結(jié)束之后緊接著顯示不完整的觀看的消息。具體地，優(yōu)選的是，在與不完整的觀看狀態(tài)相對應(yīng)的廣播節(jié)目結(jié)束之后直接顯示的不完整的觀看的消息涉及在顯示不完的觀看消息之前緊鄰結(jié)束的廣播節(jié)目。如果通過由不同種類的多個照相機所拍攝的用戶的運動選擇了期望再次觀看不完整觀看的廣播節(jié)目，則遙控器、或者移動電話、控制器1218控制存儲器1213通過顯示模塊1220輸出存儲在存儲器1213中的不完整觀看的廣播節(jié)目。同時，可以存儲根據(jù)本發(fā)明的實施方式的不完整的觀看的內(nèi)容，并且可以通過預(yù)定的緩沖器間隔來結(jié)束其存儲動作。換言之，最好從早于當(dāng)發(fā)生識別失敗時的時間開始將不完整觀看的內(nèi)容存儲在存儲器中，而不是從當(dāng)發(fā)生識別失敗時的時間開始將不完整觀看的內(nèi)容存儲在存儲器中。而且，最好從晚于當(dāng)發(fā)生重新識別時的時間開始結(jié)束不完整的觀看內(nèi)容的存儲動作，而不是從當(dāng)發(fā)生重新識別時的時間開始結(jié)束不完整的觀看內(nèi)容的存儲動作。通過這種方式，如果提供預(yù)定的緩沖器間隔用于存儲不完整的觀看內(nèi)容、并且用于結(jié)束不完整的觀看內(nèi)容的存儲動作，當(dāng)再次觀看不完整的觀看內(nèi)容時，觀察者可以更容易地識別內(nèi)容的情節(jié)。同時，臉部識別模塊1212通過第一圖像傳感器拍攝位于多媒體裝置周圍的第一圖像，從所拍攝的第一圖像提取深度數(shù)據(jù)，并且通過利用所提取的深度數(shù)據(jù)檢測一個或更多個用戶的臉部。而且，臉部識別模塊1212通過第二圖像傳感器在所檢測的用戶的臉上拍攝第二圖像，并且從所拍攝的第二圖像提取特征信息。同時，控制器1218執(zhí)行控制操作以將所提取的特征信息存儲在存儲器1213中，或者提取存儲在存儲器1213中的特征信息。此外，根據(jù)本發(fā)明的另一方面，如果確定模塊1219計算當(dāng)識別的用戶離開多媒體
24裝置1210特定的范圍時的時間，并且所計算的時間處于特定的時間范圍之內(nèi)，則控制器 1218可以執(zhí)行控制操作以結(jié)束廣播節(jié)目的存儲動作。例如，如果即使在用戶臨時離開多媒體裝置也執(zhí)行存儲處理，考慮到效率不利于存儲器的使用。然而，可以由用戶隨機地設(shè)置特定的時間范圍，或者可以由TV制造商來進(jìn)行設(shè)置。根據(jù)本發(fā)明的另一實施方式，多媒體裝置1210的存儲器1213存儲每個用戶的偏好頻道。提取器1217通過訪問存儲器1213來提取關(guān)于與所識別的一個或更多個用戶相對應(yīng)的偏好頻道的信息。此外，如果當(dāng)前廣播數(shù)據(jù)的頻道不同于與所識別的用戶相對應(yīng)的偏好頻道，則控制器1218執(zhí)行控制操作以將偏好頻道的廣播節(jié)目存儲在存儲器1213中。在這種情況下，即使用戶錯誤地沒有收看偏好頻道，偏好頻道的廣播節(jié)目也自動地存儲在存儲器1213中。因此，有利之處在于，雖然用戶沒有向多媒體裝置輸入特定的存儲指令，但是用戶可以稍后識別他/她本身沒有觀看的偏好頻道。換言之，如果用戶沒有錯誤地觀看偏好頻道，或者因為與其它用戶的關(guān)系無法觀看偏好頻道，其有利之處在于，雖然用戶沒有采取特定的行動，但是偏好頻道自動地存儲在存儲器中。而且，控制器1218包括確定模塊1219，其確定臉部識別模塊1212識別了單個用戶還是多個用戶；以及存儲控制器1222，其只有識別多個用戶才將偏好頻道的廣播節(jié)目存儲在存儲器1213中。根據(jù)該實施方式，如果單個用戶觀看其它廣播節(jié)目而不是偏好頻道，很可能用戶不希望觀看偏好頻道。然而，如果多個用戶觀看其它廣播節(jié)目而不是偏好頻道，很可能用戶希望觀看偏好頻道。而且，臉部識別模塊1212監(jiān)視所識別的用戶的單個第一動作以及多個第二動作。 在第一動作的情況下，臉部識別模塊1212立即將當(dāng)前的廣播節(jié)目登記為存儲器的偏好頻道。在第二動作的情況下，臉部識別模塊1212根據(jù)時間變量運動來確定是否將當(dāng)前的廣播節(jié)目登記為存儲器的偏好頻道。例如，第一動作對應(yīng)于特定的手部動作，并且第二動作對應(yīng)于與被識別的用戶的關(guān)節(jié)或被識別的用戶從廣播接收器分離相關(guān)的運動。將參照圖43至圖45更加具體地描述第一動作，并且將參照圖46至圖48更加具體地描述第二動作。圖34至圖36是例示根據(jù)本發(fā)明的另一實施方式的當(dāng)觀看廣播節(jié)目的單個觀眾在暫時離開位置之后回到原始位置時在多媒體裝置中自動地存儲廣播節(jié)目的過程的圖。如圖34所示，根據(jù)本發(fā)明的一個實施方式的多個不同類型的圖像傳感器1340可以識別位于多媒體裝置1310周圍的用戶A，并且顯示了指示已經(jīng)識別了具體的用戶A的引導(dǎo)消息1350。同時，如圖35所示，如果圖34所示的具體的用戶A離開特定的范圍，則多個不同類型的圖像傳感器1440不能再檢測和識別出用戶A。因此，與圖34所示的引導(dǎo)消息不同， 多媒體裝置1410僅顯示當(dāng)前廣播畫面，并不能如圖35的1450所例示的顯示所識別的用戶。如果具體的用戶A離開特定的范圍，則多媒體裝置1410被設(shè)計為從當(dāng)特定的用戶A離開特定的范圍時開始存儲所播放的廣播節(jié)目。如果如圖36所示、具體的用戶A再次回到之前設(shè)置的特定的區(qū)域，則多個不同類型的圖像傳感器1540可以再次識別并辨認(rèn)用戶A。相應(yīng)地，多媒體裝置1510從當(dāng)具體的用戶A離開特定區(qū)域時開始結(jié)束廣播節(jié)目的存儲動作。同時，根據(jù)本發(fā)明的前述的實施方式，取決于具體的用戶的狀態(tài)、不可能識別狀態(tài) (用戶離開)、和再次識別狀態(tài)來存儲實時傳送的廣播節(jié)目。然而，不將本發(fā)明的范圍限于該實施方式。根據(jù)本發(fā)明的另一實施方式，多媒體裝置在播放非實時廣播節(jié)目的內(nèi)容時執(zhí)行針對具體的用戶的監(jiān)視處理。例如，這種內(nèi)容表示通過因特網(wǎng)所接收的數(shù)據(jù)、或者存儲在多媒體裝置的內(nèi)部/外部存儲器中的數(shù)據(jù)。如果根據(jù)本發(fā)明另一實施方式的多媒體裝置在播放內(nèi)容時感測到正在觀看內(nèi)容的具體用戶離開了預(yù)先設(shè)置的范圍，則多媒體裝置被設(shè)計為自動地結(jié)束播放內(nèi)容，并且輸出引導(dǎo)內(nèi)容的播放被自動結(jié)束的引導(dǎo)消息。然而，多媒體裝置被設(shè)計為使得內(nèi)容的播放處理沒有被完全結(jié)束，而是切換至后臺處理，由此，內(nèi)容從屏幕臨時地消失。根據(jù)本發(fā)明另一實施方式的多媒體裝置暫時切換至預(yù)先設(shè)置的特定的頻道、偏好頻道、或者之前的頻道，并且如果重新識別到已經(jīng)離開預(yù)先設(shè)置的范圍的具體用戶，則多媒體裝置進(jìn)入內(nèi)容播放模式。此外，根據(jù)本發(fā)明另一實施方式的多媒體裝置被設(shè)計為從當(dāng)內(nèi)容的播放處理被結(jié)束時開始播放內(nèi)容。以下，在該說明書中，具體地描述當(dāng)輸出實時廣播節(jié)目時根據(jù)用戶識別的改變。然而，可以將本發(fā)明應(yīng)用于顯示隨機內(nèi)容以及實時廣播節(jié)目的情況。圖37至圖40是例示根據(jù)本發(fā)明的另一實施方式的當(dāng)觀看廣播節(jié)目的多個觀眾中的一些觀眾在暫時離開位置之后回到原始位置時在多媒體裝置中自動地存儲廣播節(jié)目的過程的圖。如圖37所示，根據(jù)本發(fā)明的一個實施方式的多個不同類型的圖像傳感器1640可以識別位于多媒體裝置1610周圍的用戶A和B，并且顯示了指示已經(jīng)識別了具體的用戶A 和具體的用戶B的引導(dǎo)消息1650。同時，如圖38所示，如果圖37所示的多個用戶的具體的用戶B離開特定的范圍， 則多個不同類型的圖像傳感器1740不能再檢測和識別出用戶B。因此，多媒體裝置1710 在顯示當(dāng)前廣播畫面的同時顯示指示僅識別了用戶A的引導(dǎo)消息1750。然而，如果具體的用戶B離開特定的范圍，則多媒體裝置1710被設(shè)計為從當(dāng)具體的用戶B離開特定的范圍時開始存儲播放的廣播內(nèi)容。如上所述，如果多個用戶離開在正在播放內(nèi)容的多媒體裝置周圍的特定的區(qū)域，則多媒體裝置可以存儲離開特定范圍的每個用戶的、正被播放的內(nèi)容。換言之，如果當(dāng)根據(jù)本發(fā)明的實施方式的多媒體裝置正在識別多個正在觀看內(nèi)容的用戶的臉時、在特定的時間發(fā)生具體的用戶的識別失敗，則多媒體裝置存儲與識別失敗的用戶的信息相關(guān)的內(nèi)容。如圖39所示，如果用戶B返回預(yù)先設(shè)置的預(yù)定的范圍，則多個不同類型的圖像傳感器1840可以識別并辨認(rèn)用戶B。因此，顯示引導(dǎo)已經(jīng)識別了用戶A和用戶B的引導(dǎo)消息 1850，并且輸出引導(dǎo)消息1860，該引導(dǎo)消息1860詢問用戶B是否將再次觀看從當(dāng)用戶B離開特定的區(qū)域時開始存儲的廣播節(jié)目。在圖34至圖39中所例示的由多媒體裝置基于用戶離開對正在播放的內(nèi)容進(jìn)行存儲、結(jié)束內(nèi)容存儲的操作和不完整觀看消息的顯示可以包括圖33中所描述的、針對內(nèi)容的存儲、結(jié)束內(nèi)容存儲的操作和不完整觀看消息的顯示的方法。如圖40所示，如果施加了接受圖39所示的消息1860的信號，多媒體裝置1910自動地播放從當(dāng)具體的用戶B離開特定區(qū)域時開始存儲的廣播內(nèi)容。此外，多個不同類型的圖像傳感器1940可以被設(shè)計為持續(xù)監(jiān)視用戶，并且以消息1950的形式顯示關(guān)于識別的用戶的結(jié)果信息。
圖41和圖42是例示當(dāng)多個觀眾觀看廣播節(jié)目時、根據(jù)本發(fā)明的另一實施方式在多媒體裝置中自動地存儲并處理偏好頻道廣播節(jié)目的過程的圖。如圖41所示，根據(jù)本發(fā)明的一個實施方式的多個不同類型的圖像傳感器2040可以識別位于多媒體裝置2010周圍的用戶A、用戶B和用戶C，并且以消息2050的形式輸出所識別的用戶的結(jié)果。根據(jù)針對預(yù)先存儲在存儲器中的偏好頻道的DB的搜索結(jié)果，圖23所示的廣播畫面的頻道輸出是用戶A 的偏好頻道，但不是其它用戶的偏好頻道。換言之，很可能觀看非偏好頻道的頻道的用戶B 和用戶C會根據(jù)用戶A的請求觀看不希望的頻道。因此，如圖42所示，多媒體裝置2110被設(shè)計為顯示信息2160，信息2160是關(guān)于當(dāng)前正在觀看非偏好頻道的頻道的具體的用戶B和用戶C的偏好頻道。此外，多媒體裝置2110 被設(shè)計為自動地將具體的用戶B和用戶C的偏好頻道的廣播節(jié)目存儲在存儲器中。同時， 根據(jù)本發(fā)明的一個實施方式的多個不同類型的圖像傳感器2140持續(xù)拍攝并監(jiān)視位于多媒體裝置2110周圍的用戶。圖43至圖45是例示根據(jù)本發(fā)明的另一實施方式自動地選擇偏好頻道的方法的圖。相關(guān)技術(shù)中遇到的問題在于，用戶需要搜索登記有偏好頻道的菜單并且?guī)状屋斎胨璧男畔?。然而，為了解決該問題，可以通過利用根據(jù)本發(fā)明的一個實施方式的不同類型的多個照相機來更加簡單的選擇偏好頻道。如圖43至圖45所示，可以通過多個不同類型的圖像傳感器2240的操作來識別位于多媒體裝置2210、2310和MlO前面的用戶的手的部分2270、2370和M70。如果用戶在觀看隨機頻道時期望將該隨機頻道登記為偏好頻道，則他/她做出如圖43至圖45所示的利用兩個手指的V形、展開五個手指或者握住雙手的動作。如果多個用戶觀看廣播接收器，則識別各個用戶的手部動作，由此可以記錄每個用戶的偏好頻道。指示與表示應(yīng)該將當(dāng)前廣播頻道登記為偏好頻道的指令信號相對應(yīng)的各個手形或手勢的數(shù)據(jù)被預(yù)先存儲在多媒體裝置2210、2310和MlO的數(shù)據(jù)庫中。雖然圖43至圖45僅例示了具體的手形，但是本發(fā)明的范圍不限于圖43至圖45 的示例，并且可以利用其它身體部位來登記偏好頻道。圖46至圖48是例示根據(jù)本發(fā)明的再一實施方式自動地選擇偏好頻道的方法的圖。盡管在圖43至圖45中需要用戶的小的姿勢，但是圖46至圖48的實施方式的優(yōu)點在于不需要用于登記偏好頻道的用戶的姿勢。如圖46所示，根據(jù)本發(fā)明的另一實施方式的多個不同類型的圖像傳感器2540拍攝位于多媒體裝置2510周圍的用戶。具體地，多個不同類型的圖像傳感器2540可以通過利用深度照相機來監(jiān)視用戶的關(guān)節(jié)動作2580。如果對于類似圖46所示的動作2580的動作在特定的時間幾乎沒有變化，則可以假設(shè)用戶全神貫注于對應(yīng)的頻道。因此，如果所拍攝的用戶的動作相對沒有變化，則多媒體裝置2510被設(shè)計為自動地將當(dāng)前廣播頻道登記為偏好頻道。此外，如圖47所示，根據(jù)本發(fā)明的一個實施方式的多個不同類型的圖像傳感器 2640拍攝位于多媒體裝置沈10周圍的用戶。與圖46不同，在圖47中頻繁地發(fā)生用戶的關(guān)節(jié)動作2580。在這種情況下，可以假設(shè)用戶沒有全神貫注于從當(dāng)前頻道輸出的廣播節(jié)目。因此，如果所拍攝的用戶的動作存在相對的變化，則多媒體裝置沈10被設(shè)計為不將當(dāng)前廣播頻道登記為偏好頻道。同時，如圖48所示，作為根據(jù)本發(fā)明的一個實施方式的通過多個不同類型的圖像傳感器2740來拍攝位于多媒體裝置2710周圍的用戶的結(jié)果，如果(1)離開、(2)返回、(3) 離開和(4)返回重復(fù)了多次，則不需將當(dāng)前廣播頻道登記為偏好頻道。然而，如果位于廣播接收器前面的用戶的離開/返回沒有執(zhí)行多次，則多媒體裝置被設(shè)計為自動地將當(dāng)前廣播頻道登記為偏好頻道。此外，在圖48中所設(shè)計的實施方式可以結(jié)合圖46和圖47的實施方式一起實施，或者可以作為單獨的實施方式來實施。換言之，多媒體裝置可以根據(jù)用戶在觀看廣播節(jié)目過程中的臉部表情的動作模式和改變來自動地執(zhí)行根據(jù)本發(fā)明的實施方式的偏好頻道登記。更具體地，多媒體裝置通過利用不同類型的圖像感測模塊來分析正在觀看廣播節(jié)目的用戶的臉部表情的動作模式和改變，并且如果所分析的結(jié)果與預(yù)先設(shè)置的動作模式或臉部表情相對應(yīng)，則將當(dāng)前廣播節(jié)目自動地登記為偏好頻道。換言之，如果用戶在觀看廣播節(jié)目過程中很少離開多媒體裝置、 如果用戶的臉部表情頻繁地或很大程度地發(fā)生改變、或者如果用戶表現(xiàn)出例如握住手、哭、 笑和打瞌睡的觀看模式，則多媒體裝置將當(dāng)前廣播頻道登記為偏好頻道。優(yōu)選地，多媒體裝置根據(jù)用戶的動作模式和臉部表情的改變、通過確定動作模式和臉部表情的改變是否偏離預(yù)先設(shè)置的基準(zhǔn)范圍來執(zhí)行偏好頻道登記。而且，與通過用戶來直接登記偏好頻道相比，根據(jù)用戶的動作模式和臉部表情的改變來登記偏好頻道會具有較低的可靠性。在這種情況下，多媒體裝置可以將當(dāng)前廣播頻道登記為預(yù)備的偏好頻道，而不是直接登記為偏好頻道。 因此，多媒體裝置向用戶提供預(yù)備的偏好頻道列表，并且僅對被用戶選擇為偏好頻道的頻道執(zhí)行登記操作。圖49是例示根據(jù)本發(fā)明的另一實施方式的通過利用多個不同類型的圖像傳感器來自動地存儲并處理特定的廣播節(jié)目的過程的流程圖。盡管圖49至圖53涉及發(fā)明方法的描述，但是可以與通過前述的附圖所描述的產(chǎn)品發(fā)明的互補應(yīng)用來分析方法描述。多媒體裝置輸出通過裝置廣播網(wǎng)絡(luò)所接收的廣播節(jié)目(S^lO)。此外，多媒體裝置在用于提取深度數(shù)據(jù)的第一圖像傳感器和用于提取彩色數(shù)據(jù)的第二圖像傳感器的控制下識別位于多媒體裝置周圍的一個或更多個用戶(S2820)。如果在輸出廣播節(jié)目時、所識別的用戶從廣播接收器離開特定的范圍，則多媒體裝置從當(dāng)用戶離開特定的范圍時開始存儲廣播節(jié)目(S^30)。如果離開特定范圍的用戶在第一圖像傳感器和第二圖像傳感器的控制下被重新識別，則多媒體裝置顯示引導(dǎo)是否輸出所存儲的廣播節(jié)目的消息(S2840)。多媒體裝置執(zhí)行控制操作以輸出所存儲的廣播節(jié)目(S2850)。而且，根據(jù)本發(fā)明的另一實施方式，多媒體裝置被設(shè)計為在第一區(qū)域顯示廣播節(jié)目，并且在第二區(qū)域顯示指示由第一圖像傳感器和第二圖像傳感器所識別的用戶的信息。 由于參照圖34至圖37已經(jīng)對此進(jìn)行了描述，所以將省略重復(fù)的描述。而且，根據(jù)本發(fā)明的另一實施方式，步驟S2830還包括計算當(dāng)所識別的用戶從廣播接收器離開特定的范圍時的時間，并且如果所計算的時間在特定的時間范圍內(nèi)，則執(zhí)行控制操作來停止廣播節(jié)目的存儲。圖50是根據(jù)本發(fā)明的另一實施方式更具體地例示圖49所例示的步驟的流程圖。根據(jù)本發(fā)明的另一實施方式，在圖49中所例示的步驟S2820還包括步驟S2821至 S28270首先，多媒體裝置通過利用第一圖像傳感器來拍攝位于多媒體裝置周圍的第一圖像(S^21)，從所拍攝的第一圖像提取深度數(shù)據(jù)(S^22)，并且通過利用所提取的深度數(shù)據(jù)檢測一個或更多個用戶的臉部(S^23)。此外，多媒體裝置通過利用第二圖像傳感器來拍攝所檢測的用戶的臉上的第二圖像(S^24)，并且從所拍攝的第二圖像提取特征信息 (S2825)。多媒體裝置被設(shè)計為訪問存儲有與所提取的特征信息相對應(yīng)的數(shù)據(jù)的存儲器 6 )，并且提取存儲在存儲器中的、識別具體的用戶的信息(S^27)。圖51是每個裝置的例示根據(jù)本發(fā)明的另一實施方式的通過利用多個不同類型的圖像傳感器來自動地存儲并處理特定的廣播節(jié)目的處理的流程圖。如上所述，根據(jù)本發(fā)明的一個實施方式的多個不同類型的圖像傳感器包括第一圖像傳感器和第二圖像傳感器。例如，第一圖像傳感器對應(yīng)于深度照相機，并且第二圖像傳感器對應(yīng)于彩色照相機或者RGB 照相機。多個不同類型的圖像傳感器可以嵌入在多媒體裝置中，或者可以被設(shè)計為單獨的外部模塊。第一圖像傳感器通過利用從所拍攝的圖像提取的深度數(shù)據(jù)來檢測用戶的臉部區(qū)域(S3010)。此外，第二圖像傳感器通過特寫來拍攝由第一圖像傳感器所獲得的臉部區(qū)域， 并且從所拍攝的用戶臉部提取特征信息(S3020)。根據(jù)本發(fā)明的一個實施方式的多媒體裝置接收通過當(dāng)前廣播網(wǎng)絡(luò)所傳送的廣播節(jié)目(S3030)，并且通過利用由第二圖像傳感器所獲取的特征信息來識別具體的用戶 (S3040)。多媒體裝置開始存儲并且控制所接收的廣播節(jié)目(S3050)。將參照圖52或圖53 更加詳細(xì)地描述步驟S3050。同時，圖52和圖53可以是單獨的實施方式，或者可以用作結(jié)合的一個實施方式。圖52是根據(jù)本發(fā)明的另一實施方式更具體地例示圖51所示的步驟S3050的流程圖。根據(jù)本發(fā)明的另一實施方式的多媒體裝置確定所檢測的和所識別的用戶是否離開了特定的范圍(例如，由多個不同類型的圖像傳感器所覆蓋的區(qū)域)(S3051)。結(jié)果，如果用戶離開了特定的范圍，則多媒體裝置從當(dāng)用戶離開特定的范圍時開始存儲當(dāng)前廣播節(jié)目 (S3052)。然而，為了存儲當(dāng)前廣播節(jié)目，最初識別的并且離開的用戶需要與該廣播節(jié)目相映射。多媒體裝置確定是否重新識別到離開的用戶(S3053)。結(jié)果，如果離開的用戶被重新識別，則多媒體裝置顯示用于詢問是否輸出從當(dāng)用戶離開時開始存儲的廣播節(jié)目的引導(dǎo)消息(S3054)。如果已經(jīng)施加了在步驟S30M所顯示的引導(dǎo)消息的確認(rèn)信號，則多媒體裝置執(zhí)行控制操作以輸出所存儲的廣播節(jié)目(S3055)。圖53是根據(jù)本發(fā)明的另一實施方式更具體地例示圖51所示的步驟S3050的流程圖。根據(jù)本發(fā)明的再一實施方式的多媒體裝置確定所檢測的和所識別用戶的偏好頻道是否與當(dāng)前廣播頻道相同(S3056)。結(jié)果，如果所檢測的和所識別的用戶的偏好頻道與當(dāng)前廣播
29頻道不相同，則多媒體裝置將當(dāng)前的廣播頻道存儲為用戶的偏好頻道(S3057)。而且，多媒體裝置顯示詢問是否輸出自動存儲的偏好頻道的節(jié)目的引導(dǎo)信息 (S3058)。在這種情況下，如上所述，當(dāng)在廣播接收器確定用戶的動作模式或臉部表情的改變之后、用戶的動作模式或臉部表情中的改變滿足之前設(shè)置的條件時，最好將正在播放的非偏好頻道自動地登記為偏好頻道。如果施加了在步驟S3058中所顯示的引導(dǎo)消息的確認(rèn)信號，則多媒體裝置執(zhí)行控制操作以輸出所存儲的廣播節(jié)目(S3059)。根據(jù)本發(fā)明如上所述的實施方式，其優(yōu)點在于，通過3D深度照相機和2D彩色照相機的互補使得臉部識別、數(shù)據(jù)處理速度和長距離識別的性能都得到提高。在該說明書中，既公開了產(chǎn)品發(fā)明又公開了方法發(fā)明，并且可以根據(jù)情況互補地應(yīng)用兩者的描述?？梢栽谀芡ㄟ^各種計算機裝置執(zhí)行并且可以記錄在計算機可讀記錄介質(zhì)中的程序指令中實現(xiàn)根據(jù)本發(fā)明的方法。計算機可讀記錄介質(zhì)可以單獨包括程序指令、數(shù)據(jù)文件和數(shù)據(jù)結(jié)構(gòu)，或者包括程序指令、數(shù)據(jù)文件和數(shù)據(jù)結(jié)構(gòu)的組合。針對本發(fā)明專門設(shè)計了記錄在計算機可讀存儲介質(zhì)中的程序指令，但是這一點對于計算機軟件領(lǐng)域的技術(shù)人員來說是熟知的。計算機可讀介質(zhì)的示例包括磁性介質(zhì)(例如，硬盤、軟盤和磁帶)；光學(xué)媒介(例如，⑶-ROM和DVD)；磁光介質(zhì)(例如，軟盤)；以及硬件裝置(例如ROM、RAM和閃速存儲器)，其被特別配置為存儲并執(zhí)行程序指令。程序指令的示例包括由編譯器編譯出的機器語言代碼和通過計算機利用翻譯器實現(xiàn)的高級語言代碼。硬件裝置可以被配置為至少一個軟件模塊以執(zhí)行本發(fā)明的操作，至少一個軟件模塊也可以被配置為硬件裝置以執(zhí)行本發(fā)明的操作。本領(lǐng)域技術(shù)人員應(yīng)理解的是，在不脫離本發(fā)明的精神和必要特征的情況下，可以以其它特定形式來具體實施本發(fā)明。因而，以上實施方式在所有方面被認(rèn)為是說明性而不是限制性的。應(yīng)該通過所附權(quán)利要求的合理的解釋來確定本發(fā)明的范圍，并且落入本發(fā)明的等價范圍內(nèi)的所有的改變都被包括在本發(fā)明的范圍內(nèi)。
權(quán)利要求
1.一種用于管理顯示裝置中的信息的方法，所述方法包括以下步驟 獲取第一圖像；獲取第二圖像；檢測在所述第一圖像中的人；確定所述人在所述第一圖像中的坐標(biāo)信息；根據(jù)所述坐標(biāo)信息從所述第二圖像中提取所述人的特征；將所提取的特征與參考信息進(jìn)行比較；以及根據(jù)所述比較來識別所述人，從存儲有每個用戶的偏好頻道的存儲器提取關(guān)于與所識別的人相對應(yīng)的偏好頻道的 fn息；根據(jù)所提取的信息來執(zhí)行用于切換至所述偏好頻道的控制操作。
2.根據(jù)權(quán)利要求1所述的方法，所述方法還包括以下步驟通過利用第一圖像傳感器拍攝位于所述顯示裝置周圍的所述第一圖像；從所拍攝的第一圖像提取深度數(shù)據(jù)；通過利用所提取的深度數(shù)據(jù)來檢測至少一個用戶的臉部；通過利用第二圖像傳感器拍攝所檢測的用戶的臉部上的第二圖像；從所拍攝的第二圖像提取特征信息；訪問存儲有與所提取的特征信息相對應(yīng)的數(shù)據(jù)的存儲器；以及提取存儲在所述存儲器中的、識別特定用戶的信息。
3.根據(jù)權(quán)利要求1所述的方法，所述方法還包括以下步驟 顯示指示所述偏好頻道的引導(dǎo)消息；以及如果施加了選擇所述偏好頻道的信號，則切換至所述偏好頻道。
4.根據(jù)權(quán)利要求1所述的方法，所述方法還包括以下步驟 確定步驟，確定識別了單個用戶還是多個用戶。
5.根據(jù)權(quán)利要求4所述的方法，其中，所述確定步驟包括如果識別了所述單個用戶，則通過訪問存儲有每個用戶的收藏列表的存儲器來提取關(guān)于與所述單個用戶相對應(yīng)的偏好頻道的信息。
6.根據(jù)權(quán)利要求4所述的方法，其中，所述確定步驟還包括如果識別了多個用戶，則通過訪問存儲有家庭收藏列表的存儲器來提取關(guān)于與多個用戶相對應(yīng)的偏好頻道的信息。
7.根據(jù)權(quán)利要求5所述的方法，其中，所述每個用戶的收藏列表存儲由所述單個用戶在特定日期中的特定時間觀看了兩次或更多次的頻道的廣播節(jié)目。
8.根據(jù)權(quán)利要求6所述的方法，其中，所述家庭收藏列表存儲由所述多個用戶在特定日期中的特定時間觀看了兩次或更多次的頻道的廣播節(jié)目。
9.一種使用多個不同類型的圖像傳感器的多媒體裝置，所述多媒體裝置包括 第一圖像傳感器，所述第一圖像傳感器獲取第一圖像；第二圖像傳感器，所述第二圖像傳感器獲取第二圖像；處理器，其檢測在所述第一圖像中的人，并且從所述第二圖像提取所述人的特征，其中，所述處理器確定所述人在所述第一圖像中的坐標(biāo)信息，并且根據(jù)所述坐標(biāo)信息在所述第二圖像中提取所述人的所述特征，其中，所述第一圖像傳感器和所述第二圖像傳感器具有交疊的視場，所述坐標(biāo)信息提供到所述人的距離的指示，并且所述處理器將所提取的特征與參考信息進(jìn)行比較，并且根據(jù)所述比較來識別所述人； 存儲器，其存儲每個用戶的偏好頻道； 顯示模塊，其顯示指示對應(yīng)的偏好頻道的引導(dǎo)消息；以及控制器，如果施加了選擇所述對應(yīng)的偏好頻道的信號，則所述控制器執(zhí)行用于切換至所述對應(yīng)的偏好頻道的控制操作。
10.根據(jù)權(quán)利要求9所述的多媒體裝置，其中，所述第一圖像傳感器對應(yīng)于深度照相機，并且所述第二圖像傳感器對應(yīng)于RGB照相機。
11.根據(jù)權(quán)利要求9所述的多媒體裝置，其中，將所述第一圖像傳感器和所述第二圖像傳感器嵌入在所述多媒體裝置中，或者將所述第一圖像傳感器和所述第二圖像傳感器設(shè)計為單獨的外部模塊。
12.根據(jù)權(quán)利要求11所述的多媒體裝置，其中，如果所述第一圖像傳感器和所述第二圖像傳感器嵌入在所述多媒體裝置中，則所述處理器通過利用所述第一圖像傳感器拍攝位于所述多媒體裝置周圍的第一圖像，從所拍攝的第一圖像中提取深度數(shù)據(jù)，通過利用所提取的深度數(shù)據(jù)來檢測至少一個用戶的臉部，通過利用所述第二圖像傳感器拍攝所檢測的用戶的臉部上的第二圖像，從所拍攝的第二圖像提取特征信息，訪問存儲有與所提取的特征信息相對應(yīng)的數(shù)據(jù)的存儲器，并且提取存儲在所述存儲器中的、識別特定用戶的信息。
13.根據(jù)權(quán)利要求9所述的多媒體裝置，其中，所述處理器包括確定模塊，該確定模塊確定已識別了單個用戶還是多個用戶。
14.根據(jù)權(quán)利要求13所述的多媒體裝置，其中，所述存儲器包括第一生成器，所述第一生成器生成每個用戶的收藏列表，該每個用戶的收藏列表存儲由所述單個用戶在特定日期中的特定時間觀看了兩次或更多次的頻道的廣播節(jié)目；以及第二生成器，所述第二生成器生成家庭收藏列表，該家庭收藏列表存儲由所述多個用戶在特定日期中的特定時間觀看了兩次或更多次的頻道的廣播節(jié)目。
15.根據(jù)權(quán)利要求14所述的多媒體裝置，其中，如果根據(jù)所述確定模塊的確定結(jié)果識別了所述單個用戶，則所述處理器通過訪問存儲有由所述第一生成器所生成的每個用戶的收藏列表的存儲器來提取關(guān)于與所述單個用戶相對應(yīng)的偏好頻道的信息。
16.根據(jù)權(quán)利要求14所述的多媒體裝置，其中，如果根據(jù)所述確定模塊的確定結(jié)果識別了所述多個用戶，則所述處理器通過訪問存儲有由所述第二生成器所生成的所述家庭收藏列表的存儲器來提取關(guān)于與所述多個用戶相對應(yīng)的偏好頻道的信息。
17.一種使用多個不同類型的圖像傳感器的多媒體裝置的控制方法，所述方法包括以下步驟獲取第一圖像；獲取第二圖像；檢測在所述第一圖像中的人；確定所述人在所述第一圖像中的坐標(biāo)信息；根據(jù)所述坐標(biāo)信息從所述第二圖像提取所述人的特征；將所提取的特征與參考信息進(jìn)行比較； 根據(jù)所述比較識別所述人；如果在正在輸出廣播節(jié)目時所識別的用戶離開所述多媒體裝置特定的范圍，則從當(dāng)所識別的用戶離開特定的范圍時開始存儲所述廣播節(jié)目；如果在第一圖像傳感器和第二圖像傳感器的控制下再次識別到該離開的用戶，則顯示引導(dǎo)是否輸出所存儲的廣播節(jié)目的消息；以及執(zhí)行輸出所存儲的廣播節(jié)目的控制操作。
18.根據(jù)權(quán)利要求17所述的方法，所述方法還包括以下步驟通過利用所述第一圖像傳感器拍攝位于所述多媒體裝置前面的所述第一圖像；從所拍攝的第一圖像提取深度數(shù)據(jù)；通過利用所提取的深度數(shù)據(jù)來檢測至少一個用戶的臉部；通過利用所述第二圖像傳感器拍攝所檢測的用戶的臉部上的第二圖像；從所拍攝的第二圖像提取特征信息；訪問存儲有與所提取的特征信息相對應(yīng)的數(shù)據(jù)的存儲器；以及提取存儲在所述存儲器中的、識別特定用戶的信息。
19.根據(jù)權(quán)利要求17所述的方法，所述方法還包括以下步驟顯示用于標(biāo)識在所述第一圖像傳感器和所述第二圖像傳感器的控制下所識別的用戶的信息。
20.根據(jù)權(quán)利要求17所述的方法，所述方法還包括以下步驟計算當(dāng)所識別的用戶從所述多媒體裝置離開特定的范圍時的時間；以及如果所計算的時間在特定的時間范圍內(nèi)，則執(zhí)行停止存儲所述廣播節(jié)目的控制操作。
21.根據(jù)權(quán)利要求17所述的方法，其中，所識別的用戶從所述多媒體裝置離開特定的范圍的情況對應(yīng)于在所述第一圖像傳感器和所述第二圖像傳感器的控制下不再檢測到所識別的用戶的情況。
22.根據(jù)權(quán)利要求17所述的方法，其中，所述第一圖像傳感器對應(yīng)于深度照相機，并且所述第二圖像傳感器對應(yīng)于RGB照相機。
23.根據(jù)權(quán)利要求17所述的方法，其中，將所述第一圖像傳感器和所述第二圖像傳感器嵌入在所述多媒體裝置中，或者將所述第一圖像傳感器和所述第二圖像傳感器設(shè)計為單獨的外部模塊。
24.一種利用多個不同類型的圖像傳感器的多媒體裝置，所述多媒體裝置包括 第一圖像傳感器，所述第一圖像傳感器獲取第一圖像；第二圖像傳感器，所述第二圖像傳感器獲取第二圖像；處理器，所述處理器檢測在所述第一圖像中的人，并且從所述第二圖像提取所述人的特征，其中，所述處理器確定所述人在所述第一圖像中的坐標(biāo)信息，并且根據(jù)所述坐標(biāo)信息在所述第二圖像中提取所述人的所述特征，其中，所述第一圖像傳感器和所述第二圖像傳感器具有交疊的視場，所述坐標(biāo)信息提供到所述人的距離的指示，并且所述處理器將所提取的特征與參考信息進(jìn)行比較，并且根據(jù)所述比較來識別所述人； 存儲器，所述存儲器存儲每個用戶的偏好頻道；提取器，所述提取器通過訪問所述存儲器來提取關(guān)于與至少一個用戶相對應(yīng)的偏好頻4道的信息；以及控制器，如果當(dāng)前正在使用的廣播數(shù)據(jù)的頻道不同于與所識別的用戶相對應(yīng)的偏好頻道，則所述控制器控制所述存儲器存儲所述偏好頻道的廣播節(jié)目。
25.根據(jù)權(quán)利要求M所述的多媒體裝置，所述多媒體裝置還包括顯示模塊，所述顯示模塊顯示引導(dǎo)是否輸出存儲在所述存儲器中的所述廣播節(jié)目的引導(dǎo)消息。
26.根據(jù)權(quán)利要求M所述的多媒體裝置，其中，所述控制器包括確定模塊，其確定由臉部識別模塊識別了單個用戶還是多個用戶；以及存儲控制器，其只有在識別了所述多個用戶時才將所述偏好頻道的所述廣播節(jié)目存儲在所述存儲器中。
27.根據(jù)權(quán)利要求M所述的多媒體裝置，其中，所述處理器監(jiān)視所識別的用戶的第一動作和多個第二動作，并且在所述第一動作的情況下確定是否將當(dāng)前的廣播節(jié)目作為偏好頻道登記在所述存儲器中，并且在所述第二動作的情況下確定是否根據(jù)時間變化的運動將所述當(dāng)前的廣播節(jié)目作為偏好頻道登記在所述存儲器中。
28.根據(jù)權(quán)利要求27所述的多媒體裝置，其中，所述第一動作對應(yīng)于特定的手勢，并且所述第二動作對應(yīng)于與所識別的用戶的關(guān)節(jié)的改變或者所識別的用戶從所述多媒體裝置離開相關(guān)的運動。
29.根據(jù)權(quán)利要求M所述的多媒體裝置，其中，所述第一圖像傳感器對應(yīng)于深度照相機，并且所述第二圖像傳感器對應(yīng)于RGB照相機。
30.根據(jù)權(quán)利要求四所述的多媒體裝置，其中，如果所述第一圖像傳感器和所述第二圖像傳感器嵌入在所述多媒體裝置中，則所述處理器通過利用所述第一圖像傳感器拍攝位于所述多媒體裝置前面的第一圖像，從所拍攝的第一圖像提取深度數(shù)據(jù)，通過利用所提取的深度數(shù)據(jù)來檢測至少一個用戶的臉部，通過利用所述第二圖像傳感器拍攝在所檢測的用戶的臉部上的第二圖像，從所拍攝的第二圖像提取特征信息，訪問存儲有與所提取的特征信息相對應(yīng)的數(shù)據(jù)的存儲器，并且提取存儲在所述存儲器中的、識別特定用戶的信息。
全文摘要
多媒體裝置、多個不同類型的圖像傳感器及其控制方法，一種對使用多個不同類型的圖像傳感器的多媒體裝置的控制方法，該方法包括以下步驟在用于提取深度數(shù)據(jù)的第一圖像傳感器和用于提取彩色數(shù)據(jù)的第二圖像傳感器的控制下、識別位于多媒體裝置周圍的至少一個用戶；訪問存儲有每個用戶的偏好頻道的存儲器；從所訪問的存儲器提取關(guān)于與所識別的用戶相對應(yīng)的偏好頻道的信息；根據(jù)所提取的信息執(zhí)行用于切換至偏好頻道的控制操作；以及監(jiān)視位于多媒體裝置前面的用戶的改變。
文檔編號G06K9/00GK102469372SQ20111035006
公開日2012年5月23日 申請日期2011年11月8日 優(yōu)先權(quán)日2010年11月11日
發(fā)明者任星玟, 姜敏九, 趙鏞元, 金泰亨, 金相起 申請人:Lg電子株式會社