專利名稱：圖像處理設(shè)備、方法、程序、攝像機設(shè)備、通信系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本申請涉及具有從拍攝的圖像中檢測臉部的功能并且可應(yīng)用于使用圖像的通信的圖像處理設(shè)備、攝像機設(shè)備、通信系統(tǒng)、圖像處理方法和程序。
背景技術(shù)：
包括從成像元件(成像傳感器)拍攝的圖像中檢測對象的臉部的臉部檢測器的攝像機設(shè)備已經(jīng)進入實際使用。
對于使用圖像的通信，諸如電視(下文中稱為TV)電話、TV會議系統(tǒng)、視頻郵件以及視頻聊天的各種形式的應(yīng)用已經(jīng)進入實際使用。
這些應(yīng)用的每個被配置使得對象的臉部及其背景被拍攝并且所拍攝的圖像被發(fā)送到通信對方。
在曰本專利No.3838506 (下文中稱為專利文件1)中，已經(jīng)提出了用于經(jīng)由公共網(wǎng)絡(luò)在多個點之間交換視頻數(shù)據(jù)的通信系統(tǒng)等。該通信系統(tǒng)具有存在于多個點的有限數(shù)量的通信設(shè)備、以及在有限數(shù)量的通信設(shè)備之間轉(zhuǎn)發(fā)視頻數(shù)據(jù)的交換的通信控制設(shè)備。在此系統(tǒng)中，以封閉的方式在有限數(shù)量的通信設(shè)備之間交換視頻數(shù)據(jù)。

發(fā)明內(nèi)容
順便提及，在TV電話、TV會議、視頻聊天等中，如果成像對象是用戶，則將通過捕獲用戶的臉部獲得的圖像數(shù)據(jù)在對該圖像數(shù)據(jù)未做任何處理的情況下發(fā)送到通信對方，以便在通信對方的顯示器上顯示。
這樣對不希望其臉部被通信對方觀看的用戶施加了精神壓力，因為其隱私不能被保護。
另外，同樣在這種設(shè)備用于房間內(nèi)或者辦公室而其用戶不希望發(fā)送房間或辦公室內(nèi)樣子的圖像的情況下，出現(xiàn)的問題是，房間或辦公室內(nèi)的樣子以及用戶的姿態(tài)變得被通信對方所知，就隱私保護和保護辦公室內(nèi)的秘密方面而言這是錯誤的。在專利文件1公開的通信設(shè)備(圖1等)中，如果圖像輸入單元是攝像
機，則由區(qū)域提取器從拍攝圖像中檢測臉部。然而，需要首先捕獲作為^r測對象的圖像，并且出現(xiàn)由于該捕獲的延遲。
此外，典型地，從圖像檢測臉部的功能的處理花費很長時間，并且因此也出現(xiàn)了由于該處理的延遲。
此外，基于臉部檢測的結(jié)果針對元數(shù)據(jù)處理圖像，并且通過通信數(shù)據(jù)處理由通信單元將元數(shù)據(jù)與圖像一起發(fā)送到通信路徑。因此，由于到元數(shù)據(jù)的處理，出現(xiàn)了延遲時間。
由于上述原因，在專利文件1公開的技術(shù)中，通信設(shè)備中由于處理導(dǎo)致的延遲時間相當長，并且通信設(shè)備上的負載相當重。
另外，如果將上述處理應(yīng)用于運動圖像(例如30fp)和基于大量像素的圖像，則伴隨通信設(shè)備中的處理的延遲時間和負載將變得更顯著。
如果使用高性能通信設(shè)備以便降低負載，則盡管可以降低延遲時間和負載，但增加系統(tǒng)成本。
此外，需要為上述處理準備對于延遲時間用于捕獲圖像的存儲器，并且由于一般而言圖像存儲器具有高容量，因此系統(tǒng)成本增加。
此外，鑒于上述情形，存在這樣的可能性，在最壞的情況下，由于降低了運動圖像的幀頻和實時特性的惡化，圖像的視覺識別變得不可能，因而系統(tǒng)變得不實用。
此外，在由攝像機捕獲后未被處理的圖像(未經(jīng)歷所謂的隱私屏蔽處理的圖像)至少被臨時存儲在通信設(shè)備或通信路徑中的任何記錄單元內(nèi)。該圖像可能被惡意用戶竊取，或者由于來自網(wǎng)絡(luò)的黑客(hack)行為而泄露?？紤]到這一點，未實現(xiàn)真正意義的隱私保護。
作為允許多個點處的多個用戶使用圖像彼此通信的通信方法，使用集中控制設(shè)備的TV會議系統(tǒng)是已知的。
然而，在將隱私保護的技術(shù)應(yīng)用于這種對于多個點的TV會議系統(tǒng)的情況下，如果移除背景，或者為了隱私保護而處理了臉部，則類似地從背景的移除或者臉部區(qū)域的處理得到的視頻被發(fā)送到所有的會議參與者。
此外，允許在多個點處的多個用戶使用圖像彼此通信的系統(tǒng)包含其中不特定的用戶參與的形式，諸如網(wǎng)上的視頻聊天。在此情況下，需要取決于通信對方而控制從背景的移除或臉部區(qū)域的處理得到的視頻。例如，將存在這樣的情況，其中用戶不介意將其臉部顯示給特定圖像通信端的用戶，但是不 希望將其臉部顯示給其他用戶。
類似地，同樣在商用的多個點之間的TV會議的系統(tǒng)中，如果會議的參 與者包括公司的用戶和公司以外的用戶，可能允許向公司的用戶示出包括背 景的圖像，而實行移除了背景的與公司以外的用戶的通信。
在專利文件1公開的通信系統(tǒng)(圖16等)中，如果通信控制設(shè)備基于元 數(shù)據(jù)執(zhí)行隱私屏蔽處理，則需要首先接收被轉(zhuǎn)換成分組并對應(yīng)于一整個圖像 的所有圖像數(shù)據(jù)，并且出現(xiàn)由于該接收的通信延遲。
通常所獲取的圖像數(shù)據(jù)已經(jīng)經(jīng)過壓縮(mpeg、 jpeg等)，除非將壓縮的數(shù) 據(jù)重新恢復(fù)為原始數(shù)據(jù)，否則不能執(zhí)行隱私屏蔽處理。此外，在隱私屏蔽處 理之后，需要進行類似的圖像壓縮處理，并且出現(xiàn)由于該處理的延遲。
另外，類似地需要將經(jīng)歷了隱私屏蔽處理和壓縮處理的圖像數(shù)據(jù)轉(zhuǎn)換成 分組，并且需要發(fā)送對應(yīng)于一整個圖像的所有圖像數(shù)據(jù)。因此，出現(xiàn)相應(yīng)的 圖像延遲。
由于上述原因，通信控制設(shè)備中由于處理導(dǎo)致的延遲時間相當長，并且 通信控制設(shè)備上的負載相當重。
另外，如果將上述處理應(yīng)用于運動圖像(例如30*)、基于大量像素的圖 像、以及來自多個用戶的通信，則伴隨通信控制設(shè)備中的處理的延遲時間以
及負載變得更顯著。
如果使用高性能的通信控制設(shè)備以便降低負載，則盡管可以降低延遲時 間和負載，但系統(tǒng)成本增加。
此外，通常，存在各種圖像數(shù)據(jù)壓縮系統(tǒng)，并且可被覆蓋的壓縮系統(tǒng)取 決于用戶和網(wǎng)站。因此，在諸如維護的管理方面，支持包含這些系統(tǒng)的通信 控制設(shè)備也導(dǎo)致成本的增加。
另外，通信控制設(shè)備經(jīng)常需要處理和發(fā)送在像素數(shù)量上等同于原始圖像 (在文件大小上幾乎相等)的很多種圖像數(shù)據(jù)，比如未經(jīng)歷隱私屏蔽處理的 圖像、臉部區(qū)域經(jīng)歷了隱私屏蔽處理的圖像、以及背景經(jīng)歷了隱私屏蔽處理 的圖像。
在此情況下，很顯然，通信流量相當大?？紤]到上述情況，存在這樣的 可能，在最壞的情況下，由于運動圖像的幀頻的降低以及實時特性的惡化， 圖像的視覺識別變得不可能，并且系統(tǒng)變得不實用。在專利文件1公開的通信系統(tǒng)(圖18等)中，如果通信設(shè)備A經(jīng)由通
信控制設(shè)備連接到通信網(wǎng)絡(luò)，則"通信控制設(shè)備"等效于所謂的通信服務(wù)器
并且一般很昂貴。
所有用戶都購買這種昂貴的裝置是極其困難的。
另外，通常，需要先進的技術(shù)來安裝通信服務(wù)器，并且對于一般用戶而 言安裝和操作它是很困難的。
每一定數(shù)量的用戶安裝該通信控制設(shè)備將是可能的。然而，如上所述， 通信服務(wù)器通常很昂貴。因此，在諸如維護的管理方面，安裝很多服務(wù)器導(dǎo) 致成本增加，并且操作它們導(dǎo)致成本的進一步增加。
本發(fā)明需要提供一種圖像處理設(shè)備、攝像機設(shè)備、通信系統(tǒng)、圖像處理 方法和程序，其允許縮短由于處理和控制引起的延遲時間，以由此增強實時 特性，并即使圖像泄露也允許真正意義上的隱私保護，而不增加成本。
根據(jù)本發(fā)明的第一實施例，提供了一種圖像處理設(shè)備，包括臉部檢測 器，被配置以基于拍攝的圖像來檢測臉部；以及輸出處理器，被配置以具有 對于由所述臉部檢測器檢測的臉部的圖像或者所述臉部的背景的圖像執(zhí)行用 于隱私保護的隱私屏蔽處理的功能。所述輸出處理器包括分離地輸出每個經(jīng) 歷了或未經(jīng)歷所述隱私屏蔽處理的、由所述臉部檢測器檢測的臉部的圖像和 所述臉部的背景的圖像的功能。
根據(jù)本發(fā)明的第二實施例，提供了一種攝像機設(shè)備，包括成像元件； 光學(xué)系統(tǒng)，被配置以在所述成像元件上形成對象圖像；以及圖像處理設(shè)備， 被配置以對所述成像元件拍攝的圖像執(zhí)行圖像處理。所述圖像處理設(shè)備包括 臉部檢測器，基于拍攝的圖像來檢測臉部；以及輸出處理器，具有對于由所 述臉部4全測器檢測的臉部的圖像或者所述臉部的背景的圖像執(zhí)行用于隱私保 護的隱私屏蔽處理的功能。所述輸出處理器包括分離地輸出每個經(jīng)歷了或未 經(jīng)歷所述隱私屏蔽處理的、由所述臉部檢測器檢測的臉部的圖像和所述臉部 的背景的圖像的功能。
根據(jù)本發(fā)明的第三實施例，提供了一種通信系統(tǒng)，包括發(fā)送系統(tǒng)，被 配置以包括攝像機設(shè)備和發(fā)送由所述攝像機設(shè)備拍攝的圖像數(shù)據(jù)的發(fā)送設(shè) 備；以及接收系統(tǒng)，被配置以包括經(jīng)由通信路徑接收從所述發(fā)送系統(tǒng)發(fā)送的 圖像數(shù)據(jù)的接收設(shè)備。在所述系統(tǒng)中，所述攝像機設(shè)備包括成像元件；光 學(xué)系統(tǒng)，被配置以在所述成像元件上形成對象圖像；以及圖像處理設(shè)備，被配置以對所述成像元件拍攝的圖像執(zhí)行圖像處理。所述圖像處理設(shè)備包括 臉部檢測器，基于拍攝的圖像來檢測臉部；以及輸出處理器，具有對于由所
述臉部檢測器檢測的臉部的圖像或者所述臉部的背景的圖像執(zhí)行用于隱私保 護的隱私屏蔽處理的功能。所述輸出處理器能夠?qū)⑴臄z的圖像分離為每個都 經(jīng)歷了或未經(jīng)歷隱私屏蔽處理的、通過剪切檢測的臉部的區(qū)域而獲得的圖像 和所述區(qū)域的背景的圖像，并分離地輸出從分離得到的圖像。所述輸出處理 器能夠輸出通過剪切經(jīng)歷了隱私屏蔽處理的區(qū)域而獲得的圖像和所述區(qū)域的 背景的圖像，作為彼此不同的圖像。所述輸出處理器能夠把下述信息與對應(yīng)
于該信息的圖像同步地輸出關(guān)于在圖像中檢測到臉部的區(qū)域的信息、關(guān)于 經(jīng)歷了隱私屏蔽處理的區(qū)域的信息、或者關(guān)于未經(jīng)歷隱私屏蔽處理的區(qū)域的 信息，。所述發(fā)送設(shè)備至少發(fā)送在捕獲臉部的同時捕獲的、并且通過分離獲得 的背景圖像。所述接收系統(tǒng)中的接收設(shè)備至少接收所發(fā)送的背景圖像。
根據(jù)本發(fā)明的第四實施例，提供了 一種執(zhí)行輸出至少由臉部檢測器檢測 的臉部的圖像和所述臉部的背景的圖像的處理的圖像處理方法。所述方法包 括步驟由所述臉部檢測器基于拍攝的圖像檢測臉部；對檢測的臉部的圖像 和所述臉部的背景的圖像執(zhí)行用于隱私保護的隱私屏蔽處理；以及分離地輸 出每個經(jīng)歷了或未經(jīng)歷所述隱私屏蔽處理的檢測的臉部的圖像和所述臉部的 背景的圖像。
根據(jù)本發(fā)明的第五實施例，提供了一種程序，用于致使計算機執(zhí)行輸出 至少由臉部檢測功能檢測的臉部的圖像和所述臉部的背景的圖像的處理的圖 像處理。所述圖像處理包括基于拍攝的圖像檢測臉部的處理；對檢測的臉 部的圖像和所述臉部的背景的圖像執(zhí)行用于隱私保護的隱私屏蔽處理的處 理；以及分離地輸出每個經(jīng)歷了或未經(jīng)歷所述隱私屏蔽處理的檢測的臉部的 圖像和所述臉部的背景的圖像的處理。
根據(jù)本發(fā)明的實施例，基于捕獲的圖像，由臉部檢測器檢測臉部，并且 對檢測的臉部的圖像及其背景的圖像執(zhí)行諸如馬賽克、模糊或填充的隱私屏 蔽處理。
隨后，分離地輸出檢測的臉部的圖像及其背景的圖像，并輸出相對于背 景檢測的臉部的區(qū)域信息。
本發(fā)明的實施例允許縮短由于處理和控制引起的延遲時間，以由此提高 實時特性而不增加成本。另外，即使圖像泄露，本發(fā)明的實施例也允許真正意義上的隱私保護。


圖1是示出了根據(jù)本發(fā)明的實施例的采用圖像處理設(shè)備的攝像機設(shè)備的
配置例子的方框圖2A到2M是示出了原始圖像和經(jīng)歷了隱私屏蔽處理的圖像的例子的
圖3是示意性示出實施例的圖像剪切單元的第一操作例子的圖； 圖4是示意性示出實施例的圖像剪切單元的第二操作例子的圖； 圖5是示意性示出實施例的圖像剪切單元的第三操作例子的圖； 圖6是示出了與根據(jù)實施例的攝像機設(shè)備的第二使用形式有關(guān)的通信系
統(tǒng)的配置例子的圖7是示出了與根據(jù)實施例的攝像機設(shè)備的第三使用形式有關(guān)的通信系
統(tǒng)的配置例子的圖8是用于說明圖像組合方法的第一圖； 圖9是用于說明圖像組合方法的第二圖； 圖IO是用于說明圖像組合方法的第三圖；以及
圖11是示出網(wǎng)服務(wù)器基于區(qū)域信息將形象(avatar)圖像發(fā)送到接收設(shè)備 的例子的圖。
具體實施例方式
下面將結(jié)合附圖描述本發(fā)明的實施例。
圖1是示出根據(jù)本發(fā)明的實施例的采用圖像處理設(shè)備的攝像機設(shè)備的配 置例子的方框圖。
如圖1所示，根據(jù)本實施例的攝像機設(shè)備10具有光學(xué)系統(tǒng)11、成像元 件(成像傳感器)12、攝像機信號處理器13、圖像存儲器14、縮小電路15、 臉部檢測圖像存儲器16、臉部檢測器17、輸出處理器18以及作為控制器的 微計算機19。
根據(jù)本實施例的攝像機設(shè)備IO被配置為具有以下功能的設(shè)備在微計算 機19的控制下，基于拍攝的圖像由臉部檢測器17檢測臉部，并對于所檢測 的臉部的圖像或者其背景的圖像，由輸出處理器18執(zhí)行諸如馬賽克、模糊或填充的隱私屏蔽處理。另外，攝像機設(shè)備10被配置為這樣的設(shè)備其可以分 離地輸出檢測的臉部的圖像和其背景的圖像，并且可以輸出檢測的臉部相對 于背景的區(qū)域信息。
攝像機設(shè)備10被如此配置以便能夠?qū)⑺臄z的圖像分離為通過剪切檢 測的臉部的區(qū)域而獲得的圖像和其背景的圖像(在本實施例中，可以用任何 單一顏色來填充移除圖像的區(qū)域)，并分離輸出這些圖像。
自然，不分離原始的拍攝圖像也是可能的，并且因此不分離地輸出兩個 圖像。"分離輸出，，可以是經(jīng)由不同的信道輸出，或者以時分方式輸出。
攝像機設(shè)備10被如此配置以便能夠輸出通過剪切經(jīng)歷了諸如馬賽克、模 糊或填充的隱私屏蔽處理的區(qū)域而獲得的圖像和其背景的圖像(在本實施例 中，可以用任何單一顏色來填充移除圖像的區(qū)域)，作為彼此不同的圖像。
自然，同樣在此情況下，不分離原始的拍攝圖像也是可能的，并且因此 不分離地輸出兩個圖像。"彼此不同的圖像，，可以經(jīng)由不同的信道輸出，或者 以時分方式輸出。
攝像機設(shè)備10被如此配置以便能夠把下述信息與對應(yīng)于該信息的圖像 同步地輸出關(guān)于在圖像中檢測到臉部的區(qū)域的信息、關(guān)于經(jīng)歷了隱私屏蔽 處理的區(qū)域的信息、關(guān)于未經(jīng)歷隱私屏蔽處理的區(qū)域的信息(在對背景執(zhí)行 隱私屏蔽處理的情況)、或者關(guān)于背景圖像中的填充區(qū)域的信息。
該"輸出"可以是自外部從攝像機設(shè)備中的控制寄存器中讀出，或者經(jīng) 由與圖像輸出的信道不同的信道輸出。另外，在數(shù)字圖像數(shù)據(jù)的情況下，區(qū) 域信息可以作為元數(shù)據(jù)被埋入(bury)圖像中。
同樣在此情況下，與以上描述類似，是否分離圖像都沒關(guān)系。
下面將描述根據(jù)本實施例的攝像機設(shè)備10的具體配置和功能。
光學(xué)系統(tǒng)11包括例如鏡頭111，并且通過鏡頭111在成像元件12的成像 面上形成對象圖像。
成像元件12由例如作為電荷耦合器件(CCD )或互補金屬氧化物半導(dǎo)體 (CMOS)器件的成像傳感器形成。
成像元件12通過以矩陣形式布置在半導(dǎo)體襯底上的光學(xué)傳感器檢測通 過光學(xué)系統(tǒng)11形成的對象圖像，并且生成信號電荷。成像元件12經(jīng)由垂直 信號線和水平信號線讀出信號電荷，并將對象的數(shù)字圖像信號輸出到攝像機 信號處理器13。攝像機信號處理器13將經(jīng)歷了諸如顏色插補、白平衡、YCbCr轉(zhuǎn)換處理、 壓縮和填充的處理的圖像(下文中稱為原始圖像)作為圖像IMOR輸出到圖 像存儲器14和縮小電路15。
原始圖像被存儲在圖像存儲器14中。
存儲在圖像存儲器14中的原始圖像在輸出處理器18中經(jīng)歷隱私屏蔽處 理、圖像剪切(分離)、格式轉(zhuǎn)換等，以便被輸出到外部。
用于存儲原始圖像的圖像存儲器14被提供，以便以時分方式執(zhí)行多次隱 私屏蔽處理、圖像剪切(分離)、格式轉(zhuǎn)換等，并且不是必須需要的。
在本描述中，僅作為例子示出圖像存儲器14。
縮小電路15在臉部檢測圖像存儲器16中存儲通過以任意縮小率縮小原 始圖像IM0R (其全部區(qū)域或者從分離和剪切得到的區(qū)域)而獲得的圖像、以 及通過在分離后僅剪切原始圖像IM0R的部分而獲得的圖像。
縮小電路15例如通過使用由微計算機19設(shè)置的關(guān)于設(shè)置圖像劃分和要 剪切的區(qū)域的信息以及關(guān)于縮小率的信息來劃分原始圖像IM0R的整個圖像 區(qū)域(劃分成例如4/9/16/25/36/段)?？s小電路15將從劃分得到的圖像供 應(yīng)至臉部檢測器17。
縮小后的圖像尺寸是允許臉部檢測器17執(zhí)行處理的尺寸。
臉部檢測器17通過使用由微計算機19設(shè)置的關(guān)于要檢測的臉部的大小、 要檢測的區(qū)域等的信息、基于圖像存儲器16中存儲的圖像來檢測臉部。
諸如檢測位置和臉部大小的臉部檢測器17的檢測結(jié)果被供應(yīng)至微計算機。
可以通過軟件或硬件實現(xiàn)臉部檢測器17，并且其算法、電路配置等可以 是公知的和已有的。
輸出處理器18對通過對從圖像存儲器14輸出的原始圖像執(zhí)行失真校正、 剪切、合成等獲得的圖像數(shù)據(jù)執(zhí)行伽瑪處理、屏蔽處理、格式轉(zhuǎn)換等。輸出 處理器18將得到的圖像數(shù)據(jù)輸出到外部。
圖1的輸出處理器18具有隱私屏蔽處理器181、圖像剪切單元182和格 式轉(zhuǎn)換器183。
隱私屏蔽處理器181基于臉部檢測結(jié)果，在微計算機19的控制下，對從 圖像存儲器14中存儲的原始圖像中檢測的臉部的圖像或其背景的圖像執(zhí)行 諸如馬賽克、模糊或填充的隱私屏蔽處理。圖像剪切單元182在微計算機19的控制下剪切例如4企測的臉部區(qū)域的圖 像、其背景的圖像、經(jīng)歷了諸如馬賽克、模糊或填充的隱私屏蔽處理的區(qū)域 的圖像、以及其背景的圖像，并將剪切的圖像輸出到格式轉(zhuǎn)換器183。
格式轉(zhuǎn)換器183對圖像剪切單元182獲得的剪切圖像執(zhí)行格式轉(zhuǎn)換處理， 并同步地輸出得到的圖像與區(qū)域信息。
作為區(qū)域信息，輸出以下種類的信息的任一種關(guān)于在圖像中檢測到臉 部的區(qū)域的信息；關(guān)于經(jīng)歷了隱私屏蔽處理的區(qū)域的信息；關(guān)于未經(jīng)歷隱私 屏蔽處理的區(qū)域的信息(在對背景執(zhí)行隱私屏蔽處理的情況下)；以及關(guān)于背 景圖像中的填充區(qū)域的信息。
可以通過軟件或硬件實現(xiàn)隱私屏蔽處理器181，并且其算法、電路配置 等可以是公知的和現(xiàn)有的。
在本例子中，隱私屏蔽處理器181的輸出信道的數(shù)量是兩個，并且剪切 單元182和格式轉(zhuǎn)換器183的輸出信道的數(shù)量每個都是四個。然而，輸出信 道的數(shù)量可以是任意的。另外，允許以時分方式輸出圖像的配置和控制也是 可能的。
微計算機19具有以下功能設(shè)置縮小電路15中的圖像劃分、要剪切的 區(qū)域以及縮小率，并控制圖^f象劃分、剪切處理和縮小處理。
微計算機19具有以下功能設(shè)置臉部檢測器17要檢測的臉部的大小、 臉部檢測器17要檢測的區(qū)域等等，并控制臉部檢測處理。微計算機19獲取 諸如位置和臉部大小的檢測結(jié)果
微計算機19對臉部檢測器17實行控制，并獲取臉部檢測結(jié)果，即在原 始圖像中檢測到臉部的區(qū)域?；谠摻Y(jié)果，微計算機19對隱私屏蔽處理器 181實行控制，并且^L情況而定，實行以下控制允許圖像剪切單元182剪 切或移除(分離)圖像，以由此經(jīng)由不同的信道輸出圖像。
在本實施例中，將在原始圖像中檢測到臉部的區(qū)域、經(jīng)歷了隱私屏蔽處 理的區(qū)域、或者圖像移除了的區(qū)域從外部接口 (IF)輸出到微計算機19。
然而，本發(fā)明不限于此配置，而且也可以分別地提供輸出，并且從其與 圖像數(shù)據(jù)同步地輸出區(qū)域?？商鎿Q地，關(guān)于該區(qū)域的信息可以通過格式轉(zhuǎn)換 器作為元數(shù)據(jù)埋入圖像數(shù)據(jù)中。
下面將做出關(guān)于才艮據(jù)本實施例的拍攝的圖像的隱私屏蔽處理、圖像剪切/ 移除處理、區(qū)域信息、使用形式等的更具體地描述。最初，下面將結(jié)合圖2描述隱私屏蔽處理。
<隱私屏蔽處理>
圖2A到2M是示出原始圖像和經(jīng)歷了隱私屏蔽處理的圖像的例子的圖。 具體地，圖2A示出了原始圖像，從該原始圖像中檢測到臉部，并且其
他圖示出了對檢測的臉部的區(qū)域和/或其背景的區(qū)域執(zhí)行隱私屏蔽處理的例子。
具體地，圖2B示出了對臉部執(zhí)行馬賽克處理的例子。圖2C示出了對臉 部的背景執(zhí)行馬賽克處理的例子。圖2D示出了對臉部和背景的全部執(zhí)行馬 賽克處理的例子。圖2E示出了對臉部執(zhí)^^莫糊處理的例子。圖2F示出了對 臉部的背景執(zhí)行模糊處理的例子。圖2G示出了對臉部和背景的全部執(zhí)行模 糊處理的例子。圖2H示出了對臉部執(zhí)行用單一顏色填充的處理的例子。圖 2I示出了對臉部的背景執(zhí)行用單一顏色填充的處理的例子。圖2J示出了對臉 部和背景的全部執(zhí)行用單一顏色填充的處理的例子。圖2K示出了對臉部執(zhí) 行混合(blend)處理的例子。圖2L示出了對臉部的背景執(zhí)行混合處理的例子。 圖2M示出了對臉部和背景的全部執(zhí)行混合處理的例子。
本實施例中的隱私屏蔽處理器181對在原始圖像IMOR中檢測到臉部的 區(qū)域和/或其背景的區(qū)域執(zhí)行用于隱私保護的圖像處理(比如馬賽克、才莫糊、 填充和混合(透過(transmission))處理)，如圖2A到2M所示。
在圖2A到2M的例子中，從原始圖像中檢測一個臉部，并且對臉部的區(qū) 域執(zhí)行隱私屏蔽處理。然而，執(zhí)行隱私屏蔽處理的區(qū)域的數(shù)量可以是任意的 (如果檢測到多個臉部，則可以對多個區(qū)域執(zhí)行隱私屏蔽處理)。不需要一定 對這些區(qū)域執(zhí)行隱私屏蔽處理?？梢詫φ麄€原始圖像IMOR執(zhí)行隱私屏蔽處 理。
在圖2A到2M中，采用具有大小幾乎等于所;險測的臉部大小的矩形作為 執(zhí)行隱私屏蔽處理的區(qū)域。然而，區(qū)域的形狀可以是圓形、橢圓形或其他形 狀，并且其大小也可以是任意的。
另外，馬賽克寬度、模糊度、填充的顏色、混合的顏色和能見度可以是 任意的,并且可以組合任意的這些方案。
下面將結(jié)合圖3到圖5描述圖像剪切/移除處理。
<圖像剪切/移除處理>
圖3是示意性示出本實施例中的圖像剪切單元的第 一操作例子的圖。圖4是示意性示出本實施例中的圖像剪切單元的第二操作例子的圖。 圖5是示意性示出本實施例中的圖像剪切單元的第三操作例子的圖。 圖像剪切單元從隱私屏蔽處理器輸入的圖像中剪切或移除(分離)任意 區(qū)域。
要剪切或移除的區(qū)域不需要一定是在原始圖像中檢測到臉部的區(qū)域或者 經(jīng)歷了隱私屏蔽處理的區(qū)域，并且其大小可以是任意的。要剪切的區(qū)域的數(shù) 量可以是任意的(可以剪切多個區(qū)域)，并且不需要一定剪切或移除區(qū)域。
由于與圖像處理有關(guān)的原因，希望區(qū)域的形狀是矩形。然而，可以采用 fe何形狀，只要處理是可能的。
圖3示出了隱私屏蔽處理器181對在原始圖像IMOR中檢測到臉部的區(qū) 域執(zhí)行馬賽克處理并然后將得到的圖像照原樣輸出而不在圖像剪切單元182 中進行任何處理的例子。
在圖4的例子中，從隱私屏蔽處理器181的輸出OT1照原樣輸出未經(jīng)歷 處理的原始圖像IMOR，并且從輸出OT2輸出通過對原始圖像IMOR的整個 區(qū)域執(zhí)行馬賽克處理而獲得的圖像。其后，圖像剪切單元182剪切并移除與 在原始圖像IMOR中檢測到臉部的區(qū)域?qū)?yīng)的圖像，并然后輸出得到的圖像。
用任意顏色填充圖像移除的區(qū)域。
在圖5的例子中，隱私屏蔽處理器181不執(zhí)行處理，并且圖像剪切單元 182移除在原始圖像中檢測到臉部的區(qū)域，然后輸出得到的圖像。 用任意顏色填充圖像移除的區(qū)域。 <區(qū)域信息>
區(qū)域信息指的是用于指示在原始圖像中檢測到臉部的區(qū)域、經(jīng)歷了隱私 屏蔽處理的區(qū)域、或者圖像移除了的區(qū)域的信息。該信息捐示原始圖像中的 區(qū)域的水平開始位置、水平寬度、垂直開始位置和垂直寬度、或者原始圖像 中的區(qū)域的水平開始位置、水平結(jié)束位置、垂直開始位置和垂直結(jié)束位置。
要輸出的區(qū)域信息是取決于以下描述中的使用的任何信息。
下面將描述具有上述配置的攝像機設(shè)備10的使用形式。
<攝像機設(shè)備的使用形式>
如果通過使用攝像機設(shè)備10的目標是TV電話、TV會議、視頻聊天等 中的隱私保護，則主要可以列出根據(jù)本實施例的攝像機設(shè)備10的三種使用形 式。<第 一使用形式>
在第 一使用形式中，針對所有接收設(shè)備保護發(fā)送者的隱私。 在此形式中，如同圖3的例子，從攝像機設(shè)備10本身輸出經(jīng)歷了隱私屏
蔽處理的圖像，以便向各個接收設(shè)備發(fā)送，并且接收設(shè)備簡單地接收和顯示圖像。
此時，也可以同時發(fā)送區(qū)域信息。 <第二使用形式>
圖6是示出與根據(jù)本發(fā)明的實施例的攝像機設(shè)備的第二使用形式有關(guān)的
通信系統(tǒng)的配置例子的圖。
該通信系統(tǒng)100被配置為4吏得發(fā)送系統(tǒng)200和接收系統(tǒng)300可以經(jīng)由網(wǎng) 絡(luò)40(M皮此通信。
發(fā)送系統(tǒng)200包括根據(jù)本實施例的攝像機設(shè)備10、以及將攝像機設(shè)備10 的輸出發(fā)送到網(wǎng)絡(luò)400的發(fā)送設(shè)備210。
接收系統(tǒng)300具有接收設(shè)備310、 320、 330和340。接收設(shè)備310、 320、 330和340分別包括組合處理器311、 321、 331和341,每個組合處理器具有 圖像組合功能。
發(fā)送系統(tǒng)200中的發(fā)送設(shè)備210向接收系統(tǒng)300中的接收設(shè)備310、320、 330和340發(fā)送通過同時成像和分離而獲得的背景圖像IM2和IM4、圖像IM2 的區(qū)域信息和圖像IM4的區(qū)域信息AI4、以及剪切圖像IM1和IM3。
在圖6的例子中，剪切圖像IM1是未經(jīng)歷隱私屏蔽處理的臉部的圖像， 并且剪切圖像IM3是經(jīng)歷了作為隱私屏蔽處理的馬賽克處理的臉部的圖像。
背景圖像IM2是通過從原始圖像中移除剪切圖像IM1而獲得的圖像，并 且背景圖像IM4是通過從原始圖像中移除剪切圖像IM3而獲得的圖像。
接收設(shè)備310、 320、 330和340接收背景圖像IM2和IM4、其區(qū)域信息 AR2和AR4、以及剪切圖像IM1和IM3。基于區(qū)域信息，接收設(shè)備通過組合 處理器311、 321、 331和341來組合剪切圖像與背景圖像，以由此創(chuàng)建每一 個圖像。
在圖6的例子中，接收設(shè)備310接收剪切圖像IM1和背景圖像IM2。組 合處理器311執(zhí)行組合處理以由此創(chuàng)建(復(fù)原(restore))未經(jīng)歷隱私屏蔽處理 的圖像。
接收設(shè)備320接收剪切圖像IM3和背景圖像IM2。組合處理器321執(zhí)行組合處理以由此創(chuàng)建(復(fù)原)對臉部執(zhí)行了馬賽克處理的圖像。
接收設(shè)備330接收剪切圖像IM1和背景圖像IM4.組合處理器331執(zhí)行組 合處理以由此創(chuàng)建(復(fù)原)對背景執(zhí)行了馬賽克處理的圖像。
接收設(shè)備340接收剪切圖像IM3和背景圖像IM4。組合處理器341執(zhí)行 組合處理以由此創(chuàng)建(復(fù)原)對臉部和背景的全部執(zhí)行了馬賽克處理的圖像。
以此方式，通信系統(tǒng)100允許真正意義上的隱私保護。
背景圖像及其區(qū)域信息可以被作為元數(shù)據(jù)埋入圖像數(shù)據(jù)中。
在本實施例中，將背景圖像、剪切圖像、未經(jīng)歷隱私屏蔽處理的圖像以 及經(jīng)歷了隱私屏蔽處理的圖像視作彼此不同的通信數(shù)據(jù)。
本例子的"通信系統(tǒng)"還包括如圖6所示的網(wǎng)絡(luò)400。上述通信數(shù)據(jù)可 以符合現(xiàn)有通信協(xié)議。所述圖像數(shù)據(jù)的圖像(壓縮)格式可以是現(xiàn)有的格式。
如上，在第二使用形式中，不對任何接收設(shè)備保護發(fā)送者的隱私，而針 對其他的接收設(shè)備保護發(fā)送者的隱私。
具體地，如圖4所示，從攝像機設(shè)備10輸出未經(jīng)歷隱私屏蔽處理的剪切 圖像、未經(jīng)歷隱私屏蔽處理的部分移除的圖像、及其區(qū)域信息。另外，從攝 像機輸出經(jīng)歷了瞎私屏蔽處理的剪切圖像、經(jīng)歷了隱私屏蔽處理的部分移除 的圖像、及其區(qū)域信息。
隨后，如圖6所示，這些圖像和區(qū)域信息被發(fā)送到接收設(shè)備310到340。 接收設(shè)備310到340接收部分移除的圖像、其區(qū)域信息、以及剪切圖像，并 基于區(qū)域信息組合剪切圖像與背景圖像，以便顯示圖像。
由于此操作，在接收系統(tǒng)300中，可以通過僅僅組合簡單接收的剪切圖 像與簡單接收的部分移除的圖像而實現(xiàn)與任何接收設(shè)備的每個對應(yīng)的、發(fā)送 者想要的各種隱私保護。
在圖6中，作為例子，要發(fā)送的各種圖像數(shù)據(jù)的數(shù)量是4個。然而，各 種圖像數(shù)據(jù)的數(shù)量可以是取決于使用目的的任意數(shù)量。
例如，如果僅與接收設(shè)備310和320實行通信，則傳輸三種圖像數(shù)據(jù)是 足夠的圖6的圖像數(shù)據(jù)IM1 、 IM2和IM3 。
此外，不是順序地將圖像數(shù)據(jù)從發(fā)送設(shè)備發(fā)送到各個接收設(shè)備，而是一 般可以通過使用通信控制設(shè)備(通信服務(wù)器)基于廣播通信將圖像數(shù)據(jù)發(fā)送 到多個接收設(shè)備。因此，自然，對于發(fā)送設(shè)備，無論接收設(shè)備的數(shù)量，僅一 次發(fā)送需要數(shù)量的圖像數(shù)據(jù)的種類是足夠的。圖7是示出了與根據(jù)本實施例的攝像機設(shè)備的第三使用形式有關(guān)的通信 系統(tǒng)的配置例子的圖。
在第三使用形式中，發(fā)送設(shè)備210將拍攝的背景圖像(在此情況下，用 任何單一顏色填充圖像移除的區(qū)域)IM2發(fā)送到接收設(shè)備3210等。接收設(shè)備 310等接收背景圖像，并檢測與從背景圖像中剪切的圖像對應(yīng)的區(qū)域?；?檢測結(jié)果，接收設(shè)備310等通過組合處理器311等來組合形象(動畫人物) ANM與背景圖像，以由此創(chuàng)建一個圖像。
在此例子中，不傳送剪切的圖像。
類似于"上描述，該通信系統(tǒng)100A也包括網(wǎng)絡(luò)400。上述通信數(shù)據(jù)可以 符合現(xiàn)有通信協(xié)議。上述圖像數(shù)據(jù)的圖像(壓縮)格式可以是現(xiàn)有的格式。
使用形象ANM可以被認為是隱私保護，或者可以被認為是娛樂。
以此方式，在第三使用形式中，對于所有接收設(shè)備以形象代表發(fā)送者， 以由此保護發(fā)送者的隱私。
具體地，如圖5所示，從攝像機設(shè)備IO輸出被移除了檢測到臉部的區(qū)域 的圖像以及該圖像的區(qū)域信息。隨后，如圖7所示，圖像和區(qū)域信息被發(fā)送 到每個接收設(shè)備。接收設(shè)備基于所接收的部分移除的圖像及其區(qū)域信息來組 合形象ANM的圖像與背景圖像，并顯示所創(chuàng)建的圖像。
以下方案也是可用的。具體地，僅從攝像機設(shè)備IO輸出被移除了檢測到 臉部的區(qū)域的圖像(不使用區(qū)域信息)，并且僅將該圖像發(fā)送到每個接收設(shè)備。 接收設(shè)備通過摳像(chromakey)(用于檢測特定顏色的技術(shù))等在接收的部 分移除的圖像中檢測圖像移除的區(qū)域?；跈z測結(jié)果，接收設(shè)備組合形象與 背景圖'像，并顯示創(chuàng)建的圖像。
用于通過摳像的圖像移除的區(qū)域的檢測的算法、電路配置等可以是任意的。
〈使用形式的應(yīng)用〉 上述使用形式可以相互組合。
例如，可能的是，在第一使用形式中，發(fā)送區(qū)域信息，并且某些接收i殳 備照原樣顯示接收的圖像，而其他一些接收設(shè)備基于區(qū)域信息顯示包括了形 象的圖像。
同樣如上所述，要剪切的圖像的數(shù)量和圖像移除的區(qū)域的數(shù)量是任意的。
20在此情況下，要發(fā)送的圖像的種類的數(shù)量和要發(fā)送的圖像的數(shù)量經(jīng)常變 得很大，自然，要組合的圖像的數(shù)量經(jīng)常變得很大。 接下來，下面將描述圖像組合方法。 <圖4象組合方法>
圖8是用于說明圖像組合方法的第一圖。 圖9是用于說明圖像組合方法的第二圖。 圖IO是用于說明圖像組合方法的第三圖。
作為用于在第二和第三使用形式中組合剪切圖像與部分移除的圖像的方 法，基于從區(qū)域信息中獲取的水平開始位置和垂直開始位置在部分移除的圖 像上寫上剪切圖像，如圖8所示。
然而，該方法包括這樣的可能性，作為經(jīng)過通信對這些圖像的壓縮和復(fù) 原的結(jié)果，剪切圖像和部分移除的圖像之間的邊界是不同(distinct)的。
對于此情況，如圖9所示，為要剪切的圖像提供具有任意寬度的邊距(空 白)，并且在圖像組合時該寬度的區(qū)域經(jīng)歷與部分移除的圖像的混合(透過) 處理。
用于混合(透過)處理的算法、電路配置等可以是任意的。
在圖9的情況下，可以基于發(fā)送和接收設(shè)備都知道具有預(yù)定寬度的邊距 的供應(yīng)的前提來處理區(qū)域信息。可替換地，可以從發(fā)送設(shè)備向接收設(shè)備單獨 地傳輸邊距信息，或者可以將其作為元數(shù)據(jù)埋入圖像數(shù)據(jù)中。
作為用于在第三使用形式中組合形象圖像與部分移除的圖像的方法，如 圖IO所示，以這樣的方式基于從區(qū)域信息獲取的水平開始位置、垂直開始位 置等寫上具有使得覆蓋圖像移除的區(qū)域的大小的形象圖像不寫上 (overwr i te)形象圖像的空白的區(qū)域，而寫上形象圖像的人物的區(qū)域。
為形象圖像定義a值(透過率)并執(zhí)行混合(透過)處理也是可能的。 例如，對于空白區(qū)域，將a設(shè)置為100%，并且對于人物區(qū)域，將a設(shè)置為 0%。
<圖像組合的裝置>
在上述使用形式中，作為例子，釆用接收設(shè)備作為組合圖像的裝置。然 而，可以在通信路徑上的任何裝置(包括發(fā)送設(shè)備、個人計算機(PC)、通 信控制設(shè)備(通信服務(wù)器)、網(wǎng)服務(wù)器等)中組合圖像(在第三使用形式的情 況下是形象)。<形象圖像>
圖11是示出網(wǎng)服務(wù)器(web server)基于區(qū)域信息將形象圖像發(fā)送到接收 設(shè)備的例子的圖。
在上述第三使用形式中，作為例子，接收設(shè)備準備形象圖像并將其組合。 然而，通信路徑上的任何裝置(包括發(fā)送設(shè)備、個人計算機(PC)、通信控 制設(shè)備(通信服務(wù)器)、網(wǎng)服務(wù)器等)可以基于區(qū)域信息AI將形象圖像發(fā)送 到接收設(shè)備，并且接收設(shè)備可以組合圖像。
具體地，例如如圖11所示，還可能的是，網(wǎng)服務(wù)器500基于區(qū)域信息 AI將形象ANM的圖像發(fā)送到接收設(shè)備。
如上所述，本實施例可以實現(xiàn)以下優(yōu)點。
攝像機設(shè)備本身輸出隱私保護的圖像。因此，甚至當記錄設(shè)備存在于通 信系統(tǒng)中時，即使由于圖像數(shù)據(jù)被惡意用戶盜用或來自網(wǎng)絡(luò)的黑客行為而導(dǎo) 致圖像泄露，由于所存儲的(至少臨時地)圖像已經(jīng)經(jīng)歷了隱私保護，因此 可以在真正意義上保護隱私。
由于從攝像機設(shè)備本身輸出各種圖像及其區(qū)域信息，因此發(fā)送設(shè)備不需 要具有臉部檢測功能。因此，可以極大地降低系統(tǒng)成本，并且可以降低處理 和控制的負載。另外，可以極大地縮短由于處理和控制引起的延遲時間，這 提高了實時特性。
在從發(fā)送設(shè)備發(fā)送從攝像機設(shè)備本身輸出的剪切圖像、部分移除的圖像 及其區(qū)域信息并且接收設(shè)備組合這些圖像以由此顯示經(jīng)歷了隱私屏蔽處理的 圖像時，通信控制設(shè)備(通信服務(wù)器)不需要具有執(zhí)行隱私屏蔽處理的功能。 另外，視情況而定，經(jīng)歷了隱私屏蔽處理的多種圖像不需要被發(fā)送到每個接 收設(shè)備。因此，可以極大地降低系統(tǒng)成本，并且可以降低處理和控制的負載。 另夕卜，可以極大地縮短由于處理和控制引起的延遲時間，這提高了實時特性。
在上述配置中，對于通信控制設(shè)備(通信服務(wù)器)，僅實行僅僅分組的路 由和廣播通信是足夠的。因此，負載及其延遲等同于現(xiàn)有技術(shù)中的通信控制 設(shè)備的負載及其延遲。
此外，由于不需要復(fù)原圖像，因此，不需要支持各種壓縮系統(tǒng)。
在從攝像機設(shè)備本身輸出各種圖像及其區(qū)域信息并且從發(fā)送設(shè)備發(fā)送的 情況下，各個接收設(shè)備可以僅通過組合接收的圖像而容易地允許與接收者對 應(yīng)的發(fā)送者的各種隱私的保護。在從發(fā)送設(shè)備發(fā)送從攝像機設(shè)備本身輸出的剪切圖像和部分移除的圖像 的情況下，剪切圖像中的像素數(shù)量很小，因此其圖像數(shù)據(jù)大小很小。另外， 壓縮部分移除的圖像導(dǎo)致小的圖像數(shù)據(jù)，這是因為 一般地圖像中的單一顏色
的純色區(qū)(plainarea)的出現(xiàn)提供了高壓縮效率。
因此，因此與從通信控制設(shè)備(通信服務(wù)器)向接收設(shè)備發(fā)送經(jīng)歷了隱 私屏蔽處理的、具有幾乎等同于原始圖像的大小的圖像數(shù)據(jù)的情況相比極大 地降低了通信流量，且提高了實時特性。
此外，如果從攝像機設(shè)備本身輸出部分移除的圖像及其區(qū)域信息并且顯 示包括形象的圖像，則與以上描述類似地，極大地降低了通信流量，并且因 此提高了實時特性。
此外，可以容易地實現(xiàn)基于區(qū)域信息將形象圖像從網(wǎng)服務(wù)器發(fā)送到接收 設(shè)備的應(yīng)用，而不犧牲實時特性。
在此情況下，不需要在接收設(shè)備中準備形象圖像。
由于上述原因，隱私保護是可能的，并且對應(yīng)于各個接收者，可以實現(xiàn) 發(fā)送者意要的各種隱私保護。另外，能夠容易地實現(xiàn)包括發(fā)送和接收設(shè)備、 個人計算機(PC )、通信控制設(shè)備(通信服務(wù)器)、網(wǎng)服務(wù)器等并具有輕負載、 小通信流量和高實時特性的通信系統(tǒng)。可以極大地降低通信系統(tǒng)的成本。
基本上，與是否出現(xiàn)或不出現(xiàn)光學(xué)縮放、固定焦距等無關(guān)，本發(fā)明的實 施例可以覆蓋諸如典型數(shù)字照相機和攝像機的全部攝像機。
還可能的是，以上詳細描述的方法被實現(xiàn)為與上述過程對應(yīng)的程序，并 由諸如中央處理單元的計算機執(zhí)行。
這種程序可以被存儲在諸如半導(dǎo)體存儲器、磁盤、光盤、軟盤(注冊商 標)等的記錄介質(zhì)中，并且可以通過在其中設(shè)置了這種記錄介質(zhì)的計算機的 存取而執(zhí)行。
將理解，盡管已經(jīng)結(jié)合具體實施例描述了本發(fā)明，但是4艮明顯，根據(jù)在 上的描述，很多替換、修改和變更對于本領(lǐng)域技術(shù)人員是可能的。因此，本 發(fā)明意要包含落入所附權(quán)利要求的精神和范圍內(nèi)的所有這種替換、修改和變 更。
相關(guān)申請的交叉引用
本發(fā)明包含與2008年2月15日在日本專利局提交的日本專利申請JP 2008-034295有關(guān)的主題，通過？ 1用將其全部內(nèi)容合并于此。
2權(quán)利要求
1. 一種圖像處理設(shè)備，包括臉部檢測器，被配置以基于拍攝的圖像來檢測臉部；以及輸出處理器，被配置以具有對于由所述臉部檢測器檢測的臉部的圖像或者所述臉部的背景的圖像執(zhí)行用于隱私保護的隱私屏蔽處理的功能，其中所述輸出處理器包括分離地輸出每個經(jīng)歷了或未經(jīng)歷所述隱私屏蔽處理的、由所述臉部檢測器檢測的臉部的圖像和所述臉部的背景的圖像的功能。
2. 根據(jù)權(quán)利要求1的圖像處理設(shè)備，其中所述輸出處理器能夠?qū)⑴臄z的圖像分離為通過剪切所檢測的臉部的區(qū)域所獲得的圖像和所述區(qū)域的背景的圖像，并分離地輸出從所述分離得到的圖像。
3. 根據(jù)權(quán)利要求1的圖像處理設(shè)備，其中所述輸出處理器能夠輸出通過剪切經(jīng)歷了隱私屏蔽處理的區(qū)域而獲得的圖像和所述區(qū)域的背景的圖像，作為彼此不同的圖像。
4. 根據(jù)權(quán)利要求1的圖像處理設(shè)備，其中所述輸出處理器能夠把下述信息與對應(yīng)于該信息的圖像同步地輸出關(guān)于在圖像中檢測到臉部的區(qū)域的信息、關(guān)于經(jīng)歷了隱私屏蔽處理的區(qū)域的信息、或者關(guān)于未經(jīng)歷隱私屏蔽處理的區(qū)域的信息。
5. 根據(jù)權(quán)利要求2的圖像處理設(shè)備，其中所述輸出處理器能夠用任意顏色填充圖像移除的區(qū)域，以及所述輸出處理器能夠^t巴下述信息與對應(yīng)于該信息的圖同步地輸出關(guān)于在圖像中檢測到臉部的區(qū)域的信息、關(guān)于經(jīng)歷了隱私屏蔽處理的區(qū)域的信息、關(guān)于未經(jīng)歷隱私屏蔽處理的區(qū)域的信息、或者關(guān)于背景圖像中的填充區(qū)域的信息。
6. —種攝像機設(shè)備，包括成像元件；光學(xué)系統(tǒng)，被配置以在所述成像元件上形成對象圖像；以及圖像處理設(shè)備，被配置以對所述成像元件拍攝的圖像執(zhí)行圖像處理，其所述圖像處理設(shè)備包括臉部檢測器，基于拍攝的圖像來檢測臉部；以及輸出處理器，具有對于由所述臉部檢測器檢測的臉部的圖像或者所述臉部的背景的圖像執(zhí)行用于隱私保護的隱私屏蔽處理的功能，其中所述輸出處理器包括分離地輸出每個經(jīng)歷了或未經(jīng)歷所述隱私屏蔽處理的、由所述臉部檢測器檢測的臉部的圖像和所述臉部的背景的圖像的功能。
7. 根據(jù)權(quán)利要求6的攝像機設(shè)備，其中所述輸出處理器能夠?qū)⑴臄z的圖像分離為通過剪切所檢測的臉部的區(qū)域所獲得的圖像和所述區(qū)域的背景的圖像，并分離地輸出從所述分離得到的圖像。
8. 根據(jù)權(quán)利要求6的攝像機設(shè)備，其中所述輸出處理器能夠輸出通過剪切經(jīng)歷了隱私屏蔽處理的區(qū)域而獲得的圖像和所述區(qū)域的背景的圖像，作為彼此不同的圖像。
9. 根據(jù)權(quán)利要求6的攝像機設(shè)備，其中所述輸出處理器能夠把下述信息與對應(yīng)于該信息的圖^f象同步地輸出關(guān)于在圖像中檢測到臉部的區(qū)域的信息、關(guān)于經(jīng)歷了隱私屏蔽處理的區(qū)域的信息、或者關(guān)于未經(jīng)歷隱私屏蔽處理的區(qū)域的信息。
10. 根據(jù)權(quán)利要求7的攝像機設(shè)備，其中所述輸出處理器能夠用任意顏色填充圖像移除的區(qū)域，以及所述輸出處理器能夠把下述信息與對應(yīng)于該信息的圖像同步地輸出關(guān)于在圖像中檢測到臉部的區(qū)域的信息、關(guān)于經(jīng)歷了隱私屏蔽處理的區(qū)域的信息、關(guān)于未經(jīng)歷隱私屏蔽處理的區(qū)域的信息、或者關(guān)于背景圖像中的填充區(qū)域的信息。
11. 一種通信系統(tǒng)，包括發(fā)送系統(tǒng)，被配置以包括攝像機設(shè)備和發(fā)送由所述攝像機設(shè)備拍攝的圖像數(shù)據(jù)的發(fā)送設(shè)備；以及接收系統(tǒng)，被配置以包括經(jīng)由通信路徑接收從所述發(fā)送系統(tǒng)發(fā)送的圖像數(shù)據(jù)的接收設(shè)備，其中所述攝像機設(shè)備包括成像元件；光學(xué)系統(tǒng)，在所述成像元件上形成對象圖像；以及圖像處理設(shè)備，對所述成像元件拍攝的圖像執(zhí)行圖像處理，其中所述圖像處理設(shè)備包括臉部檢測器，基于拍攝的圖像來檢測臉部；以及輸出處理器，具有對于由所述臉部檢測器檢測的臉部的圖像或者所述臉部的背景的圖像執(zhí)行用于隱私保護的隱私屏蔽處理的功能，所述輸出處理器能夠?qū)⑴臄z的圖像分離為每個經(jīng)歷了或未經(jīng)歷隱私屏蔽處理的、通過剪切檢測的臉部的區(qū)域所獲得的圖像和所述區(qū)域的背景的圖像，并分離地輸出從所述分離得到的圖像，所述輸出處理器能夠輸出通過剪切經(jīng)歷了隱私屏蔽處理的區(qū)域而獲得的圖像和所述區(qū)域的背景的圖像，作為彼此不同的圖像，所述輸出處理器能夠把下述信息與對應(yīng)于該信息的圖像同步地輸出關(guān)于在圖像中檢測到臉部的區(qū)域的信息、關(guān)于經(jīng)歷了隱私屏蔽處理的區(qū)域的信息、或者關(guān)于未經(jīng)歷隱私屏蔽處理的區(qū)域的信息，所述發(fā)送設(shè)備發(fā)送在捕獲臉部的同時捕獲的、并且通過分離獲得的背景圖4象，以及所述接收系統(tǒng)中的接收設(shè)備接收所發(fā)送的背景圖像。
12. 根據(jù)權(quán)利要求11的通信系統(tǒng)，其中所述發(fā)送系統(tǒng)中的發(fā)送設(shè)備發(fā)送同時拍攝并通過分離獲得的背景圖像和臉部的剪切圖像，并發(fā)送所述背景圖像的區(qū)域信息，以及所述接收系統(tǒng)中的接收設(shè)備接收所發(fā)送的背景圖像、所述背景圖像的區(qū)域信息、以及剪切的圖像，并基于所述區(qū)域信息來組合所述剪切的圖像與所述背景圖像，以由此創(chuàng)建一個圖像。
13. 根據(jù)權(quán)利要求11的通信系統(tǒng)，其中所述接收系統(tǒng)中的接收設(shè)備接收所發(fā)送的背景圖像和所述背景圖像的區(qū)域信息，并基于所述區(qū)域信息組合形象與所述背景圖像，以由此創(chuàng)建一個圖像。
14. 根據(jù)權(quán)利要求11的通信系統(tǒng)，其中所述攝像機設(shè)備中的輸出處理器能夠用任意顏色填充圖像移除的區(qū)域，所述發(fā)送設(shè)備發(fā)送所述背景圖像，以及所述接收系統(tǒng)中的接收設(shè)備接收所發(fā)送的背景圖像，并基于檢測的關(guān)于從所述背景圖像中剪切的圖像的區(qū)域信息來組合形象與所述背景圖像，以由此創(chuàng)建一個圖像。
15. 根據(jù)權(quán)利要求11的通信系統(tǒng)，其中所述通信路徑上的預(yù)定裝置組合預(yù)定圖像與從所述發(fā)送系統(tǒng)中的發(fā)送設(shè)備發(fā)送的圖像，并將得到的圖像發(fā)送到所述接收設(shè)備，以及所述接收系統(tǒng)中的接收設(shè)備接收由所述通信路徑上的預(yù)定裝置組合所得到的圖像。
16. 根據(jù)權(quán)利要求12的通信系統(tǒng)，其中所述通信路徑上的預(yù)定裝置基于所述區(qū)域信息將用于隱私保護的圖像發(fā)送到所述接收設(shè)備，以及所述接收系統(tǒng)中的接收設(shè)備組合該用于隱私保護的圖像與未經(jīng)歷隱私屏蔽處理的圖像，或者對所述圖像執(zhí)行混合處理，以由此創(chuàng)建一個圖像。
17. 根據(jù)權(quán)利要求13的通信系統(tǒng)，其中所述通信路徑上的預(yù)定裝置基于所述區(qū)域信息將所述形象的圖像發(fā)送到所述接收設(shè)備。
18. 根據(jù)權(quán)利要求14的通信系統(tǒng)，其中所述通信路徑上的預(yù)定裝置檢測從背景圖像中剪切的圖像的區(qū)域，并基于檢測的結(jié)果將形象的圖像發(fā)送到所述接收設(shè)備。
19. 一種執(zhí)行輸出由臉部檢測器檢測的臉部的圖像和所述臉部的背景的圖像的處理的圖像處理方法，所述方法包括步驟由所述臉部檢測器基于拍攝的圖像檢測臉部；對檢測的臉部的圖像或所述臉部的背景的圖像執(zhí)行用于隱私保護的隱私屏蔽處理；以及分離地輸出每個經(jīng)歷了或未經(jīng)歷所述隱私屏蔽處理的檢測的臉部的圖像和所述臉部的背景的圖像。
20. —種程序，用于致使計算機執(zhí)行輸出由臉部檢測功能檢測的臉部的圖像和所述臉部的背景的圖像的處理的圖像處理，所述圖像處理包括基于拍攝的圖像檢測臉部的處理；對檢測的臉部的圖像或所述臉部的背景的圖像執(zhí)行用于隱私保護的隱私屏蔽處理的處理；以及分離地輸出每個經(jīng)歷了或未經(jīng)歷所述隱私屏蔽處理的檢測的臉部的圖像和所述臉部的背景的圖像的處理。
全文摘要
一種圖像處理設(shè)備，包括臉部檢測器，被配置以基于拍攝的圖像來檢測臉部；以及輸出處理器，被配置以具有對于由所述臉部檢測器檢測的臉部的圖像或者所述臉部的背景的圖像執(zhí)行用于隱私保護的隱私屏蔽處理的功能。所述輸出處理器包括分離地輸出經(jīng)歷了或未經(jīng)歷所述隱私屏蔽處理的、由所述臉部檢測器檢測的臉部的圖像和所述臉部的背景的圖像的功能。
文檔編號H04N5/225GK101510957SQ200910006358
公開日2009年8月19日 申請日期2009年2月16日 優(yōu)先權(quán)日2008年2月15日
發(fā)明者依田光二 申請人:索尼株式會社