用于圖像捕獲目標(biāo)鎖定的方法和裝置制造方法
【專利摘要】根據(jù)本發(fā)明的示例性實(shí)施例，公開了一種方法和對應(yīng)的裝置和計(jì)算機(jī)程序，用于：從照相機(jī)單元的圖像傳感器接收圖像(505)；監(jiān)測所接收的圖像中的不同對象的位置(510)；確定所述不同對象中的哪個對象，如果有的話，是用戶感興趣或應(yīng)當(dāng)感興趣的主對象(515)；檢測是否有主對象變?yōu)楸凰霾煌瑢ο笾械牧硪粚ο笳趽醪⑶翼憫?yīng)于對所述遮擋的檢測而觸發(fā)第一動作(520)。
【專利說明】用于圖像捕獲目標(biāo)鎖定的方法和裝置
【技術(shù)領(lǐng)域】
[0001]本申請總體上涉及圖像捕獲目標(biāo)鎖定(targeting)。
【背景技術(shù)】
[0002]在數(shù)字拍攝中，視場圖像被引導(dǎo)至形成數(shù)字圖像的照相機(jī)傳感器。為了將光聚焦在照相機(jī)傳感器上，如照相機(jī)系統(tǒng)中所知，使用了物鏡。照片中的深度感可以通過生成有限精度的深度場來獲得。比所謂的焦平面更近或更遠(yuǎn)的對象顯得愈加模糊，這使得突出顯示期望的對象。當(dāng)照相機(jī)與對象之間的距離變化時或如果物鏡的焦距被變焦縮放而改變，則自動聚焦使照相機(jī)能夠?qū)⑺x擇的感興趣的對象保持聚焦。
[0003]為了自動聚焦，照相機(jī)需要知道應(yīng)當(dāng)對圖像的哪些部分聚焦。為此，自動聚焦可以采用面部檢測或其它算法來找出可能感興趣的目標(biāo)。簡單來說，用戶通過將單個聚焦點(diǎn)對準(zhǔn)期望的對象來識別目標(biāo)點(diǎn)，例如，通過將觸發(fā)按鈕向下按壓一半來鎖定焦點(diǎn)并且接著使照相機(jī)返回以一些其它方式取景，如果需要的話。在一些增強(qiáng)的照相機(jī)中，自動聚焦被配置為跟蹤感興趣的對象并且對它保持聚焦，即使在該對象移動時。這種跟蹤式自動聚焦，也被稱為人工智能伺服或連續(xù)聚焦，例如在對飛行的鳥拍照時很有用。

【發(fā)明內(nèi)容】

[0004]本發(fā)明示例的各方面在權(quán)利要求中闡述。
[0005]根據(jù)本發(fā)明的第一示例方面，提供一種裝置，包括:
[0006]輸入，用于從照相機(jī)單元的圖像傳感器接收圖像；
[0007]處理器，被配置為:
[0008]監(jiān)測所接收的圖像中的不同對象的位置；
[0009]確定所述不同對象中的哪個對象，如果有的話，是用戶感興趣或應(yīng)當(dāng)感興趣的主對象；
[0010]檢測是否有主對象被所述不同對象中的另一對象遮擋并且響應(yīng)于對所述遮擋的檢測而觸發(fā)第一動作。
[0011 ] 所述裝置可以進(jìn)一步包括輸出。
[0012]所述第一動作可以是通過所述輸出發(fā)出遮擋檢測信號。所述處理器可以進(jìn)一步被配置為確定所述照相機(jī)應(yīng)當(dāng)被橫向移動多少以避免所述遮擋。所述第一動作可以進(jìn)一步或可替代地包括發(fā)出移動信號，所述移動信號指示所述照相機(jī)單元應(yīng)當(dāng)被朝向其移動以避免所述遮擋的方向。所述移動信號可以進(jìn)一步包括確定所述照相機(jī)應(yīng)當(dāng)被移動多少。所述移動信號的發(fā)出可以受制于對所述照相機(jī)單元應(yīng)當(dāng)被移動多少的確定，以便僅在小于給定閾值的移動被確定是需要的時發(fā)出所述移動信號。
[0013]所述第一動作可以是啟動連續(xù)拍攝模式。所述處理器可以進(jìn)一步被配置為在所述連續(xù)拍攝模式作為所述第一動作啟動期間，檢測并且自動丟棄出現(xiàn)所述遮擋的所述圖像中的一些或全部。[0014]所述第一動作可以是延遲圖像捕獲。所述圖像捕獲可以被延遲最多給定的最大時間段。所述最大時間段可以是0.5至3秒。所述最大時間段可以是固定的。可替代地，所述最大時間段可以根據(jù)一個或多個因素來動態(tài)地定義。所述因素可以包括下列各項(xiàng)中的一個或多個:所述被遮擋的主對象和遮擋對象的相對速度；在所述被遮擋的主對象被捕獲的情況下是否已經(jīng)拍攝了其它圖像；在目前被遮擋的主對象可見的情況下較早的圖像的清晰度；估計(jì)的曝光時間段；是否使用了閃光單元，并且如果使用了所述閃光單元，可選地還包括所述閃光單元的可能的閃光頻率。
[0015]所述輸入可以進(jìn)一步被配置為從自動聚焦單元接收對象信息。所述對象信息可以包括深度信息。所述處理器可以被配置為將所接收的對象信息用作監(jiān)測所接收的圖像中的所述不同對象的基礎(chǔ)。
[0016]監(jiān)測所述不同對象的位置可以包括確定所述不同對象在橫向方向上的位置。監(jiān)測所述不同對象的位置還可以涉及確定所述不同對象沿著在所述照相機(jī)單元與所述對象之間延伸的軸線即深度上的位置。所述處理器可以被配置為通過面部檢測以及通過計(jì)算所述圖像中至少一個面部特征的比例來確定對象的深度。所述至少一個面部特征可以包括由眼睛、耳朵、嘴巴、眉毛、下巴尖和/或頭部的尺寸形成的兩個或更多點(diǎn)?；诳紤]中的所述面部特征的典型尺寸，所述處理器可以被配置為估計(jì)所述照相機(jī)單元與作為所述圖像中的所述不同對象之一出現(xiàn)的人物之間的距離。
[0017]所述處理器可以被配置為執(zhí)行基于飛行時間的深度映射。所述處理器可以被配置為基于已知的照明時序和所述圖像傳感器時序來計(jì)算所述飛行時間。
[0018]所述處理器可以被配置為如果在所接收的圖像中僅識別出一個對象則跳過對主對象的確定和對遮擋的檢測。
[0019]所述處理器可以被配置為檢測所接收的圖像中的不同對象。為了檢測所述不同對象，所述處理器可以被配置為使所述照相機(jī)單元:在整個或大部分可用聚焦范圍內(nèi)改變聚焦，以不同的聚焦拍攝圖像，并且基于所述聚焦被改變時所述圖像的不同部分如何變得聚焦和/或散焦來確定不同距離處的對象?？商娲鼗蚋郊拥?，所述處理器可以被配置為從所述照相機(jī)單元接收深度圖并且在確定所述不同對象時使用所述深度圖。所述深度圖可以來源于所述自動聚焦單元。所述處理器可以進(jìn)一步被配置為接收對所述取景器上識別的所述對象中的一個或多個對象的用戶選擇。所述識別可以包括在所述顯示器上對對象的視覺突出顯示。所述突出顯示可以包括:圍繞對象畫框；改變對象的顏色；改變對象的亮度和/或?qū)Ρ榷?；或以上各?xiàng)的任何組合。可替代地或附加地，識別所檢測的不同對象可以包括分別呈現(xiàn)所檢測的不同對象。
[0020]所述處理器可以被配置為采用顏色用于監(jiān)測所接收的圖像中的所述不同對象的位置。
[0021]根據(jù)本發(fā)明的第二示例方面，提供一種方法，包括:
[0022]從照相機(jī)單元的圖像傳感器接收圖像；
[0023]監(jiān)測所接收的圖像中的不同對象的位置；
[0024]確定所述不同對象中的哪個對象，如果有的話，是用戶感興趣或應(yīng)當(dāng)感興趣的主對象；以及
[0025]檢測是否有主對象被所述不同對象中的另一對象遮擋并且響應(yīng)于對所述遮擋的檢測而觸發(fā)第一動作。
[0026]根據(jù)本發(fā)明的第三示例方面，提供一種如權(quán)利要求51所限定的裝置。
[0027]根據(jù)本發(fā)明的第四示例方面，提供一種如權(quán)利要求52所限定的計(jì)算機(jī)程序。
[0028]根據(jù)本發(fā)明的第五示例方面，提供一種方法，包括:
[0029]從照相機(jī)單元的圖像傳感器接收全分辨率圖像；
[0030]檢測所接收的圖像中的圖像對象；
[0031]取得對應(yīng)于所檢測的圖像對象中的一個或多個圖像對象的分離的圖像或視頻；
[0032]對所述分離的圖像或視頻中的一個或多個進(jìn)行下采樣；以及
[0033]存儲所取得的分離的圖像或視頻。
[0034]可以檢測至少一個圖像對象是否被另一圖像對象遮擋。
[0035]根據(jù)本發(fā)明的第六示例方面，提供一種裝置，被配置為執(zhí)行第二或第五示例方面的方法。
[0036]所述裝置可以包括存儲計(jì)算機(jī)程序代碼的存儲器和被配置為基于所述計(jì)算機(jī)程序代碼控制所述裝置的操作的處理器。
[0037]根據(jù)本發(fā)明的第七示例方面，提供一種計(jì)算機(jī)程序，包括當(dāng)被處理器執(zhí)行時使所述處理器執(zhí)行第二或第五示例方面的方法的程序代碼。
[0038]根據(jù)本發(fā)明的第八示例方面，提供一種計(jì)算機(jī)可讀存儲介質(zhì)，其包括第四示例方面的計(jì)算機(jī)程序。
[0039]所述存儲介質(zhì)可以包括諸如數(shù)據(jù)盤或軟盤的數(shù)字?jǐn)?shù)據(jù)存儲設(shè)備、光存儲設(shè)備、磁存儲設(shè)備、全息存儲設(shè)備、光磁存儲設(shè)備、相變存儲器、電阻式隨機(jī)存儲器、磁隨機(jī)存儲器、固體電解質(zhì)存儲器、鐵電隨機(jī)存儲器、有機(jī)存儲器或聚合物存儲器。所述存儲介質(zhì)可以形成為沒有除了存儲之外的其它實(shí)質(zhì)功能的設(shè)備，或它可以形成為具有其它功能的設(shè)備的一部分，包括但不限于計(jì)算機(jī)、芯片組和電子設(shè)備的子組件的存儲器。
[0040]前文已經(jīng)示出了本發(fā)明的不具有約束力的不同示例方面和實(shí)施例。上面的實(shí)施例僅用于解釋可以在本發(fā)明的實(shí)施中利用的所選擇的方面或步驟。一些實(shí)施例可以僅參照本發(fā)明的某些示例方面來介紹。應(yīng)當(dāng)理解的是，對應(yīng)的實(shí)施例還可以應(yīng)用于其它示例方面。
【專利附圖】

【附圖說明】
[0041]為了更完整地理解本發(fā)明的示例性實(shí)施例，現(xiàn)在參照下面關(guān)于附圖進(jìn)行的描述，其中:
[0042]圖1示出本發(fā)明的示例性實(shí)施例的系統(tǒng)的架構(gòu)概況；
[0043]圖2示出本發(fā)明的示例性實(shí)施例的裝置的框圖；
[0044]圖3示出本發(fā)明的示例性實(shí)施例的照相機(jī)單元的框圖；
[0045]圖4示出本發(fā)明的示例性實(shí)施例的示例性取景器視圖；以及
[0046]圖5示出本發(fā)明的示例性實(shí)施例的過程的流程圖。
【具體實(shí)施方式】
[0047]圖1示出本發(fā)明的示例性實(shí)施例的系統(tǒng)100的架構(gòu)概況。該系統(tǒng)包括具有照相機(jī)單元(圖2中的260)的裝置200，該照相機(jī)單元具有第一視場110和第二視場120。第一視場110是主視場并且還在裝置200的取景器(圖2中的270)上呈現(xiàn)給裝置200的用戶。該第二視場由示例性實(shí)施例提供，其中該照相機(jī)單元具有比用于當(dāng)前成像的大得多的分辨率和視場；該實(shí)施例將在本文獻(xiàn)的結(jié)尾附近處進(jìn)行更詳細(xì)的描述。為簡便起見，第一視場110下面被稱為視場110。
[0048]在不同的實(shí)施例中，裝置200是或者包括下列中的一個或多個:移動設(shè)備、手持設(shè)備、移動電話、數(shù)字照相機(jī)、個人數(shù)字助理、游戲設(shè)備、手持游戲設(shè)備、導(dǎo)航設(shè)備和車載用戶設(shè)備。
[0049]在視場110中，有畫作笑臉的第一和第二成像對象10、20。第二成像對象20正在移動并且以虛線示出它的較早位置。在該視場中還有部分的第三成像對象30，第三成像對象30正在關(guān)于視場110傾斜地移動。在這些目前的位置中，第一至第三成像對象都沒有被其它對象遮擋。換句話說，每個成像對象對于裝置200的照相機(jī)單元260完全可見，自然盡管僅從裝置200的這一側(cè)來看。然而，在它的較早位置，第二成像對象20正在遮擋第一成像對象10(假定在相對圖面的方向上這些對象占據(jù)共同的平面)。一個或多個成像對象的遮擋是在例如拍攝一組人物或動物時容易出現(xiàn)的情況，并且圖像中有越多圖像對象越有可能。該術(shù)語圖像對象指的是出現(xiàn)在圖像中的對象，諸如飛機(jī)、狗或人的頭部。要理解的是，通常，圖像的背景可以包含各種對象，諸如山峰或幾件家具。在一些情況下，一個物理對象的不同部分形成分離的圖像對象。例如，人的手可能遮擋其面部，在這種情況下，所述手和面部被看作是分離的圖像對象。不同圖像對象可以被看作可被處理器210識別的或由該用戶定義的這些圖像部分。
[0050]圖2示出本發(fā)明的示例性實(shí)施例的裝置200的框圖。裝置200包括通信接口 220、耦合到通信接口模塊220的處理器210和耦合到處理器210的存儲器240。存儲器240包括工作存儲器和非易失性存儲器，諸如只讀存儲器、閃存存儲器、光或磁存儲器。在存儲器240中，典型地至少初始在非易失性存儲器中，存儲有可操作地加載到處理器210并且由處理器210執(zhí)行的軟件250。軟件250可以包括一個或多個軟件模塊，并且可以是計(jì)算機(jī)程序產(chǎn)品的形式，該計(jì)算機(jī)程序產(chǎn)品是存儲于存儲介質(zhì)中的軟件。裝置200進(jìn)一步包括各自耦合到該處理器的照相機(jī)單元260和取景器270。
[0051]應(yīng)當(dāng)理解的是，本文獻(xiàn)中的任何耦合指的是功能上或操作上耦合；在耦合的元件之間可以有中介部件或電路。
[0052]通信接口模塊220被配置為通過一個或多個本地鏈路提供本地通信。這些鏈路可以是有線鏈路和/或無線鏈路。通信接口 220可以進(jìn)一步或可替代地實(shí)施適于與其他用戶建立鏈路或適于數(shù)據(jù)傳送的遠(yuǎn)程通信鏈路(例如，使用互聯(lián)網(wǎng))。這些遠(yuǎn)程通訊鏈路可以是使用無線局域網(wǎng)鏈路、藍(lán)牙、超寬帶、蜂窩或衛(wèi)星通信鏈路中的任一個的鏈路。通信接口220可以被集成到裝置200或集成到可以被插入裝置200的適當(dāng)插槽或端口的適配器、卡等。雖然圖2示出一個通信接口 220，但是該裝置可以包括多個通信接口 220。
[0053]處理器210例如是中央處理單元(CPU)、微處理器、數(shù)字信號處理器(DSP)、圖形處理單元、專用集成電路(ASIC)、現(xiàn)場可編程門陣列、微控制器或這些元件的組合。圖2示出一個處理器210，但是裝置200可以包括多個處理器。
[0054]如前面所述，存儲器240可以包括易失性和非易失性存儲器，諸如只讀存儲器(ROM)、可編程只讀存儲器(PROM)、可擦除可編程只讀存儲器(EPROM)、隨機(jī)存儲器(RAM)、閃存存儲器、數(shù)據(jù)盤、光存儲器、磁存儲器、小型卡等。在一些示例性實(shí)施例中，在裝置200中僅出現(xiàn)易失性或非易失性存儲器。此外，在一些示例性實(shí)施例中，該裝置包括多個存儲器。在一些示例性實(shí)施例中，各種元件被集成。例如，存儲器240可以構(gòu)成為裝置200的一部分或被插入插槽、端口等。另外，存儲器240可以用作存儲數(shù)據(jù)的唯一目的，或它可以構(gòu)成為用作其它目的諸如處理數(shù)據(jù)的裝置的一部分。類似的選項(xiàng)對于各種其它元件也是能夠想到的。
[0055]本領(lǐng)域技術(shù)人員理解，除了圖2中所示的這些元件，裝置200可以包括其它元件，諸如麥克風(fēng)、顯示器以及附加電路諸如進(jìn)一步的輸入/輸出(I/O)電路、存儲芯片、專用集成電路(ASIC)、專用處理電路諸如源編碼/解碼電路、信道編碼/解碼電路、加密/解密電路等。另外，裝置200可以包括一次性或可充電電池(未示出)，用于當(dāng)外部電源不可用時為該裝置供電。
[0056]認(rèn)識到在本文獻(xiàn)中以不同的范圍使用術(shù)語裝置也是有用的。在一些更寬泛的權(quán)利要求和示例中，該裝置可以僅指圖2中出現(xiàn)的這些特征的子集或甚至被實(shí)施為沒有圖2中的任一特征。在一個示例性實(shí)施例中，該術(shù)語裝置指的是處理器210、被配置為從該照相機(jī)單元接收信息的處理器210的輸入線路和被配置為向該取景器提供信息的處理器210的輸出線路。
[0057]圖3示出本發(fā)明的示例性實(shí)施例的照相機(jī)單元260的框圖。照相機(jī)單元260包括物鏡261、被配置為對物鏡261調(diào)焦的自動聚焦單元262、可選的機(jī)械快門263、圖像傳感器264和輸入和/或輸出265。在一個不例性實(shí)施例中，照相機(jī)單兀260被配置為從自動聚焦單元262輸出自動聚焦信息。在一個示例性實(shí)施例中，該照相機(jī)單元還被配置為通過I/0265接收用于自動聚焦單元262的指令。
[0058]圖4示出本發(fā)明的示例性實(shí)施例的示例性取景器視圖400。在該取景器上，有兩個窗口或窗格:主窗口呈現(xiàn)(在該示例中第一視場110的)實(shí)時照相機(jī)圖像取景，而對象窗口呈現(xiàn)所檢測的圖像對象。在一個示例性實(shí)施例中，對象窗口僅在檢測到至少一個對象時被呈現(xiàn)。在該主窗口中，該照相機(jī)圖像被呈現(xiàn)，這里示出書桌上的各種物品。在該圖像中的各項(xiàng)目之間，五個對象(第一對象至第五對象410-450)被檢測為潛在的感興趣對象。應(yīng)當(dāng)意識到，圖4僅是說明性的設(shè)置并且因此該圖像周邊區(qū)域處的一些項(xiàng)目并未被識別為潛在的感興趣對象。同樣在該對象窗口中示出對應(yīng)的圖標(biāo)或可能縮小的圖像對象410'至450'。在一個示例性實(shí)施例中，該取景器被呈現(xiàn)在觸摸屏上。用戶可以將對象切換(toggle)為“開”或“關(guān)”，以用于作為感興趣的圖像對象進(jìn)行處理。在一個示例性實(shí)施例中，允許該用戶通過指向該屏幕的相應(yīng)部分來選擇期望的一個或多個圖像對象，以便裝置200識別出所選擇圖像對象的邊界或框。在另一示例性實(shí)施例中，允許用戶例如通過圍繞期望的圖像對象畫框來手動框選(frame)期望的圖像對象。
[0059]圖4呈現(xiàn)了矩形圖像對象。在其它示例性實(shí)施例中，還可能是其它形狀。例如，圖像對象的形狀可以動態(tài)適配于符合該圖像對象自身的形狀。例如，如果選擇了杯子，該杯子的形狀的區(qū)域可以被定義用于該圖像對象。
[0060]圖5示出本發(fā)明的示例性實(shí)施例的過程的流程圖，其說明了各種可能的特征。圖5中所示步驟中的一些或全部被諸如裝置200的處理器210這樣的處理器執(zhí)行。應(yīng)當(dāng)理解的是，盡管在圖5中這些箭頭從一個框指向另一框，但是不同的步驟不必按它們在圖5中出現(xiàn)的順序執(zhí)行。
[0061]在步驟505，從照相機(jī)單元的圖像傳感器接收圖像。在510監(jiān)測所接收的圖像中的不同對象的位置。在515確定該用戶感興趣的主對象。在步驟520中，檢測是否任何主對象變成被遮擋并且如果是的話，則觸發(fā)第一動作。步驟525確定照相機(jī)單元應(yīng)當(dāng)被橫向移動多少以避免所檢測的主對象的遮擋。在530確定不同對象的橫向位置。在535基于例如本文獻(xiàn)中公開的不同方法中的一個或多個來確定不同對象在深度上的位置。如果在所接收的圖像中識別出少于兩個對象，則可以跳過在515對主對象的確定和在520對遮擋的檢測。
[0062]新的圖像捕獲和再現(xiàn)體驗(yàn)系統(tǒng)
[0063]在一個示例性方面，開發(fā)了一種新的捕獲和再現(xiàn)體驗(yàn)系統(tǒng)，其使得能夠由一個用戶在一個設(shè)備內(nèi)以高質(zhì)量相關(guān)照片和視頻來捕獲場景和瞬間。所捕獲的信息包含多個圖像和/或多個視頻，其被同時記錄并且可以包含來自分離的或可以彼此重疊的對象的信息。深度信息使得能夠?qū)Σ煌瑢ο筮M(jìn)行簡單的識別或檢測。所捕獲/記錄的信息，可能是分離的每個圖像對象的信息，易于編輯、減少或再次再現(xiàn)，因?yàn)樵撔畔⒈缓芎玫亟M織。
[0064]除了 2D圖像和視頻系統(tǒng)，還可以通過利用來自也在另外一個或多個照相機(jī)系統(tǒng)內(nèi)的一個照相機(jī)系統(tǒng)的信息來改善3D體驗(yàn)。一些進(jìn)一步的示例說明了下面討論的本發(fā)明的一些實(shí)現(xiàn)。
[0065]一個示例性圖像捕獲過程具有下列步驟:
[0066]1.利用該照相機(jī)獲得深度圖。在一個示例性實(shí)施例中，該深度圖由處理器基于光從裝置到圖像對象并返回裝置的飛行時間來產(chǎn)生。飛行時間可以使用照相機(jī)傳感器來確定。在另一示例性實(shí)施例中，使用3D成像來產(chǎn)生深度圖。
[0067]2.使用深度圖，從取景器手動(用戶選擇)或自動(基于諸如面部識別的算法)識別圖像的對象。
[0068]3.當(dāng)識別出對象時，圍繞被標(biāo)記為感興趣對象的對象來定義區(qū)域(矩形或自由形狀)(參見圖4).[0069]4.開始監(jiān)測或跟蹤感興趣的對象并且可選地在取景器上識別感興趣的對象(圖4)。
[0070]5.檢測對所識別的對象的遮擋，或可選地如果沒有識別出圖像對象或如果僅識別出一個圖像對象即如果識別出少于兩個圖像對象，則避開對遮擋的檢測。
[0071]6.當(dāng)用戶例如通過按壓觸發(fā)器命令裝置拍照時，觸發(fā)一個或多個動作。這些動作可以涉及:
[0072]a.生成全屏幕的單個照片；
[0073]b.拍攝全照片即全分辨率圖像以及感興趣的對象的分離的照片(從單個大分辨率照片圖像建立照片庫)，該全分辨率圖像使用圖像中照相機(jī)傳感器提供的全部像素(可能不包括用于數(shù)字圖像穩(wěn)定的邊緣)；
[0074]c.以大分辨率或下采樣分辨率拍攝感興趣的對象的全屏幕照片和視頻；
[0075]d.拍攝任何其它組合的照片和/或視頻，諸如有多個子對象的大的母照片；
[0076]e.記錄較早捕獲的圖像和/或圖像流，諸如靜止圖像序列或視頻片段；
[0077]g.啟動靜止圖像的連續(xù)拍攝；
[0078]h.在所拍攝的靜止圖像中提取感興趣的對象的子圖像，同時丟棄其它部分或以比感興趣的圖像對象的圖像更低的分辨率存儲該其它部分。
[0079]所捕獲圖像的后處理/編輯的示例包括:
[0080] 1.允許用戶查看內(nèi)容。每個圖像包含對象集，并且彼此相近拍攝的圖像在時間上定義照片集。對于每個照片集，允許用戶基于下列各項(xiàng)觀看這些圖像/視頻:
[0081]a.人物/對象
[0082]b.母圖像+子圖像
[0083]c.母圖像+其上添加的視頻
[0084]d.視頻內(nèi)部的視頻(對象I的視頻，其包含對象2的視頻)
[0085]e.以及這些的任何其它組合。
[0086]2.增強(qiáng)處理，諸如通過所提供的相關(guān)聯(lián)特征處理和存儲多個圖像和視頻，例如，即時快捷方式(shortcut)。這些相關(guān)聯(lián)的特征可以包括:
[0087]a.刪除；
[0088]b.標(biāo)記；和/或
[0089]c.生成匯集。
[0090]各種類型的設(shè)備可用于實(shí)施不同的示例性實(shí)施例。一些示例的系統(tǒng)要求和特征包含下列各項(xiàng)中的一個或多個:
[0091]-諸如圖像傳感器的圖像捕獲單元具有足夠的分辨率(例如，10到200兆像素，典型地20到50兆像素)來使得能夠高質(zhì)量地捕獲多個圖像和/或視頻；
[0092]-照相機(jī)架構(gòu)為多個個體圖像流提供選擇、按比例縮放或下采樣和實(shí)時處理；
[0093]-支持自動和/或通過用戶選擇(例如，觸摸、姿態(tài))來選擇所記錄的對象；
[0094]-支持跟蹤并且在跟蹤期間視頻捕獲所選擇的對象(注意:視頻和圖像穩(wěn)定可以基于如圖1中第二視場120所示的較大背景視場或基于照相機(jī)傳感器所記錄的可見圖像對象來提供)；
[0095]-支持生成深度圖或測量對象的距離，并且可選地，支持在記錄期間和/或在圖像和/或視頻的回放期間在取景器中顯示深度圖；
[0096]-能夠在每次用戶指示捕獲時記錄這些對象的各個照片和全場景(注意:同樣，時間偏移特征(帶有時序t-n，...，〖，一t+!!!的圖像)可以被用于使得能夠更好地捕獲正確的瞬間或增強(qiáng)回放體驗(yàn))。在一個示例性實(shí)施例中，如果檢測到遮擋，則丟棄按用戶預(yù)期發(fā)送拍攝命令記錄的這些圖像中的一些或全部；
[0097]-能夠連續(xù)記錄所選擇對象的視頻(注意:雖然全部的所檢測或識別的圖像對象正在被跟蹤，但是僅感興趣的圖像對象可以被選擇性地進(jìn)行視頻記錄)；
[0098]-能夠通知例如遮擋；
[0099]-能夠建議新的照相機(jī)位置，在該位置當(dāng)考慮到這些圖像對象的相對運(yùn)動時遮擋會減少或避免將有的遮擋；
[0100]-能夠從所記錄的圖像生成優(yōu)化的捕獲(照片拼貼)；
[0101]-能夠以全場景顯示取景器和所選擇的一個或多個對象，反之亦然；
[0102]-能夠適當(dāng)?shù)匕幢壤s放照片用于視頻記錄、取景器和靜止圖像，而無需一直記錄全分辨率和高頻率視頻或圖像；
[0103]-能夠顯示不同的照片序列、照片中視頻、視頻中視頻，還有其它的不同呈現(xiàn)或動畫(例如，類似取景器視圖或動畫演示)；
[0104]-在3D照相機(jī)單元的情況下，能夠?qū)⒉煌瑢ο蟮母櫺畔囊粋€照相機(jī)單元傳送到另一個。
[0105]沒有以任何方式限制下面出現(xiàn)的這些權(quán)利要求的范圍、解釋或應(yīng)用，這里公開的這些示例性實(shí)施例中的一個或多個的技術(shù)效果是可以自動檢測用戶感興趣的圖像對象的遮擋。這里公開的這些示例性實(shí)施例中的一個或多個的另一技術(shù)效果是對遮擋的檢測可以被用于控制照相機(jī)的操作以便減輕遮擋的不利影響。這里公開的這些示例性實(shí)施例中的一個或多個的另一技術(shù)效果是圖像對象的檢測可以被用于以下各項(xiàng)中的兩項(xiàng)或更多項(xiàng):自動聚焦、對遮擋的檢測和表示用戶感興趣的個體圖像對象的分離的圖像或視頻的生成。這里公開的這些示例性實(shí)施例中的一個或多個的另一技術(shù)效果包含生成用于捕獲和再現(xiàn)兩者的新成像體驗(yàn)的能力；可以從同一瞬間和場景記錄更多相關(guān)信息；可以更容易地記錄這些對象的更多高質(zhì)量圖像；可以使用便宜的設(shè)備而不必要求多個設(shè)備和/或多個用戶；可用作自動聚會照相機(jī)或增強(qiáng)的監(jiān)控照相機(jī)；和/或僅剪裁區(qū)域會需要以全分辨率和以全部校正進(jìn)行處理。
[0106]在本文獻(xiàn)的上下文中，“計(jì)算機(jī)可讀介質(zhì)”可以是可以包含、存儲、通信、傳播或傳輸由指令執(zhí)行系統(tǒng)、裝置或設(shè)備諸如計(jì)算機(jī)使用的或與指令執(zhí)行系統(tǒng)、裝置或設(shè)備諸如計(jì)算機(jī)有關(guān)的這些指令的任何介質(zhì)或手段，計(jì)算機(jī)的一個示例如圖2中描述和描繪的裝置200。計(jì)算機(jī)可讀介質(zhì)可以包括計(jì)算機(jī)可讀存儲介質(zhì)，計(jì)算機(jī)可讀存儲介質(zhì)可以是可以包含或存儲由指令執(zhí)行系統(tǒng)、裝置或設(shè)備諸如計(jì)算機(jī)使用的或與指令執(zhí)行系統(tǒng)、裝置或設(shè)備諸如計(jì)算機(jī)有關(guān)的這些指令的任何介質(zhì)或手段。
[0107]如果需要的話，這里討論的不同功能可以按不同的順序和/或彼此同時地執(zhí)行。此外，如果需要的話，上面描述的功能中的一個或多個可以是可選的或可以被組合。
[0108]盡管在獨(dú)立權(quán)利要求中闡述了本發(fā)明的各方面，但是本發(fā)明的其它方面包括來自所描述的實(shí)施例和/或從屬權(quán)利要求的特征與從屬權(quán)利要求的特征的其它組合，并且不僅僅是這些權(quán)利要求中明確闡述的這些組合。
[0109]這里還要注意的是，雖然上面描述了本發(fā)明的示例性實(shí)施例，這些描述不應(yīng)當(dāng)在限制的意義上看待。而是，有可以進(jìn)行而不背離如所附權(quán)利要求中定義的本發(fā)明的范圍的幾種變化和修改。
【權(quán)利要求】
1.一種裝置，包括: 輸入，用于從照相機(jī)單元的圖像傳感器接收圖像； 處理器，被配置為: 監(jiān)測所接收的圖像中的不同對象的位置； 確定所述不同對象中的哪個對象，如果有的話，是用戶感興趣或應(yīng)當(dāng)感興趣的主對象； 檢測是否有主對象變?yōu)楸凰霾煌瑢ο笾械牧硪粚ο笳趽醪⑶翼憫?yīng)于對所述遮擋的檢測而觸發(fā)第一動作。
2.根據(jù)權(quán)利要求1所述的裝置，進(jìn)一步包括輸出。
3.根據(jù)權(quán)利要求2所述的裝置，其中所述第一動作是通過所述輸出發(fā)出遮擋檢測信號。
4.根據(jù)前述權(quán)利要求中任一項(xiàng)所述的裝置，其中所述處理器進(jìn)一步被配置為確定所述照相機(jī)單元應(yīng)當(dāng)被橫向移 動多少以避免對主對象的遮擋。
5.根據(jù)權(quán)利要求4所述的裝置，其中所述第一動作包括發(fā)出移動信號，所述移動信號指示所述照相機(jī)單元應(yīng)當(dāng)被朝向其移動以避免所述遮擋的方向。
6.根據(jù)權(quán)利要求5所述的裝置，其中所述移動信號進(jìn)一步包括對所述照相機(jī)單元應(yīng)當(dāng)被移動多少的確定。
7.根據(jù)權(quán)利要求4至6中任一項(xiàng)所述的裝置，其中所述移動信號的發(fā)出受制于對所述照相機(jī)單元應(yīng)當(dāng)被移動多少的確定，以便僅在小于給定閾值的移動被確定是需要的時發(fā)出所述移動信號。
8.根據(jù)前述權(quán)利要求中任一項(xiàng)所述的裝置，其中所述第一動作是啟動連續(xù)拍攝模式。
9.根據(jù)權(quán)利要求8所述的裝置，其中所述處理器進(jìn)一步被配置為在所述連續(xù)拍攝模式期間檢測并且自動丟棄出現(xiàn)所述遮擋的所述圖像中的一些或全部圖像。
10.根據(jù)權(quán)利要求1或2所述的裝置，其中所述第一動作是延遲圖像捕獲。
11.根據(jù)權(quán)利要求10所述的裝置，其中所述圖像捕獲被延遲最多給定的最大時間段。
12.根據(jù)權(quán)利要求11所述的裝置，其中所述最大時間段根據(jù)一個或多個因素來動態(tài)地定義。
13.根據(jù)權(quán)利要求12所述的裝置，所述因素包括下列各項(xiàng)中的一個或多個:被遮擋的主對象和遮擋對象的相對速度；在所述被遮擋的主對象被捕獲的情況下是否已經(jīng)拍攝了其它圖像；在目前被遮擋的主對象可見的情況下較早的一個或多個圖像的清晰度；估計(jì)的曝光時間段；是否使用了閃光單元，并且如果使用了所述閃光單元，可選地還包括所述閃光單元的可能的閃光頻率。
14.根據(jù)前述權(quán)利要求中任一項(xiàng)所述的裝置，其中所述裝置進(jìn)一步被配置為從自動聚焦單元接收對象信息。
15.根據(jù)權(quán)利要求14所述的裝置，其中所述對象信息包括深度信息。
16.根據(jù)權(quán)利要求15所述的裝置，其中所述處理器被配置為將所接收的對象信息用作監(jiān)測所接收的圖像中的所述不同對象的基礎(chǔ)。
17.根據(jù)前述權(quán)利要求中任一項(xiàng)所述的裝置，其中監(jiān)測所述不同對象的位置包括確定所述不同對象在橫向方向上的位置。
18.根據(jù)權(quán)利要求17所述的裝置，其中監(jiān)測所述不同對象的位置涉及確定所述不同對象沿著在所述照相機(jī)單元與所述對象之間延伸的軸線即深度上的位置。
19.根據(jù)前述權(quán)利要求中任一項(xiàng)所述的裝置，其中所述處理器被配置為通過面部檢測以及通過計(jì)算所述圖像中的至少一個面部特征的比例來確定對象的深度。
20.根據(jù)前述權(quán)利要求中任一項(xiàng)所述的裝置，其中所述處理器被配置為如果在所接收的圖像中識別出少于兩個對象，則跳過對所述主對象的確定和對所述遮擋的檢測。
21.根據(jù)前述權(quán)利要求中任一項(xiàng)所述的裝置，其中所述處理器被配置為檢測所接收的圖像中的不同對象。
22.根據(jù)權(quán)利要求21所述的裝置，其中為了檢測所述不同對象，所述處理器被配置為使所述照相機(jī)單元:在整個或大部分可用聚焦范圍內(nèi)改變聚焦，以不同的聚焦拍攝圖像，并且基于所述聚焦被改變時所述圖像的不同部分如何變得聚焦和/或散焦來確定不同距離處的對象。
23.根據(jù)權(quán)利要求21或22所述的裝置，其中所述處理器被配置為從所述照相機(jī)單元接收深度圖并且在確定所述不同對象時使用所述深度圖。
24.根據(jù)前述權(quán)利要求中任一項(xiàng)所述的裝置，其中所述處理器被配置為使得在取景器上識別所檢測的不同對象。
25.根據(jù)前述權(quán)利要求中任一項(xiàng)所述的裝置，其中所述處理器進(jìn)一步被配置為接收對在所述取景器上識別的所述對象中的一個或多個對象的用戶選擇。
26.根據(jù)權(quán)利要求25所述的裝置，其中所述識別包括在所述顯示器上對對象的視覺突出顯示。
27.—種方法,包括: 從照相機(jī)單元的圖像傳感器接收圖像； 監(jiān)測所接收的圖像中的不同對象的位置； 確定所述不同對象中的哪個對象，如果有的話，是用戶感興趣或應(yīng)當(dāng)感興趣的主對象；以及 檢測是否有主對象變?yōu)楸凰霾煌瑢ο笾械牧硪粚ο笳趽醪⑶翼憫?yīng)于對所述遮擋的檢測而觸發(fā)第一動作。
28.根據(jù)權(quán)利要求27所述的方法，其中所述方法包括在從所述圖像傳感器接收圖像的同時，實(shí)時地執(zhí)行對所述位置的所述監(jiān)測、對所述主對象的所述確定以及對是否有主對象變?yōu)楸徽趽醯乃鰴z測。
29.根據(jù)權(quán)利要求27或28所述的方法，其中所述第一動作是通過所述輸出發(fā)出遮擋檢測信號。
30.根據(jù)權(quán)利要求27至29中任一項(xiàng)所述的方法，進(jìn)一步包括確定所述照相機(jī)單元應(yīng)當(dāng)被橫向移動多少以避免對主對象的遮擋。
31.根據(jù)權(quán)利要求27至30中任一項(xiàng)所述的方法，其中所述第一動作是啟動連續(xù)拍攝模式。
32.根據(jù)權(quán)利要求31所述的方法，進(jìn)一步包括在所述連續(xù)拍攝模式期間檢測并且自動丟棄出現(xiàn)所述遮擋的所述圖像中的一些或全部。
33.根據(jù)權(quán)利要求27或28所述的方法，其中所述第一動作是延遲圖像捕獲。
34.根據(jù)權(quán)利要求33所述的方法，其中所述圖像捕獲被延遲最多給定的最大時間段。
35.根據(jù)權(quán)利要求34所述的方法，其中所述最大時間段根據(jù)一個或多個因素來動態(tài)地定義。
36.根據(jù)權(quán)利要求35所述的方法，所述因素包括下列各項(xiàng)中的一個或多個:所述被遮擋的主對象和遮擋對象的相對速度；在所述被遮擋的主對象被捕獲的情況下是否已經(jīng)拍攝了其它圖像；在目前被遮擋的主對象可見的情況下較早的一個或多個圖像的清晰度；估計(jì)的曝光時間段；是否使用了閃光單元，并且如果使用了所述閃光單元，則可選地還包括所述閃光單元的可能的閃光頻率。
37.根據(jù)權(quán)利要求27至36中任一項(xiàng)所述的方法，其中所述方法進(jìn)一步被配置為從自動聚焦單元接收對象信息。
38.根據(jù)權(quán)利要求37所述的方法，其中所述對象信息包括深度信息。
39.根據(jù)權(quán)利要求38所述的方法，進(jìn)一步包括將所接收的對象信息用作監(jiān)測所接收的圖像中的所述不同對象的基礎(chǔ)。
40.根據(jù)權(quán)利要 求27至39中任一項(xiàng)所述的方法，其中監(jiān)測所述不同對象的位置包括確定所述不同對象在橫向方向上的位置。
41.根據(jù)權(quán)利要求27至40中任一項(xiàng)所述的方法，其中監(jiān)測所述不同對象的位置涉及確定所述不同對象沿著在所述照相機(jī)單元與所述對象之間延伸的軸線即深度上的位置。
42.根據(jù)權(quán)利要求41所述的方法，其中確定對象的深度通過面部檢測以及通過計(jì)算所述圖像中的至少一個面部特征的比例來執(zhí)行。
43.根據(jù)權(quán)利要求41所述的方法，其中確定對象的深度通過確定所述照相機(jī)單元與所述對象之間的飛行時間來執(zhí)行。
44.根據(jù)權(quán)利要求27至43中任一項(xiàng)所述的方法，進(jìn)一步包括:如果在所接收的圖像中識別出少于兩個對象，則跳過對主對象的所述確定和對遮擋的所述檢測。
45.根據(jù)權(quán)利要求27至44中任一項(xiàng)所述的方法，進(jìn)一步包括檢測所接收的圖像中的不同對象。
46.根據(jù)權(quán)利要求45所述的方法，其中為了檢測所述不同對象，使所述照相機(jī)單元:在整個或大部分可用聚焦范圍內(nèi)改變聚焦，以不同的聚焦拍攝圖像，并且基于所述聚焦被改變時所述圖像的不同部分如何變得聚焦和/或散焦來確定不同距離處的對象。
47.根據(jù)權(quán)利要求45或46所述的方法，進(jìn)一步包括從所述照相機(jī)單元接收深度圖并且在確定所述不同對象時使用所述深度圖。
48.根據(jù)權(quán)利要求27至47中任一項(xiàng)所述的方法，進(jìn)一步包括在取景器上識別所檢測的不同對象。
49.根據(jù)權(quán)利要求27至48中任一項(xiàng)所述的方法，進(jìn)一步包括接收對在所述取景器上識別的所述對象中的一個或多個對象的用戶選擇。
50.根據(jù)權(quán)利要求49所述的方法，其中所述識別包括在所述顯示器上對對象的視覺突出顯示。
51.一種裝置，包括: 至少一個處理器；以及 包括計(jì)算機(jī)程序代碼的至少一個存儲器，所述至少一個存儲器和所述計(jì)算機(jī)程序代碼被配置為與所述至少一個處理器一起使所述裝置至少執(zhí)行根據(jù)權(quán)利要求27至50中任一項(xiàng)所述的方法。
52.一種計(jì)算機(jī)程序，包括: 當(dāng)所述計(jì)算機(jī)程序在處理器上運(yùn)行時: 用于從照相機(jī)單元的圖像傳感器接收圖像的代碼； 用于監(jiān)測所接收的圖像中的不同對象的位置的代碼； 用于確定所述不同對象中的哪個對象，如果有的話，是用戶感興趣或應(yīng)當(dāng)感興趣的主對象的代碼；以及 用于檢測是否有主對象變?yōu)楸凰霾煌瑢ο笾械牧硪粚ο笳趽醪⑶翼憫?yīng)于對所述遮擋的檢測而觸發(fā)第一動作的代碼。
53.根據(jù)權(quán)利要求52所述的計(jì)算機(jī)程序，進(jìn)一步包括用于當(dāng)所述計(jì)算機(jī)程序在處理器上運(yùn)行時執(zhí)行根據(jù)權(quán)利要求28至50中任一項(xiàng)所述的方法的代碼。
54.根據(jù) 權(quán)利要求52或53所述的計(jì)算機(jī)程序，其中所述計(jì)算機(jī)程序是包括計(jì)算機(jī)可讀介質(zhì)的計(jì)算機(jī)程序產(chǎn)品，所述計(jì)算機(jī)可讀介質(zhì)承載在其中體現(xiàn)的用于與計(jì)算機(jī)一起使用的計(jì)算機(jī)程序代碼。
【文檔編號】G06T7/20GK103988227SQ201180075524
【公開日】2014年8月13日 申請日期:2011年12月16日 優(yōu)先權(quán)日:2011年12月16日
【發(fā)明者】O·卡萊沃, R·敘奧默拉 申請人:諾基亞公司