優(yōu)先權(quán)聲明

本申請(qǐng)主張?jiān)?015年10月29日提出申請(qǐng)的美國臨時(shí)專利申請(qǐng)第62/247,914號(hào)的權(quán)利，且上述美國專利申請(qǐng)以引用方式并入本文中。

本發(fā)明是關(guān)于相機(jī)裝置，具體來說，是有關(guān)于使用凝視檢測(cè)(gazedetection)的攝影方法以及相關(guān)的相機(jī)系統(tǒng)。

背景技術(shù)：

近年來，自動(dòng)拍照(autosnap)在相機(jī)系統(tǒng)中被廣泛地使用。舉例來說，已知的自動(dòng)拍照的技術(shù)可使用笑臉檢測(cè)、人臉檢測(cè)、手勢(shì)檢測(cè)以及/或者眨眼檢測(cè)。然而，這些技術(shù)都不能保證在圖畫中捕獲的人物是凝視著相機(jī)鏡頭的，從而導(dǎo)致一個(gè)較差的用戶體驗(yàn)。

據(jù)此，需要一種攝像方法以及相關(guān)的相機(jī)系統(tǒng)來解決上述問題。

技術(shù)實(shí)現(xiàn)要素：

在以下的實(shí)施例中將依照附圖進(jìn)行具體說明。

根據(jù)本發(fā)明的一方面，提供一種在相機(jī)系統(tǒng)中使用的攝影方法，其中該相機(jī)系統(tǒng)包含相機(jī)裝置以及幀緩沖器。該方法包含以下步驟：當(dāng)該相機(jī)系統(tǒng)的凝視拍攝模式激活時(shí)，通過該相機(jī)裝置捕獲多個(gè)第一輸入圖像；存儲(chǔ)該多個(gè)第一輸入圖像至該幀緩沖器；針對(duì)與該多個(gè)第一輸入圖像相關(guān)的多個(gè)檢測(cè)圖像執(zhí)行人臉檢測(cè)，來決定在該多個(gè)檢測(cè)圖像中是否有人臉；在已檢測(cè)具有人臉的檢測(cè)圖像上執(zhí)行凝視檢測(cè)來檢測(cè)在該多個(gè)檢測(cè)圖像上的檢測(cè)的人臉是否有眼睛凝視著該相機(jī)裝置；并且當(dāng)決定該多個(gè)檢測(cè)圖像中的該檢測(cè)的人臉的眼睛凝視著該相機(jī)裝置時(shí)，從該幀緩沖器中選擇一個(gè)或者多個(gè)存儲(chǔ)的相關(guān)的第一輸入圖像作為多個(gè)輸出圖像。

依據(jù)本發(fā)明的另一方面，提供一種相機(jī)系統(tǒng)，包含處理器、幀緩沖器以及相機(jī)裝置。相機(jī)裝置用來當(dāng)該相機(jī)系統(tǒng)的凝視模式激活時(shí)，捕獲多個(gè)第一輸入圖像；其中該處理器存儲(chǔ)該多個(gè)第一輸入圖像至該幀緩沖器，針對(duì)與該多個(gè)第一輸入圖像相關(guān)的多個(gè)檢測(cè)圖像執(zhí)行人臉檢測(cè)，來決定在該多個(gè)檢測(cè)圖像中是否有人臉，并且在已決定有人臉的檢測(cè)圖像上執(zhí)行凝視檢測(cè)來檢測(cè)在該檢測(cè)的人臉上是否有眼睛凝視著該相機(jī)裝置；其中當(dāng)決定該多個(gè)檢測(cè)圖像中的該檢測(cè)的人臉的眼睛凝視著該相機(jī)裝置時(shí)，該處理器從該幀緩沖器中選擇一個(gè)或者多個(gè)存儲(chǔ)的第一輸入圖像作為多個(gè)輸出圖像。

本發(fā)明提出的攝影方法與相機(jī)裝置通過凝視偵測(cè)的幫助而使得輸出的圖像中的人臉的眼睛是凝視著相機(jī)的，提高了用戶體驗(yàn)。

附圖說明

圖1是依據(jù)本發(fā)明的一實(shí)施例的相機(jī)系統(tǒng)的區(qū)塊示意圖。

圖2是依據(jù)本發(fā)明的實(shí)施例的一種攝影方法的流程圖。

圖3是依據(jù)本發(fā)明的另一個(gè)實(shí)施例的相機(jī)系統(tǒng)的區(qū)塊示意圖。

圖4是依據(jù)本發(fā)明的另一實(shí)施例的攝影方法的流程圖。

具體實(shí)施方式

圖1是依據(jù)本發(fā)明的實(shí)施例的相機(jī)系統(tǒng)的區(qū)塊示意圖。相機(jī)系統(tǒng)100可以是一個(gè)數(shù)字相機(jī)(例如一個(gè)靜態(tài)相機(jī)、一個(gè)視頻相機(jī)、一個(gè)相機(jī)電話或者其他)，包含相機(jī)110、處理器120、存儲(chǔ)單元130以及顯示裝置140。

相機(jī)110包含鏡頭111、快門112以及圖像傳感器113。當(dāng)快門112打開進(jìn)行圖像曝光時(shí)，鏡頭111是安置來聚焦從場(chǎng)景中的一個(gè)或者多個(gè)物體反射的光線至圖像傳感器113?？扉T112是通過機(jī)械實(shí)現(xiàn)或者電路實(shí)現(xiàn)。

圖像傳感器113包含多個(gè)感光單元(photosensitivecell)，每一個(gè)感光單元響應(yīng)曝光都建立或者累積一個(gè)電荷。對(duì)于一個(gè)給定的像素的累計(jì)的電荷是與曝光的強(qiáng)度以及長(zhǎng)度成比例。圖像傳感器113可包含，而并不限制于，電荷耦合裝置(charge-coupleddevice，ccd)或者一個(gè)補(bǔ)充的金屬氧化物半導(dǎo)體(metaloxidesemiconductor，cmos)傳感器。處理器120可以是中央處理單元(cpu)、一個(gè)數(shù)字信號(hào)處理器(dsp)或者一個(gè)圖像信號(hào)處理器(isp)，但本發(fā)明并不限于此。

存儲(chǔ)單元130可包含一個(gè)易失型存儲(chǔ)器131以及一個(gè)非易失型存儲(chǔ)器132。舉例來說，易失型存儲(chǔ)器131是靜態(tài)隨機(jī)存取記憶體(sram)、或者是動(dòng)態(tài)隨機(jī)存取記憶體(dram)，但本發(fā)明并不限于此。非易失型存儲(chǔ)器132可以是一個(gè)硬盤、閃存等等。非易失型存儲(chǔ)器132存儲(chǔ)一個(gè)攝影程序來執(zhí)行針對(duì)由相機(jī)110捕獲的圖像的特定檢測(cè)任務(wù)，例如笑臉檢測(cè)、人臉檢測(cè)、手勢(shì)檢測(cè)、眨眼檢測(cè)以及/或者凝視檢測(cè)。處理器120下載在非易失型存儲(chǔ)器132中存儲(chǔ)的攝影程序的程序代碼至易失型存儲(chǔ)器131，并且針對(duì)相機(jī)110捕獲的圖像執(zhí)行相對(duì)應(yīng)的圖像處理。此外，由圖像傳感器113捕獲的數(shù)字圖像是暫時(shí)存儲(chǔ)在易失型存儲(chǔ)器131(即幀緩沖器)中。

顯示裝置140展示實(shí)時(shí)畫面以及/或者其他用戶互動(dòng)。顯示裝置140可通過多種顯示裝置來實(shí)現(xiàn)，而并不限于液晶顯示器(lcds)、發(fā)光二極管顯示器(led)以及電子射線管顯示(crt)。

圖2是依據(jù)本發(fā)明的實(shí)施例的一種攝影方法的流程圖。在步驟s200，相機(jī)系統(tǒng)100的凝視拍攝模式(gazeshootingmode)被用戶激活。在步驟s210，相機(jī)110重復(fù)地捕獲多個(gè)輸入圖像，舉例來說m(m是一個(gè)大于1的正整數(shù))個(gè)圖像被連續(xù)地捕獲。捕獲的輸入圖像在幀緩沖器中暫時(shí)存儲(chǔ)并且排隊(duì)為一個(gè)具有深度m的隊(duì)列。幀緩沖器的隊(duì)列深度m指示幀緩沖器中存儲(chǔ)的輸入圖像的數(shù)量。

在幀緩沖器中存儲(chǔ)的每一個(gè)圖像具有一個(gè)對(duì)應(yīng)的時(shí)間戳索引。舉例來說，如果隊(duì)列m的深度是3，三個(gè)圖像在時(shí)間n、n-1以及n-2存儲(chǔ)在幀緩沖器中。在步驟s220，處理器120在顯示裝置140上顯示輸入圖像作為一個(gè)預(yù)覽圖像，其中顯示的預(yù)覽圖像可以是在幀緩沖器中的第一輸入圖像或者將在幀緩沖器中的所有三個(gè)輸入圖像連續(xù)顯示。在步驟s230，處理器120針對(duì)輸入圖像執(zhí)行人臉檢測(cè)，來檢測(cè)在輸入圖像上是否有一個(gè)人臉。需要注意的是，步驟s220與s230可同時(shí)執(zhí)行。

在步驟s240，處理器120進(jìn)一步針對(duì)具有人臉的輸入圖像執(zhí)行凝視檢測(cè)，來決定在輸入圖像中的人臉是否有眼睛凝視相機(jī)110。在步驟s260，處理器120可從幀緩沖器中選擇一個(gè)或者多個(gè)輸入圖像。如果輸入圖像的檢測(cè)的人臉的一個(gè)眼睛凝視著相機(jī)，一個(gè)或者更多的輸入圖像可從幀緩沖器中選擇作為輸出圖像。其中該幀緩沖器存儲(chǔ)的多個(gè)輸入圖像包含當(dāng)前圖像以及至少一個(gè)先前圖像，并且該多個(gè)輸出圖像是從該當(dāng)前圖像以及該至少一個(gè)先前圖像中，利用該各自的時(shí)間戳索引來識(shí)別該選擇的多個(gè)輸出圖像。

在步驟s270，輸出圖像被編碼(例如以jpeg格式)，并且通過處理器120保存在相機(jī)系統(tǒng)100的記錄媒介(例如非易失型存儲(chǔ)器132)中。

需注意的是，由于凝視檢測(cè)的復(fù)雜性，在凝視檢測(cè)之前執(zhí)行人臉檢測(cè)，來減少在凝視檢測(cè)步驟中的圖像數(shù)量。僅僅那些具有至少一張人臉的輸入圖像才進(jìn)行凝視檢測(cè)的步驟，因此目標(biāo)圖像數(shù)量將可減少。換言之，步驟s230在一些實(shí)施例中是可選的步驟。

具體來說，相機(jī)系統(tǒng)100執(zhí)行凝視檢測(cè)來保證相片質(zhì)量。換言之，執(zhí)行凝視檢測(cè)來從多個(gè)捕獲的圖像中選擇具有至少一個(gè)眼睛凝視相機(jī)110的圖像。

圖3是依據(jù)本發(fā)明的另一實(shí)施例的相機(jī)系統(tǒng)的區(qū)塊示意圖。相機(jī)系統(tǒng)300與圖1中的相機(jī)系統(tǒng)100相似，相機(jī)系統(tǒng)300與相機(jī)系統(tǒng)100之間的差別是相機(jī)110被一個(gè)雙攝像頭裝置(dualcameradevice)150代替。雙攝像頭裝置150包含第一相機(jī)160以及第二相機(jī)170。需注意的是第一相機(jī)160與第二相機(jī)170是整合至雙攝像頭裝置150，其位于相機(jī)系統(tǒng)300的空腔之內(nèi)，從而第一相機(jī)160與第二相機(jī)170可面對(duì)相同的場(chǎng)景，并且同時(shí)獲取圖像。第一相機(jī)160包含鏡頭161、快門162以及圖像傳感器163，并且第二相機(jī)170包含鏡頭171、快門172以及圖像傳感器173、紅外線(以下簡(jiǎn)稱為ir)發(fā)射器174、以及紅外線接收器175。第一相機(jī)160與第二相機(jī)170的鏡頭與快門的設(shè)計(jì)可參考圖1中的實(shí)施例，細(xì)節(jié)在此不再贅述。

顯著地，第一相機(jī)160中的圖像傳感器163能夠輸出數(shù)字yuv圖像數(shù)據(jù)，或者圖像傳感器163中的感光單元是以“拜爾陣列(bayerarray)”實(shí)現(xiàn)而輸出rgb圖像數(shù)據(jù)。在圖像傳感器173中的感光單元也是以“拜爾陣列”實(shí)現(xiàn)而輸出rgb圖像數(shù)據(jù)，并且第二相機(jī)170借助紅外線發(fā)射器174以及紅外線接收器175的幫助而能夠輸出rgb-ir圖像數(shù)據(jù)。具體來說，rgb-ir圖像包含rgb色彩圖像以及相關(guān)的ir圖像，指示rgb色彩圖像的深度信息。

盡管基于可見光譜(visualspectrum)(即色彩圖像數(shù)據(jù))的自動(dòng)人臉識(shí)別已被廣泛地使用，這些技術(shù)在未控制的操作環(huán)境下具有執(zhí)行的難度，其原因?yàn)閳?zhí)行的效果對(duì)光照的條件的變化很敏感。此外，當(dāng)光照昏暗或者當(dāng)不是一直照亮人臉時(shí)，效果也會(huì)顯著下降。即使當(dāng)一張臉是亮度飽滿時(shí)，其他的因素，例如陰影、閃光、以及化妝都可能導(dǎo)致在彩色人臉圖像中定位特征錯(cuò)誤。

電磁波的紅外線譜是分為四個(gè)頻帶：近-ir(nir)、短波ir(swir)、中波ir(mwir)以及長(zhǎng)波ir(熱ir)。在長(zhǎng)波ir的人臉圖像代表從人臉發(fā)出的熱量模式，并且因此是與周圍光照相對(duì)獨(dú)立的。紅外線人臉圖像是唯一的并且能夠作為一個(gè)人的熱量標(biāo)志。因此，在所有的光照條件下(包含完全黑暗)以及當(dāng)對(duì)象偽裝時(shí)，紅外線人臉識(shí)別也是有用的。舉例來說，處理器120可從ir人臉圖像中提取熱量輪廓以及深度信息，并且眼睛、鼻子以及嘴的位置可從熱量輪廓中識(shí)別出來。ir人臉識(shí)別技術(shù)已在本領(lǐng)域中被本領(lǐng)域技術(shù)人員所了解，因此不再贅述。

據(jù)此，根據(jù)ir圖像的幫助，對(duì)于處理器120來說，可以更加方便地識(shí)別面部特征，例如眼睛、鼻子以及嘴巴，以及它們?cè)诋?dāng)前ir圖像中的位置。

在一個(gè)實(shí)施例中，由第一相機(jī)160獲取的第一圖像(例如rgb圖像或者yuv圖像)以及由第二相機(jī)170獲取的第二圖像(即rgb-ir圖像)發(fā)送至不同的圖像處理路徑。需注意的是，第一相機(jī)160以及第二相機(jī)170同步來獲取相同的場(chǎng)景的第一圖像以及第二圖像，并因此第二圖像與第一圖像相關(guān)聯(lián)。具體來說，由第一相機(jī)160獲取的第一圖像發(fā)送給圖像預(yù)覽路徑，并且當(dāng)前圖像是存儲(chǔ)并且在幀緩沖器中排隊(duì)，也在顯示裝置140上作為當(dāng)前圖像顯示。同時(shí)，第二相機(jī)170獲取的第二圖像發(fā)送至圖像檢測(cè)路徑。在圖像檢測(cè)路徑，處理器針對(duì)第二圖像的紅外線圖像執(zhí)行人臉檢測(cè)以及凝視檢測(cè)，來決定在當(dāng)前ir圖像上是否有一人臉以及該人臉上的眼睛是否凝視第二相機(jī)170或者第一相機(jī)160，其中的細(xì)節(jié)如圖2所示。需注意的是，在相機(jī)系統(tǒng)100中的相機(jī)裝置可以是單相機(jī)裝置或者雙相機(jī)裝置，并且處理器在“檢測(cè)圖像”上執(zhí)行人臉檢測(cè)以及凝視檢測(cè)來決定檢測(cè)圖像上是否有一人臉以及該人臉上的眼睛是否凝視單相機(jī)裝置或者雙相機(jī)裝置中的一個(gè)相機(jī)。舉例來說，檢測(cè)圖像可以是由圖1的實(shí)施例中的相機(jī)110獲取的第一圖像。此外，檢測(cè)圖像可以是圖3的實(shí)施例中的第二相機(jī)170獲取的ir圖像。

具體來說，當(dāng)一個(gè)雙相機(jī)裝置被相機(jī)系統(tǒng)300使用時(shí)，由雙相機(jī)裝置中的第二相機(jī)捕獲的ir圖像是用來進(jìn)行人臉檢測(cè)以及凝視檢測(cè)。當(dāng)ir圖像中的檢測(cè)到的人臉的眼睛是凝視著第二相機(jī)時(shí)，可依據(jù)針對(duì)ir圖像的人臉檢測(cè)以及凝視檢測(cè)的結(jié)果來選擇由第一相機(jī)捕獲的第一圖像。

在一些實(shí)施例中，圖像預(yù)覽路徑與圖像檢測(cè)路徑共享相同的處理器120。在其他的實(shí)施例中，不同的處理器分別在圖像預(yù)覽路徑與圖像檢測(cè)路徑中使用。為了簡(jiǎn)便說明，在后續(xù)的實(shí)施例中，圖像預(yù)覽路徑與圖像檢測(cè)路徑共享圖3中的相同的處理器120。

據(jù)此，當(dāng)在圖像檢測(cè)路徑中，決定當(dāng)前圖像的人臉的一個(gè)眼睛凝視著第二相機(jī)170(即可依據(jù)rgb圖像或者ir圖像決定)，處理器120可選擇一個(gè)或者多個(gè)與當(dāng)前分析的ir圖像相關(guān)的來自幀緩沖器中的第一圖像。接著，處理器120編碼選擇的第一圖像并且保存編碼的第一圖像至相機(jī)系統(tǒng)100的一個(gè)記錄媒介(例如非易失型存儲(chǔ)器132)。

圖4是依據(jù)本發(fā)明的另一個(gè)實(shí)施例的攝影方法的流程圖。圖4中的流程與圖2中的流程相似，并且圖4中的流程描繪了圖1或者圖3中所利用的共同的部分。舉例來說，在步驟s410，第一輸入圖像與第二輸入圖像是同時(shí)(同步)被第一相機(jī)以及第二相機(jī)捕獲的。舉例來說，第二相機(jī)能夠捕獲rgb-ir圖像，并且第二輸入圖像包含rgb圖像以及相關(guān)的ir圖像，來指示rgb圖像的深度信息。

在步驟s400，凝視拍攝模式被激活。

在步驟s420，第一輸入圖像是在相機(jī)系統(tǒng)的顯示裝置上顯示。

在步驟s430，在“檢測(cè)圖像”上執(zhí)行人臉檢測(cè)來決定在檢測(cè)圖像上是否有一個(gè)人臉。舉例來說，檢測(cè)圖像是由第一相機(jī)(即相機(jī)110或者第一相機(jī)160)捕獲的第一輸入圖像。此外，檢測(cè)圖像可以是在第二輸入圖像中的ir圖像。通過ir圖像的幫助，很容易識(shí)別在ir圖像以及相關(guān)的rgb圖像中的人臉。

在步驟s440，在檢測(cè)圖像上執(zhí)行凝視檢測(cè)來決定檢測(cè)的人臉是否有眼睛凝視著相機(jī)裝置(第一相機(jī)或者第二相機(jī))。具體來說，在已檢測(cè)具有至少一人臉的檢測(cè)圖像上執(zhí)行凝視檢測(cè)來決定檢測(cè)的人臉是否有眼睛凝視著相機(jī)裝置(第一相機(jī)或者第二相機(jī))。在一些實(shí)施例中，檢測(cè)圖像可以依然是第二輸入圖像中的ir圖像。在其他的實(shí)施例中，凝視檢測(cè)是在第二輸入圖像中的rgb圖像上執(zhí)行。

在步驟s460，處理器120可從幀緩沖器中選擇一個(gè)或者多個(gè)第一輸入圖像。舉例來說，如果檢測(cè)圖像中的檢測(cè)到的人臉的一個(gè)眼睛是凝視著第一相機(jī)(或者第二相機(jī))，一個(gè)或者多個(gè)第一輸入圖像將從幀緩沖器中選擇作為輸出圖像。

在步驟s470，輸出圖像被編碼(例如以jpeg格式)，并且通過處理器120保存至相機(jī)系統(tǒng)100的一個(gè)記錄媒介(例如非易失型存儲(chǔ)器132)。

本發(fā)明雖以較佳實(shí)施例揭露如上，然其并非用以限定本發(fā)明的范圍，任何所屬技術(shù)領(lǐng)域中具有通常知識(shí)者，在不脫離本發(fā)明的精神和范圍內(nèi)，當(dāng)可做些許的更動(dòng)與潤(rùn)飾，因此本發(fā)明的保護(hù)范圍當(dāng)視申請(qǐng)專利范圍所界定者為準(zhǔn)。