專利名稱：電子設(shè)備的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及數(shù)字照相機等電子設(shè)備。
背景技術(shù)：
能夠與影像一起記錄以及再現(xiàn)聲音的數(shù)字照相機等電子設(shè)備正在廣泛普及。在這種電子設(shè)備中，公開有通過在特定的方向上具有指向性來錄音或再現(xiàn)聲音的方法。例如，在第一現(xiàn)有方法中的攝像機中，在顯示畫面中顯示攝影圖像的同時，對與用戶指示的顯示畫面上的位置對應(yīng)的方向，設(shè)定麥克風(fēng)陣列的指向性(例如參照下述專利文獻1)。下述專利文獻2的方法，也與其類似。此外，例如在第二現(xiàn)有方法中，對特定種類的被攝體(例如，人物)存在的方向進行檢測，并根據(jù)檢測方向來控制記錄聲音等的指向性。第二現(xiàn)有方法或與第二現(xiàn)有方法類似的方法，例如，包含在下述專利文獻3以及4公開內(nèi)容的一部分中。專利文獻1 JP特開2008-271157號公報專利文獻2 JP特開2005-1M090號公報專利文獻3 JP特開2009-65587號公報專利文獻4 JP特開2009-156888號公報根據(jù)第一現(xiàn)有方法，能夠使記錄聲音或再現(xiàn)聲音具有適合用戶興趣的指向性。但是，為了確定指向性的方向，必須要有用戶的指示，因而用戶的操作負擔(dān)大。另一方面，根據(jù)第二現(xiàn)有方法，不用等待用戶的指示，就能夠使被假設(shè)為用戶關(guān)注的特定種類的被攝體的方向?qū)?zhǔn)指向性。然而，僅在特定種類的被攝體存在于攝影范圍內(nèi)的情況下，第二現(xiàn)有方法才有效地發(fā)揮功能，當(dāng)用戶關(guān)注特定種類以外的被攝體時，指向性控制不能有效地發(fā)揮功能。

發(fā)明內(nèi)容
因此，本發(fā)明的目的在于，提供一種電子設(shè)備，該電子設(shè)備不會讓用戶承受特別的操作負擔(dān)，并且不依存于還可作為聲源來發(fā)揮功能的物體的種類，就能夠生成按照用戶意圖的聲音信號。本發(fā)明的電子設(shè)備，例如，當(dāng)再現(xiàn)對象圖像時，視聽者的興趣大多會集中于已聚焦的物體。如上述結(jié)構(gòu)，若根據(jù)聚焦?fàn)顟B(tài)來控制聲音信號處理的內(nèi)容，則例如，能夠使與視聽者的興趣集中的圖像部分對應(yīng)的方向?qū)?zhǔn)指向性的方向。其結(jié)果是，能夠生成按照視聽者(用戶)意圖的聲音信號。此時，不會讓用戶承受特別的操作負擔(dān)，且不依存于物體的種類，就能夠完成上述控制。具體而言，例如，可以在該電子設(shè)備中設(shè)置聚焦位置獲取部，該聚焦位置獲取部獲取有已聚集的物體的圖像數(shù)據(jù)存在的聚焦區(qū)域的所述對象圖像上的位置作為聚焦位置。并且例如，所述音響信號處理部根據(jù)所述聚焦位置來控制所述音響信號處理的內(nèi)容。
更具體而言，所述音響信號處理部對所述對象音響信號實施所述音響信號處理， 以使來自所述聚焦位置中的音源的聲音被強調(diào)。此外，例如，在所述聚焦?fàn)顟B(tài)中也包含所述對象圖像的景深，所述音響信號處理部根據(jù)所述聚焦位置以及所述景深來控制所述音響信號處理的內(nèi)容。更具體而言，所述音響信號處理部根據(jù)所述景深比較深的情況和所述景深比較淺的情況，而使所述音響信號處理的內(nèi)容不同。此外，例如，還具有通過圖像處理來變更所述對象圖像的聚焦?fàn)顟B(tài)的圖像加工部， 在進行了該變更時，所述音響信號處理部根據(jù)變更后的聚焦?fàn)顟B(tài)來控制所述音響信號處理的內(nèi)容。由此，能夠與聚焦?fàn)顟B(tài)的變更聯(lián)動地進行恰當(dāng)?shù)囊繇懶盘柼幚怼?發(fā)明效果)根據(jù)本發(fā)明，能夠提供不會讓用戶承受特別的操作負擔(dān)，并且不依存于還可作為聲源來發(fā)揮功能的物體的種類，就能夠生成按照用戶意圖的聲音信號的電子設(shè)備。


圖1是表示本發(fā)明的第一實施方式的攝像裝置的概略整體方框圖。圖2是圖1所示的攝像部的內(nèi)部結(jié)構(gòu)圖。圖3是表示圖1所示的話筒部的內(nèi)部結(jié)構(gòu)以及與話筒部連接的電路的示意圖。圖4是圖1的攝像裝置的外觀立體圖。圖5的(a) (b)是表示由圖1的聲音信號處理部能夠生成的聲音信號的極坐標(biāo)的圖，(c)是用于說明針對任意聲源的角度的意義的圖。圖6是本發(fā)明的第一實施方式的攝像裝置的一部分方框圖。圖7是表示對象輸入圖像與應(yīng)收音對象音響信號的對象收音期間的關(guān)系的圖。圖8是表示在實際空間上所定義的三個區(qū)域的圖。圖9是表示對象輸入圖像被分割為三個的情形的圖。圖10是用于明示景深、聚焦距離以及被攝體距離的意義的圖。圖11是表示對象輸入圖像與再現(xiàn)用音響信號的關(guān)系例的示意圖。圖12是本發(fā)明的第一實施方式的生成再現(xiàn)用音響信號的動作的流程圖。圖13是本發(fā)明的第二實施方式的攝像裝置的一部分方框圖。圖14是表示在本發(fā)明的第二實施方式的具體例中所參照的對象輸入圖像的圖。圖15是表示本發(fā)明的第二實施方式的三個被攝體與攝像裝置的距離關(guān)系的圖。圖16是表示本發(fā)明的第二實施方式的數(shù)字聚焦的第一 第三模式的圖。圖中I-攝像裝置，11-攝像部，13-圖像處理部，14-話筒部，14L、14R-麥克風(fēng)，15-音響信號處理部，
33-攝像元件，
61-按各方向聲源分離部，
62-聚焦位置/景深獲取部，
63-按各方向控制量設(shè)定部，
64-按各方向音量調(diào)整部，
71-數(shù)字聚焦部，
72-聚焦?fàn)顟B(tài)變更指定部。
具體實施例方式以下，參照附圖對本發(fā)明的實施方式的示例具體地進行說明。在所參照的各附圖中，對相同部分賦予相同符號，原則上省略與相同部分相關(guān)的重復(fù)說明?！兜谝粚嵤┓绞健穼Ρ景l(fā)明的第一實施方式進行說明。圖1是第一實施方式的攝像裝置1的概略整體方框圖。攝像裝置1是能夠拍攝和記錄靜止圖像的數(shù)字照相機、或是能夠拍攝和記錄靜止圖像以及運動圖像的數(shù)字攝像機。攝像裝置1也可以被搭載于手機等便攜式終端。在攝像裝置1中，設(shè)置有攝像部11、AFE12、圖像處理部13、話筒部14、音響信號處理部15、顯示部16、揚聲器部17、操作部18、記錄介質(zhì)19以及主控制部20。圖2表示攝像部11的內(nèi)部結(jié)構(gòu)圖。攝像部11具有光學(xué)系統(tǒng)35、光圈32、 ^ CCD (Charge Coupled Device ) CMOS (Complementary Metal Oxide Semiconductor 互補金屬氧化物半導(dǎo)體)圖像傳感器等構(gòu)成的攝像元件33、用于驅(qū)動控制光學(xué)系統(tǒng)35及光圈32的驅(qū)動器34。光學(xué)系統(tǒng)35由包含變焦透鏡30以及聚焦透鏡31在內(nèi)的多個透鏡形成。變焦透鏡30以及聚焦透鏡31能夠在光軸方向上移動。驅(qū)動器34通過根據(jù)來自主控制部20的控制信號，對變焦透鏡30以及聚焦透鏡31的各位置和光圈32 的開度進行驅(qū)動控制，從而對攝像部11的焦距(視角)以及焦點位置和向攝像元件33的入射光量(換言之，光圈值)進行控制。攝像元件33對經(jīng)光學(xué)系統(tǒng)35以及光圈32射入的表示被攝體的光學(xué)圖像進行光電變換，并將通過該光電變換而得到的電信號輸出給AFE12。AFE12對從攝像部11(攝像元件33)輸出的模擬信號進行放大，并將被放大的模擬信號變換為數(shù)字信號。AFE12將該數(shù)字信號作為RAW數(shù)據(jù)而輸出給圖像處理部13。AFE12中的信號放大的放大量由主控制部20 來控制。圖像處理部13根據(jù)來自AFE12的RAW數(shù)據(jù)，生成表示由攝像部11拍攝的圖像(以下，也稱為拍攝圖像)的圖像數(shù)據(jù)。在此所生成的圖像數(shù)據(jù)中，例如，包括亮度信號以及色差信號。但是，RAW數(shù)據(jù)其自身也是圖像數(shù)據(jù)的一種，從攝像部11輸出的模擬信號也是圖像數(shù)據(jù)的一種。話筒部14將攝像裝置1的周圍聲音變換為音響信號。能夠由多個麥克風(fēng)來形成話筒部14。其中，如圖3所示，話筒部14由兩個麥克風(fēng)14L以及14R構(gòu)成。能夠在音響信號處理部15中設(shè)置A/D變換器51L以及51R。圖4表示攝像裝置1的外觀立體圖。麥克風(fēng) 14L以及14R被配置在攝像裝置1的殼體上相互不同的位置。圖4表示由攝像裝置1拍攝的物體即攝像裝置1的被攝體。通過在顯示部16中顯示被攝體的拍攝圖像，用戶能夠確認攝像裝置1的拍攝范圍等。如圖4所示，將由攝像裝置1能夠拍攝的被攝體所存在的方向定義為前方，將其相反的方向定義為后方。前方以及后方是沿著攝像部11的光軸的方向。此外，右以及左是指從后方側(cè)看前方側(cè)時的右以及左。麥克風(fēng)14L以及14R分別將自身所收音的聲音變換為模擬音響信號并輸出。圖3 的A/D變換器51L以及51R分別將從麥克風(fēng)14L以及14R輸出的模擬音響信號以規(guī)定的采樣周期(例如48千赫)變換為數(shù)字音響信號并輸出。將A/D變換器51L的輸出信號特別稱為左原信號，將A/D變換器51R的輸出信號特別稱為右原信號音響信號處理部15能夠?qū)ψ笤盘栆约坝以盘枌嵤┍匾囊繇懶盘柼幚怼ｊP(guān)于該處理內(nèi)容，在后面進行描述。顯示部16是具有液晶顯示面板等顯示畫面的顯示裝置，在主控制部20的控制下， 顯示拍攝圖像或記錄在記錄介質(zhì)19中的圖像等。揚聲器部17由一個或多個喇叭構(gòu)成，將話筒部14的輸出音響信號、由音響信號處理部15生成的音響信號、從記錄介質(zhì)19讀出的音響信號等任意的音響信號作為聲音進行再現(xiàn)輸出。操作部18是接受來自用戶的各種操作的部位。對操作部18的操作內(nèi)容被傳送給主控制部20等。記錄介質(zhì)19是卡狀半導(dǎo)體存儲器或磁盤等非易失性存儲器，在主控制部20的控制下，對拍攝圖像等進行存儲。主控制部20按照向操作部18的操作內(nèi)容，對攝像裝置1內(nèi)的各部位的動作進行統(tǒng)一控制。在攝像裝置1的動作模式中，包括能夠拍攝靜止圖像或運動圖像的拍攝模式和在顯示部16上能夠再現(xiàn)記錄在記錄介質(zhì)19中的靜止圖像或運動圖像的再現(xiàn)模式。在拍攝模式中，以規(guī)定的幀周期周期性地進行被攝體的拍攝，從攝像部11 (更詳細而言，是從AFE12) 輸出表示被攝體的拍攝圖像列的RAW數(shù)據(jù)。拍攝圖像列所代表的圖像列是指以時間序列排列的圖像的集合。通過一個幀周期的圖像數(shù)據(jù)來表現(xiàn)一張圖像。將由來自AFE12的一幀周期的圖像數(shù)據(jù)所表現(xiàn)的一張拍攝圖像稱為幀圖像。也可以將針對基于RAW數(shù)據(jù)的拍攝圖像實施規(guī)定圖像處理(解馬賽克處理、噪聲除去處理、顏色補償處理等)而得到的圖像解釋為幀圖像。作為麥克風(fēng)14L以及14R，能夠采用沒有指向性的無指向性麥克風(fēng)。麥克風(fēng)14L以及14R是無指向性麥克風(fēng)時，左原信號以及右原信號是無指向性的音響信號(沒有指向性的音響信號)。音響信號處理部15能夠采用公知的指向性，根據(jù)無指向性的左原信號以及右原信號，在任意方向上生成具有指向軸的音響信號。能夠通過使左原信號或右原信號延遲的延遲處理、以規(guī)定比例使左原信號或右原信號衰減的衰減處理、以及從經(jīng)過延遲處理和/或衰減處理后得到的左原信號以及右原信號的一方中減去另一方的減算處理來實現(xiàn)該指向性控制。具體而言，例如，通過從右原信號中減去使左原信號延遲基于麥克風(fēng)14L以及14R間的距離的時間并且按規(guī)定比例衰減而得到的信號，能夠生成具有圖5 (a)的極坐標(biāo)圖310的音響信號，即，能夠生成在左斜后方45° 方向上具有死角的音響信號。具有極坐標(biāo)圖310的音響信號，是在右斜前方45°方向上具有指向軸的音響信號，即，是針對從位于攝像裝置1的右斜前方45°的聲源到達攝像裝置1 的聲音的分量，具有最高指向性(靈敏度)的音響信號。同樣地，通過從左原信號減去使右原信號僅基于麥克風(fēng)14L以及14R間的距離的時間延遲并且僅按規(guī)定比例衰減而得到的信號，能夠生成具有圖5(b)的極坐標(biāo)圖311的音響信號，S卩，在右斜后方45°方向上具有死角的音響信號。具有極坐標(biāo)圖311的音響信號是在左斜前方45°方向上具有指向軸的音響信號，即，是針對從位于攝像裝置1的左斜前方45°的聲源到達攝像裝置1的聲音的分量，具有最高指向性(靈敏度)的音響信號。此外，定義將如圖5(c)所示的X軸以及Y軸作為坐標(biāo)軸的XY坐標(biāo)面(XY坐標(biāo)系)。 X軸是通過麥克風(fēng)14L的中心與麥克風(fēng)14R的中心的軸，原點0位于它們的中心的中間。Y 軸是在原點0處與X軸正交。沿Y軸的方向與攝像部11的光軸(對攝像元件33而言的光軸)的方向一致。X軸以及Y軸與水平面平行。從原點0朝向麥克風(fēng)14R的方向(即攝像裝置1的右方向)設(shè)為X軸的正方向，從原點0朝向攝像裝置1的前方的方向設(shè)為Y軸的正方向。線段313是連結(jié)原點0與作為任意的聲源的聲源SS的線段。以θ表示X軸與線段313形成的角度。其中，角度θ設(shè)為從連結(jié)原點0與麥克風(fēng)14R的中心的線段向逆時針方向觀察線段313時的X軸和線段313間的角度。所謂逆時針方向是指使從原點0向麥克風(fēng)14R的中心延伸的線段向攝像裝置1的前方側(cè)旋轉(zhuǎn)的方向。聲源SS的角度θ表示聲源 SS位于的方向(即，針對聲源SS的聲源方向)。攝像裝置1具有根據(jù)聚焦?fàn)顟B(tài)而實施特殊音響信號處理的功能。以下，針對該功能進行詳細說明。圖6是與實現(xiàn)該功能特別相關(guān)的部位的方框圖。在圖1的音響信號處理部15中能夠預(yù)先設(shè)定按各方向聲源分離部61、按各方向控制量設(shè)定部63以及按各方向音量調(diào)整部64。聚焦位置/景深獲取部62通過圖像處理部13和/或主控制部20來實現(xiàn)。按各方向聲源分離部61 (以下，有時簡稱為聲源分離部61)，根據(jù)對象音響信號生成第一 第m方向信號。其中，m是2以上的整數(shù)。對象音響信號是由左原信號以及右原信號構(gòu)成的音響信號。各方向信號是從對象音響信號中提取出的具有指向性的音響信號， 當(dāng)取i以及j為相互不同的整數(shù)時，指向性的朝向在第i以及第j的方向信號間不同。在以下的說明中，只要沒有特別限定，則m = 3。并且，假設(shè)作為第一、第二以及第三方向信號而分別生成L方向信號、C方向信號以及R方向信號的情況。對象音響信號是與對象輸入圖像建立對應(yīng)的音響信號。對象輸入圖像，例如，是作為按照拍攝靜止圖像的指示而得到的靜止圖像的一張幀圖像。當(dāng)對象輸入圖像是靜止圖像時，如圖7(a)所示，在作為該靜止圖像的對象輸入圖像320中設(shè)定對象收音期間321，通過對象收音期間321中的話筒部14的輸出音響信號(在本例中是左原信號以及右原信號)， 形成與對象輸入圖像320對應(yīng)的對象音響信號。對象收音期間321是將對象輸入圖像320 的拍攝時刻作為基準(zhǔn)的期間，當(dāng)時刻s作為對象輸入圖像320的曝光期間的中間時刻時，例如，是從時刻(s- Δ sA)到時亥Ij (s+ Δ sB)的期間。時刻(s- A sA)表示自時刻s之前Δ 的時亥IJ，時刻(s+Δ sB)表示自時刻s之后八巧的時刻。Δ、以及Δ %是正的時間。不過，Δ、 以及Δ%之中的任意一方均可為零?；蛘撸瑢ο筝斎雸D像也可以是形成運動圖像的任意幀圖像。當(dāng)對象輸入圖像是運動圖像中的幀圖像時，如圖7(b)所示，在作為該幀圖像的對象輸入圖像330中設(shè)定對象收音期間331，通過對象收音期間331中的話筒部14的輸出音響信號(在本例中是左原信號以及右原信號)，形成與對象輸入圖像330對應(yīng)的對象音響信號。對象收音期間331是將對象輸入圖像330的拍攝時刻作為基準(zhǔn)的期間，當(dāng)時刻s作為對象輸入圖像330的曝光期間的中間時刻時，例如，是從時刻(s-Δ、)到時刻(s+Δ^)的期間，或者，是與對象輸入圖像 330對應(yīng)的幀期間。
參照圖8對各方向信號的意義進行說明。L方向信號是通過從對象音響信號中分離提取從位于區(qū)域350L內(nèi)的各聲源到達攝像裝置1的聲音的分量而得到的音響信號。C方向信號是通過從對象音響信號中分離提取從位于區(qū)域350C內(nèi)的各聲源到達攝像裝置1的聲音的分量而得到的音響信號。R方向信號是通過從對象音響信號中分離提取從位于區(qū)域 350R內(nèi)的各聲源到達攝像裝置1的聲音的分量而得到的音響信號。區(qū)域350L、350C以及350R是相互不同的實際空間上的區(qū)域。區(qū)域350L是配置具有滿足不等式“ θ 3彡θ < θ4”的角度θ的聲源SS的區(qū)域。區(qū)域350C是配置具有滿足不等式“ θ 2彡θ < θ3”的角度θ的聲源SS的區(qū)域。區(qū)域350R是配置具有滿足不等式“ Q1S θ < θ2”的角度θ的聲源SS的區(qū)域。 其中，不等式滿足“0° ^ θ < θ2<90° < θ3< 180° ”。不過，也可以將角度Q1 設(shè)為負的角度，也可以將角度θ 4設(shè)為大于180°。能夠根據(jù)對象輸入圖像的視角來決定角度θ ρ θ 2、θ 3以及θ 4的具體值。例如， 在生成針對圖7(a)的對象輸入圖像320的各方向信號時，只要將對象輸入圖像320的整體圖像區(qū)域劃分為如圖9所示的分割圖像區(qū)域321L、321C以及321R，并根據(jù)拍攝對象輸入圖像320時的視角來決定角度θ” θ2、θ3以及04的具體值，以使在區(qū)域350L中收入作為位于分割圖像區(qū)域321L內(nèi)的聲源的被攝體，并且在區(qū)域350C中收入作為位于分割圖像區(qū)域321C內(nèi)的聲源的被攝體，并且在區(qū)域350R中收入作為位于分割圖像區(qū)域321R內(nèi)的聲源的被攝體即可。對于圖7(b)的對象輸入圖像330也同樣。其中，分割圖像區(qū)域321L、321C 以及321R是沿對象輸入圖像320的垂直方向?qū)ο筝斎胂?20的整體圖像區(qū)域分割為三個而得到的，且在對象輸入圖像320的圖像空間上以及實際空間上，分割圖像區(qū)域321L 內(nèi)的被攝體比分割圖像區(qū)域321C內(nèi)的被攝體更位于左側(cè)，并且分割圖像區(qū)域321R內(nèi)的被攝體比分割圖像區(qū)域321C內(nèi)的被攝體更位于右側(cè)(對于圖7(b)的對象輸入圖像330也同樣)。聲源分離部61能夠利用上述指向性控制由對象音響信號生成L、C以及R方向信號。此外，雖然將“通過從對象音響信號中分離提取從位于區(qū)域350L內(nèi)的各聲源到達攝像裝置1的聲音的分量而得到的音響信號”描述為L方向信號，但根據(jù)指向性控制的特性，來自位于區(qū)域350L以外的各聲源的聲音分量也可能混入L方向信號(對于C以及R方向信號也同樣)。因此，所謂L方向信號能夠表現(xiàn)為與不滿足“ θ 3彡θ < θ 4”的聲源SS的方向相比，在滿足“θ3< θ < θ 4”的聲源SS的方向上具有比較高的靈敏度的音響信號(對于C以及R方向信號也同樣)。圖6的聚焦位置/景深獲取部62 (以下，有時簡稱為獲取部62)，獲取對象輸入圖像的聚焦位置以及景深的深度。關(guān)于任意的二維圖像，所謂該二維圖像的聚焦位置是表示該二維圖像的整體圖像區(qū)域中所包含的聚焦區(qū)域在該二維圖像上的位置。因此，能夠?qū)⒕劢刮恢梅Q為聚焦區(qū)域位置。聚焦位置不僅表示聚焦區(qū)域的中心位置，也是表示聚焦區(qū)域的水平以及垂直方向的大小的信息。因此，例如，當(dāng)聚焦區(qū)域是矩形區(qū)域時，聚焦位置是對聚焦區(qū)域的左上角的位置以及聚焦區(qū)域的右下角的位置進行確定的信息。所謂聚焦區(qū)域是指存在已聚焦的被攝體的圖像數(shù)據(jù)的圖像區(qū)域。眾所周之(參照圖10)，在拍攝對象輸入圖像時，對位于景深內(nèi)的被攝體360進行聚焦，已聚焦的被攝體360
8出現(xiàn)在聚焦區(qū)域內(nèi)。此時，被攝體360的被攝體距離是景深內(nèi)的距離。某一被攝體的被攝體距離是指該被攝體與攝像裝置1(更具體而言，是攝像元件33)之間的實際空間上的距離。此外，可認為聚焦度比較高的圖像區(qū)域(例如，聚焦度比規(guī)定的基準(zhǔn)聚焦度大的圖像區(qū)域)為聚焦區(qū)域?！按嬖谝丫劢沟谋粩z體的圖像數(shù)據(jù)的圖像區(qū)域”是“聚焦度比較高的圖像區(qū)域”的一種。所謂聚焦度是表示已聚焦到何種程度的聚焦程度。認為對關(guān)注區(qū)域或關(guān)注像素的聚焦度越大，越已聚焦于關(guān)注區(qū)域或關(guān)注像素中的被攝體。來自作為點光源的關(guān)注被攝體的光，在攝像元件33以及對象輸入圖像上形成點圖像。該點圖像的直徑越小，存在該關(guān)注被攝體的圖像數(shù)據(jù)的部分的聚焦度越高，該點圖像的直徑越大，存在該關(guān)注被攝體的圖像數(shù)據(jù)的部分的聚焦度越小。此外，將景深內(nèi)的中心的距離稱為聚焦距離(參照圖10)。能夠根據(jù)拍攝對象輸入圖像時的光學(xué)系統(tǒng)35的各透鏡的狀態(tài)(特別是聚焦透鏡31的位置)，求出對象輸入圖像的
聚焦距離。獲取部62能夠根據(jù)聚焦位置用信息來檢測對象輸入圖像的聚焦區(qū)域。通過檢測聚焦區(qū)域，還同時檢測出聚焦位置。聚焦位置用信息，例如，是對象輸入圖像的圖像數(shù)據(jù)。公知從對象輸入圖像的圖像數(shù)據(jù)中檢測出聚焦區(qū)域以及聚焦位置的方法，獲取部62能夠利用公知的任意的檢測方法。 典型地例如，可以利用對比度檢測法。即例如，可以在對象輸入圖像的整體區(qū)域中設(shè)定相互不同的多個評價區(qū)域，按照每個評價區(qū)域提取出評價區(qū)域內(nèi)的圖像的空間頻率分量中的高頻段頻率分量，并判斷為所提取出的高頻段頻率分量大于規(guī)定基準(zhǔn)量的評價區(qū)域是聚焦區(qū)域。按照每個評價區(qū)域而提取出的高頻段頻率分量，能夠認為是按照每個評價區(qū)域而計算出的聚焦度。通過各被攝體的被攝體距離或景深的深度等，有時會判斷為2以上的評價區(qū)域是聚焦區(qū)域，有時也會判斷為對象輸入圖形的整體圖像區(qū)域是聚焦區(qū)域?；蛘?，例如，也可以進行對攝像裝置1的攝像范圍內(nèi)的各被攝體的被攝體距離進行測定的測距處理，并利用測距處理的結(jié)果來檢測聚焦區(qū)域以及聚焦位置。若將測距處理的結(jié)果變換為各像素值具有被攝體距離的測定值的距離圖像，且將距離圖像、聚焦距離以及景深的深度用作聚焦位置用信息，則能夠確定對象輸入圖像上的哪些部分是聚焦區(qū)域。獲取部62能夠根據(jù)景深用信息來檢測對象輸入圖像的景深的深度。作為景深用信息能夠采用拍攝對象輸入圖像時的光圈以及焦距。這是因為若確定了拍攝對象輸入圖像時的光圈值以及焦距，就能確定對象輸入圖像的景深的深度。獲取部62輸出表示對象輸入圖像的聚焦?fàn)顟B(tài)的聚焦?fàn)顟B(tài)信息。聚焦?fàn)顟B(tài)信息中包含表示對象輸入圖像的聚焦位置以及景深的深度的信息。按各方向控制量設(shè)定部63(以下，有時簡稱為控制量設(shè)定部63)，根據(jù)聚焦?fàn)顟B(tài)信息，按照每個方向信號來設(shè)定針對L、C及R方向信號的控制量，并輸出表示針對L、C及R 方向信號的控制量的控制量信息。按各方向音量調(diào)整部64(以下，有時簡稱為音量調(diào)整部 64)，根據(jù)控制量信息，即根據(jù)按每個方向信號所設(shè)定的控制量，按照每個方向信號來調(diào)整 L、C及R方向信號的音量，并根據(jù)音量調(diào)整后的各方向信號來生成再現(xiàn)用音響信號。揚聲器部17輸出再現(xiàn)用音響信號作為聲音。此外，揚聲器部17也可以是設(shè)置在攝像裝置1的外部的揚聲器部。分別以L(t)、C(t)以及R(t)表示音量調(diào)整前的時刻t的L、C以及R方向信號，分別以L’(t)、C’ (t)以及R’⑴表示音量調(diào)整后的時刻t的L、C以及R方向信號。根據(jù)控制量，有可能是L (t) =L' (t)，也有可能是C (t) =C' (t)，也有可能是R (t) =R'⑴。當(dāng)針對L方向信號的控制量為零時，在音量調(diào)整前后L方向信號的音量不變，在針對L方向信號的控制量為正時，通過音量調(diào)整來增大L方向信號的音量，當(dāng)針對L方向信號的控制量為負時，通過音量調(diào)整來減少L方向信號的音量。對于C以及R方向信號也同樣。再現(xiàn)用音響信號，例如，是通過單純將音量調(diào)整后的L、C以及R方向信號相加而得到的單聲道音響信號。此時，單聲道音響信號即時刻t的再現(xiàn)用音響信號由 “L’(t)+C’(t)+R’ ⑴”來表示。或者例如，再現(xiàn)用音響信號，可以是作為三聲道的音響信號而具有音量調(diào)整后的 L、C以及R方向信號的多聲道信號。此時，只要在揚聲器部17中設(shè)置L方向信號再現(xiàn)用的 L聲道揚聲器、C方向信號再現(xiàn)用的C聲道揚聲器、R方向信號再現(xiàn)用的R聲道揚聲器，就能夠通過各聲道揚聲器來再現(xiàn)音量調(diào)整后的各方向信號。當(dāng)揚聲器17是由L側(cè)揚聲器和R側(cè)揚聲器構(gòu)成的立體聲揚聲器時，也可以根據(jù)音量調(diào)整后的L、C以及R方向信號來生成兩聲道音響信號即L輸出信號以及R輸出信號，且生成由L輸出信號以及R輸出信號構(gòu)成的立體聲音響信號作為再現(xiàn)用音響信號。此時，L輸出信號以及R輸出信號分別通過L側(cè)揚聲器和R側(cè)揚聲器來再現(xiàn)。通過揚聲器17來再現(xiàn)再現(xiàn)用音響信號時，在顯示部16上再現(xiàn)對象輸入圖像(即， 由顯示部16進行顯示)。此時，控制量設(shè)定部63通過恰當(dāng)?shù)卦O(shè)定每個方向信號的控制量， 能夠再現(xiàn)適合再現(xiàn)圖像的聚焦?fàn)顟B(tài)的音響信號。以對象輸入圖像是圖7(a)以及圖9的對象輸入圖像320的情況為例，參照圖 11(a)對控制量的設(shè)定方法例進行說明。例如，當(dāng)根據(jù)聚焦?fàn)顟B(tài)信息所包含的聚焦位置而判斷為對象輸入圖像320的整體圖像區(qū)域其自身為聚焦區(qū)域時，或者，當(dāng)判斷為對象輸入圖像320的分割圖像區(qū)域321L、 321C以及321R分別包含有聚焦區(qū)域時，控制量設(shè)定部63對對象輸入圖像320進行全聚焦判定。圖11(a)是進行全聚焦判定時的示意圖。圖11(a)的圖像320w表示進行了全聚焦判定時的對象輸入圖像320。當(dāng)進行了全聚焦判定時，控制量設(shè)定部63將針對L、C以及R方向信號的控制量全部設(shè)為零。此時，在基于音量調(diào)整部64的音量調(diào)整前后，各方向信號的音量不變。S卩，L(t) =L' (t)、C(t) =C' (t)、且R(t) =R' (t)。因此，當(dāng)進行了全聚焦判定時，會均衡地再現(xiàn)來自區(qū)域350L、350C以及350R內(nèi)的聲源的聲音(也參照圖8)。在進行全聚焦判定的狀況下，可認為視聽者正關(guān)注再現(xiàn)圖像整體，或者，關(guān)注再現(xiàn)圖像上的特定部分的可能性低。因此，認為均衡再現(xiàn)最適合再現(xiàn)圖像。此外，例如，當(dāng)根據(jù)聚焦?fàn)顟B(tài)信息所包含的聚焦位置而判斷為對象輸入圖像320 的分割圖像區(qū)域321L其自身為聚焦區(qū)域時，或者，當(dāng)判斷為僅在對象輸入圖像320的分割圖像區(qū)域321L中包含有聚焦區(qū)域時，控制量設(shè)定部63針對對象輸入圖像320進行左聚焦判定。圖11(b)是進行左聚焦判定時的示意圖。圖11(b)的圖像32 表示進行了左聚焦判定時的對象輸入圖像320。在圖11(b)中，通過加粗圖像32 中的物體的輪廓線來表現(xiàn)圖像的模糊(在圖11(c)以及(d)等中也同樣)。當(dāng)進行了左聚焦判定時，控制量設(shè)定部63將針對L方向信號的控制量設(shè)為正，而將針對C以及R方向信號的控制量設(shè)為零或負。如此，通過音量調(diào)整部64的音量調(diào)整，使 L方向信號的音量增大，而使C以及R方向信號的音量減小?；蛘撸部梢詫⑨槍方向信號的控制量設(shè)為零，而將針對C以及R方向信號的控制量設(shè)為負。如此，與C以及R方向信號的音量相比，L方向信號的音量會相對增大。無論如何，在進行了左聚焦判定時，在再現(xiàn)用音響信號中會強調(diào)來自與分割圖像區(qū)域321L內(nèi)的被攝體對應(yīng)的區(qū)域350L內(nèi)的聲源的聲音(也參照圖8以及圖9)。在進行左聚焦判定的狀況下，，視聽者關(guān)注位于再現(xiàn)圖像的左側(cè)的被攝體的可能性高。因此，進行強調(diào)來自位于再現(xiàn)圖像的左側(cè)的被攝體的聲音的上述音量調(diào)整(對于后述的中央聚焦判定以及右聚焦判定也同樣)。此外，例如，當(dāng)根據(jù)聚焦?fàn)顟B(tài)信息所包含的聚焦位置而判斷為對象輸入圖像320 的分割圖像區(qū)域321C其自身為聚焦區(qū)域時，或者，當(dāng)判斷為僅在對象輸入圖像320的分割圖像區(qū)域321C中包含有聚焦區(qū)域時，控制量設(shè)定部63對對象輸入圖像320進行中央聚焦判定。圖11(c)是進行中央聚焦判定時的示意圖。圖11(c)的圖像320。表示進行了中央聚焦判定時的對象輸入圖像320。當(dāng)進行了中央聚焦判定時，控制量設(shè)定部63將針對C方向信號的控制量設(shè)為正， 而將針對L以及R方向信號的控制量設(shè)為零或負。如此，通過音量調(diào)整部64的音量調(diào)整， 使C方向信號的音量增大，而使L以及R方向信號的音量減小?；蛘?，也可以將針對C方向信號的控制量設(shè)為零，而將針對L以及R方向信號的控制量設(shè)為負。如此，與L以及R方向信號的音量相比，C方向信號的音量相對增大。無論如何，在進行了中央聚焦判定時，在再現(xiàn)用音響信號中會強調(diào)來自與分割圖像區(qū)域321C內(nèi)的被攝體對應(yīng)的區(qū)域350C內(nèi)的聲源的聲音(也參照圖8以及圖9)。此外，例如，當(dāng)根據(jù)聚焦?fàn)顟B(tài)信息所包含的聚焦位置而判斷為對象輸入圖像320 的分割圖像區(qū)域321R其自身為聚焦區(qū)域時，或者，當(dāng)判斷為僅在對象輸入圖像320的分割圖像區(qū)域321R中包含有聚焦區(qū)域時，控制量設(shè)定部63對對象輸入圖像320進行右聚焦判定。圖11(d)是進行了右聚焦判定時的示意圖。圖11(d)的圖像320κ表示進行了右聚焦判定時的對象輸入圖像320。當(dāng)進行了右聚焦判定時，控制量設(shè)定部63將針對R方向信號的控制量設(shè)為正，而將針對L以及C方向信號的控制量設(shè)為零或負。如此，通過音量調(diào)整部64的音量調(diào)整，使 R方向信號的音量增大，而使L以及C方向信號的音量減小。或者，也可以將針對R方向信號的控制量設(shè)為零，而將針對L以及C方向信號的控制量設(shè)為負。如此，與L以及C方向信號的音量相比，R方向信號的音量相對增大。無論如何，在進行了右聚焦判定時，在再現(xiàn)用音響信號中會強調(diào)來自與分割圖像區(qū)域321L內(nèi)的被攝體對應(yīng)的區(qū)域350R內(nèi)的聲源的聲音 (也參照圖8以及圖9)。或者，也可以當(dāng)聚焦?fàn)顟B(tài)信息所包含的景深的深度比規(guī)定的基準(zhǔn)深度深時，針對對象輸入圖像320進行全聚焦判定，當(dāng)聚焦?fàn)顟B(tài)信息所包含的景深的深度比該基準(zhǔn)深度淺時，針對對象輸入圖像320進行全聚焦判定以外的判定，即進行左聚焦判定、中央聚焦判定或右聚焦判定(進行左、中央以及右判定中的哪一個判定，要依照上述方法)。此時，根據(jù)景深的深度比基準(zhǔn)深度THdepth深或者淺的情形，控制量會不同，從而由音量調(diào)整部64進行的音響信號處理的內(nèi)容也會不同。圖12是表示再現(xiàn)用音響信號的生成動作的流程圖。生成再現(xiàn)用音響信號需要執(zhí)行步驟Sll S14的處理。在步驟Sll中，根據(jù)對象音響信號而生成L、C以及R方向信號。 在步驟S12中，根據(jù)聚焦位置用信息以及景深用信息而生成聚焦?fàn)顟B(tài)信息。在步驟S13中， 根據(jù)聚焦?fàn)顟B(tài)信息而生成控制量信息。在步驟S14中，根據(jù)L、C以及R方向信號和控制量信息而生成再現(xiàn)用音響信號。能夠在拍攝模式下執(zhí)行步驟Sll S14的全部處理，并將所得到的再現(xiàn)用音響信息與對象輸入圖像的圖像數(shù)據(jù)建立關(guān)聯(lián)地預(yù)先記錄在記錄介質(zhì)19中。此時，通過從記錄介質(zhì)19讀出對象輸入圖像的圖像數(shù)據(jù)的同時還讀出再現(xiàn)用音響信號，能夠?qū)ο筝斎雸D像與再現(xiàn)音響信號一起進行再現(xiàn)。但是，步驟Sll S14的各個處理的執(zhí)行時刻是任意的，也可以在直到完成步驟 Sll S14的全部處理為止的過程中，介入向記錄介質(zhì)19的信息或信號的記錄。S卩，例如，也可以將對象音響信號以及聚焦位置用信息和景深用信息與對象輸入圖像的圖像數(shù)據(jù)建立關(guān)聯(lián)地預(yù)先記錄在記錄介質(zhì)19中，且在必要時，從記錄介質(zhì)19讀出對象音響信號以及聚焦位置用信息和景深用信息，來執(zhí)行步驟Sll S14的處理。同樣認為，也可以將對象音響信號與對象輸入圖像的圖像數(shù)據(jù)建立關(guān)聯(lián)地預(yù)先記錄在記錄介質(zhì)19中，且在必要時，從記錄介質(zhì)19讀出對象音響信號來執(zhí)行步驟Sll的處理。此時，若得到控制量信息，則能夠進一步執(zhí)行步驟S14的處理。此外，例如，也可以將聚焦位置用信息和景深用信息與對象輸入圖像的圖像數(shù)據(jù)建立關(guān)聯(lián)地預(yù)先記錄在記錄介質(zhì)19中，且在必要時，從記錄介質(zhì)19讀出聚焦位置用信息和景深用信息，來執(zhí)行步驟S12以及S13的處理。此時，若得到L、C以及R方向信號，則能夠進一步執(zhí)行步驟S14的處理。此外，例如，也可以將聚焦?fàn)顟B(tài)信息與對象輸入圖像的圖像數(shù)據(jù)建立關(guān)聯(lián)地預(yù)先記錄在記錄介質(zhì)19中，且在必要時，從記錄介質(zhì)19讀出聚焦?fàn)顟B(tài)信息，來執(zhí)行步驟S13的處理。此時，若得到L、C以及R方向信號，則能夠進一步執(zhí)行步驟S14的處理。此外，例如，也可以將L、C和R方向信號以及控制量信息與對象輸入圖像的圖像數(shù)據(jù)建立關(guān)聯(lián)地預(yù)先記錄在記錄介質(zhì)19中，且在必要時，從記錄介質(zhì)19讀出L、C和R方向信號以及控制量信息來執(zhí)行步驟S14的處理。如上所述，在本實施方式中，根據(jù)作為再現(xiàn)圖像的對象輸入圖像的聚焦?fàn)顟B(tài)，來控制用于從對象音響信號生成再現(xiàn)用音響信號的音響信號處理的內(nèi)容。此時，根據(jù)再現(xiàn)圖像的聚焦?fàn)顟B(tài)來確定被推定為視聽者關(guān)注度高的區(qū)域，且對與該區(qū)域?qū)?yīng)的聲音進行強調(diào)再現(xiàn)。由此，能夠進行適合視聽者興趣的音響信號再現(xiàn)。由于該再現(xiàn)的實現(xiàn)不需要基于用戶的特殊的操作，因此便利性極高。例如，在將景深比較淺的聚焦區(qū)域限定于特定區(qū)域的再現(xiàn)圖像中，由于視聽者的興趣集中于聚焦部分，因此對從聚焦部分到來的音響信號進行強調(diào)再現(xiàn)(參照圖11(b)、(c)以及(d))。另一方面，當(dāng)景深比較深的再現(xiàn)圖像整體已聚焦時， 均衡地再現(xiàn)寬范圍的聲音(參照圖11(a))。此外，對象輸入圖像可以是通過使用AF控制(自動聚焦控制)的拍攝而得到的圖像，也可以是通過使用MF控制(手動聚焦控制)的拍攝而得到的圖像。使用AF控制時，由攝像裝置1執(zhí)行的AF控制來確定焦距，相對于此，在使用MF控制時，根據(jù)用戶指定來確定焦距。在AF控制以及MF控制期間，僅是確定焦距的主體不同，圖6所示的各部位的動作不變。
也可以通過上述指向性控制以外的方法來生成L、C和R方向信號。例如，可以采用從多個麥克風(fēng)的輸出音響信號中按照每個聲源來分離提取來自空間上分散的各聲源的音響信號的方法(例如，JP特開2000-81900號公報、JP特開平10-313497號公報中記載的方法)。此時，在分離提取的過程中，當(dāng)然要識別各聲源的角度Θ。因此，只要根據(jù)該識別結(jié)果，生成各方向信號，以使在L方向信號中包含來自區(qū)域350L內(nèi)各聲源的音響信號，并且在C方向信號中包含來自區(qū)域350C內(nèi)各聲源的音響信號，并且在R方向信號中包含來自區(qū)域350R內(nèi)各聲源的音響信號，或者，例如，也可以在話筒部14預(yù)先設(shè)置針對來自區(qū)域350L內(nèi)的聲源的聲音具有高靈敏度的第一指向性麥克風(fēng)、針對來自區(qū)域350C內(nèi)的聲源的聲音具有高靈敏度的第二指向性麥克風(fēng)、和針對來自區(qū)域350R內(nèi)的聲源的聲音具有高靈敏度的第三指向性麥克風(fēng)， 并從第一 第三指向性麥克風(fēng)直接獲取L、C以及R方向信號。此時，根據(jù)由第一 第三指向性麥克風(fēng)的收音而得到的三種音響信號而形成對象音響信號。關(guān)于第一指向性麥克風(fēng)， 所謂“針對來自區(qū)域350L內(nèi)的聲源的聲音具有高靈敏度”是指與針對來自區(qū)域350L以外的聲源的聲音的靈敏度相比，針對來自區(qū)域350L內(nèi)的聲源的聲音的靈敏度更高(第二以及第三指向性麥克風(fēng)也同樣)。此外，雖然對由聲源分離部61生成的方向信號的個數(shù)為3時的動作進行了說明， 但只要該個數(shù)為2以上即可。《第二實施方式》對本發(fā)明的第二實施方式進行說明。第二實施方式是以第一實施方式為基礎(chǔ)的實施方式，關(guān)于在第二實施方式中未特別描述的事項，只要不矛盾，則第一實施方式的記載也適用于第二實施方式。在第二實施方式的攝像裝置1中設(shè)置有以下功能在通過拍攝而獲取對象輸入圖像的圖像數(shù)據(jù)之后，通過圖像處理來變更對象輸入圖像的聚焦?fàn)顟B(tài)(聚焦距離、景深的深度等)。實現(xiàn)該功能的處理稱為數(shù)字聚焦。圖13是針對根據(jù)變更對象輸入圖像的聚焦?fàn)顟B(tài)的功能和聚焦?fàn)顟B(tài)來實施特殊的音響信號處理的功能，特別相關(guān)的部位的方框圖。由圖13的符號61 64所參照的各部位與圖6中的相同。能夠預(yù)先在圖1的圖像處理部13中設(shè)置數(shù)字聚焦部71。聚焦?fàn)顟B(tài)變更指定部72由圖1的圖像處理部13以及主控制部20來實現(xiàn)。數(shù)字聚焦部(圖像加工部)71對對象輸入圖像的聚焦?fàn)顟B(tài)進行變更。將聚焦?fàn)顟B(tài)的變更后的對象輸入圖像稱為對象輸出圖像。在由數(shù)字聚焦部71變更的聚焦?fàn)顟B(tài)中，至少包括對象輸入圖像的聚焦位置、聚焦距離、景深的深度以及聚焦度之中的一個?，F(xiàn)在，以圖9所示的對象輸入圖像320為例，參照圖14對聚焦?fàn)顟B(tài)的變更的意義進行說明。圖14表示與圖9所示的內(nèi)容相同的對象輸入圖像320。在對象輸入圖像320的分割圖像區(qū)域321L、321C以及321R中，分別存在有作為狗的被攝體401、作為汽車的被攝體403以及作為人物的被攝體402的圖像數(shù)據(jù)。此外，如圖15所示，分別以d4Q1、d402以及 d4Q3來表示拍攝對象輸入圖像320時的被攝體401、402以及403的被攝體距離。其中，設(shè)為 d4cu〈 d402〈 d403。將在拍攝對象輸入圖像320時被攝體距離d4(ll與聚焦距離一致的狀態(tài)稱為狀態(tài) ST4Q1。但是，設(shè)為在狀態(tài)ST4tll下所拍攝的對象輸入圖像320的景深內(nèi)不包括被攝體距離 d402以及d403。圖11 (b)的圖像32 相當(dāng)于在狀態(tài)ST4tll下所拍攝的對象輸入圖像320。
將在拍攝對象輸入圖像320時被攝體距離d4Q2與聚焦距離一致的狀態(tài)稱為狀態(tài) ST4Q2。但是，設(shè)為在狀態(tài)ST4tl2下所拍攝的對象輸入圖像320的景深內(nèi)不包括被攝體距離 d401以及d4Q3。圖11 (d)的圖像320κ相當(dāng)于在狀態(tài)ST4tl2下所拍攝的對象輸入圖像320。將在拍攝對象輸入圖像320時被攝體距離d403與聚焦距離一致的狀態(tài)稱為狀態(tài) ST4Q3。但是，設(shè)為在狀態(tài)ST4tl3下所拍攝的對象輸入圖像320的景深內(nèi)不包括被攝體距離 d401以及d402。a 11(c)的圖像320c相當(dāng)于在狀態(tài)ST403下所拍攝的對象輸入圖像320。將在拍攝對象輸入圖像320時的景深內(nèi)包括全部被攝體距離d401 d403的狀態(tài)稱為狀態(tài)STW。圖11(a)的圖像320w相當(dāng)于在狀態(tài)STw下所拍攝的對象輸入圖像320。作為數(shù)字聚焦的執(zhí)行模式例示以下幾種執(zhí)行模式。圖16(a)是第一模式中的數(shù)字聚焦的示意圖。在第一模式中，根據(jù)在狀態(tài)STw下拍攝而得到的對象輸入圖像320w，通過數(shù)字聚焦而生成圖像32 作為對象輸出圖像。為了實現(xiàn)它，數(shù)字聚焦部71使對象輸入圖像320w的聚焦距離減小，或者使對象輸入圖像320w的景深的深度變淺，或執(zhí)行這兩者，以使在對象輸出圖像中僅被攝體距離d概 d4(l3之中的d401 收入景深內(nèi)?；蛘?，也可以執(zhí)行使對象輸入圖像32(^的分割圖像區(qū)域321C以及321R的聚焦度降低的圖像處理，以使在對象輸出圖像中僅被攝體距離d401 d4(l3之中的d概收入景深內(nèi)。在第一模式中，通過變更聚焦距離等，使聚焦區(qū)域從圖像整體變更為圖像左側(cè)區(qū)域，伴隨該聚焦區(qū)域的變更，聚焦位置也被變更。圖16(b)是第二模式中的數(shù)字聚焦的示意圖。在第二模式中，根據(jù)在狀態(tài)ST4tll下拍攝而得到的對象輸入圖像320l，通過數(shù)字聚焦而生成圖像320w作為對象輸出圖像。為了實現(xiàn)它，數(shù)字聚焦部71使對象輸入圖像32 的景深的深度加深，以使在對象輸出圖像中被攝體距離d401 d4Q3全部收入景深內(nèi)。或者，也可以執(zhí)行使對象輸入圖像32 的分割圖像區(qū)域321C以及321R的聚焦度提高的圖像處理，以使在對象輸出圖像中被攝體距離d401 d4(l3全部收入景深內(nèi)。在第二模式中，通過變更景深深度等，使聚焦區(qū)域從圖像左側(cè)區(qū)域變更為圖像整體，伴隨該聚焦區(qū)域的變更，聚焦位置也被變更。圖16(c)是第三模式中的數(shù)字聚焦的示意圖。在第三模式中，根據(jù)在狀態(tài)ST4tll下拍攝而得到的對象輸入圖像320l，通過數(shù)字聚焦而生成圖像320κ作為對象輸出圖像。為了實現(xiàn)它，數(shù)字聚焦部71使對象輸入圖像32 的聚焦距離增大，以使在對象輸出圖像中僅收集被攝體距離d401 d4Q3之中的d402收入景深內(nèi)。與該增大同時，也可以根據(jù)需要來變更景深的深度。或者，也可以執(zhí)行使對象輸入圖像32 的分割圖像區(qū)域321L的聚焦度降低的圖像處理、和使對象輸入圖像32 的分割圖像區(qū)域321R的聚焦度增加的圖像處理，以使在對象輸出圖像中僅被攝體距離d401 d4(l3之中的d402收入景深內(nèi)。在第三模式中，通過變更聚焦距離等，使聚焦區(qū)域從圖像左側(cè)區(qū)域變更為圖像右側(cè)區(qū)域，伴隨該聚焦區(qū)域的變更，聚焦位置也被變更。作為對對象輸入圖像的聚焦距離以及景深的深度進行變更的方法，數(shù)字聚焦部71 能夠利用包括公知方法的任意方法。例如，能夠利用稱為“Light Field Photography 光場攝影”的方法(以下，稱為Light Field法)。若采用Light Field法，則能夠根據(jù)基于攝像元件33的輸出信號的對象輸入圖像來生成具有任意聚焦距離和景深(景深的深度) 的對象輸出圖像。此時，能夠利用基于Light Field法的公知的方法(例如，國際公開第 06/039486號刊物或JP特開2009-224982號公報中記載的方法)。在Light Field法中，通過使用具有開口光圈的攝像透鏡和微型透鏡陣列，而使從攝像元件得到的圖像信號(圖像數(shù)據(jù))除了包括攝像元件的受光面上的光的強度分布，還包括光的行進方向的信息。采用Light Field法的攝像裝置，通過進行基于來自攝像元件的圖像信號的圖像處理，能夠重構(gòu)具有任意聚焦距離以及景深(景深的深度)的圖像。即，若采用Light Field法，在拍攝對象輸入圖像之后，能夠自由地構(gòu)筑與任意被攝體已對準(zhǔn)焦點的對象輸出圖像。因此，雖然未在圖2中表示，但在采用Light Field法時，在攝像部11中設(shè)置有實現(xiàn)Light Field法所需要的光學(xué)部件。該光學(xué)部件包括微型透鏡陣列等，來自被攝體的攝入光經(jīng)微型透鏡陣列等射入到攝像元件33的受光面(換言之，攝像面)。微型透鏡陣列由多個微型透鏡構(gòu)成，針對攝像元件33上的一個或多個受光像素分配一個微型透鏡。由此， 攝像元件33的輸出信號除了包括攝像元件33的受光面上的光的強度分布，還包括向攝像元件33的射入光的行進方向的信息。利用包含該信息的對象輸入圖像的圖像數(shù)據(jù)，數(shù)字聚焦部71能夠自由地變更對象輸入圖像的聚焦距離以及景深的深度。數(shù)字聚焦部71也能夠通過不基于Light Field法的方法，來進行數(shù)字聚焦。作為示例，就與第一 第三模式的關(guān)系，對在拍攝對象輸入圖像后變更聚焦度的方法進行說明。如上所述，在第一模式中，數(shù)字聚焦部71能夠執(zhí)行使對象輸入圖像320w的分割圖像區(qū)域321C以及321R的聚焦度降低的圖像處理，由此也能夠生成對象輸出圖像320l。具體而言，例如，只要在處理對象區(qū)域中設(shè)定320w的分割圖像區(qū)域321C以及321R，來執(zhí)行用于使處理對象區(qū)域內(nèi)的圖像模糊的模糊處理即可。能夠通過采用平均化濾波器、加權(quán)平均化濾波器或高斯過濾器等的空間濾波，或采用低通濾波器的頻率濾波來實現(xiàn)模糊處理。如上所述，在第二模式中，數(shù)字聚焦部71能夠執(zhí)行使對象輸入圖像32 的分割圖像區(qū)域321C以及321R的聚焦度提高的圖像處理，由此，能夠生成對象輸出圖像320w。為了實現(xiàn)它，可以在處理對象區(qū)域中設(shè)定對象輸入圖像32 的分割圖像區(qū)域321C以及321R，且在數(shù)字聚焦中包括修復(fù)由處理對象區(qū)域內(nèi)的圖像的模糊所導(dǎo)致的變差的圖像復(fù)原處理。通過該圖像復(fù)原處理，處理對象區(qū)域內(nèi)的圖像的模糊被消除，使處理對象區(qū)域也包含于聚焦區(qū)域(即，得到對象輸出圖像320w)。作為圖像復(fù)原處理的方法能夠利用公知的方法。每當(dāng)執(zhí)行圖像復(fù)原處理，不僅是對象輸入圖像，還可以進而利用與對象輸入圖像在時間上接近而拍攝的一張以上的幀圖像的圖像數(shù)據(jù)。如上所述，在第三模式中，數(shù)字聚焦部71能夠執(zhí)行使對象輸入圖像32 的分割圖像區(qū)域321L的聚焦度降低的圖像處理、和使對象輸入圖像32 的分割圖像區(qū)域321R的聚焦度增加的圖像處理，由此能夠生成對象輸出圖像320κ。為了實現(xiàn)它，只要將在處理對象區(qū)域中設(shè)定對象輸入圖像32 的分割圖像區(qū)域321L的上述模糊處理、和在處理對象區(qū)域中設(shè)定對象輸入圖像32 的分割圖像區(qū)域321R的上述圖像復(fù)原處理包含于數(shù)字聚焦中來執(zhí)行即可。作為聚焦?fàn)顟B(tài)信息，從圖13的聚焦?fàn)顟B(tài)信息變更指定部72(以下，有時簡稱為指定部7 輸出指示由數(shù)字聚焦部71以何種方式變更對象輸入圖像的聚焦?fàn)顟B(tài)的信息。從指定部72輸出的聚焦?fàn)顟B(tài)信息是根據(jù)用戶的操作而生成的。將用于指示對象輸入圖像的聚焦?fàn)顟B(tài)的變更的基于用戶的操作稱為聚焦?fàn)顟B(tài)變更指示操作。主要考慮以下使用方式在拍攝了對象輸入圖像并保存在記錄介質(zhì)19中之后，在再現(xiàn)模式下，從記錄介質(zhì)19讀出的對象輸入圖像被賦予數(shù)字聚焦部71。此時，若進行聚焦?fàn)顟B(tài)變更指示操作，則指定部72按照聚焦?fàn)顟B(tài)變更指示操作的內(nèi)容來生成聚焦?fàn)顟B(tài)信息， 并將它輸出給數(shù)字聚焦部71以及控制量決定部63。指定部72能夠以獲取部62的輸出作為基礎(chǔ)，生成自身所輸出的聚焦?fàn)顟B(tài)信息。數(shù)字聚焦部71按照來自指定部72的聚焦?fàn)顟B(tài)信息，通過數(shù)字聚焦，從對象輸入圖像生成對象輸出圖像?？刂屏繘Q定部63，當(dāng)未進行聚焦?fàn)顟B(tài)變更指示操作時，如第一實施方式中所述，根據(jù)從獲取部62輸出的聚焦?fàn)顟B(tài)信息來生成控制量信息，當(dāng)進行了聚焦?fàn)顟B(tài)變更指示操作時，根據(jù)從指定部72輸出的聚焦?fàn)顟B(tài)信息來生成控制量信息。在從指定部72輸出的聚焦?fàn)顟B(tài)信息中，包含表示對象輸出圖像的聚焦位置以及景深的深度的信息。因此，在進行了聚焦?fàn)顟B(tài)變更指示操作時，控制量決定部63根據(jù)對象輸出圖像的聚焦位置以及景深的深度， 通過與第一實施方式同樣的動作，來生成控制量信息。即，代替對象輸入圖像的聚焦位置以及景深的深度，而采用對象輸出圖像的聚焦位置以及景深的深度，來生成控制量信息?；诼曉捶蛛x部61的動作以及控制量信息的音量調(diào)整部64的動作，如第一實施方式所述。由話筒部17再現(xiàn)再現(xiàn)用音響信號時，在顯示部16上再現(xiàn)對象輸出圖像(即，由顯示部16進行顯示)。此時，通過音量調(diào)整部64等的作用，來再現(xiàn)適合再現(xiàn)圖像的聚焦?fàn)顟B(tài)的音響信號。例如，如圖16(a)的第一模式所示，在按照聚焦?fàn)顟B(tài)變更指示操作而生成對象輸出圖像32 時，會生成與進行左聚焦判定時同樣的控制量信息(參照圖11 (b))，因此，在再現(xiàn)用音響信號中，來自與分割圖像區(qū)域32IL內(nèi)的被攝體對應(yīng)的區(qū)域350L內(nèi)的聲源的聲音會被強調(diào)(也參照圖8以及圖9)。此外，例如，如圖16(b)的第二模式所示，在按照聚焦?fàn)顟B(tài)變更指示操作而生成對象輸出圖像320w時，會生成與進行了全聚焦判定時同樣的控制量信息(參照圖11(a))，因此，結(jié)果是，會均等地再現(xiàn)來自區(qū)域350L、350C以及350R內(nèi)的聲源的聲音(也參照圖8)。此外，例如，如圖16(c)的第三模式所示，在按照聚焦?fàn)顟B(tài)變更指示操作而生成對象輸出圖像320κ時，會生成與進行了右聚焦判定時同樣的控制量信息(參照圖11 (d))，因此，在再現(xiàn)用音響信號中，來自與分割圖像區(qū)域321R內(nèi)的被攝體對應(yīng)的區(qū)域350R內(nèi)的聲源的聲音會被強調(diào)(也參照圖8以及圖9)。當(dāng)存在對景深等進行變更的用戶操作時，進行按各方向的音量調(diào)整，以使適應(yīng)該變更后的再現(xiàn)圖像。這是因為考慮到進行與變更后的景深等相應(yīng)的音響信號再現(xiàn)適合視聽者的興趣。即，通過上述音量調(diào)整，能夠進行適合視聽者興趣的音響信號再現(xiàn)?！蹲冃蔚取繁景l(fā)明的實施方式，可以在技術(shù)方案的范圍所示的技術(shù)思想的范圍內(nèi)，適當(dāng)進行各種變更。以上的實施方式，始終是本發(fā)明的實施方式的示例，本發(fā)明乃至各結(jié)構(gòu)要件的術(shù)語的意義并不局限于以上實施方式中所記載的內(nèi)容。上述說明書中所示的具體數(shù)值只是簡單的示例，當(dāng)然，能夠?qū)⑵渥兏鼮楦鞣N數(shù)值。作為能夠適用于上述實施方式的注釋事項，以下，對注釋1 注釋4進行記述。各注釋中記載的內(nèi)容，只要不矛盾，可任意地進行組合。[注釋1]在上述的實施方式中，雖然在攝像裝置1上執(zhí)行了用于生成再現(xiàn)用音響信號的音響信號處理以及數(shù)字聚焦，但這些處理也可以在與攝像裝置1不同的電子設(shè)備(未圖示) 上執(zhí)行。其中的電子設(shè)備，例如，是個人計算機、PDA (Personal Digital Assistant :個人數(shù)字助手)等信息終端裝置，優(yōu)選具備圖像以及音響信號的再現(xiàn)功能。此外，攝像裝置1也是電子設(shè)備的一種。在該電子設(shè)備中，例如，預(yù)先設(shè)置圖6所示的各部位或圖13所示的各部位，并通過向該電子設(shè)備供給對象輸入圖像的圖像數(shù)據(jù)和對象音響信號以及用于導(dǎo)出聚焦?fàn)顟B(tài)信息所需要的信息，能夠在該電子設(shè)備上生成再現(xiàn)用音響信號，而且能夠生成對象輸出圖像。[注釋2]在上述的實施方式中，雖然在從對象音響信號生成了 L、C以及R方向信號之后，經(jīng)過對L、C以及R方向信號的音量調(diào)整，生成了再現(xiàn)用音響信號(例如，在特定方向上具有指向性的再現(xiàn)用音響信號)，但若根據(jù)聚焦?fàn)顟B(tài)能得到與上述同樣的再現(xiàn)用音響信號，則從對象音響信號生成再現(xiàn)用音響信號的處理方法不局限于上述方法。例如，在第一實施方式中，針對對象輸入圖像進行了左聚焦判定時(參照圖 11(b))，可以通過指向性控制，從音響信號中僅提取L方向信號，并將提取出的L方向信號作為再現(xiàn)用音響信號來進行輸出(此時，不進行C以及R方向信號的生成)。此時的再現(xiàn)用音響信號，盡管針對區(qū)域350L內(nèi)的聲源的方向具有高靈敏度，但只要適當(dāng)?shù)卣{(diào)整指向性的特性，則來自區(qū)域350C或區(qū)域350R內(nèi)的聲源的聲音分量，也會部分包含于再現(xiàn)用音響信號中。[注釋3]在上述實施方式中，主要假設(shè)由兩個麥克風(fēng)14L以及14R構(gòu)成話筒部14，但是，也可以采用由三個以上的麥克風(fēng)構(gòu)成的麥克風(fēng)陣列(未圖示)作為話筒部14，并通過麥克風(fēng)陣列的收音來生成對象音響信號。此時，只要通過根據(jù)對象輸入圖像或?qū)ο筝敵鰣D像的聚焦?fàn)顟B(tài)來控制麥克風(fēng)陣列的指向性，從而生成再現(xiàn)用音響信號即可。[注釋4]能夠通過硬件、或硬件與軟件的組合來構(gòu)成圖1的攝像裝置1或上述電子設(shè)備。在使用軟件構(gòu)成攝像裝置1或上述電子設(shè)備時，與由軟件實現(xiàn)的部位相關(guān)的方框圖表示為該部位的功能方框圖。也可以作為程序來記述使用軟件來實現(xiàn)的功能，并通過在程序執(zhí)行裝置(例如計算機)上執(zhí)行該程序，來實現(xiàn)其功能。
權(quán)利要求
1.一種電子設(shè)備，具有音響信號處理部，其對與對象圖像對應(yīng)的對象音響信號實施音響信號處理， 所述音響信號處理部根據(jù)所述對象圖像的聚焦?fàn)顟B(tài)來控制所述音響信號處理的內(nèi)容。
2.根據(jù)權(quán)利要求1所述的電子設(shè)備，其特征在于，還具有聚焦位置獲取部，該聚焦位置獲取部獲取有已聚焦的物體的圖像數(shù)據(jù)存在的聚焦區(qū)域的所述對象圖像上的位置作為聚焦位置，所述音響信號處理部根據(jù)所述聚焦位置來控制所述音響信號處理的內(nèi)容。
3.根據(jù)權(quán)利要求2所述的電子設(shè)備，其特征在于，所述音響信號處理部對所述對象音響信號實施所述音響信號處理，以使來自所述聚焦位置的聲源的聲音被強調(diào)。
4.根據(jù)權(quán)利要求2或3所述的電子設(shè)備，其特征在于， 所述聚焦?fàn)顟B(tài)中也包括所述對象圖像的景深，所述音響信號處理部根據(jù)所述聚焦位置以及所述景深來控制所述音響信號處理的內(nèi)容。
5.根據(jù)權(quán)利要求4所述的電子設(shè)備，其特征在于，所述音響信號處理部根據(jù)所述景深比較深的情況和所述景深比較淺的情況，而使所述音響信號處理的內(nèi)容不同。
6.根據(jù)權(quán)利要求1 5中任一項所述的電子設(shè)備，其特征在于，所述電子設(shè)備還具有圖像加工部，該圖像加工部通過圖像處理來變更所述對象圖像的聚焦?fàn)顟B(tài)，在進行了該變更時，所述音響信號處理部根據(jù)變更后的聚焦?fàn)顟B(tài)來控制所述音響信號處理的內(nèi)容。
全文摘要
本發(fā)明提供一種電子設(shè)備，該電子設(shè)備生成和再現(xiàn)適合用戶(視聽者)興趣的音響信號。攝像裝置通過拍攝而獲取對象圖像，另一方面，使用多個麥克風(fēng)來獲取與對象圖像對應(yīng)的對象音響信號，并根據(jù)對象圖像的聚焦?fàn)顟B(tài)，變更應(yīng)該對對象音響信號進行的音響信號處理。通過音響信號處理來生成再現(xiàn)用音響信號。當(dāng)對象圖像整體聚焦時，均等地再現(xiàn)來自圖像整體中的被攝體的音響信號。當(dāng)僅在對象圖像的左側(cè)部分聚焦時，對來自位于對象圖像的左側(cè)部分的被攝體的音響信號進行強調(diào)再現(xiàn)。
文檔編號H04R3/00GK102316265SQ20111017659
公開日2012年1月11日 申請日期2011年6月28日 優(yōu)先權(quán)日2010年6月29日
發(fā)明者津田佳行, 鍬田海平 申請人:三洋電機株式會社