專利名稱：信號處理裝置、攝像裝置以及信號處理程序的制作方法
技術(shù)領域：
本發(fā)明涉及信號處理裝置、攝像裝置以及信號處理程序。
背景技術(shù)：
以往，為了去除聲音信號中混入的噪聲，已知有如下方法以幀為單位，從時域信號變換為頻域信號，使用非聲音部分的信號算出推定噪聲，從頻域信號減去算出的推定噪聲，由此降低噪聲(參照日本特開2005-195955號公報)
發(fā)明內(nèi)容

但是，在日本特開2005-195955號公報的方法中，通過從頻域信號僅減去推定噪聲來降低噪聲，因此存在有時無法適當?shù)亟档驮肼暤膯栴}。本發(fā)明的方式的目的在于提供能夠適當?shù)亟档驮肼暤男盘柼幚硌b置、攝像裝置以及信號處理程序。本發(fā)明的一種方式的信號處理裝置包括判定部，其按各頻率窗口對所輸入的聲音信號的頻譜和基譜(flooring spectrum)進行比較,按各頻率窗口判定是否對上述所輸入的聲音信號進行噪聲降低處理；和噪聲降低處理部，其根據(jù)由上述判定部判定的上述各頻率窗口的結(jié)果，按上述各頻率窗口對上述所輸入的聲音信號的頻譜減去噪聲頻譜。另外，本發(fā)明的一種方式的攝像裝置包括上述方式的信號處理裝置。另外，本發(fā)明的一種方式的信號處理程序使作為信號處理裝置的計算機執(zhí)行判定步驟，按各頻率窗口對所輸入的聲音信號的頻譜和基譜進行比較，按上述各頻率窗口判定是否對上述所輸入的聲音信號進行噪聲降低處理；和噪聲降低處理步驟，根據(jù)通過上述判定步驟判定的上述各頻率窗口的結(jié)果，按上述各頻率窗口對上述所輸入的聲音信號的頻譜減去噪聲頻譜。根據(jù)本發(fā)明的方式，能實現(xiàn)能夠適當?shù)亟档驮肼暤男Ч?br>

圖I是表示具有本發(fā)明的一個實施方式的信號處理裝置的攝像裝置的結(jié)構(gòu)的一個例子的框圖。圖2是表示通過攝像裝置記錄了聲音信號時的一個例子的動作圖。圖3是表示信號處理部的基譜推定部和噪聲推定部算出基譜和噪聲時的一個例子的說明圖。圖4是表示在注重音質(zhì)模式的情況下，信號處理部進行噪聲降低處理的一個例子的第I說明圖。圖5是表示在注重音質(zhì)模式的情況下，信號處理部進行噪聲降低處理的一個例子的第2說明圖。圖6是表示在注重噪聲降低模式的情況下，信號處理部進行噪聲降低處理的一個例子的說明圖。
具體實施例方式下面參照附圖來對本發(fā)明的實 施方式進行說明。圖I是表示具有本發(fā)明的一個實施方式的信號處理裝置的攝像裝置的結(jié)構(gòu)的一個例子的框圖。如圖I所示，本實施方式的攝像裝置100包括攝像部110、CPU (Centralprocessing unit :中央處理單元)190、操作部180、圖像處理部140、顯示部150、存儲部160、緩存部130、通信部170、麥克風230、A/D (Analog/Digital :模/數(shù))變換部240、信號處理部250 (信號處理裝置)以及總線300。在該攝像裝置100所具有的結(jié)構(gòu)中，例如，麥克風230、A/D變換部240、信號處理部250與錄音裝置相對應。另外，信號處理部250與信號處理裝置相對應。攝像部110包括光學系統(tǒng)400、攝像元件119、A/D變換部120，按照所設定的攝像條件(例如光闌值、曝光值等)，由CPU 190進行控制，使光學系統(tǒng)400的光學像成像于攝像元件119，生成由A/D變換部120變換為數(shù)字信號的基于該光學像的圖像數(shù)據(jù)。光學系統(tǒng)400包括變焦透鏡114、防抖用透鏡(在下面稱為VR(VibrationReduction :減振)透鏡)113、調(diào)焦透鏡(在下面稱為AF (Auto Focus 自動聚焦)透鏡)112、變焦編碼器115、透鏡驅(qū)動部116、AF編碼器117以及防抖部118。該光學系統(tǒng)400將通過變焦透鏡114、VR透鏡113以及AF透鏡112的光學像導向到攝像元件119的受光面。透鏡驅(qū)動部116根據(jù)從后述的CPU190輸入的驅(qū)動控制信號，控制AF透鏡112或變焦透鏡114的位置。防抖部118根據(jù)從后述的CPU190輸入的驅(qū)動控制信號，控制VR透鏡113的位置。該防抖部118也可以檢測VR透鏡113的位置。變焦編碼器115檢測表示變焦透鏡114的位置的變焦位置，將檢測到的變焦位置輸出給CPU190。AF編碼器117檢測表示AF透鏡112的位置的焦點位置，將檢測到的變焦位置和焦點位置輸出給CPU190。上述光學系統(tǒng)400既可安裝于攝像裝置100而成為一體，也可以可裝卸的方式安裝于攝像裝置100。攝像元件119例如將成像于受光面的光學像變換為電信號而輸出給A/D變換部120。另外，攝像元件119將經(jīng)由操作部180接收到拍攝指示時獲得的圖像數(shù)據(jù)作為拍攝到的靜止圖像的拍攝圖像數(shù)據(jù),經(jīng)由A/D變換部120、圖像處理部140而使該圖像數(shù)據(jù)存儲于存儲介質(zhì)200。另一方面，攝像元件119例如在沒有經(jīng)由操作部180接收到拍攝指示的狀態(tài)下，將連續(xù)地獲得的圖像數(shù)據(jù)作為直通圖像數(shù)據(jù)，經(jīng)由A/D變換部120、圖像處理部140而將該數(shù)據(jù)輸出給CPU190和顯示部150。A/D變換部120對由攝像元件119變換得到的電子信號進行模擬/數(shù)字變換，輸出作為該變換得到的數(shù)字信號的圖像數(shù)據(jù)。
操作部180例如包括電源開關、快門按鈕、其它的操作鍵，通過由用戶進行操作來接受用戶的操作輸入并輸出給CPU190。圖像處理部140參照存儲于存儲部160的圖像處理條件，對存儲于緩存器130或存儲介質(zhì)200中的圖像數(shù)據(jù)進行圖像處理。顯示部150例如為液晶顯示器，其顯示通過攝像部110獲得的圖像數(shù)據(jù)和/或操作畫面等。存儲部160存儲在場景判定時由CPU190所參照的判定條件、攝像條件等。存儲部160包括基譜存儲部161、噪聲存儲部162以及模式信息存儲部163。在基譜存儲部161中存儲后述的基譜。在噪聲存儲部162中存儲后述的噪聲。 在模式信息存儲部163中存儲有模式信息，該模式信息是表示通過用戶經(jīng)由操作部180進行的操作而選擇了注重音質(zhì)模式(第I模式)和注重噪聲降低模式(第2模式)中的哪個模式的信息，所述注重音質(zhì)模式(第I模式)下注重所輸入的聲音信號的音質(zhì)，所述注重噪聲降低模式(第2模式)下注重從所輸入的聲音信號降低噪聲。在此所說的注重音質(zhì)模式例如為如下模式相對于聲音等的目標聲音降低噪聲，但目標聲音本身不怎么變化而使目標聲音保持原狀。另外，在此所說的注重噪聲降低模式為盡可能地降低噪聲的模式。麥克風230進行拾音,輸出與所拾取的聲音對應的聲音信號。該聲音信號為模擬信號。A/D變換部240將作為從麥克風230輸入的模擬信號的聲音信號模數(shù)變換為作為
數(shù)字信號的聲音信號。信號處理部250對由A/D變換部240變換為數(shù)字信號的聲音信號進行例如降低噪聲等的聲音信號處理，將經(jīng)過該聲音信號處理的聲音信號存儲于存儲介質(zhì)200中。另外，該信號處理部250在執(zhí)行降低噪聲等的聲音信號處理時,根據(jù)存儲于存儲部160的模式信息存儲部163中的模式信息,執(zhí)行降低噪聲等的聲音信號處理。對于該信號處理部250將在后面進行詳細說明。在使通過信號處理部250進行了聲音信號處理的聲音信號存儲于存儲介質(zhì)200時，既可以在時間上與由攝像元件119拍攝到的圖像數(shù)據(jù)相關聯(lián)地進行存儲，也可以作為包括聲音信號的動態(tài)圖像進行存儲。緩存部130暫時存儲由攝像部110拍攝到的圖像數(shù)據(jù)、由信號處理部250變換后
的聲音信號等。通信部170與卡式存儲器(存儲卡)等可取下的存儲介質(zhì)200連接，進行對該存儲介質(zhì)200的信息的寫入、讀出、或刪除。存儲介質(zhì)200為以可裝卸的方式與攝像裝置100連接的存儲部，例如存儲通過攝像部110生成(拍攝)的圖像數(shù)據(jù)、通過信號處理部250進行了聲音信號處理的聲音信號。CPU190對攝像裝置100整體進行控制，作為一個例子，其根據(jù)從變焦編碼器115輸入的變焦位置、從AF編碼器117輸入的焦點位置、以及從操作部180輸入的操作輸入，生成控制變焦透鏡114和AF透鏡112的位置的驅(qū)動控制信號。CPU190根據(jù)該驅(qū)動控制信號，經(jīng)由透鏡驅(qū)動部116來控制變焦透鏡114和AF透鏡112的位置。另外，該CPU190包括定時檢測部191。該定時檢測部191檢測攝像裝置100所具有的動作部動作的定時。在此所說的動作部作為一個例子是指上述的變焦透鏡114、VR透鏡113、AF透鏡112、或操作部180，是攝像裝置100所具有的結(jié)構(gòu)中的、通過動作或通過被動作而產(chǎn)生聲音(或有可能產(chǎn)生聲音)的結(jié)構(gòu)。另外，該動作部為攝像裝置100所具有的結(jié)構(gòu)中的、通過動作而產(chǎn)生的聲音或通過被動作而產(chǎn)生的聲音會被麥克風230拾取(或有可能被拾取)的結(jié)構(gòu)。該定時檢測部191也可以根據(jù)使動作部動作的控制信號，檢測動作部動作的定時。該控制信號對于使動作部動作的動作部為使動作部動作的控制信號、或使該動作部驅(qū)動的控制信號。例如，定時檢測部191根據(jù)為了驅(qū)動變焦透鏡114、VR透鏡113、或AF透鏡112而輸入到透鏡驅(qū)動部116或防抖部118的驅(qū)動控制信號，或根據(jù)由CPU190生成的驅(qū)動控制信號，檢測動作部動作的定時。 另外，在CPU190生成驅(qū)動控制信號的情況下，定時檢測部191也可以根據(jù)在CPU190的內(nèi)部執(zhí)行的處理和/或命令來檢測動作部動作的定時。另外，定時檢測部191也可以根據(jù)從操作部180輸入的表示驅(qū)動變焦透鏡114或AF透鏡112的信號來檢測動作部動作的定時。另外，該定時檢測部191也可以根據(jù)表示動作部進行了動作的信號來檢測動作部動作的定時。例如，定時檢測部191可以根據(jù)變焦編碼器115或AF編碼器117的輸出，對變焦透鏡114或AF透鏡112被驅(qū)動進行檢測，由此檢測動作部動作的定時。另外，定時檢測部191也可以根據(jù)來自防抖部118的輸出，對VR透鏡113被驅(qū)動進行檢測，由此檢測動作部動作的定時。另外，該定時檢測部191也可以根據(jù)來自操作部180的輸入，對操作部180被進行了操作進行檢測，由此檢測動作部動作的定時。而且，定時檢測部191檢測攝像裝置100所具有的動作部動作的定時，將表示該檢測到的定時的信號輸出給信號處理部250 (參照后述的圖2)?？偩€300與攝像部110、CPU190、操作部180、圖像處理部140、顯示部150、存儲部160、緩存部130、通信部170、信號處理部250連接，傳送從各部輸出的數(shù)據(jù)等。(信號處理部250的詳細結(jié)構(gòu))下面使用圖2 圖6對圖I的信號處理部250進行詳細的說明。圖I的信號處理部250包括基譜推定部251、噪聲推定部252、判定部253、噪聲降低處理部254以及置換部255。在此，如圖2所示，對在信號處理部250輸入了來自定時檢測部191的表示定時的信號、并輸入了由A/D變換部240變換為數(shù)字信號的聲音信號的情況進行說明。在該圖2中，從上向下示出了 (a)來自定時檢測部191的表示定時的信號、即表示動作部動作的定時的信號；(b)時刻；(c)巾貞號；以及(d)從A/D變換部240輸入的聲音信號的波形。在該圖2中，橫軸是時間軸，縱軸為例如各信號的電壓、時刻、或幀號。另外，如該圖2(d)所示，例如在為拾取到聲音時的聲音信號的情況下，在數(shù)十毫秒左右的短時間內(nèi)，重復信號較多。
在該圖2的例子中，對于幀和時刻的關系，時刻tl之前與幀號41對應，時刻tl t2與幀號42對應，時刻t2 t3與幀號43對應，時刻t3 t4與幀號44對應，時刻t4 t5與幀號45對應，時刻t5 t6與幀號46對應，時刻t6 t7與幀號47對應，時刻t7以后與巾貞號48對應。各巾貞的時間長度設為相同。另外，在該圖2的例子中，在時刻t4后、且時刻t5前，(a)來自定時檢測部191的表不定時的信號從低電平變?yōu)楦唠娖?參照圖2中的符號0)。在此,低電平表不動作部未動作，高電平表示動作部正在動作。這樣，在該圖2的例子中，在時刻t4后、且時刻t5前，從動作部不動作的狀態(tài)變?yōu)閯幼鞑縿幼鞯臓顟B(tài)。而且，與這樣的動作部的動作相應地，從幀號45的途中以后開始，在(d)從A/D變換部240輸入的聲音信號的波形上疊加有噪聲。在此,著眼于各巾貞和噪聲產(chǎn)生區(qū)間的關系
時，由于檢測信號在幀號45的途中上升，所以在幀號45以后(46、47、48......)拾取到噪、
聲。另外，在巾貞號44以前(43、42、41......)，完全不會拾取到噪聲。在中貞號46以后(46、
47,48......)，會在幀的整個區(qū)間拾取到噪聲。在此，在本實施方式中，設為如下情況來進行說明，即信號處理部250將由A/D變換部240變換為數(shù)字信號的聲音信號分割為幀，對所分割的各幀的聲音信號進行傅立葉變換，生成各幀的聲音信號的頻譜。另外，如使用圖2 圖6而在后面描述的那樣，信號處理部250對各幀的聲音信號的頻譜執(zhí)行噪聲降低處理。然后設為如下情況來進行說明，即信號處理部250對進行了噪聲降低處理的各幀的聲音信號的頻譜進行傅立葉逆變換而將其存儲于存儲介質(zhì)200中。基譜推定部251根據(jù)由定時檢測部191檢測出的動作部動作的定時，由通過A/D變換部240變換為數(shù)字信號的聲音信號推定基譜。該基譜是指動作部動作的定時的前一幀的聲音信號的頻譜、或動作部未動作的期間的聲音信號的頻譜。而且，基譜推定部251將推定出的基譜存儲于基譜存儲部161中。例如，基譜推定部251根據(jù)由定時檢測部191檢測出的動作部動作的定時，將動作部動作的定時的前一幀的聲音信號的頻譜推定為基譜。在圖2的情況下，基譜推定部251將幀號44的聲音信號的頻譜推定為基譜。而且，基譜推定部251將該幀號44的聲音信號的頻譜作為基譜而存儲于基譜存儲部161中。以下，將幀號44的聲音信號的頻譜(=S44)稱為基譜FS來進行說明。另外，按從低頻到高頻的順序?qū)⒒VFS的各頻率窗口(各頻率區(qū)域)的強度值稱為F1、F2、F3、F4、F5而進行說明(參照圖3 (a))。噪聲推定部252根據(jù)由定時檢測部191檢測到的動作部動作的定時，由通過A/D變換部240變換為數(shù)字信號的聲音信號推定噪聲。而且，噪聲推定部252將所推定的噪聲存儲于噪聲存儲部162中。例如，噪聲推定部252根據(jù)由定時檢測部191檢測出的動作部動作的定時，將動作部動作的定時的后一幀(且在整個幀中動作部正在動作的幀)的聲音信號的頻譜與動作部動作的定時的前一幀(且在整個幀中動作部沒有動作的幀)的聲音信號的頻譜之差推定為噪聲頻譜(噪聲譜)。在圖2的情況下,噪聲推定部252按各頻率窗口(frequency bin)從巾貞號46的聲音信號的頻譜S46(參照圖3(b))減去幀號44的聲音信號的頻譜S44(即基譜FS)(參照圖3(a))。將幀號46的聲音信號的頻譜稱為頻譜S46(參照圖3(b))而進行說明。另外，按從低頻到高頻的順序?qū)㈩l譜S46的各頻率窗口的強度值稱為B1、B2、B3、B4、B5而進行說明(參照圖3(b))。而且，噪聲推定部252將通過減法運算算出的頻譜推定為噪聲頻譜(參照圖3 (d))。而且，噪聲推定部252將所推定的噪聲存儲于噪聲存儲部162中。以后，將由噪聲推定部252推定的噪聲頻譜稱為噪聲NS而進行說明。另外，按從低頻到高頻的順序?qū)⒃肼昇S的各頻率窗口的強度值稱為NI、N2、N3、N4、N5而進行說明(參照圖3 (d))。從包含噪聲的幀(例如幀號46、47、48......)的頻譜減去這樣獲得的噪聲頻譜，
將減法運算得到的結(jié)果變換到時域，由此能夠降低(去除)包含噪聲的幀中的噪聲。·S卩，信號處理部250通過根據(jù)噪聲頻譜對聲音信號進行譜減法運算(SpectralSubtraction)處理,從而使聲音信號的噪聲降低。該譜減法運算處理是指如下方法首先，通過傅立葉變換將聲音信號變換到頻域，在頻域減去噪聲之后進行傅立葉逆變換，由此降低聲音信號的噪聲。另外，信號處理部250也可以在進行傅立葉變換或傅立葉逆變換時，通過快速傅立葉變換(FFT Fast Fourier Transform)、或快速傅立葉逆變換(IFFT Inverse FastFourier Transform)來進行傅立葉變換或傅立葉逆變換。返回到圖I的說明，對信號處理部250所具有的各結(jié)構(gòu)進行說明。在此，設為使用圖2和圖3而說明過的基譜和噪聲由基譜推定部251和噪聲推定部252來推定、或者被預先存儲于基譜存儲部161和噪聲存儲部162而進行說明。(注重音質(zhì)模式的情況)首先，使用圖4和圖5對注重音質(zhì)模式的情況下的信號處理部250所具有的各結(jié)構(gòu)進行說明。在此，對信號處理部250對幀號46的聲音信號進行噪聲降低處理的情況進行說明。判定部253按各頻率窗口而對所輸入的聲音信號的頻譜和基譜進行比較，按各頻率窗口而判定否對所輸入的聲音信號進行噪聲降低處理。在此所說的“所輸入的聲音信號的頻譜”是指通過A/D變換部240變換為數(shù)字信號的聲音信號被信號處理部250分割為幀、進而各幀的聲音信號被傅立葉變換為頻譜而得到頻譜。例如，判定部253按各頻率窗口而對所輸入的聲音信號的頻譜(幀號46的頻譜)(參照圖4(b))和基譜FS(參照圖4(a))進行比較(參照圖4(c))。在此，對于所輸入的聲音信號的頻譜(幀號46的頻譜)(參照圖4(b))大于基譜FS (參照圖4 (a))的頻率窗口，判定部253對該頻率窗口判定為對所輸入的聲音信號進行噪聲降低處理。反之，對于所輸入的聲音信號的頻譜(幀號46的頻譜)(參照圖4(b))為基譜FS (參照圖4 (a))以下的頻率窗口，判定部253對該頻率窗口判定為對所輸入的聲音信號不進行噪聲降低處理。在該圖4(a)和圖4(b)的情況下，在序號I 4的頻率窗口中，幀號46的頻譜S46 (參照圖4 (b))大于基譜FS (參照圖4 (a))。另外,在序號5的頻率窗口中，巾貞號46的頻譜S46(參照圖4(b))為基譜FS(參照圖4(a))以下。因此，判定部253針對序號I 4的頻率窗口，判定為對所輸入的聲音信號進行噪聲降低處理(參照從圖4(d)的低頻率側(cè)(左側(cè))起的4個符號〇)。另外，判定部253針對序號5的頻率窗口，判定為對所輸入的聲音信號不進行噪聲降低處理(參照圖4(d)的最高頻率側(cè)(最右側(cè))的符號X)。(噪聲降低處理部254)噪聲降低處理部254在注重音質(zhì)模式的情況下，根據(jù)由判定部253判定的各頻率窗口的結(jié)果，按各頻率窗口而對所輸入的聲音信號的頻譜減去噪聲頻譜。例如，噪聲降低處理部254在注重音質(zhì)模式的情況下，針對由判定部253判定為對所輸入的聲音信號進行噪聲降低處理的頻率窗口，對所輸入的聲音信號的頻譜減去噪聲頻 P曰。另外，噪聲降低處理部254在注重音質(zhì)模式的情況下，針對由判定部253判定為對所輸入的聲音信號不進行噪聲降低處理的頻率窗口，保持所輸入的聲音信號的頻譜不變。根據(jù)由判定部253判定的結(jié)果(參照圖4(d))，噪聲降低處理部254在幀號46的聲音信號的頻譜中針對序號I 4的頻率窗口減去對應的噪聲頻譜。另外，根據(jù)由判定部253所判定的結(jié)果(參照圖4(d))，噪聲降低處理部254在幀號46的聲音信號的頻譜中針對序號5的頻率窗口保持其頻譜不變。由此，噪聲降低處理部254按照序號I 5的頻率窗口的順序，算出成為強度值Al ( = B1-N1)、A2( = B2-N2)、A3( = B3-N3)、A4( = B4-N4)、A5( = B5)的頻譜 SA (參照圖5(c))。置換部255在注重音質(zhì)模式的情況下,根據(jù)由判定部253判定的各頻率窗口的結(jié)果，在由噪聲降低處理部254進行減法運算得到的頻譜的頻率窗口中，選擇成為進行置換的候補的頻率窗口。接著，置換部255在該所選擇的頻率窗口，按各頻率窗口而對通過噪聲降低處理部254按各頻率窗口進行減法運算得到的頻譜和基譜進行比較，對其基譜的強度值大于通過噪聲降低處理部254進行減法運算得到的頻譜的頻率窗口，由基譜置換通過噪聲降低處理部254進行減法運算而得到的頻譜。例如，置換部255在注重音質(zhì)模式的情況下，根據(jù)由判定部253判定的各頻率窗口的結(jié)果(參照圖4 (d))，在通過噪聲降低處理部254進行減法運算而得到的頻譜SA (參照圖5(c))的頻率窗口中，作為成為進行置換的候補的頻率窗口，選擇序號I 4的頻率窗口。接著，置換部255在該選擇的頻率窗口即序號I 4的頻率窗口，按各頻率窗口而對通過噪聲降低處理部254按各頻率窗口進行減法運算得到的頻譜SA (參照圖5 (c))和基譜FS(參照圖5(d))進行比較(參照圖5(e))。在圖5(e)中，按全部的各頻率窗口而對頻譜SA和基譜FS進行比較。而且，置換部255對基譜FS的強度值大于通過噪聲降低處理部254進行減法運算而得到的頻譜SA的頻率窗口，由基譜FS置換通過噪聲降低處理部254進行減法運算而得到的頻譜SA。在該情況下，置換部255在序號2和4的頻率窗口，由基譜FS置換頻譜SA。由此，置換部255按照序號I 5的頻率窗口的順序，算出成為強度值A1、F2、A3、F4、B5的頻譜SC (參照圖5(f))。然后，信號處理部250對圖5(f)所示的頻譜SC進行傅立葉逆變換，將其作為降低了噪聲的聲音信號而經(jīng)由通信部170存儲于存儲介質(zhì)200中。信號處理部250在將聲音信號存儲于存儲介質(zhì)200時，可以在時間上與由攝像元件119拍攝到的圖像數(shù)據(jù)相關聯(lián)地進行存儲。如使用圖4和圖5說明過的那樣,信號處理部250能夠降低噪聲、但不怎么改變目標聲音本身而使目標聲音保持原樣。即，如使用圖4和圖5說明過的那樣，信號處理部250能夠與注重音質(zhì)模式的情況相應地適當降低噪聲。(注重噪聲降低模式的情況)接著，使用圖6對注重噪聲降低模式的情況下的信號處理部250所具有的各結(jié)構(gòu)進行說明。在此，與圖4和圖5的情況同樣地，對信號處理部250對幀號46的聲音信號進行噪聲降低處理的情況進行說明。噪聲降低處理部254在注重噪聲降低模式的情況下，按各頻率窗口而對所輸入的聲音信號的頻譜減去噪聲頻譜。例如，噪聲降低處理部254在注重噪聲降低模式的情況下，按各頻率窗口而對作為所輸入的聲音信號的頻譜的幀號46的頻譜S46 (參照圖6 (a))減去噪聲頻譜NS (參照圖6 (b)。通過該減法運算，噪聲降低處理部254算出頻譜SA (參照圖6 (c))。圖6 (c)所示的頻譜SA按照序號I 5的頻率窗口的順序而具有強度值Al(=B1-F1)、A2( = B2-F2)、A3 ( = B3-F3)、A4( = B4-F4)、A5( = B5-F5)。在該圖6 (a)和圖6 (b)的例子的情況下，關于序號I 4的頻率窗口，頻譜S46的強度值大于噪聲頻譜NS，關于序號5的頻率窗口，頻譜S46的強度值小于噪聲的頻譜NS。因此，對于由噪聲降低處理部254算出的頻譜SA，序號I 4的頻率窗口的強度值A1、A2、A3、A4為正(plus)值，而序號5的頻率窗口的強度值A5為負(minus)值。在此，噪聲降低處理部254在注重噪聲降低模式的情況下，當按各頻率窗口而對所輸入的聲音信號的頻譜減去噪聲頻譜得到的結(jié)果為負時，將該結(jié)果的值變更為O。例如，在圖6(c)的例子的情況下，序號5的頻率窗口的強度值A5為負(minus)值。因此，噪聲降低處理部254將序號5的頻率窗口的強度值A5的值變更為0 (零)(參照圖6 (d))。在此，將使該序號5的頻率窗口的強度值A5的值變更為0 (零)的頻譜作為頻譜SA，來加以說明。接著，置換部255在注重噪聲降低模式的情況下，按各頻率窗口而對通過噪聲降低處理部254按各頻率窗口進行減法運算得到的頻譜SA’(參照圖6(d))和基譜FS(參照圖6(e))進行比較。而且，置換部255對基譜FS(參照圖6(e))的強度值小于通過噪聲降低處理部254進行減法運算得到的頻譜SA’ (參照圖6(d))的強度值的頻率窗口，由基譜FS (參照圖6(e))置換通過噪聲降低處理部254進行減法運算得到的頻譜SA’(參照圖6(d))。在圖6(f)的情況下，在序號1、2、3的頻率窗口，基譜FS(參照圖6(e))的強度值小于通過噪聲降低處理部254進行減法運算得到的頻譜SA’(參照圖6(d))的強度值。另夕卜，在序號3、5的頻率窗口，通過噪聲降低處理部254進行減法運算而得到的頻譜SA’(參照圖6(d))的強度值為基譜FS(參照圖6(e))的強度值以上。因此，置換部255僅在通過噪聲降低處理部254進行減法運算而得到的頻譜SA’(參照圖6(d))的頻率窗口中的序號1、2、4的頻率窗口，置換為基譜FS(參照圖6(e))、的頻率窗口的強度值。這樣，置換部255按照序號I 5的頻率窗口的順序，算出成為強度{tFUF2,A3,F4,A5( = 0)的頻譜 SD (參照圖 6 (g))。然后，與圖5(f)所示的頻譜SC的情況同樣地，信號處理部250對圖6(g)所示的頻譜SD進行傅立葉逆變換，將其作為降低了噪聲的聲音信號而經(jīng)由通信部170存儲于存儲介質(zhì)200中。如使用圖6說明過的那樣，信號處理部250能夠盡可能地降低噪聲。即，如使用圖6說明過的那樣，信號處理部250能夠與注重噪聲降低模式的情況相應地適當降低噪聲。如上述使用圖I 圖6說明過的那樣，本實施方式的信號處理部250與注重音質(zhì)模式和注重噪聲降低模式中的由用戶選擇設定的模式相應地，改變對聲音信號的噪聲降低處理的方法。由此，本實施方式的信號處理部250能夠如使用圖4、圖5以及圖6說明過的那樣，與注重音質(zhì)模式和注重噪聲降低模式相應地從聲音信號適當降低噪聲。
另外，本實施方式的信號處理部250的置換部255在注重音質(zhì)模式和注重噪聲降低模式中的任意模式的情況下，都根據(jù)按各頻率窗口而對通過噪聲降低處理部254按各頻率窗口進行減法運算得到的頻譜和基譜進行比較的結(jié)果，按各頻率窗口而將通過噪聲降低處理部254按各頻率窗口進行減法運算得到的頻譜置換為基譜(參照圖5(e)、圖5(f)以及圖 6(f)、圖 6(g))。僅在從聲音信號減去了噪聲的情況下,有可能產(chǎn)生音樂噪聲(musical noise)。對此，如上述說明過的那樣，信號處理部250的置換部255在從聲音信號減去了噪聲之后，根據(jù)與基譜的比較結(jié)果，進行所謂的基限(flooring)處理。由此，信號處理部250的置換部255能夠降低產(chǎn)生音樂噪聲的可能性。另外，信號處理部250的置換部255不僅進行基限處理，還進行與注重音質(zhì)模式和注重噪聲降低模式相匹配的基限處理(參照圖5(e)、圖5(f)以及圖6(f)、圖6(g))。由此，能夠在滿足注重音質(zhì)、或注重噪聲降低的同時，進一步在各自的情況下適當?shù)亟档彤a(chǎn)生音樂噪聲的可能性。另外，噪聲降低處理部254不僅按各頻率窗口而對所輸入的聲音信號的頻譜減去噪聲頻譜，還根據(jù)由判定部253判定的各頻率窗口的結(jié)果，按各頻率窗口而對所輸入的聲音信號的頻譜減去噪聲頻譜。由此，噪聲降低處理部254能夠從所輸入的聲音信號適當?shù)亟档驮肼暋?關于對圖2的巾貞號47以后的處理)在上述的圖3 圖6的說明中，對信號處理部250對巾貞號46的聲音信號進行噪聲降低處理的情況進行了說明。該信號處理部250可以與幀號46的聲音信號的情況同樣地，對作為巾貞號46之后的聲音信號的巾貞號47、48......的聲音信號也進行噪聲降低處理。例如,在巾貞號47的聲音信號的情況下，當為注重音質(zhì)模式時，則信號處理部250將圖4(b)和圖5(a)中的與幀號46對應的頻譜S46變更為與幀號47對應的頻譜S47。而且，與頻譜S46的情況同樣地，信號處理部250對頻譜S47進行如使用圖4和圖5說明過的那樣的信號處理。另外，例如，在幀號47的聲音信號的情況下，當為注重噪聲降低模式時，則信號處理部250將圖6(a)中的與幀號46對應的頻譜S46變更為與幀號47對應的頻譜S47。而且，與頻譜S46的情況同樣地，信號處理部250對頻譜S47進行如使用圖6說明過的那樣的信號處理。這樣,在注重音質(zhì)模式和注重噪聲降低模式中的任意模式的情況下，信號處理部
250能夠?qū)ψ鳛閹?6之后的聲音信號的幀號47、48......的聲音信號也與幀號46的情
況同樣地進行噪聲降低處理。(關于基譜的推定)在使用上述圖2和圖3的說明中，設為基譜推定部251將幀號44的聲音信號的頻譜推定為基譜而進行了說明。但是，基譜推定部251的基譜的推定方法不限于此。例如，基譜推定部251根據(jù)由定時檢測部191檢測出的動作部動作的定時，分別將 動作部動作的定時之前的多個幀的聲音信號變換為頻譜。進而，基譜推定部251也可以將按各頻率窗口取該多個頻譜的平均而獲得的頻譜推定為基譜。另外，在按各頻率窗口而取多個頻譜的平均的情況下，基譜推定部251也可以進行加權(quán)而算出平均值。其權(quán)重值可以為伴隨著從作為基限處理的對象的聲音信號的幀(開始幀)遠離而權(quán)重變輕?；V推定部251優(yōu)選在推定基譜時至少根據(jù)動作部動作的定時的前一幀來推定基譜。這是因為作為基譜，優(yōu)選與動作部未動作的幀的聲音信號對應的頻譜。另外是因為生成基譜的聲音信號的幀隨著在時間上遠離成為進行基限處理的對象的聲音信號，其作為對于該聲音信號的基譜的適合度也降低。另外，也可以在基譜存儲部161中預先存儲基譜。例如，也可以在基譜存儲部161中與表示拍攝時周圍的聲音狀況的環(huán)境信息、或表示拍攝模式的攝影模式信息相關聯(lián)地預先存儲與各個情況相對應的基譜。而且，信號處理部250也可以從基譜存儲部161讀出與由用戶選擇的環(huán)境信息或拍攝模式信息相關聯(lián)的基譜，根據(jù)該讀出的基譜，執(zhí)行在上述圖3 圖6的說明中說明過的噪聲降低處理。(關于噪聲的推定)另外，在上述使用圖2和圖3的說明中，設為如下情況而進行了說明，噪聲推定部252按各頻率窗口而從巾貞號46的聲音信號的頻譜S46 (參照圖3(b))減去巾貞號44的聲音信號的頻譜(即，基譜FS(參照圖3(a))來推定噪聲頻譜。但是，噪聲推定部252推定噪聲頻譜的方法不限于此。首先，噪聲推定部252可以代替幀號44的聲音信號的頻譜即基譜FS而通過上面說明過的由基譜推定部251推定基譜FS的情況下的任意方法來推定基譜FS。此外，噪聲推定部252也可代替幀號46的聲音信號的頻譜S46而使用如下頻譜，該頻譜是根據(jù)由定時檢測部191檢測到的動作部動作的定時按各頻率窗口而對動作部正在動作的定時中的多個幀的聲音信號的頻譜取平均得到的頻譜。例如，噪聲推定部252也可代替巾貞號46的聲音信號的頻譜S46,而使用按各頻率窗口對巾貞號46、47、48的多個巾貞的聲音信號的頻譜取平均而獲得的頻譜。另外，在按各頻率窗口而對多個頻譜取平均的情況下，噪聲推定部252也可以進行加權(quán)而算出平均值。該權(quán)重值可以為伴隨著從作為基限處理的對象的聲音信號的幀(開始幀)遠離而權(quán)重變輕。另外，與基譜的情況同樣地，噪聲頻譜也可以預先存儲于噪聲存儲部162中。(關于圖2的幀的重疊(overlap))
另外，在圖2的說明中，設為在各幀之間沒有重疊而進行了說明。但不限于此，也可以在各幀之間具有重疊。例如，相互相鄰的幀的半幀期間也可以相互重疊。另外,在將各巾貞的聲音信號變換為頻譜的情況下,信號處理部250也可以在對各中貞的聲音信號乘以漢寧窗(hanning window)等窗函數(shù)之后變換為頻譜。在上述圖2的說明中，對與(a)來自定時檢測部191的表示定時的信號、即表示動作部動作的定時的信號無關地將聲音信號分割為幀的情況進行了說明(參照圖2(c))。但不限于此，信號處理部250也可以按照(a)來自定時檢測部191的表示定時的信號、即表示動作部動作的定時的信號來控制分割幀的位置。例如，信號處理部250也可以對聲音信號生成巾貞，以使得聲音信號的巾貞的邊界與(a)來自定時檢測部191的表不定時的信號、即表示動作部動作的定時的信號從低電平變?yōu)楦唠娖降奈恢?參照圖2的符號〇) 一致。而且，信號處理部250也可以按照表示動作部動作的定時的信號，根據(jù)動作部動作之前的期間和動作部正在動作的期間，執(zhí)行上述的噪聲降低處理。在上述的說明中，對信號處理部250對由麥克風230拾取的聲音信號進行信號處理的情況進行了說明，但本實施方式的上述信號處理部250的處理不僅僅適用于這樣實時地拾取的聲音信號。例如，對于已錄制的聲音信號，在與該聲音信號相關聯(lián)地在例如存儲介質(zhì)200等的存儲部中存儲有錄制該聲音信號的裝置所具有的動作部動作的定時的情況下，本實施方式的信號處理部250也可以與上述的信號處理同樣地執(zhí)行處理。在上述的說明中，作為聲音信號重疊的噪聲，對主要由光學系統(tǒng)400驅(qū)動而產(chǎn)生的聲音進行了說明，但噪聲不限于此。例如，在按下設置于操作部180的按鈕等時產(chǎn)生的聲音的情況也是同樣的。在該情況下，也使與設置于操作部180的按鈕等被按下相對應的信號被輸入到CPU190的定時檢測部191。由此，定時檢測部191能夠與光學系統(tǒng)400驅(qū)動的情況同樣地檢測操作部180等的動作定時。另外，在上述的說明中，對攝像裝置100具有信號處理部250的情況進行了說明，但信號處理部250也可以設置于錄音裝置、便攜電話或通信終端。圖I的信號處理部250、或該信號處理部250所具有的各部既可以是通過專用的硬件實現(xiàn)的，另外，也可以是通過存儲器和微處理器實現(xiàn)的。另外，該信號處理部250、或該信號處理部250所具有的各部也可以由存儲器和CPU(中央運算裝置)構(gòu)成，通過將用于實現(xiàn)信號處理部250、該信號處理部250所具有的各部的功能的程序加載到存儲器中而加以運行，由此實現(xiàn)其功能。另外，也可以將用于實現(xiàn)圖I的信號處理部250、或該信號處理部250所具有的各部的功能的程序存儲于計算機可讀取的記錄介質(zhì)中，將記錄于該存儲媒體中的程序讀入計算機系統(tǒng)而加以運行，由此進行信號處理部250、或該信號處理部250所具有的各部的處理。在此所說的“計算機系統(tǒng)”是指包含OS、周邊裝置等的硬件的系統(tǒng)。另外，當利用WWW系統(tǒng)時，“計算機系統(tǒng)”為也包括主頁提供環(huán)境(或顯示環(huán)境)的系統(tǒng)。另外，“計算機可讀取的記錄介質(zhì)”是指軟盤、光磁盤、ROM、⑶-ROM等的可運送介質(zhì)、內(nèi)置于計算機系統(tǒng)的硬盤等存儲裝置。進一步，“計算機可讀取的記錄介質(zhì)”也包含如經(jīng)由互聯(lián)網(wǎng)等的網(wǎng)絡、電話線等通信線路而發(fā)送程序的情況下的通信線路那樣短期、動態(tài)地保持程序的介質(zhì)；如該情況下的成為服務器、客戶機(client)的計算機系統(tǒng)內(nèi)部的易失性存儲器那樣將程序保持一定時間的介質(zhì)。另外，上述程序即可以為用于實現(xiàn)上述功能的一部分的程序，進一步，也可以為能夠通過與全部記錄于計算機系統(tǒng)中的程序的組合來實現(xiàn)前述的功能的程序。以上，參照附圖對本發(fā)明的實施方式進行了詳細說明，但具體的結(jié)構(gòu)不限于本實 施方式，也包括不脫離本發(fā)明的主旨的范圍內(nèi)的設計等。
權(quán)利要求
1.一種信號處理裝置，包括 判定部，其按各頻率窗口對所輸入的聲音信號的頻譜和基譜進行比較，按上述各頻率窗口判定是否對上述所輸入的聲音信號進行噪聲降低處理；和 噪聲降低處理部，其根據(jù)由上述判定部判定的上述各頻率窗口的結(jié)果，按上述各頻率窗口對上述所輸入的聲音信號的上述頻譜減去噪聲頻譜。
2.根據(jù)權(quán)利要求I所述的信號處理裝置，其中， 上述噪聲降低處理部， 在注重上述所輸入的聲音信號的音質(zhì)的第I模式的情況下，根據(jù)由上述判定部判定的上述各頻率窗口的結(jié)果，按上述各頻率窗口對上述所輸入的聲音信號的上述頻譜減去噪聲頻譜； 在注重從上述所輸入的聲音信號降低噪聲的第2模式的情況下,按上述各頻率窗口對所輸入的聲音信號的上述頻譜減去上述噪聲頻譜。
3.根據(jù)權(quán)利要求2所述的信號處理裝置，其中， 上述噪聲降低處理部在上述第2模式的情況下，當按上述各頻率窗口對上述所輸入的聲音信號的頻譜減去上述噪聲頻譜得到的結(jié)果為負時，將該結(jié)果變更為O。
4.根據(jù)權(quán)利要求I所述的信號處理裝置，其中， 包括置換部，該置換部根據(jù)按上述各頻率窗口對由上述噪聲降低處理部按上述各頻率窗口進行減法運算得到的頻譜和上述基譜進行比較的結(jié)果，按上述各頻率窗口將由上述噪聲降低處理部按上述各頻率窗口進行減法運算得到的頻譜置換為上述基譜。
5.根據(jù)權(quán)利要求4所述的信號處理裝置，其中， 上述置換部在上述第I模式的情況下，根據(jù)由上述判定部判定的上述各頻率窗口的結(jié)果，在由上述噪聲降低處理部進行減法運算得到的上述頻譜的上述頻率窗口中，選擇成為進行置換的候補的頻率窗口，在該選擇的頻率窗口，按上述各頻率窗口對由上述噪聲降低處理部按上述各頻率窗口進行減法運算得到的上述頻譜和上述基譜進行比較，對上述基譜的強度值大于由上述噪聲降低處理部進行減法運算得到的上述頻譜的強度值的頻率窗口，由上述基譜置換由上述噪聲降低處理部進行減法運算得到的上述頻譜。
6.根據(jù)權(quán)利要求4所述的信號處理裝置，其中， 上述置換部在上述第2模式的情況下，按上述各頻率窗口對由上述噪聲降低處理部按上述各頻率窗口進行減法運算得到的上述頻譜和上述基譜進行比較，對上述基譜的強度值小于由上述噪聲降低處理部進行減法運算得到的上述頻譜的強度值的頻率窗口，由上述基譜置換由上述噪聲降低處理部進行減法運算得到的上述頻譜。
7.一種攝像裝置，具備權(quán)利要求I 6中的任一項所述的信號處理裝置。
8.一種信號處理程序，該程序用于使作為信號處理裝置的計算機執(zhí)行 判定步驟，按各頻率窗口對所輸入的聲音信號的頻譜和基譜進行比較，按上述各頻率窗口判定是否對上述所輸入的聲音信號進行噪聲降低處理； 噪聲降低處理步驟，根據(jù)通過上述判定步驟判定的上述各頻率窗口的結(jié)果，按上述各頻率窗口對上述所輸入的聲音信號的上述頻譜減去噪聲頻譜。
全文摘要
本發(fā)明提供一種信號處理裝置、攝像裝置以及信號處理程序。信號處理裝置包括判定部，其按各頻率窗口對所輸入的聲音信號的頻譜和基譜進行比較，按各頻率窗口判定是否對所輸入的聲音信號進行噪聲降低處理；和噪聲降低處理部，其根據(jù)由判定部判定的各頻率窗口的結(jié)果，按各頻率窗口對所輸入的聲音信號的頻譜減去噪聲頻譜。
文檔編號G10L21/02GK102737644SQ20121018098
公開日2012年10月17日 申請日期2012年3月30日 優(yōu)先權(quán)日2011年3月30日
發(fā)明者岡崎光宏, 岡野康介, 吉冢陽子 申請人:株式會社尼康