專利名稱：圖像捕捉設(shè)備和方法、記錄設(shè)備和方法及再現(xiàn)設(shè)備和方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像捕捉(image-capturing )設(shè)備和方法、記錄設(shè)備和方法及 再現(xiàn)設(shè)備和方法。
背景技術(shù)：
傳統(tǒng)上，已經(jīng)在日本專利申請(qǐng)公開No. H09-83952中提出了使用具有大 容量的存儲(chǔ)器在記錄介質(zhì)上記錄被延遲的經(jīng)圖像捕捉的畫面的圖像信號(hào)的方 法。根據(jù)在日本專利申請(qǐng)公開No. H09-83952中公開的這種方法，能夠從在 用戶指示圖像捕捉的開始時(shí)的時(shí)間點(diǎn)起倒行(retroact) 了設(shè)置的時(shí)間段的時(shí) 間點(diǎn)處的圖像開始記錄，由此使得能夠不錯(cuò)過圖像捕捉的寶貴時(shí)機(jī)。
此外，已經(jīng)在日本專利申請(qǐng)公開No. 2005-295423中提出了通過減小圖像 信號(hào)的場(chǎng)頻(field frequency )使用存儲(chǔ)器記錄慢動(dòng)作圖像的方法。換句話說， 在曰本專利申請(qǐng)公開No. 2005-295423中公開的這種方法中，以高于正常視頻 信號(hào)的場(chǎng)頻(50或60場(chǎng)/秒)速度的速度輸出圖像信號(hào)，并且以循環(huán)方式將 這些圖像信號(hào)連續(xù)地存儲(chǔ)在存儲(chǔ)器中。然后以正常視頻信號(hào)的場(chǎng)頻將由此存 儲(chǔ)在存儲(chǔ)器中的這些圖像信號(hào)讀出，并將其記錄在記錄介質(zhì)上。在下文中， 將以高于正常視頻信號(hào)的場(chǎng)頻(field frequency )或幀頻(frame frequency)獲取 任何圖像捕捉畫面的這種處理稱為"高速圖像捕捉"。
此外，結(jié)合來自圖像捕捉裝置的圖像信號(hào)的輸出，已經(jīng)在日本專利申請(qǐng) 公開Nos.S64-2480和H01-105674中提出了降低經(jīng)圖像捕捉的畫面的分辨率， 即減少經(jīng)圖像捕捉的畫面的像素的數(shù)量(這涉及從圖像捕捉裝置輸出的圖像 信號(hào))，由此防止圖像信號(hào)的數(shù)據(jù)速率增大的方法。在日本專利申請(qǐng)公開No. H10-51735中也已經(jīng)提出了通過捕捉經(jīng)圖像捕捉的畫面的一部分來防止數(shù)據(jù) 速率增大的方法。
然而，當(dāng)基于日本專利申請(qǐng)公開No.2005-295423的方法執(zhí)行高速圖像捕 捉時(shí)，用于高速圖像捕捉的時(shí)間段以多種方式受限，使得可能出現(xiàn)錯(cuò)過圖像 捕捉的寶貴時(shí)機(jī)的問題。
換句話說，在這種方法中，以高速將圖像信號(hào)存儲(chǔ)在存儲(chǔ)器中，然后將 其從存儲(chǔ)器中讀出并記錄在記錄介質(zhì)上，使得可用于在一個(gè)圖像捕捉時(shí)機(jī)時(shí) 捕捉圖像的時(shí)間段可能受到存儲(chǔ)器的容量的限制。因此，在長時(shí)間地拍攝所 期望的場(chǎng)景的情況下，對(duì)整個(gè)場(chǎng)景執(zhí)行高速時(shí)間捕捉畢竟是很困難的。此外， 在這種方法中，不可能在所有存儲(chǔ)在存儲(chǔ)器中的圖像信號(hào)還沒有從其中讀出 之后對(duì)下一場(chǎng)景執(zhí)行圖像捕捉。因此，在以短間隔重復(fù)所期望的場(chǎng)景的情況 下，可能錯(cuò)過拍攝任意重復(fù)場(chǎng)景的一部分。
作為解決這樣的問題的一種方法，以高場(chǎng)頻或幀頻獲取圖像信號(hào)并將其 直接記錄在海量記錄介質(zhì)上的方法是可想到的。
然而，如果以高場(chǎng)頻或幀頻產(chǎn)生圖傳_信號(hào)，則在實(shí)踐方面，在以正常一見 頻信號(hào)的場(chǎng)頻或幀頻產(chǎn)生圖像信號(hào)的情況下，多半難以產(chǎn)生表示來自圖像捕 捉裝置的所有像素的圖像信號(hào)。因此，在這種方法中，在高速圖像捕捉的時(shí)
候，如在日本專利申請(qǐng)公開Nos.S64-2480和H01-105674中公開的那樣，必 須降低從圖像捕捉裝置輸出的圖像上的經(jīng)圖像捕捉的畫面的分辨率，或者如 曰本專利申請(qǐng)公開No.H10-51735中公開的那樣，必須減小經(jīng)圖像捕捉的畫面 的視角。因此，不能獲得具有所期望的分辨率的任意經(jīng)圖像捕捉的畫面，由 此引起畫質(zhì)劣化或者引起不能獲得具有所期望的視角的經(jīng)圖像捕捉的畫面。

發(fā)明內(nèi)容
通過考慮上述要點(diǎn)做出本發(fā)明，并提出了圖像捕捉設(shè)備和方法，記錄設(shè) 備和方法以及再現(xiàn)設(shè)備和方法，其可以有效地避免畫質(zhì)劣化等，并在不錯(cuò)過 任何困像捕捉的寶貴時(shí)機(jī)的情況下實(shí)現(xiàn)高速圖像捕捉，或者可以記錄并再現(xiàn) 通過執(zhí)行高速圖像捕捉而獲得的圖像信號(hào)。
為了解決上述問題，根據(jù)本發(fā)明的圖像捕捉設(shè)備被提供有圖像傳感器， 其產(chǎn)生經(jīng)圖像捕捉的畫面的圖像信號(hào)；以及控制單元，其控制圖像傳感器以 設(shè)置的時(shí)間段為單元在全視角稀疏讀處理(all-angle-of-view thinning-out read processing )與全像素部分讀處理(all-pixel partially read processing )之間進(jìn)行 切換，其中在全視角稀疏讀處理中對(duì)有效圖像范圍中的像素執(zhí)行稀疏讀取以 產(chǎn)生圖像信號(hào)，在全像素部分讀處理中從部分區(qū)域讀出該有效圖像范圍的部 分區(qū)域的所有像素以產(chǎn)生圖像信號(hào)。
此外，根據(jù)本發(fā)明的記錄設(shè)備被提供有圖像壓縮單元，對(duì)通過允許圖
像傳感器以設(shè)置時(shí)間段為單元在全視角稀疏讀處理與全^f象素部分讀處理之間 切換而產(chǎn)生的經(jīng)圖像捕捉的畫面的圖像信號(hào)執(zhí)行壓縮處理以便產(chǎn)生經(jīng)編碼的 數(shù)據(jù)，其中在全視角稀疏讀處理中對(duì)有效圖像范圍中的^f象素執(zhí)行稀疏讀取以 產(chǎn)生圖像信號(hào)，在全像素部分讀處理中從部分區(qū)域讀出有效圖像范圍的部分 區(qū)域的所有像素以產(chǎn)生所述圖像信號(hào)；以及記錄單元，記錄經(jīng)編碼的數(shù)據(jù)，
其中圖^f象壓縮單元基于使用預(yù)測(cè)編碼的編碼系統(tǒng)對(duì)通過沖丸行全^L角稀疏讀處
理而獲得的圖像信號(hào)執(zhí)行壓縮處理，并基于不使用預(yù)測(cè)編碼的編碼系統(tǒng)對(duì)通 過執(zhí)行所述全像素部分讀處理而獲得的圖像信號(hào)執(zhí)行壓縮處理。
另外，根據(jù)本發(fā)明的再現(xiàn)設(shè)備被提供有再現(xiàn)單元，從記錄介質(zhì)讀出經(jīng) 編碼的數(shù)據(jù)，其中在圖像傳感器已經(jīng)以設(shè)置時(shí)間段為單元在全視角稀疏讀處 理與全像素部分讀處理之間切換之后，基于使用預(yù)測(cè)編碼的編碼系統(tǒng)來壓縮 處理通過執(zhí)行全視角稀疏讀處理而獲得的圖像信號(hào)，并將其作為經(jīng)編碼的數(shù) 據(jù)記錄在所述記錄介質(zhì)上，并且基于不使用預(yù)測(cè)編碼的編碼系統(tǒng)來壓縮處理 通過執(zhí)行全像素部分讀處理而獲得的圖像信號(hào)，并將其作為經(jīng)編碼的數(shù)據(jù)記 錄在所述記錄介質(zhì)上，其中在所述全視角稀疏讀處理中，對(duì)有效圖像范圍中 的像素執(zhí)行稀疏讀取以產(chǎn)生所述圖像信號(hào)，在所述全像素部分讀處理中，從 部分區(qū)域讀出所述有效圖像范圍的部分區(qū)域的所有像素以產(chǎn)生所述圖像信 號(hào)；圖像解壓縮單元，解壓縮所讀取的經(jīng)編碼的數(shù)據(jù)，以產(chǎn)生圖像信號(hào)；以 及圖像合成單元，使用在圖像解壓縮單元中產(chǎn)生的圖像信號(hào)來執(zhí)行合成，其 中圖像合成單元組合通過執(zhí)行全視角稀疏讀處理而獲得的圖像信號(hào)與通過全 像素部分讀處理而獲得的圖像信號(hào)。
此外，還提供了根據(jù)本發(fā)明的圖像捕捉方法、記錄方法和與圖像拾取設(shè) 備對(duì)應(yīng)的再現(xiàn)方法、記錄設(shè)備和再現(xiàn)設(shè)備。
基于根據(jù)本發(fā)明的配置，如果以高于參考場(chǎng)頻或幀頻的場(chǎng)頻或幀頻產(chǎn)生 并記錄圖像信號(hào)，則在參考場(chǎng)或幀時(shí)間段內(nèi)的頂部場(chǎng)或幀中，通過全視角稀 疏讀處理產(chǎn)生圖像信號(hào)，并且在參考場(chǎng)或幀時(shí)間段內(nèi)的剩余場(chǎng)或幀中，通過 全像素部分讀處理產(chǎn)生圖像信號(hào)。因此，與在所有場(chǎng)或幀內(nèi)獲得全視角的經(jīng) 圖像捕捉的畫面的情況相比，可以減小在參考場(chǎng)或幀時(shí)間段期間從圖像傳感 器輸出的信號(hào)量，以便可以直接將其記錄在海量記錄介質(zhì)上。因此，可以避 免在通過存儲(chǔ)器將其記錄的情況下的限制，由此允許在不錯(cuò)過圖像捕捉的寶 貴時(shí)機(jī)的情況下實(shí)現(xiàn)高速圖像捕捉。還能夠通過組合通過執(zhí)行全視角稀疏讀
處理而獲得的圖像信號(hào)與通過執(zhí)行全像素部分讀處理而獲得的圖像信號(hào)來減 小畫質(zhì)的劣化。這有效避免了畫質(zhì)的劣化等，由此允許在不錯(cuò)過圖像捕捉的 寶貴時(shí)機(jī)的情況下實(shí)現(xiàn)高速圖像捕捉，并使得能夠記錄和再現(xiàn)通過執(zhí)行高速 圖像捕捉而獲得的圖像信號(hào)。


圖1是示出圖像捕捉設(shè)備的配置的框圖2是圖解圖像傳感器的操作的圖3是示出照相機(jī)信號(hào)處理單元的配置的框圖4是示出照相機(jī)信號(hào)處理單元中的分辨率轉(zhuǎn)換/圖像合成部分的配置的 一部分的框圖5是圖解分辨率轉(zhuǎn)換/圖像合成部分中的水平和垂直增益的圖6是圖解經(jīng)圖像捕捉的畫面和邊界的坐標(biāo)關(guān)系的圖7是示出圖像壓縮/解壓縮單元的配置的圖8是圖解移動(dòng)畫面的編碼數(shù)據(jù)的圖9是示出記錄設(shè)備的配置的框圖IO是示出再現(xiàn)設(shè)備的配置的框圖11是在以兩倍于參考幀速(frame rate )的幀速執(zhí)行高速圖像捕捉的情 況下的時(shí)間圖像捕捉而獲得的圖像的情況下的時(shí)間圖13是在以一半再現(xiàn)速率慢動(dòng)作再現(xiàn)通過以兩倍于參考幀速的幀速執(zhí) 行高速圖像捕捉而獲得的圖像的情況下的時(shí)間圖14是在以三倍于參考幀速的幀速執(zhí)行高速圖像捕捉的情況下的時(shí)間
圖15是在以常規(guī)再現(xiàn)速率再現(xiàn)通過以三倍于參考幀速的幀速執(zhí)行高速 圖像捕捉而獲得的圖像的情況下的時(shí)間圖16是在以四倍于參考幀速的幀速執(zhí)行高速圖像捕捉的情況下的時(shí)間
圖像捕捉而獲得的圖像的情況下的時(shí)間圖18是在以一半再現(xiàn)速率慢動(dòng)作再現(xiàn)通過以四倍于參考幀速的幀速執(zhí)
行高速圖像捕捉而獲得的圖像的情況下的時(shí)間圖19是在以四分之一再現(xiàn)速率慢動(dòng)作再現(xiàn)通過以四倍于參考幀速的幀
速執(zhí)行高速圖像捕捉而獲得的圖像的情況下的時(shí)間圖20是在以可變速率執(zhí)行高速圖像捕捉的情況下的時(shí)間圖21是在以可變速率再現(xiàn)通過以可變速率執(zhí)行高速圖像捕捉而獲得的
圖像的情況下的時(shí)間圖22是圖解用于運(yùn)動(dòng)矢量的決定準(zhǔn)則的圖23是圖解在全像素部分讀取中的幀的示意圖；以及
圖24是用于示出對(duì)可變速率高速圖像捕捉中幀速的設(shè)置處理的步驟的
流程圖。
具體實(shí)施例方式
下面將參照附圖描述本發(fā)明的實(shí)施例。圖1是示出根據(jù)本發(fā)明的實(shí)施例 的圖像捕捉設(shè)備的配置的框圖。設(shè)計(jì)圖像捕捉設(shè)備10以便可根據(jù)用戶的操作 切換到作為在普通圖像捕捉時(shí)間時(shí)的操作模式的標(biāo)準(zhǔn)圖像捕捉模式或者作為 處于高速圖像捕捉的操作模式的高速圖像捕捉模式。
當(dāng)設(shè)置標(biāo)準(zhǔn)圖像捕捉模式時(shí)，圖像捕捉設(shè)備10以參考時(shí)間段的預(yù)定單元 產(chǎn)生圖像信號(hào)，對(duì)該圖像信號(hào)執(zhí)行照相機(jī)信號(hào)處理(camera signal processing )、 圖像壓縮處理等，并將其記錄在記錄介質(zhì)上。在這里，將參考時(shí)間段的單元 稱為場(chǎng)或幀時(shí)間段，其被用在電視系統(tǒng)中，并且例如，如果將參考時(shí)間段 (period of reference time)單元設(shè)置為(1/60)秒，則產(chǎn)生隔行掃描系統(tǒng)的圖 像信號(hào)，其場(chǎng)時(shí)間段為(1/60)秒，或者產(chǎn)生非隔行系統(tǒng)的圖像信號(hào)，其幀 時(shí)間段為(1/60)秒。要注意，如果產(chǎn)生非隔行系統(tǒng)的圖像信號(hào)，則將參考 時(shí)間段單元稱為參考幀時(shí)間段，并且將具有以參考時(shí)間段單元為周期(cycle) 的幀速稱為參考幀速。此外，如果產(chǎn)生隔行系統(tǒng)的圖像信號(hào)，則將參考時(shí)間 段單元稱為參考場(chǎng)時(shí)間段，并且將具有以參考時(shí)間段單元為周期的場(chǎng)速稱為 參考場(chǎng)速。
當(dāng)設(shè)置高速圖像捕捉模式時(shí)，圖像捕捉設(shè)備10以高于標(biāo)準(zhǔn)圖像捕捉模式 中的參考幀速(或參考場(chǎng)速)的速率通過參考幀速(或場(chǎng)速)的整數(shù)倍產(chǎn)生 圖像信號(hào)，對(duì)該圖像信號(hào)執(zhí)行照相機(jī)信號(hào)處理、圖像壓縮處理等，并將其記
錄在記錄介質(zhì)上。在這里，將幀速(場(chǎng)速)是參考幀速(或參考場(chǎng)速)的整
數(shù)倍時(shí)的幀(場(chǎng))時(shí)間段稱為設(shè)置時(shí)間段的單元(a unit of a set period of time )。
因此，如果幀速(場(chǎng)速)變得更高并且設(shè)置時(shí)間段的單元變得更短，則 對(duì)于圖像捕捉設(shè)備10來說難以產(chǎn)生表示來自用于圖像捕捉單元11中的固態(tài) 圖像捕捉裝置中圖像捕捉表面的有效圖像范圍的所有像素的圖像信號(hào)。因此， 如果幀速(場(chǎng)速)高于標(biāo)準(zhǔn)圖像捕捉模式的幀速(場(chǎng)速)，即，設(shè)置時(shí)間段的 單元短于參考時(shí)間段單元，則圖像捕捉設(shè)備IO執(zhí)行對(duì)有效圖像范圍中的像素 執(zhí)行像素稀疏(pixel thinning-out)或線稀疏(line thinning-out)處理以產(chǎn)生 圖像信號(hào)的處理(在下文中，稱為"全一見角稀疏讀處理(all-angle-of-view thinning out read processing )，，)或者執(zhí)行從其讀出有效圖像范圍的部分區(qū)域的 全像素以產(chǎn)生圖像信號(hào)的處理(在下文中，稱為"全像素部分讀處理(an all-pixel partially read processing )"),以降低信號(hào)量。然后圖像捕捉設(shè)備10對(duì) 通過全視角稀疏讀處理或全像素部分讀處理產(chǎn)生的圖像信號(hào)執(zhí)行照相機(jī)信號(hào) 處理、圖像壓縮處理等，并將其記錄在記錄介質(zhì)上。此外，當(dāng)再現(xiàn)以高速圖 像捕捉模式記錄的經(jīng)圖像捕捉的畫面時(shí)，圖像捕捉設(shè)備10將通過全一見角稀疏 讀處理產(chǎn)生的圖像信號(hào)與通過全像素部分讀處理而產(chǎn)生的圖像信號(hào)進(jìn)行組 合，由此使得能夠獲取具有畫質(zhì)的更小劣化的再現(xiàn)圖像。關(guān)于圖像捕捉設(shè)備 10中產(chǎn)生非隔行系統(tǒng)的圖像的理解，將進(jìn)行以下描述。
通過使用圖像傳感器111、模擬前端(AFE) 112和模數(shù)轉(zhuǎn)換器(ADC) 113來配置圖像捕捉設(shè)備10的圖像捕捉單元11，并且在控制單元61的控制 之下控制圖像捕捉單元11的操作，這將在下面描述。
通過使用互補(bǔ)金屬氧化物半導(dǎo)體(CMOS)型固態(tài)圖像捕捉裝置等來配 置圖像捕捉單元11的圖像傳感器111。圖像傳感器111通過透鏡單元(未示 出)對(duì)在圖像捕捉表面上形成的光學(xué)圖像執(zhí)行光電轉(zhuǎn)換處理，并輸出由原色 (如紅、綠和藍(lán))彩色信號(hào)組成的圖像信號(hào)。要注意，圖像傳感器111被提 供有4丸行相關(guān)雙采樣處理的相關(guān)雙采樣(CDS, correlated double sampling) 電路，由此降低圖像信號(hào)中的任何噪聲。
當(dāng)將圖像捕捉設(shè)備10設(shè)置到標(biāo)準(zhǔn)圖像捕捉模式時(shí)，在控制單元61的控 制之下控制圖像傳感器lll，并且圖像傳感器lll執(zhí)行處理以便讀出固態(tài)圖像 捕捉裝置中的圖像捕捉表面的有效圖像范圍的所有像素(在下文中，稱為"全 像素和全視角讀處理")，以輸出具有例如60幀/秒(*s)的參考幀速的圖像
信號(hào)。
圖2圖解從圖像傳感器111輸出的圖像信號(hào)中的像素位置，并且由斜線 表示的像素表示未被包括在圖像信號(hào)中的像素。在這里，如果設(shè)置了標(biāo)準(zhǔn)圖
像捕捉模式，則圖像傳感器111從如圖2 (A)所示的圖像捕捉表面的有效圖 像范圍AR讀出所有像素，以輸出圖像信號(hào)。
此外，當(dāng)將圖像捕捉設(shè)備IO設(shè)置到高速圖像捕捉模式時(shí)，在控制單元 61的控制之下控制圖像傳感器111，并且圖像傳感器111執(zhí)行全視角稀疏讀 處理或全像素部分讀處理，以便以高于參考幀速、以其整數(shù)倍為幀速輸出圖 像信號(hào)。例如，如果在高速圖像捕捉模式中幀速是60幀/秒(fps)，則輸出具 有120 (fps)、 180 (fps)或240 (fps)幀速的圖像信號(hào)。圖像傳感器還基于 幀速調(diào)整全視角稀疏讀處理中的稀疏讀取之間的間隔或全像素部分讀處理中 的區(qū)域大小，以便可以從圖像捕捉單元11輸出具有設(shè)置幀速(asetframe rate) 的圖像信號(hào)。
在這里，如果將幀速設(shè)置為兩倍于標(biāo)準(zhǔn)圖像捕捉模式中參考幀速的速率， 則在全像素部分讀處理中，例如如圖2(B1)所示，從矩形區(qū)域讀出作為圖 像捕捉表面中的有效圖像范圍AR的部分區(qū)域的、具有有效圖像范圍AR的 一半面積的矩形區(qū)域中的所有像素。此外，在全視角稀疏讀處理中，例如如 圖2 (B2)所示，通過執(zhí)行稀疏讀取從有效圖像范圍AR讀出總像素?cái)?shù)的一 半。圖像傳感器111通過相加以水平方式排列的相鄰的相同顏色光傳感器的 輸出信號(hào)并將它們輸出來執(zhí)行像素稀疏處理。圖像傳感器111還通過相加以 垂直方式排列的相鄰的相同顏色光傳感器的輸出信號(hào)并將它們輸出來執(zhí)行線 稀疏處理。如果執(zhí)行這樣的全視角稀疏讀處理和全像素部分讀處理，則即使 當(dāng)將幀速設(shè)置為兩倍于參考幀速的速率時(shí)，也可以使在參考幀時(shí)間段期間從 圖像傳感器111輸出的圖像信號(hào)量等于標(biāo)準(zhǔn)圖像捕捉模式的圖像信號(hào)量。
如果將幀速設(shè)置為三倍于標(biāo)準(zhǔn)圖像捕捉模式中參考幀速的速率，則在全 像素部分讀處理中，例如如圖2(C1)所示，從矩形區(qū)域讀出作為圖像捕捉 表面中的有效圖像范圍AR的部分區(qū)域的、具有有效圖像范圍AR的面積的 三分之一的矩形區(qū)域中的所有像素。此外，在全視角稀疏讀處理中，例如如 圖2 (C2)所示，通過執(zhí)行稀疏讀從有效圖像范圍AR讀出總像素?cái)?shù)的三分 之一。此外，當(dāng)將幀速設(shè)置為四倍于標(biāo)準(zhǔn)圖像捕捉模式中參考幀速的速率時(shí)， 在全像素部分讀處理中，例如如圖2(D1)所示，從矩形區(qū)域讀出具有有效
圖像范圍AR的面積的四分之一的矩形區(qū)域中的所有像素。在全視角稀疏讀
處理中，例如如圖2 (D2)所示，還通過執(zhí)行稀疏讀取從有效圖像范圍AR 讀出總像素?cái)?shù)的四分之一。如果執(zhí)行這樣的全像素部分讀處理和全視角稀疏 讀處理，則即使當(dāng)將幀速設(shè)置為三倍或四倍于參考幀速的速率時(shí)，也可以使 圖像信號(hào)量等于標(biāo)準(zhǔn)圖像捕捉模式的圖像信號(hào)量。
要注意，如果全視角稀疏讀處理中的稀疏樣式關(guān)于每一幀改變，則圖像 傳感器111可以防止每次對(duì)同一像素位置處的像素進(jìn)行稀疏。
如果將圖像捕捉設(shè)備10設(shè)置到高速圖像捕捉模式，則在通過劃分在標(biāo)準(zhǔn) 圖像捕捉模式中的參考幀時(shí)間段期間的輸出信號(hào)來觀看的情況下，也在控制 單元61的控制之下控制圖像傳感器111,并且圖像傳感器111輸出通過在參 考幀時(shí)間段之內(nèi)的頂部幀(top frame)處執(zhí)行全視角稀疏讀處理而獲得的圖 像信號(hào)。圖像傳感器111進(jìn)一步輸出通過在參考幀時(shí)間段中不具有頂部幀的 幀時(shí)間段處執(zhí)行全像素部分讀處理而獲得的圖像信號(hào)。
模擬前端(AFE ) 112對(duì)從圖像傳感器111輸出的圖像信號(hào)執(zhí)行自動(dòng)增益 控制(AGC)處理，并控制圖像信號(hào)的增益。模數(shù)轉(zhuǎn)換器(ADC) 113將在 AFE 112中處理的模擬圖像信號(hào)轉(zhuǎn)換為數(shù)字圖像信號(hào)DV1。
在控制單元61的控制之下控制照相機(jī)信號(hào)處理單元112，并且當(dāng)使用在 圖像捕捉單元11中產(chǎn)生的圖像信號(hào)執(zhí)行監(jiān)視器顯示時(shí)，照相機(jī)信號(hào)處理單元 112對(duì)從圖像捕捉單元11輸出的圖像信號(hào)DV1執(zhí)行照相機(jī)信號(hào)處理以將其作 為監(jiān)視器顯示信號(hào)DV2輸出到顯示處理單元21。在將監(jiān)視圖像信號(hào)DV2供 應(yīng)至顯示處理單元21的同時(shí)，照相機(jī)信號(hào)處理單元12還在執(zhí)行指示記錄圖 像信號(hào)的用戶操作時(shí)將經(jīng)照相機(jī)信號(hào)處理的圖像信號(hào)DV3輸出到圖像壓縮/ 解壓縮單元31。當(dāng)執(zhí)行所記錄的經(jīng)圖像捕捉的畫面的任何再現(xiàn)操作以將其作 為再現(xiàn)圖像信號(hào)DV5輸出到顯示處理單元21時(shí)，照相機(jī)信號(hào)處理單元12進(jìn) 一步對(duì)從圖像壓縮/解壓縮單元31供應(yīng)的圖像信號(hào)DV4執(zhí)行照相機(jī)信號(hào)處 理。該照相機(jī)信號(hào)處理單元12執(zhí)行白平衡處理、顏色補(bǔ)償處理、自動(dòng)對(duì)焦(AF) 處理、自動(dòng)曝光(AE)處理等作為照相機(jī)信號(hào)處理。另外，照相機(jī)信號(hào)處理 單元12執(zhí)行這樣的處理，使得將通過全視角稀疏讀處理而產(chǎn)生的圖像信號(hào)與 通過全像素部分讀處理而產(chǎn)生的圖像信號(hào)進(jìn)行組合，以便將其作為再現(xiàn)圖像 信號(hào)DV5輸出。
圖3是示出照相機(jī)信號(hào)處理單元12的配置的框圖。照相機(jī)信號(hào)處理單元
12的電平調(diào)整部分121對(duì)于每一紅、綠或藍(lán)顏色信號(hào)調(diào)整從圖像捕捉單元11
提供的圖像信號(hào)DV1的信號(hào)電平。電平調(diào)整部分121通過該信號(hào)電平調(diào)整來 設(shè)置箝位、偏置、差分增益等以實(shí)行諸如陰影校正(shading correction)、閃 爍消除(flicker cancellation)之類的處理。
像素補(bǔ)償部分122對(duì)在電平調(diào)整部分121中處理的圖像信號(hào)執(zhí)行諸如附 力口彩色混合補(bǔ)1嘗(additive color mixing compensation )和"f象素?fù)魥A陷矛卜償(pixel defect compensation)之類的像素值補(bǔ)償處理。
增益控制部分123對(duì)于在像素補(bǔ)償部分122中處理的圖像信號(hào)校正由于 圖像傳感器111中的幀速的改變而產(chǎn)生的信號(hào)電平中的波動(dòng)。即，如果增大 幀速，則圖像傳感器111中的電荷存儲(chǔ)時(shí)間段變短，使得降低信號(hào)電平。因 此，增益控制部分123校正信號(hào)電平，使得如果改變幀速，則改變之前和之 后的信號(hào)電平可以彼此相同。
像素內(nèi)插部分124僅對(duì)通過全視角稀疏讀處理而產(chǎn)生的圖像信號(hào)執(zhí)行像 素內(nèi)插，并將已經(jīng)內(nèi)插了經(jīng)稀疏的像素的圖像信號(hào)供應(yīng)至選擇器125。在像 素內(nèi)插中，例如，通過利用例如相鄰像素之間的相關(guān)性的過濾過程來產(chǎn)生用 于經(jīng)稀疏的像素的數(shù)據(jù)。由于通過全像素部分讀處理而產(chǎn)生的圖像信號(hào)不被 稀疏，因此將其供應(yīng)至選擇器125而不執(zhí)行任何像素內(nèi)插。因此，如果僅對(duì) 通過全視角稀疏讀處理而產(chǎn)生的圖像信號(hào)執(zhí)行像素內(nèi)插，則對(duì)在參考幀時(shí)間 段內(nèi)的頂部幀執(zhí)行全視角稀疏讀處理，使得通過參考幀時(shí)間段內(nèi)的頂部幀的 圖像信號(hào)顯示的圖像具有與標(biāo)準(zhǔn)圖像捕捉模式中的圖像捕捉的分辨率相等的 分辨率，而不是變?yōu)榫哂邢陆诞嬞|(zhì)的圖像。
當(dāng)使用在圖像捕捉單元11中產(chǎn)生的圖像信號(hào)執(zhí)行監(jiān)視器顯示時(shí)，選擇器 125將已經(jīng)從像素內(nèi)插部分124供應(yīng)的圖像信號(hào)供應(yīng)至顏色補(bǔ)償部分126和 輪廓補(bǔ)償部分127。當(dāng)在記錄介質(zhì)42上記錄經(jīng)圖像捕4足的畫面時(shí)，選擇器125 還將已經(jīng)從像素內(nèi)插部分124供應(yīng)的圖像信號(hào)輸出到如圖1所示的圖像壓縮/ 解壓縮單元31。當(dāng)執(zhí)行已經(jīng)被記錄的經(jīng)圖像捕捉的畫面的任何再現(xiàn)操作時(shí)， 選擇器125進(jìn)一步將已經(jīng)從圖像壓縮/解壓縮單元31供應(yīng)的圖像信號(hào)DV4供 應(yīng)至顏色補(bǔ)償部分126和輪廓補(bǔ)償部分127。
顏色補(bǔ)償部分126將任何低頻分量從通過選擇器125供應(yīng)的圖像信號(hào)中 分離，并對(duì)低頻分量執(zhí)行諸如線性矩陣處理之類的顏色補(bǔ)償。
輪廓補(bǔ)償部分127將任何高頻分量從通過選擇器125供應(yīng)的圖像信號(hào)中
分離，并從高頻分量中產(chǎn)生輪廓補(bǔ)償數(shù)據(jù)。
伽瑪/拐點(diǎn)(gamma/knee )處理部分128將在輪廓補(bǔ)償部分127中產(chǎn)生的 輪廓補(bǔ)償數(shù)據(jù)與在顏色補(bǔ)償部分126中處理的圖像信號(hào)進(jìn)行組合，并對(duì)組合 的圖像信號(hào)執(zhí)行伽瑪補(bǔ)償、拐點(diǎn)處理等。
顏色空間轉(zhuǎn)換部分129將在伽瑪/拐點(diǎn)處理部分128中處理的圖像信號(hào)轉(zhuǎn) 換為關(guān)于亮度信號(hào)和色差信號(hào)的圖像信號(hào)。
如果當(dāng)使用在圖像捕捉單元11中產(chǎn)生的圖像信號(hào)來執(zhí)行監(jiān)視器顯示時(shí) 選擇了標(biāo)準(zhǔn)圖像捕捉模式，則分辨率轉(zhuǎn)換/圖像合成部分130將在顏色空間轉(zhuǎn) 換部分129中產(chǎn)生的關(guān)于亮度信號(hào)和色差信號(hào)的圖像信號(hào)作為監(jiān)視器圖像信 號(hào)DV2輸出到顯示處理單元21或任何外部設(shè)備(未示出)。
此外，如果當(dāng)執(zhí)行監(jiān)視器顯示時(shí)選擇了高速圖像捕捉模式，則分辨率轉(zhuǎn) 換/圖像合成部分130將通過執(zhí)行全視角稀疏讀處理而產(chǎn)生的圖像信號(hào)寫到幀 存儲(chǔ)器51中，在參考幀時(shí)間段內(nèi)讀出由此寫入幀存儲(chǔ)器51中的圖像信號(hào)， 并將其作為監(jiān)視器圖像信號(hào)DV2輸出到顯示處理單元21等。如果再現(xiàn)以高 速圖像捕捉模式記錄的經(jīng)圖像捕捉的畫面，則分辨率轉(zhuǎn)換/圖像合成部分130 進(jìn)一步存儲(chǔ)通過執(zhí)行全像素部分讀處理而產(chǎn)生的圖像信號(hào)和通過執(zhí)行全視角 稀疏讀處理而產(chǎn)生的圖像信號(hào)中的至少一個(gè)，將在幀存儲(chǔ)器51中存儲(chǔ)的圖像 信號(hào)與另一圖像信號(hào)進(jìn)行組合，并將組合的圖像信號(hào)作為再現(xiàn)圖像信號(hào)DV5 輸出到顯示處理單元21或任何外部設(shè)備(未示出)。
要注意，分辨率轉(zhuǎn)換/圖像合成部分130將要輸出到顯示處理單元21的 監(jiān)視器圖像信號(hào)DV2和再現(xiàn)圖像信號(hào)DV5的每一個(gè)的分辨率轉(zhuǎn)換為適于在 顯示單元22中顯示的分辨率并輸出。此外，通過使用例如同步動(dòng)態(tài)隨機(jī)存取 存儲(chǔ)器(SDRAM)等來配置幀存儲(chǔ)器51。
圖4是示出在分辨率轉(zhuǎn)換/圖像合成部分130中執(zhí)行圖像合成的圖像合成 部分130A的配置的框圖。圖像合成部分130A將通過全像素部分讀處理的圖 像信號(hào)DA供應(yīng)至乘法電路131，并且將通過全視角稀疏讀處理的圖像信號(hào) DB供應(yīng)至乘法電路132。乘法電路131將圖像信號(hào)DA乘以增益G以便將乘 法結(jié)果GfDA供應(yīng)至加法器133。乘法電路132將圖像信號(hào)DB乘以增益(l-G) 以將乘法結(jié)果(l-G) *DB供應(yīng)至加法器133。加法器133將兩個(gè)乘法結(jié)果 G*DA、 (l-G)承DB相加，以將相加結(jié)果作為再現(xiàn)圖像信號(hào)DV5輸出。
此外，增益G是如圖5 (A)所示的水平方向坐標(biāo)上的增益x-增益與如
圖5 (B)所示的垂直方向坐標(biāo)上的增益y-增益之間的相乘值。在這里，假設(shè) 通過全像素部分讀的經(jīng)圖像捕捉的畫面中的水平邊界是坐標(biāo)xl、 x2，并且其 中的垂直邊界是坐標(biāo)yl、 y2。要注意，圖6圖解經(jīng)圖像捕捉的畫面與邊界坐 標(biāo)的關(guān)系；圖6 (A)圖解通過全像素部分讀取的經(jīng)圖像捕捉的畫面與邊界坐 標(biāo)的關(guān)系；以及圖6(B)圖解通過全視角稀疏讀取的經(jīng)圖像捕捉的畫面與邊 界坐標(biāo)的關(guān)系。
如圖5 (A)和5 (B)所示，將邊界范圍dx設(shè)置成從指示通過全像素部 分讀取的經(jīng)圖像捕捉的畫面的邊界的坐標(biāo)xl、 x2開始、通過全像素部分讀的 經(jīng)圖像捕捉的畫面的向內(nèi)的方向，并且將邊界范圍dy設(shè)置成從坐標(biāo)yl、 y2 開始、通過全像素部分讀取的經(jīng)圖像捕捉的畫面的向內(nèi)的方向。此外，設(shè)置 增益G,以便在坐標(biāo)xl、 x2、 yl、 y2處的增益變?yōu)?，并且當(dāng)位置從坐標(biāo)xl、 x2移動(dòng)到邊界范圍dx和位置從坐標(biāo)yl、 y2移動(dòng)到邊界范圍dy時(shí)，增益從 "0" 逐漸增大到"1"。因此，圖像合成部分130A通過使用全像素部分讀 取中的經(jīng)圖像捕捉的畫面來代替通過其中執(zhí)行像素內(nèi)插的全視角稀疏讀處理 的經(jīng)圖像捕捉的畫面，可以防止任何的畫質(zhì)劣化。圖像合成部分130A還可 以使通過全像素部分讀處理的經(jīng)圖像捕捉的畫面與通過其中執(zhí)行像素內(nèi)插的 全視角稀疏讀處理的經(jīng)圖像捕捉的畫面之間的邊界不明顯。
將顯示單元22連接到顯示處理單元21。通過使用例如液晶顯示器(LCD) 等來配置顯示單元22。顯示處理單元21基于從照相機(jī)信號(hào)處理單元12供應(yīng) 的監(jiān)視器圖像信號(hào)DV2和再現(xiàn)圖像信號(hào)DV5產(chǎn)生顯示驅(qū)動(dòng)信號(hào)，并且通過 該顯示驅(qū)動(dòng)信號(hào)來驅(qū)動(dòng)顯示單元22,由此在顯示單元22的屏幕上顯示監(jiān)視 器圖像或再現(xiàn)圖像。
圖像壓縮/解壓縮單元31當(dāng)在記錄介質(zhì)42上記錄經(jīng)圖像捕捉的畫面時(shí)對(duì) 從照相機(jī)信號(hào)處理單元12供應(yīng)的圖像信號(hào)DV3執(zhí)行數(shù)據(jù)壓縮，并且將所獲 得的經(jīng)編碼的數(shù)據(jù)DW供應(yīng)至記錄/再現(xiàn)處理單元41。圖像壓縮/解壓縮單元 31還對(duì)從記錄/再現(xiàn)處理單元41供應(yīng)的經(jīng)編碼的數(shù)據(jù)DR執(zhí)行解碼處理，并 將所獲得的圖像信號(hào)DV4供應(yīng)至照相機(jī)信號(hào)處理單元12。
當(dāng)對(duì)通過全像素和全視角讀處理的圖像信號(hào)和通過其中執(zhí)行像素內(nèi)插的 全視角稀疏讀處理的圖像信號(hào)執(zhí)行數(shù)據(jù)壓縮時(shí)，圖像壓縮/解壓縮單元31基 于使用預(yù)測(cè)編碼的編碼系統(tǒng)(例如諸如運(yùn)動(dòng)圖像專家組(MPEG)之類的運(yùn) 動(dòng)畫面的編碼系統(tǒng))執(zhí)行壓縮處理以產(chǎn)生運(yùn)動(dòng)畫面的經(jīng)編碼的數(shù)據(jù)流。另一
方面，當(dāng)對(duì)通過全像素部分讀處理的圖像信號(hào)執(zhí)行數(shù)據(jù)壓縮時(shí)，圖像壓縮/解 壓縮單元3 1基于不使用任何預(yù)測(cè)編碼的編碼系統(tǒng)(例如諸如聯(lián)合畫面專家組
(JPEG)之類的靜止畫面的編碼系統(tǒng))執(zhí)行壓縮處理以對(duì)于每一幀產(chǎn)生靜止
畫面的經(jīng)編碼的數(shù)據(jù)。
圖像壓縮/解壓縮單元31還在由運(yùn)動(dòng)畫面的解碼系統(tǒng)解碼處理的幀之間 連續(xù)地對(duì)于每一個(gè)宏塊檢測(cè)運(yùn)動(dòng)矢量MV，并將其通知給控制單元61。要注 意，如果使用MPEG執(zhí)行編碼處理，則圖像壓縮/解壓縮單元31通過利用在 該編碼處理的時(shí)候檢測(cè)到的運(yùn)動(dòng)矢量MV僅從內(nèi)編碼的幀中單獨(dú)檢測(cè)運(yùn)動(dòng)矢 量MV。
圖7是示出圖像壓縮/解壓縮單元31的配置的圖。將從照相機(jī)信號(hào)處理 單元12供應(yīng)的圖像信號(hào)DV3供應(yīng)至圖像壓縮/解壓縮單元31中的MV檢測(cè) 器311和預(yù)測(cè)減法器315。 MV檢測(cè)器311在連續(xù)幀之間連續(xù)地;險(xiǎn)測(cè)運(yùn)動(dòng)矢量 MV,其中使用從照相機(jī)信號(hào)處理單元12供應(yīng)的圖像信號(hào)DV3從連續(xù)幀產(chǎn)生 運(yùn)動(dòng)畫面的代碼數(shù)據(jù)。MV檢測(cè)器311將這些所檢測(cè)到的運(yùn)動(dòng)矢量MV通知 給運(yùn)動(dòng)補(bǔ)償器312、 MV編碼器319和控制單元61。
當(dāng)編碼移動(dòng)畫面時(shí)，運(yùn)動(dòng)補(bǔ)償器312使用在MV檢測(cè)器311中檢測(cè)到的 運(yùn)動(dòng)矢量MV對(duì)在圖像存儲(chǔ)器313上存儲(chǔ)的圖像信號(hào)執(zhí)行運(yùn)動(dòng)補(bǔ)償，以產(chǎn)生 用于編碼的預(yù)測(cè)值。當(dāng)解碼移動(dòng)畫面時(shí)，運(yùn)動(dòng)補(bǔ)償器312還使用由MV解碼 器314解碼的運(yùn)動(dòng)矢量MV以類似的方式產(chǎn)生用于解碼的預(yù)測(cè)值。
當(dāng)編碼移動(dòng)畫面時(shí)，預(yù)測(cè)減法器315從自照相機(jī)信號(hào)處理單元12供應(yīng)的 圖像信號(hào)DV3中減去在運(yùn)動(dòng)補(bǔ)償器312中產(chǎn)生的用于編碼的預(yù)測(cè)值，并將預(yù) 測(cè)誤差值(減法結(jié)果)供應(yīng)至DCT316。當(dāng)編碼靜止畫面時(shí)，預(yù)測(cè)減法器315 還將從照相機(jī)信號(hào)處理單元12供應(yīng)的圖像信號(hào)DV3供應(yīng)至DCT316而不進(jìn) 行任何處理。
DCT316對(duì)來自預(yù)測(cè)減法器315的輸出數(shù)據(jù)執(zhí)行二維離散余弦變換，并 將系數(shù)數(shù)據(jù)(該處理結(jié)果)供應(yīng)至量化器317。量化器317對(duì)從DCT316供 應(yīng)的系數(shù)數(shù)據(jù)執(zhí)行量化處理，并且將所獲得的量化數(shù)據(jù)供應(yīng)至可變長度編碼 器318和反向量化器321。
可變長度編碼器318對(duì)從量化器317供應(yīng)的量化數(shù)據(jù)執(zhí)行可變長度編碼 處理。MV編碼器319對(duì)在MV檢測(cè)器311中獲得的運(yùn)動(dòng)矢量MV執(zhí)行編碼 處理。多路復(fù)用器320對(duì)通過在可變長度編碼器318中執(zhí)行可變長度編碼處
理而獲得的數(shù)據(jù)以及通過在MV編碼器319中執(zhí)行編碼處理而獲得的數(shù)據(jù)執(zhí) 行相乘處理，以將其作為經(jīng)編碼的數(shù)據(jù)DW供應(yīng)至記錄/再現(xiàn)處理單元41。
當(dāng)編碼時(shí)，反向量化器321對(duì)從量化器317供應(yīng)的量化數(shù)據(jù)執(zhí)行反向量 化處理，并將所獲得系數(shù)數(shù)據(jù)供應(yīng)至反向DCT323。當(dāng)解碼時(shí)，其對(duì)在可變 長度解碼器322中獲得的數(shù)據(jù)執(zhí)行反向量化處理并將所獲得的系數(shù)數(shù)據(jù)供應(yīng) 至反向DCT323。
與DCT316相反，反向DCT323對(duì)從反向量化器321供應(yīng)的系數(shù)數(shù)據(jù)執(zhí) 行反向二維離散余弦變換，并將所獲得的圖像信號(hào)供應(yīng)至加法器324。
加法器324將從運(yùn)動(dòng)補(bǔ)償器312供應(yīng)的、用于編碼或解碼的預(yù)測(cè)值與從 反向DCT323供應(yīng)的圖像信號(hào)相加，并且將加法結(jié)果作為圖像信號(hào)DV4供應(yīng) 至照相機(jī)信號(hào)處理單元12和圖像存儲(chǔ)器313。
因此，在該圖像壓縮/解壓縮單元31中，從目前為止由反向量化器321、 反向DCT 323、加法器324、圖像存儲(chǔ)器313和運(yùn)動(dòng)補(bǔ)償器312由此編碼處 理的圖像信號(hào)產(chǎn)生預(yù)測(cè)值，并且在DCT316、量化器317和可變長度編碼器 318中連續(xù)地處理來自該預(yù)測(cè)值的預(yù)測(cè)誤差值，以便將通過全像素和全視角 讀取的圖像信號(hào)和通過全視角稀疏讀取的圖像信號(hào)編碼處理為運(yùn)動(dòng)畫面的經(jīng) 編碼的數(shù)據(jù)。可替換地，直接將通過全像素部分讀取的圖像信號(hào)輸入到DCT 316,并且在DCT316、量化器317和可變長度編碼器318中對(duì)其處理，以便 將其編碼處理為靜止畫面的經(jīng)編碼的數(shù)據(jù)。
當(dāng)解碼時(shí)，多路分離器326將從記錄/再現(xiàn)處理單元41供應(yīng)的經(jīng)編碼的 數(shù)據(jù)DR分離為系數(shù)數(shù)據(jù)部分和運(yùn)動(dòng)矢量MV部分，并將系數(shù)數(shù)據(jù)部分供應(yīng) 至可變長度解碼器322，而將運(yùn)動(dòng)矢量MV部分供應(yīng)至MV解碼器314。 MV 解碼器314對(duì)從多路分離器326供應(yīng)的數(shù)據(jù)執(zhí)行解碼處理，并將所獲得的運(yùn) 動(dòng)矢量供應(yīng)至運(yùn)動(dòng)補(bǔ)償器312?？勺冮L度解碼器322對(duì)從多路分離器326供 應(yīng)的數(shù)據(jù)執(zhí)行解碼，并且將所獲得的系數(shù)數(shù)據(jù)供應(yīng)至反向量化器321。
如圖1所示的記錄/再現(xiàn)處理單元41在控制單元61的控制之下切換其操 作，并且執(zhí)行用于將從圖像壓縮/解壓縮單元31供應(yīng)的經(jīng)編碼的數(shù)據(jù)DW記 錄在記錄介質(zhì)42上的處理或者用于將所期望的經(jīng)編碼的數(shù)據(jù)DR從記錄介質(zhì) 42讀出并將其供應(yīng)至圖像壓縮/解壓縮單元31的處理。記錄介質(zhì)42是諸如硬 盤裝置、光盤裝置和存儲(chǔ)卡之類的各種海量記錄介質(zhì)。
當(dāng)在記錄介質(zhì)42上記錄經(jīng)編碼的數(shù)據(jù)DW時(shí)，記錄/再現(xiàn)處理單元41
將其記錄在記錄介質(zhì)42上，以便基于運(yùn)動(dòng)畫面的編碼系統(tǒng)而對(duì)其執(zhí)行了數(shù)據(jù) 壓縮處理的經(jīng)編碼的數(shù)據(jù)可以被單獨(dú)地讀出或者與對(duì)應(yīng)于運(yùn)動(dòng)畫面的靜止畫 面的經(jīng)編碼的數(shù)據(jù)一起沿時(shí)間序列被連續(xù)地讀出。例如，當(dāng)記錄/再現(xiàn)處理單
元41使用MPEG格式作為運(yùn)動(dòng)畫面的編碼系統(tǒng)時(shí)，配置為經(jīng)編碼的數(shù)據(jù)具 有等級(jí)結(jié)構(gòu)。要注意，圖8圖解了運(yùn)動(dòng)畫面的經(jīng)編碼的數(shù)據(jù)，并且示出了等 級(jí)結(jié)構(gòu)的部分。
圖8 (A)所示的序列層(sequence layer)由被添加了序列頭和序列尾的 一個(gè)或多個(gè)GOP組成。圖8 (B)所示的GOP層由被添加了 GOP頭的一個(gè) 或多個(gè)畫面組成。圖8 (C)所示的畫面層由^皮添加了畫面頭的一個(gè)或多個(gè)片 (slice)組成。
畫面層的畫面頭表示畫面層的開始同步編碼、表示畫面的顯示順序的數(shù) 字、表示畫面類型的信息、編碼情況等。此外，如圖8 (D)所示，配置為提 供用戶數(shù)據(jù)區(qū)域，以便可以將用戶數(shù)據(jù)區(qū)域設(shè)置到畫面級(jí)。因此，記錄/再現(xiàn) 處理單元41將處于高速圖像捕捉模式的幀速和表示相應(yīng)的靜止畫面的記錄 位置的指針信息插入到如圖8 (E)所示的用戶數(shù)據(jù)區(qū)域，以將其記錄在記錄 介質(zhì)42上。例如，如果處于高速圖像捕捉模式的幀速是參考幀速的兩倍，則 記錄/再現(xiàn)處理單元41將經(jīng)編碼的數(shù)據(jù)的記錄位置作為指針信息插入到表示 通過全視角稀疏讀處理的圖像信號(hào)的經(jīng)編碼的數(shù)據(jù)的畫面的畫面頭中，其中 在該經(jīng)編碼的數(shù)據(jù)中，在參考幀時(shí)間段內(nèi)除了頂部幀之外的參考幀時(shí)間段期 間產(chǎn)生的通過全像素部分讀處理的圖像信號(hào)被編碼為靜止畫面的圖像信號(hào)。
因此，通過將表示相應(yīng)的靜止畫面的記錄位置的信息插入到運(yùn)動(dòng)畫面的 經(jīng)編碼的數(shù)據(jù)中，記錄/再現(xiàn)處理單元41可以單獨(dú)地讀取運(yùn)動(dòng)畫面的經(jīng)編碼 的數(shù)據(jù)或者與運(yùn)動(dòng)畫面的經(jīng)編碼數(shù)據(jù)一起沿時(shí)間序列連續(xù)地讀取與運(yùn)動(dòng)畫面 對(duì)應(yīng)的靜止畫面的經(jīng)編碼數(shù)據(jù)。
控制單元61控制整體圖像捕捉設(shè)備10的操作，并且控制單元61是由中 央處理單元(CPU)、只讀存儲(chǔ)器(ROM)、隨機(jī)存取存儲(chǔ)器(RAM)等組成 的微控制器?？刂茊卧?1執(zhí)行在存儲(chǔ)器(未示出)上記錄的程序，并控制該 圖像捕捉設(shè)備10中的各部分的操作。將程序預(yù)先安裝在該圖像捕捉設(shè)備10 中，不過也可以將其記錄在諸如光盤、磁盤、存儲(chǔ)卡之類的記錄介質(zhì)上而非 預(yù)先安裝，以便提供或者通過經(jīng)由因特網(wǎng)等的網(wǎng)絡(luò)進(jìn)行下載來提供程序。要 注意，控制單元61可以使用軟件執(zhí)行圖像壓縮/解壓縮單元31中的處理。
控制單元61控制照相機(jī)信號(hào)處理單元12和顯示處理單元21以連續(xù)地對(duì)
在圖像捕捉單元11中產(chǎn)生的圖像信號(hào)執(zhí)行處理，以便在顯示單元22的屏幕
上顯示監(jiān)視器圖像。此外，當(dāng)用戶指示在這種情況下記錄圖像信號(hào)時(shí)，控制
單元61控制照相機(jī)信號(hào)處理單元12以將圖像信號(hào)DV3供應(yīng)至圖像壓縮/解 壓縮單元31在那里執(zhí)行數(shù)據(jù)壓縮，由此將所獲得的經(jīng)編碼的數(shù)據(jù)DW記錄在 記錄介質(zhì)42上。此外，當(dāng)用戶指示記錄介質(zhì)42的再現(xiàn)時(shí)，控制單元61控制 記錄/再現(xiàn)處理單元41以從記錄介質(zhì)42中讀取所期望的經(jīng)編碼的數(shù)據(jù)DR并 將其供應(yīng)至圖像壓縮/解壓縮單元31。控制單元61還控制照相機(jī)信號(hào)處理單 元12和顯示處理單元21以對(duì)通過在圖像壓縮/解壓縮單元31中執(zhí)行數(shù)據(jù)解 壓縮處理而獲得的圖像信號(hào)DV4執(zhí)行處理，并且在顯示單元22的屏幕上顯 示所再現(xiàn)的圖像。
此外，控制單元61在圖像壓縮/解壓縮單元31中對(duì)于每一幀集合 (aggregate)對(duì)于每一個(gè)宏塊檢測(cè)到的運(yùn)動(dòng)矢量MV，并且基于集合的結(jié)果 尋找被確定為表示對(duì)象(subject)的運(yùn)動(dòng)的運(yùn)動(dòng)矢量，由此通過該運(yùn)動(dòng)矢量 改變根據(jù)全像素部分讀取要從圖像傳感器111讀出的矩形區(qū)域的位置。具體 來說，控制單元61改變位置使得矩形區(qū)域可以包含運(yùn)動(dòng)對(duì)象。要注意， 一般 可以將諸如檢測(cè)運(yùn)動(dòng)矢量的頻率分布和檢測(cè)具有最大頻率分布的運(yùn)動(dòng)矢量的 方法以及通過應(yīng)用跟隨對(duì)象的方法來檢測(cè)呈現(xiàn)任何連續(xù)運(yùn)動(dòng)的對(duì)象中的部分 的運(yùn)動(dòng)矢量的方法之類的各種集合方法應(yīng)用于該運(yùn)動(dòng)矢量的集合方法。
順便提及，盡管在上述實(shí)施例中使用圖像捕捉單元11、照相機(jī)信號(hào)處理 單元12、圖像壓縮/解壓縮單元31、記錄/再現(xiàn)處理單元41等來整體地配置圖 像捕捉設(shè)備10，但是可以分離地提供圖像捕捉單元11以及顯示處理單元21 和顯示單元22以組成圖像信號(hào)的記錄設(shè)備及其再現(xiàn)設(shè)備。此外，可以分離地 提供照相機(jī)信號(hào)處理單元12以組成用于記錄圖像信號(hào)的記錄設(shè)備。
圖9是示出記錄設(shè)備70的配置的框圖。要注意，在圖9中，將相同的標(biāo) 號(hào)應(yīng)用于圖l和3中所示的相應(yīng)構(gòu)件。
記錄設(shè)備70具有圖像壓縮/解壓縮單元31,用于對(duì)圖像信號(hào)執(zhí)行壓縮 處理以產(chǎn)生經(jīng)編碼的數(shù)據(jù)；記錄/再現(xiàn)處理單元41,用于在記錄介質(zhì)42上記 錄經(jīng)編碼的數(shù)據(jù)DW;和控制單元61,用于控制各部分的操作。
在該記錄設(shè)備70中，圖像壓縮/解壓縮單元31對(duì)通過允許圖像傳感器111 以設(shè)置時(shí)間段為單位在全視角稀疏讀處理與全像素部分讀處理之間進(jìn)行切換
而產(chǎn)生的經(jīng)圖像捕捉的畫面的圖像信號(hào)執(zhí)行壓縮處理以便產(chǎn)生經(jīng)編碼的數(shù)據(jù) DW,其中在全視角稀疏讀處理中對(duì)有效圖像范圍中的任意像素執(zhí)行稀疏讀取 以產(chǎn)生圖像信號(hào)，在全像素部分讀處理中從部分區(qū)域讀出有效圖像范圍的部 分區(qū)域的全部像素以產(chǎn)生圖像信號(hào)。在這里，圖像壓縮/解壓縮單元31基于 使用預(yù)測(cè)編碼的編碼系統(tǒng)對(duì)通過執(zhí)行全視角稀疏讀處理而獲得的圖像信號(hào)執(zhí) 行壓縮處理，并基于不使用預(yù)測(cè)編碼的編碼系統(tǒng)對(duì)通過執(zhí)行全像素部分讀處 理而獲得的圖像信號(hào)執(zhí)行壓縮處理。
此外，如果基于使用預(yù)測(cè)編碼的編碼系統(tǒng)對(duì)不同稀疏樣式的圖像信號(hào)執(zhí)
行壓縮處理，則圖像壓縮/解壓縮單元31不能有效地執(zhí)行壓縮處理。因此， 如果記錄從圖像捕捉單元11輸出的圖像信號(hào)DV1,則記錄設(shè)備70被提供有 像素內(nèi)插部分124,經(jīng)稀疏的像素通過像素內(nèi)插部分124進(jìn)行內(nèi)插然后被供 應(yīng)至圖像壓縮/解壓縮單元31，由此使壓縮處理能夠有效地執(zhí)行。
記錄/再現(xiàn)處理單元41執(zhí)行將在圖像壓縮/解壓縮單元31中產(chǎn)生的經(jīng)編碼 的數(shù)據(jù)DW寫入到記錄介質(zhì)42中的處理。
要注意，盡管圖9所示的記錄設(shè)備70示出了如圖1所示的在記錄已經(jīng)執(zhí) 行任何顏色補(bǔ)償、輪廓補(bǔ)償、伽瑪/拐點(diǎn)處理等之前的圖像信號(hào)的情況下的配 置，但是也可以配置記錄設(shè)備70以便記錄在執(zhí)行了顏色補(bǔ)償、輪廓補(bǔ)償、伽 瑪/拐點(diǎn)處理等之后的圖像信號(hào)。此外，其可以被提供有傳送單元，將在圖像 壓縮/解壓縮單元31中產(chǎn)生的經(jīng)編碼的數(shù)據(jù)DW作為通信信號(hào)從傳送單元傳 送。
圖10是示出再現(xiàn)設(shè)備80的配置的框圖。要注意，在圖10中，將相同的 標(biāo)號(hào)應(yīng)用于圖l和3所示的相應(yīng)構(gòu)件。
再現(xiàn)設(shè)備80具有記錄/再現(xiàn)處理單元41，用于從記錄介質(zhì)42讀出經(jīng)編 碼的數(shù)據(jù)DR;圖像壓縮/解壓縮單元31,用于對(duì)所讀出的經(jīng)編碼的數(shù)據(jù)執(zhí)行 解壓縮；數(shù)據(jù)處理單元15，用于對(duì)通過在圖像壓縮/解壓縮單元31中執(zhí)行解 壓縮處理而獲得的圖像信號(hào)執(zhí)行處理以產(chǎn)生再現(xiàn)圖像信號(hào)DV5;幀存儲(chǔ)器； 以及控制單元61，用于控制各部分的操作。此外，數(shù)據(jù)處理單元15由顏色 補(bǔ)償部分126、 ^"廓補(bǔ)償部分127、伽瑪/拐點(diǎn)處理部分128、顏色空間轉(zhuǎn)換部 分129和分辨率轉(zhuǎn)換/圖像合成部分130組成。
在該再現(xiàn)設(shè)備80中，記錄/再現(xiàn)處理單元41執(zhí)行經(jīng)編碼的數(shù)據(jù)從記錄介 質(zhì)42的讀取處理，該記錄介質(zhì)42即這樣的記錄介質(zhì)在圖像傳感器111已
經(jīng)以設(shè)置時(shí)間段為單位在全視角稀疏讀處理與全像素部分讀處理之間切換之 后，基于使用預(yù)測(cè)編碼的編碼系統(tǒng)對(duì)通過執(zhí)行全視角稀疏讀處理而獲得的圖 像信號(hào)進(jìn)行壓縮處理并且將其作為經(jīng)編碼的數(shù)據(jù)記錄在該記錄介質(zhì)上，并且 基于不使用預(yù)測(cè)編碼的編碼系統(tǒng)對(duì)通過全像素部分讀處理而獲得的圖像信號(hào) 進(jìn)行壓縮處理并且將其作為經(jīng)編碼的數(shù)據(jù)記錄在該記錄介質(zhì)上，其中在全視 角稀疏讀處理中對(duì)有效圖像范圍中的任意像素執(zhí)行稀疏讀取以產(chǎn)生圖像信 號(hào)，而在全像素部分讀處理中從部分區(qū)域讀出有效圖像范圍的部分區(qū)域的全 部像素以產(chǎn)生圖像信號(hào)。
圖像壓縮/解壓縮單元3l解壓縮由記錄/再現(xiàn)處理單元4l讀:f又的經(jīng)編碼的
數(shù)據(jù)以產(chǎn)生圖像信號(hào)。
數(shù)據(jù)處理單元15中的分辨率轉(zhuǎn)換/圖像合成部分130使用在圖像壓縮/解 壓縮單元31中產(chǎn)生的圖像信號(hào)，將被執(zhí)行了用于全視角稀疏讀處理的像素內(nèi) 插的圖像信號(hào)與通過執(zhí)行全像素部分讀處理而獲得的圖像信號(hào)進(jìn)行組合。此 外，記錄/再現(xiàn)處理單元41從記錄介質(zhì)42中讀出基于使用預(yù)測(cè)編碼的編碼系 統(tǒng)壓縮處理的經(jīng)編碼的數(shù)據(jù)，而不讀出基于不使用預(yù)測(cè)編碼的編碼系統(tǒng)壓縮 處理的經(jīng)編碼的數(shù)據(jù)，并且圖像壓縮/解壓縮單元解壓縮經(jīng)編碼的數(shù)據(jù)，并且 將其作為用于參考時(shí)間段的每一單元的圖像信號(hào)而輸出。
要注意，盡管圖10所示的再現(xiàn)設(shè)備80示出了使用將執(zhí)行任何顏色補(bǔ)償、 輪廓補(bǔ)償、伽瑪/拐點(diǎn)處理等之前的圖像信號(hào)記錄在其上的記錄介質(zhì)的情況下 的配置，但是可以將其配置為使用將執(zhí)行了顏色補(bǔ)償、輪廓補(bǔ)償、伽瑪/拐點(diǎn) 處理等之后的圖像信號(hào)記錄在其上的記錄介質(zhì)。在這種情況下，將通過圖像 壓縮/解壓縮單元31中的解壓縮處理而獲得的圖像信號(hào)供應(yīng)至分辨率轉(zhuǎn)換/圖 像合成部分130。此外，其還可以被提供有接收單元，通過該接收單元接收 經(jīng)編碼的數(shù)據(jù)，并且圖像壓縮/解壓縮單元31可以對(duì)該經(jīng)編碼的數(shù)據(jù)執(zhí)行任 何解壓縮。
下面將描述圖像信號(hào)的產(chǎn)生操作和圖像信號(hào)的記錄/再現(xiàn)操作。如果用戶 將操作模式設(shè)置為標(biāo)準(zhǔn)圖像捕捉模式，則控制單元61控制圖像捕捉單元11 的操作，以便可以從圖像傳感器111的圖像捕捉表面中的有效圖像范圍AR 以例如60 (fj)s)給出所有像素和所有視角的經(jīng)圖像捕捉的畫面?？刂茊卧?61還控制照相機(jī)信號(hào)處理單元12和顯示處理單元21的操作，以便可以以例 如60 (fps)在顯示單元22上顯示經(jīng)圖像捕捉的畫面。此外，如果在記錄介
質(zhì)上記錄通過執(zhí)行標(biāo)準(zhǔn)圖像捕捉模式下的圖像捕捉操作而獲得的圖像信號(hào)，
則控制單元61控制照相機(jī)信號(hào)處理單元12以將圖像信號(hào)DV3從其處供應(yīng)至 圖像壓縮/解壓縮單元31和并供應(yīng)至記錄/再現(xiàn)處理單元41,以將通過執(zhí)行數(shù) 據(jù)壓縮處理而獲得的經(jīng)編碼的數(shù)據(jù)DW記錄在記錄介質(zhì)42上。此外，如果實(shí) 行用于再現(xiàn)所記錄的圖像信號(hào)的用戶操作，則控制單元61控制記錄/再現(xiàn)處 理單元41從記錄介質(zhì)42讀出表示所期望的經(jīng)圖像捕捉的畫面的經(jīng)編碼的數(shù) 據(jù)DR,并將其供應(yīng)至圖像壓縮/解壓縮單元31。控制單元61還控制圖像壓縮 /解壓縮單元31將通過對(duì)經(jīng)編碼的數(shù)據(jù)DR執(zhí)行數(shù)據(jù)解壓縮處理而獲得的圖像 信號(hào)DV4供應(yīng)至照相機(jī)信號(hào)處理單元12，由此在顯示單元22上顯示所再現(xiàn) 的圖像或者將其傳送到任意外部設(shè)備。
下面將描述當(dāng)用戶將操作模式從標(biāo)準(zhǔn)圖像捕捉模式切換到高速圖像捕捉 模式時(shí)的操作。圖11示出當(dāng)高速圖像捕捉模式的幀速是標(biāo)準(zhǔn)圖像捕捉模式的 幀速的兩倍時(shí)的操作。
圖11 (A)示出作為參考幀時(shí)間段內(nèi)的定時(shí)信號(hào)的參考垂直同步信號(hào) VDB。此外，圖11 (B)示出圖像捕捉設(shè)備10的操作模式。當(dāng)用戶將操作模 式從標(biāo)準(zhǔn)圖像捕捉模式切換到高速圖像捕捉模式時(shí)，控制單元61在與參考垂 直同步信號(hào)VDB同步的時(shí)刻處將圖像捕捉單元11、照相機(jī)信號(hào)處理單元12、 圖像壓縮/解壓縮單元31、記錄/再現(xiàn)處理單元41等的操作從其標(biāo)準(zhǔn)圖像捕捉 模式切換到其高速圖像捕捉模式。要注意，圖11 (C)示出在高速圖像捕捉 模式中作為幀時(shí)間段內(nèi)的時(shí)序信號(hào)的垂直同步信號(hào)VD。
當(dāng)設(shè)置高速圖像捕捉模式時(shí)，如上所述，圖像捕捉單元11輸出通過在參 考幀時(shí)間段內(nèi)的頂部幀處執(zhí)行全視角稀疏讀處理而獲得的圖像信號(hào)，并且輸 出通過在不包括頂部幀的幀時(shí)間段處執(zhí)行全像素部分讀處理而獲得的圖像信
因此，從圖像捕捉單元11輸出的圖像信號(hào)DV1由通過在參考幀時(shí)間段 內(nèi)的頂部幀處執(zhí)行全視角稀疏讀處理而獲得的圖像信號(hào)(由斜線表示)以及 通過在幀時(shí)間段(不包括頂部幀的參考幀時(shí)間段)處執(zhí)行全像素部分讀處理 而獲得的圖像信號(hào)(由粗實(shí)線框表示)組成，如圖11 (D)所示。
在這里，當(dāng)執(zhí)行監(jiān)視器顯示時(shí)，如上所述，在參考幀時(shí)間段期間，照相 機(jī)信號(hào)處理單元12的分辨率轉(zhuǎn)換/圖像合成部分130將通過全視角稀疏讀處 理的圖像信號(hào)寫入幀存儲(chǔ)器51中，并且讀取被寫入幀存儲(chǔ)器51中的圖像信
號(hào)。圖11 (E)示出了被寫入幀存儲(chǔ)器51中的圖像信號(hào)DVfW,圖11 (F) 示出了從幀存儲(chǔ)器51讀出的圖像信號(hào)DVfr。因此，分辨率轉(zhuǎn)換/圖像合成部 分130將在參考幀時(shí)間段期間已經(jīng)從幀存儲(chǔ)器51讀出的、通過全視角稀疏讀 處理的圖像信號(hào)輸出到顯示處理單元21等作為圖11 (G)所示的監(jiān)視器圖像 信號(hào)DV2，由此使能夠以與標(biāo)準(zhǔn)圖像捕捉模式的幀速一致的幀速顯示經(jīng)圖像 捕對(duì)足的畫面。
此外，當(dāng)用戶執(zhí)行記錄的指令時(shí)，控制單元61控制圖11 (D)所示的圖 像信號(hào)DV1的像素內(nèi)插、編碼處理等，以將經(jīng)編碼的數(shù)據(jù)記錄在記錄介質(zhì)42 上。
下面將參照?qǐng)D12描述在記錄介質(zhì)42上記錄的經(jīng)圖像捕捉的畫面的再現(xiàn) 操作。圖12 (A)示出被編碼并被記錄在記錄介質(zhì)42上的經(jīng)圖像捕捉的畫面 的幀PW。當(dāng)以參考幀速再現(xiàn)所記錄的經(jīng)圖像捕捉的畫面并且高速圖像捕捉 模式的幀速是參考幀速的兩倍時(shí)，輸出圖像信號(hào)DV5變?yōu)殛P(guān)于慢再現(xiàn)圖像的 圖像信號(hào)，其中在該慢再現(xiàn)圖像中，對(duì)象的運(yùn)動(dòng)是一半速度。因此，控制單 元61通過間歇使用記錄的畫面來控制再現(xiàn)圖像信號(hào)DV5的產(chǎn)生，其中在該 再現(xiàn)圖像信號(hào)DV5中，對(duì)象的運(yùn)動(dòng)是相同的速度。
要注意，圖12 (B)示出作為參考幀時(shí)間段內(nèi)的定時(shí)信號(hào)的參考垂直同 步信號(hào)VDB，圖12 (C)示出當(dāng)記錄經(jīng)圖像捕捉的畫面時(shí)圖像捕捉設(shè)備10 的操作模式，并且圖12 (D)示出垂直同步信號(hào)VD。
當(dāng)以高速圖像捕捉模式執(zhí)行圖像捕捉操作時(shí)，參考幀時(shí)間段內(nèi)的頂部幀 包含通過全視角稀疏讀處理的圖像信號(hào)。因此，控制單元61控制從記錄介質(zhì) 42讀出經(jīng)編碼的lt據(jù)，即運(yùn)動(dòng)畫面的經(jīng)編碼的lt據(jù)，并對(duì)其執(zhí)行解碼處理以 產(chǎn)生與垂直同步信號(hào)VD同步的圖^象信號(hào)DV4，其中在該編碼的數(shù)據(jù)中，對(duì) 通過全視角稀疏讀處理的圖像信號(hào)進(jìn)行編碼。此時(shí)，從照相機(jī)信號(hào)處理單元 12輸出的再現(xiàn)圖像信號(hào)DV5變?yōu)槠渲袑?duì)象的運(yùn)動(dòng)是相同速度的圖像信號(hào)，如 圖12 (E)所示。
此外，當(dāng)圖像壓縮/解壓縮單元31可以以與編碼處理的速度類似的速度 對(duì)經(jīng)編碼的數(shù)據(jù)執(zhí)行解碼數(shù)據(jù)，并且?guī)鎯?chǔ)器51可以存儲(chǔ)多個(gè)幀的圖像信號(hào) 時(shí)，控制單元61可以控制組合通過全視角稀疏讀處理的圖像信號(hào)與通過全像 素部分讀處理的圖像信號(hào)，以產(chǎn)生其中對(duì)象的運(yùn)動(dòng)是相同速度的再現(xiàn)圖像信 號(hào)DV5。
在這種情況下，控制單元61控制控制從記錄介質(zhì)42讀出經(jīng)編碼的數(shù)據(jù)， 并對(duì)其執(zhí)行解碼處理以產(chǎn)生如圖12 (F)所示的以在圖像捕捉時(shí)間的幀順序 圖像信號(hào)DV4。
在這里，在照相機(jī)信號(hào)處理單元12中的分辨率轉(zhuǎn)換/圖像合成部分130 中，將通過全視角稀疏讀處理的圖像信號(hào)和通過像素部分讀處理的圖像信號(hào) 寫入幀存儲(chǔ)器51，并且在參考幀時(shí)間段內(nèi)讀取被寫入到幀存儲(chǔ)器51的圖像 信號(hào)以將其進(jìn)行組合。此外，將其配置為將通過全視角稀疏讀處理的圖像信
號(hào)和通過像素部分讀處理的圖像信號(hào)寫入到幀存儲(chǔ)器51,其中這些圖像信號(hào) 在參考時(shí)間段期間讀取所寫入的圖像信號(hào)時(shí)被讀取并被組合。圖12(G)示 出被寫入幀存儲(chǔ)器51中的圖像信號(hào)DVfW,而圖12 (H)示出從幀存儲(chǔ)器51 讀出的圖像信號(hào)DVfr。此外，圖12(1)示出從分辨率轉(zhuǎn)換/圖像合成部分130 輸出的圖像信號(hào)DV5。當(dāng)?shù)竭_(dá)在高速圖像捕捉模式下記錄的經(jīng)圖像捕捉的畫 面的再現(xiàn)時(shí)間段時(shí)，分辨率轉(zhuǎn)換/圖像合成部分130輸出幀2+3的圖像信號(hào)， 其中在幀2+3的圖像信號(hào)中，組合了作為通過全視角稀疏讀處理的圖像信號(hào) 的幀2的圖像信號(hào)和作為通過全像素部分讀處理的圖像信號(hào)的幀3的圖像信 號(hào)。分辨率轉(zhuǎn)換/圖像合成部分130接著輸出幀4+5的圖像信號(hào)，其中在幀4+5 的圖像信號(hào)中，組合了作為通過全視角稀疏讀處理的圖像信號(hào)的幀4的圖像 信號(hào)和作為通過全像素部分讀處理的圖像信號(hào)的幀5的圖像信號(hào)，并且其連 續(xù)地輸出幀…+…的圖像信號(hào)。即，分辨率轉(zhuǎn)換/圖像合成部分130可以輸出 這樣的經(jīng)圖像捕捉的畫面的圖像信號(hào)其中對(duì)象的運(yùn)動(dòng)是相同速度，并且由 通過全像素部分讀處理的圖像信號(hào)改進(jìn)畫質(zhì)中的劣化。
圖13示出以圖像捕捉時(shí)的幀順序、通過使用所記錄的經(jīng)圖像捕捉的畫面 產(chǎn)生再現(xiàn)圖像信號(hào)DV5的情況，其中在該再現(xiàn)圖像信號(hào)DV5中，對(duì)象的運(yùn) 動(dòng)是一半速度。要注意，圖13 (A)到(D)對(duì)應(yīng)于圖12 (A)到(D)。
在這種情況下，控制單元61控制從記錄介質(zhì)42連續(xù)地讀取經(jīng)編碼的數(shù) 據(jù)的項(xiàng)目，并對(duì)其執(zhí)行解碼處理以產(chǎn)生參考幀速的圖像信號(hào)DV4。要注意， 圖13 (E)示出圖像信號(hào)DV4。
在照相機(jī)信號(hào)處理單元12的分辨率轉(zhuǎn)換/圖像合成部分130中，將通過 全視角稀疏讀處理的圖像信號(hào)或者通過全像素部分讀處理的圖像信號(hào)寫入幀 存儲(chǔ)器51中，并且在參考幀時(shí)間段期間讀取被寫入幀存儲(chǔ)器51中的圖像信 號(hào)。圖13 (F)示出被寫入幀存儲(chǔ)器51中的圖像信號(hào)DVfW,而圖13 (G)示出從幀存儲(chǔ)器51讀出的圖像信號(hào)DVfr。
此外，分辨率轉(zhuǎn)換/圖像合成部分130將通過全視角稀疏讀處理的、從幀 存儲(chǔ)器51讀出的圖像信號(hào)與通過全像素部分讀處理的、被寫入幀存儲(chǔ)器51 的圖像信號(hào)進(jìn)行組合，或者將通過全像素部分讀處理的、從幀存儲(chǔ)器51讀出 的圖像信號(hào)與通過全視角稀疏讀處理的、被寫入幀存儲(chǔ)器51的圖像信號(hào)進(jìn)行 組合。圖13(H)示出從分辨率轉(zhuǎn)換/圖像合成部分130輸出的圖像信號(hào)DV5。 當(dāng)?shù)竭_(dá)在高速圖像捕捉模式下記錄的經(jīng)圖像捕捉的畫面的再現(xiàn)時(shí)間段時(shí)，分 辨率轉(zhuǎn)換/圖像合成部分130輸出幀2+3的圖像信號(hào)，其中在該幀2+3的圖像 信號(hào)中，組合了作為通過全視角稀疏讀處理的圖像信號(hào)的幀2的圖像信號(hào)與 作為通過全像素部分讀處理的圖像信號(hào)的幀3的圖像信號(hào)。分辨率轉(zhuǎn)換/圖像 合成部分130接著輸出幀3+4的圖像信號(hào)，其中在該幀3+4的圖像信號(hào)中， 組合了作為通過全像素部分讀處理的圖像信號(hào)的幀3的圖像信號(hào)與作為通過 全視角稀疏讀處理的圖像信號(hào)的幀4的圖像信號(hào)，并且連續(xù)地輸出幀…+…的 圖像信號(hào)。即，分辨率轉(zhuǎn)換/圖像合成部分130可以輸出這樣的再現(xiàn)的畫面的 圖像信號(hào)其中對(duì)象的運(yùn)動(dòng)是一半速度，并且由通過全像素部分讀處理的圖 像信號(hào)防止畫質(zhì)的劣化。此外，其還適于在幀存儲(chǔ)器51上僅存儲(chǔ)一幀的圖像 信號(hào)。
下面將描述當(dāng)高速圖像捕捉模式的幀速是標(biāo)準(zhǔn)圖像捕捉模式的幀速的三 倍時(shí)的4喿作。
圖14 (A)示出參考垂直同步信號(hào)VDB，圖14 (B)示出圖像捕捉設(shè)備 IO的操作模式，而圖14 (C)示出作為高速圖像捕捉模式中幀時(shí)間段內(nèi)的定 時(shí)信號(hào)的垂直同步信號(hào)VD。
當(dāng)設(shè)置了高速圖像捕捉模式時(shí)，如上所述，圖像捕捉單元ll輸出通過在 參考幀時(shí)間段內(nèi)的頂部幀處執(zhí)行全視角稀疏讀處理而獲得的圖像信號(hào)，并輸 出通過在不包括頂部幀的 一個(gè)兩幀時(shí)間段處執(zhí)行全像素部分讀處理而獲得的 圖像信號(hào)。
因此，如圖14 (D)所示，從圖像捕捉單元11輸出的圖像信號(hào)DV1由 通過在參考幀時(shí)間段內(nèi)的頂部幀處執(zhí)行全視角稀疏讀處理而獲得的圖像信號(hào)
行全像素部分讀處理而獲得的圖像信號(hào)(由粗實(shí)線框表示)組成。
在這里，當(dāng)執(zhí)行監(jiān)視器顯示時(shí)，在照相機(jī)信號(hào)處理單元12的分辨率轉(zhuǎn)換/圖像合成部分130中，將通過全視角稀疏讀處理的圖像信號(hào)寫入幀存儲(chǔ)器51 中，并且在參考幀時(shí)間段其間讀取被寫入幀存儲(chǔ)器51中的圖像信號(hào)，如上所 述。圖14 (E)示出被寫入幀存儲(chǔ)器51中的圖像信號(hào)DVfHv,而圖14 (F) 示出從幀存儲(chǔ)器51讀出的圖像信號(hào)DVfr。因此，分辨率轉(zhuǎn)換/圖像合成部分 130將在參考幀時(shí)間段期間已經(jīng)從幀存儲(chǔ)器51讀出的、通過全視角稀疏讀處 理的圖像信號(hào)輸出到顯示處理單元21等，作為如圖14(G)所示的監(jiān)視器圖 像信號(hào)DV2,由此使能夠以與標(biāo)準(zhǔn)圖像捕捉模式的幀速一致的幀速顯示經(jīng)圖 像捕捉的畫面。
此外，當(dāng)用戶執(zhí)行記錄的指令時(shí)，控制單元61控制如圖14(D)所示的 圖像信號(hào)DV1的像素內(nèi)插、編碼處理等，以將經(jīng)編碼的數(shù)據(jù)記錄在記錄介質(zhì) 42上。
下面將參照?qǐng)D15描述被記錄在記錄介質(zhì)42上的經(jīng)圖像捕捉的畫面的再 現(xiàn)操作。圖15 (A)示出被編碼并被記錄在記錄介質(zhì)42上的經(jīng)圖像捕捉的畫 面的幀PW。當(dāng)以參考幀速再現(xiàn)所記錄的經(jīng)圖像捕捉的畫面并且高速圖像捕 捉模式的幀速是參考幀速的三倍時(shí)，輸出圖像信號(hào)DV5變?yōu)殛P(guān)于慢再現(xiàn)圖像 的圖像信號(hào)，其中在該慢再現(xiàn)圖像的圖像信號(hào)中，對(duì)象的運(yùn)動(dòng)是三分之一速 度。因此，控制單元61通過間歇地使用所記錄的畫面，控制再現(xiàn)圖像信號(hào) DV5的產(chǎn)生，其中在該再現(xiàn)圖像信號(hào)DV5中，對(duì)象的運(yùn)動(dòng)是相同的速度。
要注意，圖15 (B)示出作為參考幀時(shí)間段內(nèi)的定時(shí)信號(hào)的參考垂直同 步信號(hào)VDB，圖15 (C)示出當(dāng)記錄經(jīng)圖像捕捉的畫面時(shí)圖像捕捉設(shè)備10 的操作模式，而圖15 (D)示出垂直同步信號(hào)VD。
當(dāng)在高速圖像捕捉模式下執(zhí)行圖像捕捉操作時(shí)，參考幀時(shí)間段內(nèi)的頂部 幀變?yōu)楸硎就ㄟ^全視角稀疏讀處理的圖像信號(hào)的幀。因此，控制單元61控制 從記錄介質(zhì)42讀出經(jīng)編碼的數(shù)據(jù)(其中對(duì)通過全一見角稀疏讀處理的圖像信號(hào) 進(jìn)行了編碼)，即運(yùn)動(dòng)畫面的經(jīng)編碼的數(shù)據(jù)，并對(duì)其執(zhí)行解碼處理以產(chǎn)生與垂 直同步信號(hào)VD同步的圖像信號(hào)DV4。此時(shí)，從照相機(jī)信號(hào)處理單元12輸出 的再現(xiàn)圖像信號(hào)DV5變?yōu)槠渲袑?duì)象的運(yùn)動(dòng)是相同的速度的圖像信號(hào)，如圖15 (E)所示。
此外，當(dāng)圖像壓縮/解壓縮單元31可以以與編碼處理的速度類似的速度 對(duì)經(jīng)編碼的數(shù)據(jù)執(zhí)行解碼處理，并且?guī)鎯?chǔ)器51可以存儲(chǔ)多個(gè)幀的圖像信號(hào) 時(shí)，控制單元61可以控制組合通過全視角稀疏讀處理而獲得的圖像信號(hào)與通
過全像素部分讀處理的圖像信號(hào)，以產(chǎn)生其中對(duì)象的運(yùn)動(dòng)是相同速度的再現(xiàn) 圖像信號(hào)DV5。
在這種情況下，控制單元61控制從記錄介質(zhì)42讀出經(jīng)編碼的數(shù)據(jù)，并 對(duì)其執(zhí)行解碼處理以產(chǎn)生如圖15 (F)所示的圖像信號(hào)DV4。
在這里，在照相機(jī)信號(hào)處理單元12的分辨率轉(zhuǎn)換/圖像合成部分130中， 將通過全視角稀疏讀處理的圖像信號(hào)與通過像素部分讀處理的像素寫入幀存 儲(chǔ)器51中，并且在參考幀時(shí)間段期間讀取被寫入幀存儲(chǔ)器51中的圖像信號(hào) 以將其組合。此外，可以將其配置為，將通過全視角稀疏讀處理的圖像信號(hào) 與通過像素部分讀處理的圖像信號(hào)(其在參考時(shí)間段期間讀取所寫入的圖像 信號(hào)時(shí)被讀取并被組合)寫入幀存儲(chǔ)器51中。圖15 (G)示出被寫入幀存儲(chǔ) 器51中的圖像信號(hào)DVfW,而圖15 (H)示出從幀存儲(chǔ)器51讀出的圖像信 號(hào)DVfr。此外，圖15 (I)示出從分辨率轉(zhuǎn)換/圖像合成部分130輸出的圖像 信號(hào)DV5。當(dāng)?shù)竭_(dá)高速圖像捕捉模式下記錄的經(jīng)圖像捕捉的畫面的再現(xiàn)時(shí)間 段時(shí)，分辨率轉(zhuǎn)換/圖像合成部分130輸出幀2+3的圖像信號(hào)，其中在該幀2+3 的圖像信號(hào)中，組合了作為通過全視角稀疏讀處理的圖像信號(hào)的幀2的圖像 信號(hào)與作為通過全像素部分讀處理的圖像信號(hào)的幀3的圖像信號(hào)。分辨率轉(zhuǎn) 換/圖像合成部分130接著輸出幀5+6的圖像信號(hào)，其中在該幀5+6的圖像信 號(hào)中，組合了作為通過全視角稀疏讀處理的圖像信號(hào)的幀5的圖像信號(hào)與作 為通過全像素部分讀處理的圖像信號(hào)的幀6的圖像信號(hào)，并且其連續(xù)地輸出 幀…+ .,.的圖像信號(hào)。即，分辨率轉(zhuǎn)換/圖像合成部分130可以輸出這樣的經(jīng) 圖像捕捉的畫面其中對(duì)象的運(yùn)動(dòng)是相同速度并且由通過全像素部分讀處理 的圖像信號(hào)改善畫質(zhì)的劣化。
此外，如果讀取以三倍于標(biāo)準(zhǔn)圖像捕捉模式的幀速的高速圖像捕捉模式 下的幀速記錄的經(jīng)圖像捕捉的畫面，以便以圖像捕捉時(shí)的幀順序產(chǎn)生圖像信 號(hào)DV4,并且組合并輸出通過全視角稀疏讀處理的圖像信號(hào)與通過全像素部 分讀處理的圖像信號(hào)，則控制單元61允許顯示這樣的再現(xiàn)的圖像其中對(duì)象 的運(yùn)動(dòng)是三分之一速度并且由通過全像素部分讀處理的圖像信號(hào)防止畫質(zhì)中 的劣化。此外，如果以一半再現(xiàn)速度執(zhí)行慢動(dòng)作再現(xiàn)，則能夠通過選擇地切 換三分之一慢動(dòng)作再現(xiàn)和相同速度再現(xiàn)等來處理這種情況。
下面將描述當(dāng)高速圖像捕捉模式的幀速是標(biāo)準(zhǔn)圖像捕捉模式的幀速的四 倍時(shí)的操作。
圖16 (A)示出參考垂直同步信號(hào)VDB，圖16 (B)示出圖像捕捉設(shè)備 的操作模式，而圖16 (C)示出作為高速圖像捕捉模式中幀時(shí)間段內(nèi)的定時(shí) 信號(hào)的垂直同步信號(hào)VD。
當(dāng)設(shè)置了高速圖像捕捉模式時(shí)，如上所述，圖像捕捉單元11輸出通過在 參考幀時(shí)間段內(nèi)的頂部幀執(zhí)行全視角稀疏讀處理而獲得圖像信號(hào)，并輸出通 過在不包括頂部幀的一個(gè)兩巾貞時(shí)間段處執(zhí)行全像素部分讀處理而獲得的圖像 信號(hào)。
因此，從圖像捕捉單元11輸出的圖像信號(hào)DV1由通過在參考幀時(shí)間段 內(nèi)的頂部幀處執(zhí)行全視角稀疏讀處理而獲得的圖像信號(hào)(由斜線表示)和通 過在除參考幀時(shí)間段中的頂部幀之外的三幀時(shí)間段處執(zhí)行全像素部分讀處理 而獲得的圖像信號(hào)(由粗實(shí)框表示)，如圖16 (D)所示。
在這里，當(dāng)執(zhí)行監(jiān)視器顯示時(shí)，在照相機(jī)信號(hào)處理單元12的分辨率轉(zhuǎn)換 /圖像合成部分130中，將通過全視角稀疏讀處理的圖像信號(hào)寫入幀存儲(chǔ)器51 中，并且在參考幀時(shí)間段期間讀取被寫入幀存儲(chǔ)器51中的圖像信號(hào)，如上所 述。圖16 (E)示出被寫入幀存儲(chǔ)器51中的圖像信號(hào)DVfW,并且圖16(F) 示出從幀存儲(chǔ)器51讀出的圖像信號(hào)DVfr。因此，分辨率轉(zhuǎn)換/圖像合成部分 130將在參考幀時(shí)間段其間已經(jīng)從幀存儲(chǔ)器51讀出的、通過全視角稀疏讀處 理的圖像信號(hào)輸出到顯示處理單元21等，作為如圖16(G)所示的監(jiān)視器圖 像信號(hào)DV2，由此使能夠以與標(biāo)準(zhǔn)圖像捕捉模式的幀速一致的幀速顯示經(jīng)圖 像捕捉的畫面。
此外，當(dāng)用戶執(zhí)行記錄的指令時(shí)，控制單元61控制如圖16 (D)所示的 圖像信號(hào)DV1的像素內(nèi)插、編碼處理等，以將經(jīng)編碼的數(shù)據(jù)記錄在記錄介質(zhì) 42上。
下面將參照?qǐng)D17描述在記錄介質(zhì)42上記錄的經(jīng)圖像捕捉的畫面的再現(xiàn) 操作。圖17(A)示出被編碼并被記錄在記錄介質(zhì)42上的經(jīng)圖像捕捉的畫面 的幀PW。當(dāng)以參考幀速再現(xiàn)所記錄的經(jīng)圖像捕捉的畫面，并且高速圖像捕 捉模式的幀速是參考幀速的四倍時(shí)，輸出圖像信號(hào)DV5變?yōu)槠渲袑?duì)象的運(yùn)動(dòng) 是四分之一速度的慢再現(xiàn)畫面。因此，控制單元61通過間歇地使用所記錄的 畫面來控制其中對(duì)象的對(duì)象是相同速度的再現(xiàn)圖像信號(hào)DV5的產(chǎn)生。
要注意，圖17 (B)示出作為參考幀時(shí)間段內(nèi)的定時(shí)信號(hào)的參考垂直同 步信號(hào)VDB,圖17 (C)示出當(dāng)記錄經(jīng)圖像捕捉的畫面時(shí)圖像捕捉設(shè)備10
的操作模式，而圖17 (D)示出垂直同步信號(hào)VD。
當(dāng)以高速圖像捕捉模式執(zhí)行圖像捕捉操作時(shí)，參考幀時(shí)間段內(nèi)的頂部幀
變?yōu)楸硎就ㄟ^全視角稀疏讀處理的圖像信號(hào)的幀。因此，控制單元61控制從 記錄介質(zhì)42中讀出經(jīng)編碼的數(shù)據(jù)(其中對(duì)通過全視角稀疏讀處理的圖像信號(hào) 進(jìn)行了編碼)，即運(yùn)動(dòng)畫面的經(jīng)編碼的數(shù)據(jù)，并對(duì)其執(zhí)行解碼處理以產(chǎn)生與垂 直同步信號(hào)VD同步的圖像信號(hào)DV4。此時(shí)，從照相機(jī)信號(hào)處理單元12輸出 的再現(xiàn)圖形信號(hào)DV5變?yōu)槠渲袑?duì)象的運(yùn)動(dòng)是相同速度的再現(xiàn)的畫面的圖像信 號(hào)，如圖17 (E)所示。
控制單元61還可以組合通過全視角稀疏讀處理的圖像信號(hào)與通過全像 素部分讀處理的圖像信號(hào)，以產(chǎn)生其中對(duì)象的運(yùn)動(dòng)是相同速度的再現(xiàn)圖像信 號(hào)DV5，如幀速是參考幀速的兩倍或三倍的情況那樣。圖17 (F)示出通過 從記錄介質(zhì)42讀出經(jīng)編碼的數(shù)據(jù)并對(duì)其執(zhí)行解碼處理而產(chǎn)生的圖像信號(hào) DV4。圖17( G )還示出從分辨率轉(zhuǎn)換/圖像合成部分130輸出的圖像信號(hào)DV5。
在這里，當(dāng)?shù)竭_(dá)高速圖像捕捉模式下記錄的經(jīng)圖像捕捉的畫面的再現(xiàn)時(shí) 間段時(shí)，分辨率轉(zhuǎn)換/圖像合成部分130輸出幀2+3的圖像信號(hào)，其中在該幀 2+3的圖像信號(hào)中，組合了作為通過全視角稀疏讀處理的圖像信號(hào)的幀2的 圖像信號(hào)與作為通過全像素部分讀處理的圖像信號(hào)的幀3的圖像信號(hào)。分辨 率轉(zhuǎn)換/圖像合成部分130接著輸出幀6+7的圖像信號(hào)，其中在該幀6+7的圖 像信號(hào)中，組合了作為通過全視角稀疏讀處理的圖像信號(hào)的幀6的圖像信號(hào)
與作為全像素部分讀處理的圖像信號(hào)的幀7的圖像信號(hào)，并且其連續(xù)地輸出 幀…+…的圖像信號(hào)。即，分辨率轉(zhuǎn)換/圖像合成部分130可以輸出這樣的再 現(xiàn)的畫面其中對(duì)象的運(yùn)動(dòng)是相同速度并且由通過全像素部分讀處理的圖像 信號(hào)防止畫質(zhì)的劣化。
圖18示出產(chǎn)生其中對(duì)象的運(yùn)動(dòng)是一半速度的再現(xiàn)圖像信號(hào)DV5的情況。 要注意，圖18 (A)到(D)對(duì)應(yīng)于圖17 (A)到(D)。
在這種情況下，在高速圖像捕捉模式下記錄的經(jīng)圖像捕捉的畫面的再現(xiàn) 時(shí)間段期間，控制單元61控制從記錄介質(zhì)42讀取經(jīng)編碼的數(shù)據(jù)，并對(duì)其執(zhí) 行解碼處理以關(guān)于每隔一幀產(chǎn)生圖像信號(hào)DV4。要注意，圖18 (E)示出通 過解碼處理而獲得的圖像信號(hào)DV4。
在照相機(jī)信號(hào)處理單元12的分辨率轉(zhuǎn)換/圖像合成部分130中，將通過 執(zhí)行全視角稀疏讀處理而獲得的圖像信號(hào)或者通過執(zhí)行全像素部分讀處理而
獲得的圖像信號(hào)寫入幀存儲(chǔ)器51中，并且在參考幀時(shí)間段期間讀取被寫入幀
存儲(chǔ)器51中的圖像信號(hào)。圖18 (F)示出被寫入幀存儲(chǔ)器51中的圖像信號(hào) DVfW，而圖18 (G)示出從幀存儲(chǔ)器51讀出的圖像信號(hào)DVfr。
此外，分辨率轉(zhuǎn)換/圖像合成部分130組合從幀存儲(chǔ)器51讀出的、通過 全視角稀疏讀處理而獲得的圖像信號(hào)與被寫入幀存儲(chǔ)器51中的、通過全像素 部分讀處理而獲得的圖像信號(hào)。此外，其組合從幀存儲(chǔ)器51讀出的、通過全 像素部分讀處理的圖像信號(hào)與被寫入幀存儲(chǔ)器51中的、通過全視角稀疏讀處 理的圖像信號(hào)。圖18 (H)示出從分辨率轉(zhuǎn)換/圖像合成部分130輸出的圖像 信號(hào)DV5。當(dāng)?shù)竭_(dá)高速圖像捕捉模式下記錄的經(jīng)圖像捕捉的畫面的再現(xiàn)時(shí)間 段時(shí)，分辨率轉(zhuǎn)換/圖像合成部分130輸出幀2+3的圖像信號(hào)，其中在該幀2+4 的圖像信號(hào)中，組合了作為通過全視角稀疏讀處理的圖像信號(hào)的幀2的圖像 信號(hào)與作為通過像素部分讀處理的圖像信號(hào)的幀4的圖像信號(hào)。分辨率轉(zhuǎn)換/ 圖像合成部分130接著輸出幀4+6的圖像信號(hào)，其中在該幀4+6的圖像信號(hào) 中，組合了作為通過全像素部分讀處理的圖像信號(hào)的幀4的圖像信號(hào)與作為 通過全視角稀疏讀處理的圖像信號(hào)的幀6的圖像信號(hào)，并且其連續(xù)地輸出 幀…+…的圖像信號(hào)。即，分辨率轉(zhuǎn)換/圖像合成部分130可以輸出這樣的再 現(xiàn)的畫面的圖像信號(hào)其中對(duì)象的運(yùn)動(dòng)是一半速度并且由通過全像素部分讀 處理的圖像信號(hào)防止畫質(zhì)的劣化。
圖19示出以圖像捕捉時(shí)的幀順序，通過使用記錄的經(jīng)圖像捕捉的畫面， 產(chǎn)生其中對(duì)象的運(yùn)動(dòng)是四分之一速度的再現(xiàn)圖像信號(hào)DV5的情況。要注意， 圖19 (A)到(D)對(duì)應(yīng)于圖17 (A)到(D)。
在這種情況下，在以高速圖像捕捉模式記錄的經(jīng)圖像捕捉的畫面的再現(xiàn) 時(shí)間段期間，控制單元61控制從記錄介質(zhì)42讀出經(jīng)編碼的數(shù)據(jù)，并對(duì)其執(zhí) 行解碼處理以產(chǎn)生表示幀順序的經(jīng)圖像捕捉的畫面的圖像信號(hào)DV4。要注意， 圖19 (E)示出通過執(zhí)行解碼處理而獲得的圖像信號(hào)DV4。
在照相機(jī)信號(hào)處理單元12的分辨率轉(zhuǎn)換/圖像合成部分130中，將通過 執(zhí)行全視角稀疏讀處理而獲得的圖像信號(hào)或者通過執(zhí)行全像素部分讀處理而 獲得的圖像信號(hào)寫入幀存儲(chǔ)器51中，并且在參考幀時(shí)間段期間讀取被寫入幀 存儲(chǔ)器51中的圖像信號(hào)。圖19(F)示出被寫入幀存儲(chǔ)器51的圖像信號(hào)DVfW, 而圖19 (G)示出從幀存儲(chǔ)器51讀出的圖像信號(hào)DVfr。
此外，分辨率轉(zhuǎn)換/圖像合成部分130組合從幀存儲(chǔ)器51讀出的圖像信
號(hào)與被寫入幀存儲(chǔ)器51的圖像信號(hào)，或者組合從幀存儲(chǔ)器51讀出的、通過 全視角稀疏讀處理的圖像信號(hào)與通過執(zhí)行解碼處理而獲得的、通過全像素部
分讀處理的圖像信號(hào)。圖19 (H)示出從分辨率轉(zhuǎn)換/圖像合成部分130輸出 的圖像信號(hào)DV5。當(dāng)?shù)竭_(dá)以高速圖像捕捉模式記錄的經(jīng)圖像捕捉的畫面的再 現(xiàn)時(shí)間段時(shí)，分辨率轉(zhuǎn)換/圖像合成部分130輸出幀2+3的圖像信號(hào)，其中在 該幀2+3的圖像信號(hào)中，組合了作為通過全視角稀疏讀處理的圖像信號(hào)的幀 2的圖像信號(hào)與作為通過全像素部分讀處理的圖像信號(hào)的幀3的圖像信號(hào)進(jìn) 行組合。分辨率轉(zhuǎn)換/圖像合成部分130接著輸出幀2+4的圖像信號(hào)，其中在 該幀2+4的圖像信號(hào)中，組合了作為通過全視角稀疏讀處理的圖像信號(hào)的幀 2的圖像信號(hào)與作為通過全像素部分讀處理的圖像信號(hào)的幀4的圖像信號(hào)， 輸出幀2+5的圖像信號(hào)，其中在該幀2+5的圖像信號(hào)中，組合了作為通過全 視角稀疏讀處理的圖像信號(hào)的幀2的圖像信號(hào)與作為通過全像素部分讀處理 的圖像信號(hào)的幀5的圖像信號(hào)，并輸出幀5+6的圖像信號(hào)，其中在該幀5+6 的圖像信號(hào)中，組合了作為通過全像素部分讀處理的圖像信號(hào)的幀5的圖像 信號(hào)與作為通過全視角稀疏讀處理的圖像信號(hào)的幀6的圖像信號(hào)，并且其連
續(xù)地輸出幀…+…的圖像信號(hào)。即，分辨率轉(zhuǎn)換/圖像合成部分130可以輸出 這樣的再現(xiàn)的畫面其中對(duì)象的運(yùn)動(dòng)是四分之一速度并且由通過全像素部分 讀處理的圖像信號(hào)防止畫質(zhì)的劣化。
此外，如果減速再現(xiàn)速度以執(zhí)行慢動(dòng)作再現(xiàn)，則能夠通過執(zhí)行合成圖像 的重復(fù)處理來以慢動(dòng)作顯示再現(xiàn)的圖像。此外，如果以三分之一再現(xiàn)速度執(zhí) 行慢動(dòng)作再現(xiàn)，則能夠通過選擇性地切換以一半再現(xiàn)速度的慢動(dòng)作處理和以 四分之一再現(xiàn)速度的慢動(dòng)作處理等來處理這種情況。
因此，當(dāng)選擇了標(biāo)準(zhǔn)圖像捕捉模式時(shí)，圖像捕捉設(shè)備10的圖像捕捉單元 11產(chǎn)生具有參考幀速的圖像信號(hào)。圖像捕捉設(shè)備10還執(zhí)行用于在記錄介質(zhì) 42上連續(xù)地記錄具有該幀速的圖像信號(hào)的處理以及用于以參考幀速在顯示單 元22上顯示經(jīng)圖像捕捉的畫面的處理。
此外，當(dāng)選擇了高速圖像捕捉模式時(shí)，圖像捕捉設(shè)備10的圖像捕捉單元 11產(chǎn)生通過在參考幀時(shí)間段內(nèi)的頂部幀處的全視角稀疏讀處理的圖像信號(hào)以 及通過在除了頂部幀之外的幀時(shí)間段中的全像素部分讀處理的圖像信號(hào)。因 此，如果使用參考幀時(shí)間段內(nèi)頂部幀的圖像信號(hào)來執(zhí)行圖像顯示，則不論高 速圖像捕捉模式中的幀速如何，都可以以參考幀速顯示經(jīng)圖像捕捉的畫面。
此外，參考幀時(shí)間段內(nèi)的頂部幀包含通過全視角稀疏讀處理的圖像信號(hào)， 因此圖像捕捉設(shè)備IO對(duì)通過全視角稀疏讀處理的圖像信號(hào)執(zhí)行像素內(nèi)插。因 此，通過連續(xù)地使用參考幀時(shí)間段內(nèi)僅頂部幀的圖像信號(hào)(對(duì)其執(zhí)行了像素 內(nèi)插)來顯示經(jīng)圖像捕捉的畫面，即使選擇了高速圖像捕捉模式，也可以在 顯示單元22上顯示具有與標(biāo)準(zhǔn)圖像捕捉模式相同的像素?cái)?shù)的經(jīng)圖像捕捉的 畫面。
此外，分辨率轉(zhuǎn)換/圖像合成部分130組合通過執(zhí)行全一見角稀疏讀處理而 獲得的圖像信號(hào)與通過執(zhí)行全像素部分讀處理而獲得的圖像信號(hào)，并將其輸 出。因此，圖像捕捉設(shè)備IO可以使用通過執(zhí)行全像素部分讀處理而獲得的經(jīng) 圖像捕捉的畫面來補(bǔ)償通過執(zhí)行全視角稀疏讀處理而產(chǎn)生的畫質(zhì)的劣化。
此外，圖像捕扭_設(shè)備10和記錄設(shè)備70將通過4丸行全一見角稀疏讀處理而 獲得的圖像信號(hào)以及通過執(zhí)行全像素部分讀處理而獲得的圖像信號(hào)作為運(yùn)動(dòng) 畫面的經(jīng)編碼的數(shù)據(jù)以及靜止畫面的經(jīng)編碼的數(shù)據(jù)記錄在記錄介質(zhì)42上。因 此，圖像捕捉設(shè)備10和再現(xiàn)設(shè)備80讀取對(duì)其基于使用預(yù)測(cè)編碼的編碼系統(tǒng) 執(zhí)行了壓縮處理的經(jīng)編碼的數(shù)據(jù)，而不讀取對(duì)其基于不使用預(yù)測(cè)編碼的編碼 系統(tǒng)執(zhí)行了壓縮處理的經(jīng)編碼的數(shù)據(jù)，并將其再現(xiàn)。即，如果僅讀取運(yùn)動(dòng)畫 面的經(jīng)編碼的數(shù)據(jù)而不讀取靜止畫面的經(jīng)編碼的數(shù)據(jù)并且對(duì)其執(zhí)行任何的解 碼處理，則能夠容易地獲得具有與標(biāo)準(zhǔn)圖像捕捉模式的幀速相同的幀速、其 中對(duì)象的運(yùn)動(dòng)是相同速度的圖像信號(hào)。此外，圖像捕捉設(shè)備10和再現(xiàn)設(shè)備 80再現(xiàn)運(yùn)動(dòng)畫面的經(jīng)編碼的數(shù)據(jù)和與再現(xiàn)速度對(duì)應(yīng)的靜止畫面的經(jīng)編碼的數(shù) 據(jù)，并組合再現(xiàn)的圖像信號(hào)，由此使得能夠以所期望的再現(xiàn)速度輸出具有畫 質(zhì)的更小劣化的圖像信號(hào)。換句話說，通過每次處理運(yùn)動(dòng)畫面的經(jīng)編碼的數(shù) 據(jù)以執(zhí)行再現(xiàn)，能夠輸出其中對(duì)象的運(yùn)動(dòng)是相同速度的圖像信號(hào)。此外，通 過再現(xiàn)與再現(xiàn)速度對(duì)應(yīng)的靜止畫面的經(jīng)編碼的數(shù)據(jù)并組合圖像信號(hào)，能夠容 易地獲得其中對(duì)象的運(yùn)動(dòng)慢于相同速度的慢動(dòng)作圖像。
此外，在圖像捕捉設(shè)備10中，由于不需要像任意的傳統(tǒng)圖像捕捉設(shè)備那 樣執(zhí)行將高速圖像信號(hào)臨時(shí)存儲(chǔ)在存儲(chǔ)器中然后再次將其記錄在海量記錄介 質(zhì)上的這種處理，所以用于高速圖像捕捉的時(shí)間段不受存儲(chǔ)器容量的限制， 由此使得能夠在不錯(cuò)過圖像捕捉的任何寶貴時(shí)機(jī)的情況下實(shí)現(xiàn)高速的圖像捕 捉。
此外，在全視角稀疏讀處理中，如果幀速變得更高(縮短設(shè)置時(shí)間段的
單位)，則使稀疏讀之間的間隔擴(kuò)展。此外，在全像素部分讀處理中，如果幀 速變得更高，則使將從其讀取像素的區(qū)域受限。因此，如果幀速變得更高， 則減少要讀取的像素，以便在參考幀時(shí)間段期間要讀取的像素的數(shù)量可以保 持固定。即，即使在高速圖像捕捉模式中幀速更高，也能夠防止信號(hào)量增大， 并能夠合適地實(shí)現(xiàn)高速圖像捕捉。
此外，在全視角稀疏讀處理中，如果在幀速高于標(biāo)準(zhǔn)圖像捕捉模式的幀 速的情況下，高速圖像捕捉模式中的幀速變得更低(擴(kuò)展設(shè)置時(shí)間段的單位)， 則使稀疏讀取之間的間隔縮短。此外，在全像素部分讀處理中，如果幀速變 得更低，則使將從其讀取像素的區(qū)域擴(kuò)展。因此，將其配置為，當(dāng)高速圖像 捕捉模式中幀速低時(shí)，與高速圖像捕捉模式中高幀速的情況相比，讀取更大 數(shù)量的像素，由此使要在參考幀時(shí)間段期間讀取的像素的數(shù)量能夠保持固定。
順便提及，盡管在上述實(shí)施例中已經(jīng)描述了高速圖像捕捉模式中幀速固 定的情況，但是高速圖像捕捉模式中的幀速可以是變化的。要注意，如果幀
速可變，則其不僅可以變化到120 (fps)、 180 (fps)和240 (fps),還可以變 化為作為標(biāo)準(zhǔn)圖像捕捉模式中的幀速的60 (fps)。圖20示出在用戶連續(xù)地指 定幀速并且用戶以60 ( fps ) —120 ( fps ) —180 ( fps ) —240 ( fps ) —180 ( fps ) 4120(fi s)—60(fj3s)的順序改變幀速的情況下的操作。要注意，圖20(A) 示出參考垂直同步信號(hào)VDB，圖20 (B)示出圖像捕捉設(shè)備10的操作模式， 而圖20 (C)示出垂直同步信號(hào)VD。
當(dāng)設(shè)置了高速圖像捕捉模式時(shí)，圖像捕捉單元11輸出通過在參考幀時(shí)間 段內(nèi)的頂部幀處執(zhí)行全視角稀疏讀處理而獲得的圖像信號(hào)，并輸出通過在不 包括頂部幀的參考幀時(shí)間段處執(zhí)行全像素部分讀處理而獲得的圖像信號(hào)。
因此，從圖像捕捉單元11輸出的圖像信號(hào)DV1由通過在參考幀時(shí)間段 內(nèi)的頂部幀處執(zhí)行全視角稀疏讀處理而獲得的圖像信號(hào)(由斜線表示)和通 過在參考時(shí)間段內(nèi)不包括頂部幀的幀時(shí)間段處執(zhí)行全像素部分讀處理而獲得 的圖像信號(hào)(由粗實(shí)框表示)組成，如圖20 (D)所示。
在這里，當(dāng)執(zhí)行監(jiān)視器顯示時(shí)，照相機(jī)信號(hào)處理單元12的圖像捕捉設(shè)備 10和再現(xiàn)設(shè)備80將通過執(zhí)行全視角稀疏讀處理而獲得的圖像寫入幀存儲(chǔ)器 51中，并在參考幀時(shí)間段期間讀取被寫入幀存儲(chǔ)器51的圖像信號(hào)，如上所 述。圖20 (E)示出被寫入幀存儲(chǔ)器51中的圖像信號(hào)DVfw，而圖20(F) 示出從幀存儲(chǔ)器51讀出的圖像信號(hào)DVfr。因此，圖像捕捉設(shè)備10和再現(xiàn)設(shè)
備80將已經(jīng)在參考幀時(shí)間段期間從幀存儲(chǔ)器51讀出的、通過全視角稀疏讀
處理的圖像信號(hào)輸出到顯示處理單元21等，作為如圖20 (G)所示的監(jiān)視器 圖像信號(hào)DV2，由此使能夠以與標(biāo)準(zhǔn)圖像捕捉模式的幀速一致的幀速顯示經(jīng) 圖像捕捉的畫面。
此外，當(dāng)用戶執(zhí)行記錄的指令時(shí)，控制單元61控制圖20(D)所示的圖 像信號(hào)DV1的像素內(nèi)插、編碼處理等，以將經(jīng)編碼的數(shù)據(jù)記錄在記錄介質(zhì)42 上。
下面將參照?qǐng)D21描述在記錄介質(zhì)42上記錄的經(jīng)圖像捕捉的畫面的再現(xiàn) 操作。圖21 (A)示出被編碼并被記錄在記錄介質(zhì)42上的經(jīng)圖像捕捉的畫面 的幀PW。圖21 (B)示出參考垂直同步信號(hào)VDB,圖21(C)示出當(dāng)記錄 經(jīng)圖像捕捉的畫面時(shí)圖像捕捉設(shè)備10的操作模式，而圖21 (D)示出垂直同 步信號(hào)VD。
在以高速圖像捕捉模式記錄的經(jīng)圖像捕捉的畫面的再現(xiàn)時(shí)間段期間，控 制單元61控制從記錄介質(zhì)42讀出經(jīng)編碼的數(shù)據(jù)并對(duì)其進(jìn)行解碼處理，以產(chǎn) 生在圖像捕捉時(shí)的幀順序的圖像信號(hào)DV4。要注意，圖21 (E)示出通過執(zhí) 行解碼處理而獲得的圖像信號(hào)DV4。
在照相機(jī)信號(hào)處理單元12的分辨率轉(zhuǎn)換/圖像合成部分130中，將通過 執(zhí)行全視角稀疏讀處理而獲得的圖像信號(hào)或者通過執(zhí)行全^象素部分讀處理而 獲得的圖像信號(hào)寫入幀存儲(chǔ)器51中，并且在參考幀時(shí)間段期間讀取被寫入幀 存儲(chǔ)器51中的圖像信號(hào)。圖21 (F)示出被寫入幀存儲(chǔ)器51中的圖像信號(hào) DVfw,而圖21 (G)示出從幀存儲(chǔ)器51讀出的圖像信號(hào)DVfr。
此外，分辨率轉(zhuǎn)換/圖像合成部分130組合從幀存儲(chǔ)器51讀出的圖像信 號(hào)與被寫入幀存儲(chǔ)器51的圖像信號(hào)?？蛇x擇地，其組合從幀存儲(chǔ)器51讀出 的、通過全視角稀疏讀處理的圖像信號(hào)與通過執(zhí)行解碼處理而獲得的、通過 全像素部分讀處理的圖像信號(hào)。圖21 (H)示出從分辨率轉(zhuǎn)換/圖像合成部分 130輸出的圖像信號(hào)DV5。當(dāng)?shù)竭_(dá)以高速圖像捕捉模式記錄的經(jīng)圖像捕捉的 畫面的再現(xiàn)時(shí)間段時(shí)，分辨率轉(zhuǎn)換/圖像合成部分130輸出幀2+3的圖像信號(hào)， 其中在該幀2+3的圖像信號(hào)中，組合了作為通過全視角稀疏讀處理的圖像信 號(hào)的幀2的圖像信號(hào)與作為通過全像素部分讀處理的圖像信號(hào)的幀3的圖像 信號(hào)。其接著輸出幀3+4的圖像信號(hào)，其中在該幀3+4的圖像信號(hào)中，結(jié)合 了作為通過全像素部分讀處理的圖像信號(hào)的幀3的圖像信號(hào)與作為通過全視
角稀疏讀處理的圖像信號(hào)的幀4的圖像信號(hào)，并輸出幀4+5的圖像信號(hào)，其
中在該幀4+5的圖像信號(hào)中，組合了作為通過全視角稀疏讀處理的圖像信號(hào) 的幀4的圖像信號(hào)與作為通過全像素部分讀處理的圖像信號(hào)的幀5的圖像信 號(hào)，并且其連續(xù)地輸出幀…+…的圖像信號(hào)。即，分辨率轉(zhuǎn)換/圖像合成部分 130可以輸出這樣的經(jīng)圖像捕捉的畫面的圖像信號(hào)其中對(duì)象的運(yùn)動(dòng)根據(jù)高 速圖像捕捉模式的幀速而變化并且由通過執(zhí)行全像素部分讀處理而獲得的圖 像信號(hào)防止畫質(zhì)的劣化。
此外，如果控制單元61控制從記錄介質(zhì)42讀出基于使用預(yù)測(cè)編碼的編 碼系統(tǒng)對(duì)其執(zhí)行了壓縮處理的經(jīng)編碼的數(shù)據(jù)，而不讀取基于不使用預(yù)測(cè)編碼 的編碼系統(tǒng)對(duì)其執(zhí)行了壓縮處理的經(jīng)編碼的數(shù)據(jù)，并控制解碼處理，即如果 僅讀取運(yùn)動(dòng)畫面的經(jīng)編碼的數(shù)據(jù)并且對(duì)其執(zhí)行任何解碼處理以產(chǎn)生圖像信號(hào) DV4,則即使當(dāng)高速圖像捕捉模式的幀速變化時(shí)，也能夠輸出其中對(duì)象的運(yùn) 動(dòng)是相同速度的再現(xiàn)的畫面。
此外，如果改變幀速，則控制單元61可以以預(yù)定編程順序自動(dòng)地改變幀 速。控制單元61還可以基于對(duì)象的運(yùn)動(dòng)自動(dòng)地改變幀速，并且當(dāng)對(duì)象的運(yùn)動(dòng) 快時(shí)，記錄具有高時(shí)間分辨率，即高幀速的經(jīng)圖像捕捉的畫面。
下面將描述用于記錄具有根據(jù)對(duì)象的運(yùn)動(dòng)而自動(dòng)改變的幀速的經(jīng)圖像捕 捉的畫面的操作。在這里，對(duì)象的運(yùn)動(dòng)越快，就設(shè)置越高的幀速，以便可以 獲得具有高時(shí)間分辨率的經(jīng)圖像捕捉的畫面。此外，執(zhí)行全像素部分讀處理 的區(qū)域的位置跟隨對(duì)象的運(yùn)動(dòng)而改變。
當(dāng)根據(jù)對(duì)象的運(yùn)動(dòng)自動(dòng)地改變幀速時(shí)，控制單元61基于從圖像壓縮/解 壓縮單元31通知的運(yùn)動(dòng)矢量MV,控制幀速以及執(zhí)行全像素部分讀處理的矩 形區(qū)域的位置。要注意，如果對(duì)于參考幀時(shí)間段要在圖像傳感器111中讀取 的像素的數(shù)量是固定的，則通過確定幀速，自動(dòng)地確定全視角稀疏讀處理中 的稀疏讀取之間的間隔以及執(zhí)行全像素部分讀處理的矩形區(qū)域的區(qū)域大小。
在這里，當(dāng)根據(jù)對(duì)象的運(yùn)動(dòng)自動(dòng)地改變幀速時(shí)，控制單元61對(duì)從圖像壓 縮/解壓縮單元31通知的運(yùn)動(dòng)矢量取絕對(duì)值，然后將其與判定參考值Lvl、 Lv2和Lv3進(jìn)行比較以判定幀速。這些判定參考值Lvl、 Lv2和Lv3是用于 限定幀速的判定準(zhǔn)則，其可以期望基于對(duì)象的運(yùn)動(dòng)和參考值而產(chǎn)生的模糊 (blur)的減少，其中在基于對(duì)象的運(yùn)動(dòng)和參考值而產(chǎn)生的模糊中，幀速根據(jù) 由運(yùn)動(dòng)矢量表示的每一個(gè)宏塊的運(yùn)動(dòng)的增加連續(xù)地從"Fro (例如，60 ( fps ))"
的相同速度按級(jí)(in stages)增大到四倍速度"Fr3 (例如,240 (fps))"。
在這里，當(dāng)運(yùn)動(dòng)矢量的絕對(duì)值小于Lvl時(shí)，將幀速設(shè)置到與標(biāo)準(zhǔn)圖像捕 捉模式的幀速相同。當(dāng)運(yùn)動(dòng)矢量的絕對(duì)值處于從大于Lvl到小于Lv2時(shí)，設(shè) 置幀速以便使其為標(biāo)準(zhǔn)圖像捕捉模式的幀速的兩倍，將其作為高速圖像捕捉 模式。當(dāng)運(yùn)動(dòng)矢量的絕對(duì)值處于從大于Lv2到小于Lv3時(shí)，設(shè)置幀速以便使 其為標(biāo)準(zhǔn)圖像捕捉模式的幀速的三倍，并且當(dāng)運(yùn)動(dòng)矢量的絕對(duì)值大于Lv3時(shí)， 設(shè)置幀速以便使為標(biāo)準(zhǔn)圖像捕捉模式的幀速的四倍。
此外，控制單元61從所檢測(cè)到的運(yùn)動(dòng)矢量來限定區(qū)域，例如圖23所示 的矩形區(qū)域，其中在該矩形區(qū)域處執(zhí)行全像素部分讀處理。控制單元61將所 檢測(cè)到運(yùn)動(dòng)分量分解為其水平和垂直分量，并通過將與宏塊的位置對(duì)應(yīng)的加 權(quán)系數(shù)加權(quán)相加到其上而對(duì)由每一個(gè)宏塊所檢測(cè)的運(yùn)動(dòng)矢量執(zhí)行統(tǒng)計(jì)處理， 由此限定圖像幀Trl到Tr3。要注意，使用被設(shè)置為根據(jù)例如距屏幕的中心部 分的范圍(extent)而增大的加權(quán)系數(shù)值來執(zhí)行加權(quán)相加處理。此外，在這種 情況下，可以與以固定幀速捕捉圖像的情況類似地限定圖像幀Trl到Tr3。要 注意，圖23還示出每一個(gè)宏塊的運(yùn)動(dòng)的增大的結(jié)果，這使用判定參考值Lvl 到Lv3來判定。
控制單元61對(duì)于每一個(gè)參考幀時(shí)間段實(shí)行幀速和圖像幀Trl到Tr3的設(shè)置。
通過實(shí)行圖24所示的處理進(jìn)程來執(zhí)行幀速和圖像幀的設(shè)置。
即，如果該處理進(jìn)程開始，則控制單元61將步驟從步驟SP1移動(dòng)到步 驟SP2，其中在步驟SP2中開始對(duì)相應(yīng)幀的處理，然后在下面的步驟SP3， 確定當(dāng)前幀速是否大于作為參考幀速的三倍的"Fr2"。在這里，如果獲得否 定結(jié)果，則控制單元61將步驟從步驟SP3移動(dòng)到步驟SP4。
在步驟SP4,控制單元61確定當(dāng)前幀速是否為作為參考幀速的兩倍的 "Frl"。在這里，如果獲得否定結(jié)果，則其將步驟從步驟SP4移動(dòng)到步驟SP5， 這是因?yàn)楫?dāng)前幀是與參考幀速相同的"FrO"。
在步驟SP5，控制單元61確定是否檢測(cè)到具有大于第一判定參考值Lvl 的運(yùn)動(dòng)的宏塊。在這里，如果獲得否定結(jié)果，則控制單元61將步驟從步驟 SP5移動(dòng)到步驟SP6，其中在步驟SP6中將接下來的參考幀時(shí)間段的幀頻設(shè) 置為與參考幀頻相同的"FrO"，例如60(fps)。此外，在下面的步驟SP7, 控制單元61完成對(duì)于相應(yīng)參考幀時(shí)間段的處理，并返回到步驟SP2。
可選擇地，如果在步驟SP5獲得肯定結(jié)果，則控制單元61將步驟從步
驟SP5移動(dòng)到步驟SP8。控制單元61確定每個(gè)具有大于第一判定參考值Lvl 的運(yùn)動(dòng)的所有宏塊是否均被包括在圖像幀Trl中，所述圖像幀Trl具有僅比 當(dāng)前幀速高一個(gè)級(jí)別的幀速，即與參考幀速的兩倍對(duì)應(yīng)的幀速。在這里，如 果獲得否定結(jié)果，則控制單元61將步驟從步驟SP8移動(dòng)到步驟SP6，其中在 步驟SP9中將對(duì)于接下來的參考幀時(shí)間段的幀速設(shè)置為與參考幀速相同的 "Fro"。另一方面，如果在步驟SP8獲得肯定結(jié)果，則控制單元61將步驟從 步驟SP8移動(dòng)到步驟SP9,其中在步驟SP9中將接下來的參考幀時(shí)間段設(shè)置 為作為參考幀速的兩倍的"Frl"，例如120(fps),并且移動(dòng)到步驟SP7。
如果當(dāng)前幀速是兩倍于參考幀速的"Frl",則控制單元61將步驟從步驟 SP4移動(dòng)到步驟SP10，這是因?yàn)樵诓襟ESP4獲得肯定結(jié)果。在步驟SP4，控 制單元61確定是否^f企測(cè)到具有大于第二判定參考值Lv2的運(yùn)動(dòng)的宏塊。在這 里，如果獲得否定結(jié)果，則控制單元61將步驟從步驟SP10移動(dòng)到步驟SPll， 其中在步驟SPll中確定當(dāng)前幀速是否是作為參考幀速的三倍的"Fr2"。在這 種情況下，通過獲得否定結(jié)果，控制單元61將步驟從步驟SP11移動(dòng)到步驟 SP5。此外，通過移動(dòng)到步驟SP5，如果可以減小幀速，即沒有檢測(cè)到具有大 于第一判定參考值Lvl的運(yùn)動(dòng)的任何宏塊，或者如果沒有出現(xiàn)其中每個(gè)具有 大于第一判定參考值Lvl的運(yùn)動(dòng)的所有宏塊均被包括在與參考幀速的兩倍對(duì) 應(yīng)的圖像幀Trl中的狀態(tài)，則控制單元61將對(duì)于接下來的參考幀時(shí)間段的幀 速設(shè)置為與參考幀速相同的"Fro"。相反，如果不能減小幀速，即檢測(cè)到具 有大于第一判定參考值Lvl的運(yùn)動(dòng)的任何宏塊，或者如果每個(gè)具有大于第一 判定參考值Lvl的運(yùn)動(dòng)的所有宏塊均被包括在與參考幀速的兩倍對(duì)應(yīng)的圖像 幀Trl中，控制單元61進(jìn)一步保持當(dāng)前幀速并且將處理移動(dòng)到下一參考幀。
如果在步驟SP11獲得肯定結(jié)果，則控制單元61將步驟從步驟SP11移 動(dòng)到步驟SP9，其中在步驟SP9中其將處理移動(dòng)到下一參考幀，對(duì)于下一參 考幀時(shí)間段的幀速被保持為兩倍于參考幀速的"Frl，，，即當(dāng)前幀速。此外， 如果在步驟SP10獲得肯定結(jié)果，則控制單元61將步驟從步驟SP10移動(dòng)到 步驟SP12，其中在步驟SP12中其確定每個(gè)具有大于第二判定參考值Lv2的 運(yùn)動(dòng)的所有宏塊是否均被包括在圖像幀Tr2中，其中圖像幀Tr2具有比當(dāng)前 幀速僅高一個(gè)級(jí)別的幀速，即與參考幀速的三倍對(duì)應(yīng)的幀速。在這里，如果 獲得否定結(jié)果，則控制單元61將步驟從步驟SP12移動(dòng)到步驟SP11。此外，
如果在步驟SP11獲得肯定結(jié)果，則控制單元61將處理移動(dòng)到下一參考幀， 幀速被保持為兩倍于參考幀速的幀速。另一方面，如果在步驟SP12獲得肯定
結(jié)果，則控制單元61將步驟從步驟SP12移動(dòng)到步驟SP13，其中在步驟SP13 中將對(duì)于接下來的參考幀時(shí)間段的幀速設(shè)置為三倍于參考幀速的"Fr2",例 如180(fps)，然后將其處理移動(dòng)到下一參考幀。
如果當(dāng)前幀速是三倍于參考幀速的"Fr2，，或四倍于參考幀速的"Fr3", 則通過在步驟SP3獲得肯定結(jié)果，控制單元61將步驟從步驟SP3移動(dòng)到步 驟SP15。在步驟SP15，控制單元61確定是否^r測(cè)到具有大于第三判定參考 值Lv3的運(yùn)動(dòng)的宏塊。在這里，如果獲得否定結(jié)果，則控制單元61將步驟從 步驟SP15移動(dòng)到步驟SP16,其中在步驟SP16中其確定當(dāng)前幀速是否為四倍 于參考幀速的"Fr3"。在這種情況下，如果當(dāng)前幀速是三倍于參考幀速的 "Fr2",則通過在步驟SP16獲得否定結(jié)果，控制單元61將步驟從步驟SP16 移動(dòng)到步驟SPIO。此外，通過移動(dòng)到步驟SP10,如果可以減小幀速，即沒 有檢測(cè)到具有大于第二判定參考值Lv2的運(yùn)動(dòng)的任何宏塊，或者如果沒有出 現(xiàn)其中每個(gè)具有大于第二判定參考值Lv2的運(yùn)動(dòng)的所有宏塊均被包括在與參 考幀速的三倍對(duì)應(yīng)的圖像幀Tr2中的狀態(tài)，則控制單元61將對(duì)于接下來的參 考幀時(shí)間段的幀速設(shè)置為兩倍于參考幀速的"Frl"?？蛇x擇地，如果沒有檢 測(cè)到具有大于第一判定參考值Lvl的運(yùn)動(dòng)的任何宏塊，或者如果沒有出現(xiàn)其 中每個(gè)具有大于第一判定參考值Lvl的運(yùn)動(dòng)的所有宏塊均被包括在與參考幀 速的兩倍對(duì)應(yīng)的圖像幀Trl中，則控制單元61基于在步驟SP11后的處理處 當(dāng)前幀速是"Fr2"的條件，將對(duì)于隨后的參考幀時(shí)間段的幀速設(shè)置為兩倍于 參考幀速的"Frl"。相反，如果不能減小幀速，即檢測(cè)到具有大于第二判定 參考值Lv2的運(yùn)動(dòng)的宏塊，或者如果每個(gè)具有大于第二判定參考值Lv2的運(yùn) 動(dòng)的所有宏塊均被包括在與參考幀速的三倍對(duì)應(yīng)的圖像幀Tr2中，則控制單 元61保持當(dāng)前幀速并且將處理移動(dòng)到下一參考幀。
如果當(dāng)前幀速是四倍于參考幀速的"Fr3"，則在步驟SP16獲得肯定結(jié)果， 并且在這種情況下，控制單元61將步驟從步驟SP16移動(dòng)到步驟SP13,其中 在步驟SP13中其將對(duì)于接下來的參考幀時(shí)間段的幀速設(shè)置為三倍于參考幀 速的"Fr2",例如180(fps),并且將處理移動(dòng)到下一參考幀。
如果檢測(cè)到具有大于第三判定參考值Lv3的運(yùn)動(dòng)的宏塊，則在步驟SP15 獲得肯定結(jié)果，以便控制單元61將步驟從步驟SP15移動(dòng)到步驟SP17。在步
驟SP17，控制單元61確定每個(gè)具有大于第三判定參考值Lv3的運(yùn)動(dòng)的所有 宏塊是否均被包括在與參考幀速的四倍對(duì)應(yīng)的圖像幀Tr3中。在這里，如果 獲得肯定結(jié)果，則控制單元移動(dòng)到步驟SP18,其中在步驟SP18中其將對(duì)于 接下來的參考幀時(shí)間段的幀速設(shè)置為四倍于參考幀速的"Fr3",例如240 (fps),然后將處理移動(dòng)到下一參考幀。
此外，如果獲得否定結(jié)果，則控制單元61將步驟從步驟SP17移動(dòng)到步 驟SP16，其中在步驟SP16中基于在步驟SP16后的處理中當(dāng)前幀速是"Ff3" 的條件，將對(duì)于接下來的參考幀時(shí)間段的幀速設(shè)置為三倍于參考幀速的幀速， 即180 (fps)。
根據(jù)如圖24所示的處理，如果增大要經(jīng)歷圖像捕捉的對(duì)象的運(yùn)動(dòng)，則控 制單元61設(shè)置幀速以便其按級(jí)連續(xù)增大?？蛇x擇地，如果減小對(duì)象的運(yùn)動(dòng)， 則控制單元61設(shè)置幀速以便其按級(jí)連續(xù)增大。因此，控制單元61自動(dòng)地設(shè) 置幀速并且選#^與所設(shè)置的幀速對(duì)應(yīng)的圖像幀。此外，圖像傳感器111執(zhí)行 全像素部分讀處理，以便可以讀出在所選擇的圖像幀中的所有像素。
當(dāng)用戶指示再現(xiàn)在記錄介質(zhì)42上記錄的經(jīng)圖像捕捉的畫面時(shí)，控制單元 61從記錄/再現(xiàn)處理單元41獲取關(guān)于用戶指示再現(xiàn)的經(jīng)圖像捕捉的畫面的管 理信息(administration information),基于如上所述的管理信息從記錄介質(zhì)42 讀出經(jīng)編碼的數(shù)據(jù)，并控制各部分以執(zhí)行解碼處理或者組合圖像信號(hào)。
因此，如果用戶指示可變速度高速圖像捕捉，則控制單元61動(dòng)態(tài)地切換 幀速，以便當(dāng)對(duì)象的運(yùn)動(dòng)大時(shí)增大幀速，由此產(chǎn)生該動(dòng)態(tài)切換的幀速的圖像 信號(hào)。此外，控制單元61動(dòng)態(tài)地切換幀速，以便當(dāng)對(duì)象的運(yùn)動(dòng)小時(shí)將幀速設(shè) 置為半圖像捕捉模式的幀速，由此產(chǎn)生該動(dòng)態(tài)切換的幀速的圖像信號(hào)。因此， 如果運(yùn)動(dòng)慢并且不需要高幀速的高速圖像捕捉，則圖像捕捉設(shè)備IO可以產(chǎn)生 與標(biāo)準(zhǔn)圖像捕捉模式類似的幀速的圖像信號(hào)，以便可以防止在記錄介質(zhì)方面 的任何浪費(fèi)的開銷。此外，如果對(duì)象的運(yùn)動(dòng)大，則產(chǎn)生高幀速的圖像信號(hào)， 以便可以獲得具有高時(shí)間分辨率的經(jīng)圖像捕捉的畫面。
例如，當(dāng)選擇高速圖像捕捉模式以便對(duì)高速運(yùn)動(dòng)對(duì)象進(jìn)行圖像捕捉而沒 有任何運(yùn)動(dòng)模糊或者以便獲得其中高速運(yùn)動(dòng)對(duì)象具有平滑的運(yùn)動(dòng)的慢動(dòng)作畫 面時(shí)，背景幾乎處于小運(yùn)動(dòng)狀態(tài)，使得看起來這幾乎是高速圖像捕捉的情況 下的無意義的部分。在這里，如上所述，當(dāng)根據(jù)運(yùn)動(dòng)檢測(cè)結(jié)果在高速圖像捕 捉模式下設(shè)置幀速和要對(duì)其執(zhí)行全像素部分讀處理的區(qū)域時(shí)，通過執(zhí)行全視
角稀疏讀處理而畫質(zhì)劣化的部分是背景，并且由通過執(zhí)行全像素部分讀處理 而獲得的圖像信號(hào)補(bǔ)償高速運(yùn)動(dòng)的對(duì)象在畫質(zhì)方面的劣化。因此，圖像捕捉 設(shè)備IO可以對(duì)以高速運(yùn)動(dòng)的對(duì)象執(zhí)行圖像捕捉而沒有任何模糊，或者可以獲 得以高速運(yùn)動(dòng)的對(duì)象具有平滑運(yùn)動(dòng)的慢動(dòng)作畫面，而不增大關(guān)于對(duì)參考幀時(shí) 間段從圖像傳感器111輸出的圖像信號(hào)的信號(hào)量。
此外，圖像捕捉設(shè)備10可以與對(duì)象的運(yùn)動(dòng)的任何改變對(duì)應(yīng)地、平滑地切 換幀速，由此使得能夠防止在再現(xiàn)時(shí)中產(chǎn)生的不舒適感覺。即，例如，如果 基于對(duì)象的運(yùn)動(dòng)通過人工操作來切換幀速并執(zhí)行高速圖像捕捉，則必然難以 根據(jù)對(duì)象的運(yùn)動(dòng)合適地切換幀速。因此，如果再現(xiàn)幀速被切換的一系列圖像 信號(hào)，則幀速突然改變以導(dǎo)致產(chǎn)生明顯的不舒適感覺。然而，由于與對(duì)象的 運(yùn)動(dòng)的改變對(duì)應(yīng)地、動(dòng)態(tài)地切換幀速，因此能夠防止在再現(xiàn)時(shí)產(chǎn)生的不舒適 感覺。
另夕卜，圖像捕捉設(shè)備10通過將對(duì)其執(zhí)行全像素部分讀處理的矩形區(qū)域設(shè)
置為跟隨對(duì)象的運(yùn)動(dòng)來產(chǎn)生圖像信號(hào)。因此，該圖像捕捉設(shè)備IO可以對(duì)高速
圖像捕捉所需的對(duì)象穩(wěn)定地執(zhí)行圖像捕捉，并且即使從其讀取全部像素的矩 形區(qū)域被設(shè)置為小區(qū)域并降低在高速圖像捕捉時(shí)圖像信號(hào)的速率的增大，也 可以防止其畫質(zhì)劣化。
在圖像捕捉設(shè)備10中，使用在圖像信號(hào)的編碼處理中檢測(cè)到的運(yùn)動(dòng)矢
量，來檢測(cè)對(duì)象的運(yùn)動(dòng)(該對(duì)象的運(yùn)動(dòng)用于設(shè)置從其讀取全部像素的矩形區(qū)
域的大小)、其位置以及幀速。因此，在該圖像捕捉設(shè)備10中，使用圖像壓 縮/解壓縮單元31的配置來有效地檢測(cè)對(duì)象的運(yùn)動(dòng)，使得與單獨(dú)檢測(cè)對(duì)象的 運(yùn)動(dòng)的情況相比，可以簡化整體配置。
相反，當(dāng)以可變速度再現(xiàn)以可變速度對(duì)其執(zhí)行了高速圖像捕捉的圖像信 號(hào)時(shí)，以圖像捕捉的順序連續(xù)地再現(xiàn)圖像信號(hào)，然后以類似的方式處理并顯 示通過全像素部分讀處理的圖像信號(hào)和通過全視角稀疏讀處理的圖像信號(hào)。 在這種情況下，圖像捕捉設(shè)備IO可以通過自動(dòng)地減小運(yùn)動(dòng)快的部分中的再現(xiàn) 速度來執(zhí)行慢動(dòng)作再現(xiàn)，并且可以基于運(yùn)動(dòng)量的改變來切換再現(xiàn)速度，而不 帶來任何不舒適感覺。
要注意，盡管已經(jīng)在上述實(shí)施例中描述了全像素部分讀取中的視角被補(bǔ) 償為全視角稀疏讀取中的視角的情況，但是該發(fā)明不限于此；相反，全視角 稀疏讀取中的視角也可以被補(bǔ)償為全像素部分讀取中的視角。這使得能夠顯
示其中對(duì)象被放大的圖像。
此外，盡管已經(jīng)在上述實(shí)施例中描述了通過將全視角稀疏讀取應(yīng)用于上 述實(shí)施例來產(chǎn)生關(guān)于全視角的圖像信號(hào)的情況，但是該發(fā)明不限于此，并且 如果提供足以適于實(shí)際使用的任何處理能力，則可以通過將全視角和全像素 讀取應(yīng)用于上述實(shí)施例來產(chǎn)生關(guān)于全視角的圖像信號(hào)。在這種情況下，還可 以通過基于幀速的增大從全視角和全像素讀取切換到全視角稀疏讀取來產(chǎn)生 全視角的圖像信號(hào)。
此外，盡管已經(jīng)在上述實(shí)施例中描述了在逐行系統(tǒng)中產(chǎn)生圖像信號(hào)的情 況，但是該發(fā)明不限于此，并且也可以應(yīng)用于在隔行系統(tǒng)中產(chǎn)生圖像信號(hào)的 情況。
工業(yè)實(shí)用性
本發(fā)明可應(yīng)用于例如圖像捕捉設(shè)備。
權(quán)利要求
1、一種圖像捕捉設(shè)備，被提供有:圖像傳感器，產(chǎn)生經(jīng)圖像捕捉的畫面的圖像信號(hào)；以及控制單元，控制所述圖像傳感器以設(shè)置時(shí)間段為單元在全視角稀疏讀處理與全像素部分讀處理之間切換，其中在全視角稀疏讀處理中，對(duì)有效圖像范圍內(nèi)的像素執(zhí)行稀疏讀取以產(chǎn)生所述圖像信號(hào)，在全像素部分讀處理中，從部分區(qū)域讀出所述有效圖像范圍的部分區(qū)域的所有像素以產(chǎn)生所述圖像信號(hào)。
2、 根據(jù)權(quán)利要求1所述的圖像捕捉設(shè)備，其中如果所述設(shè)置時(shí)間段的單 元短于預(yù)定的參考時(shí)間段的單元，則所述控制單元控制所述圖像傳感器執(zhí)行 所述全視角稀疏讀處理和所述全像素部分讀處理。
3、 根據(jù)權(quán)利要求2所述的圖像捕捉設(shè)備，其中所述控制單元控制所述圖 像傳感器在所述參考時(shí)間段的單元內(nèi)的設(shè)置時(shí)間段的頂部單元處執(zhí)行所述全 視角稀疏讀處理，并且在所述參考時(shí)間段內(nèi)的設(shè)置時(shí)間段的另 一單元處執(zhí)行 所述全像素部分讀處理。
4、 根據(jù)權(quán)利要求3所述的圖像捕捉設(shè)備，其被進(jìn)一步提供有像素內(nèi)插部 分，該像素內(nèi)插部分執(zhí)行像素內(nèi)插以產(chǎn)生關(guān)于經(jīng)稀疏的像素的信號(hào)，其中所述像素內(nèi)插部分對(duì)通過所述全視角稀疏讀處理而獲得的圖像信號(hào) 執(zhí)行所述像素內(nèi)插。
5、 根據(jù)權(quán)利要求4所述的圖像捕捉設(shè)備，其中所述設(shè)置時(shí)間段的單元是 可改變的。
6、 根據(jù)權(quán)利要求5所述的圖像捕捉設(shè)備，其中如果使所述設(shè)置時(shí)間段的 單元更短，則所述控制單元控制所述圖像傳感器設(shè)置所述稀疏讀取之間的間 隔以便使其擴(kuò)展，并且設(shè)置所述有效圖像范圍的部分區(qū)域以便使其受限，或 者如果使所述設(shè)置時(shí)間段的單元更長，則設(shè)置所述稀疏讀取之間的間隔以便 使其縮短，并且設(shè)置所述有效圖像范圍的部分區(qū)域以便使其擴(kuò)大。
7、 根據(jù)權(quán)利要求6所述的圖像捕捉設(shè)備，其被進(jìn)一步提供有運(yùn)動(dòng)檢測(cè)單 元，該運(yùn)動(dòng)檢測(cè)單元使用所述經(jīng)像素內(nèi)插的圖像信號(hào)檢測(cè)運(yùn)動(dòng)，其中所述控制單元控制所述圖像傳感器基于由所述運(yùn)動(dòng)檢測(cè)單元檢測(cè)到 的對(duì)象的運(yùn)動(dòng)來執(zhí)行所述全像素部分讀處理，其中該對(duì)象的運(yùn)動(dòng)被包括在所 述有效圖像范圍的部分區(qū)域中。
8、 根據(jù)權(quán)利要求7所述的圖像捕捉設(shè)備，其中如果運(yùn)動(dòng)大，則所述控制單元設(shè)置所述設(shè)置時(shí)間段的單元以便使其擴(kuò)展，或者如果運(yùn)動(dòng)小，則所述控 制單元設(shè)置所述設(shè)置時(shí)間段的單元以便使其縮短。
9、 根據(jù)權(quán)利要求4所述的圖像捕捉設(shè)備，其被進(jìn)一步提供有圖像壓縮單 元，所述圖像壓縮單元對(duì)所述圖像信號(hào)執(zhí)行壓縮處理以產(chǎn)生經(jīng)編碼的數(shù)據(jù)； 以及記錄單元，在記錄介質(zhì)上記錄所述經(jīng)編碼的數(shù)據(jù)，其中所述圖像壓縮單元基于使用預(yù)測(cè)編碼的編碼系統(tǒng)對(duì)在所述全視角稀 疏讀處理中經(jīng)像素內(nèi)插的所述圖像信號(hào)執(zhí)行壓縮處理，并且基于不使用預(yù)測(cè) 編碼的編碼系統(tǒng)對(duì)通過執(zhí)行所述全像素部分讀處理而獲得的圖像信號(hào)執(zhí)行壓 縮處理。
10、 根據(jù)權(quán)利要求9所述的圖像捕捉設(shè)備，其中所述圖像壓縮單元使用 所述經(jīng)像素內(nèi)插的圖像信號(hào)檢測(cè)所述運(yùn)動(dòng)，以及其中所述控制單元控制所述圖像傳感器基于所述對(duì)象的所述運(yùn)動(dòng)來執(zhí)行 所述全像素部分讀處理，其中所述對(duì)象的運(yùn)動(dòng)被包括在所述有效圖像范圍的 部分區(qū)域中。
11、 根據(jù)權(quán)利要求9所述的圖像捕捉設(shè)備，其被進(jìn)一步提供有 再現(xiàn)單元，讀取在所述記錄介質(zhì)上記錄的經(jīng)編碼的數(shù)據(jù)； 圖像解壓縮單元，對(duì)由所述再現(xiàn)單元讀取的經(jīng)編碼的數(shù)據(jù)解壓縮，以產(chǎn)生圖像信號(hào)；以及圖像合成單元，使用由所述圖像解壓縮單元產(chǎn)生的圖像信號(hào)來執(zhí)行合成， 其中所述圖像合成單元組合在所述全視角稀疏讀處理中經(jīng)像素內(nèi)插的所述圖像信號(hào)與通過執(zhí)行所述全像素部分讀處理而獲得的圖像信號(hào)。
12、 根據(jù)權(quán)利要求11所述的圖像捕捉設(shè)備，其中所述再現(xiàn)單元從所述記 錄介質(zhì)讀出基于使用所述預(yù)測(cè)編碼的編碼系統(tǒng)對(duì)其執(zhí)行了壓縮處理的經(jīng)編碼 的數(shù)據(jù)，而不讀取基于不使用所述預(yù)測(cè)編碼的編碼系統(tǒng)對(duì)其執(zhí)行了壓縮處理 的經(jīng)編碼的數(shù)據(jù)，以及其中所述圖像解壓縮單元對(duì)由所述再現(xiàn)單元讀取的經(jīng)編碼的數(shù)據(jù)解壓 縮，并將其作為參考時(shí)間段的每個(gè)單元的圖像信號(hào)而輸出。
13、 根據(jù)權(quán)利要求1所述的圖像捕捉設(shè)備，其中所述全視角稀疏讀處理 包括像素稀疏處理和線稀疏處理中的至少一個(gè)。
14、 根據(jù)權(quán)利要求1所述的圖像捕捉設(shè)備，其被進(jìn)一步提供有顯示單元，號(hào)來顯示圖像。
15、 一種用于使用圖像傳感器產(chǎn)生經(jīng)圖像捕捉的畫面的圖像信號(hào)的圖像 捕捉方法，所述方法包括全視角稀疏讀步驟，通過對(duì)圖像傳感器的有效圖像范圍中的像素執(zhí)行稀 疏讀取來產(chǎn)生所述圖像信號(hào)；以及全像素部分讀步驟，通過從部分區(qū)域讀出所述有效圖像范圍的部分區(qū)域 的所有像素來產(chǎn)生所述圖像信號(hào)，其中以設(shè)置時(shí)間段為單元切換所述全視角稀疏讀步驟和所述全像素部分 讀步驟。
16、 一種記錄設(shè)備，其被提供有圖像壓縮單元，對(duì)通過允許圖像傳感器以設(shè)置時(shí)間段為單元在全視角稀 疏讀處理與全像素部分讀處理之間切換而產(chǎn)生的經(jīng)圖像捕捉的畫面的圖像信 號(hào)執(zhí)行壓縮處理以便產(chǎn)生經(jīng)編碼的數(shù)據(jù)，其中在全視角稀疏讀處理中，對(duì)有 效圖像范圍中的像素執(zhí)行稀疏讀取以產(chǎn)生所述圖像信號(hào)，在全像素部分讀處 理中，從部分區(qū)域讀出所述有效圖像范圍的部分區(qū)域的所有像素以產(chǎn)生所述 圖像信號(hào)；以及記錄單元，記錄所述經(jīng)編碼的數(shù)據(jù)，其中所述圖像壓縮單元基于使用預(yù)測(cè)編碼的編碼系統(tǒng)對(duì)通過執(zhí)行所述全 視角稀疏讀處理而獲得的圖像信號(hào)執(zhí)行壓縮處理，并基于不使用預(yù)測(cè)編碼的 編碼系統(tǒng)對(duì)通過執(zhí)行所述全像素部分讀處理而獲得的圖像信號(hào)執(zhí)行壓縮處 理。
17、 根據(jù)權(quán)利要求16所述的記錄設(shè)備，其被進(jìn)一步提供有像素內(nèi)插部分， 所述像素內(nèi)插部分執(zhí)行像素內(nèi)插以產(chǎn)生關(guān)于經(jīng)稀疏的像素的信號(hào)，其中所述像素內(nèi)插部分對(duì)通過所述全視角稀疏讀處理而獲得的圖像信號(hào) 執(zhí)行像素內(nèi)插，以及其中所述圖像壓縮單元基于使用預(yù)測(cè)編碼的編碼系統(tǒng)對(duì)由所述像素內(nèi)插 部分在所述全視角稀疏讀處理中進(jìn)行像素內(nèi)插的所述圖像信號(hào)執(zhí)行壓縮處 理。
18、 一種記錄方法，其被提供有基于使用預(yù)測(cè)編碼的編碼系統(tǒng)對(duì)通過執(zhí)行全視角稀疏讀處理而獲得的圖 像信號(hào)執(zhí)行壓縮處理、以便在通過允許圖像傳感器以設(shè)置時(shí)間段為單元在所 述全視角稀疏讀處理與全像素部分讀處理之間進(jìn)行切換而產(chǎn)生的經(jīng)圖像捕捉 的畫面的圖像信號(hào)之中產(chǎn)生經(jīng)編碼的數(shù)據(jù)的步驟，其中在所述全視角稀疏讀 處理中，對(duì)有效圖像范圍中的像素執(zhí)行稀疏讀取以產(chǎn)生所述圖像信號(hào)，在所 述全像素部分讀處理中，從部分區(qū)域讀出所述有效圖像范圍的部分區(qū)域的所 有像素以產(chǎn)生所述圖像信號(hào)；基于不使用預(yù)測(cè)編碼的編碼系統(tǒng)對(duì)通過執(zhí)行所述全像素部分讀處理而獲 得的圖像信號(hào)執(zhí)行壓縮處理以產(chǎn)生經(jīng)編碼的數(shù)據(jù)的步驟；以及記錄所述經(jīng)編碼的數(shù)據(jù)的項(xiàng)目的步驟。
19、 一種再現(xiàn)設(shè)備，其被提供有再現(xiàn)單元，從記錄介質(zhì)讀出經(jīng)編碼的數(shù)據(jù)，其中在圖像傳感器已經(jīng)以設(shè) 置時(shí)間段為單元在全視角稀疏讀處理與全像素部分讀處理之間切換之后，基 于使用預(yù)測(cè)編碼的編碼系統(tǒng)來壓縮處理通過執(zhí)行全^L角稀疏讀處理而獲得的 圖像信號(hào)，并將其作為經(jīng)編碼的數(shù)據(jù)記錄在所述記錄介質(zhì)上，并且基于不使 用預(yù)測(cè)編碼的編碼系統(tǒng)來壓縮處理通過執(zhí)行全像素部分讀處理而獲得的圖像 信號(hào)，并將其作為經(jīng)編碼的數(shù)據(jù)記錄在所述記錄介質(zhì)上，其中在所述全視角 稀疏讀處理中，對(duì)有效圖像范圍中的像素執(zhí)行稀疏讀取以產(chǎn)生所述圖像信號(hào)， 在所述全像素部分讀處理中，從部分區(qū)域讀出所述有效圖像范圍的部分區(qū)域的所有像素以產(chǎn)生所述圖像信號(hào)；圖像解壓縮單元，解壓縮所讀取的經(jīng)編碼的數(shù)據(jù)，以產(chǎn)生圖像信號(hào)；以及圖像合成單元，使用在圖像解壓縮單元中產(chǎn)生的圖像信號(hào)來執(zhí)行合成， 其中圖像合成單元組合通過執(zhí)行全視角稀疏讀處理而獲得的圖像信號(hào)與 通過全像素部分讀處理而獲得的圖像信號(hào)。
20、 根據(jù)權(quán)利要求19所述的再現(xiàn)設(shè)備，其中所述再現(xiàn)單元從所述記錄介質(zhì)讀出基于使用所述預(yù)測(cè)編碼的編碼系統(tǒng)對(duì)其執(zhí)行了壓縮處理的經(jīng)編碼的數(shù) 據(jù)，而不讀取基于不使用所述預(yù)測(cè)編碼的編碼系統(tǒng)對(duì)其執(zhí)行了壓縮處理的經(jīng)編碼的數(shù)據(jù)，以及其中所述圖像解壓縮單元解壓縮所述經(jīng)編碼的數(shù)據(jù)，并將其作為參考時(shí) 間段的每個(gè)單元的圖像信號(hào)而輸出。
21、 一種再現(xiàn)方法，其被提供有從記錄介質(zhì)讀出經(jīng)編碼的數(shù)據(jù)的步驟，其中在圖像傳感器已經(jīng)以設(shè)置時(shí) 間段為單元、在全視角稀疏讀處理與全像素部分讀處理之間切換之后，基于 使用預(yù)測(cè)編碼的編碼系統(tǒng)來壓縮處理通過執(zhí)行全視角稀疏讀處理而獲得的圖 像信號(hào)，并將其作為經(jīng)編碼的數(shù)據(jù)記錄在所述記錄介質(zhì)上，并且基于不使用 預(yù)測(cè)編碼的編碼系統(tǒng)來壓縮處理通過執(zhí)行全像素部分讀處理而獲得的圖像信號(hào)，并將其作為經(jīng)編碼的lt據(jù)記錄在所述記錄介質(zhì)上；解壓縮所讀取的經(jīng)編碼的數(shù)據(jù)以產(chǎn)生圖像信號(hào)的步驟；以及 組合通過執(zhí)行全視角稀疏讀處理而獲得的圖像信號(hào)與通過全像素部分讀處理而獲得的圖像信號(hào)的步驟。
全文摘要
例如，本發(fā)明可應(yīng)用于成像設(shè)備，其產(chǎn)生用于稀疏每一預(yù)定場(chǎng)或幀的圖像信號(hào)，以便執(zhí)行權(quán)視角讀出，并產(chǎn)生用于在剩余場(chǎng)或幀中執(zhí)行全像素部分讀出的信號(hào)。
文檔編號(hào)H04N5/343GK101385334SQ20078000585
公開日2009年3月11日 申請(qǐng)日期2007年12月18日 優(yōu)先權(quán)日2006年12月18日
發(fā)明者宮腰大輔 申請(qǐng)人:索尼株式會(huì)社