專利名稱：圖像處理設(shè)備的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理設(shè)備，更具體地說，涉及用于圖像信號的編碼處理。
背景技術(shù)：
運動圖像專家組(MPEG)技術(shù)稱作用于圖像信號的編碼技術(shù)，并且在例如日本專利公開No.2002-199408和日本專利公開No.9-163379中描述。
在MPEG編碼技術(shù)中，圖像信號被分類成要編碼的I幀、P幀、及B幀。對于I幀，使用僅在同一幀內(nèi)的圖像信號進(jìn)行編碼。對于P幀，使用以前I幀或P幀的圖像信號進(jìn)行運動補償預(yù)測編碼。對于B幀，使用以前I幀或P幀和以后I幀或P幀的圖像信號進(jìn)行運動補償預(yù)測編碼。
為了使用有限傳輸速率的傳輸路徑傳輸MPEG編碼的圖像信號或者為了把MPEG編碼的圖像信號記錄在記錄介質(zhì)中，最好每單位時間的數(shù)據(jù)量(數(shù)據(jù)速率)保持恒定。用來保持?jǐn)?shù)據(jù)速率恒定的模式稱作恒定位速率(CBR)模式。
在MPEG技術(shù)中，P幀和B幀使用其它幀的圖像信號進(jìn)行運動補償預(yù)測編碼。因而，如果在屏幕中有很大變化，例如，如果新物體突然出現(xiàn)在P幀的屏幕中，則預(yù)測誤差增大。
而且，由于數(shù)據(jù)速率必須在CBR模式中保持恒定，所以如果預(yù)測誤差由于這樣一種大運動而增大，則量化步驟的寬度必須增大，以便減小數(shù)據(jù)的量。
因而，在包括大變化的一部分中的圖像的質(zhì)量，與其它幀相比被降低。

發(fā)明內(nèi)容
即使很大變化出現(xiàn)在屏幕中時，本發(fā)明也能防止圖像質(zhì)量的降低。
根據(jù)本發(fā)明的一個方面，圖像處理設(shè)備包括輸入單元，用來輸入運動圖像信號；抽取單元，用來抽取用于由輸入單元輸入的多個幀的運動圖像信號的一部分；編碼單元，用來使用幀內(nèi)編碼和幀間預(yù)測編碼而編碼由抽取單元抽取的運動圖像信號的所述部分；及控制單元，用來探測由輸入單元輸入的運動圖像信號的所述部分外的區(qū)域中的圖像的運動，并且用來按照運動探測的結(jié)果控制使用由編碼單元進(jìn)行的幀內(nèi)編碼來進(jìn)行編碼的時間。
由下面參照附圖對實施例如下描述，本發(fā)明的其他特征和優(yōu)點將變得顯而易見。


圖1表示根據(jù)本發(fā)明的圖像捕獲設(shè)備的結(jié)構(gòu)。
圖2表示在本發(fā)明的實施例中使用的圖像。
圖3A至3C表明在實施例中用來探測運動的操作。
圖4表示代碼量的變化。
圖5是流程圖，表示在實施例中用來控制編碼處理的過程。
圖6是說明圖，表示在實施例中代碼量的變化。
具體實施例方式
圖1是方塊圖，表示根據(jù)本發(fā)明實施例的圖像捕獲設(shè)備100的結(jié)構(gòu)。
根據(jù)這個實施例的圖像捕獲設(shè)備100，除拍攝運動圖像的功能外，具有拍攝靜止圖像的功能。
電荷耦合器件(CCD)101具有其數(shù)量適于拍攝靜止圖像的象素。
例如，盡管包括720+Y(水平方向)×480+X(垂直方向)的約350,000個象素對于通過通常的美國國家電視系統(tǒng)委員會(NTSC)系統(tǒng)得到運動圖像就足夠了，其中X和Y代表信號處理必需的幾個象素，但在這個實施例中提供具有包括1,600+Y(水平方向)×1,200+X(垂直方向)的約2,000,000個象素的CCD，以便拍攝靜止圖像。
信號處理單元102把從CCD 101輸出的圖像信號轉(zhuǎn)換成數(shù)字信號。在對圖像信號進(jìn)行其它的必要處理之后，信號處理單元102把處理的圖像信號輸出到存儲器103。存儲器103存儲用于從信號處理單元102輸出的多個幀的圖像信號。切出單元104按照攝影模式從在存儲器103中存儲的圖像信號抽取一個切出區(qū)域，并且把切出區(qū)域的圖像信號輸出到調(diào)整大小單元105。調(diào)整大小單元105根據(jù)攝影模式把從切出單元104輸出的圖像信號的象素數(shù)量減小到適于記錄格式的象素數(shù)量，并且把處理的圖像信號輸出到編碼單元106。
編碼單元106按照來自控制單元110的指令按MPEG或聯(lián)合圖像專家組(JPEG)格式對圖像信號編碼，并且把編碼的圖像信號輸出到記錄單元107。記錄單元107把編碼的圖像數(shù)據(jù)記錄在記錄介質(zhì)108中。例如，磁盤介質(zhì)用作在這個實施例中的記錄介質(zhì)。
運動探測單元109從在存儲器103中存儲的用于多個幀的圖像信號探測在由切出單元104讀出的切出區(qū)域與其它區(qū)域之間的運動向量，并且把運動向量輸出到控制單元110。
控制單元110按照來自操作單元111的指令在用于靜止圖像的攝影模式與用于運動圖像的攝影模式之間切換。在用于運動圖像的攝影模式中，控制單元110按照來自運動探測單元109的輸出控制由編碼單元106進(jìn)行的MPEG編碼處理。
圖2表示在這個實施例中使用的圖像信號。
參照圖2，從CCD 101讀出的圖像屏幕201由信號處理單元102處理。由切出單元104抽取切出區(qū)域202。調(diào)整大小屏幕203具有的圖像尺寸在用于運動圖像的攝影模式中由調(diào)整大小單元105減小。能按希望設(shè)置調(diào)整大小屏幕203的尺寸。
根據(jù)圖像捕獲設(shè)備，在用于靜止圖像的攝影模式中，當(dāng)從操作單元111給出攝影指令時，控制單元110控制信號處理單元102，以存儲用于在存儲器103中的幀的圖像信號。而且，控制單元110控制切出單元104和調(diào)整大小單元105以把在存儲器103中存儲的圖像信號的尺寸減小到指定尺寸，并且把處理的圖像信號輸出到編碼單元106。
在這個實施例中，在用于靜止圖像的攝影模式中，要拍攝的靜止圖像的尺寸(象素數(shù)量)能被設(shè)置到在圖2中表示的圖像屏幕201的尺寸內(nèi)的希望尺寸。
編碼單元106 JPEG對從調(diào)整大小單元105輸出的圖像信號編碼，并且把編碼的圖像信號輸出到記錄單元107。記錄單元107把編碼的靜止圖像信號記錄在記錄介質(zhì)108中。
將描述在用于運動圖像的攝影模式中進(jìn)行的處理。
當(dāng)從操作單元111給出用來啟動拍攝運動圖像的指令時，控制單元110控制信號處理單元102，以便對于每個幀把從CCD 101輸出的圖像信號順序?qū)懺诖鎯ζ?03中。在用于運動圖像的攝影模式中，圖像信號的預(yù)定切出區(qū)域(象素的數(shù)量)202由切出單元104從在存儲器103中存儲的在圖2中表示的圖像屏幕201抽取，并且輸出到調(diào)整大小單元105。在如上所述順序處理圖像信號之后，處理的圖像信號被輸出到編碼單元106。編碼單元106對已處理的運動圖像數(shù)據(jù)編碼，并且記錄單元107把編碼的運動圖像數(shù)據(jù)記錄在記錄介質(zhì)108中。如上所述，在用于運動圖像的攝影模式中，從CCD 101輸出的部分圖像被抽取和記錄。
在用于運動圖像的攝影模式中，控制單元110按照由運動探測單元109探測的輸出控制編碼單元106。
接著描述由控制單元110進(jìn)行的控制操作。
圖3A至3C表示在攝影場景中的圖像。圖3A、3B、及3C分別表示在時刻Ta、Tb、及Tc的圖像。
參照圖3A至3C，圖像屏幕301的尺寸等于從CCD 101輸出的圖像的尺寸，如在圖2中表示的圖像屏幕201中那樣。而且，記錄區(qū)域302代表在用于運動圖像的攝影模式中由切出單元104抽取的區(qū)域，如在圖2中表示的切出區(qū)域202中那樣。提供物體303和304。
在圖3A表示的時刻Ta，物體303存在于記錄區(qū)域302內(nèi)。如圖3B和3C中所示，物體304隨著從時刻Tb到時刻Tc的一段時間，在時刻Tc時在記錄區(qū)域302中運動。
圖4表示當(dāng)像在圖3A至3C中表示的這樣一種場景被MPEG編碼時的數(shù)據(jù)的量。
參照圖4，I代表I幀，而P代表P幀。為了解釋更簡單起見，表示其中沒有B幀的例子。而且，幀號碼被添加在用于幀號碼的軸線上，以便順序代表幀。
這里，每五個幀插入I幀。
在幀類型下面表示時刻Ta、Tb、及Tc。用于每幀的數(shù)據(jù)量相對地表示在數(shù)據(jù)量的軸線上。為了解釋更簡單起見，數(shù)據(jù)量被分類成四級作為近似值。這里，較大數(shù)字代表較大量的數(shù)據(jù)。
在CBR模式中，控制數(shù)據(jù)量，從而數(shù)據(jù)的平均量是12/5。
由于在時刻Ta的幀1是I幀，I幀具有大量數(shù)據(jù)，級是4。然后，由于幀2至5是P幀，P幀具有較小量數(shù)據(jù)，級是2。
由于在以前的I幀之后在時刻Tb的幀6是五個幀，所以幀6是I幀，并且?guī)?的級是4。
盡管在時刻Tb的幀以后的幀7是P幀，但由于物體304在時刻Tc運動到記錄區(qū)域302內(nèi)，所以在幀6與7之間的差增大。因而，數(shù)據(jù)量的級是3。
幀8的數(shù)據(jù)量的級應(yīng)該是2，因為在幀7與8之間有較小的差。然而，由于是以前幀的幀7的級是3，所以如果幀8的級被設(shè)置到2，則在預(yù)定時刻的平均數(shù)據(jù)量超過一個基準(zhǔn)量。因而，幀8的數(shù)據(jù)量的級不可避免地設(shè)置到1。然后，幀9和10的級是2。在幀11中，插入I幀，并且數(shù)據(jù)量的級是4。因而，從幀6至10的平均數(shù)據(jù)量是12/5。
如果如上述那樣通過在預(yù)定時段處插入I幀進(jìn)行編碼，則當(dāng)新物體突然運動到屏幕中時，如圖3C中所示，代碼的量增大，并且圖像的質(zhì)量降低。
在這個實施例中，在用于運動圖像的攝影模式中，如圖3B和3C中所示，探測在記錄區(qū)域302外的物體的運動，并且按照運動探測的結(jié)果改變編碼處理。
換句話說，在圖1中表示的運動探測單元109從在存儲單元103中存儲的用于兩個連續(xù)幀的圖像探測在記錄區(qū)域302外的圖像的運動向量，并且把結(jié)果輸出到控制單元110。
更具體地說，在圖3B中表示的屏幕中，使用緊在前面的屏幕的圖像信號探測物體304的運動向量。在這種情況下，由于探測到物體304向屏幕左方的運動，所以關(guān)于物體的位置的信息和探測的運動向量輸出到控制單元110。
如果例如按照來自運動探測單元109的輸出在時刻Tb的幀是I幀，則控制單元110控制編碼單元106，以延遲用來插入I幀的時刻并且把在時刻Tb的屏幕編碼為P幀。
接下來參考圖5所示的流程圖描述當(dāng)進(jìn)行編碼處理時由控制單元110進(jìn)行的處理。
當(dāng)編碼處理開始時，代表I幀的插入間隔的I_CNT設(shè)置到4，并且代表用來計數(shù)被處理的幀數(shù)的變量的F_CNT設(shè)置到0(步驟S501)。換句話說，當(dāng)幀數(shù)量通過從0計數(shù)變成4時，插入I幀。然后，確定F_CNT是否大于或等于I_CNT(步驟S502)。如果F_CNT大于或等于I_CNT，即，如果F_CNT是4或更大，則確定在這種計時下應(yīng)該插入I幀。在步驟S503，按照來自運動探測單元109的輸出確定用來插入I幀的時刻是否應(yīng)該延遲。
運動探測單元109探測在圖3A至3C中表示的圖像屏幕301中的記錄區(qū)域302外的圖像的運動向量。假設(shè)在特定宏塊內(nèi)的物體以相同速度運動，運動探測單元109預(yù)測物體運動到記錄區(qū)域302內(nèi)的時刻。
當(dāng)預(yù)測在記錄區(qū)域302外的物體在與以后幀相對應(yīng)的時刻運動到記錄區(qū)域302內(nèi)時，輸出一個延遲信號。
當(dāng)沒有從運動探測單元109輸出延遲信號時，控制單元110控制編碼單元106以把幀編碼為I幀(步驟S504)，并且把F_CNT設(shè)置到0(步驟S505)。然后，過程返回到步驟S502。
如果在步驟S503從運動探測單元109輸出用于I幀的延遲信號，則編碼單元106被控制成把幀編碼為P幀(步驟S506)，并且把1添加到F_CNT上(步驟S507)。然后，過程返回到步驟S502。
而且，如果在步驟S502中F_CNT沒有達(dá)到I_CNT(4)，則確定不是用來插入I幀的時刻，并且把幀編碼為P幀(步驟S506)，及把1添加到F_CNT上(步驟S507)。然后，過程返回到步驟S502。
圖6表示當(dāng)在圖3A至3C中表示的場景被按上述那樣編碼時的數(shù)據(jù)量。
由于在時刻Ta的幀1是具有大量數(shù)據(jù)的I幀，所以級是4。然后，由于幀2至5是具有相對較小數(shù)據(jù)量的P幀，所以級是2。
盡管在時刻Tb的幀6應(yīng)該是I幀，但由于幀6是在以前I幀之后的五個幀，所以這里反映由運動探測單元109進(jìn)行的探測結(jié)果。
這里，運動探測單元109對于在存儲器103中存儲的多個幀探測在圖像信號的記錄區(qū)域302外的區(qū)域中的運動。盡管物體304位于在圖3B中的記錄區(qū)域302外，但預(yù)測物體304在與以后幀相對應(yīng)的時刻運動到記錄區(qū)域302內(nèi)。
運動探測單元109把一個用來延遲I幀插入的延遲信號輸出到控制單元110。
控制單元110接收延遲信號，并且控制編碼單元106，以延遲I幀的插入。
因而，編碼單元106把幀6編碼為P幀而不編碼為I幀。因而，數(shù)據(jù)量的級是2。物體304在時刻Tc運動到屏幕內(nèi)，并且在幀6與7之間的圖像差增大。然而，由于控制單元110預(yù)先接收到延遲信號，所以控制單元110指令編碼單元106把幀7編碼為I幀。因而，幀7的數(shù)據(jù)量的級是4。
計數(shù)以后的幀用于參照幀7插入I幀。
換句話說，幀8到11被編碼為P幀。由于有來自相應(yīng)以前幀的很小圖像差，所以數(shù)據(jù)量是2。對于幀12，如果沒有圖像運動到記錄區(qū)域302中，則不輸出延遲信號，并且插入I幀。因而，數(shù)據(jù)量是4。
在這種情況下，幀1至5的平均值和幀7至11的平均值的每一個是12/5。然而，幀2至6的平均值是10/5，并且這落在希望的數(shù)據(jù)率12/5以下。
盡管這沒有嚴(yán)格地定義為CBR，但不需要增大在僅包括很小圖像變化的區(qū)域中的數(shù)據(jù)量。換句話說，不降低圖像質(zhì)量的數(shù)據(jù)量的減小不會引起實際問題。
如上所述，根據(jù)這個實施例，當(dāng)拍攝圖像的部分被抽取、被編碼為運動圖像、及記錄時，探測在記錄區(qū)域外的物體的運動。如果確定新物體運動到記錄區(qū)域內(nèi)，則改變用來插入I幀的時刻。因而，能防止歸因于預(yù)測誤差的增大的圖像質(zhì)量的降低。
盡管在上述實施例中描述了其中通過使用對于靜止圖像攝影比對于運動圖像攝影具有更多象素的CCD而拍攝和編碼一個運動圖像信號的情形，但本發(fā)明不限于此。本發(fā)明也適用于裝有比與記錄區(qū)域相對應(yīng)的象素有更多象素的CCD的圖像捕獲設(shè)備，以便補償在拍攝運動圖像時的模糊。
更具體地說，為了補償模糊，例如，根據(jù)整個圖像的運動向量運動在圖2中表示的圖像的切出區(qū)域202。在這樣一種布置中，預(yù)測來自切出區(qū)域外的區(qū)域的物體的運動，并且改變用來插入I幀的時刻。因而，能防止歸因于代碼量增大的圖像質(zhì)量的降低。
而且，盡管作為在上述實施例中的規(guī)則對于每五個幀插入I幀，但當(dāng)延遲I幀的插入時，該延遲引起與規(guī)則的偏差。此外，數(shù)據(jù)量臨時落到平均值以下。
這在上述實施例中不重要，然而，依據(jù)該系統(tǒng)可能出現(xiàn)不方便。
在這種情況下，即使延遲I幀的插入，下個I幀也可以被控制成在用于插入的原始計劃時刻被插入。
例如，在圖6中，對于每五個幀在幀1、幀6、及幀11中應(yīng)該原始插入I幀。在這種情況下，即使當(dāng)延遲I幀在幀6中的插入時，下個I幀也被插入在幀12中。
這種布置能與其中對于每五個幀插入I幀的布置相一致，并且與恒定位速率的規(guī)則相一致。通過改變控制單元110的控制程序能進(jìn)行這種布置。
而且，用戶能按希望改變在用于運動圖像的攝影模式中要抽取的圖像的區(qū)域。
盡管參照當(dāng)前認(rèn)為是實施例的方案已經(jīng)描述了本發(fā)明，但要理解，本發(fā)明不限于公開的實施例。相反，本發(fā)明打算覆蓋包括在所附權(quán)利要求書的精神和范圍內(nèi)的各種修改和等效布置。如下權(quán)利要求書的范圍要符合最廣義的解釋，以便包容所有這樣的修改和等效結(jié)構(gòu)與功能。
權(quán)利要求
1.一種圖像處理設(shè)備，包括輸入裝置，用來輸入運動圖像信號；抽取裝置，用來抽取用于由所述輸入裝置輸入的多個幀的運動圖像信號的一部分；編碼裝置，用來使用幀內(nèi)編碼和幀間預(yù)測編碼對由所述抽取裝置抽取的所述運動圖像信號的所述部分編碼；及控制裝置，用來探測在由所述輸入裝置輸入的所述運動圖像信號的所述部分外的區(qū)域中的圖像的運動，并且用來按照運動探測的結(jié)果控制用于使用所述由編碼裝置進(jìn)行的所述幀內(nèi)編碼進(jìn)行編碼的時間。
2.根據(jù)權(quán)利要求1所述的設(shè)備，其中所述控制裝置探測在當(dāng)前幀中的所述部分外的所述區(qū)域中的所述圖像在連續(xù)隨后幀中運動到所述部分內(nèi)；并且所述控制裝置把所述編碼裝置控制成，使用所述幀間預(yù)測編碼而對在所述當(dāng)前幀中的所述圖像信號編碼并且使用所述幀內(nèi)編碼而對在所述連續(xù)隨后幀中的所述圖像信號編碼。
3.根據(jù)權(quán)利要求1所述的設(shè)備，其中所述編碼裝置對于預(yù)定幀間隔下的每個幀使用所述幀內(nèi)編碼進(jìn)行編碼；并且即使當(dāng)相應(yīng)當(dāng)前幀使用所述幀內(nèi)編碼被編碼時，當(dāng)在所述相應(yīng)當(dāng)前幀中的所述部分外的所述區(qū)域中的所述圖像被探測到在所述連續(xù)隨后幀中運動到所述部分內(nèi)時，所述控制裝置也把所述編碼裝置控制成，使用所述幀間預(yù)測編碼而對所述當(dāng)前幀編碼。
4.根據(jù)權(quán)利要求1所述的設(shè)備，其中由所述抽取裝置抽取的所述部分的尺寸是可變的。
5.根據(jù)權(quán)利要求1所述的設(shè)備，還包括設(shè)置裝置，用來設(shè)置運動模式和靜止圖像模式，在所述運動模式中，所述編碼裝置對由所述輸入裝置輸入的所述運動圖像信號編碼，而在所述靜止圖像模式中，由所述輸入裝置輸入的運動圖像信號的一個幀被選擇，并且所述編碼裝置對所述被選擇的幀的所述圖像信號編碼，其中在所述靜止模式中由所述抽取裝置抽取的區(qū)域大于在所述運動圖像模式中由所述抽取裝置抽取的所述部分。
6.根據(jù)權(quán)利要求1所述的設(shè)備，其中所述輸入裝置包括用來存儲用于所述多個幀的所述運動圖像信號的存儲器；并且所述控制裝置使用在所述存儲器中存儲的用于所述多個幀的所述運動圖像信號探測運動。
7.根據(jù)權(quán)利要求1所述的設(shè)備，其中所述輸入裝置包括用來拍攝物體和輸出所述運動圖像信號的圖像捕獲單元。
8.根據(jù)權(quán)利要求7所述的設(shè)備，其中所述抽取裝置包括用來存儲由所述圖像捕獲單元獲得的所述運動圖像信號的存儲器；并且通過按照根據(jù)所述運動圖像信號的所述圖像運動量而改變在所述存儲器中存儲的所述運動圖像信號的所述部分的位置，補償根據(jù)所述運動圖像信號的圖像模糊。
9.根據(jù)權(quán)利要求1所述的設(shè)備，還包括用來把由所述編碼裝置編碼的所述運動圖像信號的所述部分記錄到記錄介質(zhì)中的記錄裝置。
10.一種圖像處理設(shè)備，包括輸入裝置，用來輸入運動圖像信號；抽取裝置，用來抽取用于由所述輸入裝置輸入的多個幀的所述運動圖像信號的一部分；編碼裝置，用來對由所述抽取裝置抽取的所述運動圖像信號的所述部分編碼；及控制裝置，用來探測在由所述輸入裝置輸入的所述運動圖像信號的所述部分之外的區(qū)域中的圖像的運動，并且用來按照所述運動的探測結(jié)果控制由所述編碼裝置進(jìn)行的編碼處理。
全文摘要
根據(jù)本發(fā)明的一種圖像處理設(shè)備包括輸入單元，用來輸入運動圖像信號；抽取單元，用來抽取用于由輸入單元輸入的多個幀的運動圖像信號的部分；編碼單元，用來使用幀內(nèi)編碼和幀間預(yù)測編碼而編碼由抽取單元抽取的運動圖像信號的所述部分；及控制單元，用來探測由輸入單元輸入的運動圖像信號的所述部分外的區(qū)域中的圖像的運動，并且用來按照運動探測的結(jié)果控制使用由編碼單元進(jìn)行的幀內(nèi)編碼來進(jìn)行編碼的時間。
文檔編號H04N7/26GK1638485SQ200410097039
公開日2005年7月13日 申請日期2004年12月21日 優(yōu)先權(quán)日2003年12月22日
發(fā)明者福島信男 申請人:佳能株式會社