專利名稱：活動(dòng)圖像數(shù)據(jù)的編碼方法、解碼方法及實(shí)施這些方法的終端裝置、以及雙向?qū)υ捫拖到y(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及適用于由接在網(wǎng)絡(luò)上的多個(gè)終端裝置所構(gòu)成的雙向?qū)υ捫拖到y(tǒng)特有的對(duì)話環(huán)境的圖像處理技術(shù)，特別是關(guān)于在該終端裝置間發(fā)送接收的活動(dòng)圖像數(shù)據(jù)的編碼、解碼方法等。
背景技術(shù)：
近年，有提出在遠(yuǎn)隔兩地的對(duì)話者之間，實(shí)現(xiàn)使對(duì)方對(duì)話者的圖像互相成視線一致的狀態(tài)下，一邊顯示在監(jiān)視器上，一邊進(jìn)行電視會(huì)議(televisionsession)，或咨詢輔導(dǎo)(counseling)等的親密的對(duì)話的雙向?qū)υ捫拖到y(tǒng)。此視線一致的技術(shù)有各種不同的提案，通過將CCD攝像機(jī)那樣的攝像裝置配置在顯示對(duì)方對(duì)話者的圖像的監(jiān)視器的規(guī)定位置上而達(dá)成視線一致(參照專利文獻(xiàn)1)。
專利文獻(xiàn)1日本專利第3074677號(hào)公報(bào)非專利文獻(xiàn)1日本昭和42年電氣通信學(xué)會(huì)聯(lián)合大會(huì)(NO.1998)。

發(fā)明內(nèi)容
(發(fā)明欲解決的課題)發(fā)明者等針對(duì)上述那樣的雙向?qū)υ捫拖到y(tǒng)檢討的結(jié)果，發(fā)現(xiàn)下述那樣的課題。即，經(jīng)由規(guī)定的傳送裝置相互發(fā)送對(duì)話者的活動(dòng)圖像數(shù)據(jù)的情況下，目前的通信環(huán)境在線路的發(fā)送容量和圖像修理能力上有其界限，一般是進(jìn)行數(shù)據(jù)壓縮。作為這種活動(dòng)圖像的壓縮方式，MPEG方式被廣泛地利用在電影分配服務(wù)等。不過，此MPEG方式因在時(shí)間軸方向也進(jìn)行壓縮，故在實(shí)時(shí)(realtime)性的雙向?qū)υ捝蠠o法避免顯示延遲，進(jìn)而產(chǎn)生無法達(dá)成在相隔兩地間順暢對(duì)話的雙向?qū)υ挼恼n題。
另外，發(fā)明者等依據(jù)在上述雙向?qū)υ捫拖到y(tǒng)那樣的視線一致的狀態(tài)下的對(duì)話的心理上的考察，發(fā)現(xiàn)對(duì)話時(shí)對(duì)話者因要觀察對(duì)方對(duì)話者的表情，視線大多集中在該對(duì)方對(duì)話者的臉，非語言(non-verbal)表現(xiàn)的手勢(shì)。這種情況下，不必逐次發(fā)送包含對(duì)話時(shí)的對(duì)話者圖像的整個(gè)畫面，若只著重于對(duì)話時(shí)的重要觀察區(qū)域，也即對(duì)話者的臉部，和手勢(shì)等屬于該對(duì)話者的興趣區(qū)域(ROIRegion of Interest)而發(fā)送活動(dòng)圖像的話則能減少發(fā)送量，另外，對(duì)實(shí)現(xiàn)雙向?qū)υ挼母咚夙憫?yīng)性也甚具效果。
這樣，作為僅重視興趣區(qū)域的圖像處理，已知有例如JPEG2000 Part-1方式的ROI編碼。此ROI編碼是一種將興趣區(qū)域的畫質(zhì)提高到比非興趣區(qū)域的畫質(zhì)好的圖像處理技術(shù)。這里，一般JPEG2000方式大家所知者為靜止圖像的壓縮方式，對(duì)圖像數(shù)據(jù)進(jìn)行相當(dāng)于離散小波變換，非向量的量子化(scalar quantization)，熵編碼(entropy encoding)以及發(fā)送率控制的處理(EBCOTEmbedded Block Coding With Optimized Truncation最佳化截?cái)嗟穆裰脭?shù)據(jù)區(qū)塊編碼)以進(jìn)行圖像壓縮。ROI編碼是將設(shè)定在靜止圖像內(nèi)的興趣區(qū)域上小波系數(shù)設(shè)定得比非興趣區(qū)域上小波系數(shù)高，由此使興趣區(qū)域的畫質(zhì)比非興趣區(qū)域的畫質(zhì)高。
不過，JPEG2000 Part-1方式的ROI編碼因在興趣區(qū)域和非興趣區(qū)域上壓縮級(jí)別(level)雖有差別，但合計(jì)碼量不變的緣故，無法減輕編碼處理自身，另外，也無法減少獲得的編碼數(shù)據(jù)的發(fā)送量。再者，ROI編碼雖通過調(diào)節(jié)小波系數(shù)而執(zhí)行，但此小波系數(shù)因?yàn)槭褂枚鄠€(gè)空間像素(spatial pixel)計(jì)算，故解碼后的靜止圖像上興趣區(qū)域和非興趣區(qū)域的境界變成模糊不清，導(dǎo)致有無法執(zhí)行只將興趣區(qū)域置入別的圖像等的圖像處理的課題。
本發(fā)明是為了解決上述課題而創(chuàng)作出者，其目的是提供一種適用于通過連接于網(wǎng)絡(luò)上的多個(gè)終端裝置所構(gòu)成的雙向?qū)υ捫拖到y(tǒng)的圖像處理技術(shù)，其為包括用于有效地減輕各終端裝置上的處理負(fù)載的同時(shí)還實(shí)現(xiàn)該處理的高速化的結(jié)構(gòu)的活動(dòng)圖像數(shù)據(jù)的編碼方法，解碼方法，執(zhí)行它們的計(jì)算機(jī)程序，記錄該計(jì)算機(jī)程序的記錄媒體，實(shí)施上述的終端裝置及含有該終端裝置的雙向?qū)υ捫拖到y(tǒng)。
(解決課題的方法)本發(fā)明有關(guān)的活動(dòng)圖像數(shù)據(jù)的編碼方法為將構(gòu)成活動(dòng)圖像數(shù)據(jù)的圖像幀分別沿著時(shí)間軸順序地壓縮的圖像處理技術(shù)，如上述的雙向?qū)υ捫拖到y(tǒng)那樣，于僅在應(yīng)顯示的畫面幀內(nèi)的一部分區(qū)域上含有有意義的信息的動(dòng)作環(huán)境下能有效地利用資源，同時(shí)能進(jìn)行實(shí)時(shí)的數(shù)據(jù)發(fā)送接收的圖像處理技術(shù)。另外，構(gòu)成活動(dòng)圖像數(shù)據(jù)的圖像幀分別與靜止圖像等效。另外，人物像等的圖像，能將背景視為靜止圖像。因此，本發(fā)明對(duì)于通過power point(微軟公司的注冊(cè)商標(biāo))，表計(jì)算軟件(例如“Excel”等)，文字處理軟件(例如”Word”等)，瀏覽器(Browser)等的應(yīng)用軟件產(chǎn)生的資料數(shù)據(jù)(文本數(shù)據(jù)(text)，相片，圖像等)的發(fā)送也是有效。也即這樣的應(yīng)用程序產(chǎn)生的顯示數(shù)據(jù)，隨著時(shí)間的經(jīng)過頻繁地產(chǎn)生部分的變化(例如，游標(biāo)(cursor)的移動(dòng)，和字符的追加顯示等)，因此通過將每一定時(shí)間的顯示數(shù)據(jù)作為一個(gè)圖像幀，整體上能當(dāng)作活動(dòng)圖像數(shù)據(jù)處理?；诖它c(diǎn)，本說明書里，在活動(dòng)圖像數(shù)據(jù)上，除了通過攝像裝置等攝取的圖像數(shù)據(jù)外還含有通過上述應(yīng)用軟件等產(chǎn)生的顯示數(shù)據(jù)，靜止圖像和活動(dòng)圖像的組合等。再者，上述應(yīng)用軟件等所產(chǎn)生的數(shù)據(jù)檔一旦轉(zhuǎn)換為圖像數(shù)據(jù)后即被施予壓縮等的處理。
具體說，本發(fā)明有關(guān)的活動(dòng)圖像數(shù)據(jù)的編碼方法的特征是在圖像壓縮前將構(gòu)成活動(dòng)圖像數(shù)據(jù)的圖像幀中應(yīng)編碼的圖像幀分割成多個(gè)區(qū)域，將該多個(gè)分割區(qū)域分別對(duì)應(yīng)于在圖像幀內(nèi)設(shè)定的興趣區(qū)域及與該興趣區(qū)域不同的非興趣區(qū)域的任一個(gè)。而該活動(dòng)圖像數(shù)據(jù)的編碼方法是使多個(gè)分割區(qū)域中對(duì)應(yīng)興趣區(qū)域(以下，稱ROI)的分割區(qū)域的碼量比對(duì)應(yīng)于非興趣區(qū)域(以下稱非ROI)的分割區(qū)域的碼量多那樣壓縮該多個(gè)分割區(qū)域的各個(gè)區(qū)域，由此產(chǎn)生各個(gè)圖像幀的編碼數(shù)據(jù)。再者，圖像幀的分割區(qū)域的形狀，不限定于正方形，長(zhǎng)方形等的矩形形狀，也可以是為，例如，三角形，菱形，梯形，平行四邊形等種種的多邊形狀。另外，這些分割區(qū)域也可以是由多個(gè)種類的多邊形的組合，和含有構(gòu)成圓形或橢圓形狀等的一部分的曲線等各種不同形狀所構(gòu)成。但是，下文的說明，為了簡(jiǎn)單起見，這些分割區(qū)域用矩形區(qū)域表示。
如上述那樣，本發(fā)明有關(guān)的活動(dòng)圖像數(shù)據(jù)的編碼方法因?yàn)檠刂鴷r(shí)間軸個(gè)別壓縮構(gòu)成活動(dòng)圖像數(shù)據(jù)的圖像幀，故與在時(shí)間軸方向同時(shí)進(jìn)行壓縮的MPEG方式不同，高速響應(yīng)性出色。另外，該活動(dòng)圖像數(shù)據(jù)的編碼方法因?yàn)閭€(gè)別地壓縮構(gòu)成活動(dòng)圖像數(shù)據(jù)的圖像幀，故能利用例如，屬于靜止圖像壓縮方式的JPEG2000(以下稱JP2)。有關(guān)此JP2，以往已有提出多個(gè)方式，本發(fā)明對(duì)任何方式皆能適用，作為一例，上述的Part-I方式等為即使不經(jīng)許可也能廣泛利用的技術(shù)。例如，將一個(gè)圖像幀分割成多個(gè)矩形區(qū)域的技術(shù)通過利用JP2的馬賽克化(tiling)技術(shù)能容易地實(shí)現(xiàn)。這里，所謂JP2的馬賽克化是指將處理單位變小，由此能進(jìn)行大規(guī)模圖像的編碼和并行處理的技術(shù)，將一個(gè)圖像幀分割成幾個(gè)馬賽克(相當(dāng)于上述的矩形區(qū)域)，能個(gè)別處理被分割的這些馬賽克(tile)。
因此，若將被分割的多個(gè)矩形區(qū)域分別對(duì)應(yīng)于ROI及非ROI的任何一個(gè)，依這些對(duì)應(yīng)關(guān)系調(diào)節(jié)每個(gè)矩形區(qū)域的壓縮級(jí)別，利用既存的JP2技術(shù)，能實(shí)現(xiàn)達(dá)到與以往的ROI編碼同等的效果的該活動(dòng)圖像數(shù)據(jù)的編碼方法。另外，該活動(dòng)圖像數(shù)據(jù)的編碼方法因?yàn)橐烂總€(gè)分割的矩形區(qū)域進(jìn)行壓縮級(jí)別不同的編碼，故不會(huì)像以往的ROI編碼那樣ROI和非ROI的境界模糊不清。
再者，上述ROI的設(shè)定可由使用者自行事先設(shè)定或者在進(jìn)行通信當(dāng)中變更設(shè)定，另外，也可在多個(gè)分割區(qū)域中自動(dòng)地將被檢測(cè)出區(qū)域內(nèi)圖像有移動(dòng)的分割區(qū)域?qū)?yīng)于ROI。
本發(fā)明有關(guān)的活動(dòng)圖像數(shù)據(jù)的編碼方法，也可將多個(gè)矩形區(qū)域?qū)?yīng)于上述的ROI上，這種情況下，優(yōu)選將各個(gè)矩形區(qū)域壓縮成具有不同的碼量。這是依上述的發(fā)明者的知識(shí)而進(jìn)行的，是從在雙向?qū)υ捫拖到y(tǒng)那樣視線一致的狀態(tài)下的對(duì)話時(shí)的心理上的考察發(fā)現(xiàn)的事實(shí)，也即對(duì)話時(shí)的對(duì)話者為了觀察對(duì)話的對(duì)方的表情，視線大多集中在對(duì)話的對(duì)方的臉和非語言(non-verbal)表現(xiàn)的手勢(shì)。即，若高速地(例如，30幀/秒(fps)，延遲200m sec以下)顯示對(duì)話對(duì)方的表情，頭的移動(dòng)，手勢(shì)，上半身的移動(dòng)等，則不需發(fā)送背影和衣服的詳細(xì)模樣等的信息。但是，對(duì)話對(duì)方的表情除了要求最細(xì)微且高速地顯示視線、眼睛、眉間的微妙的變化等外，非語言表現(xiàn)的手勢(shì)，如手的移動(dòng)、輪廓的高速響應(yīng)移動(dòng)顯示是重要的。這時(shí)手本身的畫質(zhì)縱然降低但對(duì)對(duì)話的本質(zhì)的影響僅止于輕度。因此，考慮上述雙向?qū)υ捫拖到y(tǒng)特有的對(duì)話環(huán)境，上述ROI更優(yōu)選是分成包含對(duì)話時(shí)高精細(xì)高速響應(yīng)的臉部，頭部的高精細(xì)且高速顯示區(qū)域和包含手，手腕，胸部等的中等精細(xì)且高速顯示區(qū)域，這種情況下，包含背景等的低精細(xì)且低速顯示區(qū)域配屬在非ROI。這樣考慮對(duì)對(duì)話的影響度，在圖像幀內(nèi)分類成壓縮級(jí)別分段改變的多個(gè)種類的區(qū)域，對(duì)在減輕圖像處理負(fù)載的狀態(tài)下實(shí)現(xiàn)順暢的雙向?qū)υ捝细行А?br> 若考慮對(duì)圖像幀內(nèi)的各個(gè)區(qū)域的對(duì)話的影響度時(shí)，在上述多個(gè)矩形區(qū)域之中對(duì)對(duì)應(yīng)非ROI的矩形區(qū)域的編碼處理上，也可將該矩形區(qū)域的碼量在一定期間中設(shè)定為0(使非ROI不編碼)。也即，被包含于屬于非ROI的低精細(xì)且低速顯示區(qū)域內(nèi)的背景等不如將靜止圖像高精細(xì)地粘貼顯示來得有效之故。例如，在家里進(jìn)行遠(yuǎn)距離對(duì)話時(shí)對(duì)家中作最小限度的攝像即能應(yīng)付。將來也能想象僅提取人物，背景則是全部貼上從數(shù)據(jù)庫(data base)選出的圖像(矩形區(qū)域)，現(xiàn)實(shí)上，背景等的非ROI僅是一定時(shí)間才編碼，縱使僅將人物的臉部等的ROI編碼，但在該活動(dòng)圖像數(shù)據(jù)的編碼方法上，這些ROI和非ROI的境界明確，因此在非ROI不編碼期間，在該對(duì)應(yīng)的矩形區(qū)域上粘貼已解碼前的圖像是有效的。特別是這種情況下，圖像幀整體的編碼處理能減輕，因此也能期待安裝編碼的軟件。
本發(fā)明有關(guān)的活動(dòng)圖像數(shù)據(jù)的編碼方法，相當(dāng)于對(duì)應(yīng)上述多個(gè)矩形區(qū)域中的ROI的矩形區(qū)域的編碼數(shù)據(jù)也可以再予以加密(encryption)。但是加密對(duì)象并不是僅限定于ROI，使用者可任意設(shè)定。這對(duì)利用雙向?qū)υ捫拖到y(tǒng)的對(duì)話者的隱私(privacy)的保護(hù)特別重要。如上述那樣實(shí)現(xiàn)對(duì)話者間視線一致的狀態(tài)的雙向?qū)υ捫拖到y(tǒng)，除了單純?cè)谏虅?wù)場(chǎng)面(business scene)上利用的電視會(huì)議(television session)系統(tǒng)之外，也被視為有希望適用于懷有因?yàn)?zāi)害事故等所造成的后遺癥的人的咨詢輔導(dǎo)(counseling)等治療系統(tǒng)。另外，雙向?qū)υ捝弦蝽氁用?encryption)及解密(decryption)，故通過只對(duì)對(duì)話時(shí)興趣區(qū)域加密，能更為有效率地進(jìn)行圖像處理。對(duì)話時(shí)的興趣區(qū)域(ROI)主要是對(duì)話對(duì)方的圖像的臉部，若不能判別這部分時(shí)則個(gè)人的辨識(shí)非常困難。因此，若僅以屬于高精細(xì)(低壓縮率)且高速顯示區(qū)域的ROI為重點(diǎn)進(jìn)行加密時(shí)對(duì)話者的隱私則能獲得充分的保護(hù)。另外，在辨識(shí)個(gè)人上聲音也重要，通過與圖像獨(dú)立的加密，能構(gòu)筑更強(qiáng)固的安全性(security)。
本發(fā)明有關(guān)的活動(dòng)圖像數(shù)據(jù)的編碼方法，構(gòu)成該活動(dòng)圖像數(shù)據(jù)的圖像幀也可分割為對(duì)ROI成一致的一個(gè)矩形區(qū)域。這種情況下，能減少矩形區(qū)域的分割數(shù)。另外，對(duì)話開始時(shí)設(shè)定的ROI的大小，在對(duì)話中有改變的情況。因此，對(duì)應(yīng)ROI大小的變動(dòng)，動(dòng)態(tài)地變更矩形區(qū)域的分割尺寸，由此，更能有效率地分散圖像處理的負(fù)載。再者，即便矩形區(qū)域的尺寸不對(duì)應(yīng)ROI的尺寸變更時(shí)也能對(duì)應(yīng)ROI的尺寸的變動(dòng)，動(dòng)態(tài)地變更對(duì)應(yīng)于該ROI的矩形區(qū)域。另外，在對(duì)話中，使用者也能利用鼠標(biāo)等的輸入裝置任意地變更ROI的尺寸。本說明書里，所謂「動(dòng)態(tài)」是指除對(duì)應(yīng)狀況的變化自動(dòng)地追隨的情況之外，也含有使用者視狀況任意地變更設(shè)定的情況。
如上述那樣的對(duì)話中的矩形區(qū)域的尺寸和對(duì)應(yīng)關(guān)系的變更，與眼睛，和嘴巴，臉部的動(dòng)作不同，因手的動(dòng)作等依人的不同而有極大的差異而執(zhí)行。也即，對(duì)靜止的手并不是經(jīng)常執(zhí)行一定的壓縮，對(duì)手的動(dòng)作多的人，少的人另加上當(dāng)時(shí)的對(duì)話狀況，不是用固定壓縮率和固定分割，而是自適應(yīng)地(adaptive)設(shè)定壓縮率和分割尺寸，由此能進(jìn)行最佳的圖像處理。
上述那樣的活動(dòng)圖像數(shù)據(jù)編碼方法若采用JP2技術(shù)時(shí)通過馬賽克化(tiling)分割的各個(gè)矩形區(qū)域(tile)，依每個(gè)區(qū)域改變壓縮級(jí)別(壓縮級(jí)別愈高碼量愈少)，由此，除了能獲得實(shí)質(zhì)上與ROI編碼同等的效果，同時(shí)通過JP2技術(shù)能容易解碼。不過，對(duì)應(yīng)屬于編碼對(duì)象的圖像幀內(nèi)的非ROI的矩形區(qū)域的碼量若設(shè)定為0時(shí)，即便通過JP2技術(shù)將圖像幀的編碼數(shù)據(jù)予以解碼也不能獲得非ROI的圖像。這種情況下的解碼(本發(fā)明有關(guān)的活動(dòng)圖像數(shù)據(jù)的解碼方法)首先對(duì)對(duì)應(yīng)于ROI的矩形區(qū)域被壓縮的編碼數(shù)據(jù)予以解碼，同時(shí)準(zhǔn)備已被解碼后存儲(chǔ)的另外圖像幀的對(duì)應(yīng)矩形區(qū)域作為對(duì)應(yīng)于非ROI的矩形區(qū)域。然后，合成對(duì)應(yīng)已被解碼的ROI的矩形區(qū)域和準(zhǔn)備的另外圖像幀的對(duì)應(yīng)矩形區(qū)域產(chǎn)生新的圖像幀。這里，對(duì)各矩形區(qū)域的壓縮和顯示品質(zhì)的控制優(yōu)選地一邊監(jiān)視執(zhí)行處理的CPU性能和網(wǎng)絡(luò)的線路性能，一邊動(dòng)態(tài)地變更。
再者，本發(fā)明有關(guān)的活動(dòng)圖像數(shù)據(jù)的編碼方法，應(yīng)編碼的圖像幀的一部分通過例如對(duì)相當(dāng)于非ROI的矩形區(qū)域，填入從與屬于發(fā)送對(duì)象的活動(dòng)圖像數(shù)據(jù)不同的信息源得出的圖像(即使壓縮級(jí)別低，對(duì)對(duì)話不會(huì)產(chǎn)生障礙的靜止圖像的一部分，和活動(dòng)圖像的圖像幀的一部分)而更具臨場(chǎng)感的對(duì)話能不受線路容量，和圖像處理能力等目前的通信環(huán)境的限制。
具體而言，首先，設(shè)定通過多個(gè)分割區(qū)域構(gòu)成的虛擬圖像幀(virtual imageframe)作為須編碼的圖像幀，將這些多個(gè)分割區(qū)域作為屬于JP2的馬賽克化(tiling)的處理單位的馬賽克而進(jìn)行處理。然后，將從構(gòu)成活動(dòng)圖像數(shù)據(jù)(對(duì)話對(duì)方的活動(dòng)圖像)的圖像幀中須編碼的圖像幀分割的多個(gè)分割圖像中的至少任一個(gè)和從與該活動(dòng)圖像數(shù)據(jù)不同的信息源得出的劃出圖像一起分配給這些多個(gè)分割區(qū)域的各個(gè)區(qū)域。這里，被分配的劃出圖像有，例如從鍵盤輸入的監(jiān)視器圖像(靜止圖像)劃出的一部分(以下，稱文本圖像)，利用通過光筆(light-pen)進(jìn)行的白板(white board)功能的手寫文字的監(jiān)視器圖像(從靜止圖像劃出的一部分)(以下，稱白板圖像)，構(gòu)成其它的活動(dòng)圖像數(shù)據(jù)的圖像幀的一部分等，以及從攝像機(jī)，掃描機(jī)等的數(shù)字設(shè)備取入的靜止圖像，和活動(dòng)圖像。另外，新設(shè)定的虛擬圖像幀整體尺寸及分割區(qū)域數(shù)目不必與屬于本來的編碼對(duì)象的活動(dòng)圖像數(shù)據(jù)的圖像幀相同。但是，構(gòu)成該虛擬圖像幀的分割區(qū)域的尺寸雖不必與屬于本來的編碼對(duì)象的活動(dòng)圖像數(shù)據(jù)的圖像幀的分割區(qū)域的尺寸相同，但相同的話因不必執(zhí)行圖像分割處理所以較佳。
如上述那樣被分配在構(gòu)成上述虛擬圖像幀的多個(gè)分割區(qū)域上的多個(gè)種類的圖像，通過JP2的馬賽克化技術(shù)，各個(gè)相當(dāng)于馬賽克的多個(gè)種類的圖像能分別以不同的壓縮級(jí)別進(jìn)行個(gè)別地編碼。由此，對(duì)應(yīng)這些多個(gè)分割區(qū)域的各個(gè)設(shè)定的編碼級(jí)別進(jìn)行個(gè)別壓縮，進(jìn)而產(chǎn)生各虛擬圖像幀的編碼數(shù)據(jù)。
如上述那樣將作為屬于編碼對(duì)象的活動(dòng)圖像數(shù)據(jù)的圖像幀而設(shè)定的虛擬圖像幀沿著時(shí)間軸順序進(jìn)行編碼，由此，得出每個(gè)圖像幀上有混合靜止圖像和活動(dòng)圖像的一個(gè)圖像幀份的活動(dòng)圖像的再現(xiàn)用的編碼數(shù)據(jù)。
另外，構(gòu)成上述虛擬圖像幀的多個(gè)分割區(qū)域的各個(gè)區(qū)域也可與在該虛擬圖像幀內(nèi)設(shè)定的ROI及與該ROI不同的非ROI的任意一個(gè)對(duì)應(yīng)。這時(shí)，與上述的構(gòu)成同樣，多個(gè)分割區(qū)域的各個(gè)區(qū)域優(yōu)選地使對(duì)應(yīng)于ROI的分割區(qū)域的碼量比對(duì)應(yīng)于非ROI的分割區(qū)域的碼量多那樣被進(jìn)行壓縮。
另外，上述ROI的設(shè)定可由使用者本身事先設(shè)定，也可在使用中變更設(shè)定。另外，也可在多個(gè)分割區(qū)域中將檢測(cè)出區(qū)域內(nèi)圖像有移動(dòng)的分割區(qū)域?qū)?yīng)于ROI。
本發(fā)明有關(guān)的活動(dòng)圖像數(shù)據(jù)的編碼，也可將分配給構(gòu)成上述虛擬圖像幀的多個(gè)分割區(qū)域中的至少一個(gè)的圖像的編碼數(shù)據(jù)另行加密。另外，對(duì)應(yīng)這些多個(gè)分割區(qū)域中至少一個(gè)的編碼處理，也可將該分割區(qū)域的碼量在一定期間中設(shè)定為0。這種情況下，在執(zhí)行編碼處理側(cè)填入事先準(zhǔn)備好的圖像，由此能得出顯示用的圖像幀(由解碼后的圖像和填入碼量為0的區(qū)域的圖像所構(gòu)成)。上述那樣設(shè)定的虛擬圖像幀也是各個(gè)需依JPEG2000進(jìn)行壓縮。
上述那樣的活動(dòng)圖像數(shù)據(jù)的編碼、解碼方法是在雙向?qū)υ捫拖到y(tǒng)的各終端裝置上執(zhí)行。終端裝置至少具備顯示對(duì)話對(duì)方的圖像的顯示裝置，用于攝取坐在該顯示裝置前方的該對(duì)話者的攝像部，執(zhí)行上述的活動(dòng)圖像數(shù)據(jù)的編碼、解碼方法的控制部，以及送出被控制部壓縮的編碼數(shù)據(jù)至上述傳送裝置的輸入輸出部。
上述那樣的活動(dòng)圖像數(shù)據(jù)的編碼、解碼方法，也可為被計(jì)算機(jī)等執(zhí)行的程序，這種情況下，該程序也可不拘有線，無線而經(jīng)網(wǎng)絡(luò)分配，另外，也可存儲(chǔ)在CD，DVD，快閃式存儲(chǔ)器等的記錄媒體里。
再者，本發(fā)明有關(guān)的各實(shí)施例，通過以下的詳細(xì)說明及附圖更能充分地理解。這些實(shí)施例純粹系用于例示，不應(yīng)視為限制本發(fā)明。
另外，本發(fā)明的當(dāng)然的應(yīng)用范圍可從以下的詳細(xì)說明獲得了解。不過，詳細(xì)的說明及特定的事例雖表示在本發(fā)明的優(yōu)選實(shí)施例上，但此僅止于例示而已。本領(lǐng)域技術(shù)人員當(dāng)明白可自此詳細(xì)說明對(duì)本發(fā)明做各種變更及改良而不會(huì)逾越本發(fā)明的精神及范圍。
(發(fā)明的效果)依本發(fā)明，特別地假想在實(shí)現(xiàn)實(shí)時(shí)的雙向?qū)υ捫偷碾p向?qū)υ捫拖到y(tǒng)的特殊環(huán)境下，也即，在發(fā)送數(shù)據(jù)僅集中在顯示圖像的一部分區(qū)域的活動(dòng)圖像數(shù)據(jù)的特殊的對(duì)話環(huán)境下的利用，從圖像幀分割出的多個(gè)矩形區(qū)域?qū)?yīng)于ROI和非ROI的任何之一，改變對(duì)應(yīng)于該ROI的矩形區(qū)域和對(duì)應(yīng)于非ROI的矩形區(qū)域上的壓縮級(jí)別以執(zhí)行各圖像幀的編碼，由此，能減輕及高速化這樣的雙向?qū)υ捫拖到y(tǒng)上的活動(dòng)圖像數(shù)據(jù)的編碼處理。


圖1為表示在不同地點(diǎn)間經(jīng)傳送裝置實(shí)現(xiàn)視線一致的雙向?qū)υ捫拖到y(tǒng)(本發(fā)明有關(guān)的終端裝置及雙向?qū)υ捫拖到y(tǒng))的一構(gòu)成的圖。
圖2為表示圖1所示的攝像裝置的圖，用于說明為了使視線一致，CCD攝像機(jī)的設(shè)置方法。
圖3為用于說明視差角的圖。
圖4為表示應(yīng)設(shè)置CCD攝像機(jī)的區(qū)域的圖。
圖5為表示本發(fā)明有關(guān)的終端裝置的構(gòu)造的方塊圖。
圖6為用于分別說明各終端裝置上執(zhí)行的圖像數(shù)據(jù)的發(fā)送動(dòng)作及接收動(dòng)作的流程圖。
圖7為用于說明圖6中的區(qū)域(a)的活動(dòng)圖像數(shù)據(jù)的發(fā)送動(dòng)作的幀編碼(本發(fā)明有關(guān)的活動(dòng)圖像數(shù)據(jù)的編碼方法)的流程圖。
圖8為用于說明馬賽克化的圖。
圖9為用于說明ROI(興趣區(qū)域)的設(shè)定方法的一例的圖。
圖10為用于說明馬賽克與ROI的對(duì)應(yīng)關(guān)系的圖(其1)。
圖11是用于說明馬賽克與ROI的對(duì)應(yīng)關(guān)系的圖(其2)。
圖12為用于說明ROI(興趣區(qū)域)的設(shè)定方法的另外例的圖。
圖13為用于說明檢測(cè)各馬賽克上圖像的移動(dòng)的圖。
圖14是用于概念地說明本發(fā)明有關(guān)的雙向?qū)υ捫拖到y(tǒng)的活動(dòng)圖像數(shù)據(jù)的發(fā)送接收動(dòng)作的圖。
圖15是用于概念地說明本發(fā)明有關(guān)的雙向?qū)υ捫拖到y(tǒng)的活動(dòng)圖像數(shù)據(jù)的發(fā)送接收動(dòng)作的另外例的圖。
圖16是用于概念地說明圖14及圖15所示的活動(dòng)圖像數(shù)據(jù)的發(fā)送接收動(dòng)作上幀編碼的第1應(yīng)用例的圖。
圖17是用于概念地說明圖16所示的第1應(yīng)用例的具體的例的圖。
圖18是用于概念地說明圖14所示的活動(dòng)圖像數(shù)據(jù)的發(fā)送接收動(dòng)作上幀編碼的第2應(yīng)用例的圖。
圖19是用于概念地說明圖14所示的活動(dòng)圖像數(shù)據(jù)的發(fā)送接收動(dòng)作上幀編碼的第2應(yīng)用例的圖。
圖20是用于概念地說明圖14所示的活動(dòng)圖像數(shù)據(jù)的發(fā)送接收動(dòng)作上幀編碼的第3應(yīng)用例的圖。
圖21是用于概念地說明通過圖20所示的第3應(yīng)用例有關(guān)的幀編碼得出的編碼數(shù)據(jù)的解碼動(dòng)作的圖。
圖22是表示應(yīng)用圖20及圖21所示的第3應(yīng)用例有關(guān)的幀編碼時(shí)的顯示用圖像幀的一例的圖。
圖23是表示應(yīng)用圖20及圖21所示的第3應(yīng)用例有關(guān)的幀編碼時(shí)的顯示用圖像幀的一例的圖。
主要部分的代表符號(hào)說明3(3A、3B)...對(duì)話者A、B 5(5A、5B)...攝像部(CCD攝像機(jī)) 6(6A、6B)...攝像單元 8(8A、8B)...監(jiān)視器畫面 20A、20B...終端裝置 21(21A、21B)顯示部(顯示裝置) 24(24A、24B)...麥克風(fēng) 26(26A、26B)...圖像處理裝置 80、90...監(jiān)視器圖像 80a...興趣區(qū)域 261、265...輸入輸出部(I/O) 262...圖像數(shù)據(jù)庫(D/B) 263...控制部 264...描繪部 600(600A、600B)攝像裝置 700...外部記錄裝置 800...圖像數(shù)據(jù) 810...馬賽克具體實(shí)施方式
以下將使用圖1～圖23詳細(xì)地說明本發(fā)明有關(guān)的活動(dòng)圖像數(shù)據(jù)的編碼、解碼方法等的各種實(shí)施方式。另外，在圖面的說明上，相同的部位，相同的構(gòu)件賦與相同的符號(hào)，省略重復(fù)的說明。
本發(fā)明有關(guān)的活動(dòng)圖像數(shù)據(jù)的編碼、解碼方法能在經(jīng)規(guī)定的傳送裝置連接的終端裝置上執(zhí)行，能適用于在這樣的終端裝置間實(shí)現(xiàn)對(duì)話的例如上述專利文獻(xiàn)1上記載的雙向?qū)υ捫拖到y(tǒng)。
首先，這里將說明執(zhí)行該活動(dòng)圖像數(shù)據(jù)的編碼、解碼方法的終端裝置能適用的雙向?qū)υ捫拖到y(tǒng)。另外，此雙向?qū)υ捫拖到y(tǒng)雖為實(shí)現(xiàn)在視線一致的狀態(tài)下的對(duì)話的系統(tǒng)，但包含該攝像裝置的終端裝置即使是為對(duì)話者間的視線無法一致的結(jié)構(gòu)，也能適用于單純發(fā)送接收對(duì)話者圖像的活動(dòng)圖像數(shù)據(jù)的雙向?qū)υ捫拖到y(tǒng)。
(雙向?qū)υ捫拖到y(tǒng)及終端裝置)圖1是表示能使位于不同地點(diǎn)的對(duì)話者間的視線一致的雙向?qū)υ捫拖到y(tǒng)整體的邏輯構(gòu)成圖。此系統(tǒng)是實(shí)現(xiàn)位在A地點(diǎn)(第1地點(diǎn))的對(duì)話者3A(第1對(duì)話者)和B地點(diǎn)(第2地點(diǎn))的對(duì)話者3B(第2對(duì)話者)間的雙向?qū)υ挼南到y(tǒng)。此系統(tǒng)也是在不同地點(diǎn)的對(duì)話者間確立親密的可靠關(guān)系，實(shí)現(xiàn)親密的溝通(communication)的系統(tǒng)，例如，能用作為以咨詢輔導(dǎo)系統(tǒng)，和家庭學(xué)習(xí)為意向的服務(wù)的提供系統(tǒng)。這種情況下，假想至少一邊的對(duì)話者是教師、醫(yī)師、心理學(xué)者等的服務(wù)提供者。因此，此系統(tǒng)具備能提供這些服務(wù)提供者，提供服務(wù)所需的信息，及理想的對(duì)話環(huán)境那樣的各種功能及構(gòu)成。
具體說，在A地點(diǎn)設(shè)置(a)對(duì)話者3A(例如輔導(dǎo)者)的座椅4A(具有高度調(diào)節(jié)機(jī)構(gòu)40A)，(b)對(duì)話者3A面對(duì)的桌子2A，(c)具備經(jīng)傳送裝置27使對(duì)話者間的視線一致所需的機(jī)構(gòu)的終端裝置20A，對(duì)話者3A通過分隔物22A而被隔離。另一方面，在B地點(diǎn)設(shè)置(a)對(duì)話者3B(例如，接受輔導(dǎo)的客戶)的座椅4B(具有高度調(diào)節(jié)機(jī)構(gòu)40B)，(b)對(duì)話者3B面對(duì)的桌子2B(c)具備經(jīng)傳送裝置27使對(duì)話者間的視線一致所需的機(jī)構(gòu)的終端裝置20B，對(duì)話者3B通過分隔物22B而被隔離。這里，傳送裝置27為了能在A地點(diǎn)的終端裝置20A和B地點(diǎn)的終端裝置20B的間發(fā)送接收?qǐng)D像信息及聲音信息，而包含有光纖發(fā)送路徑31(主發(fā)送路徑)及衛(wèi)星通訊發(fā)送路徑32(備援用發(fā)送路徑)等。另外，此傳送裝置27是有線、無線皆可。另外，傳送裝置除了包含已敷設(shè)的電話線路等網(wǎng)絡(luò)外，還包括具備各種的數(shù)據(jù)庫的電子布告板系統(tǒng)(BBSBulletin Board System)。
在A地點(diǎn)，上述椅子4A的功能是規(guī)定對(duì)話者3A的位置。此椅子4A優(yōu)選地為了與終端裝置20A的顯示部(顯示裝置)21A保持一定距離而被固定。但是，即便該椅子4A未被固定時(shí)在對(duì)話者3A和顯示部21A的間設(shè)置桌子2A，由此也能使椅子4A和顯示部21A的距離保持一定(桌子2A的存在已成為對(duì)話者3A的心理上的距離的基準(zhǔn)的事實(shí)已獲得確認(rèn))。另外，對(duì)話對(duì)方3B(例如接受輔導(dǎo)的人等)所在的B地點(diǎn)的終端裝置20B的結(jié)構(gòu)也是相同。
在A地點(diǎn)上，終端裝置20A具備(1)根據(jù)從B地點(diǎn)的終端裝置20B經(jīng)傳送裝置27傳來的圖像信息，顯示對(duì)話者3B的圖像的配置在桌子2A上的監(jiān)視器TV1A的顯示部21A，(2)用于保持CCD攝像機(jī)(攝像部)5A于規(guī)定位置的本體部6A，(3)根據(jù)從B地點(diǎn)的終端裝置20B經(jīng)傳送裝置27傳來的聲音信息，輸出對(duì)話者3B的聲音所用的聲音輸出部23A(揚(yáng)聲器)，及(4)將對(duì)話者3A的聲音集音作為聲音信息，然后朝B地點(diǎn)的終端裝置20B發(fā)送所用的聲音輸入部24A(麥克風(fēng))。另外，本系統(tǒng)為了作為咨詢輔導(dǎo)系統(tǒng)，實(shí)現(xiàn)更綿密的溝通，另具備(5)對(duì)話者3A輸入文字，和圖形，將輸入的文字，和圖形顯示在顯示部21A的同時(shí)另外作為文字圖形信息朝B地點(diǎn)的終端裝置20B發(fā)送所用的文字圖形輸入部25A(鍵盤，點(diǎn)選裝置(pointing device)，觸板(touch panel)等的接口)，(6)設(shè)在上述各構(gòu)成要素和傳送裝置27之間，執(zhí)行信號(hào)處理，發(fā)送控制，及圖像數(shù)據(jù)的編輯作業(yè)等的圖像處理裝置26A(含控制部)。另外，B地點(diǎn)的終端裝置20B也是與上述的A地點(diǎn)的終端裝置20A做成相同構(gòu)成，具體而言，具備顯示部21B，由CCD攝像機(jī)5B和本體部6B形成的攝像裝置600B，聲音輸出部23B，聲音輸入部24B，文字圖形輸入部25B，及圖像處理裝置26B。
以下將說明A地點(diǎn)及B地點(diǎn)的終端裝置20A，20B上攝像裝置600A，600B的構(gòu)成。另外，為了方便說明，在提及A地點(diǎn)及B地點(diǎn)的各終端裝置20A，20B的共同的構(gòu)成要素時(shí)，例如，像攝像裝置600那樣，省略區(qū)別各地點(diǎn)的文字A，B來進(jìn)行說明。另外，不特別說明時(shí)原則上是針對(duì)A地點(diǎn)的終端裝置20A進(jìn)行說明，而不再重復(fù)說明具有共同構(gòu)成的B地點(diǎn)的終端裝置20B。
此攝像裝置600具備屬于攝像部的CCD攝像機(jī)5(5A)，及用于在支撐該CCD攝像機(jī)5的狀態(tài)下設(shè)置在規(guī)定位置的本體部6。監(jiān)視器TV1(1A)置放在桌子2(2A)上，對(duì)話者3(3A)坐在放置在距監(jiān)視器TV1-L(m)距離的具備高度調(diào)整機(jī)構(gòu)40(40A)的椅子4(4A)上。此距離L(LA)設(shè)定在0.5m以上，5m以下。在被攝像的對(duì)話者3及監(jiān)視器TV1間設(shè)有外徑φ為20mm以下，長(zhǎng)度約100mm的圓筒狀的CCD攝像機(jī)5。另外，此CCD攝像機(jī)5設(shè)置成其攝像方向朝向被攝像的對(duì)話者3。而被CCD攝像機(jī)5攝像的對(duì)話者3的圖像作為圖像信息而被發(fā)送到另一邊的對(duì)話者側(cè)(經(jīng)傳送裝置27被發(fā)送到B地點(diǎn)的終端裝置20B)。再者，依對(duì)話者，顯示部21和該對(duì)話者間的間隔可能有些微的偏移。因此，為了也應(yīng)付此狀況，最好是選擇焦點(diǎn)深度深的CCD攝像機(jī)5。
其次，將使用圖2說明CCD攝像機(jī)5的具體的設(shè)置位置。
首先，攝像裝置600的本體部6設(shè)置在用于顯示傳來的另一邊的對(duì)話者的圖像的顯示部21上。另外，開關(guān)210包含用于接通/關(guān)斷(ON/OFF)監(jiān)視器TV1的電源的電源開關(guān)，用于對(duì)監(jiān)視器畫面8在水平方向，和垂直方向上移動(dòng)被顯示的圖像的圖像位置調(diào)節(jié)開關(guān)，及色補(bǔ)正開關(guān)等。CCD攝像機(jī)5通過本體部6配置在顯示傳來的另一邊的對(duì)話者3B的圖像9的監(jiān)視器畫面8的前方的規(guī)定位置上。另外，此監(jiān)視器畫面8只要有4時(shí)程度即能充分地利用。
具體說，CCD攝像機(jī)5在距監(jiān)視器畫面8前方W(cm)的位置，配置于顯示在該監(jiān)視器畫面8的對(duì)話者圖像9的頭部9a附近。圓筒狀CCD攝像機(jī)5的中心軸位在以虛線表示的對(duì)話者圖像9的眼睛的位置的上方h(cm)的部位。
這樣，CCD攝像機(jī)5因位于顯示于監(jiān)視器TV1的畫面8的對(duì)話者圖像9的眼睛的位置的上方頭部附近，故對(duì)雙向?qū)υ挷粫?huì)產(chǎn)生特別的障礙。例如，若是為CCD攝像機(jī)5設(shè)在顯示于畫面8上的對(duì)話者圖像9的眼睛的位置(圖中虛線所示的位置)的上方h約10(cm)，監(jiān)視器TV1及對(duì)話者3間的距離L設(shè)定為約2.5(m)的系統(tǒng)結(jié)構(gòu)的情況下時(shí)則視差角是2.3°能在充分檢測(cè)界限的視差角3°之下(監(jiān)視器畫面8和CCD攝像機(jī)5的間隔w即便是10(cm)的程度時(shí)，對(duì)視差角的變動(dòng)，無特別的影響)。也即，視線一致時(shí)若能清楚地看到對(duì)方的眼睛(顯示在監(jiān)視器畫面8上的對(duì)方對(duì)話者3B的圖像的眼睛)時(shí)則攝像機(jī)5即便設(shè)在頭部附近，只要監(jiān)視器TV1的畫面8是大型時(shí)對(duì)雙方的對(duì)話幾無障礙一事已獲確認(rèn)。此畫面8的大小，依實(shí)驗(yàn)的結(jié)果，只要是橫35cm，豎26cm程度以上的大小時(shí)則能實(shí)現(xiàn)良好的雙向?qū)υ?，此事也獲得確認(rèn)。再者，相互的對(duì)話者，若是彼此熟識(shí)時(shí)則畫面的尺寸即便是小，心里上的障礙不大，有獲得顯示這種傾向的結(jié)果，有關(guān)畫面的尺寸依用途分別使用即可。
另外，視線一致的狀態(tài)能通過對(duì)監(jiān)視器畫面8調(diào)整CCD攝像機(jī)5的位置而實(shí)現(xiàn)。另外，對(duì)CCD攝像機(jī)5，移動(dòng)顯示在監(jiān)視器畫面8上的圖像也能實(shí)現(xiàn)。例如，若是通過手動(dòng)達(dá)成視線一致的情況下時(shí)則對(duì)話者本身移動(dòng)CCD攝像機(jī)5，或通過調(diào)整開關(guān)210使監(jiān)視器圖像移動(dòng)即可。另外若是通過自動(dòng)實(shí)現(xiàn)視線一致的情況下時(shí)則另設(shè)置使攝像機(jī)移動(dòng)用的驅(qū)動(dòng)機(jī)構(gòu)，或利用畫面識(shí)別技術(shù)使監(jiān)視器圖像移動(dòng)即可。
下面將使用圖3說明視差角。本說明書里，所謂視差角，如圖3所示，是指朝向顯示在監(jiān)視器畫面8的對(duì)話者圖像9的被攝像的對(duì)話者3的視線與朝向CCD攝像機(jī)5的該對(duì)話者3的視線間形成的角度θ。換言之，是指CCD攝像機(jī)5的設(shè)置位置對(duì)對(duì)話者3的視線的偏離角。另外，這里所說的視線一致，如非專利文獻(xiàn)1上報(bào)告的那樣，是指在因CCD攝像機(jī)5的設(shè)置位置所造成的不自然度的容許界限以下。定量上，視差角在左右方向4.5°以下(對(duì)對(duì)話者圖像9的眼睛的中心A，是該圖像9的鬢角側(cè))，正上方向12°(對(duì)圖像中心A，圖像9的頭部9b側(cè))，正下方向8°(對(duì)圖像中心A，是圖像9的身體側(cè))以下視為在視線一致范圍內(nèi)。當(dāng)然，此視差角小較好，左右上下方向3°以下作為檢測(cè)界限。因此，能設(shè)置CCD攝像機(jī)5的區(qū)域是圖4所示的圓錐區(qū)域。另外，此圓錐區(qū)域是對(duì)連結(jié)對(duì)話者3的眼30與顯示于監(jiān)視器畫面8上的對(duì)話者圖像9的中心點(diǎn)A(本實(shí)施方式定義為將對(duì)話者圖像9的兩眼的中心作為該對(duì)話者圖像9的中心點(diǎn)A)的該對(duì)話者3的視線31，依隔規(guī)定距離L(m)時(shí)的監(jiān)視器畫面8上的視線一致區(qū)域9b，及該對(duì)話者3的眼30的位置而被規(guī)定。
另外，顯示于監(jiān)視器畫面8上的對(duì)話者圖像9的尺寸若是小的情況下時(shí)則該CCD攝像機(jī)5和對(duì)話者圖像的頭部并非一定要重疊。不如對(duì)話者圖像9的頭部隱在CCD攝像機(jī)5之后而不易看到。上述那樣，視線一致的條件是CCD攝像機(jī)5和對(duì)話者圖像9的眼位于視差角3°的區(qū)域內(nèi)，具體說，在離畫面50cm的位置上是約3cm程度(圖2的h)。因此，只要是在此范圍內(nèi)時(shí)則CCD攝像機(jī)5和對(duì)話者圖像9的頭部即便偏離也能維持視線一致狀態(tài)。例如，調(diào)整監(jiān)視器畫面8上的圖像顯示位置，或調(diào)節(jié)CCD攝像機(jī)5的支撐部以變更CCD攝像機(jī)5本身的位置，可使對(duì)話者圖像9和CCD攝像機(jī)5偏離。
發(fā)明者等進(jìn)行在具有上述那樣構(gòu)造的雙向?qū)υ捫拖到y(tǒng)上于視線一致的狀態(tài)下對(duì)話的心理上的考察，發(fā)現(xiàn)對(duì)話時(shí)對(duì)話者為了觀察對(duì)話對(duì)方的表現(xiàn)，視線大多集中在該對(duì)話對(duì)方的臉部，和非語言(non-verbal)表現(xiàn)的手勢(shì)，這種情況下，對(duì)話時(shí)不必將包含對(duì)話者圖像的整個(gè)畫面逐次發(fā)送，而若只著重于對(duì)話時(shí)的重要觀察區(qū)域，也即對(duì)話者的臉部和手勢(shì)等對(duì)該對(duì)話者而言是興趣區(qū)域(ROIRegion of interest)，發(fā)送活動(dòng)圖像的話能減少發(fā)送量，另外，也發(fā)現(xiàn)對(duì)實(shí)現(xiàn)雙向?qū)υ挼母咚夙憫?yīng)性很有效果。因此，本發(fā)明有關(guān)的活動(dòng)圖像數(shù)據(jù)的編碼、解碼方法，在通過雙向?qū)υ捫拖到y(tǒng)等進(jìn)行發(fā)送接收的活動(dòng)圖像數(shù)據(jù)的各個(gè)圖像幀內(nèi)含有ROI的情況下的圖像處理上，對(duì)減輕負(fù)載方面具有效果之外還能實(shí)現(xiàn)該處理的高速化。再者，該活動(dòng)圖像數(shù)據(jù)的編碼、解碼方法在終端裝置上實(shí)施。
(終端裝置)圖5是表示用于實(shí)施本發(fā)明有關(guān)的活動(dòng)圖像數(shù)據(jù)的編碼、解碼方法的終端裝置的結(jié)構(gòu)的圖。此終端裝置具備監(jiān)視器等的顯示裝置21(相當(dāng)于圖1所示的雙向?qū)υ捫拖到y(tǒng)上的顯示部21A，21B)，圖像處理部26(相當(dāng)于圖1所示的雙向?qū)υ捫拖到y(tǒng)上的圖像處理裝置26A，26B)，外部記錄裝置700，鼠標(biāo)等的點(diǎn)選裝置(Pointing Device)900，觸筆(touch-pen)920，由用于攝像坐在顯示裝置21前方的對(duì)話者的CCD攝像機(jī)5等的攝像部及本體部6所形成的攝像裝置600，及揚(yáng)聲器910。上述圖像處理部26具備用于取入來自含于攝像裝置的本體部6的圖像信息，和其它信息媒體的信息，和經(jīng)傳送裝置27發(fā)送接收的對(duì)方對(duì)話者的活動(dòng)圖像數(shù)據(jù)(編碼數(shù)據(jù))的數(shù)據(jù)輸入輸出部261(圖中的I/O)；執(zhí)行本發(fā)明有關(guān)的活動(dòng)圖像數(shù)據(jù)的編碼、解碼方法的控制部263；用于存儲(chǔ)被發(fā)送接收的活動(dòng)圖像數(shù)據(jù)的圖像數(shù)據(jù)庫262(圖中的圖像D/B)；依控制部263的指示在顯示裝置21上顯示規(guī)定圖樣(pattern)的描繪部264；取入來自鼠標(biāo)等的點(diǎn)選裝置900的位置信息，和能與外部記錄裝置700進(jìn)行數(shù)據(jù)的授受的數(shù)據(jù)輸入輸出部265(圖的I/O)；及用于控制對(duì)話對(duì)方的聲音的輸出的揚(yáng)聲器的音源控制器930。
另外，外部記錄裝置700包括，例如，磁帶，CD，光盤，硬盤，DVD，快閃式存儲(chǔ)器等，存儲(chǔ)實(shí)施本發(fā)明有關(guān)的活動(dòng)圖像數(shù)據(jù)的編碼、解碼方法的計(jì)算機(jī)程序，和對(duì)話對(duì)方的活動(dòng)圖像數(shù)據(jù)等。
(活動(dòng)圖像數(shù)據(jù)的編碼、解碼方法)下面將說明在具備上述那樣構(gòu)造的終端裝置的控制部263上執(zhí)行的編碼、解碼動(dòng)作(本發(fā)明有關(guān)的活動(dòng)圖像數(shù)據(jù)的編碼、解碼方法)。圖6中的區(qū)域(a)是用于說明在各終端裝置上執(zhí)行的活動(dòng)圖像數(shù)據(jù)的發(fā)送動(dòng)作的流程6中的區(qū)域(b)是用于說明在各終端裝置上執(zhí)行的活動(dòng)圖像數(shù)據(jù)的接收動(dòng)作的流程圖。另外，圖7是用于說明圖6中的區(qū)域(a)的活動(dòng)圖像的發(fā)送動(dòng)作的幀編碼(本發(fā)明有關(guān)的活動(dòng)圖像數(shù)據(jù)編碼方法)的流程圖。另外，構(gòu)成以下說明的活動(dòng)圖像數(shù)據(jù)的圖像幀的編碼及解碼是依JP2技術(shù)執(zhí)行。
首先，活動(dòng)圖像數(shù)據(jù)的發(fā)送動(dòng)作，如圖6中的區(qū)域(a)的流程圖所示那樣，在對(duì)話開始的前，先執(zhí)行設(shè)定圖像幀內(nèi)的ROI的前處理(步驟ST10)。在此步驟ST10上設(shè)定的ROI信息暫時(shí)存儲(chǔ)在存儲(chǔ)器內(nèi)，控制部263利用此被存儲(chǔ)的ROI信息沿著時(shí)間軸將構(gòu)成活動(dòng)圖像數(shù)據(jù)的圖像幀分別順序編碼(步驟ST20)。另外，此幀編碼是通過控制部263執(zhí)行經(jīng)I/O265自外部記錄裝置700讀入的計(jì)算機(jī)程序而進(jìn)行。
控制部263將通過上述的幀編碼程序(步驟ST20)被編碼的編碼數(shù)據(jù)逐次經(jīng)I/O261送出到傳送裝置27(步驟ST30)。而且，這些幀編碼及編碼數(shù)據(jù)的發(fā)送動(dòng)作是以30幀/秒的處理速度持續(xù)進(jìn)行直到對(duì)話結(jié)束為止(步驟ST40)。
另外一方面，活動(dòng)圖像數(shù)據(jù)的接收動(dòng)作，如圖6中的區(qū)域(b)的流程圖所示，控制部263從傳送裝置27經(jīng)I/O261順序接收?qǐng)D像幀的編碼數(shù)據(jù)(步驟S50)，執(zhí)行構(gòu)成該圖像幀的矩形區(qū)域(馬賽克)的解碼(步驟S60)。然后，控制部263在每個(gè)圖像幀的全部馬賽克的解碼處理結(jié)束時(shí)刻執(zhí)行解碼后的馬賽克的合成作業(yè)，進(jìn)而產(chǎn)生應(yīng)顯示在顯示裝置21上的新的圖像幀(步驟ST70)。另外，相當(dāng)于接收的編碼數(shù)據(jù)中的非ROI的馬賽克的碼量若是0的情況下時(shí)則將預(yù)先存儲(chǔ)在數(shù)據(jù)庫262的圖像作為對(duì)應(yīng)的馬賽克圖像而予以合成，由此，產(chǎn)生應(yīng)顯示的圖像幀。另外，上述的解碼處理是逐次執(zhí)行直到對(duì)話結(jié)束為止(步驟ST80)。
另外，下文將用圖7的流程圖詳細(xì)說明圖6中的區(qū)域(a)的流程圖中的幀編碼。
控制部263利用JP2的馬賽克化(tiling)技術(shù)進(jìn)行圖像幀的分割(步驟ST201)，根據(jù)在前處理(步驟ST10)上設(shè)定的ROI信息，將被分割的全部馬賽克(tile)分類成含于ROI的矩形區(qū)域或含于非ROI的矩形區(qū)域。
另外，步驟ST201的馬賽克化，如圖8所示，將含有被顯示的對(duì)話者圖像9的監(jiān)視器圖像80的圖像幀800分割成若干的相同尺寸的馬賽克810(T17～T77)，而后能將這些馬賽克各張作為一個(gè)獨(dú)立的圖像處理。馬賽克的尺寸對(duì)話者本身能任意選擇，其最小單位是1×1像素，最大是232-1×232-1像素。另外，圖像幀800的尺寸也可與監(jiān)視器圖像80的尺寸一致。但是，監(jiān)視器圖像80的數(shù)據(jù)尺寸小對(duì)執(zhí)行馬賽克化的控制部(例如，CPU)的負(fù)載可有效減輕。因此，也可將廣角透鏡攝像機(jī)攝取的圖像數(shù)據(jù)中的一部分暫行作為監(jiān)視器圖像80而進(jìn)行馬賽克化，當(dāng)顯示于監(jiān)視器畫面8之際則放大顯示處理用的監(jiān)視器圖像80。
在圖像幀800內(nèi)的ROI的設(shè)定優(yōu)選地在對(duì)話開始前對(duì)話者本身一邊在監(jiān)視器上確認(rèn)自己的圖像，一邊設(shè)定。具體說，ROI的設(shè)定如圖3所示，對(duì)話者3本身面對(duì)顯示部21的監(jiān)視器畫面8，利用觸筆920而進(jìn)行。這種情況下，如圖9所示，只要將ROI80a設(shè)定于通過觸筆920在監(jiān)視器畫面8上指示的起點(diǎn)P1和終點(diǎn)P2所規(guī)定的矩形區(qū)域即可。例如，若是在圖8所示的圖像幀800中含有對(duì)話者圖像9的臉部的矩形區(qū)域被設(shè)定ROI80a的情況下時(shí)，則如圖10所示那樣，構(gòu)成圖像幀800的馬賽克T11～T77中的T23，T24，T25，T33，T34，T35對(duì)應(yīng)ROI80a。另外，這樣的ROI的設(shè)定如下述那樣能將一個(gè)圖像幀800分割成多個(gè)區(qū)域而分別設(shè)定。這種情況下，通過對(duì)多個(gè)ROI分別改變壓縮級(jí)別和加密級(jí)別，對(duì)話者自身能具有決定圖像品質(zhì)，安全性，背景圖像的權(quán)力。
另外，圖像幀800，如圖11所示，也能對(duì)ROI80a一致地分割為一張馬賽克T12。這種情況下，能減少圖像幀800的分割數(shù)。另外，在對(duì)話開始時(shí)設(shè)定的ROI80a的尺寸在對(duì)話中有變動(dòng)的情況下(對(duì)話者自身移動(dòng)的情況下)。因此，對(duì)應(yīng)ROI80a的尺寸的變動(dòng)動(dòng)態(tài)地變更馬賽克810的分割尺寸，由此能更有效地分散圖像處理的負(fù)載。另外，如圖8及圖10所示，由多個(gè)馬賽克810構(gòu)成ROI80a的情況下，也能對(duì)應(yīng)ROI80a的尺寸的變動(dòng)動(dòng)態(tài)地變更對(duì)應(yīng)該ROI80a的馬賽克810。再者，對(duì)話中的動(dòng)態(tài)變更包含對(duì)話者自身視狀況而手動(dòng)變更的情況和通過控制部等一邊監(jiān)視狀況變化一邊自動(dòng)變更的情況。
上述那樣對(duì)話中的馬賽克尺寸和對(duì)應(yīng)關(guān)系的動(dòng)態(tài)地變更，是與眼睛，嘴巴，臉部的動(dòng)作不同，因手的動(dòng)作等依人的不同差異甚大而執(zhí)行者。也即，對(duì)靜止的手并不是經(jīng)常執(zhí)行一定的壓縮，對(duì)手的動(dòng)作變化多，變化少的人，更甚者，配合當(dāng)時(shí)的對(duì)話狀況，不是用固定壓縮和固定分割，而是自適應(yīng)地變動(dòng)壓縮率和分割尺寸，由此能進(jìn)行最佳的圖像處理。
其次，接續(xù)在上述那樣的馬賽克化(步驟ST201)之后，對(duì)被分割的馬賽克810各個(gè)通過JP2技術(shù)進(jìn)行編碼。另外，本實(shí)施方式，在步驟ST201上，僅對(duì)對(duì)應(yīng)ROI80a的馬賽克進(jìn)行編碼，而對(duì)對(duì)應(yīng)非ROI的馬賽克則將碼量設(shè)定為0(不進(jìn)行編碼)。另外，本實(shí)施方式，在不進(jìn)行編碼時(shí)對(duì)應(yīng)只表示馬賽克的存在的數(shù)個(gè)字節(jié)(byte)的編碼列，由此，可避免解碼的破綻。
控制部263執(zhí)行的幀編碼是對(duì)每個(gè)馬賽克首先判斷屬于處理對(duì)象的馬賽克究竟是對(duì)應(yīng)于ROI80a，還是對(duì)應(yīng)于非ROI(步驟ST202)，只對(duì)對(duì)應(yīng)于ROI80a的馬賽克進(jìn)行編碼，而對(duì)對(duì)應(yīng)非ROI的馬賽克不進(jìn)行編碼處理(碼量0)。
在步驟ST202上若判斷是對(duì)應(yīng)ROI80a時(shí)則進(jìn)行編碼處理，依次執(zhí)行離散小波轉(zhuǎn)換(DWT步驟ST203)，非向量量子化(步驟ST204)，及EBCOT(步驟ST205)。
這里，步驟ST203的離散小波轉(zhuǎn)換(DWTDiscrete WaveletTransformation)是對(duì)馬賽克圖像進(jìn)行頻寬分割處理。JP2技術(shù)采用基于2分割濾波器組的上升(lifting)構(gòu)成的DWT?；谏仙?lifting)構(gòu)成的DWT上存在有屬于可逆變換的整數(shù)型DWT和屬于不可逆變換的實(shí)數(shù)型DWT兩種。lossy(不可逆)編碼及l(fā)ossless(可逆)編碼分別使用實(shí)數(shù)型DWT及整數(shù)型DWT。
另外，步驟ST204上的非向量量子化是對(duì)DWT系數(shù)在各個(gè)頻寬上執(zhí)行非向量量子化。但是，若是使用整數(shù)型DWT的情況下時(shí)則省略這項(xiàng)處理。用于非向量量子化的量子化階梯(Step)大小由下式表示。
Δb=2Rb-ϵb[1+μb211]]]>這里，Δb是副頻寬(Sub-band)6的量子化階梯，Rb是副頻寬b的動(dòng)態(tài)范圍(dynamic range)。εb和μb分別用5個(gè)位元和11個(gè)位元表示，并送到解碼器以為逆量子化之用。另外，上述量子化階梯(quantization step)大小，對(duì)畫質(zhì)優(yōu)先度高，也即對(duì)希望為高畫質(zhì)的馬賽克設(shè)定為小階梯大小，而對(duì)應(yīng)低畫質(zhì)即可的非ROI的馬賽克階梯大小則設(shè)定得大。另外，若將此量子化階梯大小設(shè)定為1時(shí)則實(shí)質(zhì)上是與不執(zhí)行非向量量子化等效。
其次，在步驟ST205上的EBCOT(Embedded Block Coding With OptimizedTruncation)是負(fù)責(zé)相當(dāng)于熵編碼(entropy encoding)及編碼率控制的處理的算法(Algorithm)，由系數(shù)模式化(coefficient modeling)，算術(shù)編碼及層分割·碼切取(layer dividing·code extracting)三工程所構(gòu)成。此EBCOT內(nèi)存在有所謂碼塊(code block)的編碼單位。碼塊被DWT區(qū)域上的矩形區(qū)域所定義，在全部的頻寬上其大小皆相同。另外，上述三個(gè)工程中除掉算術(shù)編碼的工程外，是以碼塊大小為單位分開執(zhí)行。
系數(shù)模式化是將碼塊內(nèi)的系數(shù)行位元平面(bit-plane)分解，判定各位元平面的系數(shù)位元的文脈信息(context上下文關(guān)聯(lián))。在判定上下文關(guān)聯(lián)時(shí)，準(zhǔn)備有基于事先預(yù)備的統(tǒng)計(jì)模式的上下文關(guān)聯(lián)分配圖(Context AssignmentMap)。上下文關(guān)聯(lián)分配圖(Context Assignment Map)依各個(gè)頻寬而不相同。依具有系數(shù)位元的文脈信息，將一個(gè)位元平面分解，排列為三個(gè)編碼化路徑(Sub-bit Plane副位元平面)。
其次，算術(shù)編碼使用屬于兩值算術(shù)編碼器的MQ編碼器(coder)，將各個(gè)編碼化路徑(path)予以編碼。MQ編碼器需要用于編碼的文脈信息，而這文脈信息即是利用通過系數(shù)位元模式化獲得的文脈信息。
層分割·碼切取是將每個(gè)碼塊產(chǎn)生的編碼數(shù)據(jù)列對(duì)應(yīng)再現(xiàn)圖像幀的SNR(Signal to Noise Ratio)提升的貢獻(xiàn)度的程度，在賦與的編碼率內(nèi)分割成多層的SNR層(layer)。最上層對(duì)畫質(zhì)的影響最大，另外，通過從最上層到最下層的各層依次接收?qǐng)D像數(shù)據(jù)，能階段地提升再現(xiàn)圖像幀的畫質(zhì)。能分層的位置受各編碼化路徑的終端的限制，此終端稱為舍棄點(diǎn)。另外，JP2的編碼率控制與對(duì)畫質(zhì)的貢獻(xiàn)度高的順序并行，對(duì)被改變的數(shù)據(jù)，將超過賦與的編碼率的數(shù)據(jù)以舍棄點(diǎn)為單位予以舍棄而達(dá)成。
如上述，對(duì)構(gòu)成一個(gè)圖像幀的全部馬賽克，在結(jié)束編碼(步驟ST203～ST205)或跳過編碼后(步驟ST206)，將得出的各個(gè)馬賽克的編碼數(shù)據(jù)予以匯總而產(chǎn)生一個(gè)圖像幀的編碼數(shù)據(jù)(步驟ST207)。
另外，上述的步驟ST201利用在前處理(步驟ST10)上對(duì)話者自身設(shè)定的ROI數(shù)據(jù)，將ROI和非ROI對(duì)應(yīng)于分割成規(guī)定尺寸的各個(gè)馬賽克，但此ROI的設(shè)定也可對(duì)被分割的馬賽克中，將檢測(cè)圖像有移動(dòng)的馬賽克自動(dòng)地對(duì)應(yīng)于ROI。圖12是表示ROI設(shè)定方法的另外例。
首先，將圖像幀分割成規(guī)定尺寸的馬賽克以作為分割區(qū)域(步驟S201a)。然后，對(duì)每個(gè)被分割的馬賽克檢測(cè)圖像是否移動(dòng)(步驟ST201b)，將實(shí)際上被檢測(cè)出圖像有移動(dòng)的馬賽克設(shè)定于ROI(步驟S201c)。上述的處理對(duì)全部的馬賽克執(zhí)行完后(步驟ST201d)，則執(zhí)行步驟ST202。
圖13是用于說明檢測(cè)每個(gè)被分割的馬賽克的移動(dòng)的動(dòng)作的圖。圖13中的區(qū)域(a)上示出比較前圖像幀A(由馬賽克T11～T23構(gòu)成)之中馬賽克T22與后圖像幀B(由馬賽克T11～T23構(gòu)成)的對(duì)應(yīng)馬賽克T22的情況。具體的比較是求出前圖像幀A的馬賽克T22內(nèi)的事先指定的像素的亮度值a1，a2，a3和后圖像幀B的馬賽克T22內(nèi)的對(duì)應(yīng)的像素的亮度值b1，b2，b3，通過這些對(duì)應(yīng)的像素彼此間的亮度值的差的合計(jì)以算出移動(dòng)量。也即，馬賽克T22的移動(dòng)量用下式表示。
(a1-b1)+(a2-b2)+(a3-b3)通過上式算出的移動(dòng)量若超過規(guī)定的閾值時(shí)馬賽克T22則設(shè)定于ROI。另外，用于比較亮度值的像素?cái)?shù)也可依各個(gè)馬賽克而異。
圖13中的區(qū)域(b)是概念地表示含有上述移動(dòng)檢測(cè)動(dòng)作的編碼處理的方塊圖。
如圖13中的區(qū)域(b)所示的那樣，對(duì)于是處理對(duì)象的后圖像幀B的各馬賽克，利用屬于比較對(duì)象的前圖像幀A的對(duì)應(yīng)馬賽克以檢測(cè)圖像的移動(dòng)，接著根據(jù)此檢測(cè)結(jié)果，是否編碼成ROI，或非ROI(若是非ROI的情況下時(shí)碼量也可設(shè)定為0)，然后得出圖像幀B的編碼數(shù)據(jù)。
其次，圖14是用于概念地說明應(yīng)用上述那樣的活動(dòng)圖像數(shù)據(jù)的編碼方法的雙向?qū)υ捫拖到y(tǒng)(本發(fā)明有關(guān)的雙向?qū)υ捫拖到y(tǒng))的活動(dòng)圖像數(shù)據(jù)的發(fā)送接收動(dòng)作。另外，以下的說明是示出將CCD攝像機(jī)5攝取的對(duì)話者圖像在監(jiān)視器上顯示的圖像80行6分割的馬賽克化的例。
發(fā)送側(cè)終端裝置20A，首先，將CCD攝像機(jī)5依次攝取的圖像幀(顯示對(duì)話者的監(jiān)視器圖像80)馬賽克化成6個(gè)馬賽克(T11～T23)，依每個(gè)圖像幀，對(duì)對(duì)應(yīng)于ROI80a的馬賽克T12進(jìn)行編碼。另外一方面，對(duì)應(yīng)于非ROI的馬賽克T11，T13，T21～T23則是每一定期間進(jìn)行編碼。這時(shí)，發(fā)送側(cè)終端裝置20A一邊在例如發(fā)送速度為10Mbps的發(fā)送線路上發(fā)送以30幀/秒(fps)的速率送出的圖像幀的編碼數(shù)據(jù)(僅含有被壓縮的馬賽克T12的碼)，一邊每一定期間送出含有全部馬賽克的壓縮數(shù)據(jù)的編碼數(shù)據(jù)。這樣，事先將構(gòu)成一個(gè)圖像幀的馬賽克分類成編碼對(duì)象及非編碼對(duì)象，由此，減輕該發(fā)送側(cè)終端裝置20A的圖像處理的負(fù)載。
另外一方面，接收側(cè)終端裝置20B以30fps的速率對(duì)依次接收的編碼數(shù)據(jù)進(jìn)行解碼。此時(shí)，在一定期間之間，對(duì)對(duì)應(yīng)于ROI80a的馬賽克T12得出解碼的數(shù)據(jù)，但對(duì)對(duì)應(yīng)于非ROI的馬賽克T11，T13，T21～T23則無法得出解碼數(shù)據(jù)(自發(fā)送側(cè)終端裝置20A送出的碼量是0)。這種情況下，接收側(cè)終端裝置20B將相當(dāng)于先前接收的被解碼的別的圖像數(shù)據(jù)的馬賽克T11，T13，T21～T23的馬賽克圖像與解碼的馬賽克圖像合成，由此產(chǎn)生新的應(yīng)顯示的圖像幀90。
這樣，在實(shí)現(xiàn)實(shí)時(shí)雙向?qū)υ挼碾p向?qū)υ捫拖到y(tǒng)那樣的特殊環(huán)境下，也即發(fā)送信息僅集中在顯示圖像的一部分區(qū)域上的活動(dòng)圖像數(shù)據(jù)的特殊環(huán)境下，將從圖像幀分割出的多個(gè)馬賽克對(duì)應(yīng)于ROI和非ROI的任意一個(gè)，對(duì)對(duì)應(yīng)該ROI的馬賽克和對(duì)應(yīng)非ROI的馬賽克改變壓縮級(jí)別以進(jìn)行各圖像的編碼，由此能減輕及高速化這樣的雙向?qū)υ捫拖到y(tǒng)的活動(dòng)圖像的編碼處理。
再者，上述的接收動(dòng)作，通過合成解碼的全部馬賽克，或合成解碼的馬賽克和作為先前的圖像幀的馬賽克而被存儲(chǔ)的馬賽克，以產(chǎn)生顯示用圖像幀90，但顯示用圖像幀的產(chǎn)生并非限定于這樣。圖15是用于概念地說明本發(fā)明有關(guān)的雙向?qū)υ捫拖到y(tǒng)的活動(dòng)圖像數(shù)據(jù)的發(fā)送接收動(dòng)作的另外的例子的圖。
發(fā)送動(dòng)作，與圖14所示的動(dòng)作相同，發(fā)送側(cè)終端裝置20A針對(duì)各個(gè)馬賽克T11～T23執(zhí)行ROI編碼及非ROI編碼的任意一個(gè)，得出的編碼數(shù)據(jù)則發(fā)送到接收側(cè)終端裝置20B。在接收側(cè)終端裝置20B上，對(duì)應(yīng)ROI的馬賽克的編碼數(shù)據(jù)則被解碼，另一方面對(duì)應(yīng)非ROI的馬賽克的編碼數(shù)據(jù)也被解碼。然后，僅放大處理必要的馬賽克T12以產(chǎn)生顯示用圖像幀90。
另外，圖15所示的例子，雖是多個(gè)馬賽克被設(shè)定為ROI，但也可對(duì)應(yīng)會(huì)議的進(jìn)行狀況一邊動(dòng)態(tài)地變更顯示對(duì)象人物的一個(gè)馬賽克，一邊設(shè)定ROI。這種情況下，僅傳送事先放大顯示的馬賽克的碼量，因此更減輕處理的負(fù)載。
例如，多人參加的電視會(huì)議，在發(fā)送側(cè)終端裝置20A上事先分配好顯示各會(huì)議參加者；會(huì)議參加者中任何一個(gè)有舉手的情況下等，則將檢測(cè)出圖像有移動(dòng)的馬賽克設(shè)定為ROI，對(duì)各馬賽克進(jìn)行ROI編碼或非ROI編碼。另一方面，在接收側(cè)終端裝置20B上，也可在解碼的馬賽克中僅對(duì)對(duì)應(yīng)ROI的馬賽克進(jìn)行放大處理以作為顯示用圖像幀90。
另外，在上述的圖14所示的例子中，執(zhí)行馬賽克化以將圖像幀分割成6個(gè)馬賽克，然后將分割的馬賽克T11～T23對(duì)應(yīng)于ROI和非ROI的任一，但也可將ROI進(jìn)一步分成要求的畫質(zhì)級(jí)別不同的多個(gè)區(qū)域。圖16是用于概念地說明圖14所示的活動(dòng)圖像數(shù)據(jù)的發(fā)送接收動(dòng)作的第1應(yīng)用例(特別是發(fā)送動(dòng)作)的圖。
對(duì)話對(duì)方的表情，除了要求最細(xì)微且高速地顯示眼臉，眼睛，眉間的微妙變化等之外還對(duì)非語言表現(xiàn)的手勢(shì)，手的移動(dòng)，輪廓的高速響應(yīng)移動(dòng)顯示也是重要。在當(dāng)時(shí)手本身的畫質(zhì)即便降低但對(duì)對(duì)話的影響本質(zhì)上僅止于輕微。因此，考慮上述雙向?qū)υ捫拖到y(tǒng)特有的對(duì)話環(huán)境，圖16是在發(fā)送側(cè)終端裝置20A上將馬賽克T12對(duì)應(yīng)于包含對(duì)話時(shí)高精細(xì)且高速響應(yīng)的臉部，頭部的高精細(xì)且高速顯示區(qū)域(第1ROI)，將馬賽克T12對(duì)應(yīng)于手，手腕，胸部之中精細(xì)且高速顯示區(qū)域(第2ROI)，而剩余的馬賽克T11，T13，T21，T23則對(duì)應(yīng)于非ROI。這樣，考慮對(duì)對(duì)話的影響，在圖像幀內(nèi)分類成壓縮級(jí)別做階段地變化的多個(gè)種類的區(qū)域，這在對(duì)于減輕圖像處理負(fù)載的狀態(tài)下實(shí)現(xiàn)順暢的雙向?qū)υ捝细鼮橛行А?br> 再者，若考慮對(duì)圖像幀內(nèi)的各區(qū)域的對(duì)話的影響度時(shí)也可將對(duì)應(yīng)于非ROI的馬賽克T11，T13，T21，T23的碼在一定期間中設(shè)定為0。具體說，對(duì)非ROI不進(jìn)行編碼，發(fā)送僅表示不被編碼的馬賽克的存在的數(shù)個(gè)字節(jié)(byte)的編碼列，由此避免解碼上的破綻。
另外，通過對(duì)對(duì)應(yīng)ROI的馬賽克T12進(jìn)行加密，利用雙向?qū)υ捫拖到y(tǒng)的對(duì)話者的隱私能獲得保護(hù)。上述那樣實(shí)現(xiàn)對(duì)話者之間視線一致狀態(tài)的雙向?qū)υ捫拖到y(tǒng)，除了單純?cè)谏虉?chǎng)(business scene)上利用的電視會(huì)議系統(tǒng)之外，另也被視為可望應(yīng)用于具有因?yàn)?zāi)害、事故等所造成的后遺癥的人的咨詢輔導(dǎo)等治療系統(tǒng)。另外一方面，雙向?qū)υ捰斜匾M(jìn)行實(shí)時(shí)的加密和解密，因此，通過只對(duì)對(duì)話時(shí)的興趣區(qū)域加密，能更有效率地執(zhí)行圖像處理。對(duì)話時(shí)的興趣區(qū)域(ROI)主要是對(duì)話對(duì)方圖像的臉部，此部分若無法判別時(shí)則非常難于辨識(shí)個(gè)人。因此，僅重點(diǎn)地對(duì)屬于高精細(xì)(低壓縮率)且高速顯示的區(qū)域的ROI進(jìn)行加密，對(duì)話者的隱私能獲得充分的保護(hù)。另外，個(gè)人的辨識(shí)聲音也是重要的，通過與圖像分開加密，能構(gòu)筑更為強(qiáng)固的安全性。
另外，雙向?qū)υ捪狄贿呑⒁晫?duì)話對(duì)方的臉部(一邊維持視線能一致的狀態(tài))，一邊進(jìn)行對(duì)話，但是僅經(jīng)對(duì)話對(duì)方圖像進(jìn)行對(duì)話說怎樣也無法獲得實(shí)際的面對(duì)面對(duì)話(利用活動(dòng)圖像和數(shù)據(jù)圖像的真實(shí)(visual)對(duì)話)具有的臨場(chǎng)感。有臨場(chǎng)感的對(duì)話環(huán)境，在雙向?qū)υ挄r(shí)，也和面對(duì)面對(duì)話一樣，欲使利用數(shù)據(jù)進(jìn)行順暢對(duì)話，不僅要求播放臉部，也包括上半身和房間整體的多樣的圖像。因此，理想的是顯示對(duì)話對(duì)方的圖像外，還可隨意地顯示文本(text)等的數(shù)據(jù)以實(shí)現(xiàn)具臨場(chǎng)感的對(duì)話。不過，這樣增加發(fā)送來自多個(gè)信息源的靜止圖像和活動(dòng)圖像，須有大容量的通信容量，因此，導(dǎo)致阻礙對(duì)話系統(tǒng)的普及化。
這樣的具有臨場(chǎng)感的雙向?qū)υ挘舶魳?，演戲，各種趣味，各種資格等的遠(yuǎn)距實(shí)際技術(shù)指導(dǎo)，特別是在這樣的對(duì)話環(huán)境下，最好是除了合成在多個(gè)視點(diǎn)上觀察的圖像外，也隨時(shí)顯示對(duì)應(yīng)當(dāng)時(shí)的文本數(shù)據(jù)。另外，不限于遠(yuǎn)距實(shí)際技術(shù)指導(dǎo)，就是對(duì)于現(xiàn)場(chǎng)指導(dǎo)，最好也是合成在多個(gè)視點(diǎn)上的觀察圖像，同時(shí)文本數(shù)據(jù)也顯示錄像和再現(xiàn)觀察指導(dǎo)的內(nèi)容。
圖17是用于概念地說明上述圖16所示的第1應(yīng)用例的具體的例的圖。
圖17是示出顯示于動(dòng)物園的監(jiān)視用的監(jiān)視器上的圖像幀。此圖像幀也是對(duì)每個(gè)馬賽克檢測(cè)圖像的移動(dòng)，設(shè)定加密與否，或?qū)γ總€(gè)馬賽克事先設(shè)定加密與否和強(qiáng)度。另外，這樣的應(yīng)用例，并非僅對(duì)被設(shè)定為ROI的馬賽克加密，對(duì)任意的馬賽克也設(shè)定加密。
也即，顯示欄中的動(dòng)物的馬賽克T11，T12，T13不加密，僅在該動(dòng)物有移動(dòng)時(shí)才發(fā)送編碼數(shù)據(jù)。另一方面，顯示站在欄前面的人物的馬賽克T21，T22，T23從保護(hù)隱私的觀點(diǎn)執(zhí)行低級(jí)別的加密。
應(yīng)編碼的活動(dòng)圖像數(shù)據(jù)也能應(yīng)用power point，表計(jì)算軟件，文字處理軟件，瀏覽器(browser)等的應(yīng)用軟件產(chǎn)生的數(shù)據(jù)，下面將使用圖18及圖19說明編碼動(dòng)作。另外，圖18及圖19皆為概念地說明圖14所示的活動(dòng)圖像數(shù)據(jù)的發(fā)送接收動(dòng)作上的幀編碼化的第2應(yīng)用例的圖。另外，由上述應(yīng)用程序等產(chǎn)生的數(shù)據(jù)檔一旦轉(zhuǎn)換成圖像數(shù)據(jù)后即被執(zhí)行壓縮處理。
由上述應(yīng)用程序產(chǎn)生的顯示數(shù)據(jù)等因隨著時(shí)間的經(jīng)過，頻繁地產(chǎn)生部分的變化(例如，游標(biāo)的移動(dòng)，和文字的追加顯示等)，故通過將每一定時(shí)間的顯示數(shù)據(jù)作為一個(gè)圖像幀，整體也能作為活動(dòng)圖像數(shù)據(jù)處理。因這種情況下，本說明里提及的活動(dòng)圖像數(shù)據(jù)除了通過攝像裝置等攝取的圖像數(shù)據(jù)之外，也包含由上述應(yīng)用軟件等產(chǎn)生的顯示數(shù)據(jù)，靜止圖像和攝像圖像的組合。
首先，圖18所示的例，是對(duì)文本數(shù)據(jù)，和相片(也可是攝像圖像)等的圖像幀進(jìn)行馬賽克化。這時(shí)，通過檢測(cè)指示器(Pointer)的移動(dòng)，對(duì)該指示器所在的馬賽克T22進(jìn)行編碼。
另外一方面，圖19的例，如圖19中的區(qū)域(a)所示那樣，在發(fā)送側(cè)終端裝置的監(jiān)視器畫面8A內(nèi)設(shè)定有發(fā)送用圖像區(qū)域(此區(qū)域系被馬賽克化以形成發(fā)送用圖像幀80)之外，還同時(shí)在該區(qū)域之外顯示power point，表計(jì)算軟件，文字處理軟件，瀏覽器等的應(yīng)用程序產(chǎn)生的資料數(shù)據(jù)。
如圖19中的區(qū)域(b)所示那樣，上述資料數(shù)據(jù)在監(jiān)視器畫面8A上于箭頭S1所示方向被拖引，在其一部分進(jìn)入發(fā)送用圖像區(qū)域后發(fā)送側(cè)終端機(jī)裝置能檢測(cè)出在馬賽克T21內(nèi)發(fā)生圖像的移動(dòng)。由此，發(fā)送側(cè)終端裝置對(duì)這個(gè)馬賽克T21進(jìn)行編碼，然后發(fā)送到接收側(cè)終端裝置。
接收側(cè)終端裝置，如圖19的區(qū)域(c)所示那樣，在監(jiān)視器畫面8B上顯示僅新近合成的解碼的馬賽克T21的圖像幀90。
再者，本發(fā)明有關(guān)的活動(dòng)圖像數(shù)據(jù)的編碼方法的第3應(yīng)用例應(yīng)被編碼的圖像幀的一部分是將從與屬于發(fā)送對(duì)象的活動(dòng)圖像數(shù)據(jù)不同的信息源得出的圖像(壓縮級(jí)別即便低也不會(huì)對(duì)對(duì)話產(chǎn)生障礙的靜止圖像的一部分，和構(gòu)成別的活動(dòng)圖像的圖像幀的一部分)填入于例如相當(dāng)于非ROI的矩形區(qū)域那樣而構(gòu)成。由此構(gòu)成，更具臨場(chǎng)感的雙向?qū)υ捘懿皇芫€路通信容量，和圖像處理能力等現(xiàn)在的通信環(huán)境的限制。下面，將利用圖20～圖23詳細(xì)說明本發(fā)明有關(guān)的活動(dòng)圖像數(shù)據(jù)的編碼方法的第3應(yīng)用例。
圖20是用于概念地說明本發(fā)明有關(guān)的活動(dòng)圖像數(shù)據(jù)的發(fā)送接收動(dòng)作的幀編碼化的第3應(yīng)用例(特別是發(fā)送動(dòng)作)的圖。
此第3應(yīng)用例是設(shè)定由多個(gè)分割區(qū)域VT11～VT33構(gòu)成的虛擬圖像幀以作為須編碼的圖像幀80，這些多個(gè)分割區(qū)域VT11～VT33是作為屬于JP2的馬賽克化(tiling)的處理單位的馬賽克處理。另外，圖像幀80分割為3×3，但虛擬圖像幀分割成4×4(分割尺寸與圖像幀80的矩形區(qū)域T11～T23相同)。
然后，將設(shè)定于圖像幀80的ROI的矩形區(qū)域T12，T22分配給在構(gòu)成虛擬圖像幀的分割區(qū)域中的該虛擬圖像幀的分割區(qū)域VT11～VT22，虛擬圖像幀的分割區(qū)域V13上，分配有對(duì)話者整體被攝取的活動(dòng)圖像幀86的一部分86a。而在虛擬圖像幀的分割區(qū)域VT31～VT32上各自分配有表示從鍵盤輸入的文字信息的文本圖像88的一部分88a，88b。在虛擬圖像幀的分割區(qū)域VT11，VT21上各自分配有表示自光筆920等輸入的手寫文字信息的白板圖像87的一部87a，87b。另外，在虛擬圖像幀的分割區(qū)域VT33上沒有分配圖像。
如上述那樣被分配于分割區(qū)域VT11～VT33的多種圖像上分別，如圖20的編碼級(jí)別的矩陣所示那樣，事先指定編碼級(jí)別。另外，“H”表示高壓縮率，“M”表示中壓縮率，“L”表示低壓縮率。另外，編碼級(jí)別矩陣中的斜線區(qū)域是表示虛擬圖像幀的分割區(qū)域VT33的編碼級(jí)別的區(qū)域，但因分割區(qū)域上未被分配圖像之故，不執(zhí)行編碼(碼量＝0)。依此編碼級(jí)別矩陣所指定的編碼級(jí)別，各分割區(qū)域VT11～VT33通過JP2技術(shù)個(gè)別被壓縮，然后將得出的分割區(qū)域VT11～VT33的編碼數(shù)據(jù)予以合成，由此產(chǎn)生各虛擬圖像幀的編碼數(shù)據(jù)。
將如上述那樣作為屬于編碼化對(duì)象的活動(dòng)圖像數(shù)據(jù)的圖像幀而設(shè)定的虛擬圖像幀沿著時(shí)間軸順序進(jìn)行編碼，由此，能依次得出混合靜止圖像和活動(dòng)圖像的一個(gè)圖像幀份的活動(dòng)圖像再現(xiàn)(regeneration)用的編碼數(shù)據(jù)。
另外一方面，圖21是用于概念地說明通過圖20所示的第3應(yīng)用例有關(guān)的幀編碼得出的編碼數(shù)據(jù)的解碼動(dòng)作的圖。
經(jīng)規(guī)定的傳送裝置27發(fā)送接收的編碼數(shù)據(jù)因系由圖20中所示的虛擬圖像幀的分割區(qū)域VT11～VT33的編碼數(shù)據(jù)所構(gòu)成，故分別對(duì)這些分割區(qū)域VT11～VT33的編碼數(shù)據(jù)所構(gòu)成，故分別對(duì)這些分割區(qū)域VT11～VT33的編碼數(shù)據(jù)進(jìn)行解碼，由此能得出分配給分割區(qū)域VT11～VT33的圖像以作為幀要素。另外，虛擬圖像幀的分割區(qū)域VT33的碼量因是0之故，準(zhǔn)備對(duì)話者本身的圖像85作為對(duì)應(yīng)于此分割區(qū)域VT33的幀要素。
合成如上述那樣被解碼的幀要素和另外準(zhǔn)備的對(duì)話者本身的圖像，由此，能得出圖21所示那樣的顯示圖像幀90。通過將來自對(duì)方的終端裝置的編碼數(shù)據(jù)沿著時(shí)間軸依次解碼，能依次得出混合靜止圖像和活動(dòng)圖像的一個(gè)圖像幀份的活動(dòng)圖像再現(xiàn)用的圖像幀。
圖22及圖23系分別為表示應(yīng)用圖20所示的第3應(yīng)用例有關(guān)的幀編碼時(shí)顯示用圖像幀的一例，此兩顯示用圖像幀皆如圖21所示那樣，通過解碼，或通過解碼及與別的圖像的合成而得出者。
圖22所示的顯示用圖像幀90是由分配給解碼的分割區(qū)域的圖像所構(gòu)成的區(qū)域90a及與對(duì)話者，自身的圖像90b的合成。此圖22所示的顯示用圖像幀90的例，斜線區(qū)域90c上分配文本圖像等的靜止圖像，剩余的區(qū)域上分配對(duì)話對(duì)方的圖像ROI。這樣，本發(fā)明有關(guān)的活動(dòng)圖像數(shù)據(jù)的編碼方法的第3應(yīng)用例，在進(jìn)行編碼處理時(shí)也可將對(duì)話對(duì)方的圖像的ROI分配給虛擬圖像幀的分割區(qū)域VT11～VT33的任一，另外，能隨意地變更對(duì)話對(duì)方的圖像和文本圖像等的靜止圖像的比例。
另外，圖23所示的顯示用圖像幀90是，假想指導(dǎo)者和鋼琴演奏者在進(jìn)行鋼琴教學(xué)(piano lesson)時(shí)，構(gòu)成顯示該指導(dǎo)者側(cè)的活動(dòng)圖像的一個(gè)圖像幀。如圖23所示，在構(gòu)成虛擬圖像幀的4個(gè)分割區(qū)域中3個(gè)分割區(qū)域上分配以多角度攝取的鋼琴演奏者的各個(gè)圖像，而在剩下的區(qū)域上分配顯示樂譜等的文本圖像。另外，將這樣的多角度攝像的圖像分配給虛擬圖像幀的分割區(qū)域的情況下，也可將參加在不同地點(diǎn)間舉行電視會(huì)議的一側(cè)的參加者各個(gè)的圖像分配給構(gòu)成虛擬圖像的若干分割區(qū)域，還同時(shí)將顯示會(huì)議數(shù)據(jù)的文本(text)圖像分配給剩余的分割區(qū)域。
從上述的本發(fā)明的說明，明白可對(duì)本發(fā)明做各種變更。這種變更不能視為逾越本發(fā)明的精神及范圍，所有本領(lǐng)域技術(shù)人員知曉的改良皆包含在所述的權(quán)利要求內(nèi)。
(產(chǎn)業(yè)上利用可能性)本發(fā)明能使用在實(shí)現(xiàn)實(shí)時(shí)的雙向?qū)υ挼碾p向?qū)υ捫拖到y(tǒng)那樣的特殊環(huán)境，也即，發(fā)送信息僅集中在顯示圖像的一部分區(qū)域的活動(dòng)圖像數(shù)據(jù)的特殊環(huán)境。
權(quán)利要求
1.一種活動(dòng)圖像數(shù)據(jù)的編碼方法，是將構(gòu)成活動(dòng)圖像數(shù)據(jù)的圖像幀各自沿著時(shí)間軸依次壓縮的活動(dòng)圖像數(shù)據(jù)的編碼方法，將構(gòu)成上述活動(dòng)圖像數(shù)據(jù)的圖像幀中應(yīng)編碼的圖像幀分割成多個(gè)區(qū)域，將上述多個(gè)分割區(qū)域分別對(duì)應(yīng)于設(shè)定在上述圖像幀內(nèi)的興趣區(qū)域及與該興趣區(qū)域不同的非興趣區(qū)域之一，使上述多個(gè)分割區(qū)域中對(duì)應(yīng)上述興趣區(qū)域的分割區(qū)域的碼量比對(duì)應(yīng)上述非興趣區(qū)域的分割區(qū)域的碼量多那樣對(duì)該多個(gè)分割區(qū)域分別進(jìn)行壓縮，由此產(chǎn)生各圖像幀的編碼數(shù)據(jù)。
2.如權(quán)利要求1所述的活動(dòng)圖像數(shù)據(jù)的編碼方法，其中，在上述多個(gè)分割區(qū)域中，使被檢測(cè)出區(qū)域內(nèi)圖像有移動(dòng)的分割區(qū)域?qū)?yīng)于上述興趣區(qū)域。
3.如權(quán)利要求1或2所述的活動(dòng)圖像數(shù)據(jù)的編碼方法，其中上述興趣區(qū)域?qū)?yīng)多個(gè)分割區(qū)域，對(duì)應(yīng)于興趣區(qū)域的這些分割區(qū)域分別被壓縮成具有不同的碼量。
4.如權(quán)利要求1至3中任一項(xiàng)所述的活動(dòng)圖像數(shù)據(jù)的編碼方法，其中在上述多個(gè)分割區(qū)域中對(duì)應(yīng)上述非興趣區(qū)域的分割區(qū)域的編碼處理中，該分割區(qū)域的碼量在一定期間中為0。
5.如權(quán)利要求1至4中任一項(xiàng)所述的活動(dòng)圖像數(shù)據(jù)的編碼方法，其中相當(dāng)于在上述多個(gè)分割區(qū)域中對(duì)應(yīng)上述興趣區(qū)域的分割區(qū)域的編碼數(shù)據(jù)，進(jìn)一步被加密。
6.如權(quán)利要求1、2、4或5中任一項(xiàng)所述的活動(dòng)圖像數(shù)據(jù)的編碼方法，其中構(gòu)成上述活動(dòng)圖像數(shù)據(jù)的圖像幀被分割成使上述興趣區(qū)域構(gòu)成為一個(gè)分割區(qū)域。
7.如權(quán)利要求6所述的活動(dòng)圖像數(shù)據(jù)的編碼方法，其中對(duì)應(yīng)上述興趣區(qū)域大小的變動(dòng)，動(dòng)態(tài)地變更上述分割區(qū)域的分割大小。
8.如權(quán)利要求1至5中任一項(xiàng)所述的活動(dòng)圖像數(shù)據(jù)的編碼方法，其中對(duì)應(yīng)上述興趣區(qū)域大小的變動(dòng)，動(dòng)態(tài)地變更對(duì)應(yīng)于該興趣區(qū)域的分割區(qū)域。
9.如權(quán)利要求1至8中任一項(xiàng)所述的活動(dòng)圖像數(shù)據(jù)的編碼方法，其中構(gòu)成上述活動(dòng)圖像數(shù)據(jù)的圖像幀分別依照J(rèn)PEG2000而被壓縮。
10.一種計(jì)算機(jī)程序，其通過計(jì)算機(jī)執(zhí)行權(quán)利要求1至9中任一項(xiàng)所述的活動(dòng)圖像數(shù)據(jù)的編碼方法。
11.一種記錄媒體，其記錄通過計(jì)算機(jī)執(zhí)行權(quán)利要求1至9中任一項(xiàng)所述的活動(dòng)圖像數(shù)據(jù)的編碼方法的計(jì)算機(jī)程序。
12.一種雙向?qū)υ捫拖到y(tǒng)，是經(jīng)由規(guī)定的傳送裝置將被攝像的對(duì)話者圖像相互提示給對(duì)方對(duì)話者，由此實(shí)現(xiàn)該對(duì)話者和該對(duì)方對(duì)話者間的對(duì)話的雙向?qū)υ捫拖到y(tǒng)，構(gòu)成經(jīng)由上述傳送裝置發(fā)送接收的活動(dòng)圖像數(shù)據(jù)的圖像幀通過權(quán)利要求1至9中任一項(xiàng)所述的活動(dòng)圖像數(shù)據(jù)的編碼方法而被編碼。
13.如權(quán)利要求12所述的雙向?qū)υ捫拖到y(tǒng)，其中為了調(diào)節(jié)顯示位置，上述興趣區(qū)域相對(duì)于被顯示的上述對(duì)話者自身的圖像而設(shè)定。
14.如權(quán)利要求12或13所述的雙向?qū)υ捫拖到y(tǒng)，其中除了上述興趣區(qū)域的設(shè)定外，還設(shè)定上述分割區(qū)域的壓縮級(jí)別及有無加密。
15.一種活動(dòng)圖像數(shù)據(jù)的解碼方法，對(duì)通過權(quán)利要求4所述的活動(dòng)圖像數(shù)據(jù)的編碼方法壓縮的各個(gè)圖像幀，對(duì)構(gòu)成該圖像幀的各個(gè)分割區(qū)域的編碼數(shù)據(jù)進(jìn)行解碼，然后將該解碼的各個(gè)分割區(qū)域合成而重新產(chǎn)生圖像幀，將當(dāng)作對(duì)應(yīng)上述興趣區(qū)域的分割區(qū)域而被壓縮的編碼數(shù)據(jù)解碼，同時(shí)準(zhǔn)備已解碼后存儲(chǔ)的另外圖像幀的對(duì)應(yīng)區(qū)域以作為對(duì)應(yīng)上述非興趣區(qū)域的分割區(qū)域，以及將對(duì)應(yīng)已解碼的上述興趣區(qū)域的分割區(qū)域和準(zhǔn)備的另外圖像幀的對(duì)應(yīng)區(qū)域合成以產(chǎn)生顯示用圖像幀。
16.一種計(jì)算機(jī)程序，其通過計(jì)算機(jī)執(zhí)行權(quán)利要求15所述的活動(dòng)圖像數(shù)據(jù)的解碼方法。
17.一種記錄媒體，其記錄通過計(jì)算機(jī)執(zhí)行權(quán)利要求15所述的活動(dòng)圖像數(shù)據(jù)的解碼方法的計(jì)算機(jī)程序。
18.一種雙向?qū)υ捫拖到y(tǒng)，是經(jīng)由規(guī)定的傳送裝置將被攝像的對(duì)話者圖像相互提示給對(duì)方對(duì)話者，由此實(shí)現(xiàn)該對(duì)話者和該對(duì)方對(duì)話者間的對(duì)話的雙向?qū)υ捫拖到y(tǒng)，構(gòu)成經(jīng)由上述傳送裝置被發(fā)送接收的活動(dòng)圖像數(shù)據(jù)的圖像幀的編碼數(shù)據(jù)通過權(quán)利要求15所述的活動(dòng)圖像數(shù)據(jù)的解碼方法而被解碼。
19.一種雙向?qū)υ捫拖到y(tǒng)的終端裝置，適用于經(jīng)由規(guī)定的傳送裝置將被攝像的對(duì)話者圖像相互提示給對(duì)方對(duì)話者，由此實(shí)現(xiàn)該對(duì)話者和該對(duì)方對(duì)話者間的對(duì)話的雙向?qū)υ捫拖到y(tǒng)，該終端裝置至少具備顯示該對(duì)方對(duì)話者的圖像的顯示裝置，以及用于攝取位于該顯示裝置的前方的該對(duì)話者的攝像部，該終端裝置還具備實(shí)現(xiàn)權(quán)利要求1至9中任一項(xiàng)所述的活動(dòng)圖像數(shù)據(jù)的編碼方法的控制部；以及將上述控制部壓縮的編碼數(shù)據(jù)送出到上述傳送裝置的輸入輸出部。
20.如權(quán)利要求19所述的雙向?qū)υ捫拖到y(tǒng)的終端裝置，其中還具備對(duì)顯示于上述顯示裝置的上述對(duì)話者自身的圖像設(shè)定上述興趣區(qū)域以調(diào)節(jié)顯示位置的輸入裝置。
21.如權(quán)利要求19或20所述的雙向?qū)υ捫拖到y(tǒng)的終端裝置，其中上述輸入裝置除了設(shè)定上述興趣區(qū)域外，同時(shí)取入有關(guān)上述分割區(qū)域的壓縮級(jí)別及有無加密的信息。
22.如權(quán)利要求19、20或21中任一項(xiàng)所述的雙向?qū)υ捫拖到y(tǒng)的終端裝置，其中上述控制部經(jīng)由上述輸入輸出部接收通過權(quán)利要求4所述的活動(dòng)圖像數(shù)據(jù)的編碼方法壓縮并被送出到上述傳送裝置的圖像數(shù)據(jù)，將構(gòu)成該圖像數(shù)據(jù)的各分割區(qū)域的編碼數(shù)據(jù)解碼，接著將該被解碼的各分割區(qū)域和事先準(zhǔn)備的另外圖像幀的對(duì)應(yīng)區(qū)域合成從而產(chǎn)生顯示用圖像幀。
23.一種活動(dòng)圖像數(shù)據(jù)的編碼方法，是將構(gòu)成活動(dòng)圖像數(shù)據(jù)的圖像幀分別沿著時(shí)間軸依次壓縮的活動(dòng)圖像數(shù)據(jù)的編碼方法，設(shè)定由多個(gè)分割區(qū)域構(gòu)成的虛擬圖像幀以作為應(yīng)編碼的圖像幀，將從構(gòu)成上述活動(dòng)圖像數(shù)據(jù)的圖像幀中應(yīng)編碼的圖像幀分割出的多個(gè)分割圖像中的至少一個(gè)和從與上述活動(dòng)圖像數(shù)據(jù)不同的信息源得到的劃出圖像，一起分配給構(gòu)成上述虛擬圖像幀的上述多個(gè)分割區(qū)域的每一個(gè)，對(duì)應(yīng)設(shè)定在該多個(gè)分割區(qū)域的各個(gè)區(qū)域的編碼級(jí)別而個(gè)別地壓縮被分配給構(gòu)成上述虛擬圖像幀的上述多個(gè)分割區(qū)域的各個(gè)圖像，由此產(chǎn)生包含多個(gè)種類的圖像信息的各虛擬圖像幀的編碼數(shù)據(jù)。
24.如權(quán)利要求23所述的活動(dòng)圖像數(shù)據(jù)的編碼方法，其中上述多個(gè)分割區(qū)域分別對(duì)應(yīng)于被設(shè)定在上述虛擬圖像幀內(nèi)的興趣區(qū)域及與該興趣區(qū)域不同的非興趣區(qū)域之一，上述多個(gè)分割區(qū)域分別被壓縮成對(duì)應(yīng)于上述興趣區(qū)域的分割區(qū)域的碼量比對(duì)應(yīng)于上述非興趣區(qū)域的分割區(qū)域的碼量多。
25.如權(quán)利要求24所述的活動(dòng)圖像數(shù)據(jù)的編碼方法，其中在上述多個(gè)分割區(qū)域中，被檢測(cè)出區(qū)域內(nèi)的圖像有移動(dòng)的分割區(qū)域?qū)?yīng)于上述興趣區(qū)域。
26.如權(quán)利要求23至25中任一項(xiàng)所述的活動(dòng)圖像數(shù)據(jù)的編碼方法，其中分配給構(gòu)成上述虛擬圖像幀的上述多個(gè)分割區(qū)域中的至少一個(gè)的圖像的編碼數(shù)據(jù)進(jìn)一步被加密。
27.如權(quán)利要求23至26中任一項(xiàng)所述的活動(dòng)圖像數(shù)據(jù)的編碼方法，其中在上述多個(gè)分割區(qū)域中的至少一個(gè)的編碼處理中，該分割區(qū)域的碼量在一定期間中為0。
28.如權(quán)利要求23至27中任一項(xiàng)所述的活動(dòng)圖像數(shù)據(jù)的編碼方法，其中上述虛擬圖像幀分別依照J(rèn)PEG2000而被壓縮。
29.一種計(jì)算機(jī)程序，其通過計(jì)算機(jī)執(zhí)行權(quán)利要求23至28中任一項(xiàng)所述的活動(dòng)圖像數(shù)據(jù)的解碼方法。
30.一種記錄媒體，其記錄通過計(jì)算機(jī)執(zhí)行權(quán)利要求23至28中任一項(xiàng)所述的活動(dòng)圖像數(shù)據(jù)的編碼方法的計(jì)算機(jī)程序。
31.一種雙向?qū)υ捫拖到y(tǒng)，是經(jīng)由規(guī)定的傳送裝置將被攝像的對(duì)話者圖像相互提示給對(duì)方對(duì)話者，由此實(shí)現(xiàn)該對(duì)話者和該對(duì)方對(duì)話者間的對(duì)話的雙向?qū)υ捫拖到y(tǒng)，構(gòu)成經(jīng)由上述傳送裝置發(fā)送接收的活動(dòng)圖像數(shù)據(jù)的圖像幀通過權(quán)利要求23至28中任一項(xiàng)所述的活動(dòng)圖像數(shù)據(jù)的編碼方法而被編碼。
32.一種雙向?qū)υ捫拖到y(tǒng)的終端裝置，適用于經(jīng)由規(guī)定的傳送裝置將被攝像的對(duì)話者圖像相互提示給對(duì)方對(duì)話者，由此實(shí)現(xiàn)該對(duì)話者和該對(duì)方對(duì)話者間的對(duì)話的雙向?qū)υ捫拖到y(tǒng)，該終端裝置至少具備顯示該對(duì)方對(duì)話者的圖像的顯示裝置，以及用于攝取位于該顯示裝置的前方的該對(duì)話者的攝像部，該終端裝置還具備實(shí)現(xiàn)權(quán)利要求23至28中任一項(xiàng)所述的活動(dòng)圖像數(shù)據(jù)的編碼方法的控制部；以及將上述控制部壓縮的編碼數(shù)據(jù)送出到上述傳送裝置的輸入輸出部。
33.如權(quán)利要求32所述的雙向?qū)υ捫拖到y(tǒng)的終端裝置，其中還具備取入有關(guān)上述分割區(qū)域的壓縮級(jí)別及有無加密的信息的輸入裝置。
34.如權(quán)利要求29所述的雙向?qū)υ捫拖到y(tǒng)的終端裝置，其中上述控制部經(jīng)由上述輸入輸出部接收通過權(quán)利要求27所述的活動(dòng)圖像數(shù)據(jù)的編碼方法壓縮并被送出到上述傳送裝置的圖像數(shù)據(jù)，將構(gòu)成該圖像數(shù)據(jù)的各個(gè)分割區(qū)域的編碼數(shù)據(jù)解碼，接著將該被解碼的各分割區(qū)域和替換碼量為0的分割區(qū)域而準(zhǔn)備的圖像合成從而產(chǎn)生顯示用圖像數(shù)據(jù)。
全文摘要
本發(fā)明涉及在實(shí)現(xiàn)實(shí)時(shí)的雙向?qū)υ挼碾p向?qū)υ捫拖到y(tǒng)那樣的、發(fā)送信息僅集中在顯示圖像的一部分區(qū)域上的活動(dòng)圖像數(shù)據(jù)的特殊對(duì)話環(huán)境下，有效的活動(dòng)圖像數(shù)據(jù)的編碼方法等。該編碼方法是將構(gòu)成活動(dòng)圖像數(shù)據(jù)的圖像幀分割成多個(gè)矩形區(qū)域，接著，將這些多個(gè)矩形區(qū)域分別對(duì)應(yīng)于事先設(shè)定的ROI和非ROI。然后使對(duì)應(yīng)ROI的矩形區(qū)域的碼量比對(duì)應(yīng)非ROI的矩形區(qū)域的碼量多那樣依次壓縮這些矩形區(qū)域，進(jìn)而產(chǎn)生各個(gè)圖像幀的編碼數(shù)據(jù)。
文檔編號(hào)H04N11/02GK1914915SQ200580003640
公開日2007年2月14日 申請(qǐng)日期2005年2月23日 優(yōu)先權(quán)日2004年4月23日
發(fā)明者貴家仁志, 柿井俊昭, 牧久雄, 畑洋一 申請(qǐng)人:住友電氣工業(yè)株式會(huì)社, 貴家仁志