專利名稱：圖像顯示控制裝置、圖像處理裝置及搭載其的攝像裝置的制作方法
技術領域：
本發(fā)明涉及對編碼圖像數(shù)據(jù)解碼后使規(guī)定的顯示裝置顯示的圖像顯示控制裝置 及搭載該圖像顯示控制裝置的攝像裝置、以及對拍攝到的運動圖像進行編碼的圖像處理裝 置及搭載該圖像處理裝置的攝像裝置。
背景技術：
近年來，一種普通用戶能容易地拍攝運動圖像的數(shù)碼攝像機正在普及，其中有能 夠拍攝高清HD(high definition) (1920X 1080像素)的運動圖像的數(shù)碼攝像機。這樣的數(shù) 碼攝像機拍攝到的運動圖像被用于各種用途。例如，在電視機或PC上欣賞，或附于電子郵 件進行發(fā)送，或者上傳到網(wǎng)絡上的運動圖像共享網(wǎng)站、博客網(wǎng)站或SNS(Social Networking Service)網(wǎng)站。高清HD拍攝到的運動圖像為高畫質(zhì)，適合在高清對應電視機上欣賞?？墒?，由于 高清HD拍攝的運動圖像的容量大，故可以說不太適合附于郵件進行發(fā)送或上傳到網(wǎng)絡上 的網(wǎng)站。例如，運動圖像共享網(wǎng)站、博客網(wǎng)站及SNS網(wǎng)站大多對所上傳的運動圖像存在容量 限制。因此，在將高清HD拍攝到的運動圖像上傳到網(wǎng)絡上的網(wǎng)站的情況下，需要將該運 動圖像暫時讀取至PC，變換為低分辨率和/或低幀速率的運動圖像，以減小其容量。原始運 動圖像越是高畫質(zhì)，越需要費時，對于用戶來說成為復雜的作業(yè)。對此，考慮在拍攝階段，并行編碼多個不同畫質(zhì)的運動圖像，以生成多個不同畫質(zhì) 的運動圖像文件。例如，考慮在數(shù)碼攝像機內(nèi)搭載2個編碼器，生成畫質(zhì)不同的2個運動圖 像文件。另外，在生成多個畫質(zhì)不同的編碼數(shù)據(jù)的情況下，與生成一種編碼數(shù)據(jù)的情況相 比，自然會增大運動圖像文件整體容量。

發(fā)明內(nèi)容
本發(fā)明的一種方式的圖像顯示控制裝置具備解碼部，其用于解碼由編碼裝置生 成的編碼數(shù)據(jù)，該編碼裝置能以第一畫質(zhì)及與該第一畫質(zhì)不同的第二畫質(zhì)的雙方對拍攝到 的運動圖像進行編碼，還能以第一畫質(zhì)及第二畫質(zhì)中的一方對拍攝到的運動圖像進行編 碼；和顯示控制部，其使顯示裝置顯示由解碼部解碼的第一畫質(zhì)的運動圖像或第二畫質(zhì)的 運動圖像，在存在第一畫質(zhì)及第二畫質(zhì)的雙方的編碼數(shù)據(jù)的情況下，顯示控制部使顯示裝 置的畫面內(nèi)顯示下述信息，該信息表示能以其他畫質(zhì)顯示當前所顯示的運動圖像。本發(fā)明的另一種方式是攝像裝置。該裝置具備攝像部，其取得運動圖像；編碼 裝置，其能以第一畫質(zhì)及與第一畫質(zhì)不同的第二畫質(zhì)的雙方編碼由攝像部拍攝到的運動圖像，還能以第一畫質(zhì)及第二畫質(zhì)中的一方編碼由攝像部拍攝到的運動圖像；上述的圖像顯 示控制裝置；和顯示裝置，其由圖像顯示控制裝置進行顯示控制。本發(fā)明的一種方式的圖像處理裝置具備圖像編碼部，其能以第一畫質(zhì)及與該第 一畫質(zhì)不同的第二畫質(zhì)的雙方對拍攝到的運動圖像進行編碼，還能以其中一方對拍攝到的 運動圖像進行編碼；和控制部，其對圖像編碼部指定在滿足規(guī)定條件的第一期間以第一畫 質(zhì)及第二畫質(zhì)的雙方進行編碼，指定在不滿足條件的第二期間以第一畫質(zhì)及第二畫質(zhì)中的 一方進行編碼。本發(fā)明的另一種方式是攝像裝置。該裝置具備攝像部，其取得運動圖像；和對由 攝像部取得的運動圖像進行處理的上述的圖像處理裝置。此外，在方法、裝置、系統(tǒng)、記錄介質(zhì)、計算機程序等之間變換以上構成要素的任意 組合，也有效地作為本發(fā)明的方式。


圖1是搭載有實施方式1所涉及的處理裝置的攝像裝置的構成圖。圖2是表示輸入到分支部的幀圖像、由第一圖像編碼部編碼的幀圖像及由第二圖 像編碼部編碼的幀圖像的關系的圖。圖3是表示HD畫質(zhì)的單編解碼模式、和HD畫質(zhì)及SD畫質(zhì)的雙重編解碼模式的切 換時刻的例子的圖。圖4是表示SD畫質(zhì)的單編解碼模式、和HD畫質(zhì)及SD畫質(zhì)的雙重編解碼模式的切 換時刻的例子的圖。圖5是搭載有實施方式2所涉及的處理裝置的攝像裝置的構成圖。圖6是表示關注區(qū)域的設定例的圖。圖7是具備實施方式3所涉及的圖像顯示控制裝置的圖像顯示系統(tǒng)的構成圖。圖8(a)、(b)是表示畫質(zhì)信息的顯示例(其1)的圖。圖8(a)表示能以SD畫質(zhì)顯 示的畫質(zhì)信息，圖8(b)表示能以HD畫質(zhì)顯示的畫質(zhì)信息。圖9是表示畫質(zhì)信息的顯示例(其2)的圖。圖10(a)、(b)是表示伴隨著觸發(fā)信息的畫質(zhì)信息的顯示例的圖。圖10(a)表示伴 隨著以用戶操作為觸發(fā)條件的觸發(fā)信息的畫質(zhì)信息的顯示例，圖10(b)表示伴隨著以聲音 信號級別超過閾值為觸發(fā)條件的觸發(fā)信息的畫質(zhì)信息的顯示例，圖10(C)表示伴隨著以檢 測出目標(object)為觸發(fā)條件的觸發(fā)信息的畫質(zhì)信息的顯示例。圖11是搭載有變形例所涉及的處理裝置的攝像裝置的構成圖。圖12是基于變形例擴展圖2所示的例子的圖。
具體實施例方式本發(fā)明所提及的最優(yōu)方案用來描述發(fā)明。但是并不限定本發(fā)明的范圍，而只是示 例本發(fā)明。圖1是搭載有實施方式1所涉及的處理裝置100的攝像裝置300的構成圖。攝像 裝置300具備攝像部210、聲音取得部220、處理裝置100、操作部230。攝像部210連續(xù)取得幀圖像，并作為運動圖像提供給處理裝置100。攝像部210CCD (Charge Coupled Device) # ^ CMOS (Complementary Metal Oxide
Semiconductor)圖像傳感器等未圖示的固體攝像元件、及對從該固體攝像元件輸出的信號 進行處理的未圖示的信號處理電路。該信號處理電路能夠?qū)纳鲜龉腆w攝像元件輸出的模 擬的三原色信號R、G、B變換成數(shù)字的亮度信號Y及色差信號Cr、Cb。聲音取得部220將從外部取得的聲音變換成電信號，并作為聲音信號輸出到處理 裝置100 (更具體為處理裝置100內(nèi)的控制部10及聲音編碼部30)。處理裝置100主要處理由攝像部200拍攝到的運動圖像。處理裝置100包括控 制部10、分支部11、分辨率變換部12、圖像編碼部20、聲音編碼部30、復用部40、記錄部41 及輸入輸出部42。圖像編碼部20包括第一圖像編碼部21及第二圖像編碼部22。關于處理裝置100的構成，雖然在硬件上能以任意的處理器、存儲器、其他的LSI 實現(xiàn)，在軟件上能由載入存儲器的程序等實現(xiàn)，但是這里描述由這些協(xié)作實現(xiàn)的功能塊。因 此，這些功能塊能夠只以硬件、只以軟件、或他們的組合等各種形式實現(xiàn)，對于普通技術領 域的技術人員是能夠理解的。分支部11按照來自控制部10的控制信號的指示，將從攝像部210提供的運動圖 像輸出到第一圖像編碼部21，或輸出到分辨率變換部12，或輸出到兩方。分辨率變換部12對構成從分支部11輸入的運動圖像的幀圖像的分辨率進行變 換。這里是降低該幀圖像的分辨率。分辨率變換部12可以截取該幀圖像的中央?yún)^(qū)域并刪 除其周邊區(qū)域來降低該分辨率，也可以間隔提取該幀圖像內(nèi)的像素來降低該分辨率。分辨 率變換部12將由變換分辨率后的幀圖像構成的運動圖像輸出到第二圖像編碼部22。圖像編碼部20能夠以第一畫質(zhì)及與該第一畫質(zhì)不同的第二畫質(zhì)的雙方，并行或 同時編碼由攝像部210拍攝的運動圖像。即，能夠?qū)σ环N運動圖像進行雙重編解碼。在圖 1中，能夠并行或同時地由第一圖像編碼部21編碼從分支部11輸入的運動圖像，由第二圖 像編碼部22編碼從分辨率變換部12輸入的運動圖像。上述第一畫質(zhì)的運動圖像和上述第二畫質(zhì)的運動圖像以不同的分辨率被編碼。上 述第一畫質(zhì)的運動圖像的分辨率和上述第二畫質(zhì)的運動圖像的分辨率的組合可以是各種 各樣的組合。例如，可以是1920 X 1080像素大小、1280 X 720像素大小、640 X 480像素大小、 448X336像素大小及192X 108像素大小的任意2個的組合。另外，上述第一畫質(zhì)的運動圖像和上述第二畫質(zhì)的運動圖像，可以以不同的分辨 率被編碼，也可以以不同幀速率被編碼。例如，可以是60fps、30fps及15fps的任意2個 的組合。另外，在448X336像素大小及192X108像素大小等低分辨率的情況下，可分配 240fps或600fps等高幀速率。圖像編碼部20按照規(guī)定的規(guī)格對該第一畫質(zhì)的運動圖像及該第二畫質(zhì)的運動圖 像進行壓縮編碼。例如，能夠按照H. 264/AVC、H. 264/SVC、MPEG-2或MPEG-4等規(guī)格進行壓 縮編碼。圖像編碼部20可以通過一個硬件編碼器(encoder)或通用處理器的軟件處理，分 時編碼上述第一畫質(zhì)的運動圖像和上述第二畫質(zhì)的運動圖像，也可以通過2個硬件編碼器 來平行編碼該第一畫質(zhì)的運動圖像和該第二畫質(zhì)的運動圖像。圖像編碼部20將編碼后的 第一畫質(zhì)的運動圖像的編碼數(shù)據(jù)(也稱編碼流)及第二畫質(zhì)的運動圖像的編碼數(shù)據(jù)輸出到 復用部40。
6
聲音編碼部30編碼從聲音取得部220提供的聲音信號。例如，按照AAC、MP3等規(guī) 格進行壓縮編碼。聲音編碼部30將編碼后的聲音的編碼數(shù)據(jù)輸出到復用部40。復用部40復用從第一圖像編碼部21輸入的上述第一畫質(zhì)的運動圖像的編碼數(shù) 據(jù)、從第二圖像編碼部22輸入的上述第二畫質(zhì)的運動圖像的編碼數(shù)據(jù)、及從聲音編碼部30 輸入的聲音的編碼數(shù)據(jù)后，生成一個運動圖像文件。例如，能夠生成遵從MP4文件格式的 容器文件。該容器文件中能夠包括記述各編碼數(shù)據(jù)的頭信息、中間信息、時刻信息等的容 器。在解碼側(cè)通過參照該容器文件，可容易取得上述第二畫質(zhì)的運動圖像及上述聲音間的 同步，或可隨機訪問。記錄部41將由復用部40復用后的運動圖像文件記錄到記錄介質(zhì)中。作為該記錄 介質(zhì)能采用內(nèi)置存儲器或可裝卸的移動存儲器的至少一方。例如，作為內(nèi)置存儲器能采用 半導體存儲器或硬盤。另外，作為移動存儲器能采用存儲卡、移動硬盤或光盤。輸入輸出部42經(jīng)由規(guī)定的接口與外部設備通信。例如，能夠以USB線纜與PC或 外帶硬盤連接后，將上述記錄介質(zhì)記錄的運動圖像文件傳送到PC或外帶硬盤。另外，也能 以D端子、S端子或HDMI端子與電視機連接后，使電視機畫面顯示上述第一畫質(zhì)的運動圖 像及上述第二畫質(zhì)的運動圖像。操作部230接受用戶指示，生成基于該指示的控制信息，并輸出到控制部10。在本 實施方式中，也可設置用于指示上述雙重編解碼的專用按鈕。此時，通過按下該雙重編解碼 用的專用按鈕，能夠?qū)⒃撾p重編解碼的開始指示及結(jié)束指示提供給處理裝置100?？刂撇?0對圖像編碼部20指定在滿足規(guī)定條件的第一期間(以下稱為關注期 間)以上述第一畫質(zhì)及上述第二畫質(zhì)的雙方進行編碼，指定在不滿足該條件的第二期間 (以下稱為非關注期間)以上述第一畫質(zhì)及上述第二畫質(zhì)中的一方進行編碼。在圖1中，控 制部10將控制信號發(fā)送到分支部11，指示其將從攝像部200提供的運動圖像輸出到第一圖 像編碼部21，或輸出到分辨率變換部12，或輸出到雙方?？刂撇?0能夠基于由操作部230接受到的用戶指示，來確定上述關注期間的開始 時刻及結(jié)束時刻中的至少一方。例如，在以上述第一畫質(zhì)及上述第二畫質(zhì)中的一方對拍攝 到的運動圖像進行編碼的單編解碼模式下，如果按下上述專用按鈕，則控制部10遷移至以 上述第一畫質(zhì)及上述第二畫質(zhì)的雙方進行編碼的雙重編解碼模式。另外，在該雙重編解碼 模式下，如果按下上述專用按鈕，則遷移至上述單編解碼模式。另外，控制部10也可以在從聲音取得部220取得的聲音信號級別超過了規(guī)定閾值 時，使上述關注期間開始。也可將該聲音信號級別瞬間超過該閾值的時刻作為上述關注期 間的開始時刻，還可將在規(guī)定開始判定期間連續(xù)超過該閾值的時刻作為上述關注期間的開 始時刻。另外，控制部10可以在從聲音取得部220取得的聲音信號級別低于上述閾值時， 使上述關注期間結(jié)束。也可以將該聲音信號級別瞬間低于該閾值的時刻作為上述關注期間 的結(jié)束時刻，還可以將在規(guī)定的結(jié)束判定期間持續(xù)低于該閾值的時刻作為上述關注期間的 結(jié)束時刻。上述閾值可被設定為基于設計者通過實驗或模擬仿真得到的經(jīng)驗法則的值。另 外，關于該閾值，用戶可適當進行設定變更。關于上述開始判定期間及上述結(jié)束判定期間也 同樣。例如，將上述閾值設定為平均的人的普通說話聲的聲音級別，并且，在安靜的場所拍攝人物的情況下，人物說話的期間被設定為上述關注期間，人物沉默的期間被設定為上述
非關注期間。另外，在將上述閾值設定得較高、且拍攝運動(例如棒球或足球)比賽的情況下， 歡呼聲提升的最精彩場面被設定為上述關注期間，除此以外的場面被設定為上述非關注期 間?？刂撇?0也可以并用基于上述用戶操作的向上述雙重編解碼模式的轉(zhuǎn)入處理及 向上述單編解碼模式的恢復處理、和基于上述聲音識別的那些處理。例如，可以單純使兩方 的功能有效化。此時，在上述單編解碼模式下，即使發(fā)生上述專用按鈕的按下及上述聲音信 號級別超出上述閾值的任意事件，也會轉(zhuǎn)入到上述雙重編解碼模式。另外，在上述雙重編解 碼模式下，即使發(fā)生上述專用按鈕的按下及上述聲音信號級別低于上述閾值的任意事件， 也會恢復到上述單編解碼模式。另外，也可以組合上述兩方功能的各一部分。例如，通過上述聲音信號級別超出上 述閾值，從上述單編解碼模式向上述雙重編解碼轉(zhuǎn)入，通過上述專用按鈕的按下，從上述雙 重編解碼模式向上述單編解碼模式恢復。也可相反設定。以下，以上述第一畫質(zhì)的運功圖像是由HD(1280X720像素)大小的幀圖像構成的 運動圖像、及上述第三畫質(zhì)的運動圖像是由SD(640X480像素)大小的幀圖像構成的運動 圖像的情況為例，對本實施方式所涉及的處理裝置100的動作進行說明。圖2是表示輸入到分支部11的幀圖像F1、由第一圖像編碼部21編碼的幀圖像F2、 及由第二圖像編碼部22編碼的幀圖像F3的關系的圖。在上述例子中，HD大小的幀圖像F 1被輸入到分支部11中。另外，也有在從攝像部210輸入到處理裝置100的幀圖像中包括 手抖動校正用的區(qū)域的情況，設為在輸入到分支部11之前截取該手抖動校正用的區(qū)域的 像素數(shù)據(jù)。分支部11將HD大小的幀圖像Fl輸出到第一圖像編碼部21及分辨率變換部12。 分辨率變換部12將HD大小的幀圖像Fl變換成SD大小的幀圖像F3。第一圖像編碼部21 對從分支部11輸入來的HD大小的幀圖像Fl直接進行編碼。第二圖像編碼部22對從分辨 率變換部12輸入來的SD大小的幀圖像F3進行編碼。由第一圖像編碼部21編碼的HD大小的幀圖像F2的縱橫比是16 9，由第二圖 像編碼部22編碼的SD大小的幀圖像F3的縱橫比是4 3。SD大小的幀圖像F3通過殘留 HD大小的幀圖像F2的中央?yún)^(qū)域且刪除其周邊區(qū)域而生成。圖3是表示HD畫質(zhì)的單編解碼模式、和HD畫質(zhì)及SD畫質(zhì)的雙重編解碼模式的切 換例的圖。該例子中，在整個拍攝期間對HD高畫質(zhì)的運動圖像進行編碼，在該整個拍攝期 間中的上述關注期間對HD畫質(zhì)的運動圖像和SD畫質(zhì)的運動圖像的雙方進行編碼。即，圖 像編碼部20以HD畫質(zhì)連續(xù)對拍攝到的運動圖像進行編碼，以SD畫質(zhì)斷續(xù)對拍攝到的運動 圖像進行編碼。該例子適用于以為了 PC或電視機觀賞用而保存高畫質(zhì)的運動圖像為主要目的， 以附于郵件發(fā)送其一部分的關注場面或投稿在網(wǎng)絡上的網(wǎng)站為次要目的的情況。例如，用 戶通過按下上述專用按鈕，能夠在拍攝時得到應投稿到網(wǎng)絡上的網(wǎng)站的場面的SD畫質(zhì)的 編碼數(shù)據(jù)。在圖3中，在整個拍攝期間中設定2個關注期間。在拍攝開始時刻TsO開始拍攝，開始HD畫質(zhì)的單編解碼。接著，在第一關注期間開始時刻Tsl開始HD畫質(zhì)及SD畫質(zhì)的雙 重編解碼。接著，在第一關注期間結(jié)束時刻Tel結(jié)束HD畫質(zhì)及SD畫質(zhì)的雙重編解碼，開始 HD畫質(zhì)的單編解碼。接著，在第二關注期間開始時刻Ts2開始HD畫質(zhì)及SD畫質(zhì)的雙重編 解碼。接著，在第二關注期間結(jié)束時刻Te2結(jié)束HD畫質(zhì)及SD畫質(zhì)的雙重編解碼，開始HD 畫質(zhì)的單編解碼。最后，在拍攝結(jié)束時刻TeO結(jié)束拍攝，結(jié)束HD畫質(zhì)的單編解碼。圖4是表示SD畫質(zhì)的單編解碼和HD畫質(zhì)及SD畫質(zhì)的雙重編解碼模式的切換時 刻的例子的圖。在該例子中，在整個拍攝期間編碼SD畫質(zhì)的運動圖像，在該整個拍攝期間 中的上述關注期間對HD畫質(zhì)的運動圖像和SD畫質(zhì)的運動圖像的雙方進行編碼。即，圖像 編碼部20以SD畫質(zhì)連續(xù)對拍攝到的運動圖像進行編碼，以HD畫質(zhì)斷續(xù)對拍攝到的運動圖 像進行編碼。該例子適用于以附于郵件發(fā)送拍攝到的運動圖像的全篇或者投稿到網(wǎng)絡上的網(wǎng) 站為主要目的，以為了PC或電視機觀賞而保存其一部分的關注場面為次要目的的情況。例 如，用戶通過按下上述專用按鈕，能夠得到以高畫質(zhì)保存的場面的HD畫質(zhì)的編碼數(shù)據(jù)。由于圖4所示的切換例與圖3所示的切換例的切換HD畫質(zhì)和SD畫質(zhì)的情形相同， 故省略說明。根據(jù)以上說明的實施方式1，通過在拍攝時對于應關注場面的運動圖像進行雙重 編解碼，對除此之外的場面進行單編解碼，能夠抑制運動圖像文件容量的增加，同時能夠降 低運動圖像文件的編碼轉(zhuǎn)換(transcoding)的必要性。即，與遍及整個拍攝期間進行雙重 編解碼的情況相比，能夠削減運動圖像文件的容量。另外，通過對應關注場面生成2種畫質(zhì) 的編碼數(shù)據(jù)，從而能夠根據(jù)用途分開使用該編碼數(shù)據(jù)，能夠降低編碼轉(zhuǎn)換的頻率。另外，在采用了通過用戶操作可指示上述關注期間的開始及結(jié)束的構成的情況 下，能夠反映用戶嗜好來設定雙重編解碼的期間。另外，在采用通過聲音識別自動設定上述 關注期間的開始及結(jié)束的構成的情況下，能夠無需用戶操作來設定雙重編解碼期間。另外， 由于基于客觀現(xiàn)象設定了上述關注期間，所以能夠抑制由于用戶的判斷延遲或誤操作而導 致的應關注場面的雙重編解碼的失敗。圖5是搭載有實施方式2所涉及的處理裝置100的攝像裝置300的構成圖。實施 方式2所涉及的處理裝置100是在圖1所示的實施方式1所涉及的處理裝置100上追加了 目標檢測部13后的構成。以下，適當省略與實施方式1重復的說明。向目標檢測部13提供由攝像部210拍攝到的運動圖像。目標檢測部13從構成該 運動圖像的幀圖像內(nèi)檢測規(guī)定的目標。例如，該目標可以是人物的面部。此時，目標檢測部 13利用一般的面部檢測跟蹤功能，從上述幀圖像內(nèi)檢測人物的面部。另外，也能夠通過生成 特定人物的面部的識別器而只檢測特定人物的面部。目標檢測部13將上述目標的檢測結(jié)果通知給控制部10。更具體而言，通知構成上 述運動圖像的各幀圖像內(nèi)的上述目標的有無檢測、及被檢測出的情況下該目標在上述幀圖 像內(nèi)的位置。如果由目標檢測部13檢測出上述目標，則控制部10使上述關注期間開始，如果變 為未檢測出該目標，則控制部10結(jié)束該關注期間。即，在上述單編解碼模式下，如果檢測出 該目標則控制部10遷移至上述雙重編解碼模式，如果變?yōu)槲礄z測出該目標，則控制部10恢 復至上述單編解碼模式。
在由上述目標檢測而遷移至上述雙重編解碼、生成2種編碼數(shù)據(jù)的情況下，控制 部也可在對幀圖像內(nèi)的關注區(qū)域編碼后生成其中一方的編碼數(shù)據(jù)。例如，控制部10指示 為將包括上述目標的SD大小的區(qū)域設定成該關注區(qū)域，在分辨率變換部12中截取該關注 區(qū)域?？刂撇?0也可與該目標的移動聯(lián)動，適當使該關注區(qū)域的位置變化。各幀圖像內(nèi) 的該關注區(qū)域的位置也可以被設定成在該關注區(qū)域的中央包括該目標的位置。由此，在使 分辨率變換部12應截取的位置可變的情況下，控制部10按照每幀圖像向分辨率變換部12 指定該關注區(qū)域的位置?；蛘?，每當該關注區(qū)域的位置變化時，向分辨率變換部12指定該 位置?？刂撇?0也可以并用基于上述目標檢測而向上述雙重編解碼模式的轉(zhuǎn)入處理及 向上述單編解碼模式的恢復處理、和基于上述用戶操作的那些處理。例如，也可單純使兩方 功能有效化。此時，在上述單編解碼模式下，即使發(fā)生上述專用按鈕的按下及上述目標出現(xiàn) 的任意事件，也會轉(zhuǎn)入到上述雙重編解碼模式。另外，在上述雙重編解碼模式下，即使發(fā)生 上述專用按鈕的按下及上述目標的消失的任意事件，也會恢復到上述單編解碼模式。另外，也可組合上述兩方功能的各一部分。例如，通過上述目標的出現(xiàn)，從上述單 編解碼模式向上述雙重編解碼模式轉(zhuǎn)入，通過上述專用按鈕的按下，從上述雙重編解碼模 式向上述單編解碼模式恢復。可以相反設定。另外，控制部10也可并用基于上述目標檢測的向上述雙重編解碼模式的轉(zhuǎn)入處 理及向上述單編解碼模式的恢復處理、基于上述用戶操作的那些處理、和基于上述聲音識 別的那些處理。圖6是表示關注區(qū)域Fr的設定例的圖。在圖6中，描繪了構成運動圖像的3個幀 圖像(第一幀圖像F11、第二幀圖像F12、第三幀圖像F13)。第一幀圖像F11、第二幀圖像 F12、第三幀圖像F13按照時間經(jīng)過順序排列。第一幀圖像Fll中不包括目標。因此，第一 幀圖像Fll用上述單編解碼模式編碼。接著，第二幀圖像F12中包括目標01 (這里，是人物的面部)。因此，第二幀圖像 F12用上述雙重編解碼模式編碼。另外，第二幀圖像F12的關注區(qū)域Frl以目標01為中心 進行設定，這里被設定在第二幀圖像F12內(nèi)的左上區(qū)域。接著，第三幀圖像F13中也包括目標01。因此，第三幀圖像F13也以上述雙重編解 碼模式編碼。另外，第三幀圖像F13的關注區(qū)域Fr2也以目標01為中心進行設定，這里被 設定在第三幀圖像F13內(nèi)的中央上區(qū)域。在圖6中，由于在構成運動圖像的幀圖像內(nèi)應成 為被攝物體的人物從左側(cè)跑向右側(cè)，所以該關注區(qū)域Frl、2也根據(jù)該人物的移動而移動。根據(jù)以上說明的實施方式2，基本上起到與實施方式1同樣的效果。在實施方式 2中，通過目標檢測可設定上述關注期間的開始及結(jié)束，能夠無需用戶操作而設定雙重編解 碼的期間。另外，由于基于客觀現(xiàn)象設定了上述關注期間，所以能夠抑制由于用戶的判斷延 遲或誤操作而導致的應關注場面的雙重編解碼的失敗。尤其是，如果將上述目標設定為人 物的面部，則能夠生成僅包括攝有人物的場面的編碼數(shù)據(jù)。通過編碼包括上述目標的可變區(qū)域而不是幀圖像內(nèi)的固定區(qū)域來生成2種編碼 數(shù)據(jù)中的低分辨率的編碼數(shù)據(jù)，能夠生成始終攝有目標的運動圖像的編碼數(shù)據(jù)。而且，如果 設定該可變區(qū)域的位置以使該目標位于該可變區(qū)域的中心，則能夠生成目標始終被攝于中心的運動圖像的編碼數(shù)據(jù)。圖7是具備實施方式3所示的圖像顯示控制裝置500的圖像顯示系統(tǒng)700的構成 圖。圖像顯示系統(tǒng)700具備圖像顯示控制裝置500、顯示裝置610及操作部620。圖像顯示系統(tǒng)700可以是各種硬件構成。例如，能夠通過與上述攝像裝置300進 行線纜連接后的電視機構成圖像顯示系統(tǒng)700。此時，通過攝像裝置300的控制功能可構筑 圖像顯示控制裝置500，通過攝像裝置300的操作功能可構筑操作部620，通過該電視機的 顯示功能可構筑顯示裝置610。另外，通過接收由實施方式1或2所涉及的處理裝置100生成的運動圖像文件的 PC，可構筑圖像顯示系統(tǒng)700。此時，通過PC的控制功能、操作功能及顯示功能可分別構筑 圖像顯示控制裝置500、操作部620及顯示裝置610。代替PC而使用移動電話、PDA、便攜式 音樂播放器等的情況也是同樣的。另外，也可以由上述的攝像裝置300單體構筑圖像顯示系統(tǒng)700。此時，可通過攝 像裝置300的控制功能、操作功能及顯示功能分別構筑圖像顯示控制裝置500、操作部620 及顯示裝置610。該攝像裝置300中也包括實施方式1或2所涉及的處理裝置100。圖像顯示控制裝置500包括緩沖器50、解碼部60及顯示控制部70。圖像顯示控制 裝置500的構成，在硬件上能以任意的處理器、存儲器、其他LSI實現(xiàn)，在軟件上能以載入存 儲器的程序等實現(xiàn)，但是這里描述由這些協(xié)作實現(xiàn)的功能塊。因此，這些功能塊只以硬件、 只以軟件、或他們的組合等各種形式實現(xiàn)，對于普通技術領域的技術人員是能夠理解的。緩沖器50暫時存儲由實施方式1或2所涉及的處理裝置100生成的運動圖像文 件。另外，緩沖器50按照來自顯示控制部70的控制信號，向解碼部60提供該運動圖像文 件含有的上述第一畫質(zhì)的運動圖像的編碼數(shù)據(jù)及上述第二畫質(zhì)的運動圖像的編碼數(shù)據(jù)中 的其中一個。解碼部60解碼由實施方式1或2所涉及的處理裝置100內(nèi)的圖像編碼部20編碼 后的編碼數(shù)據(jù)。更具體而言，解碼從緩沖器50提供的上述第一畫質(zhì)的運動圖像的編碼數(shù)據(jù) 或上述第二畫質(zhì)的運動圖像的編碼數(shù)據(jù)。操作部620接受用戶指示，生成基于該指示的控制信號，輸出到顯示控制部70。在 本實施方式中，主要接受上述運動圖像的再生指示及用于將顯示中的運動圖像以其他畫質(zhì) 顯示的指示。顯示控制部70使顯示裝置610顯示由解碼部60解碼的上述第一畫質(zhì)的運動圖像 或上述第二畫質(zhì)的運動圖像。如果從操作部620輸入因上述再生指示引起的控制信號，則 顯示控制部70使顯示裝置610顯示該運動圖像。此時，顯示控制部70確定應使顯示裝置 610顯示的該運動圖像的畫質(zhì)。更具體而言，在由操作部620指定畫質(zhì)的情況下，確定為該畫質(zhì)。在未指定畫質(zhì)的 情況下，確定為2種編碼數(shù)據(jù)中被持續(xù)編碼的一方的畫質(zhì)。另外，由于在上述非關注期間只 生成1種編碼數(shù)據(jù)，所以自動確定為該編碼數(shù)據(jù)的畫質(zhì)。若確定了顯示裝置610應顯示的 運動圖像的畫質(zhì)，則顯示控制部70在緩沖器50中指定該畫質(zhì)。在存在上述第一畫質(zhì)及上述第二畫質(zhì)的雙方的編碼數(shù)據(jù)的期間(即，上述關注期 間)，顯示控制部70使顯示裝置610的畫面內(nèi)顯示如下信息(以下稱為畫質(zhì)信息)，該信息 表示能以其他畫質(zhì)顯示當前所顯示的信息。該畫質(zhì)信息可用文字串、記號、圖標等顯示。顯示控制部70通過使該畫質(zhì)信息重疊在構成該運動圖像的各幀圖像上，能夠在該畫面內(nèi)顯 示該畫質(zhì)信息。在上述關注期間，在該畫面內(nèi)顯示該第一畫質(zhì)的運動圖像的情況下，顯示控制部 70使該畫面內(nèi)顯示表示能顯示該第二畫質(zhì)的運動圖像的畫質(zhì)信息。另一方面，在該畫面內(nèi) 顯示該第二畫質(zhì)的運動圖像的情況下，在該畫面內(nèi)顯示表示能顯示該第一畫質(zhì)的運動圖像 的畫質(zhì)信息。如上述，以上述第一畫質(zhì)及上述第二畫質(zhì)中的一方連續(xù)編碼上述運動圖像，以另 一方斷續(xù)編碼上述運動圖像。在該畫面內(nèi)顯示了表示能以該另一方畫質(zhì)顯示的畫質(zhì)信息的 情況下，顯示控制部70附隨該畫質(zhì)信息而顯示如下信息(以下記為觸發(fā)信息)，該信息表示 啟動基于該另一方畫質(zhì)的編碼的觸發(fā)條件。這里，所謂附隨該畫質(zhì)信息而顯示該觸發(fā)信息，可以是在該畫質(zhì)信息的附近顯示 該觸發(fā)信息的方式，也可以是按時分復用方式顯示該畫質(zhì)信息和該觸發(fā)信息的方式，也可 以是根據(jù)用戶操作來切換顯示該畫質(zhì)信息和該觸發(fā)信息的方式。該觸發(fā)信息也與上述畫質(zhì)信息同樣，能夠以文字串、記號、圖標等顯示。通過使該 觸發(fā)信息重疊在構成該運動圖像的各幀圖像上，顯示控制部70能夠使該畫面內(nèi)顯示該觸 發(fā)信息。上述觸發(fā)條件可以是在實施方式1和2中說明過的用戶操作、從構成運動圖像的 幀圖像內(nèi)檢測到目標、及在拍攝時取得的聲音信號等級超過閾值的其中一個。顯示控制部 70參照與上述編碼數(shù)據(jù)相關的附隨信息，來確定上述觸發(fā)條件的類別。例如，該附隨信息記 載于上述運動圖像文件含有的上述容器文件，或記載于斷續(xù)編碼后的運動圖像的各區(qū)間的 最初幀圖像的首部。上述觸發(fā)條件的類別也存在按照斷續(xù)編碼后的運動圖像的各區(qū)間而不同的情況。 另外，也存在一個區(qū)間內(nèi)開始觸發(fā)條件和結(jié)束觸發(fā)條件不同的情況。此時，顯示控制部70 附隨該畫質(zhì)信息而顯示開始觸發(fā)信息和結(jié)束觸發(fā)信息的雙方。圖8是表示畫質(zhì)信息的顯示例(其1)。圖8(a)表示能以SD畫質(zhì)顯示的畫質(zhì)信 息81，圖8(b)表示能以HD畫質(zhì)顯示的畫質(zhì)信息82。以下，以上述第一畫質(zhì)的運動圖像是 以HD大小的幀圖像構成的運動圖像、及上述第二畫質(zhì)的運動圖像是以SD大小的幀圖像構 成的運動圖像的情況為例進行說明。圖8 (a)描述顯示裝置610 (這里是電視機610a)顯示HD畫質(zhì)的運動圖像的狀態(tài)。 在上述關注期間，在該畫面內(nèi)顯示表示能以SD畫質(zhì)顯示的畫質(zhì)信息81。視聽者通過該畫質(zhì) 信息81能夠識別能以SD畫質(zhì)顯示當前以HD畫質(zhì)顯示的運動圖像。該視聽者通過操作操 作部620，能夠切換到SD畫質(zhì)的顯示。另外，在上述非關注期間，不顯示該畫質(zhì)信息81。圖8(b)描繪在電視機6IOa顯示SD畫質(zhì)的運動圖像的狀態(tài)。在上述關注期間，在 該畫面內(nèi)顯示表示能以HD畫質(zhì)顯示的畫質(zhì)信息82。視聽者通過該信息82能夠識別能以 HD畫質(zhì)顯示當前以SD畫質(zhì)顯示的運動圖像。該視聽者通過操作操作部620，能夠切換到HD 畫質(zhì)的顯示。另外，在上述非關注期間不顯示該畫質(zhì)信息82。圖9是表示畫質(zhì)信息的顯示例(其2)。圖9描繪在電視機610a顯示HD畫質(zhì)的運 動圖像的狀態(tài)。該顯示例顯示包括當前所顯示的畫質(zhì)相關的信息在內(nèi)的所有畫質(zhì)信息。在 圖9中，顯示表示能以SD畫質(zhì)顯示的畫質(zhì)信息81、和能以HD畫質(zhì)顯示的畫質(zhì)信息82的雙方。另外，也可以以視聽者能識別實際顯示中的運動圖像的畫質(zhì)的方式來顯示這些。在圖 9中，因為顯示中的運動圖像的畫質(zhì)是HD畫質(zhì)，所以用粗框包圍表示能以HD畫質(zhì)顯示的畫 質(zhì)信息82的一方。圖10是表示伴隨著觸發(fā)信息的畫質(zhì)信息的顯示例的圖。圖10(a)表示伴隨著以 用戶操作為觸發(fā)條件的觸發(fā)信息83a的畫質(zhì)信息82的顯示例，圖10(b)表示伴隨著以聲音 信號級別超過閾值為觸發(fā)條件的觸發(fā)信息83b的畫質(zhì)信息82的顯示例，圖10 (c)表示伴隨 著以目標檢測為觸發(fā)條件的觸發(fā)信息83c的畫質(zhì)信息82的顯示例。圖10(a) (c)描繪了在電視機610a上顯示HD畫質(zhì)的運動圖像的狀態(tài)。在圖 10(a)中，在表示能以SD畫質(zhì)顯示的畫質(zhì)信息81的左邊，顯示以用戶操作為觸發(fā)條件的觸 發(fā)信息83a(這里，是聯(lián)想用戶操作的手指圖標)。在圖10(b)中，在表示能以SD畫質(zhì)顯示 的畫質(zhì)信息81的左邊，顯示以聲音信號級別超過閾值為觸發(fā)條件的觸發(fā)信息83b (這里，是 聯(lián)想聲音識別的音符圖標)。在圖10(c)中，在表示能以SD畫質(zhì)顯示的畫質(zhì)信息81的左 側(cè)，顯示以面部檢測為觸發(fā)條件的觸發(fā)信息83c (這里，是指聯(lián)想面部檢測的面部圖標)。根據(jù)以上說明的實施方式3，在對由實施方式1或2所涉及的處理裝置100生成的 運動圖像文件進行顯示再生的情況下，能夠提高視聽者的便利。即，通過在畫面內(nèi)顯示上述 畫質(zhì)信息，視聽者能夠容易識別是否能以其他畫質(zhì)進行顯示。另外，通過附隨上述畫質(zhì)信息而顯示上述觸發(fā)信息，視聽者能夠確認基于上述聲 音識別的向上述雙重編解碼模式的遷移功能、及基于上述目標檢測的向上述雙重編解碼模 式的遷移功能的各自的靈敏度。例如，視聽者參考這些信息，能夠調(diào)整基于上述聲音識別的 向上述雙重編解碼的遷移功能中使用的上述閾值。以上，基于實施方式說明了本發(fā)明。該實施方式只是例示，這些各構成要素或各處 理順序的組合可有各種變形例，另外這些變形例也包括在本發(fā)明范圍中，這對于該領域的 普通技術人員是能夠理解的。例如，在上述實施方式1 3中，雖然說明了以2種畫質(zhì)并行對拍攝到的運動圖像 進行編碼的例子，但是也能夠以3種以上的畫質(zhì)并行編碼。此時，在實施方式3中，將顯示 更多的上述畫質(zhì)信息。另外，在上述實施方式1中，雖然將由聲音取得部220取得的聲音信號級別超過了 上述閾值作為用于遷移至上述雙重編解碼模式的觸發(fā)條件，但也可以將該聲音信號級別的 變化量超過了規(guī)定的其他閾值作為該觸發(fā)條件。另外，在上述實施方式3中，也可應用于遍及整個拍攝期間進行雙重編解碼后的 運動圖像文件。即，也可僅在上述關注期間的運動圖像中應用。此時，持續(xù)顯示表示能以上 述其他畫質(zhì)顯示的畫質(zhì)信息。在上述實施方式1 3中，以不同的分辨率對上述第一畫質(zhì)的運動圖像和上述第 二畫質(zhì)的運動圖像進行編碼的例子作為前提進行了說明。在以下的變形例中，以相同分辨 率但不同視場角對上述第一畫質(zhì)的運動圖像和上述第二畫質(zhì)的運動圖像進行編碼的例子 進行說明。圖11是搭載有變形例所涉及的處理裝置100的攝像裝置300的構成圖。圖11的 處理裝置100是在圖1的處理裝置100中追加了超分辨率處理部14后的構成。以下，適當 省略與圖1的說明重復的說明。超分辨率處理部14將通過分辨率變換部12而分辨率降低
13后的幀圖像的分辨率通過超分辨率處理來進一步提高。這里，作為超分辨率處理，能夠采用 利用已知的幀內(nèi)處理和/或幀間處理的方法。圖12是基于該變形例擴展圖2所示的例子的圖。幀圖像F1、幀圖像F2及幀圖像 F3與圖2的說明同樣。在該變形例中，超分辨率處理部14將幀圖像F3變換成HD大小的幀 圖像F4。由此，生成了相同分辨率不同視場角的2個幀圖像F2、幀圖像F4。另外，圖11、12所示的變形例只是一個例子，由攝像裝置300雙重編解碼的上述第 一畫質(zhì)的運動圖像和上述第二畫質(zhì)的運動圖像，可以是其分辨率及視場角兩方均不同，也 可以是分辨率及視場角的至少一方不同。為了實現(xiàn)該目的，分辨率變換部12及超分辨率處 理部14的配置也考慮各種變化。例如，在分支部11和第一圖像編碼部21之間也配置分辨 率變換部12及超分辨率處理部14，來調(diào)整上述第一畫質(zhì)的運動圖像的分辨率及視場角。根據(jù)該變形例，能夠更精細、更靈活地設定被雙重編解碼的運動圖像的規(guī)格。
權利要求
1.一種圖像顯示控制裝置，其特征在于，具備解碼部，其用于解碼由編碼裝置生成的編碼數(shù)據(jù)，該編碼裝置能以第一畫質(zhì)及與該第 一畫質(zhì)不同的第二畫質(zhì)的雙方對拍攝到的運動圖像進行編碼，還能以所述第一畫質(zhì)及所述 第二畫質(zhì)中的一方對拍攝到的運動圖像進行編碼；和顯示控制部，其使顯示裝置顯示由所述解碼部解碼的所述第一畫質(zhì)的運動圖像或所述 第二畫質(zhì)的運動圖像；在存在所述第一畫質(zhì)及所述第二畫質(zhì)的雙方的編碼數(shù)據(jù)的情況下，所述顯示控制部使 所述顯示裝置的畫面內(nèi)顯示下述信息，該信息表示能以其他畫質(zhì)顯示當前所顯示的運動圖 像。
2.根據(jù)權利要求1所述的圖像顯示控制裝置，其特征在于，拍攝所述運動圖像的期間包括以所述第一畫質(zhì)和所述第二畫質(zhì)的雙方進行編碼的第 一期間、以及以所述第一畫質(zhì)和所述第二畫質(zhì)中的一方進行編碼的第二期間， 當顯示在所述第一期間拍攝到的運動圖像時，在所述畫面內(nèi)正在顯示所述第一畫質(zhì)的運動圖像的情況下，所述顯示控制部使所述畫 面內(nèi)顯示表示能顯示所述第二畫質(zhì)的運動圖像的信息，在所述畫面內(nèi)正在顯示所述第二畫質(zhì)的運動圖像的情況下，所述顯示控制部使所述畫 面內(nèi)顯示表示能顯示所述第一畫質(zhì)的運動圖像的信息。
3.根據(jù)權利要求1所述的圖像顯示控制裝置，其特征在于，以所述第一畫質(zhì)及所述第二畫質(zhì)中的一方持續(xù)對所述運動圖像進行編碼，以所述第一 畫質(zhì)及所述第二畫質(zhì)中的另一方斷續(xù)對所述運動圖像進行編碼，所述顯示控制部在使所述畫面內(nèi)顯示表示能以該另一方畫質(zhì)顯示的信息時，附隨該信 息而顯示表示啟動基于該另一方畫質(zhì)的編碼的觸發(fā)條件的信息。
4.根據(jù)權利要求3所述的圖像顯示控制裝置，其特征在于，所述觸發(fā)條件是用戶操作、從構成所述運動圖像的幀圖像內(nèi)檢測到目標、和拍攝時取 得的聲音級別超出閾值中的其中一個，所述顯示控制部參照與所述編碼數(shù)據(jù)相關的附隨信息，來確定所述觸發(fā)條件的類別。
5.一種攝像裝置，其特征在于，具備 攝像部，其取得運動圖像；編碼裝置，其能以所述第一畫質(zhì)及所述第二畫質(zhì)的雙方編碼由所述攝像部拍攝到的運 動圖像，還能以所述第一畫質(zhì)及所述第二畫質(zhì)中的一方編碼由所述攝像部拍攝到的運動圖 像；權利要求1所述的圖像顯示控制裝置；和顯示裝置，其由所述圖像顯示控制裝置進行顯示控制。
6.一種圖像處理裝置，其特征在于，具備圖像編碼部，其能以第一畫質(zhì)及與該第一畫質(zhì)不同的第二畫質(zhì)的雙方對拍攝到的運動 圖像進行編碼，還能以所述第一畫質(zhì)及所述第二畫質(zhì)中的一方對拍攝到的運動圖像進行編 碼；和控制部，其對所述圖像編碼部指定在滿足規(guī)定條件的第一期間以所述第一畫質(zhì)及所述 第二畫質(zhì)的雙方進行編碼，并指定在不滿足所述條件的第二期間以所述第一畫質(zhì)及所述第二畫質(zhì)中的一方進行編碼。
7.根據(jù)權利要求6所述的圖像處理裝置，其特征在于，所述控制部基于由操作部接受到的用戶指示，來確定所述第一期間的開始時刻及結(jié)束 時刻的至少一方。
8.根據(jù)權利要求6所述的圖像處理裝置，其特征在于，在從外部取得的聲音級別超過規(guī)定閾值時，所述控制部使所述第一期間開始。
9.根據(jù)權利要求6所述的圖像處理裝置，其特征在于，還具備從構成所述運動圖像的幀圖像內(nèi)檢測規(guī)定目標的目標檢測部， 在由所述目標檢測部檢測出所述目標時，所述控制部使所述第一期間開始，若變?yōu)槲?檢測出所述目標，則所述控制部使所述第一期間結(jié)束。
10.一種攝像裝置，其特征在于，具備取得運動圖像的攝像部；和對由所述攝像部取得的運動圖像進行處理的權利要求6所 述的圖像處理裝置。
全文摘要
本發(fā)明提供一種圖像顯示控制裝置及搭載其的攝像裝置、以及圖像處理裝置及搭載其的攝像裝置。其中，解碼部用于解碼由編碼裝置生成的編碼數(shù)據(jù)，該編碼裝置能以第一畫質(zhì)及與該第一畫質(zhì)不同的第二畫質(zhì)的雙方對拍攝到的運動圖像進行編碼，還能以第一畫質(zhì)及第二畫質(zhì)中的一方對拍攝到的運動圖像進行編碼。顯示控制部使顯示裝置顯示由解碼部解碼的第一畫質(zhì)的運動圖像或第二畫質(zhì)的運動圖像。在存在第一畫質(zhì)及第二畫質(zhì)的雙方的編碼數(shù)據(jù)的情況下，顯示控制部使顯示裝置的畫面內(nèi)顯示表示能以其他畫質(zhì)顯示當前所顯示的運動圖像的信息。
文檔編號H04N5/232GK101998051SQ20101024918
公開日2011年3月30日 申請日期2010年8月6日 優(yōu)先權日2009年8月7日
發(fā)明者岡田茂之, 松尾義裕 申請人:三洋電機株式會社