圖像處理裝置、圖像處理系統(tǒng)、圖像處理方法及計(jì)算機(jī)程序的制作方法
【專利摘要】提供了圖像處理裝置、圖像處理系統(tǒng)和圖像處理方法。該圖像處理裝置包括：用以獲取輸入信息的輸入信息獲取部分，所述輸入信息用于改變?cè)谧鳛轱@示對(duì)象的圖像中的顯示區(qū)域；用于作為顯示圖像生成基于輸入信息所確定的顯示區(qū)域內(nèi)部的圖像的顯示圖像處理部分；以及用于在顯示器上顯示所生成的顯示圖像的顯示部分，其中當(dāng)輸入信息獲取部分獲取用于縮放顯示圖像的輸入信息時(shí)，顯示圖像處理部分根據(jù)輸入信息縮放顯示圖像，并且執(zhí)行圖像操作，以使在包括作為圖像平面中縮放的中心的焦點(diǎn)的預(yù)定范圍內(nèi)的區(qū)域的可見性不同于別的區(qū)域的可見性。
【專利說明】圖像處理裝置、圖像處理系統(tǒng)、圖像處理方法及計(jì)算機(jī)程序

【技術(shù)領(lǐng)域】
[0001]本技術(shù)涉及一種用于根據(jù)用戶操作來更新顯示圖像的圖像處理技術(shù)。

【背景技術(shù)】
[0002]已經(jīng)提出了不僅可執(zhí)行游戲程序還可再現(xiàn)運(yùn)動(dòng)圖像的家用娛樂系統(tǒng)。在該家用娛樂系統(tǒng)中，GPU(圖形處理單元)使用多邊形生成三維圖像(例如，見美國(guó)專利N0.6563999)。


【發(fā)明內(nèi)容】

[0003]當(dāng)這種圖像顯示技術(shù)實(shí)現(xiàn)其中顯示對(duì)象圖像可放大和縮小并且顯示區(qū)域可通過卷動(dòng)而移動(dòng)的顯示模式時(shí)，理想地連續(xù)且流暢地改變顯示區(qū)域。然而，取決于諸如圖像的數(shù)據(jù)大小、顯示系統(tǒng)的處理能力等的各種因素，在移動(dòng)顯示區(qū)域的時(shí)段中可能無法及時(shí)執(zhí)行連續(xù)的顯示更新處理，因此例如可能存在丟幀，這可使觀看者產(chǎn)生奇怪的感覺。
[0004]本技術(shù)已經(jīng)考慮到這些問題。需要提供一種能夠在顯示區(qū)域中流暢地實(shí)現(xiàn)包括放大和縮小的變化的圖像處理技術(shù)。
[0005]本技術(shù)的模式涉及一種圖像處理裝置。所述圖像處理裝置包括:輸入信息獲取部分，被配置用以獲取輸入信息，所述輸入信息用于改變?cè)谧鳛轱@示對(duì)象的圖像中的顯示區(qū)域；顯示圖像處理部分，被配置用以將基于所述輸入信息所確定的所述顯示區(qū)域內(nèi)部的圖像生成為顯示圖像；以及顯示部分，被配置用以在顯示器上顯示所生成的顯示圖像，其中當(dāng)所述輸入信息獲取部分獲取用于縮放所述顯示圖像的輸入信息時(shí)，所述顯示圖像處理部分根據(jù)所述輸入信息縮放所述顯示圖像，并且執(zhí)行圖像操縱，以使在包括作為圖像平面中縮放的中心的焦點(diǎn)的預(yù)定范圍內(nèi)的區(qū)域的可見性不同于別的區(qū)域的可見性。
[0006]在該情形中，根據(jù)區(qū)域“使可見性不同”是使觀看所述顯示圖像的容易性不同，SP詳細(xì)程度不同，通過所述詳細(xì)程度示出圖像中對(duì)象的輪廓、形狀或運(yùn)動(dòng)。具體地，使可見性不同可以是向某一掩模對(duì)象或具有掩模效果的圖案或圖形全部或部分地渲染可見性減小的區(qū)域的方法和降低亮度、光亮度、空間分辨率或時(shí)間分辨率的方法中的任何方法。
[0007]本技術(shù)的另一模式涉及圖像處理系統(tǒng)。所述圖像處理系統(tǒng)包括:客戶端，由用戶操作；以及服務(wù)器，被配置用以從所述客戶端獲取關(guān)于用戶操作的信息，根據(jù)所述信息生成要在所述客戶端上顯示的顯示圖像的數(shù)據(jù)，并且將所述數(shù)據(jù)發(fā)送至所述客戶端，其中所述服務(wù)器包括:輸入信息獲取部分，被配置用以從所述客戶端獲取輸入信息，所述輸入信息用于改變?cè)谧鳛轱@示對(duì)象的圖像中的顯示區(qū)域；顯示圖像處理部分，被配置用以將基于所述輸入信息所確定的所述顯示區(qū)域內(nèi)部的圖像生成為顯示圖像；編碼部分，被配置用以對(duì)所生成的顯示圖像的數(shù)據(jù)進(jìn)行壓縮編碼；以及發(fā)送部分，被配置用以將經(jīng)壓縮編碼的數(shù)據(jù)發(fā)送至所述客戶端；所述客戶端包括:解碼部分，被配置用以對(duì)從所述服務(wù)器發(fā)送的經(jīng)壓縮編碼的數(shù)據(jù)進(jìn)行解碼和解壓縮，以及顯示部分，被配置用以將經(jīng)解碼和解壓縮的圖像顯示在顯示器上；以及在所述服務(wù)器中，當(dāng)所述輸入信息獲取部分獲取用于縮放所述顯示圖像的輸入信息時(shí)，所述顯示圖像處理部分改變所述顯示圖像，以使得執(zhí)行所述圖像的縮放，以便限制在包括作為圖像平面中縮放的中心的焦點(diǎn)的預(yù)定范圍內(nèi)的區(qū)域中。
[0008]本技術(shù)的再一模式涉及圖像處理方法。所述圖像處理方法是用于通過圖像處理裝置來控制在顯示器上顯示的圖像的圖像處理方法，所述圖像處理方法包括:從輸入裝置獲取用于改變?cè)谧鳛轱@示對(duì)象的圖像中的顯示區(qū)域的輸入信息；將基于所述輸入信息所確定的所述顯示區(qū)域內(nèi)部的圖像生成為顯示圖像，并且將所述顯示圖像存儲(chǔ)在存儲(chǔ)器中；以及讀取存儲(chǔ)在所述存儲(chǔ)器中的所述顯示圖像，并且將所述顯示圖像顯示在所述顯示器上，其中當(dāng)在從所述輸入裝置獲取所述輸入信息時(shí)獲取用于縮放所述顯示圖像的輸入信息時(shí)，根據(jù)所述輸入信息對(duì)所述顯示圖像進(jìn)行縮放，并且執(zhí)行圖像操縱，使得在包括作為圖像平面中的縮放的中心的焦點(diǎn)的預(yù)定范圍內(nèi)的區(qū)域的可見性不同于另一區(qū)域的可見性。
[0009]本技術(shù)的再一模式還涉及一種圖像處理方法。所述圖像處理方法由客戶端和服務(wù)器執(zhí)行，所述客戶端由用戶操作，所述服務(wù)器用于從所述客戶端獲取關(guān)于用戶操作的信息、根據(jù)所述信息生成要在所述客戶端上顯示的顯示圖像的數(shù)據(jù)、并且將所述數(shù)據(jù)發(fā)送至所述客戶端，所述圖像處理方法包括:在所述服務(wù)器中，從所述客戶端獲取用于改變?cè)谧鳛轱@示對(duì)象的圖像中的顯示區(qū)域的輸入信息；將基于所述輸入信息所確定的所述顯示區(qū)域內(nèi)部的圖像生成為所述顯示圖像，并且將所述顯示圖像存儲(chǔ)在存儲(chǔ)器中；從所述存儲(chǔ)器讀取所生成的顯示圖像的數(shù)據(jù)，并且對(duì)所生成的顯示圖像的數(shù)據(jù)進(jìn)行壓縮編碼；以及將經(jīng)壓縮編碼的數(shù)據(jù)發(fā)送至所述客戶端；以及在所述客戶端中，對(duì)從所述服務(wù)器發(fā)送的經(jīng)壓縮編碼的數(shù)據(jù)進(jìn)行解碼和解壓縮，并且將所述數(shù)據(jù)存儲(chǔ)在存儲(chǔ)器中；以及從所述存儲(chǔ)器讀取經(jīng)解碼和解壓縮的圖像，并且將所述圖像顯示在顯示器上；其中當(dāng)在從所述客戶端獲取所述輸入信息時(shí)所述服務(wù)器獲取用于縮放所述顯示圖像的輸入信息時(shí)，所述顯示圖像被改變，以使得執(zhí)行所述圖像的縮放，以便限制在包括作為圖像平面中縮放的中心的焦點(diǎn)的預(yù)定范圍內(nèi)的區(qū)域。
[0010]本技術(shù)的再一模式還涉及計(jì)算機(jī)程序。所述計(jì)算機(jī)程序使計(jì)算機(jī)實(shí)現(xiàn):從輸入裝置獲取輸入信息的功能，所述輸入信息用于改變?cè)谧鳛轱@示對(duì)象的圖像中的顯示區(qū)域；將基于所述輸入信息所確定的所述顯示區(qū)域內(nèi)部的圖像生成為所述顯示圖像的功能；以及將所生成的顯示圖像顯示在顯示器上的功能，其中當(dāng)從所述輸入裝置獲取輸入信息的功能獲取了用于縮放所述顯示圖像的輸入信息時(shí)，將所述圖像生成為所述顯示圖像的功能根據(jù)所述輸入信息對(duì)所述顯示圖像進(jìn)行縮放，并且執(zhí)行圖像操縱，使得在包括作為圖像平面中的縮放的中心的焦點(diǎn)的預(yù)定范圍內(nèi)的區(qū)域的可見性不同于另一區(qū)域的可見性。
[0011]本技術(shù)的再一模式還涉及計(jì)算機(jī)程序。所述計(jì)算機(jī)程序使服務(wù)器實(shí)現(xiàn):從輸入裝置獲取輸入信息的功能，所述輸入信息用于改變?cè)谧鳛轱@示對(duì)象的圖像內(nèi)的顯示區(qū)域；將基于所述輸入信息所確定的所述顯示區(qū)域內(nèi)部的圖像生成為所述顯示圖像的功能；對(duì)所生成的顯示圖像的數(shù)據(jù)進(jìn)行壓縮編碼的功能；以及將經(jīng)壓縮編碼的數(shù)據(jù)發(fā)送至所述客戶端的功能，其中當(dāng)從所述客戶端獲取所述輸入信息的功能獲取了用于縮放所述顯示圖像的輸入信息時(shí)，將所述圖像生成為所述顯示圖像的功能改變所述顯示圖像，以使得執(zhí)行所述圖像的縮放，以便限制在包括作為圖像平面中縮放的中心的焦點(diǎn)的預(yù)定范圍內(nèi)的區(qū)域，該服務(wù)器用于從經(jīng)由網(wǎng)絡(luò)連接的客戶端獲取關(guān)于用戶操作的信息，根據(jù)所述信息生成要在客戶端上顯示的顯示圖像的數(shù)據(jù)，和發(fā)送數(shù)據(jù)到客戶端。
[0012]應(yīng)注意的是，將本技術(shù)的表述轉(zhuǎn)換為上述組成要素及方法、裝置、系統(tǒng)、計(jì)算機(jī)程序等的任意組合也與本技術(shù)的模式一樣有效。
[0013]根據(jù)本技術(shù)，無論顯示環(huán)境和條件如何，均可流暢地改變顯示圖像。

【專利附圖】

【附圖說明】
[0014]圖1是示出本實(shí)施例中的信息處理裝置的內(nèi)部電路配置的圖；
[0015]圖2是可用在本實(shí)施例中的圖像數(shù)據(jù)的層次結(jié)構(gòu)的概念圖；
[0016]圖3是輔助說明在本實(shí)施例中顯示圖像的縮放操作的圖；
[0017]圖4是示出本實(shí)施例中在縮放操作時(shí)所顯示的屏幕中的變化的實(shí)例的圖；
[0018]圖5是詳細(xì)示出本實(shí)施例中的信息處理裝置的功能配置的圖；
[0019]圖6是輔助說明本實(shí)施例中的縮放速度的變化的圖；
[0020]圖7是輔助說明本實(shí)施例中的縮放速度與更新區(qū)域的尺寸之間的關(guān)系的圖；
[0021]圖8是輔助說明在本實(shí)施例中的放大操作的焦點(diǎn)不是屏幕的中心的情形中用于生成顯示圖像的方法的圖；
[0022]圖9是在本實(shí)施例中信息處理裝置根據(jù)縮放操作來更新顯示圖像的處理過程的流程圖；
[0023]圖10是示出本實(shí)施例中的信息處理系統(tǒng)的配置的圖；
[0024]圖11是示出本實(shí)施例中的客戶端和服務(wù)器的功能配置的圖；
[0025]圖12是本實(shí)施例中的客戶端和服務(wù)器更新客戶端中的顯示圖像的處理過程的流程圖；
[0026]圖13是示出在本實(shí)施例中在客戶端一側(cè)上執(zhí)行掩模圖像合成處理的情形中客戶端和服務(wù)器的功能配置的圖；以及
[0027]圖14是示意性示出在本實(shí)施例中對(duì)包括層次數(shù)據(jù)的多條圖像數(shù)據(jù)設(shè)置鏈接的狀態(tài)的圖。

【具體實(shí)施方式】
[0028]第一實(shí)施例
[0029]圖1示出本實(shí)施例中的信息處理裝置的內(nèi)部電路配置。信息處理裝置10包括CPU (中央處理單元)12、GPU14以及主存儲(chǔ)器16。CPU12基于諸如操作系統(tǒng)、應(yīng)用程序等的程序來控制信息處理裝置10內(nèi)的組成元件中的處理以及信號(hào)傳輸。GPU14執(zhí)行圖像處理。主存儲(chǔ)器16由RAM (隨機(jī)存取存儲(chǔ)器)形成。主存儲(chǔ)器16存儲(chǔ)處理所必要的程序和數(shù)據(jù)。
[0030]這些部件通過總線20相互連接。總線20還與輸入-輸出接口 18連接。輸入-輸出接口 18連接:通信部分22，包括諸如USB (通用串行總線)、IEEE1394等外圍裝置接口以及有線或無線LAN(本地區(qū)域網(wǎng)絡(luò))的網(wǎng)絡(luò)接口 ；存儲(chǔ)部分24，例如硬盤驅(qū)動(dòng)器、非易失性存儲(chǔ)器等；輸出部分26，用于輸出圖像和音頻數(shù)據(jù)；輸入部分28，用于接收來自諸如用戶等外界的輸入；以及記錄介質(zhì)驅(qū)動(dòng)部分29，用于驅(qū)動(dòng)可移除記錄介質(zhì)，例如磁盤、光盤、半導(dǎo)體存儲(chǔ)器等。
[0031]CPU12通過執(zhí)行在存儲(chǔ)部分24中存儲(chǔ)的操作系統(tǒng)來控制信息處理裝置10的整體。CPU12還執(zhí)行從存儲(chǔ)部分24和可移除記錄介質(zhì)讀取的、以及加載到主存儲(chǔ)器16中的、或者通過通信部分22下載的各種程序。GPU14具有幾何引擎的功能以及渲染處理器的功能。GPU14根據(jù)來自CPU12的渲染指令來執(zhí)行渲染處理，并且將顯示圖像存儲(chǔ)在圖中未示出的幀緩沖器中。然后，GPU14將存儲(chǔ)在幀緩沖器中的顯示圖像轉(zhuǎn)換為視頻信號(hào)，并且將該視頻信號(hào)輸出至輸出部分26。
[0032]輸入部分28包括普通的輸入裝置和用于從輸入裝置獲取輸入信號(hào)的機(jī)制，所述普通的輸入裝置例如是鍵盤、觸摸板、按鈕、控制桿、麥克風(fēng)、相機(jī)等。輸出部分26包括普通的輸出裝置和用于將輸出信號(hào)發(fā)送至輸出裝置的機(jī)制，所述普通的輸出裝置例如是用于顯示圖像的顯示器、用于輸出音頻的揚(yáng)聲器等。附帶說明，本實(shí)施例集中于圖像處理技術(shù)。因此，在下文中，將不會(huì)提及音頻輸出。然而，根據(jù)需要，音頻可與圖像顯示一起輸出。
[0033]信息處理裝置10、輸入部分28中所包括的輸入裝置以及輸出部分26中所包括的顯示器可分別具有各自的外殼，并且可通過線纜(wire cable)彼此連接?？蛇x擇地，可通過使用藍(lán)牙(注冊(cè)商標(biāo))協(xié)議、IEEE802.11協(xié)議等在信息處理裝置10、輸入部分28中所包括的輸入裝置以及輸出部分26中所包括的顯示器之間建立無線連接?？蛇x擇地，可形成具有集成外殼的裝置，在該裝置內(nèi)，信息處理裝置10、輸入部分28中所包括的輸入裝置以及輸出部分26中所包括的顯示器彼此連接。例如，通過在外殼的表面中設(shè)置顯示器并且通過在前表面上提供觸摸板作為輸入裝置可實(shí)現(xiàn)便攜式游戲機(jī)、平板終端、高級(jí)便攜式電話等。
[0034]根據(jù)本實(shí)施例的信息處理裝置10至少具有根據(jù)用戶的操作來放大/縮小(下文簡(jiǎn)稱為“縮放”)顯示圖像以及沿向上-向下方向或左-右方向卷動(dòng)(scroll)顯示圖像的功能。因此，在下文中，在作為顯示對(duì)象的圖像中改變?cè)陲@示器上所顯示的區(qū)域可被統(tǒng)稱為“移動(dòng)顯示區(qū)域”。
[0035]在本實(shí)施例中，被設(shè)定為顯示對(duì)象的圖像的數(shù)據(jù)并不特別地受限。然而，將以具有包括不同分辨率的圖像的層次結(jié)構(gòu)的圖像數(shù)據(jù)為例進(jìn)行下文的說明，該圖像通過將原始圖像縮小多個(gè)級(jí)來生成。在這樣的圖像數(shù)據(jù)中，每個(gè)層中的圖像被分為一個(gè)或多個(gè)平鋪圖像(tile image)。例如，最低分辨率的圖像由一個(gè)平鋪圖像形成，而最高分辨率的原始圖像由最大數(shù)量的平鋪圖像形成。在圖像顯示時(shí)，當(dāng)將顯示圖像變?yōu)轭A(yù)定的分辨率時(shí)，用于渲染的平鋪圖像變?yōu)椴煌瑢又械钠戒亪D像。這使得能夠快速地進(jìn)行放大顯示或縮小顯示。
[0036]圖2是具有這種層次結(jié)構(gòu)的圖像數(shù)據(jù)的概念圖。圖像數(shù)據(jù)在深度方向上(Z軸)具有層次結(jié)構(gòu)，該層次結(jié)構(gòu)包括第零層30、第一層32、第二層34和第三層36。附帶說明，盡管在圖2中僅示出了四個(gè)層，但是層的數(shù)量并不限于此。在下文中，具有這種層次結(jié)構(gòu)的圖像數(shù)據(jù)將被稱為“層次數(shù)據(jù)”。
[0037]圖2中所示的層次數(shù)據(jù)具有四叉樹(quadtree)層次結(jié)構(gòu)。每一層均由一個(gè)或多個(gè)平鋪圖像38形成。所有的平鋪圖像38均形成為具有相同數(shù)量的像素的同樣大小，并且例如具有256X256個(gè)像素。在每個(gè)層中的圖像數(shù)據(jù)表示一個(gè)具有不同分辨率的圖像。通過將第三層36中的具有最高分辨率的原始圖像縮小多個(gè)級(jí)來生成第二層34、第一層32和第零層30中的圖像數(shù)據(jù)。例如，在左-右(X軸)方向和向上-向下(Y軸)方向上，第N層(N為O或更大的整數(shù))的分辨率可以是第(N+1)層的分辨率的1/2。
[0038]在信息處理裝置10中，層次數(shù)據(jù)以被壓縮為預(yù)定的壓縮格式的狀態(tài)保留在存儲(chǔ)部分24中，并且在被顯示在顯示器上之前被從存儲(chǔ)部分24讀取并被解碼。根據(jù)本實(shí)施例的信息處理裝置10具有支持多種壓縮格式的解碼功能，并且能夠?qū)3TC格式、JPEG格式和JPEG2000格式的壓縮數(shù)據(jù)進(jìn)行解碼。
[0039]如圖2中所示，在層次數(shù)據(jù)的層次結(jié)構(gòu)中，左-右方向被設(shè)定為X軸，向上-向下方向被設(shè)定為Y軸，并且深度方向被設(shè)定為Z軸，并且構(gòu)成虛擬三維空間。在信息處理裝置10基于從輸入裝置提供的顯示區(qū)域移動(dòng)請(qǐng)求信號(hào)推導(dǎo)出顯示區(qū)域中的變化量之后，信息處理裝置10使用所述變化量順序地推導(dǎo)出虛擬空間中的幀的四個(gè)角的坐標(biāo)(幀坐標(biāo))。附帶說明，信息處理裝置10可推導(dǎo)出標(biāo)識(shí)層的信息以及該層中的紋理坐標(biāo)(UV坐標(biāo))，代替虛擬空間中的幀坐標(biāo)。在下文中，層標(biāo)識(shí)信息與紋理坐標(biāo)的組合也將被稱為幀坐標(biāo)。
[0040]在本實(shí)施例中被設(shè)定為顯示對(duì)象的圖像的數(shù)據(jù)可以是如上述的層次數(shù)據(jù)，或者可具有別的結(jié)構(gòu)。此外，顯示對(duì)象不僅可以是靜止圖像，還可以是運(yùn)動(dòng)圖像。運(yùn)動(dòng)圖像可具有通過將圖像幀按照時(shí)間順序排列而獲得的普通運(yùn)動(dòng)圖像的數(shù)據(jù)結(jié)構(gòu)，或者可具有層次結(jié)構(gòu)。后者是如下這樣的結(jié)構(gòu):在該結(jié)構(gòu)中，為每個(gè)圖像幀創(chuàng)建如圖2中所示的層次數(shù)據(jù)，并且層次數(shù)據(jù)按照時(shí)間順序排列。附帶說明，在以下的說明中，在這些顯示對(duì)象圖像中，由幀坐標(biāo)所確定的、在將要顯示的區(qū)域內(nèi)的圖像，即，將要在顯示器上顯示的區(qū)域中的圖像將被稱為“顯示圖像”。
[0041]當(dāng)在顯示圖像的同時(shí)執(zhí)行顯示區(qū)域移動(dòng)操作時(shí)，需要將要新顯示的區(qū)域的經(jīng)壓縮編碼的數(shù)據(jù)從存儲(chǔ)部分24讀出至主存儲(chǔ)器16中，并經(jīng)歷解碼和解壓縮處理。例如，在層次數(shù)據(jù)的情形中，當(dāng)根據(jù)縮放操作改變用于顯示的數(shù)據(jù)的層時(shí)，在改變之后的層中的平鋪圖像的數(shù)據(jù)需要被再次解碼并解壓縮。此外，當(dāng)運(yùn)動(dòng)補(bǔ)償用于運(yùn)動(dòng)圖像的壓縮編碼時(shí)，在縮放操作時(shí)增大了由運(yùn)動(dòng)向量無法預(yù)測(cè)的變化分量，以使得與卷動(dòng)相比，顯示圖像的生成會(huì)耗時(shí)。
[0042]因此，需要例如通過限制顯示區(qū)域移動(dòng)的速度或者對(duì)除了顯示區(qū)域或被預(yù)測(cè)為將要顯示的區(qū)域以外的區(qū)域的圖像數(shù)據(jù)進(jìn)行推測(cè)性地讀取和解碼來采取措施。然而，由于意在通過增大顯示圖像的清晰度或者增加層的數(shù)量而實(shí)現(xiàn)更高的功能性和更高質(zhì)量的圖像顯示，所以傾向于增加在顯示圖像更新之前所必要的處理，例如關(guān)于新圖像數(shù)據(jù)的讀取、解碼、解壓縮處理。結(jié)果，存在如下增大的可能性:在移動(dòng)顯示區(qū)域的處理中從操作到顯示圖像的更新的響應(yīng)時(shí)間變得更長(zhǎng)或者暫時(shí)停止顯示或者使得連續(xù)進(jìn)行顯示。
[0043]因此，本實(shí)施例通過在這些問題趨于顯而易見的顯示圖像縮放操作期間選擇性地輸出所需信息來降低處理成本并保證響應(yīng)性。圖3是輔助說明顯示圖像的縮放操作的圖。首先，圖像200將整體圖像表示為顯示對(duì)象，或者將顯示區(qū)域中的圖像表示為放大操作的起點(diǎn)。圖像200示出例如直立的兩個(gè)圓形的圓柱體和一個(gè)立方體。
[0044]當(dāng)在顯示這種圖像的同時(shí)對(duì)屏幕的中心處的位置203周圍的區(qū)域執(zhí)行放大操作時(shí)，顯示區(qū)域的變化如虛線矩形所示，并且當(dāng)放大操作結(jié)束時(shí)，顯示區(qū)域變成最終的顯示區(qū)域202。在圖3中，顯示區(qū)域的四個(gè)角的變化由各個(gè)箭頭顯示。在縮小操作的情形中進(jìn)行相反的變化。附帶說明，作為顯示圖像中縮放操作的中心的位置203在下文中將被稱為縮放操作的“焦點(diǎn)”。
[0045]圖4示出了響應(yīng)于圖3中所示的操作在本實(shí)施例所顯示的屏幕的變化的實(shí)例。首先，屏幕204表示圖3中的起點(diǎn)處的顯示圖像。在顯示圖像被放大從而顯示示出終點(diǎn)處的顯示圖像的屏幕208的情形中，在放大處理期間合成單獨(dú)制備的掩模圖像210。如圖4中所示，掩模圖像210包括從屏幕的外圍會(huì)聚到作為放大操作的焦點(diǎn)的屏幕中心的多條線，即，所謂的會(huì)聚線。
[0046]同時(shí)，對(duì)于正被放大的顯示圖像，圖3中所示的虛線矩形內(nèi)的顯示區(qū)域的一部分，即，如圖4中的顯示圖像206中的、在具有將放大操作的焦點(diǎn)作為中心的預(yù)定范圍中的區(qū)域206a被設(shè)定為更新對(duì)象。在下文中，根據(jù)縮放操作而被設(shè)定為更新對(duì)象的區(qū)域206a將被稱為更新區(qū)域。附帶說明，圖4示出了僅在正被放大的顯示圖像206中的更新區(qū)域206a中的圖像。在作為起點(diǎn)的屏幕204的圖像中的相應(yīng)區(qū)域的圖像可被按照原樣地留在其它區(qū)域中，或者所述其它區(qū)域可以是填充有諸如白色等單一顏色的區(qū)域?？傊?，做出變化以使在顯示圖像中的更新區(qū)域內(nèi)的圖像被放大。
[0047]通過由alpha混合處理將這樣改變的顯示圖像與掩模圖像210彼此合成而形成屏幕，其該屏幕中，在更新區(qū)域中正被放大的圖像呈現(xiàn)在會(huì)聚線的中心。結(jié)果，例如，在放大操作中所顯示的屏幕從屏幕204變成屏幕212再變成屏幕208。
[0048]在所述合成時(shí)，掩模圖像210的整體可以是半透明的，或者與更新區(qū)域相對(duì)應(yīng)的區(qū)域可以是透明或半透明的而其它區(qū)域可以是不透明的。在前者的情形中，與更新區(qū)域相對(duì)應(yīng)的區(qū)域的透射率可高于其它區(qū)域的透射率。另一方面，在顯示圖像206中除了更新區(qū)域以外的區(qū)域可以是透明或半透明的，而更新區(qū)域可以是不透明的或具有比其它區(qū)域更低的透射率。此外，關(guān)于多個(gè)圖像中的每個(gè)圖像，當(dāng)在該圖像內(nèi)改變圖像的透射率時(shí)，通過將圖像的透射率設(shè)為在更新區(qū)域的邊界處進(jìn)行連續(xù)的變化從而在合成之后的圖像中理想地獲得在更新區(qū)域與其它區(qū)域之間的連續(xù)性。在縮小操作的情形中，相反地，屏幕208是起點(diǎn)并且屏幕208被變成屏幕212，然后被變成屏幕204。然而，在縮小處理中的屏幕的配置與放大操作中的配置相似。
[0049]可通過以會(huì)聚到一個(gè)消失點(diǎn)的方式繪制諸如掩模圖像210的聚集線這樣的放射線來表示在對(duì)象的深度方向上的運(yùn)動(dòng)以及觀看者的視點(diǎn)的會(huì)聚。通過將所述掩模圖像210與正被放大或縮小的圖像相合成，可使作為縮放操作的焦點(diǎn)的位置或者圖4中的立方體的部分變得清楚，并且可明確且自然地表示正在執(zhí)行縮放操作的狀態(tài)。
[0050]如在乘坐高速交通工具時(shí)沿行進(jìn)方向看去的情形，通常，執(zhí)行縮放操作的觀看者觀看圖像，同時(shí)隨著縮放操作的操作速度的增大，更會(huì)聚在放大/縮小變化的焦點(diǎn)上改變。此外，當(dāng)縮放圖像時(shí)，更靠近焦點(diǎn)的區(qū)域進(jìn)行更小的變化。利用這種特性，本實(shí)施例通過將顯示區(qū)域中的被設(shè)定為更新對(duì)象的區(qū)域限制在焦點(diǎn)及其附近從而降低了處理成本并且改善了響應(yīng)性。同時(shí)，由于在除了感興趣的區(qū)域以外的區(qū)域中的復(fù)雜運(yùn)動(dòng)并不進(jìn)入視野，所以觀看者易于觀看屏幕。
[0051]附帶說明，將會(huì)聚線引入到掩模圖像中可被稱之為適于從能夠直觀地掌握與圖像平面垂直的方向上的動(dòng)作的視點(diǎn)的縮放操作。然而，除了會(huì)聚線以外的圖像可以是掩模圖像，只要該圖像能夠?qū)⒏聟^(qū)域的可見性(visibility)與其它區(qū)域的可見性相區(qū)分即可。也就是說，被制備為掩模圖像的圖像并不特別地受限，只要滿足以下條件即可:其中裝置執(zhí)行縮放處理的狀態(tài)可被清楚地示出、并且與操作相對(duì)應(yīng)的縮放動(dòng)作至少在該圖像中的焦點(diǎn)周圍的部分區(qū)域中清晰可見而可見性在其它區(qū)域中可以相對(duì)降低。例如，可使用云、微粒、同心圓、同心矩形、框等的圖像?？蛇x擇地，例如通過將在會(huì)聚線的方向上的運(yùn)動(dòng)模糊應(yīng)用于作為操作的起點(diǎn)的圖像等或者通過降低除了更新區(qū)域以外的區(qū)域的亮度或者通過模糊除了更新區(qū)域以外的區(qū)域，圖像本身可經(jīng)歷某種處理。
[0052]圖5詳細(xì)示出信息處理裝置10的功能配置。稍后將要說明的圖5、圖11和圖13中所示的每個(gè)功能框就硬件來說可由圖1中所示的CPU和GPU的配置、RAM、各種處理器等實(shí)現(xiàn)，并且就軟件來說由運(yùn)行諸如圖像處理功能、算術(shù)功能、數(shù)據(jù)存取功能等各種功能的程序來實(shí)現(xiàn)，該程序從記錄介質(zhì)等加載到存儲(chǔ)器中。因此，本領(lǐng)域技術(shù)人員可以理解的是，可僅由硬件、僅由軟件、或硬件與軟件的組合以各種形式實(shí)現(xiàn)這些功能框，并且不限于所述形式中的任何一種。
[0053]信息處理裝置10包括:輸入信息獲取部分102，用于獲取關(guān)于由用戶在輸入裝置上所執(zhí)行的操作的信息；幀坐標(biāo)確定部分104，用于根據(jù)用戶的操作在正顯示的圖像中連續(xù)地確定所要顯示的區(qū)域的幀坐標(biāo)；加載部分108，用于從存儲(chǔ)部分24加載圖像顯示所必要的數(shù)據(jù)；解碼部分106，用于對(duì)經(jīng)壓縮的圖像數(shù)據(jù)進(jìn)行解碼和解壓縮；以及顯示圖像處理部分114，用于對(duì)顯示圖像進(jìn)行渲染。
[0054]此外，存儲(chǔ)部分24存儲(chǔ)圖像數(shù)據(jù)116和掩模數(shù)據(jù)118，其中圖像數(shù)據(jù)116是顯示對(duì)象圖像的經(jīng)壓縮編碼的數(shù)據(jù)，掩模數(shù)據(jù)118是掩模圖像的經(jīng)壓縮編碼的數(shù)據(jù)。附帶說明，必要的數(shù)據(jù)以及用于操作信息處理裝置10的各種程序可存儲(chǔ)在存儲(chǔ)部分24中并在適當(dāng)時(shí)被加載至主存儲(chǔ)器16中。然而，圖5中并未示出所述各種程序和必要的數(shù)據(jù)。
[0055]輸入信息獲取部分102通過由用戶操作的輸入裝置來獲取關(guān)于操作的細(xì)節(jié)的信息。具體地，輸入信息獲取部分102獲取如下信息:所述信息指示請(qǐng)求移動(dòng)顯示區(qū)域、所要啟動(dòng)的應(yīng)用程序或所要顯示的圖像的選擇等。附帶說明，信息處理裝置10不僅可執(zhí)行用于圖像顯示、顯示區(qū)域移動(dòng)等的處理，而且還可執(zhí)行一般的信息處理，涉及用于游戲、網(wǎng)絡(luò)瀏覽器、通信等的圖像顯示。由輸入信息獲取部分102所獲取的信息還可以是取決于處理的細(xì)節(jié)的各種信息。此外，作為這種信息處理的結(jié)果，顯示區(qū)域不僅可根據(jù)用戶的操作來移動(dòng)，而且還可由裝置自身來移動(dòng)。
[0056]然而，在下文的說明中，注意力將會(huì)被引導(dǎo)至作為實(shí)施例的根據(jù)用戶的操作的顯示區(qū)域的移動(dòng)上。因此，盡管圖5僅示出了與相應(yīng)的模式相關(guān)的功能，然而包括其它功能的基本處理是共同的。幀坐標(biāo)確定部分104從當(dāng)前顯示區(qū)域的幀坐標(biāo)來確定在每個(gè)隨后的時(shí)間階段中的顯示區(qū)域的幀坐標(biāo)，并且基于輸入的顯示區(qū)域移動(dòng)請(qǐng)求來確定移動(dòng)速度向量。這里，“時(shí)間階段”是基于幀速率的顯示圖像更新定時(shí)。所確定的幀坐標(biāo)被通報(bào)給加載部分108、解碼部分106和顯示圖像處理部分114。
[0057]加載部分108基于從幀坐標(biāo)確定部分104所通報(bào)的幀坐標(biāo)來檢查是否存在將要從存儲(chǔ)部分24加載至主存儲(chǔ)器16中的經(jīng)壓縮圖像數(shù)據(jù)。加載部分108根據(jù)需要加載經(jīng)壓縮圖像數(shù)據(jù)。例如，在使用如圖2中所示的層次數(shù)據(jù)的情形中，標(biāo)識(shí)進(jìn)行顯示所必要的層以及該層中的平鋪圖像的數(shù)據(jù)。當(dāng)存在并未加載在主存儲(chǔ)器16中的數(shù)據(jù)時(shí)，加載該數(shù)據(jù)。附帶說明，加載部分108可根據(jù)顯示區(qū)域中目前為止的變化、當(dāng)前的顯示區(qū)域等來適當(dāng)?shù)仡A(yù)測(cè)隨后可能變得必要的數(shù)據(jù)，并且預(yù)先加載該數(shù)據(jù)。根據(jù)圖像的尺寸以及主存儲(chǔ)器16的容量，可加載全部圖像數(shù)據(jù)。
[0058]在開始圖像顯示時(shí)、在啟動(dòng)涉及這種顯示的應(yīng)用程序時(shí)等，加載部分108還將掩模數(shù)據(jù)118從存儲(chǔ)部分24加載至主存儲(chǔ)器16中。解碼部分106根據(jù)從幀坐標(biāo)確定部分104所通報(bào)的幀坐標(biāo)來對(duì)進(jìn)行顯示所必要的區(qū)域中的數(shù)據(jù)進(jìn)行解碼和解壓縮，該數(shù)據(jù)包括在被加載在主存儲(chǔ)器16中的經(jīng)壓縮圖像數(shù)據(jù)中。解碼部分106將數(shù)據(jù)存儲(chǔ)在內(nèi)部緩沖存儲(chǔ)器中。預(yù)先在寬范圍中對(duì)圖像數(shù)據(jù)進(jìn)行解碼和解壓縮并將該圖像數(shù)據(jù)存儲(chǔ)在緩沖存儲(chǔ)器中可減少從主存儲(chǔ)器16讀取的次數(shù)，并且因此實(shí)現(xiàn)了顯示區(qū)域的流暢移動(dòng)。
[0059]解碼部分106內(nèi)部包括區(qū)域調(diào)整部120。在顯示圖像的縮放操作的開始和結(jié)束的定時(shí)，區(qū)域調(diào)整部120從輸入信息獲取部分102接收通知，該通知指示顯示圖像的縮放操作的開始和結(jié)束的定時(shí)，并且區(qū)域調(diào)整部120在縮放操作期間確定所要更新的更新區(qū)域。假設(shè)從幀坐標(biāo)確定部分104所通報(bào)的幀坐標(biāo)指示圖4中的顯示圖像206的幀，則區(qū)域調(diào)整部120在顯示圖像206的幀內(nèi)確定更新區(qū)域206a。如上所述，在該情形中所確定的更新區(qū)域是在具有將縮放操作的焦點(diǎn)作為中心的預(yù)定范圍內(nèi)的矩形區(qū)域。此外，如下文將描述的，例如，特別地當(dāng)從縮放操作的操作量所確定的縮放速度暫時(shí)改變時(shí)，還可暫時(shí)改變更新區(qū)域的尺寸。
[0060]解碼部分106至少預(yù)先對(duì)如此確定的更新區(qū)域的數(shù)據(jù)進(jìn)行解碼和解壓縮并且將更新區(qū)域的數(shù)據(jù)存儲(chǔ)在緩沖存儲(chǔ)器中。也就是說，即使當(dāng)根據(jù)信息處理裝置10的處理能力、緩沖存儲(chǔ)器的容量、到目前為止執(zhí)行的用戶操作、顯示對(duì)象圖像的數(shù)據(jù)大小等沒有資源供更新顯示圖像所必要的處理所用時(shí)，也提供一種其中至少更新區(qū)域的圖像可被更新的狀態(tài)。在這樣的條件下，這使得顯示圖像能夠針對(duì)變化是魯棒的。
[0061]更簡(jiǎn)單地，如上所述，執(zhí)行數(shù)據(jù)解碼和解壓縮，從而始終僅對(duì)更新區(qū)域中的圖像進(jìn)行更新。另一方面，可對(duì)處理區(qū)分優(yōu)先次序，以便優(yōu)先對(duì)更新區(qū)域的數(shù)據(jù)進(jìn)行解碼和解壓縮，然后，對(duì)更新區(qū)域外圍的數(shù)據(jù)進(jìn)行解碼和解壓縮。附帶說明，在除了縮放操作以外的時(shí)間段中，將由從幀坐標(biāo)確定部分104所通報(bào)的幀坐標(biāo)所指示的區(qū)域按照原樣地設(shè)為更新區(qū)域就足夠了。
[0062]此外，解碼部分106對(duì)加載在主存儲(chǔ)器16中的掩模數(shù)據(jù)118進(jìn)行解碼和解壓縮，并且在開始圖像顯示時(shí)、在啟動(dòng)涉及這種顯示的應(yīng)用程序時(shí)等分別將掩模數(shù)據(jù)118存儲(chǔ)在緩沖存儲(chǔ)器中。顯示圖像處理部分114根據(jù)從幀坐標(biāo)確定部分104所通報(bào)的幀坐標(biāo)，使用存儲(chǔ)在解碼部分106的緩沖存儲(chǔ)器中的圖像數(shù)據(jù)對(duì)在外部幀緩沖器中的顯示圖像進(jìn)行渲染，并以適當(dāng)?shù)亩〞r(shí)將顯示圖像顯示在顯示器上。
[0063]顯示圖像處理部分114內(nèi)部包括掩模控制部122。當(dāng)進(jìn)行縮放操作時(shí)，至少將來自根據(jù)縮放操作的前一時(shí)間階段所更新的圖像的數(shù)據(jù)存儲(chǔ)在解碼部分106的緩沖存儲(chǔ)器中用于更新區(qū)域。因此，顯示圖像處理部分114根據(jù)從幀坐標(biāo)確定部分104所通報(bào)的幀坐標(biāo)，讀取幀緩沖器中的圖像數(shù)據(jù)并對(duì)該圖像數(shù)據(jù)進(jìn)行渲染。
[0064]同時(shí)，在顯示圖像的縮放操作的開始和結(jié)束的定時(shí)，掩模控制部122接收通知，該通知指示來自輸入信息獲取部分102的顯示圖像縮放操作的開始和結(jié)束的定時(shí)，并且掩模控制部122使用被解碼和解壓縮之后的掩模數(shù)據(jù)將掩模圖像與幀緩沖器中所渲染的顯示圖像進(jìn)行合成，其中掩模數(shù)據(jù)從解碼部分106讀取。顯示圖像處理部分114在顯示器上顯示合成之后的圖像。由此，在縮放操作期間顯示諸如圖4中的屏幕212的圖像。
[0065]下面將對(duì)縮放操作的操作量、縮放速度以及更新區(qū)域的尺寸之間的關(guān)系進(jìn)行說明。當(dāng)進(jìn)行縮放操作時(shí)，用戶可通過調(diào)整縮放操作的操作量來控制縮放速度，即，每單位時(shí)間的幀坐標(biāo)的移動(dòng)量。有多種方法用于根據(jù)輸入單元調(diào)整操作量。例如，當(dāng)由提供給輸入裝置的模擬桿(analog stick)來實(shí)現(xiàn)縮放操作時(shí)，通過模擬桿的傾斜角度來調(diào)整操作量。當(dāng)由與觸摸板接觸的食指與拇指之間的間隔的變化或者所謂的捏進(jìn)(pinch-1n)或捏出(pinch-out)操作來實(shí)現(xiàn)縮放時(shí)，由手指的速度來調(diào)整操作量。
[0066]幀坐標(biāo)確定部分104根據(jù)操作量確定幀坐標(biāo)的速度向量，并且相應(yīng)地計(jì)算每一時(shí)間階段的新的幀坐標(biāo)。在該情形中，當(dāng)在縮放操作開始之后幀坐標(biāo)立即以與操作量成正比的速度移動(dòng)時(shí)，顯示區(qū)域可能突然改變，并且可能執(zhí)行比在操作中所預(yù)期的縮放更大的縮放，或者可能延遲顯示圖像的更新并且可能間斷地改變顯示圖像。
[0067]因此，幀坐標(biāo)確定部分104通過對(duì)指示所請(qǐng)求的操作量的、從輸入裝置獲取的方波信號(hào)和預(yù)定的遷移函數(shù)執(zhí)行卷積操作來逐漸改變縮放速度。在該情形中，遷移函數(shù)可以是高斯函數(shù)。圖6是輔助說明此時(shí)縮放速度的變化的圖。在圖6中，時(shí)間變化220表示來自輸入裝置的輸入信號(hào)，并且指示執(zhí)行用于將幀坐標(biāo)從坐標(biāo)A移動(dòng)到坐標(biāo)B的縮放操作。附帶說明，由于幀坐標(biāo)是顯示區(qū)域的四個(gè)角的坐標(biāo)，所以幀坐標(biāo)實(shí)際上由四個(gè)坐標(biāo)組成。然而，如圖3中所示，四個(gè)坐標(biāo)常常聯(lián)動(dòng)以便組成具有顯示器的縱橫比的矩形的四個(gè)角。因此，可由所述四個(gè)坐標(biāo)中的一個(gè)坐標(biāo)的移動(dòng)來定義縮放速度。
[0068]通過高斯函數(shù)224對(duì)輸入信號(hào)執(zhí)行的卷積操作提供了幀坐標(biāo)的實(shí)際時(shí)間變化228。具體地，以坐標(biāo)A作為起點(diǎn)以緩慢的速度開始移動(dòng)，該速度逐漸增大，至中間點(diǎn)處達(dá)到最大速度，然后該速度逐漸減小，并且在坐標(biāo)B處結(jié)束移動(dòng)。根據(jù)顯示圖像中的實(shí)際變化、處理能力等適當(dāng)?shù)卮_定定義最大速度的高斯函數(shù)的最大值。特別地，確定高斯函數(shù)224的最大值，以使得在達(dá)到最大速度的中間點(diǎn)處及時(shí)執(zhí)行顯示更新處理。
[0069]圖7是輔助說明縮放速度與更新區(qū)域的尺寸之間的關(guān)系的圖。圖7的上部的行示出了幀坐標(biāo)的移動(dòng)速度的變化。圖7的中間行示出了根據(jù)幀坐標(biāo)的移動(dòng)速度的變化的更新區(qū)域的尺寸的變化。橫坐標(biāo)軸指示經(jīng)過的時(shí)間。假設(shè)，在時(shí)間O處開始縮放處理，并且在時(shí)間T處結(jié)束該處理，即圖像被顯示作為終點(diǎn)。如參照?qǐng)D6所述，通過以高斯函數(shù)等對(duì)縮放操作的信號(hào)執(zhí)行卷積操作，幀坐標(biāo)的移動(dòng)速度230根本地改變，從而在縮放處理開始之后立刻變得低并且在縮放處理結(jié)束之前立刻變得低，并且在處理的中間點(diǎn)處最大化。附帶說明，實(shí)際上，還根據(jù)操作的持續(xù)時(shí)間和在操作的持續(xù)時(shí)間中的操作量的變化來改變幀坐標(biāo)的移動(dòng)速度。
[0070]如圖7中所示，對(duì)于縮放速度的這種變化，區(qū)域調(diào)整部120確定更新區(qū)域，以使得縮放速度越大，更新區(qū)域的尺寸232越小。附帶說明，圖7中所示的更新區(qū)域的尺寸232中的變化為一實(shí)例。存在用于根據(jù)縮放速度計(jì)算區(qū)域尺寸的各種轉(zhuǎn)換方程式，只要在定性上滿足上述條件即可。例如，區(qū)域尺寸可以與縮放速度成反比，或者整個(gè)顯示區(qū)域的尺寸的減小量與縮放速度成正比。此外，區(qū)域尺寸可以是一側(cè)或一區(qū)域的長(zhǎng)度。
[0071]總之，如圖7的下部的行中所示，在縮放操作期間在各個(gè)時(shí)間Tl、T2和T3處掩模圖像合成之前的顯示圖像240、242和244中的更新區(qū)域分別具有諸如更新區(qū)域240a、242a和244a的尺寸這樣的尺寸。也就是說，在達(dá)到最大的縮放速度的時(shí)間T2的更新區(qū)域242a小于其它時(shí)間Tl和T3的更新區(qū)域240a和244a。附帶說明，如上所述，通過將其它區(qū)域從更新區(qū)域中排除，緊鄰操作之前的圖像可按照原樣留在其它區(qū)域中，或者其它區(qū)域可以是填充區(qū)域。此外，圖7假定為放大操作，其中在更新區(qū)域240a、242a和244a內(nèi)的圖像隨著時(shí)間的經(jīng)過而被放大。當(dāng)然，在縮小操作中，更新區(qū)域內(nèi)的圖像被縮小。
[0072]因此，隨著縮放速度的增大而減小更新區(qū)域的尺寸減少了對(duì)更新顯示圖像所必要的處理，由此，易于避免針對(duì)縮放速度而無法及時(shí)執(zhí)行更新處理的情況。此外，如上所述，隨著縮放速度的增大而縮小以焦點(diǎn)作為中心的興趣區(qū)域的人的特性與實(shí)際屏幕的變化匹配。因此，對(duì)于觀看者而言進(jìn)行了自然且易于觀看的顯示。
[0073]在目前為止所述的模式中，屏幕的中心被設(shè)定為縮放操作的焦點(diǎn)。然而，當(dāng)在除了屏幕的中心以外的位置被放大的情形中，可同時(shí)接收卷動(dòng)和縮放操作，或者通過將該位置作為中心而執(zhí)行縮小。在該情形中，縮放操作的焦點(diǎn)從起點(diǎn)的位置向屏幕的中心移動(dòng)。因此，更新區(qū)域的中心也與縮放操作的焦點(diǎn)一起移動(dòng)。并且，需要改變掩模圖像，以便會(huì)聚線始終會(huì)聚至該焦點(diǎn)。圖8是輔助說明用于在放大操作的焦點(diǎn)并不位于屏幕的中心的情形中生成顯示圖像的方法的圖。
[0074]首先，假設(shè)當(dāng)顯示圖像250的同時(shí)對(duì)區(qū)域252執(zhí)行放大操作。如圖8中所示，區(qū)域252位于圖像250的右上方。在允許其中屏幕的中心如此未設(shè)定為焦點(diǎn)的縮放操作的情形中，制備具有比屏幕的尺寸更大的尺寸的掩模圖像254的數(shù)據(jù)。然后，切下掩模圖像，以使得會(huì)聚線所會(huì)聚到的點(diǎn)位于屏幕內(nèi)的縮放操作的焦點(diǎn)位置。切下的區(qū)域254a與被放大的顯示圖像合成從而顯示屏幕256。此時(shí)，更新區(qū)域的中心被確定為放大操作的焦點(diǎn)?？梢砸耘c參照?qǐng)D7所描述的方式相似的方式改變更新區(qū)域的尺寸。
[0075]隨著放大處理的進(jìn)行，放大操作的焦點(diǎn)逐漸向屏幕的中心移動(dòng)。更新區(qū)域與掩模圖像的切下的區(qū)域也相應(yīng)地移動(dòng)。然后，在放大操作的終點(diǎn)，焦點(diǎn)位于屏幕的中心。因此，掩模圖像被切下，以使得會(huì)聚線所會(huì)聚到的點(diǎn)位于中心處。切下的區(qū)域254b與作為終點(diǎn)的圖像合成，從而顯示屏幕258。因此，即使當(dāng)放大操作的焦點(diǎn)并不位于屏幕的中心時(shí)，也能夠容易地將會(huì)聚線所會(huì)聚到的位置調(diào)整為焦點(diǎn)。此外在縮小操作的情形中，根據(jù)焦點(diǎn)的位置對(duì)更新區(qū)域的布置和掩模圖像的切下的區(qū)域進(jìn)行類似地改變。
[0076]下面將對(duì)可由上述配置來實(shí)現(xiàn)的信息處理裝置的操作進(jìn)行說明。圖9是信息處理裝置10根據(jù)縮放操作來更新顯示圖像的處理過程的流程圖。當(dāng)用戶請(qǐng)求信息處理裝置10與對(duì)所要顯示的內(nèi)容或圖像的選擇一起開始顯示處理時(shí)，該流程圖開始。附帶說明，信息處理裝置10可根據(jù)用戶的操作、內(nèi)容輸出處理的進(jìn)展等適當(dāng)?shù)貓?zhí)行除了顯示圖像縮放操作以外的處理。然而，在本流程圖中省略了除了顯示圖像縮放處理以外的處理。
[0077]當(dāng)用戶已經(jīng)執(zhí)行了用于選擇內(nèi)容或圖像的輸入時(shí)，信息處理裝置10根據(jù)該選擇，通過加載部分108、解碼部分106、顯示圖像處理部分114等之間的合作使用圖像數(shù)據(jù)116來顯示初始圖像(SlO)。當(dāng)運(yùn)動(dòng)圖像顯示為初始圖像時(shí)，基于幀速率在每個(gè)時(shí)間階段中更新圖像幀的顯示。此外，無論初始圖像是靜止圖像還是運(yùn)動(dòng)圖像，均根據(jù)用戶操作、內(nèi)容的進(jìn)展等適當(dāng)?shù)馗滤鲲@示。附帶說明，此時(shí)，掩模數(shù)據(jù)118還被解碼和解壓縮，并被存儲(chǔ)在解碼部分106內(nèi)的緩沖存儲(chǔ)器、掩?？刂撇?22的內(nèi)部存儲(chǔ)器等中?？深A(yù)先將解碼之后的掩模數(shù)據(jù)118或掩模圖像的數(shù)據(jù)保留在掩模控制部122內(nèi)。
[0078]當(dāng)用戶在這樣的條件下執(zhí)行顯示圖像縮放操作時(shí)(S12)，解碼部分106中的區(qū)域調(diào)整部120從輸入信息獲取部分102獲取該效果的通知和關(guān)于操作量的信息，并且確定由來自幀坐標(biāo)確定部分104通報(bào)的幀坐標(biāo)所指示的顯示區(qū)域中的更新區(qū)域(S14)。具體地，區(qū)域調(diào)整部120根據(jù)與操作量相對(duì)應(yīng)的縮放速度來確定更新區(qū)域的尺寸，并且確定更新區(qū)域的位置，以使縮放操作的焦點(diǎn)為更新區(qū)域的中心。解碼部分106從主存儲(chǔ)器16讀取至少更新區(qū)域內(nèi)的圖像的數(shù)據(jù)，對(duì)該數(shù)據(jù)進(jìn)行解碼和解壓縮，并且將該數(shù)據(jù)存儲(chǔ)在緩沖存儲(chǔ)器中。當(dāng)圖像數(shù)據(jù)為層次數(shù)據(jù)時(shí)，經(jīng)解碼的數(shù)據(jù)的層根據(jù)縮放操作而適當(dāng)?shù)馗淖儭?br> [0079]接下來，通過根據(jù)縮放操作將至少更新區(qū)域內(nèi)的圖像放大或縮小與一個(gè)時(shí)間階段相對(duì)應(yīng)的量并且將相應(yīng)區(qū)域中的放大或縮小圖像繪制在幀緩沖器中，顯示圖像處理部分114對(duì)內(nèi)部幀緩沖器中的更新區(qū)域的數(shù)據(jù)進(jìn)行更新(S16)。接下來，顯示圖像處理部分114中的掩?？刂撇?22將掩模圖像與存儲(chǔ)在幀緩沖器中的圖像進(jìn)行合成(S18)。此時(shí)，如上所述，例如通過執(zhí)行僅使得掩模圖像中的更新區(qū)域半透明的alpha混合，清晰地示出更新區(qū)域中的圖像的縮放，并且隱藏了其它區(qū)域。
[0080]顯示圖像處理部分114將如此生成的顯示圖像轉(zhuǎn)換為視頻信號(hào)，并且以適當(dāng)?shù)亩〞r(shí)按順序發(fā)出視頻信號(hào)，從而在顯示裝置上更新顯示圖像(S20)。通過重復(fù)從S14至S20的處理直到作為根據(jù)縮放操作的終點(diǎn)的圖像被顯示為止，顯示其中至少更新區(qū)域中的圖像根據(jù)縮放操作而縮放的圖像(S22中的N以及S14至S20)。然后，在作為終點(diǎn)的圖像被顯示之后，縮放處理結(jié)束(S22中的Y)。
[0081]附帶說明，在圖9的流程圖中，在縮放處理開始時(shí)，在S14和S16中對(duì)更新區(qū)域進(jìn)行限制和更新之后，在S18第一次合成掩模圖像。另一方面，掩模圖像可與在S12中的縮放操作開始之后緊鄰的時(shí)間點(diǎn)顯示的圖像一起合成并顯示，并且可在那之后開始在更新區(qū)域中的圖像的縮放處理。在該情形中，在縮放操作之后緊鄰的以及在終點(diǎn)圖像的顯示之前緊鄰的縮放速度甚至可能小于根據(jù)關(guān)于如圖7中所示的操作量的卷積操作所確定的速度?？傊瑹o論信息處理裝置的處理能力、圖像的詳細(xì)程度等如何，通過立即顯示掩模圖像，可產(chǎn)生裝置對(duì)縮放操作的良好響應(yīng)性。
[0082]根據(jù)上述本實(shí)施例，在執(zhí)行顯示圖像縮放操作期間，在縮放圖像的同時(shí)合成會(huì)聚線等的掩模圖像。從而，可以以良好的響應(yīng)性呈現(xiàn)用戶所需的信息，例如諸如指示正在執(zhí)行的縮放處理以及指示縮放的焦點(diǎn)的信息。用作掩模圖像的會(huì)聚線可為用戶提供將觀看點(diǎn)帶到距離會(huì)聚線所會(huì)聚到的對(duì)象更近或遠(yuǎn)離對(duì)象的感覺，從而具有圖像放大和縮小處理的強(qiáng)烈的近似性(affinity)。
[0083]此外，合成掩模圖像消除了對(duì)遠(yuǎn)離焦點(diǎn)的區(qū)域進(jìn)行精確縮放和顯示的需要。因此，遠(yuǎn)離焦點(diǎn)的區(qū)域可被排除在縮放處理的對(duì)象之外，或者在處理中給予較低的優(yōu)先級(jí)。結(jié)果，無論信息處理裝置的能力、圖像的類型、數(shù)據(jù)結(jié)構(gòu)、清晰度等如何，可降低縮放處理中的處理成本，并且可進(jìn)行具有穩(wěn)定響應(yīng)性的縮放處理。同時(shí)，可通過有意地減少用戶并不關(guān)注的部分中的信息量來實(shí)現(xiàn)易于觀看且簡(jiǎn)單的圖像顯示。
[0084]第二實(shí)施例
[0085]在第一實(shí)施例中，已經(jīng)以如下這樣的模式進(jìn)行了說明:在該模式中，一個(gè)信息處理裝置顯示由信息處理裝置自己保留的圖像數(shù)據(jù)并且在信息處理裝置內(nèi)執(zhí)行縮放處理。在本實(shí)施例中，將以如下這樣的模式進(jìn)行說明:在該模式中，服務(wù)器保留顯示對(duì)象圖像數(shù)據(jù)的一部分或全部，并且根據(jù)客戶端中的用戶操作通過網(wǎng)絡(luò)將必要的數(shù)據(jù)實(shí)時(shí)發(fā)送至客戶端，由此客戶端根據(jù)操作進(jìn)行顯示。
[0086]圖10示出本實(shí)施例中的信息處理系統(tǒng)的配置。信息處理系統(tǒng)300中的客戶端310a、310b、…310η中的每個(gè)均配置為可通過網(wǎng)絡(luò)303連接至服務(wù)器330，從而向服務(wù)器330發(fā)送數(shù)據(jù)并從服務(wù)器330接收數(shù)據(jù)。服務(wù)器330根據(jù)來自客戶端310a、310b、…310η的請(qǐng)求來執(zhí)行信息處理，然后將所生成作為信息處理結(jié)果的輸出數(shù)據(jù)發(fā)送至客戶端310a、310b、…310η?？蛻舳?10a、310b、…310η以及服務(wù)器330通過有線或通過無線與網(wǎng)絡(luò)303連接?？蓪⑵胀夹g(shù)應(yīng)用在用于將客戶端310a、310b、…310η與服務(wù)器330彼此連接的方法、請(qǐng)求信息處理、以及關(guān)于輸出數(shù)據(jù)的發(fā)送和接收的過程。
[0087]客戶端310a、310b、…310η是由各自用戶操作的裝置?？蛻舳?10a、310b、…310η將由用戶執(zhí)行的操作作為輸入信息發(fā)送至服務(wù)器330，并且根據(jù)該操作來請(qǐng)求信息處理。然后，客戶端310a、310b、…310η接收作為服務(wù)器330執(zhí)行信息處理的結(jié)果所生成的輸出數(shù)據(jù)，然后將該輸出數(shù)據(jù)輸出為圖像和音頻?？蛻舳?10a、310b、…310η可以是諸如平板、便攜式電話、便攜式終端、個(gè)人電腦等的任意普通裝置或終端。附帶說明，與網(wǎng)絡(luò)303連接的客戶端310a、310b、…310η和服務(wù)器330的數(shù)量并不特別受限。在下文中，客戶端310a,310b,...310η將被統(tǒng)稱為客戶端310。
[0088]附帶說明，根據(jù)來自客戶端310的請(qǐng)求由服務(wù)器330所執(zhí)行的處理的細(xì)節(jié)并不特別受限，但是可以是用于顯示特定靜止圖像或特定運(yùn)動(dòng)圖像的處理，或者可以是用于游戲、計(jì)算、數(shù)據(jù)創(chuàng)建等的任意普通的信息處理。總之，服務(wù)器330根據(jù)客戶端310上用戶的操作實(shí)時(shí)執(zhí)行處理，并且將根據(jù)用戶的操作所生成的諸如圖像、音頻等輸出數(shù)據(jù)連續(xù)地發(fā)送至客戶端310。
[0089]客戶端310和服務(wù)器330具有與在第一實(shí)施例中參照?qǐng)D1所描述的信息處理裝置10的電路配置相似的電路配置。圖11示出了客戶端310和服務(wù)器330的功能配置?？蛻舳?10包括:輸入部分312，用于接收用戶操作；輸入信息發(fā)送部分314，用于將所接收的操作的細(xì)節(jié)作為輸入信息發(fā)送至服務(wù)器330 ;數(shù)據(jù)接收部分316，用于接收從服務(wù)器330發(fā)送的圖像數(shù)據(jù)；解碼部分318，用于解碼圖像數(shù)據(jù)；以及顯示部分320，用于顯示圖像。
[0090]服務(wù)器330包括:輸入信息接收部分332，用于接收來自客戶端310的由用戶輸入的輸入信息；信息處理部分336，用于執(zhí)行從客戶端310請(qǐng)求的信息處理；圖像生成部分344，用于生成將作為信息處理的結(jié)果顯示的圖像；編碼部分338，用于對(duì)所生成的顯示圖像的數(shù)據(jù)進(jìn)行壓縮編碼；以及數(shù)據(jù)發(fā)送部分340，用于將經(jīng)壓縮編碼的圖像數(shù)據(jù)發(fā)送至客戶端310。
[0091]服務(wù)器330還包括存儲(chǔ)部分334，該存儲(chǔ)部分334存儲(chǔ)作為顯示對(duì)象圖像的經(jīng)壓縮編碼的數(shù)據(jù)的圖像數(shù)據(jù)356以及作為掩模圖像的經(jīng)壓縮編碼的數(shù)據(jù)的掩模數(shù)據(jù)358。存儲(chǔ)部分334與圖1和圖5中的存儲(chǔ)部分24相對(duì)應(yīng)。可適當(dāng)?shù)貙⒂糜诓僮鞣?wù)器330的各種程序和必要的數(shù)據(jù)存儲(chǔ)在存儲(chǔ)部分334中并加載到主存儲(chǔ)器等中。然而，圖11中未示出各種程序和必要的數(shù)據(jù)。
[0092]客戶端310中的輸入部分312是輸入單元，該輸入單元用于用戶指定顯示對(duì)象圖像和所要執(zhí)行的信息處理的細(xì)節(jié)并輸入包括顯示圖像縮放操作的各種命令。輸入部分312可由諸如游戲板、按鈕、觸摸板、鍵盤、鼠標(biāo)、控制桿等的普通輸入裝置中的至少一個(gè)來實(shí)現(xiàn)。輸入信息發(fā)送部分314通過普通方法與服務(wù)器330建立通信，生成指示輸入部分312上的用戶操作的細(xì)節(jié)的輸入信息的信號(hào)，并且將該信號(hào)發(fā)送至服務(wù)器330。
[0093]服務(wù)器330中的輸入信息接收部分332接收從客戶端310發(fā)送的輸入信息。信息處理部分336根據(jù)由輸入信息接收部分332所接收的輸入信息來執(zhí)行信息處理。如上述所述，輸入信息從客戶端310連續(xù)地發(fā)送，并且信息處理部分336根據(jù)輸入信息使信息處理實(shí)時(shí)進(jìn)行。將來自客戶端310中的輸入信息發(fā)送部分314的輸入信息瞬時(shí)發(fā)送至服務(wù)器330中的輸入信息接收部分332和信息處理部分336使信息處理能夠被執(zhí)行為好像在客戶端310內(nèi)執(zhí)行信息處理一樣。
[0094]可將普通的仿真技術(shù)應(yīng)用于具體的協(xié)議、輸入信號(hào)的格式、為此的解釋方法等，因此這里將省略說明。圖像生成部分344根據(jù)來自信息處理部分336的請(qǐng)求來生成將作為處理結(jié)果顯示的圖像。當(dāng)由客戶端310所請(qǐng)求的信息處理是用于根據(jù)用戶的操作來顯示特定圖像并改變?cè)搱D像的顯示區(qū)域的處理時(shí)，信息處理部分336執(zhí)行與第一實(shí)施例中的信息處理裝置10中的幀坐標(biāo)確定部分104的處理相對(duì)應(yīng)的處理，并且圖像生成部分344執(zhí)行與加載部分108、解碼部分106以及顯示圖像處理部分114的處理相對(duì)應(yīng)的處理。
[0095]具體地，圖像生成部分344基于從信息處理部分336所通報(bào)的幀坐標(biāo)，將所要加載的經(jīng)壓縮的圖像數(shù)據(jù)從存儲(chǔ)部分334加載到內(nèi)部存儲(chǔ)器中，此后，對(duì)經(jīng)壓縮的圖像數(shù)據(jù)進(jìn)行解碼和解壓縮，并且將圖像數(shù)據(jù)存儲(chǔ)在內(nèi)部緩沖存儲(chǔ)器中。然后，圖像生成部分344使用該數(shù)據(jù)生成將要最終顯示的區(qū)域的圖像，并且將該圖像提供給編碼部分338。另一方面，當(dāng)由信息處理部分336所執(zhí)行的信息處理是用于游戲等時(shí)，圖像生成部分344例如可在信息處理部分336的控制下使用存儲(chǔ)在存儲(chǔ)部分334中的模型數(shù)據(jù)、紋理數(shù)據(jù)等由計(jì)算機(jī)制圖技術(shù)來渲染圖像。
[0096]圖像生成部分344內(nèi)部包括區(qū)域調(diào)整部346和掩?？刂撇?48。區(qū)域調(diào)整部346和掩?？刂撇?48的功能與根據(jù)第一實(shí)施例的信息處理裝置10中的區(qū)域調(diào)整部120和掩?？刂撇?22的功能基本相似。具體地，當(dāng)從輸入信息接收部分332通報(bào)了用戶在客戶端310上已經(jīng)執(zhí)行了縮放操作時(shí)，區(qū)域調(diào)整部346在顯示區(qū)域中標(biāo)識(shí)更新區(qū)域。掩?？刂撇?48將掩模圖像與其中更新區(qū)域根據(jù)縮放操作而被更新的顯示圖像相合成。為了這個(gè)目的，圖像生成部分344在縮放操作之前的定時(shí)對(duì)從存儲(chǔ)部分334讀取的掩模數(shù)據(jù)358適當(dāng)?shù)剡M(jìn)行解碼和解壓縮，并且在內(nèi)部保留掩模數(shù)據(jù)358。
[0097]然而，與第一實(shí)施例相比，本實(shí)施例涉及如下處理:在圖像顯示在客戶端310之前對(duì)由圖像生成部分344所生成的顯示圖像進(jìn)行壓縮編碼，然后將顯示圖像傳輸至客戶端310。因此，可以預(yù)期這樣的新效果:通過更新圖像以使將圖像的更新限制在更新區(qū)域來減小將被傳輸?shù)臄?shù)據(jù)的大小。當(dāng)然，當(dāng)通過普通的幀間預(yù)測(cè)來壓縮運(yùn)動(dòng)圖像時(shí)，幀之間的差別越小，壓縮之后的數(shù)據(jù)大小可減小地越多。因此，通過將根據(jù)縮放操作的變化限制在更新區(qū)域并且使用其它區(qū)域中的靜止圖像，可顯著地減小數(shù)據(jù)大小。
[0098]在其中僅在圖像平面中轉(zhuǎn)變顯示區(qū)域的卷動(dòng)操作的情形中，通過在壓縮時(shí)所生成的運(yùn)動(dòng)向量可高精度地預(yù)測(cè)顯示區(qū)域的移動(dòng)。另一方面，在圖像中根據(jù)縮放操作的變化難以由運(yùn)動(dòng)向量表達(dá)，因此自然地導(dǎo)致攜帶大量信息的差異圖像。結(jié)果，壓縮效率退化，并且使用經(jīng)壓縮的數(shù)據(jù)的顯示圖像的圖像質(zhì)量也降低。因此，通過將區(qū)域限制為更新對(duì)象可使關(guān)于經(jīng)壓縮編碼的數(shù)據(jù)的縮放操作的特定效果最小化，并且通過部分地增大比特率可保持正在更新的區(qū)域的圖像質(zhì)量。
[0099]并且在該模式中，如參照第一實(shí)施例中的圖7所述，縮放速度越大，更新區(qū)域的尺寸越小，因此，即使當(dāng)縮放速度在一系列縮放操作時(shí)段中增大時(shí)，也可抑制經(jīng)壓縮編碼的數(shù)據(jù)大小的變化并且轉(zhuǎn)而抑制關(guān)于比特率的效果，以便可進(jìn)行穩(wěn)定的傳輸和顯示。
[0100]無論縮放操作執(zhí)行與否，編碼部分338均對(duì)來自圖像生成部分344的顯示圖像的數(shù)據(jù)進(jìn)行壓縮編碼，然后按順序?qū)⒔?jīng)壓縮編碼的數(shù)據(jù)提供給數(shù)據(jù)發(fā)送部分340。如上所述，當(dāng)根據(jù)縮放操作僅對(duì)更新區(qū)域進(jìn)行更新時(shí)，該區(qū)域的比特率被設(shè)定為高于其它區(qū)域的比特率。為了這個(gè)目的，編碼部分338從區(qū)域調(diào)整部346按順序獲取關(guān)于更新區(qū)域的信息，并且根據(jù)該信息改變將設(shè)定的比特率的分布。數(shù)據(jù)發(fā)送部分340按順序?qū)⒔?jīng)壓縮編碼的圖像數(shù)據(jù)傳輸至客戶端310?？蓪⑵胀夹g(shù)應(yīng)用于具體的傳輸處理。
[0101]客戶端310中的數(shù)據(jù)接收部分316接收從服務(wù)器330發(fā)送的圖像數(shù)據(jù)。解碼部分318對(duì)所接收的圖像數(shù)據(jù)進(jìn)行解碼和解壓縮，并且在內(nèi)部幀緩沖器中將圖像數(shù)據(jù)展開為圖像。此時(shí)，可能存在不同的比特率。因此，根據(jù)數(shù)據(jù)中所包括的解碼參數(shù)設(shè)定信息適當(dāng)?shù)馗淖兘獯a條件。
[0102]顯示部分320將幀緩沖器中所展開的圖像顯示在顯示器上。因此，顯示部分320包括用于顯示圖像的諸如液晶顯示器、有機(jī)EL(電致發(fā)光)顯示器、等離子體顯示器等的普通顯示器以及用于控制這些裝置的機(jī)制。顯示部分320還可以包括用于將音頻信號(hào)作為聲音輸出的音頻輸出裝置，例如揚(yáng)聲器、耳機(jī)、頭戴式耳機(jī)等。
[0103]接下來將對(duì)可由這種配置實(shí)現(xiàn)的系統(tǒng)的操作進(jìn)行說明。圖12是其中客戶端310和服務(wù)器330更新客戶端310中的顯示圖像的處理過程的流程圖。在圖12中，諸如數(shù)據(jù)生成、發(fā)送、輸出等的每個(gè)處理均被示出為一個(gè)步驟，但是可具有根據(jù)處理的細(xì)節(jié)的時(shí)間寬度。假設(shè)在該情形中，在適當(dāng)時(shí)彼此并行地進(jìn)行多個(gè)處理。
[0104]首先，當(dāng)用戶通過例如指定信息處理的細(xì)節(jié)或者將要顯示的圖像數(shù)據(jù)來操作客戶端310的輸入部分312以請(qǐng)求開始處理時(shí)(S30)，輸入信息發(fā)送部分314生成用于請(qǐng)求開始處理的信號(hào)，并且將該信號(hào)發(fā)送至服務(wù)器330。在服務(wù)器330中的輸入信息接收部分332接收到處理開始請(qǐng)求信號(hào)之后，通過數(shù)據(jù)發(fā)送部分340將由信息處理部分336、圖像生成部分344和編碼部分338之間的合作所生成并壓縮編碼的初始圖像的數(shù)據(jù)發(fā)送至客戶端310(S32)。
[0105]在客戶端310中的數(shù)據(jù)接收部分316接收到初始圖像的數(shù)據(jù)之后，解碼部分318對(duì)該數(shù)據(jù)進(jìn)行解碼并解壓縮，然后顯示部分320輸出該數(shù)據(jù)，由此將初始圖像顯示在客戶端310上(S34)。附帶說明，當(dāng)初始圖像的數(shù)據(jù)是具有時(shí)間寬度的運(yùn)動(dòng)圖像等的數(shù)據(jù)時(shí)，S32中的發(fā)送處理是流傳輸就足夠了，并且客戶端310按順序?qū)λ邮盏臄?shù)據(jù)進(jìn)行解碼和顯不O
[0106]每次在用戶觀看如此顯示的初始圖像的同時(shí)操作輸入部分312用于顯示區(qū)域移動(dòng)等，輸入信息發(fā)送部分314將相應(yīng)的輸入信息發(fā)送至服務(wù)器330 (S36)。當(dāng)用戶的操作不是縮放操作時(shí)(S38中的N)，信息處理部分336根據(jù)該操作的細(xì)節(jié)來執(zhí)行處理，并且圖像生成部分344相應(yīng)地生成顯示圖像(S40)。這種處理是普通的顯示圖像更新處理，例如根據(jù)卷動(dòng)操作來移動(dòng)顯示區(qū)域、使游戲屏幕進(jìn)展等。
[0107]另一方面，當(dāng)用戶的操作是縮放操作時(shí)(S38中的Y)，圖像生成部分344根據(jù)縮放操作僅更新一個(gè)時(shí)間階段的顯示區(qū)域中的更新區(qū)域(S42)，然后合成掩模圖像(S44)。然后，無論是否正在執(zhí)行縮放操作，編碼部分338都對(duì)由圖像生成部分344所生成的顯示圖像進(jìn)行壓縮編碼(S46)。然而，如上所述，在縮放處理時(shí)，高比特率被分配給更新區(qū)域。
[0108]當(dāng)數(shù)據(jù)發(fā)送部分340在每個(gè)時(shí)間階段中發(fā)送經(jīng)壓縮編碼的數(shù)據(jù)時(shí)，客戶端310中的解碼部分318對(duì)數(shù)據(jù)進(jìn)行解碼和解壓縮(S48)。然后，顯示部分320將數(shù)據(jù)輸出至顯示器，由此在客戶端310上顯示根據(jù)用戶的操作改變的圖像(S50)。例如，在縮放操作時(shí)，生成其中僅更新區(qū)域被逐漸縮放的運(yùn)動(dòng)圖像的數(shù)據(jù)。因此，服務(wù)器330按順序執(zhí)行數(shù)據(jù)的流傳輸?？赏ㄟ^重復(fù)從S36至S50的處理來實(shí)現(xiàn)其中屏幕根據(jù)用戶的操作而被適當(dāng)?shù)馗碌哪Ｊ健?br> [0109]在上述實(shí)施例中，服務(wù)器330完成最終的顯示圖像，對(duì)該顯示圖像進(jìn)行壓縮編碼，并且將經(jīng)壓縮編碼的顯示圖像傳輸至客戶端310?？蛻舳?10可僅通過解碼和解壓縮處理來實(shí)現(xiàn)顯示。因此，即使當(dāng)客戶端310具有簡(jiǎn)單配置時(shí)，也可進(jìn)行高級(jí)圖像顯示。即使當(dāng)縮放操作的焦點(diǎn)不在屏幕的中心并且掩模圖像遍布屏幕地改變時(shí)，也可充分地獲得根據(jù)這種形式改善壓縮效率的效果。
[0110]具體地，如參照第一實(shí)施例中的圖8所述，當(dāng)縮放操作的焦點(diǎn)在屏幕內(nèi)移動(dòng)時(shí)，所要合成的掩模圖像的切下的區(qū)域被移動(dòng)。這種處理實(shí)質(zhì)上恰是掩模圖像的卷動(dòng)。可通過運(yùn)動(dòng)向量來預(yù)測(cè)在多個(gè)幀之間的在該處理中涉及的變化。結(jié)果，與通過縮放整個(gè)屏幕所獲得的圖像相比，可預(yù)期高壓縮效率。
[0111]另一方面，可在客戶端310—側(cè)上執(zhí)行掩模圖像合成處理。圖13示出了在該情形中客戶端310和服務(wù)器330的功能配置。圖13的配置與圖11的配置不同在于:客戶端310包括用于存儲(chǔ)掩模數(shù)據(jù)358的存儲(chǔ)部分334a，并且在顯示部分320中包括掩?？刂撇?48a。當(dāng)然，服務(wù)器330不需要具有掩模數(shù)據(jù)和掩?？刂撇?。其它配置與圖11中的相同，因此將省略對(duì)其的詳細(xì)說明。
[0112]在該情形中，響應(yīng)于縮放操作，服務(wù)器330省略圖12中的S44中的掩模圖像合成處理，但是對(duì)其中更新區(qū)域根據(jù)縮放操作而被更新的圖像的數(shù)據(jù)進(jìn)行壓縮編碼并且將該數(shù)據(jù)傳輸至客戶端310。在客戶端310中，掩?？刂撇?48a使用掩模數(shù)據(jù)358，以便合成掩模圖像與由解碼部分318所解碼和解壓縮的圖像。為了這個(gè)目的，客戶端310中的輸入部分312將用于合成掩模圖像所必要的、根據(jù)縮放操作的細(xì)節(jié)而確定的信息，例如縮放操作量、縮放的焦點(diǎn)等連續(xù)地通報(bào)至掩?？刂撇?48a。
[0113]通過這種配置，服務(wù)器330足以僅對(duì)掩模圖像合成之前的圖像，S卩，其中僅更新區(qū)域包括與前一幀的差異的圖像進(jìn)行壓縮編碼，以便進(jìn)一步提高壓縮效率。此外，在這樣的模式中，即在其中以執(zhí)行縮放操作的定時(shí)在客戶端310 —側(cè)上將掩模圖像與顯示圖像相合成而無需等待來自服務(wù)器330的數(shù)據(jù)的模式中，可像前述第一實(shí)施例一樣產(chǎn)生對(duì)縮放操作的良好響應(yīng)性。
[0114]作為這種劃分的延伸，客戶端310可由第一實(shí)施例中所述的信息處理裝置10代替。也就是說，客戶端310自身可提供有顯示圖像渲染功能。在該情形中，可以實(shí)現(xiàn)一模式，在該模式中，僅當(dāng)客戶端310不保留圖像數(shù)據(jù)時(shí)，客戶端310接收并顯示來自服務(wù)器330的顯示圖像的數(shù)據(jù)。在該情形中，無論顯示圖像是在自有裝置內(nèi)生成的圖像還是從服務(wù)器330傳輸?shù)膱D像，在縮放操作時(shí)，客戶端310中所提供的掩?？刂撇?48a(或第一實(shí)施例中的掩?？刂撇?22)均將掩模圖像與顯示圖像相合成并且顯示結(jié)果。當(dāng)顯示圖像從服務(wù)器330傳輸時(shí)，如參照?qǐng)D13所述，在掩模圖像合成之前足以對(duì)顯示圖像的數(shù)據(jù)進(jìn)行壓縮編碼和發(fā)送。當(dāng)顯示圖像在客戶端310內(nèi)生成時(shí)，執(zhí)行與第一實(shí)施例的操作相似的操作。
[0115]考慮對(duì)圖像內(nèi)的預(yù)定區(qū)域設(shè)定鏈接的方法，作為其中根據(jù)客戶端310是否保留顯示對(duì)象圖像數(shù)據(jù)因而改變數(shù)據(jù)所讀取的源的形式的合適的實(shí)例。例如，當(dāng)在客戶端310正在顯示圖像的同時(shí)顯示區(qū)域進(jìn)入預(yù)先設(shè)定的區(qū)域時(shí)，用于顯示的圖像數(shù)據(jù)被改變。為了實(shí)現(xiàn)這種模式，制備其中作為用于改變圖像數(shù)據(jù)的觸發(fā)的區(qū)域以及該圖像數(shù)據(jù)所改變成的圖像數(shù)據(jù)與圖像的數(shù)據(jù)自身一起設(shè)定的數(shù)據(jù)。在下文中，多條圖像數(shù)據(jù)之間的這種關(guān)聯(lián)將被稱為“鏈接”，根據(jù)鏈接改變圖像數(shù)據(jù)將被稱為“鏈接的執(zhí)行”，并且在圖像中的用作用于鏈接的執(zhí)行的觸發(fā)的區(qū)域?qū)⒈环Q為“鏈接區(qū)域”。
[0116]圖14示意性示出對(duì)包括層次數(shù)據(jù)的多條圖像數(shù)據(jù)設(shè)定鏈接的狀態(tài)。在圖14的實(shí)例中，鏈接被設(shè)定給三條層次數(shù)據(jù)170、172和174以及一條運(yùn)動(dòng)圖像數(shù)據(jù)182，并且在鏈接區(qū)域之間的對(duì)應(yīng)性由虛線箭頭指示。例如，當(dāng)在使用層次數(shù)據(jù)170顯示圖像的同時(shí)顯示區(qū)域與被設(shè)定在層次數(shù)據(jù)170的第二層中的鏈接區(qū)域176交疊時(shí)，使用另一條層次數(shù)據(jù)172的第零層(鏈接a)來對(duì)顯示進(jìn)行改變。在該情形中，作為鏈接目標(biāo)的鏈接區(qū)域是層次數(shù)據(jù)172的第零層中的整個(gè)圖像。
[0117]通過這種設(shè)定，在使用層次數(shù)據(jù)170的圖像顯示中鏈接區(qū)域176及其附近的放大首先從層次數(shù)據(jù)170中的第零層至第一層然后至第二層改變用于渲染圖像的數(shù)據(jù)，并且還將該層次數(shù)據(jù)本身改變?yōu)閷哟螖?shù)據(jù)172。結(jié)果，可進(jìn)一步放大鏈接區(qū)域176內(nèi)的對(duì)象。
[0118]相反地，在通過使用層次數(shù)據(jù)172顯示圖像的同時(shí)對(duì)層次數(shù)據(jù)172的第零層的分辨率進(jìn)行縮小使圖像返回至前一層次數(shù)據(jù)170的鏈接區(qū)域176。相似地，當(dāng)在通過使用層次數(shù)據(jù)172顯示圖像的同時(shí)顯示區(qū)域與設(shè)定在層次數(shù)據(jù)172的第二層中的鏈接區(qū)域178交疊時(shí)，使用層次數(shù)據(jù)174的第零層(鏈接b)來對(duì)顯示進(jìn)行改變。然后，對(duì)層次數(shù)據(jù)174的第零層的分辨率進(jìn)行縮小使圖像返回至前一層次數(shù)據(jù)172的鏈接區(qū)域178。
[0119]由被設(shè)定有多個(gè)鏈接的多條層次數(shù)據(jù)所表示的多個(gè)對(duì)象可以是同一對(duì)象，或者可以是完全不同的多個(gè)對(duì)象。在后一情形中，可實(shí)現(xiàn)其中另一圖像將以圖像數(shù)據(jù)的變化發(fā)展的呈現(xiàn)。同時(shí)，對(duì)層次數(shù)據(jù)170設(shè)定另一鏈接區(qū)域180。鏈接區(qū)域180的鏈接目標(biāo)是運(yùn)動(dòng)圖像數(shù)據(jù)182(鏈接C)。例如，相應(yīng)的運(yùn)動(dòng)圖像的標(biāo)題圖像被嵌入在鏈接區(qū)域180中作為鏈接源，并且對(duì)區(qū)域進(jìn)行放大可執(zhí)行鏈接并且開始運(yùn)動(dòng)圖像的再現(xiàn)。
[0120]鏈接目標(biāo)并不限于層次數(shù)據(jù)和運(yùn)動(dòng)圖像數(shù)據(jù)，而是可以是不具有層次結(jié)構(gòu)的靜止圖像數(shù)據(jù)、由幻燈片放映順序顯示的多條靜止圖像數(shù)據(jù)、音頻數(shù)據(jù)等。在鏈接目標(biāo)是運(yùn)動(dòng)圖像數(shù)據(jù)或音頻數(shù)據(jù)的情形中，當(dāng)用戶停止再現(xiàn)運(yùn)動(dòng)圖像數(shù)據(jù)或音頻數(shù)據(jù)時(shí)或者運(yùn)動(dòng)圖像數(shù)據(jù)或音頻數(shù)據(jù)的再現(xiàn)完成時(shí)，可進(jìn)行返回至作為鏈接源的圖像。在鏈接目標(biāo)為另一類型的數(shù)據(jù)而不是諸如運(yùn)動(dòng)圖像數(shù)據(jù)、音頻數(shù)據(jù)等這樣的目前已經(jīng)處理的圖像數(shù)據(jù)的情形中，不僅作為處理對(duì)象的數(shù)據(jù)改變，而且還適當(dāng)?shù)貑?dòng)用于再現(xiàn)和處理數(shù)據(jù)的功能。
[0121]這種技術(shù)的使用可實(shí)現(xiàn)這樣的模式:在該模式中，隨著顯示區(qū)域在客戶端310上移動(dòng)，客戶端310根據(jù)需要保留被設(shè)定有多個(gè)鏈接的多條圖像數(shù)據(jù)的一部分并且服務(wù)器330傳輸顯示圖像的數(shù)據(jù)。這根據(jù)數(shù)據(jù)是否由客戶端310所保留來澄清數(shù)據(jù)的區(qū)別，同時(shí)在統(tǒng)一的可操作性下擴(kuò)展數(shù)據(jù)網(wǎng)絡(luò)上的可訪問范圍。因此，還便于進(jìn)行質(zhì)量控制和計(jì)費(fèi)控制。
[0122]例如，圖14中所示的數(shù)據(jù)網(wǎng)絡(luò)上的層次數(shù)據(jù)170和172被存儲(chǔ)在客戶端310的存儲(chǔ)部分中。然后，當(dāng)鏈接b和鏈接c (其鏈接目標(biāo)是未由客戶端310所保留的圖像數(shù)據(jù))被執(zhí)行時(shí)，數(shù)據(jù)所被讀取的源從客戶端310的存儲(chǔ)部分變?yōu)榉?wù)器330。圖14中的長(zhǎng)短交替的虛線184指示變化的邊界。如上所述，對(duì)于變化邊界之外的圖像數(shù)據(jù)，客戶端310中的輸入信息被發(fā)送至服務(wù)器330，并且顯示圖像的數(shù)據(jù)被發(fā)送至客戶端310作為根據(jù)輸入信息在服務(wù)器330 —側(cè)上執(zhí)行的處理的結(jié)果。
[0123]上述技術(shù)具有如下主要特征:根據(jù)顯示區(qū)域的運(yùn)動(dòng)而無縫地改變圖像數(shù)據(jù)所被讀取的源。因此，從對(duì)于這種數(shù)據(jù)讀出源改變技術(shù)的近似性的觀點(diǎn)來看，在本實(shí)施例中無論數(shù)據(jù)讀出源如何，使得能夠通過在客戶端310 —側(cè)上合成掩模圖像總是以相同的響應(yīng)速度來響應(yīng)縮放操作。
[0124]根據(jù)上述本實(shí)施例，在其中服務(wù)器根據(jù)客戶端上的用戶操作來生成顯示圖像并且該顯示圖像顯示在客戶端一側(cè)上的系統(tǒng)中，當(dāng)執(zhí)行顯示圖像縮放操作時(shí)，服務(wù)器更新圖像，以使得圖像的更新僅限于顯示圖像的一部分區(qū)域。緊鄰縮放操作之前的圖像按照原樣地留在其它區(qū)域中，或者其它區(qū)域是填充區(qū)域等。這對(duì)包括多個(gè)幀之間的差異的區(qū)域進(jìn)行限制直到作為縮放操作的終點(diǎn)的圖像被顯示為止，因此增大了壓縮效率。當(dāng)由普通的縮放處理改變整個(gè)屏幕時(shí)，與屏幕的卷動(dòng)中一樣，存在少量可由運(yùn)動(dòng)向量所表示的分量，以使得壓縮效率很差并且還降低了圖像質(zhì)量。如上所述通過限制更新區(qū)域，可使縮放操作所特有的缺陷最小化。
[0125]此外，服務(wù)器或客戶端將會(huì)聚線等的掩模圖像與以受限制的方式如此更新的顯示圖像相合成。由此，如第一實(shí)施例中所述，可隱藏不被更新的區(qū)域，并且可呈現(xiàn)用戶所需的信息，例如諸如以良好的響應(yīng)性指示正在執(zhí)行縮放處理以及指示縮放的焦點(diǎn)的信息。轉(zhuǎn)而，通過減少用戶并不關(guān)注的部分中的信息的量，可實(shí)現(xiàn)易于觀看且簡(jiǎn)單的圖像顯示。
[0126]以上已經(jīng)基于本技術(shù)的實(shí)施例對(duì)其進(jìn)行了說明。前述實(shí)施例是解釋性的，并且本領(lǐng)域技術(shù)人員應(yīng)該理解的是，本實(shí)施例的組成要素和處理過程的組合易于進(jìn)行各種修改，且這些修改也落在本技術(shù)的范圍內(nèi)。
[0127]本公開包含的主題內(nèi)容涉及2013年6月21日在日本專利局提交的日本優(yōu)先權(quán)專利申請(qǐng)JP2013-131130中所公開的主題內(nèi)容，通過援引的方式將該專利申請(qǐng)的全部?jī)?nèi)容并入本文。
【權(quán)利要求】
1.一種圖像處理裝置，包括: 輸入信息獲取部分，被配置用以獲取輸入信息，所述輸入信息用于改變作為顯示對(duì)象的圖像中的顯示區(qū)域； 顯示圖像處理部分，被配置用以作為顯示圖像生成基于所述輸入信息所確定的顯示區(qū)域內(nèi)部的圖像；以及 顯示部分，被配置用以在顯示器上顯示所生成的顯示圖像， 其中，當(dāng)所述輸入信息獲取部分獲取用于縮放顯示圖像的輸入信息時(shí)，所述顯示圖像處理部分根據(jù)所述輸入信息縮放顯示圖像，并且執(zhí)行圖像操縱，使在包括作為圖像平面中縮放的中心的焦點(diǎn)的預(yù)定范圍內(nèi)的區(qū)域的可見性不同于別的區(qū)域的可見性。
2.根據(jù)權(quán)利要求1所述的圖像處理裝置， 其中，當(dāng)縮放顯示圖像時(shí)，所述顯示圖像處理部分在每個(gè)時(shí)間階段中更新顯示圖像，以使得執(zhí)行圖像的縮放，從而所述圖像的縮放限制在所述預(yù)定范圍內(nèi)的區(qū)域中。
3.根據(jù)權(quán)利要求1或2所述的圖像處理裝置， 其中，所述顯示圖像處理部分在基于所述輸入信息所確定的縮放速度增大時(shí)減小在所述預(yù)定范圍內(nèi)的區(qū)域的尺寸。
4.根據(jù)權(quán)利要求1至3中任一項(xiàng)所述的圖像處理裝置， 其中，所述顯示圖像處理部分通過將包括會(huì)聚到所述預(yù)定范圍內(nèi)的區(qū)域上的多條放射線的會(huì)聚線的圖像與正被縮放的顯示圖像進(jìn)行合成來使所述可見性不同。
5.根據(jù)權(quán)利要求4所述的圖像處理裝置，還包括 存儲(chǔ)部分，被配置用以存儲(chǔ)所述會(huì)聚線的模板圖像的數(shù)據(jù)，所述模板圖像具有比所述顯示器的屏幕尺寸更大的尺寸， 其中，所述顯示圖像處理部分確定要從所述模板圖像切下的區(qū)域，以使得所述會(huì)聚線會(huì)聚到與所述顯示圖像中的焦點(diǎn)相對(duì)應(yīng)的位置，并且合成切下的會(huì)聚線圖像。
6.—種圖像處理系統(tǒng),包括: 客戶端，由用戶操作；以及 服務(wù)器，被配置用以從所述客戶端獲取關(guān)于用戶操作的信息，根據(jù)所述信息生成要在所述客戶端上顯示的顯示圖像的數(shù)據(jù)，并且將所述數(shù)據(jù)發(fā)送至所述客戶端， 其中所述服務(wù)器包括 輸入信息獲取部分，被配置用以從所述客戶端獲取輸入信息，所述輸入信息用于改變?cè)谧鳛轱@示對(duì)象的圖像中的顯示區(qū)域， 顯示圖像處理部分，被配置用以作為顯示圖像生成基于所述輸入信息所確定的顯示區(qū)域內(nèi)部的圖像， 編碼部分，被配置用以對(duì)所生成的顯示圖像的數(shù)據(jù)進(jìn)行壓縮編碼，以及 發(fā)送部分，被配置用以將經(jīng)壓縮編碼的數(shù)據(jù)發(fā)送至所述客戶端；所述客戶端包括 解碼部分，被配置用以對(duì)從所述服務(wù)器發(fā)送的經(jīng)壓縮編碼的數(shù)據(jù)進(jìn)行解碼和解壓縮，以及 顯示部分，被配置用以將經(jīng)解碼和解壓縮的圖像顯示在顯示器上；以及在所述服務(wù)器中，當(dāng)所述輸入信息獲取部分獲取用于縮放顯示圖像的輸入信息時(shí)，所述顯示圖像處理部分改變顯示圖像，以使得執(zhí)行圖像的縮放，從而所述圖像的縮放限制在包括作為圖像平面中縮放的中心的焦點(diǎn)的預(yù)定范圍內(nèi)的區(qū)域中。
7.根據(jù)權(quán)利要求6所述的圖像處理系統(tǒng)， 其中，所述服務(wù)器的顯示圖像處理部分使正被縮放的顯示圖像經(jīng)歷圖像操縱，使在所述預(yù)定范圍內(nèi)的區(qū)域的可見性不同于別的區(qū)域的可見性。
8.根據(jù)權(quán)利要求6所述的圖像處理系統(tǒng)， 其中，在所述顯示圖像經(jīng)歷圖像操縱以使在所述預(yù)定范圍內(nèi)的區(qū)域的可見性不同于別的區(qū)域的可見性之后，所述客戶端的所述顯示部分在所述顯示器上顯示正被縮放的顯示圖像，所述顯示圖像從所述服務(wù)器發(fā)送并且由所述解碼部分進(jìn)行解碼和解壓縮。
9.一種用于由圖像處理裝置控制在顯示器上顯示的圖像的圖像處理方法，所述圖像處理方法包括: 從輸入裝置獲取用于改變?cè)谧鳛轱@示對(duì)象的圖像中的顯示區(qū)域的輸入信息； 作為顯示圖像生成基于所述輸入信息所確定的顯示區(qū)域內(nèi)部的圖像，并且將所述顯示圖像存儲(chǔ)在存儲(chǔ)器中；以及 讀取存儲(chǔ)在所述存儲(chǔ)器中的顯示圖像，并且將所述顯示圖像顯示在顯示器上， 其中，當(dāng)在從所述輸入裝置獲取輸入信息時(shí)獲取用于縮放顯示圖像的輸入信息時(shí)，根據(jù)輸入信息對(duì)所述顯示圖像進(jìn)行縮放，并且執(zhí)行圖像操縱，以使在包括作為圖像平面中的縮放的中心的焦點(diǎn)的預(yù)定范圍內(nèi)的區(qū)域的可見性不同于別的區(qū)域的可見性。
10.一種由客戶端和服務(wù)器執(zhí)行的圖像處理方法，所述客戶端由用戶操作，且所述服務(wù)器用于從所述客戶端獲取關(guān)于用戶操作的信息、根據(jù)所述信息生成要在所述客戶端上顯示的顯示圖像的數(shù)據(jù)、并且將所述數(shù)據(jù)發(fā)送至所述客戶端，所述圖像處理方法包括: 在所述服務(wù)器中， 從所述客戶端獲取用于改變?cè)谧鳛轱@示對(duì)象的圖像中的顯示區(qū)域的輸入信息； 作為顯示圖像生成基于所述輸入信息所確定的顯示區(qū)域內(nèi)部的圖像，并且將所述顯示圖像存儲(chǔ)在存儲(chǔ)器中； 從所述存儲(chǔ)器讀取所生成的顯示圖像的數(shù)據(jù)，并且對(duì)所生成的顯示圖像的數(shù)據(jù)進(jìn)行壓縮編碼；以及 將經(jīng)壓縮編碼的數(shù)據(jù)發(fā)送至所述客戶端；以及 在所述客戶端中， 對(duì)從所述服務(wù)器發(fā)送的經(jīng)壓縮編碼的數(shù)據(jù)進(jìn)行解碼和解壓縮，并且將所述數(shù)據(jù)存儲(chǔ)在存儲(chǔ)器中；以及 從所述存儲(chǔ)器讀取經(jīng)解碼和解壓縮的圖像，并且將所述圖像顯示在顯示器上， 其中，當(dāng)所述服務(wù)器在從所述客戶端獲取所述輸入信息時(shí)獲取用于縮放顯示圖像的輸入信息時(shí)，所述顯示圖像被改變以使得執(zhí)行圖像的縮放，從而所述圖像的縮放限制在包括作為圖像平面中縮放的中心的焦點(diǎn)的預(yù)定范圍內(nèi)的區(qū)域。
【文檔編號(hào)】H04N21/4402GK104243995SQ201410264180
【公開日】2014年12月24日 申請(qǐng)日期:2014年6月13日 優(yōu)先權(quán)日:2013年6月21日
【發(fā)明者】大場(chǎng)章男, 勢(shì)川博之, 稻田徹悟 申請(qǐng)人:索尼電腦娛樂公司