專利名稱：終端裝置、顯示控制方法和顯示控制程序的制作方法
技術領域：
本發(fā)明涉及在二維顯示屏上顯示三維物體的投影圖像(projectionimage)的終 端裝置、顯示控制方法和顯示控制程序。
背景技術：
現(xiàn)有技術終端裝置在顯示裝置上顯示三維物體的投影圖像。三維物體被顯示以使 得操作者能夠操縱此三維物體，從而提高便利性和一 目了然的能力。 已經(jīng)提出了一種使得能夠進行諸如通過對控制器的操作來改變顯示屏上的三維 物體的投影圖像的視點(viewpoint)之類的顯示控制的技術(參見日本未實審專利申請公 開No. 2007-260232)。這種對控制器的操作不只局限于按鈕的操作，而是還可以測量和使用 控制器的位置或姿態(tài)的改變。 已經(jīng)提出了一種如下的技術，其中，為了進行傳輸人物映像的視頻電話，通過將 CG人物的映像而不是人的臉部發(fā)送給聯(lián)系者，測量出關于操作者的頭部姿態(tài)和臉部表 情的信息，并且基于此測量結果來控制CG人物的運動(參見日本未實審專利申請公開 No.2003-108980)。 還已經(jīng)提出了一種以少量計算從所拍攝的圖像快速確定臉部圖像的技術(參見 日本未實審專利申請公開No. 2005-284487)。

發(fā)明內(nèi)容
利用上面描述的對三維物體的顯示和操縱，可以期望增加顯示的真實感。 在具有比較小的顯示屏和有限輸入手段的諸如移動電話之類的移動體終端中，使
用了如下一種方法，其中，當從相對大量的備選物中選擇所希望的備選物時，備選物被以列
表或圖標的形式顯示出來，并且操作者操作十字鍵等來相對于列表或圖標移動光標或焦點
以選擇一個備選物。 然而，為了從多個備選物中選出所希望的備選物，有必要手動執(zhí)行操作來在顯示
屏上滾動備選物或者切換頁面。在所希望的備選物可見之前在觀看屏幕的同時對操作部件
進行手動操作變得很煩雜并使得不習慣于此操作的初學者很難使用該操作部件。 希望在無需操作者的手動操作的情況下容易地執(zhí)行對多個備選物的選擇。 還希望提供一種新穎的顯示方法，其使得能夠一目了解地很容易地理解有限大小
的顯示屏上的多個備選物并能夠對它們進行選擇。(本發(fā)明實現(xiàn)這些任務之一應該就足夠了)。 根據(jù)本發(fā)明的一個實施例的終端裝置，包括顯示裝置，用于在顯示屏上顯示多個 代表選項的顯示要素；圖像拍攝裝置，用于拍攝正在觀看顯示屏的操作者的圖像；臉部位 置檢測裝置，用于檢測拍攝圖像(c即turedimage)中操作者的臉部圖像的位置；以及控制 裝置，用于對顯示裝置進行控制，以當檢測到拍攝圖像中操作者的臉部圖像在預定范圍之 外時，在顯示屏上在預定方向上移動所述多個顯示要素并且順序更新并顯示所述顯示要素，并且在檢測到臉部圖像落在預定范圍之內(nèi)時停止對所述多個顯示要素的移動。 利用此實施例，通過用于拍攝正在觀看顯示屏的操作者的圖像的圖像拍攝裝置以
及臉部位置檢測裝置可以檢測出操作者的臉部圖像相對于圖像拍攝裝置的位置，并從而檢
測出相對于顯示屏的位置，并且根據(jù)檢測出的位置執(zhí)行對多個顯示要素進行移動或者停止
移動的操作。結果，實現(xiàn)了所謂的免手動操作。 控制裝置可以根據(jù)臉部圖像的大小來改變視點和卡群組(card group)之間的距 離。利用此配置，當顯示要素被三維顯示時，顯示被實現(xiàn)為就好像操作者實際接近顯示要素 或者遠離顯示要素。 本發(fā)明的另一實施例提供用于終端裝置的顯示控制方法和顯示控制程序，所述終 端裝置包括在顯示屏上顯示多個代表選項的顯示要素的顯示部件和拍攝正在觀看顯示屏 的操作者的圖像的圖像拍攝部件。所述方法包括并且所述程序使得計算機執(zhí)行如下步驟 檢測由圖像拍攝部件所拍攝的圖像中操作者的臉部圖像的位置；確定拍攝圖像中操作者的 臉部圖像是否在預定范圍之外；當檢測到臉部圖像在預定范圍之外時，在顯示屏上在預定 方向上移動所述多個顯示要素并且順序地更新并顯示所述顯示要素；并且當檢測到臉部圖 像落在預定范圍之內(nèi)時，控制顯示部件停止對所述多個顯示要素的移動并且強調顯示當時 處于特定位置的顯示要素。 根據(jù)本發(fā)明的此實施例，操作者可以通過簡單并且直觀的手段(例如通過改變臉 部位置)來免手動地執(zhí)行對終端裝置的輸入。此外，仿佛從操作者的位置可見的三維圖像 被投影并顯示在終端裝置的顯示屏上，因此可以增加通過終端裝置選擇選項時用戶界面的 操作能力并且可以提高真實感。


圖1是示出根據(jù)本發(fā)明的終端的一個實施例的移動體終端的示意性配置的示圖；
圖2是示出圖1中所示的移動體終端的示意性硬件配置的示圖；
圖3是示出根據(jù)本發(fā)明一個實施例的移動體終端的主要功能的功能性框圖。
圖4A和圖4B是示出根據(jù)本發(fā)明一個實施例的拍攝圖像和拍攝圖像中的操作者的 臉部圖像之間的關系的一個示例的示圖； 圖5A和圖5B是示出根據(jù)本發(fā)明一個實施例的拍攝圖像和拍攝圖像中的操作者的 臉部圖像之間的關系的另一個示例的示圖； 圖6A和圖6B是示出根據(jù)本發(fā)明一個實施例的拍攝圖像和拍攝圖像中的操作者的 臉部圖像之間的關系的又一個示例的示圖； 圖7A和圖7B是根據(jù)本發(fā)明一個實施例的卡群組的立體圖，以及示出了在顯示屏 上強調顯示一備選物的狀態(tài)的示圖； 圖8A和圖8B是示出根據(jù)本發(fā)明一個實施例的操作者相對于圖像拍攝部件(或者 顯示屏)的位置以及當時在顯示屏上的顯示示例的示圖； 圖9A和圖9B是示出根據(jù)本發(fā)明一個實施例的操作者相對于圖像拍攝部件(或者 顯示屏)的位置以及當時在顯示屏上的顯示示例的示圖； 圖IOA和圖IOB是示出根據(jù)本發(fā)明一個實施例的操作者相對于圖像拍攝部件(或 者顯示屏)的位置以及當時在顯示屏上的顯示示例的示 圖IIA和圖IIB是示出根據(jù)本發(fā)明一個實施例的操作者相對于圖像拍攝部件(或 者顯示屏)的位置以及當時在顯示屏上的顯示示例的示圖； 圖12A和圖12B是示出根據(jù)本發(fā)明一個實施例的操作者相對于圖像拍攝部件(或 者顯示屏)的位置以及當時在顯示屏上的顯示示例的示圖； 圖13A和圖13B是示出根據(jù)本發(fā)明一個實施例的操作者相對于圖像拍攝部件(或 者顯示屏)的位置以及當時在顯示屏上的顯示示例的示圖； 圖14A和圖14B是根據(jù)本發(fā)明一個實施例的臉部圖像的改變的一個示例的示圖；
圖15是示出用于實現(xiàn)根據(jù)本發(fā)明一個實施例的操作的主要處理的執(zhí)行過程的流 程圖； 圖16是圖示出本發(fā)明一個實施例的修改的示圖； 圖17A和圖17B是示出與圖16對應的多個卡列的三維顯示的一個示例的示圖；
圖18A和圖18B是示出與圖17A和圖17B的示例對應的強調顯示的一個示例的示 圖； 圖19是根據(jù)本發(fā)明一個實施例的通過投影圖像實現(xiàn)具有立體感的三維顯示的方 法的說明性示圖； 圖20是根據(jù)本發(fā)明一個實施例的通過投影圖像實現(xiàn)具有立體感的三維顯示的方 法的說明性示圖；以及 圖21是根據(jù)本發(fā)明一個實施例的通過投影圖像實現(xiàn)具有立體感的三維顯示的方 法的說明性示圖。
具體實施例方式
下面將參考附圖詳細描述本發(fā)明的優(yōu)選實施例。 圖1示出根據(jù)本發(fā)明一個實施例的移動體終端100的示意性配置。移動體終端 100例如是移動電話終端。 移動體終端100在顯示屏110上顯示可由操作者選擇的多個選項(即，多個備選 物)作為三維物體的投影圖像120。正在觀看顯示屏110的操作者(即，用戶)10的臉部 的圖像(臉部圖像)由圖像拍攝部件104獲取。圖像拍攝部件104對應于諸如數(shù)碼相機之 類的裝置，其拍攝正在觀看顯示屏的操作者的圖像。圖像拍攝部件104可以是設置在操作 者上的可旋轉的圖像拍攝部件，以便對操作者前方的被攝體進行成像，或者可以是與這樣 的圖像拍攝部件分開設置的、鏡頭固定地面對操作者以便用于視頻通話等的另一圖像拍攝 部件。雖然在圖1中未示出，但是在移動電話終端等中設置有設有各種操作鍵的操作部件。 終端的樣式不受特別限制，并且可以使用折疊式、滑動式、直板式，等等。
圖2示出圖1中所示的移動體終端100的示意性硬件配置。 移動體終端100包括CPU 101、存儲部件102、顯示部件103、圖像拍攝部件104、操 作部件105和特有功能部件106。 CPU 101是構成本發(fā)明的控制部件的一部分，并且執(zhí)行各種程序，包括終端裝置的 系統(tǒng)程序以及本發(fā)明的顯示控制程序，用于控制整個移動體終端100和執(zhí)行各種處理。
存儲部件102存儲要被CPU 101執(zhí)行的程序以及必要的數(shù)據(jù)，并且包括諸如ROM、 RAM、閃存、HDD等的可移除記錄介質和內(nèi)部存儲裝置。下面描述的三維物體信息和由圖像拍攝部件獲取的拍攝圖像信息也存儲在存儲部件102中。 顯示部件103在圖1中所示的顯示屏110上顯示三維物體的投影圖像120等，并 且包括諸如LCD、有機EL等的顯示裝置。 如參考圖1所描述的，圖像拍攝部件104是能夠拍攝操作者10的臉部的圖像的圖 像拍攝裝置。 如參考圖1所描述的，操作部件105接收操作者的輸入操作。 特有功能部件106執(zhí)行各個移動體終端的特有功能。例如，設置有音樂播放器、圖 像播放器、運動圖像播放器、GPS功能部件、非接觸式IC功能部件等中的一個或多個。
典型的移動電話中設置的無線通信部件、振動生成部件、LED發(fā)光部件、電源部件 等未被示出。 圖3是示出根據(jù)本實施例的移動體終端100的主要功能的功能性框圖。 控制部件300包括臉部矩形檢測部件310、三維物體投影視點計算部件311、投影
圖像生成部件312、投影圖像顯示指示部件313、臉部位置檢測部件314和三維物體信息改
變部件315。 存儲部件102設有拍攝圖像存儲部件340、臉部矩形信息存儲部件350和三維物 體信息存儲部件360，拍攝圖像存儲部件340存儲由圖像拍攝部件104獲取的拍攝圖像 341 (包括操作者的臉部圖像341A)，臉部矩形信息存儲部件350存儲基于拍攝圖像獲取的 臉部矩形信息351，三維物體信息存儲部件360存儲指示三維物體的三維結構的三維物體 信息361 。三維物體信息361包括將要輸出到顯示部件的三維物體的形狀、位置、顏色等。在 本實施例中，顯示備選物、具有正面和背面的具有相同大小的卡形顯示要素的集合(群組) 被定義作為三維物體。顯示要素對應于用戶界面上構成選項的指示備選物的圖標或選擇按 鈕。 由控制部件300構成的臉部矩形檢測部件310檢測由圖像拍攝部件104獲取的拍 攝圖像341中與操作者的臉部相對應的矩形(例如，包括雙眼的矩形、既包括雙眼又包括鼻 子的矩形，等等)，并且獲取臉部矩形信息351。臉部矩形信息351是有關臉部矩形的預定 點(例如，左上點)的坐標、臉部矩形的高度和寬度等的信息。代替寬度和高度，可以使用 臉部矩形的對角點的坐標。 可以使用日本未實審專利申請公開No. 2005-284487中描述的技術作為檢測臉部 矩形的方法。例如，預先準備大量有關臉部的信息，并且構建用于臉部檢測的辭典數(shù)據(jù)。接 著，輸入的拍攝圖像341被與辭典中存儲的用于臉部檢測的信息進行比較，同時該圖像被 放大或者縮小并且相似部分被重復確定，從而檢測出臉部矩形。利用此方法，可以從拍攝圖 像341中提取出諸如雙眼、鼻子、嘴等的臉部要素以及這些臉部要素的位置，隨后可以高速 檢測出臉部區(qū)域、表情等作為臉部矩形信息。如下所述，在臉部矩形信息中反映了操作者的 臉部相對于圖像拍攝部件104的位置或距離以及位置或距離的改變。 三維物體投影視點計算部件311基于檢測出的臉部矩形信息來計算三維物體投 影視點相對于三維物體的位置。例如，計算三維物體被投影到二維平面上作為圖像的視點 的角度和距離。 臉部位置檢測部件314從臉部圖像314A相對于拍攝圖像341的位置來檢測操作 者的臉部相對于顯示屏110的相對位置。術語"相對"意思是臉部相對于靜止終端的移動等價于終端相對于靜止臉部的移動。 三維物體信息改變部件315更新三維物體信息，從而根據(jù)從三維物體投影視點計 算部件311輸出的視點位置的改變來改變?nèi)S物體的布置。三維物體信息的更新包括所有 顯示要素的位置的改變、某些顯示要素的位置的改變、顯示要素本身的更新(或者向顯示 要素分配的正面和背面的圖像的改變)，等等。 投影圖像生成部件312根據(jù)從三維物體投影視點計算部件311輸出的視點通過使 用三維物體信息361來生成三維物體投影圖像120。三維物體投影圖像120是在三維物體 被投影到預定投影平面(顯示屏或者與顯示屏平行的虛擬平面)時獲得的投影圖像。
投影圖像顯示指示部件313指示顯示部件103在顯示屏上顯示由投影圖像生成部 件312所生成的投影圖像。 顯示部件103根據(jù)來自投影圖像顯示指示部件313的指示來顯示圖像。
圖4A和4B、圖5A和5B以及圖6A和6B示出拍攝圖像341與拍攝圖像中操作者的 臉部圖像341A之間的關系。將參考這些關系來描述能夠基于拍攝圖像341估計操作者的 臉部實際在哪里。圖4A、圖5A和圖6A示出從上方看時的便攜終端與操作者之間的位置關 系。圖4B、圖5B和圖6B分別示出在圖4A、圖5A和圖6A的情形中存儲在拍攝圖像存儲部 件340中的拍攝圖像341。如上所述，通過現(xiàn)有方法從拍攝圖像341檢測出臉部矩形信息。
以下將參考圖4A到圖6B描述根據(jù)拍攝圖像341和與操作者的臉部圖像341A對 應的臉部矩形之間的位置關系來估計操作者的臉部位置的方法。 如圖4A中所示，假設操作者10 (的臉部)位于顯示屏110的正前方。在此情況中， 如圖4B所示，拍攝圖像341中操作者的臉部圖像341A位于拍攝圖像341的中心。顯示屏 110和圖像拍攝部件104是偏離的，因此即使臉部位于顯示屏110的正前方，在圖像拍攝部 件104所拍攝的圖像中的臉部圖像也可能偏離中心。在此情況中，可以對臉部圖像相對于 拍攝圖像的偏離量進行校正。 如圖5A中所示，當操作者10面向顯示屏110相對向左移動時，拍攝圖像341中操 作者的臉部圖像341A位于拍攝圖像的靠左側，如圖5B所示。在實際的拍攝圖像中，操作者 的臉部圖像341A位于拍攝圖像的靠右側，但是為了方便，操作者的臉部圖像341A與圖5A 中所示的操作者10的臉部位于同一側。當計算出了臉部圖像341A相對于拍攝圖像341的 相對位置時，使用拍攝圖像341的左右反轉的圖像，或者對從拍攝圖像341獲取的臉部圖像 341A的位置進行左右反轉。 按照此方式，拍攝圖像341中操作者的臉部圖像341A的位置被檢測出，從而能夠 確定操作者10相對于圖像拍攝部件104或者顯示屏110所處的方向，并從而檢測出相對于 移動體終端100所處的方向。 如圖6A所示，當操作者接近圖像拍攝部件104時，拍攝圖像341中操作者的臉部 圖像的大小(臉部大小)(具體地是拍攝圖像上操作者的眼間距離)相對于拍攝圖像增大， 如圖6B所示。實際上，如果是使用臉部檢測器來檢測臉部大小相對于拍攝圖像的相對大 小，則可以確定操作者相對于圖像拍攝部件104的距離。換句話說，可以基于臉部大小的改 變來檢測距離的改變。在此情況中，可以將臉部矩形的寬度用作作為臉部大小的指標的眼 間距離。替代地，可以使用諸如構成臉部的鼻子、嘴和眉毛之類的要素之間的距離，或者可 以通過使用拍攝圖像341中的整個臉部的大小來獲取臉部大小信息，并且可以基于此臉部大小信息來確定距離。 在本實施例中，作為三維物體的示例，假設預定大小的卡形構件(在本說明書中， 為了方便，稱為卡)以等間隔平行布置(稱為卡群組)。圖7A是卡群組70的立體圖。每個 卡與一個備選物相關聯(lián)。如下所描述的布置是當操作員選擇所希望的備選物并且此備選物 被移動并被顯示時的布置。圖7B示出操作者選擇一個備選物并且此備選物被強調顯示的 狀態(tài)。在圖7B的示例中，此備選物的卡的一面被布置為面對正面(操作者側)。
將描述本實施例的特定操作示例。 圖8A到圖13B示出操作者相對于圖像拍攝部件(或者顯示屏)的位置以及那時 的顯示示例。對于這樣的操作，操作者相對于顯示屏(相對于圖像拍攝部件)移動他的/ 她的臉部并且從多個選項中選擇所希望的備選物。圖8A、圖9A、圖10A、圖11A、圖12A和圖 13A示出拍攝圖像和操作者的臉部圖像之間的關系。圖8B、圖9B、圖10B、圖11B、圖12B和 圖13B示出那時的投影圖像120的示例。如上所述，選項由具有正面和背面的相同大小的卡 形顯示要素表示，并且以從下述視點所見的立體圖的形式顯示出了多個卡在所述視點處， 三維空間中以等間隔平行布置的卡群組中的每個卡的一面是部分可見的。在本示例中，假 設使用諸如CD(或者音樂唱片)之類的音樂記錄介質的封套作為多個選項的示例。封套的 三維圖像或者在卡的正面和背面附有封套的正面和背面的圖像的卡被用作卡形顯示要素。 本發(fā)明不在卡的厚度、有無等方面進行特別限制。在附圖的示例中，為了說明的方便，大寫 字母指示正面圖像，小寫字母指示背面圖像。在本實施例中，操作者可見的面根據(jù)臉部圖像 是位于一閾值邊界的一側還是另一側而切換到卡的正面或背面。當卡的一面對于操作員可 見時，可以進行配置以使得正面總是可見。 在本實施例中，三維視點位置的控制和選擇根據(jù)拍攝圖像中操作者的臉部圖像的 位置而被同時執(zhí)行。因此，拍攝圖像341被按照如下使用。 (1)根據(jù)拍攝圖像341中操作者的臉部圖像的位置來決定三維視點位置。在此情 況中，操作者的臉部圖像的位置包括當操作者在面對圖像拍攝部件的鏡頭部件(未示出) 從左向右或者上下移動時的位置，以及從鏡頭部件到臉部的距離。如上所述，距離的改變可 以通過拍攝圖像341中操作者的臉部圖像341A的相對大小的改變來確定。隨著距離增大， 三維視點位置移動遠離三維物體，并且隨著距離減小，三維視點位置接近三維物體。
(2)確定拍攝圖像341上操作者的臉部圖像341A是否在閾值邊界90之夕卜，閾值邊 界90作為拍攝圖像中預先設定的預定范圍。此確定例如根據(jù)臉部圖像的中心是否在閾值 邊界90之外來執(zhí)行。在附圖的示例中，閾值邊界90是矩形，但是閾值邊界90的形狀不局 限于矩形。例如，可以使用圓形或者多邊形。閾值邊界90的位置基本上是拍攝圖像341的 中心，但是其可以相對于拍攝圖像341的中心稍稍偏離。 (3)當操作者的臉部圖像341A在閾值邊界90之外時，選項被順序更新并顯示。也 就是說，構成選項的卡列在卡的布置方向上被移動和顯示，并且卡被更新以使得卡順序出 現(xiàn)在顯示屏上并且從顯示屏上消失。當操作者的臉部圖像341A移動并進入閾值邊界90時， 卡列的移動顯示停止，并且此時預定位置(例如，基本上為投影圖像的中心)處的卡被強調 顯示。 卡群組的"移動"或"移動顯示"的意思是在顯示屏上顯示的卡按箭頭方向被順序 移動，并且每當新卡從來源處出現(xiàn)在顯示屏上時，屏幕的開頭處的卡從屏幕消失。實際上，
9作為選項的備選物的數(shù)目是有限的，因此在由于移動使得最后的卡出現(xiàn)后，移動停止?；?者，卡可以周期性地循環(huán)，以使得從消失于屏幕的開頭的卡開始再次順序出現(xiàn)。
圖8A和圖8B示出操作者的臉部圖像341A在閾值邊界90之內(nèi)的情況，如圖8A所 示。在此情況中，卡群組70按照如圖7B那樣布置，并且一個卡如圖8B所示被強調顯示。術 語"強調顯示"意思是操作者認識到從多個備選物中選擇了一個特定備選物的顯示狀態(tài)。在 附圖的示例中，進行布置以使得該備選物的卡的表面面對正面(操作員側)。在此情況中， 卡群組不移動。強調顯示的卡是在卡群組即將被移動顯示之前處于預定位置(例如，屏幕 的中心)的卡。 假定，操作者從圖8A的狀態(tài)面向顯示屏相對向左移動他的/她的臉部。然后，如 果臉部圖像341A在閾值邊界90之外，則卡群組70開始在預定方向上被移動。在附圖的示 例中，卡群組在由箭頭(實際上未顯示在屏幕上)所指示的卡布置方向上被移動。也就是， 在本實施例中，卡群組在遠離操作者的視點的方向上被移動。相對照地，可以在朝向操作者 的視點的方向上移動卡群組。 在本實施例中，卡群組被認為是三維物體并且通過下面所述的方法被顯示為當從 特定三維視點位置觀看時投影在預定投影平面上的投影圖像。因此，卡群組被顯示為具有 立體感。 從真實感來說，進行卡群組的移動以使得卡被顯示為在屏幕上按箭頭方向連續(xù)被 移動。或者可以執(zhí)行顯示以使得每個卡跳到下一個卡位置。在此情況中，不必在卡之間的 中間位置連續(xù)移動每個卡，因此降低了顯示控制的負荷。
圖8B示出操作者的臉部圖像在閾值邊界90之內(nèi)并且一個備選物(在附圖中為備 選物74)被強調顯示的狀態(tài)。此外，當操作者執(zhí)行任何操作時，與此卡對應的功能被執(zhí)行。 任何操作可以以免手動方式通過根據(jù)臉部圖像檢測臉部表情等的改變來執(zhí)行?；蛘撸x擇 操作可以是上面描述的對操作部件的手動操作。除了被選擇的備選物74以外的備選物72、 73、75和76根據(jù)此時的視點位置而被有立體感地三維顯示。類似于在實際的卡布置中卡如 何變?yōu)榭梢?，視點的右側的備選物75和76被顯示為使得其正面可見，而視點的左側的備選 物72和73被顯示為使得其背面可見?；蛘撸髠鹊膫溥x物可以被顯示為其正面可見。
如圖9A所示，當操作者從圖8A的狀態(tài)相對于顯示屏相對地向左移動他的/她的 臉部并且臉部圖像在閾值邊界90之外時，卡群組返回到圖7A的布置并且根據(jù)此時的視點 被有立體感地三維顯示。之后，卡群組被移動，以使得按箭頭方向流動。此時，操作者從圖 像拍攝部件拉回他的/她的臉部(相對地使他的/她的臉部遠離圖像拍攝部件)，以使得從 卡群組到視點位置的距離擴大。這樣，進入視野的卡的數(shù)目增加，從而提高了一目了然的能 力。如上所述，從卡群組到視點位置的距離的改變可以基于臉部圖像341A的大小的改變來 辨認。 如圖IOA所示，當臉部圖像從圖9A的狀態(tài)變到在閾值邊界90之內(nèi)時，卡的移動顯 示停止，并且如圖9B所示那樣，此時處于預定位置的一個卡(在附圖的示例中為備選物73) 被強調顯示。在強調顯示之前，如果那時臉部圖像在閾值邊界90之外，則可以對該卡執(zhí)行 任何識別顯示，以使得操作者可識別出正在強調顯示的卡。對于識別顯示，例如，可以將卡 的框架加粗，可以改變卡的框架的顏色或亮度，可以執(zhí)行反轉顯示等。 圖IIA和圖IIB示出卡群組以與上述示例相反的箭頭方向被移動并被顯示的示例。此時的視點位置在卡的背面可見的方向上，因此每個卡的背面被顯示。在此情況中，可 以進行配置以使得卡的正面可見。 圖12A和圖12B示出操作者相對于顯示屏相對地向左上方向移動他的/她的臉部 并且臉部圖像在左上方向上在閾值邊界90之外的情況。在此情況中，如圖12B所示，視點位 置被轉移到左上方向，因此當從左上方向傾斜地觀看時，卡群組被三維顯示。在此情況中， 卡群組70在右上方向上被傾斜移動。 圖13A和圖13B示出操作者相對于顯示屏相對地向右上方向移動他的/她的臉部 并且臉部圖像在右上方向上在閾值邊界90之外的情況。此時，如圖13B所示，視點位置被 轉移到右上方向，因此當從右上方向傾斜地觀看時，卡群組被三維顯示。在此情況中，卡群 組70在左上方向上被傾斜移動。 如圖12A到圖13B所示，由于視點位置在上下方向上的移動，卡群組在傾斜方向被 平行顯示，所以三維顯示變得更真實。在某些情況中，提高了一目了然地觀看卡群組的能 力。 臉部圖像在上下方向上的位置可以被忽略并且臉部圖像可以僅在左右方向上被 移動和顯示。 圖14A和圖14B示出了臉部圖像的改變的示例。臉部圖像的改變可用于執(zhí)行與正 被強調顯示的備選物相應的功能。在此情況中，從開始到結束都可實現(xiàn)免手動操作。這樣 的臉部圖像可以包括操作者保持他的/她的嘴張開的圖像或者操作者正在微笑的圖像，并 且可以一起用于上述操作。 例如，如圖14A所示，如果檢測到在操作者的臉部圖像341A中，操作者保持他的/ 她的嘴張開，則可以執(zhí)行為此備選物預先分配的功能。同時，如圖14B所示，如果檢測到操 作者的臉部圖像341A是操作者正在微笑的圖像，則可以打開為此備選物預先分配的輔助 操作菜單。然而，這僅僅是示例，通過確定嘴或眼睛的開/閉狀態(tài)、開/閉狀態(tài)以外的臉部 的方向或操作或者確定臉部的表情(諸如微笑的臉部、流淚的臉部、生氣的臉部)等等可以 提供很多輸入方法。 結果，操作者可以通過直觀方法(例如，通過相對于顯示屏移動他的/她的臉部或 改變表情)來操作應用等。三維視點位置可以通過同樣的操作來改變，并且利用三維顯示， 同時可以直觀地見到多個物體。 圖15是示出用于實現(xiàn)本實施例的操作的主要處理的執(zhí)行過程的流程圖。該處理 是在圖2中所示的CPU 101讀取和執(zhí)行存儲部件102中所存儲的顯示控制程序而實現(xiàn)的。 該處理可以在用于音樂播放等的特定應用被激活時有效，或者可以被移動體終端的系統(tǒng)程 序初始使用。 首先，卡群組被布置，并且視點被初始化(S11)。最初，假定操作者基本位于顯示屏 的正前方，并且臉部圖像在閾值邊界90之內(nèi)?？ㄈ航M的布置如圖7B所示。即使該布置如 圖7A所示，也可以通過檢測操作者的臉部圖像來立即對卡群組的布置進行校正，因此卡群 組的初始配置不特別論述。初始視點位置被設定在考慮到操作者的一般使用而預先設定的 位置處。 圖像拍攝部件開始拍攝圖像，并且拍攝圖像中的臉部圖像被檢測(S12)。確定臉部 圖像相對于拍攝圖像的位置(S13)。還確定臉部圖像的大小(S14)。確定臉部圖像的位置和
11大小的方法如上所述。根據(jù)所獲得的臉部圖像的位置和大小來決定和更新視點位置(S15)。
接著，確定臉部圖像是否在閾值邊界之外(S16)。如果臉部圖像在閾值邊界之外， 則如圖7A所示以等間隔布置的卡群組的布置被更新以便在布置方向上移動(S17)。生成此 時的卡群組的投影圖像(S18)，并將其顯示在顯示屏上(S19)。 如果臉部圖像在閾值邊界之內(nèi)，則如圖7B所示卡群組的布置被更新以使得預定 卡被強調顯示(S20)。生成此時的卡群組的投影圖像(S21)，并將其顯示在顯示屏上(S22)。 當操作者給出執(zhí)行與所選擇的卡對應的功能的指令時(S23，是)，執(zhí)行與該功能對應的預 定處理(S24)。 例如，當從表示CD封套的卡群組選出了特定卡并且給出了進行音樂回放的執(zhí)行 指令時，可以顯示表示音樂片段的卡群組，以便重新選擇在CD集中記錄的一組音樂片段。 當執(zhí)行了從卡群組中選擇一段音樂時，開始播放該段音樂。 圖16是圖示出本實施例的修改的示圖。圖7A中所示的卡群組被布置為一列。然 而，卡群組可以以多個列來布置，以使得在上下方向上以多級疊置。圖16示出三個列的卡 群組70'，但是可以設置兩列或四列或更多列。在本說明書中，各個列中的卡群組被稱為卡 列70a、70b和70c。在此情況中，如圖17所示，在多個卡列中執(zhí)行三維顯示。在附圖的示例 中，即使設置了四列或更多列，在顯示屏上也僅僅主要示出三列。然而，有多少列可見是可 以根據(jù)視點位置改變的。類似于上面描述的情況，卡列被同時移動和顯示。同時，可以僅僅 處于中心的卡列被移動和顯示。 卡列的選擇通過當臉部圖像在上方向上在閾值邊界之外時以卡列為單位移動卡
群組70'并且當臉部圖像在閾值邊界之內(nèi)時停止在上方向上的移動來執(zhí)行。即使臉部圖像
仍然在上方向上在閾值邊界之外，但是當沒有應當顯示的卡列時，在最后的卡列處于中心
的狀態(tài)中停止移動?；蛘?，可以使卡列周期性地循環(huán)。這同樣適用于下方向。 當使用以多級疊置的多個卡列時，如果在所有方向上臉部圖像都沒有在閾值邊界
之外，則在預定位置(例如，正在中心顯示的卡列中處于基本上中心處的卡)執(zhí)行強調顯
示。圖18A和圖18B示出這樣的強調顯示的一個示例。 如上所述，如果以多個列來布置卡群組，則每列的卡數(shù)被減小，從而期望減少操作 者找出所希望的卡所必須的實質時間。每個卡列被分配了備選物的屬性(在音樂片段的情 況中例如為流派)，所以可以有助于操作者的選擇。 將參考圖19到21描述通過投影圖像實現(xiàn)立體性三維顯示的方法。在圖19到圖 21中，左側示出拍攝圖像341以及拍攝圖像341中的操作者的臉部圖像341A的示例。在圖 19到圖21中，中心側示出在投影圖像生成部件312中所使用的三維物體370和三維視點位 置331之間的關系，并且示出在從上方觀看時的投影圖像生成范圍371的一個示例。在圖 19到圖21中，右側示出從操作者看的移動體終端、顯示屏以及投影在投影平面372上的三 維物體投影圖像120的示例。 在本實施例中，三維物體370是布置如圖7A和圖7B所示的卡群組，但是為了方 便，示出了房子。三維物體信息改變部件315通過與閾值邊界進行比較來確定臉部矩形的 位置，并且如果必要的話還對作為三維物體的卡群組的布置進行更新以便進行移動顯示和 強調顯示。當三維物體的布置被改變時，三維顯示跟隨該改變。以下，為了對三維顯示進行 說明，將假設三維物體為固定來提供描述。
在本實施例中，三維視點位置331根據(jù)操作者的臉部圖像341A的改變而改變。三 維視點位置331相對于固定投影平面372的移動使得投影圖像生成范圍371變形，并且改 變投影圖像120。具體地，連接三維視點位置331和三維物體370的任意點381的線380與 投影平面相交的點382成為有關點的顯示點。因此，投影在投影平面372上的二維投影圖 像是三維可見的，所以可以增加真實感。雖然示出了當從三維視點位置331觀看時投影平 面372位于三維物體370的正面和背面之間的情況，但是不一定必須提供這樣的位置關系。
在圖19所示的示例中，操作者的臉部圖像341A基本位于拍攝圖像的中心。臉部 矩形檢測部件310根據(jù)拍攝圖像341生成臉部矩形信息。在圖19所示的示例中，臉部矩形 信息指示操作者的臉部基本位于顯示屏的中心。 接著，三維物體投影視點計算部件311可以基于臉部矩形信息來確定操作者位于 移動體終端的正面。然后，三維物體投影視點計算部件311根據(jù)臉部大小相對于拍攝圖像 的相對大小來計算三維視點位置331，并基于三維視點位置331來決定投影圖像生成范圍 371的形狀和位置。 投影圖像生成部件312改變?nèi)S視點位置331以使得三維視點位置331跟隨操作 者的臉部沿顯示屏的移動。投影圖像生成部件312改變?nèi)S視點位置331以使得從三維物 體到三維視點位置331的距離根據(jù)臉部圖像相對于拍攝圖像的大小來改變。
圖19的中心側的倒置的梯形是投影圖像生成范圍371。梯形的底邊被固定以使得 與投影到投影平面372上的區(qū)域一致，并且根據(jù)底邊和三維視點位置331來決定投影圖像 生成范圍371。圖19的中心側示出當從上方觀看時的水平方向的示例，對垂直方向執(zhí)行同 樣的計算，并且計算出被截頭的四面棱錐狀投影圖像生成范圍371。 接著，投影圖像生成部件312基于投影圖像生成范圍371和三維物體信息361生 成三維物體投影圖像120。 最后，投影圖像顯示指示部件313指示顯示部件103顯示所生成的三維物體投影 圖像120。結果，實現(xiàn)了如圖19的右側上的顯示屏110的顯示。 在圖20的示例中，操作者的臉部圖像341A位于拍攝圖像右端。臉部矩形檢測部 件310基于拍攝圖像341生成臉部矩形信息。在圖20中，臉部矩形信息指示操作者10的 臉部位于相對于顯示屏的右側。 接著，三維物體投影視點計算部件331可基于臉部矩形信息來確定操作者位于移 動體終端的右側。然后，三維物體投影視點計算部件311根據(jù)臉部大小相對于拍攝圖像的 相對大小來計算三維視點位置，并基于三維視點位置來決定圖像生成范圍371的形狀和位置。 與圖19相比，操作者的臉部圖像341A的位置的改變引起了三維視點位置的改變， 并且如圖20的中心側所示，投影圖像生成范圍371被決定為具有共同底邊的倒置的梯形。 當操作者的臉部圖像341A在垂直方向以及水平方向上被移動時，以相同的方式來計算針 對垂直方向的倒置的梯形，并且通過組合水平方向和垂直方向上的倒置的梯形而獲得的被 截頭的四面棱錐被決定為投影圖像生成范圍371。 接著，投影圖像生成部件312基于投影圖像生成范圍371以及三維物體信息361 生成三維物體投影圖像120。 最后，投影圖像顯示指示部件313指示顯示部件103顯示所生成的三維物體投影圖像120。結果，實現(xiàn)了如圖20的右側上的顯示屏110的顯示。 在圖21的示例中，操作者的臉部圖像341A基本位于拍攝圖像的中心，但是與圖19 相比，操作者的臉部圖像341A占據(jù)了較大的區(qū)域。臉部矩形檢測部件310根據(jù)拍攝圖像 341生成臉部矩形信息。在圖21中，臉部矩形信息指示中心。三維物體投影視點計算部件 331可以基于基本指示中心的臉部矩形信息來確定操作者位于移動體終端的正面。然后，三 維物體投影視點計算部件311根據(jù)臉部大小相對于拍攝圖像的相對大小來計算三維視點 位置，并基于三維視點位置來決定投影圖像生成范圍371的形狀和位置。如在圖21的中心 側所示，與圖19的中心側相比，三維視點位置向圖的上方向改變。結果，通過三維視點位置 和固定底邊獲得的投影圖像生成范圍371具有上部被加寬的梯形形狀。按照同樣的方式來 計算針對垂直方向的梯形，并且通過水平方向和垂直方向的梯形的組合而獲得的被截頭的 四面棱錐被決定為投影圖像生成范圍371。投影圖像生成部件312基于投影圖像生成范圍 371和三維物體信息361來生成三維物體投影圖像120。最后，投影圖像顯示指示部件313 指示顯示部件103顯示所生成的三維物體投影圖像120。結果，實現(xiàn)了如圖21的右側上的 顯示屏110的顯示。 如上所述，如果臉部接近，則三維物體的投影圖像的顯示大小增大，并且細節(jié)容易 可見。如果臉部被拉回(變遠)，則難以看到細節(jié)，但是在表面上可以顯示更多的備選物。 這樣，一目了然的能力變好。操作者僅僅通過相對地改變臉部相對于移動體終端100的位 置就能夠實現(xiàn)這樣的操作。 作為移動顯示的修改，當臉部圖像在閾值邊界90之外時，可以根據(jù)臉部圖像的位 置和大小來可變地控制卡群組的移動和更新速度。例如，當臉部圖像在閾值邊界90之外 時，可以執(zhí)行控制以使得臉部圖像越遠離閾值邊界90，移動顯示的移動速度越增大?；蛘撸?當臉部圖像在閾值邊界90之外時，可以執(zhí)行控制以使得臉部圖像的大小越小，移動顯示的 移動速度越增大。 利用本實施例的基于臉部圖像的三維顯示，除了包括圖像拍攝部件104的移動體 終端以外，無需使用特殊裝置或工具，通過將三維物體投影到二維顯示屏上就能夠獲得三 維物體的具有立體感的顯示圖像，所以可以向操作者提供真實感。在計算三維視點位置時， 僅僅使用了操作者的臉部位置(相應地，臉部圖像)相對于圖像拍攝部件104(相應地，拍 攝圖像)的相對位置，所以即使操作者的姿態(tài)改變了，也可以以同樣的方式使用三維視點 位置。此外，拍攝圖像341是從圖像拍攝部件104連續(xù)獲取的，所以操作者的臉部位置在投 影圖像中被連續(xù)反映出。因此，提供了操作者本身的臉部和圖像拍攝部件104之間的位置 關系的反饋，所以可以有助于視點操作。 雖然已經(jīng)描述了本發(fā)明的優(yōu)選實施例，但是可以做出多種修改和改變。 在前面的描述中，已經(jīng)描述了這樣的情況，其中，圖像拍攝裝置的鏡頭定位在顯示
屏的靠上部分，其中，所述顯示屏處于在垂直方向較長的矩形顯示屏的狀態(tài)。然而，在顯示
屏為水平方向較長的狀態(tài)中，鏡頭可以定位在顯示屏的側部。在此情況中，可以按照與如上
所述相同的方式根據(jù)顯示屏110的中心和圖像拍攝部件104的偏移量來對臉部位置進行校正。 雖然在前面的描述中假設移動電話終端用作移動體終端，但是也可以使用不具有 電話功能的終端。例如，本發(fā)明可應用于諸如PDA、游戲機、緊湊形PC等的具有顯示屏的移動體終端。此外，優(yōu)選地，移動體終端是便攜移動體終端，但是本發(fā)明不局限于便攜式。
用于實現(xiàn)前面的實施例中所描述的功能的計算機程序以及在其上記錄有程序的 計算機可讀記錄介質都落在本發(fā)明的范圍內(nèi)。用于提供程序的"記錄介質"的示例例如包 括磁記錄介質(軟盤、硬盤、磁帶等)、光盤(諸如M0、PD等的磁光盤、CD-ROM、CD-R、CD-RW、 DVD-R0M、 DVD-RAM、 DVD+R、 DVD-R、 DVD-RW、 DVD+RW，等等)、半導體存儲裝置、紙帶等。
本申請包含于2008年12月5日向日本專利局提交的日本在先專利申請JP 2008-310672所公開的主題有關的主題，該申請全部內(nèi)容通過引用而被結合于此。
本領域技術人員應當明白，依賴于設計需求和其它因素可以出現(xiàn)各種修改、組合、 子組合和替代，只要它們在所附權利要求或者其等同物的范圍內(nèi)即可。
權利要求
一種終端裝置，包括顯示裝置，用于在顯示屏上顯示多個代表選項的顯示要素；圖像拍攝裝置，用于拍攝正在觀看所述顯示屏的操作者的圖像；臉部位置檢測裝置，用于檢測拍攝圖像中所述操作者的臉部圖像的位置；以及控制器，用于對所述顯示裝置進行控制，以當檢測到所述拍攝圖像中所述操作者的臉部圖像在預定范圍之外時，在所述顯示屏上在預定方向上移動所述多個顯示要素并且順序更新并顯示所述顯示要素，并且在檢測到所述臉部圖像落在所述預定范圍之內(nèi)時停止對所述多個顯示要素的移動。
2. 根據(jù)權利要求1所述的終端裝置，其中，當停止對所述顯示要素的移動時，所述控制裝置強調顯示當時處于預定位置的 顯示要素。
3. 根據(jù)權利要求2所述的終端裝置，其中，所述多個顯示要素由具有正面和背面的相同大小的卡來表示，并且所述控制裝 置以從能看見每個卡的一面的至少一部分的視點所見的立體圖的方式顯示在三維空間中 以等間隔平行布置的卡群組。
4. 根據(jù)權利要求3所述的終端裝置，其中，進行所述強調顯示，以使得所述多個卡中與處于所述預定位置的顯示要素對應 的卡的一面被顯示為面對正面。
5. 根據(jù)權利要求3或4所述的終端裝置，其中，所述控制裝置根據(jù)所述臉部圖像是存在于所述預定范圍的一側還是另一側來將 對于所述操作者可見的面切換成所述卡的正面或背面。
6. 根據(jù)權利要求3到5中任一項所述的終端裝置，其中，所述控制裝置根據(jù)所述臉部圖像的大小來改變所述視點和所述卡群組之間的距離。
7. 根據(jù)權利要求1到6中任一項所述的終端裝置，其中，所述控制裝置顯示投影在面對所述操作者的虛擬投影平面上的投影圖像。
8. 根據(jù)權利要求1所述的終端裝置，其中，在三維空間中用作所述多個顯示要素的卡群組被布置成多列，并且所述控制裝 置根據(jù)水平方向上所述臉部圖像的移動來在水平方向上移動至少一個卡列，并且根據(jù)垂直 方向上所述臉部圖像的移動來選擇卡列。
9. 根據(jù)權利要求8所述的終端裝置，其中，垂直方向上卡列的移動和卡列的更新根據(jù)所述臉部圖像的位置來執(zhí)行。
10. 根據(jù)權利要求1所述的終端裝置，其中，當所述臉部圖像在所述預定范圍之外時，所述控制裝置根據(jù)所述臉部圖像的位 置或大小來可變地控制所述顯示要素的移動和更新的速度。
11. 一種用于移動終端的顯示控制方法，所述移動終端包括在顯示屏上顯示多個代表 選項的顯示要素的顯示部件和拍攝正在觀看所述顯示屏的操作者的圖像的圖像拍攝部件， 所述方法包括如下步驟檢測由所述圖像拍攝部件所拍攝的圖像中所述操作者的臉部圖像的位置；確定拍攝圖像中所述操作者的臉部圖像是否在預定范圍之外；當檢測到所述臉部圖像在所述預定范圍之外時，在所述顯示屏上在預定方向上移動所 述多個顯示要素，并且順序地更新并顯示所述顯示要素；并且當檢測到所述臉部圖像落在所述預定范圍之內(nèi)時，控制所述顯示部件停止對所述多個 顯示要素的移動并且強調顯示當時處于特定位置的顯示要素。
12. —種由移動終端執(zhí)行的顯示控制程序，所述移動終端包括在顯示屏上顯示多個代 表選項的顯示要素的顯示部件和拍攝正在觀看所述顯示屏的操作者的圖像的圖像拍攝部 件，所述程序使得計算機執(zhí)行如下步驟檢測由所述圖像拍攝部件所拍攝的圖像中所述操作者的臉部圖像的位置； 確定拍攝圖像中所述操作者的臉部圖像是否在預定范圍之外；當檢測到所述臉部圖像在所述預定范圍之外時，在所述顯示屏上在預定方向上移動所 述多個顯示要素，并且順序地更新并顯示所述顯示要素；并且當檢測到所述臉部圖像落在所述預定范圍之內(nèi)時，控制所述顯示部件停止對所述多個 顯示要素的移動并且強調顯示當時處于特定位置的顯示要素。
13. —種終端裝置，包括顯示器，在顯示屏上顯示多個代表選項的顯示要素； 圖像拍攝部件，拍攝正在觀看所述顯示屏的操作者的圖像； 臉部位置檢測器，檢測拍攝圖像中所述操作者的臉部圖像的位置；以及 控制器，對所述顯示器進行控制，以當檢測到所述拍攝圖像中所述操作者的臉部圖像 在預定范圍之外時，在所述顯示屏上在預定方向上移動所述多個顯示要素并且順序更新并 顯示所述顯示要素，并且在檢測到所述臉部圖像落在所述預定范圍之內(nèi)時停止對所述多個 顯示要素的移動。
全文摘要
本發(fā)明公開了終端裝置、顯示控制方法和顯示控制程序。終端裝置包括顯示器，在顯示屏上顯示多個代表選項的顯示要素；圖像拍攝部件，拍攝正在觀看顯示屏的操作者的圖像；臉部位置檢測器，檢測拍攝圖像中操作者的臉部圖像的位置；以及控制器，對顯示器進行控制，以當檢測到拍攝圖像中操作者的臉部圖像在預定范圍之外時，在顯示屏上在預定方向上移動所述多個顯示要素并且順序更新并顯示顯示要素，并且在檢測到臉部圖像落在預定范圍之內(nèi)時停止對所述多個顯示要素的移動。
文檔編號G06K9/00GK101751219SQ20091025363
公開日2010年6月23日 申請日期2009年12月7日 優(yōu)先權日2008年12月5日
發(fā)明者大森健太, 川上裕幸, 川上高 申請人:索尼愛立信移動通信日本株式會社