專利名稱：圖像顯示裝置及圖像顯示方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像顯示、圖像再現(xiàn)技術(shù)，涉及把攝影對象的圖像在顯示器上質(zhì)感豐富地顯示給觀察者的圖像顯示裝置和圖像顯示方法。
背景技術(shù)：
近年來，由于非對稱數(shù)字用戶線(Asymmetric Digital SubscriberLineADSL)或光纖等寬帶高速線路的普及，使用計算機進行的因特網(wǎng)在線購物(Electric commerceEC)已經(jīng)非常接近日常生活。并且，隨著地波數(shù)字廣播的普及的進展，可以想像在數(shù)碼電視中也實現(xiàn)一般廣播例如電視劇影像等和郵購結(jié)合的形式的EC等，期待著在不久的將來作為關(guān)鍵應(yīng)用(killer application)能夠確立更高的地位。這樣的在線購物的便利性在于，在自己的家中就能夠進行從商品的訂購到接收。
然而，顧客在在線購物中不能實際用眼睛確認(rèn)實物商品。為此，雖然很多銷售網(wǎng)站中登載了“有時照片與實物不同”的注意事項，但是顧客的抱怨或退貨也不少。即，希望把質(zhì)感盡可能高的商品圖像顯示在用戶的顯示器上。
另外，像上述的在線購物中，當(dāng)顧客使用計算機或數(shù)碼電視時，顧客所使用的顯示器為17英寸左右或更大的，但當(dāng)使用PDA(Personal Digital Assistance)或移動電話等移動信息處理設(shè)備時，則為2～4英寸左右的便攜式顯示器。并且，可以想像今后便攜式顯示器的利用率會非常高。
因此，怎樣在這樣小型的便攜式顯示器上高質(zhì)量地進行在線購物時的商品提示成為課題，并為此進行著各種研究。
例如，在以往的圖像顯示裝置中有這樣的圖像顯示裝置觀察者手持便攜式顯示器來三維移動時，顯示器設(shè)備用加速度傳感器等檢測該移動來使所顯示的圖像動態(tài)變化，從而可以把握大尺寸的圖像整體。
圖1是以往的圖像顯示裝置的使用狀況的示意圖，圖像顯示裝置1701包括便攜式顯示器和位置檢測傳感器。使用者拿著圖像顯示裝置1701在進行空間移動時，通過位置檢測傳感器檢測二軸方向或三軸方向的加速度。圖1中示出了圖像顯示裝置1701中顯示建筑物的一部分的情況，通過使用者移動圖像顯示裝置1701，可以將建筑物的其它部分顯示在圖像顯示裝置1701上。
在此，在以往的圖像顯示裝置中，采用二軸方向的位置檢測傳感器，檢測圖像顯示裝置1701的加速度的縱向和橫向成分并計算時間積分，再計算速度成分和位移成分。并且，通過進行二維方向的移動，例如，能夠取下像報紙或地圖那樣大的圖像的一部分來觀察，通過進行三維方向的移動，即向深度方向移動，例如，在建筑用途中，能夠把握建筑物各層的構(gòu)造，在醫(yī)療的用途中，能夠直觀地進行腦剖面的觀察等(例如，參照日本專利文獻特開2002-7027號公報(第4頁、圖2))。
并且，由于廉價且方便地觀察大容量圖像，對于顯示器的深度方向的移動，能夠進行顯示圖像的切換，并且通過與向深度方向以及近前方向的移動對應(yīng)地放大或縮小顯示圖像，由此具有能夠在三維空間移動的同時將圖像顯示部的畫面作為視窗來觀察的效果(例如，參照日本專利文獻特開2000-66802號公報(第3頁，圖1))。
并且，還有如下的圖像顯示方法，該方法是得到靜止攝影對象的反射狀態(tài)因照明而不同的多個圖像，并將該多個幀圖像依次在顯示器上切換來進行圖像顯示。在此例中，可以將觀察者監(jiān)控用攝像機設(shè)置在顯示器上，一邊與觀看顯示器的監(jiān)控器觀察者的視點移動對應(yīng)地切換為所選擇的幀圖像，一邊在顯示器上顯示圖像。此外，記載有這樣的技術(shù)可以利用計算機圖形學(xué)(computer graphicsCG)來制作得到靜止攝影對象的鏡面反射狀態(tài)因照明而不同的多個原圖像，來替代讀取圖像(例如，參照日本專利文獻特開2003-132350號公報(第16頁、圖6))。
此外，便攜式顯示器上搭載有小型攝像機，檢測用戶的視點來計算深度方向距離并提示大面積，也有進行窗口操作、菜單選擇等例子(例如，參照成田智也(Tomoya Narita)、渋谷雄(Takashi Shibuya)、辻野嘉宏(Yoshihiro Tsujino)《能夠以用戶的視點來控制視場的顯示系統(tǒng)(ユ一ザの視點にょる視野コントロ一ルが可能な提示システム)》、ヒユ一マンインタフエ一ス學(xué)會(Human Interface Society)研究會報告集Vol.3NO.3PP.11-14。)。
然而，以往的圖像顯示裝置中，在用戶使用便攜式顯示器進行在線購物時，雖然對顯示器通過各種動作使之變動，作為其反饋動作，提示比畫面大的圖像，或者僅通過放大縮小等進行簡單的圖像處理，不能實現(xiàn)在線購物中所尋求的、拿在手中觀看實物的真實性。
例如，顧客在觀察作為商品圖像的毛衣時，所尋求的是能夠提示感觸到毛線的手感等的顯示器。
另外，也考慮了這樣的一種虛擬的顯示方法，即，近似顯示因照明而產(chǎn)生變化的表面反射特性或纖維的編織質(zhì)感的方法，然而在攝影對象的尺寸或用戶的觀察距離等概念上有所欠缺。為此，在不考慮賦予攝影對象的實際的大小的感覺或?qū)z影對象拉到近旁觀察時的材質(zhì)感的這樣的重要觀點的情況下，例如不能實現(xiàn)具有相對性格的顯示，相對性格的顯示是指在遠(yuǎn)距離觀察時把握對象的整體像，以及在近旁觀察時把攝影對象表面視為和顯示器所表示的畫面相同，宛如手持觀察表面材料一樣的顯示。
這樣，為了實現(xiàn)手持觀察的行為，以往的固定型顯示裝置是很難做到的，因此不言而喻最好是便攜式圖像顯示裝置。然而，在以往的具備便攜式顯示器的圖像顯示裝置中，在狹小的畫面區(qū)域顯示更多的信息是困難的。

發(fā)明內(nèi)容
本發(fā)明用于解決上述以往的課題，本發(fā)明的目的在于提供一種圖像顯示裝置以及圖像顯示方法，即使是用畫面狹小的便攜式顯示器進行在線購物等的應(yīng)用，也可以有效地顯示具有最大真實感的商品，此真實感則是像觀察者手持?jǐn)z影對象商品的感覺。
為了達成上述的目的，涉及本發(fā)明的圖像顯示裝置，顯示攝影對象的圖像，其特征在于，包括距離檢測單元，把觀察者和該圖像顯示裝置之間的距離作為觀察距離來檢測；角度檢測單元，把相對于上述觀察者的該圖像顯示裝置的角度，或相對于上述觀察者的該圖像顯示裝置的移動方向作為觀察方向來檢測；以及顯示切換控制單元，根據(jù)上述觀察距離切換第1顯示模式和第2顯示模式，并以上述第1顯示模式或上述第2顯示模式顯示上述攝影對象的圖像，上述第1顯示模式根據(jù)上述觀察距離改變顯示倍率，并顯示上述攝影對象的圖像，上述第2顯示模式根據(jù)上述觀察方向，顯示上述攝影對象表面的法線方向不同的圖像。
因此，用戶可以把顯示器作為一個視窗，在觀察的同時把握攝影對象的整體，還可以通過將圖像顯示裝置拉到近旁，能夠以手持的感覺富有真實感地進行觀察，能夠大幅度地提高在線購物的實用性。
在此，最好是上述圖像顯示裝置還包括接近狀態(tài)檢測單元，根據(jù)上述觀察距離計算出上述圖像的顯示倍率。
并且，也可以是在上述觀察距離為預(yù)定距離以下時，上述接近狀態(tài)檢測單元視為上述攝影對象存在于上述預(yù)定距離，并將上述顯示倍率計算為1倍；當(dāng)上述觀察距離大于預(yù)定距離時，上述接近狀態(tài)檢測單元視為上述攝影對象存在于比上述預(yù)定距離遠(yuǎn)處，并將上述顯示倍率計算為不到1倍；當(dāng)由上述接近狀態(tài)檢測單元計算的顯示倍率不到1倍時，上述顯示切換控制單元以上述第1顯示模式顯示上述攝影對象的圖像，當(dāng)上述顯示倍率為1倍時，上述顯示切換控制單元以上述第2顯示模式顯示上述攝影對象的圖像。
因此，在利用畫面狹小的便攜式顯示器在線購物等的應(yīng)用中，實現(xiàn)了可以賦予用戶攝影對象的實際的大小感覺或拉近攝影對象觀察時的材質(zhì)感，例如，可以實現(xiàn)具有相對性格的顯示，在遠(yuǎn)距離觀察時，可以把握對象整體像，在接近觀察時，攝影對象表面看上去和顯示器所顯示的畫面相同，宛如手中拿著表面材料觀察一樣。
并且，也可以在上述第1顯示模式中，上述顯示切換控制單元根據(jù)上述顯示倍率及上述觀察方向來選擇并顯示上述攝影對象的一部分圖像。
因此，例如，在便攜用的顯示器等中，即使圖像顯示區(qū)域的面積小時，也可以容易選擇攝影對象的一部分。
并且，也可以是上述攝影對象的一部分是預(yù)先決定的區(qū)域；在上述第1顯示模式中，上述顯示切換控制單元根據(jù)上述觀察方向及上述顯示倍率，從多個上述區(qū)域中選擇并顯示一個上述區(qū)域的圖像。
因此，可以消減存儲了攝影對象的一部分圖像的數(shù)據(jù)庫容量。
并且，也可以是上述圖像顯示裝置還包括標(biāo)記生成單元，在上述第1顯示模式中，對表示上述預(yù)先決定的區(qū)域的第1標(biāo)記進行顯示，并根據(jù)上述觀察方向及上述顯示倍率，來顯示第2標(biāo)記；上述顯示切換控制單元根據(jù)上述第1標(biāo)記及上述第2標(biāo)記的位置關(guān)系，從多個上述區(qū)域中選擇1個上述區(qū)域。
因此，觀察者可以容易確認(rèn)能夠放大的區(qū)域，并可以移動第2個標(biāo)記。
并且，也可以是在上述第2顯示模式中，上述顯示切換控制單元顯示計算機圖形學(xué)圖像，該計算機圖形學(xué)圖像是在一定的照明下對任意的平面或曲面的表面繪制了光學(xué)模型的圖像，該光學(xué)模型描述上述攝影對象表面的光的反射、散射、透射中的任一個。
因此，觀察者在觀察攝影對象時，可以以手持的感覺富有真實感地進行觀察。
并且，本發(fā)明所涉及的圖像顯示系統(tǒng)，把服務(wù)器裝置中所存儲的攝影對象的圖像顯示在圖像顯示裝置上，其特征在于，上述圖像顯示裝置，包括距離檢測單元，把觀察者和該圖像顯示裝置之間的距離作為觀察距離來檢測；角度檢測單元，把相對于上述觀察者的該圖像顯示裝置的角度，或相對于上述觀察者的該圖像顯示裝置的移動方向作為觀察方向來檢測；顯示切換控制單元，根據(jù)上述觀察距離切換第1顯示模式和第2顯示模式，并請求對應(yīng)于上述第1顯示模式或上述第2顯示模式的上述攝影對象的圖像，顯示對應(yīng)于上述請求而接受的上述攝影對象的圖像，上述第1顯示模式根據(jù)上述觀察距離改變顯示倍率，并顯示上述攝影對象的圖像，上述第2顯示模式根據(jù)上述觀察方向，顯示上述攝影對象表面的法線方向不同的圖像；收發(fā)信單元，通過網(wǎng)絡(luò)把基于上述請求的圖像請求信號發(fā)送給服務(wù)器裝置，并接收對應(yīng)于上述圖像請求信號的圖像；上述服務(wù)器裝置與上述網(wǎng)絡(luò)連接，并包括攝影對象數(shù)據(jù)庫，存儲上述攝影對象的整體圖像，并根據(jù)上述圖像請求信號發(fā)送圖像；放大圖像數(shù)據(jù)庫，存儲對應(yīng)于顯示倍率的攝影對象的一部分圖像，并按照上述圖像請求信號發(fā)送圖像；以及傾斜變化近攝圖像數(shù)據(jù)庫，存儲對上述攝影對象的一部分圖像在上述法線方向上賦予傾斜而生成的傾斜變化近攝圖像，并按照上述圖像請求信號發(fā)送圖像。
而且，本發(fā)明不僅可以實現(xiàn)作為上述的圖像顯示裝置，還可以把這樣的圖像顯示裝置所含有的有特征的單元作為圖像顯示方法所含有的步驟來實現(xiàn)，或?qū)⑦@些步驟是通過計算機執(zhí)行的程序來實現(xiàn)。并且，這樣的程序也可以通過CD-ROM等記錄媒體或因特網(wǎng)等傳送媒體進行傳送也是不言而喻的。
根據(jù)本發(fā)明所的圖像顯示裝置，在將攝影對象商品的輸入圖像顯示在便攜式顯示器等小型顯示器上時，利用傳感器來取得顯示器與觀察者的距離即觀察距離，并按照觀察距離，可以連續(xù)地觀察從攝影對象的實際攝影圖像到表面微細(xì)構(gòu)造。
在此所提示的圖像的生成方法，根據(jù)觀察距離遠(yuǎn)和觀察距離近的情況而不同。在觀察距離為遠(yuǎn)的范圍中，是實際攝影圖像縮小的狀態(tài)，在觀察距離為近的范圍中，是以事先用實際樣品測定的攝影對象的詳細(xì)的紋理圖像，或者是切換為將此紋理圖像繪制在任意面的計算機圖形學(xué)圖像。此效果為，在觀察距離遠(yuǎn)的情況下，是把顯示器的邊緣作為視窗以遠(yuǎn)景來觀察攝影對象的狀態(tài)，在距離近的情況下，是把攝影對象表面看做顯示器表面本身。
即，即使是狹小的便攜式顯示器，用戶也可以把顯示器作為視窗觀察的同時把握攝影對象的整體，而后將其拉近，這時能夠以手持的感覺富有真實感地進行觀察，并可以大幅度地提高在線購物的實用性。


圖1是示出以往的圖像顯示裝置的圖。
圖2是示出實施方式1的圖像顯示裝置的結(jié)構(gòu)的框圖。
圖3(a)是示出實施方式1的接近過程狀態(tài)的觀察距離和假定攝影對象位置關(guān)系的圖；(b)是示出第1實施方式的最大接近狀態(tài)的觀察距離和假定攝影對象位置關(guān)系的圖。
圖4是示出實施方式1的接近過程狀態(tài)下顯示接近標(biāo)記的圖。
圖5(a)是示出實施方式1中顯示目標(biāo)標(biāo)記的圖；(b)是示出實施方式1中顯示目標(biāo)標(biāo)記及接近標(biāo)記的圖；(c)是示出實施方式1中顯示目標(biāo)標(biāo)記及接近標(biāo)記反應(yīng)區(qū)域的圖；(d)是示出實施方式1中顯示放大圖像的圖；(e)是示出實施方式1中顯示放大圖像的圖。
圖6是示出實施方式1中最大接近狀態(tài)下的顯示的圖。
圖7是示出實施方式1的圖像顯示方法的順序的流程圖。
圖8是示出實施方式1中顯示攝影裝置結(jié)構(gòu)的圖。
圖9是示出實施方式1的傾斜圖像數(shù)據(jù)庫的圖。
圖10是示出觀察距離和顯示倍率關(guān)系的圖。
圖11是示出實施方式2的圖像顯示裝置的結(jié)構(gòu)的框圖。
圖12(a)是示出實施方式2中最大接近狀態(tài)的照明檢測的圖；(b)、(c)是示出實施方式2中最大接近圖像的生成過程的圖。
圖13是示出實施方式2中攝影裝置的結(jié)構(gòu)的圖。
圖14是示出實施方式2中圖像顯示方法的順序的流程圖。
圖15是示出實施方式3中圖像顯示裝置的結(jié)構(gòu)的框圖。
圖16是示出實施方式3中最大接近狀態(tài)下的距離檢測狀態(tài)的圖。
圖17是示出實施方式3中攝影裝置的結(jié)構(gòu)的圖。
圖18是示出實施方式3中圖像顯示方法的順序的流程圖。
具體實施例方式
以下參照附圖詳細(xì)說明有關(guān)本發(fā)明的實施方式。
<實施方式1>
圖2是示出實施方式1的圖像顯示裝置的結(jié)構(gòu)得框圖，以在利用便攜式顯示終端進行在線購物時，觀察者能夠以高真實感來觀察商品圖像為目的。在此，本發(fā)明中的高真實感地觀察是指連續(xù)、無意識地對商品進行精細(xì)觀察，此觀察不僅是對商品的整體，而且也是在邊用手觸摸邊斟酌實際商品的狀態(tài)下對商品的一部分的局部區(qū)域的觀察。
圖像顯示裝置110是觀察者手中所持的能夠自由移動的裝置，例如，便攜式顯示終端等的裝置，如圖2所示，該裝置具有傳感器部101、距離檢測部102、角度檢測部103、接近狀態(tài)檢測部104、顯示切換控制部105、標(biāo)記生成部108、圖像顯示部109、以及收發(fā)信部111。并且，圖像顯示裝置110通過網(wǎng)絡(luò)112，與攝影對象數(shù)據(jù)庫113、放大圖像數(shù)據(jù)庫106以及傾斜變化近攝圖像數(shù)據(jù)庫107相連接。
在此，圖像顯示部109是顯示圖像的裝置，例如，液晶顯示板等。傳感器部101是用于檢測用戶使用圖像顯示裝置110的狀況的攝像機等由光學(xué)攝像系統(tǒng)、超聲波傳感器、加速度傳感器或由它們的組合構(gòu)成的復(fù)合傳感器系統(tǒng)。距離檢測部102根據(jù)傳感器部101輸出的信號檢測與觀察者的距離。角度檢測部103根據(jù)傳感器部101輸出的信號檢測以觀察者為基準(zhǔn)的手持位置的角度。
另外，接近狀態(tài)檢測部104檢測觀察者是怎樣地逐漸接近圖像顯示部109的狀態(tài)。顯示切換控制部105根據(jù)接近狀態(tài)檢測部104的結(jié)果，適當(dāng)處理圖像，并顯示在圖像顯示部109上。標(biāo)記生成部108生成標(biāo)記圖像，該標(biāo)記圖像用于向用戶顯示圖像上的接近位置。
另外，攝影對象數(shù)據(jù)庫113預(yù)先存儲商品的整體圖像數(shù)據(jù)。放大圖像數(shù)據(jù)庫106為了生成商品圖像的特定部位的連續(xù)的放大圖像(商品的一部分圖像)，預(yù)先存儲圖像數(shù)據(jù)。傾斜變化近攝圖像數(shù)據(jù)庫107為了生成對接近的詳細(xì)圖像賦予傾斜來觀察的圖像，預(yù)先存儲圖像數(shù)據(jù)。收發(fā)信部111在放大圖像數(shù)據(jù)庫106或傾斜變化近攝圖像數(shù)據(jù)庫107之間，進行必要的圖像數(shù)據(jù)的收發(fā)。網(wǎng)絡(luò)112連接圖像顯示裝置110和放大圖像數(shù)據(jù)庫106以及傾斜變化近攝圖像數(shù)據(jù)庫107。
在此，從傳感器部101輸出的信號在距離檢測部102及角度檢測部103被處理，檢測從圖像顯示裝置110到觀察者的距離，以及以觀察者為基準(zhǔn)的圖像顯示裝置110的手持位置的角度。并且，關(guān)于利用攝像機等光學(xué)攝像系統(tǒng)檢測距離及角度的方案，在上述文獻“能夠以用戶的視點來控制視場的提示系統(tǒng)(ユ一ザの視點にょる視野コントロ一ルが可能な提示システム)”中有詳細(xì)地說明，因此這里省略該說明。
由于作為切換商品圖像和該處理內(nèi)容，預(yù)先存儲了離散的圖像，以便如后述那樣能夠把商品的整體圖像到詳細(xì)的部分作為圖像來顯示，因此，顯示切換控制部105以實際時間連續(xù)地插補該離散的圖像來生成圖像。
標(biāo)記圖像被適當(dāng)?shù)睾铣珊箫@示于構(gòu)成便攜式顯示器的圖像顯示部109并。關(guān)于接近狀態(tài)檢測部104的動作進行說明。在圖3中，假定攝影對象201是置于假定的遠(yuǎn)距離的攝影對象，圖像顯示裝置110顯示攝影對象。
并且，將假定攝影對象201和觀察者的攝影對象距離設(shè)為D1、D2；將觀察者和圖像顯示裝置110之間的距離設(shè)為觀察距離Z1、Zt；將假定攝影對象201的縱向的實際尺寸設(shè)為H；將在觀察距離Z1中的顯示尺寸設(shè)為H1；將在觀察距離Zt中的顯示尺寸設(shè)為H2。
圖3(a)示出攝影對象距離D1比觀察距離遠(yuǎn)的情況；圖3(b)示出攝影對象距離D2和觀察距離Zt相同的情況。如圖3(a)所示，將攝影對象距離D1比觀察距離Z1比較大的狀態(tài)稱作接近過程狀態(tài)，與把從商品的整體圖像到詳細(xì)部分作為圖像大致觀察的行為對應(yīng)。這是將圖像顯示裝置110作為視窗，相當(dāng)于觀看遠(yuǎn)距離的攝影對象的狀態(tài)，圖像顯示裝置110即使是狹小的畫面也能夠觀察商品的全景。
在此，圖3(b)示出隨著觀察距離Z1的逐漸接近，假定攝影對象201被拉近到圖像顯示裝置110的狀態(tài)。并且，關(guān)于攝影對象距離D的變化量，通過由觀察距離Z的變化量上乘以任意設(shè)定的常數(shù)，就可以在圖像顯示裝置110上顯示從攝影對象的整體到攝影對象的一部分。在觀察距離Z的變化量上相乘的常數(shù)可以利用假定攝影對象的縱向的實際尺寸H來計算。
在此過程中，假定攝影對象201的圖像被逐漸放大，顯示倍率增加。并且，當(dāng)觀察距離成為Zt時，也是假定攝影對象201最接近的位置，稱為最大接近狀態(tài)。此時的攝影對象距離為D2。并且，當(dāng)Zt與D2相等時，商品的表面成為與顯示器表面相同的位置，商品的實際尺寸以倍率1∶1顯示。此時，便攜式顯示器的畫面上已經(jīng)能夠顯示攝影對象的一部分，能夠制作與提示的狀態(tài)接近的狀態(tài)，該提示狀態(tài)是指提示像將商品拿在手中仔細(xì)觀察那樣的光澤感、材質(zhì)感、凹凸感等的狀態(tài)。顯示倍率m是觀察距離和攝影對象距離的比，為(公式1)。(表1)示出接近過程狀態(tài)和最大接近狀態(tài)中的顯示倍率、觀察距離、以及畫面上顯示尺寸的關(guān)系。
m＝Z1/D1＝H1/H(公式1)
表1

假設(shè)H＝1(m)的攝影對象，當(dāng)D1＝10(m)、Z1＝40(cm)、Zt＝20(cm)時，對于假定的攝影對象，通過將圖像顯示裝置110從觀察距離40(cm)拉近到20(cm)，攝影對象距離從D1被拉近到D2，即從10(m)拉近到20(cm)，在此情況下的顯示倍率從4(％)被放大到100(％)，畫面顯示裝置110上顯示的尺寸從接近縱向尺寸的4(cm)變化到大出畫面顯示裝置110的1(m)的實際尺寸。其結(jié)果，在攝影對象距離為D2時，在畫面顯示裝置110上顯示攝影對象的縱向1(m)中的4(cm)，即只顯示為4(％)的一部分。
接近狀態(tài)檢測部104的動作是對顯示倍率m進行判斷，當(dāng)m＜1時為接近過程狀態(tài)，當(dāng)m＝1時為最大接近狀態(tài)。這可以利用(表1)所示的觀察距離Z、假定的攝影對象距離D以及畫面上的尺寸的關(guān)系來判斷。在此，關(guān)于Zt的具體數(shù)值，在上述中為20(cm)，這是因為與圖像顯示裝置110過于接近地觀察，不僅導(dǎo)致在觀察時人的眼睛的調(diào)節(jié)機能上的不便，就連圖像顯示裝置110的顯示器像素結(jié)構(gòu)都會被觀察到，因此最好是通常能夠清楚的看到顯示器的距離，所以上述20(cm)是假定的數(shù)值。
并且，在本實施方式中，設(shè)D2＝Zt，在最大接近狀態(tài)下，攝影對象和觀察距離處于相同位置，這兩者的關(guān)系從人機界面的觀點來看，以主觀評價實驗等經(jīng)驗來決定，基本上是任意的。因此，在判斷接近過程狀態(tài)和最大接近狀態(tài)時，并非局限于(表1)，也可以利用顯示倍率、畫面上尺寸、觀察距離中的任何一個，其閾值也是任意的。
在本實施方式中，根據(jù)以上所述的接近過程狀態(tài)(第1顯示模式)和最大接近狀態(tài)(第2顯示模式)這2個狀態(tài)，傳感器的輸出即距離檢測和角度檢測結(jié)果的使用方法及控制顯示圖像的方法不同。
首先，利用圖4對接近過程狀態(tài)的情況的圖像顯示裝置110的動作進行說明。圖4是觀察者觀察在顯示畫面上顯示的商品圖像即毛衣的狀態(tài)。在此圖中使用的坐標(biāo)軸XYZ是以觀察者的頭部301為原點固定的。
最初，觀察者觀察商品的整體圖像，當(dāng)想觀察毛衣表面的詳細(xì)情況時，將商品圖像的一部分作為目標(biāo)手持圖像顯示裝置110接近。此時，角度檢測部103將該動作作為Z軸上的距離ΔZ、X軸周圍的回轉(zhuǎn)角俯仰角(pitch)Δθ、Y軸周圍的回轉(zhuǎn)角轉(zhuǎn)動角(yaw)Δψ來檢測。此時，如果角度微小則以下的關(guān)系式成立，能夠從角度算出ΔX及ΔY。除此之外，也可以直接檢測Y軸方向的位移ΔY、X軸方向的位移ΔX。以下，在接近過程狀態(tài)的圖像顯示裝置110的移動量表記利用ΔX、ΔY。
ΔXZ·ΔψΔYZ·Δθ(公式2)像(公式2)那樣，利用ΔX、ΔY的檢測結(jié)果，在顯示切換控制部105中，上下左右移動圖像上顯示觀察者所希望的接近位置的接近標(biāo)記304，在商品圖像上合成并顯示。對接近標(biāo)記304的移動方向和ΔX及ΔY的方向關(guān)系不進行規(guī)定，在本實施方式中對于ΔX及ΔY做逆向移動來進行顯示。例如，面對圖像顯示裝置110，用手將該裝置向左移動時，意味著讓接近位置稍微向商品圖像的中心右側(cè)偏移，接近標(biāo)記304也隨之偏移到移動前的圖像上的位置的右邊。
如上述那樣，觀察者邊拿著圖像顯示裝置110邊觀看接近標(biāo)記304，對商品圖像上的接近位置進行調(diào)整，同時沿Z軸移動，并根據(jù)距離檢測部102來檢測移動的位移ΔZ。
并且，顯示切換控制部105按照Z軸方向的ΔZ的距離移動，將商品圖像的上述接近區(qū)域作為中心進行圖像的放大顯示。此時的顯示倍率如(表1)所示可以作為Z1和D1的比來設(shè)定。
如以上所示，在本實施方式中，檢測觀察者的視線，并不是檢測上述角度。實際上，在便攜式的圖像顯示裝置110中，由于畫面狹小，觀察者不能在畫面內(nèi)自由移動視線，視線經(jīng)常是被固定在連接觀察者的眼睛和便攜式圖像顯示裝置110的直線上。但是，如圖4所示，在接近相對于商品圖像的中心偏向上下左右的位置時，作為代替視線檢測，可以進行把觀察者作為原點的便攜式圖像顯示裝置110的位置檢測。
因此，在本實施方式的接近過程狀態(tài)中，觀察者不使Z值變化而手持圖像顯示裝置110在XY平面內(nèi)移動時，被顯示的圖像自身不發(fā)生變化，只是接近標(biāo)記304的位置發(fā)生變化。
下面，利用圖5對在圖4中說明的以接近過程狀態(tài)顯示的圖像進行說明。想像對于畫面狹小的便攜式圖像顯示裝置110而言，指定正確的接近部位是非常困難的。因此，在本實施方式中，預(yù)先設(shè)定能夠接近的區(qū)域，進一步，將圖像顯示裝置110在XY軸方向移動時，將可接近區(qū)域作為目標(biāo)標(biāo)記401來顯示，使之與接近標(biāo)記304相吻合，通過移動圖像顯示裝置110來進行目標(biāo)標(biāo)記401的選擇。在此，圖5(a)是表示目標(biāo)標(biāo)記401的圖像顯示裝置110；圖5(b)是由接近標(biāo)記304選擇任意的目標(biāo)標(biāo)記401的圖像顯示裝置110；圖5(c)是通過將接近標(biāo)記304移動到目標(biāo)標(biāo)記401的一定范圍內(nèi)，來選擇目標(biāo)標(biāo)記401的圖像顯示裝置110；圖5(d)是示出由接近標(biāo)記304選擇的可接近區(qū)域的放大圖像的圖像顯示裝置110；圖5(e)示出將所選擇的可接近區(qū)域進一步放大的圖像顯示裝置110。
首先，在圖5(a)中，作為可接近區(qū)域準(zhǔn)備(A)(B)(C)這3種，并顯示目標(biāo)標(biāo)記401，該目標(biāo)標(biāo)記401表示在商品圖像的整體圖像上可接近的位置。
然后，觀察者手持圖像顯示裝置110，通過向XY軸方向移動，如圖5(b)所示，移動并顯示接近標(biāo)記304，選定作為商品圖像的接近對象的任意目標(biāo)標(biāo)記401。作為接近目標(biāo)的局部區(qū)域的設(shè)定方法，存在各種實現(xiàn)模式，特別是在顯示畫面為較大畫面的情況下，為了以比較大的面積來提示商品圖像，最好進行自由設(shè)定。
該部分的用戶界面可以考慮是各種方式。例如，也可以是最初在商品圖像上不顯示目標(biāo)標(biāo)記401，在由觀察者手持移動的行為產(chǎn)生了接近標(biāo)記304時，才顯示與接近標(biāo)記304最接近的目標(biāo)標(biāo)記401。
并且，也可以是如圖5(c)所示，當(dāng)接近標(biāo)記304進入離目標(biāo)標(biāo)記401一定距離內(nèi)的接近標(biāo)記反應(yīng)區(qū)域402時，被自動地判斷為與該目標(biāo)標(biāo)記401接近。并且，一旦確定了接近地點后，為了不妨礙觀察圖像，還考慮過消除已經(jīng)顯示的接近標(biāo)記304或目標(biāo)標(biāo)記401。
下面，在接近過程狀態(tài)中，對于靜止圖像，在選擇接近的區(qū)域的同時使觀察距離接近該部位時，在放大圖像數(shù)據(jù)庫106中所存儲的放大圖像則如圖5(d)所示那樣顯示，再通過觀察者將圖像顯示裝置110向Z軸方向移動，如圖5(e)所示，為了得到將商品圖像的特定部位向中心連續(xù)且逐漸接近的感覺，將在Z軸方向上被放大的放大圖像逐次顯示。
該放大圖像數(shù)據(jù)庫106對各可接近區(qū)域(A)、(B)、(C)，預(yù)先存儲連續(xù)的放大圖像，或者將高精細(xì)圖像經(jīng)過圖像處理來實現(xiàn)連續(xù)放大等方法來實現(xiàn)。不管怎樣，因為高精細(xì)圖像所必須的面積被限定在可接近的區(qū)域，所以存在有圖像存儲量比攝影對象整體的高精細(xì)圖像的存儲少。并且，在該過程中的圖像的取得中，能夠通過利用后述的裝置來實現(xiàn)。
下面，利用圖6對最大接近狀態(tài)進行說明。
以作為商品圖像的毛衣為例，相當(dāng)于在看實際商品時，為了研究毛衣的表面花紋或編織、纖維的質(zhì)量、手感等，對充分接近特定部位來進行并確認(rèn)。在此情況下，顯示切換控制部105以與接近過程狀態(tài)不同的動作來顯示圖像。
首先，在最大接近狀態(tài)下，在畫面顯示部109的整體顯示商品圖像的特定區(qū)域，在此例中毛衣的毛線編織針眼被顯示出來。在此，和以前同樣，當(dāng)手持圖像顯示裝置110傾斜時，角度檢測部103把圖像顯示裝置110的傾斜以Z軸上的距離ΔZ、X軸周圍的回轉(zhuǎn)角俯仰角Δθ、Y軸周圍的回轉(zhuǎn)角轉(zhuǎn)動角Δψ來檢測。
但是，在最大接近狀態(tài)下，攝影對象距離D比觀察距離Zt大時，Z軸方向的距離ΔZ只用于再次返回接近過程狀態(tài)，只檢測Δθ、Δψ這2個角度，對一定照明、一定視角的觀察者顯示攝影對象的表面傾斜發(fā)生了變化的狀態(tài)的圖像，能夠高真實感地提示真實的表面材質(zhì)感、凹凸感等。
另外，利用圖7的流程圖，對如在上述的最大接近狀態(tài)下的圖像顯示方法進行說明。首先，在S601，距離檢測部102測定觀察距離Z。然后，在S602，角度檢測部103測定(Δψ、Δθ)。
而后，在S603，接近狀態(tài)檢測部求出顯示倍率，進行觀察狀態(tài)的判斷。并且，在此檢測中，并非限定于顯示倍率的數(shù)值，從(表1)中可以清楚地知道也可以利用觀察距離。在此，檢測到接近過程狀態(tài)的情況下，轉(zhuǎn)移到S606；當(dāng)最大接近狀態(tài)被檢測的情況下，轉(zhuǎn)移到S604。
首先，在接近過程狀態(tài)的情況下，在S606，標(biāo)記生成部108在圖像上顯示接近標(biāo)記304、目標(biāo)標(biāo)記401。然后，在S607，顯示切換控制部105根據(jù)(Δψ、Δθ)實施(ΔX、ΔY)的接近區(qū)域的選擇。
然后，在S608中，顯示切換控制部105進行放大圖像數(shù)據(jù)庫106的檢索，將該放大圖像作為向目標(biāo)接近區(qū)域移動的圖像，連續(xù)輸出給圖像顯示部109。然后，在S609，圖像顯示部109將放大圖像與商品圖像重合來顯示。
然后，在最大接近狀態(tài)的情況下，在S604，顯示切換控制部105根據(jù)角度(Δψ、Δθ)計算傾斜變化，來進行傾斜變化近攝圖像數(shù)據(jù)庫107的檢索，再現(xiàn)近攝圖像的傾斜變化。
然后，在S605，圖像顯示部109將檢索到的近攝圖像顯示在圖像顯示部109上。在此，觀察距離Z的變化對近攝圖像不產(chǎn)生任何變化，當(dāng)觀察距離Z變大時再次返回到接近過程狀態(tài)。狀態(tài)依賴于這樣的觀察距離Z來發(fā)生變化的系統(tǒng)中，有時因傳感器系統(tǒng)的干擾而發(fā)生狀態(tài)劇烈變動的現(xiàn)象，因此對系統(tǒng)賦予一種滯后特性或平滑特性的方案是有效的。
以上，結(jié)束了對實施方式1中的圖像顯示方法、圖像顯示裝置110的說明。
下面，對所利用的圖像數(shù)據(jù)庫的取得方法進行說明。圖8示出一種攝影裝置，該攝影裝置以一定的照明及一定的攝影角度，將攝影對象701傾斜各種角度同時，僅對該攝影對象701即毛衣的任意的特定區(qū)域進行攝影。
傾斜臺702是放置作為攝影對象701的毛衣的平臺，傾斜角度可變。自動架臺裝置703包括2個機構(gòu)，即，其中一個機構(gòu)是使傾斜臺702的面法線方向以Δψ和Δθ的2個自由度傾斜的機構(gòu)，另一個機構(gòu)是使傾斜臺702在XY軸方向上平行移動的機構(gòu)。照明燈704通過生成平行光的鏡頭705，以約為22度的入射角照射攝影對象701。
攝像機706被設(shè)定在與XY軸平面垂直方向的Z軸方向上的從遠(yuǎn)距離到近距離的位置上，對攝影對象701進行攝影。
在圖8中，通過將攝像機706在Z軸方向的移動，來制作攝影對象701的放大圖像，也可以用攝像機706的鏡頭的變焦機構(gòu)來簡便地代用。
首先，對攝影對象701的放大圖像進行圖像數(shù)據(jù)庫化的順序進行說明。
在此，在接近過程狀態(tài)中，對靜止圖選擇接近區(qū)域的同時，需要生成放大圖像，以便得到向該部位連續(xù)且逐漸接近的感覺。
首先，決定與可接近區(qū)域(A)、(B)、(C)對應(yīng)的攝影對象701上的選定區(qū)域711，平行移動自動架臺裝置703，將攝像機706設(shè)置在與可接近區(qū)域的正上方一致的位置。
然后，使攝像機708在Z軸方向上移動的同時對接近狀況的圖像進行連續(xù)攝影，并將攝影圖像存儲到放大圖像數(shù)據(jù)庫106中。
如上所述，可制作在接近過程狀態(tài)下的可接近區(qū)域的放大圖像。
下面，對將攝影對象701的傾斜變化近攝圖像進行圖像數(shù)據(jù)庫化的順序進行說明。
在最大接近狀態(tài)中，如圖6所述，需要將圖像顯示裝置110與X軸周圍和Y軸周圍的回轉(zhuǎn)角相對應(yīng)的圖像。為此，以Δψ和Δθ這2個變量角度使傾斜臺702傾斜，再次逐次進行攝影，如圖9所示，作為二維的圖像數(shù)據(jù)庫，存儲在傾斜變化近攝數(shù)據(jù)庫107中。另外，雖然在圖9中，將上述的傾斜角度范圍設(shè)為±30度，但其他的數(shù)值也沒有關(guān)系。
并且，從上述的2種圖像數(shù)據(jù)庫中生成實際的顯示圖像是顯示切換控制部105的機能，與觀察距離D對應(yīng)，在接近過程狀態(tài)下，檢索放大圖像數(shù)據(jù)庫106，必要時可以對放大圖像邊做適當(dāng)插補邊顯示；在最大接近狀態(tài)下，根據(jù)Δθ、Δψ檢索傾斜變化近攝圖像數(shù)據(jù)庫107，必要時可以對傾斜變化近攝圖像實施適當(dāng)插補并顯示。
并且，在接近過程狀態(tài)中，觀察距離和顯示倍率的關(guān)系如圖10所示，可以像直線801那樣，與觀察距離(Zmax到Zt)相對應(yīng)地使顯示倍率均勻增加，也可以像曲線802及曲線803那樣，使之偏離并與觀察距離相對應(yīng)地增加顯示倍率。在圖10中從觀察距離Zt到Zmin為最大接近狀態(tài)。
并且，觀察距離Zmax、觀察距離Zmin、作為最大接近狀態(tài)的觀察距離Zt不僅利用預(yù)先設(shè)定的值，也可以是觀察者作為初始設(shè)定來設(shè)定。例如，觀察者手持圖像顯示裝置110最大限度地伸展手臂的狀態(tài)下設(shè)定觀察距離Zmax，在觀察者能夠確認(rèn)圖像的范圍內(nèi)最接近圖像顯示裝置110的狀態(tài)下設(shè)定觀察距離Zmin，觀察者可以在希望的位置設(shè)定作為最大接近狀態(tài)的觀察距離Zt。
<實施方式2>
在實施方式1中，對于這樣的圖像顯示裝置進行了說明，即，與攝影對象表面的面法線傾斜的2個自由度的變化相對應(yīng)，將在攝影中使用的一定的照明下的圖像作為最大接近圖像來使用的圖像顯示裝置110；在實施方式2中對如下情況進行說明，即，觀察者在屋外或屋內(nèi)使用本圖像顯示裝置時，在最大接近圖像的觀察中，合成并顯示當(dāng)前照明下的將要觀察的最大接近圖像。
作為在一般的照明下的任意的觀察中記述表面特性的方法，在近年的計算機圖形學(xué)領(lǐng)域中，經(jīng)常使用的概念是雙向反射分布函數(shù)(bidirectional reflectance distribution functionBRDF)和將BRDF擴展為二維圖像的雙向紋理函數(shù)(bidirectional texture functionBTF)。BRDF是4個變量的函數(shù)，如(公式3)所示，是以入射放射亮度L的照度E作為正規(guī)化來定義的，上述4個變量的函數(shù)是指，僅對表面上的1點用球坐標(biāo)表現(xiàn)照明的入射角(α、β)，以及同樣用球坐標(biāo)來表現(xiàn)觀察視角的(θe、e)。
BRDF(α、β，θe，e)＝L(θe，e)/E(α、β)(公式3)此外，BTF是將BRDF擴展到具有一定面積的圖像區(qū)域的函數(shù)，是(α、β、θe、e)和(X、Y)合計6個變量的函數(shù)，相對于以往的紋理而言，也被稱為三維紋理。若該一定面積內(nèi)的照度一定，則BTF如(公式4)所述，把從視角方向的亮度圖像利用據(jù)從某個角度的照明的照度得到正規(guī)化的BTF。
BTF(α、β，θe，e，X，Y)＝L(θe，e，X，Y)/E(α、β)(公式4)因此，在實施方式2中，將通過使用該BTF來進行更富有真實感的顯示作為其目的。圖11是示出實施方式2的圖像顯示裝置的結(jié)構(gòu)的框圖，與圖2不同的部分是，照明方向檢測部901、照度檢測部902、BTF數(shù)據(jù)庫903以及繪制部904。另外，與圖2相同號碼的構(gòu)成要素的動作與實施方式1相同，因此在此省略說明。
圖像顯示裝置905是觀察者手持的能夠自由移動的例如便攜式顯示終端等裝置，如圖11所示，具有照明方向檢測部901、照度檢測部902、繪制部904、傳感器部101、距離檢測部102、角度檢測部103、接近狀態(tài)檢測部104、顯示切換控制部105、標(biāo)記生成部108、圖像顯示部109以及收發(fā)信部111。并且，圖像顯示裝置905通過網(wǎng)絡(luò)112，與攝影對象數(shù)據(jù)庫113、BTF數(shù)據(jù)庫903、放大圖像數(shù)據(jù)庫106以及傾斜變化近攝圖像數(shù)據(jù)庫107連接。
圖12(a)示出照明方向檢測和所顯示的繪制后的圖像。照明方向檢測部901檢測如圖12所示的觀察者在屋外或屋內(nèi)使用圖像顯示裝置905時的環(huán)境照明的方向(α、β)、及照度E。照度檢測部902檢測在屋外或屋內(nèi)使用圖像顯示裝置905時的環(huán)境照明的顯示面照度。在這些照明光的檢測中，也可以處理來自實施方式1中的傳感器部101的信號并加以利用，也可以利用附加的照度傳感器等來進行。在BTF數(shù)據(jù)庫903中，存儲預(yù)先測定攝影對象的特定區(qū)域來得到的BTF。繪制部將要在觀察照明下觀察的攝影對象的最大接近圖像的亮度，作為以如(公式5)所示的BTF和照明的照度的乘積所表現(xiàn)的亮度來生成。
L(θe，e，X，Y)＝BTF(α，β，θe，e，X，Y)×E(α、β) (公式5)在利用實測的BTF的圖像庫的計算機圖形學(xué)的繪制中，因為需要攝影對象的三維模型或表面法線，所以需要用另外的激光掃描等特殊的裝置來計測。然而，在本實施方式中，攝影對象是如毛衣等可以改變形狀的物體，因為將BTF適用于比較局部的最大接近圖像，所以不需要取得攝影對象的表面形狀。
在此，在本實施方式中，如圖12(b)、(c)所示，假設(shè)作為任意的假想的平面及曲面的假想曲面1002，通過把BTF1003作為三維文理適用于該假想曲面1002，來生成最大接近圖像1001，并顯示在圖像顯示裝置905上。另外，圖12(b)示出假想曲面1002為凸?fàn)畹那闆r，圖12(c)示出假想曲面1002為凹狀的情況。并且，可以把假想曲面1002是凸?fàn)钸€是凹狀顯示在圖像顯示部109上。這樣，對于任意的平面、特別是曲面適用BTF時，能夠明確判明與照明的變化對應(yīng)的表面的紋理，可以得到宛如拿在手中斟酌的感覺的效果。為了這個目的，可將在繪制中使用的假想曲面1002與用戶手持的樣子相結(jié)合來自由指定和變更。
圖13示出用于測定攝影對象的BTF的攝影裝置1103，在與圖8的攝影裝置712相同的部分附有相同的編號，與圖8不同點是附加有關(guān)于照明角度α的照明角度移動機構(gòu)1101，在自動架臺裝置703上附加了關(guān)于角度β的攝影對象回轉(zhuǎn)機構(gòu)1102。
對于攝影裝置1103的使用方法進行說明。由于接近過程狀態(tài)與圖8的動作相同，因此省略說明。以下對最大接近狀態(tài)進行說明。在BTF測定的情況下，因為將用攝像機706觀察的像素值直接作為亮度值來使用，預(yù)先校準(zhǔn)攝像機706的OETF(光電轉(zhuǎn)換函數(shù))來使之成為線性亮度。在攝像機706的位置，當(dāng)為最大接近狀態(tài)時，首先，對于攝像機視角將照明角度α固定在22.5°的初始位置，對于XY坐標(biāo)系將攝影對象回轉(zhuǎn)機構(gòu)1102固定在β＝0°的初始位置。在以上的設(shè)定狀態(tài)中，通過Δψ和Δθ這2個變量，對傾斜臺702賦予傾斜，再次逐次進行攝影。進一步，對于攝像機視角將照明位置移動到45°的位置上，再次通過Δψ和Δθ這2個變量，邊傾斜邊攝影，并每次傾斜22.5°實施到157.5°。
然后，在攝影對象回轉(zhuǎn)機構(gòu)1102中，使角度β每隔一定的角度進行回轉(zhuǎn)，再次使照明角度α從22.5°回轉(zhuǎn)到157.5°，重復(fù)同樣的測定。以上，結(jié)束了包括照明角度的2個自由度(α、β)的測定，并將此結(jié)果作為BTF數(shù)據(jù)庫903來保存。
另外，在圖13的攝影裝置1103中，雖然固定攝像機706而使照明角度α發(fā)生了變化，也可以是固定照明燈704而使移動攝像機角度來實現(xiàn)。而且，在此用于測定BTF的角度刻度幅度22.5°等數(shù)值只是作為一個例子，可以使用任意的值。在實際的計算中，使用得更多的是對這些測定值進行適當(dāng)?shù)夭逖a后的值。
以下，圖14示出在實施方式2中的圖像顯示方法的流程圖。與圖7的流程圖不同的部分是從S1201到S1204。在此，省略從S601到S603、從S606到S609的說明。
首先，在S1201，照明方向檢測部901進行觀察照明角度的測定，照度檢測部902進行觀察照明照度的測定。
然后，在S1202，顯示切換控制部105將BTF請求信號輸出給收發(fā)信部111，該BTF請求信號用于檢索與照明角度及照度相應(yīng)的BTF；收發(fā)信部111通過網(wǎng)絡(luò)，將BTF請求信號發(fā)送給BTF數(shù)據(jù)庫903；在BTF數(shù)據(jù)庫903中，將與BTF請求信號相應(yīng)的BTF發(fā)送到圖像顯示裝置905。
然后，在S1203，繪制部904生成映射接受的BTF的表面，考慮照明方向和表面的法線來映射BTF，再將施行了繪制的圖像作為最大接近圖像來生成。
然后，在S1204，圖像顯示部109顯示所生成的最大接近圖像。
并且，在繪制中使用的函數(shù)，由于在此以如毛衣表面那樣的紋理為主的表面為例子，所以使用了BTF，但如果是平滑表面，則即使是BRDF也可以得到同樣的效果，在以內(nèi)部散射為主的紙面的表面也可以利用雙向表面散射分布函數(shù)(bidirectional scattering surface reflectancedistribution functionBSSRDF)。
<第3實施方式>
到實施方式2為止，提供了一種在最大接近狀態(tài)下對應(yīng)于Δψ和Δθ的變化只顯示圖像的觀察方向的變化的圖像顯示裝置905。相對于此，在實施方式3中，提供如下的圖像顯示裝置通過使用擴站BTF并考慮距離概念的數(shù)據(jù)庫，來反映對應(yīng)于觀察距離的變化的微妙的近攝圖像距離所產(chǎn)生的變化，從而可以提示作為攝影對象的詳細(xì)圖像的放大圖像。
圖15是本實施方式的圖像顯示裝置1302的結(jié)構(gòu)的框圖，是將圖11的圖像顯示裝置1302中的BTF數(shù)據(jù)庫903置換為可變距離BTF數(shù)據(jù)庫1301而構(gòu)成的。在此，在本發(fā)明中將可變距離BTF稱為DTBF。另外，在其他構(gòu)成要素中，與圖11相同編號的構(gòu)成要素的動作與實施方式1及實施方式2相同，所以在此省略說明。
下面，圖16是示出本實施方式的圖像顯示方法的圖，示出了在最大接近狀態(tài)下，除(Δψ、Δθ)的角度外，顯示圖像的觀察距離還根據(jù)觀察距離Z的變動ΔZ而更接近，由此變?yōu)槟軌蛟敿?xì)觀察表面構(gòu)造1401的圖像的最大接近狀態(tài)。在該狀態(tài)下，達到了觀察距離為Z＜Zt、作為攝影對象的毛衣的毛線編織的構(gòu)造都能夠詳細(xì)地觀察的水平。
DBTF把以往的BTF(α、β、θe、e、X，Y)擴展到距離方向Z上，作為7個變量的紋理函數(shù)，如(公式6)所示，能夠把觀察距離Z的位置的來自視角方向的亮度圖像采用以照明的照度正規(guī)化的量來定義DBTF。
DBTF(α，β，θe，e，X，Y，Z)＝L(θe、e、X，Y，Z)/E(α，β)(公式6)在DBTF數(shù)據(jù)庫1301中，存儲有預(yù)先把攝影對象的特定區(qū)域用特殊的裝置測定得到的DBTF。繪制部904把要在觀察照明下觀察的攝影對象的詳細(xì)圖像的亮度，作為如(公式7)所示的用BTF和照明的照度的積表現(xiàn)的亮度來生成。
L(θe，e，X，Y，Z)＝DBTF(α、β、θe，e，X，Y，Z)×E(α、β)(公式7)在本實施方式中，攝影對象是像毛衣那樣的可變形狀的物體，在為比較局部的詳細(xì)圖像時，通過適用DBTF，不必取得攝影對象的形狀，把假想的平面或曲面假定作為1002，通過把DBTF適用于假想曲面1002，能夠容易生成被繪制的詳細(xì)圖像，并可以把該圖像顯示在圖像顯示裝置1302上。
圖17示出了用于測定攝影對象的DBTF的攝影裝置1502，在與圖13的攝影裝置相同的部分附有相同的編號，進行同樣的動作，因此在此省略說明。相對于實施方式2中圖13所示的攝影裝置，攝像機1501能夠在Z軸方向上移動。另外，在攝影裝置1502中，通過攝像機1501向Z軸方向移動來使攝影對象距離可變，但可以用攝像機1501的鏡頭變焦機構(gòu)來簡便地代用。
對攝影裝置1502的使用方法進行說明。在接近過程狀態(tài)的情況下，與圖13的動作相同，所以在此省略說明。
以下，對于實施方式3的最大接近狀態(tài)，說明DBTF測定。首先，把用攝像機1501觀測的像素值直接用作亮度值，因此預(yù)先校準(zhǔn)攝像機1501的OETF(光電轉(zhuǎn)換函數(shù))使之成為線性亮度。
然后，把攝像機1501移動到最大接近狀態(tài)的位置，將照明角度α固定在相對于攝像機視角22.5°的初始位置，將攝影對象回轉(zhuǎn)機構(gòu)1102固定為相對于XY坐標(biāo)系β＝0°的初始位置。在以上的設(shè)定狀態(tài)中，通過Δψ和Δθ這2個變量對傾斜臺703賦予傾斜，再次逐次進行攝影。
然后，將照明角度α移動到相對于攝像機視角成45°的位置，再次通過Δψ和Δθ這2個變量，邊傾斜邊攝影，并將照明角度α每次傾斜22.5°地依次實施到157.5°。然后，在攝影對象回轉(zhuǎn)機構(gòu)1102中，使角度β每隔一定的角度進行回轉(zhuǎn)，再次使照明角度α從22.5°回轉(zhuǎn)到157.5°，重復(fù)同樣的測定。以上，結(jié)束了包括照明角度的2個自由度(α、β)的測定。
然后，使攝像機1501比實施方式2中的最大接近狀態(tài)的位置更加接近攝影對象，再次重復(fù)測定。另外，在攝影裝置1502中，通過改變距離來實現(xiàn)了攝像機1501向Z軸方向的移動，但也可以利用鏡頭的變焦機構(gòu)來簡便地代用。
把上述結(jié)果作為DBTF數(shù)據(jù)庫1301來保存。而且，在圖17的攝影裝置1502中，固定攝像機1501而移動了照明角度，但也可以固定照明而使攝像機角度移動。而且，在此，用于測定BTF的角度刻度22.5°等的數(shù)值只是作為一個例子，可以使用任意的值。此外，在實際的計算中，可以使用對這些測定值進行了適當(dāng)插補的值。
圖18示出了實施方式3的圖像顯示方法的流程圖。與實施方式2中圖14的流程圖不同的部分是從S1601到S1602。另外，省略從S601到S603、從S606到S609、S1201、S1203及S1204的說明。
首先，在S1601，接近狀態(tài)檢測部104再次驗證顯示倍率，當(dāng)顯示倍率為m＞1時，轉(zhuǎn)移到S1602；當(dāng)顯示倍率為m＝1時，轉(zhuǎn)移到S1202。另外，雖然把最大接近狀態(tài)的條件設(shè)為m＝1，但在實際使用中不設(shè)定為m＝1，而把最大接近狀態(tài)的條件設(shè)定為考慮使用者的便利性的0.9＜m＜1.1等。
然后，在S1602，顯示切換控制部105將DBTF請求信號輸出給收發(fā)信部111，該DBTF請求信號用于檢索與照明角度及照度對應(yīng)的DBTF；收發(fā)信部111通過網(wǎng)絡(luò)，將DBTF請求信號發(fā)送給DBTF數(shù)據(jù)庫1301；在DBTF數(shù)據(jù)庫1301中將與BDTF請求信號對應(yīng)的DBTF發(fā)送到圖像顯示裝置1302。
以后與圖14同樣，在S1203，顯示切換控制部105對DBTF進行映射，再生成作為施行了繪制的圖像的詳細(xì)圖像。
并且，因為在本實施方式中以像毛衣表面那樣的紋理為主的表面為例，所以在繪制中使用的函數(shù)是BTF，如果是平滑表面則即使是BRDF也可以得到同樣的效果。此外，在像內(nèi)部散射為主的紙面的表面上，也可以使用雙向表面散射分布函數(shù)BSSRDE(bidirectional scatteringsurface reflectance distribution function)。
另外，在上述各實施方式中，對從各數(shù)據(jù)庫取得所有的圖像進行顯示的情況進行了說明，但并不限于此。例如，也可以是最初觀察者在商店把商品的圖像拍攝下來，之后顯示該商品的圖像時，整體圖像表示實際拍攝的商品的圖像，在除此之外的接近圖像中從各數(shù)據(jù)庫取得相應(yīng)的商品的圖像來進行表示。
產(chǎn)業(yè)上的可利用性本發(fā)明的圖像顯示裝置以及圖像顯示方法，在線購物等的應(yīng)用中，把攝影對象商品的輸入圖像顯示在便攜式顯示器等小型顯示器時，即使是顯示面積狹小的便攜式顯示器，用戶也可以把顯示器作為一個視窗來觀察的同時把握攝影對象的整體，還可以通過將圖像顯示裝置拉近，能夠以手持的感覺富有真實感地觀察，能夠大幅度提高在線購物的實用性，非常有用。并且，本圖像顯示裝置以及圖像顯示方法，還可以有效地利用于寫實和計算機圖形學(xué)的并用有效的醫(yī)療用途或數(shù)字檔案文件等的博物館用途。
權(quán)利要求
1.一種圖像顯示裝置，顯示攝影對象的圖像，其特征在于，包括距離檢測單元，把觀察者和該圖像顯示裝置之間的距離作為觀察距離來檢測；角度檢測單元，把相對于上述觀察者的該圖像顯示裝置的角度，或相對于上述觀察者的該圖像顯示裝置的移動方向作為觀察方向來檢測；以及顯示切換控制單元，根據(jù)上述觀察距離切換第1顯示模式和第2顯示模式，并以上述第1顯示模式或上述第2顯示模式顯示上述攝影對象的圖像，上述第1顯示模式根據(jù)上述觀察距離改變顯示倍率，并顯示上述攝影對象的圖像，上述第2顯示模式根據(jù)上述觀察方向，顯示上述攝影對象表面的法線方向不同的圖像。
2.根據(jù)權(quán)利要求1所述的圖像顯示裝置，其特征在于，上述圖像顯示裝置還包括接近狀態(tài)檢測單元，根據(jù)上述觀察距離計算出上述圖像的顯示倍率。
3.根據(jù)權(quán)利要求2所述的圖像顯示裝置，其特征在于，在上述觀察距離為預(yù)定距離以下時，上述接近狀態(tài)檢測單元視為上述攝影對象存在于上述預(yù)定距離，并將上述顯示倍率計算為1倍；當(dāng)上述觀察距離大于預(yù)定距離時，上述接近狀態(tài)檢測單元視為上述攝影對象存在于比上述預(yù)定距離遠(yuǎn)處，并將上述顯示倍率計算為不到1倍；當(dāng)由上述接近狀態(tài)檢測單元計算的顯示倍率不到1倍時，上述顯示切換控制單元以上述第1顯示模式顯示上述攝影對象的圖像，當(dāng)上述顯示倍率為1倍時，上述顯示切換控制單元以上述第2顯示模式顯示上述攝影對象的圖像。
4.根據(jù)權(quán)利要求1所述的圖像顯示裝置，其特征在于，在上述第1顯示模式中，上述顯示切換控制單元根據(jù)上述顯示倍率及上述觀察方向來選擇并顯示上述攝影對象的一部分圖像。
5.根據(jù)權(quán)利要求4所述的圖像顯示裝置，其特征在于，上述攝影對象的一部分是預(yù)先決定的區(qū)域；在上述第1顯示模式中，上述顯示切換控制單元根據(jù)上述觀察方向及上述顯示倍率，從多個上述區(qū)域中選擇并顯示一個上述區(qū)域的圖像。
6.根據(jù)權(quán)利要求1所述的圖像顯示裝置，其特征在于，上述圖像顯示裝置還包括標(biāo)記生成單元，在上述第1顯示模式中，對表示上述預(yù)先決定的區(qū)域的第1標(biāo)記進行顯示，并根據(jù)上述觀察方向及上述顯示倍率，來顯示第2標(biāo)記；上述顯示切換控制單元根據(jù)上述第1標(biāo)記及上述第2標(biāo)記的位置關(guān)系，從多個上述區(qū)域中選擇1個上述區(qū)域。
7.根據(jù)權(quán)利要求6所述的圖像顯示裝置，其特征在于，上述標(biāo)記生成單元預(yù)先把上述第1標(biāo)記與上述攝影對象的整體圖像重合來顯示。
8.根據(jù)權(quán)利要求6所述的圖像顯示裝置，其特征在于，當(dāng)上述第2標(biāo)記接近上述第1標(biāo)記表示的區(qū)域時，上述標(biāo)記生成單元將上述第1標(biāo)記與上述攝影對象的整體圖像重合來顯示。
9.根據(jù)權(quán)利要求1所述的圖像顯示裝置，其特征在于，在上述第2顯示模式中，上述顯示切換控制單元根據(jù)上述觀察方向及照明條件，顯示上述攝影對象表面的法線方向不同的圖像。
10.根據(jù)權(quán)利要求1所述的圖像顯示裝置，其特征在于，在上述第2顯示模式中，上述顯示切換控制單元在一定的照明下，顯示上述攝影對象表面的法線方向根據(jù)2個自由度傾斜的圖像。
11.根據(jù)權(quán)利要求1所述的圖像顯示裝置，其特征在于，在上述第2顯示模式中，上述顯示切換控制單元顯示計算機圖形學(xué)圖像，該計算機圖形學(xué)圖像是在一定的照明下對任意的平面或曲面的表面繪制了光學(xué)模型的圖像，該光學(xué)模型描述上述攝影對象表面的光的反射、散射、透射中的任一個。
12.根據(jù)權(quán)利要求11所述的圖像顯示裝置，其特征在于，上述光學(xué)模型是利用攝影對象表面的雙向反射分布函數(shù)、攝影對象表面的雙向表面散射分布函數(shù)、或攝影對象表面的雙向紋理函數(shù)中的任一個來計算的模型，在上述第2顯示模式中，上述顯示切換控制單元顯示計算機圖形學(xué)圖像，該計算機圖形學(xué)圖像是在一定的照明下對任意平面或曲面的表面繪制了上述光學(xué)模型的圖像。
13.根據(jù)權(quán)利要求11所述的圖像顯示裝置，其特征在于，上述光學(xué)模型是利用把觀察距離作為參數(shù)的攝影對象表面的雙向反射分布函數(shù)、把觀察距離作為參數(shù)的攝影對象表面的雙向表面散射分布函數(shù)、或把觀察距離作為參數(shù)的攝影對象表面的雙向紋理函數(shù)中的任一個來計算出的模型；在上述第2顯示模式中，上述顯示切換控制單元顯示計算機圖形學(xué)圖像，該計算機圖形學(xué)圖像是在一定的照明下對任意平面或曲面的表面繪制了上述光學(xué)模型的圖像。
14.根據(jù)權(quán)利要求1所述的圖像顯示裝置，其特征在于，在上述第2顯示模式中，上述顯示切換控制單元根據(jù)上述觀察距離來顯示上述攝影對象的放大圖像。
15.一種圖像顯示系統(tǒng)，把服務(wù)器裝置中所存儲的攝影對象的圖像顯示在圖像顯示裝置上，其特征在于，上述圖像顯示裝置，包括距離檢測單元，把觀察者和該圖像顯示裝置之間的距離作為觀察距離來檢測；角度檢測單元，把相對于上述觀察者的該圖像顯示裝置的角度，或相對于上述觀察者的該圖像顯示裝置的移動方向作為觀察方向來檢測；顯示切換控制單元，根據(jù)上述觀察距離切換第1顯示模式和第2顯示模式，并請求對應(yīng)于上述第1顯示模式或上述第2顯示模式的上述攝影對象的圖像，顯示對應(yīng)于上述請求而接受的上述攝影對象的圖像，上述第1顯示模式根據(jù)上述觀察距離改變顯示倍率，并顯示上述攝影對象的圖像，上述第2顯示模式根據(jù)上述觀察方向，顯示上述攝影對象表面的法線方向不同的圖像；收發(fā)信單元，通過網(wǎng)絡(luò)把基于上述請求的圖像請求信號發(fā)送給服務(wù)器裝置，并接收對應(yīng)于上述圖像請求信號的圖像；上述服務(wù)器裝置與上述網(wǎng)絡(luò)連接，并包括攝影對象數(shù)據(jù)庫，存儲上述攝影對象的整體圖像，并根據(jù)上述圖像請求信號發(fā)送圖像；放大圖像數(shù)據(jù)庫，存儲對應(yīng)于顯示倍率的攝影對象的一部分圖像，并按照上述圖像請求信號發(fā)送圖像；以及傾斜變化近攝圖像數(shù)據(jù)庫，存儲對上述攝影對象的一部分圖像在上述法線方向上賦予傾斜而生成的傾斜變化近攝圖像，并按照上述圖像請求信號發(fā)送圖像。
16.根據(jù)權(quán)利要求15所述的圖像顯示系統(tǒng)，上述服務(wù)器裝置還包括BTF數(shù)據(jù)庫，存儲上述攝影對象的一部分圖像的雙向紋理函數(shù)。
17.根據(jù)權(quán)利要求15所述的圖像顯示系統(tǒng)，上述服務(wù)器裝置還包括可變距離BTF數(shù)據(jù)庫，存儲把上述觀察距離的變化作為參數(shù)的、上述攝影對象的一部分圖像的雙向紋理函數(shù)。
18.根據(jù)權(quán)利要求17所述的圖像顯示系統(tǒng)，其特征在于，在上述服務(wù)器裝置中，把上述觀察距離的變化作為參數(shù)的、上述攝影對象的一部分圖像的雙向紋理函數(shù)，是把上述攝影對象的一部分圖像在攝影對象上的位置、上述觀察距離、照明角度及上述觀察方向作為參數(shù)的函數(shù)。
19.一種攝影裝置，用于權(quán)利要求1所述的圖像顯示裝置，其特征在于，包括臺機構(gòu)，相對于上述攝影對象以2個自由度的角度傾斜，并以1個自由度的角度進行回轉(zhuǎn)；照明單元，以1個自由度的角度變化；以及攝像機單元，以1個自由度的距離變化；對將上述觀察距離的變化作為參數(shù)的、上述攝影對象的一部分圖像的雙向紋理函數(shù)進行測定。
20.一種圖像顯示方法，顯示攝影對象的圖像，其特征在于，包括距離檢測步驟，把觀察者和該圖像顯示裝置之間的距離作為觀察距離來檢測；角度檢測步驟，把相對于上述觀察者的該圖像顯示裝置的角度、或相對于上述觀察者的該圖像顯示裝置的移動方向作為觀察方向來檢測；以及顯示切換控制步驟，根據(jù)上述觀察距離切換第1顯示模式和第2顯示模式，并以上述第1顯示模式或上述第2顯示模式顯示上述攝影對象的圖像，上述第1顯示模式根據(jù)上述觀察距離改變顯示倍率，并顯示上述攝影對象的圖像，上述第2顯示模式根據(jù)上述觀察方向，顯示上述攝影對象表面的法線方向不同的圖像。
21.一種程序，用于顯示攝影對象的圖像，其特征在于，使計算機執(zhí)行以下步驟距離檢測步驟，把觀察者和該圖像顯示裝置之間的距離作為觀察距離來檢測；角度檢測步驟，把相對于上述觀察者的該圖像顯示裝置的角度、或相對于上述觀察者的該圖像顯示裝置的移動方向作為觀察方向來檢測；以及顯示切換控制步驟，根據(jù)上述觀察距離切換第1顯示模式和第2顯示模式，并以上述第1顯示模式或上述第2顯示模式顯示上述攝影對象的圖像，上述第1顯示模式根據(jù)上述觀察距離改變顯示倍率，并顯示上述攝影對象的圖像，上述第2顯示模式根據(jù)上述觀察方向，顯示上述攝影對象表面的法線方向不同的圖像。
全文摘要
圖像顯示裝置(110)包括距離檢測部(102)，根據(jù)來自傳感器部(101)的輸出信號檢測與觀察者的距離；角度檢測部(103)，根據(jù)來自傳感器部(101)的輸出信號檢測以觀察者為基準(zhǔn)的手持位置的角度；接近狀態(tài)檢測部(104)，檢測觀察者是以怎樣的狀態(tài)逐步接近圖像顯示裝置(110)；顯示切換控制部(105)，根據(jù)接近狀態(tài)檢測部(104)的檢測結(jié)果取得圖像，并顯示在圖像顯示部(109)上；標(biāo)記生成部(108)，生成標(biāo)記圖像，該標(biāo)記圖像用于把圖像上的接近位置顯示給用戶；放大圖像數(shù)據(jù)庫(106)及傾斜變化近攝圖像數(shù)據(jù)庫(107)，以及進行必要的圖像數(shù)據(jù)收發(fā)的收發(fā)信部(111)。
文檔編號G06F3/14GK1875398SQ20048003204
公開日2006年12月6日 申請日期2004年9月9日 優(yōu)先權(quán)日2003年10月28日
發(fā)明者金森克洋, 本村秀人, 菰淵寬仁 申請人:松下電器產(chǎn)業(yè)株式會社