專(zhuān)利名稱(chēng)：具備3d顯示功能的便攜設(shè)備的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及便攜設(shè)備及3D轉(zhuǎn)換程序產(chǎn)品，尤其涉及可容易地進(jìn)行3D顯示的便攜設(shè)備及3D轉(zhuǎn)換程序產(chǎn)品。
背景技術(shù)：
近年來(lái)，便攜設(shè)備正趨于小型化及高功能化。此外在便攜終端、便攜個(gè)人計(jì)算機(jī)及便攜電話(huà)機(jī)等便攜設(shè)備中附加照相機(jī)功能。比如，帶有照相機(jī)的便攜電話(huà)在最近開(kāi)始普及，由于可以將所攝影的圖像設(shè)定到待機(jī)畫(huà)面，或?qū)⑺鶖z影的圖像在現(xiàn)場(chǎng)發(fā)送到通話(huà)對(duì)方，因而很方便。
在特開(kāi)平10-108152號(hào)公報(bào)中，作為便攜設(shè)備的高功能化一環(huán)，公開(kāi)了一種利用來(lái)自?xún)裳鄣囊暡钸M(jìn)行立體顯示(3D顯示)的便攜信息終端。通過(guò)采用利用來(lái)自?xún)裳鄣囊暡钸M(jìn)行3D顯示的技術(shù)，可以顯示出具有深向擴(kuò)展感的立體圖像，與2維圖像相比，增加了臨場(chǎng)感和感染力。因此，利用來(lái)自?xún)裳鄣囊暡钸M(jìn)行3D顯示的技術(shù)被用于電視電話(huà)。在特開(kāi)平10-108152號(hào)公報(bào)中公開(kāi)的便攜信息終端是一種具備了2個(gè)照相機(jī)的手腕佩戴型的便攜信息終端。該便攜信息終端根據(jù)由2個(gè)照相機(jī)攝影的被攝體的運(yùn)動(dòng)的水平方向成分來(lái)生成具有時(shí)間差的2個(gè)圖像，將各圖像提供到觀察者的右眼與左眼，實(shí)現(xiàn)3D顯示。此外所謂3D顯示意味著利用視差進(jìn)行立體顯示。
不過(guò)，由于在特開(kāi)平10-108152號(hào)公報(bào)中公開(kāi)的以往的便攜信息終端具備2個(gè)照相機(jī)，因而造成高價(jià)格化和高耗電化，是不經(jīng)濟(jì)的。
為利用兩眼視差對(duì)由2個(gè)照相機(jī)攝影的圖像進(jìn)行3D顯示，希望使2個(gè)照相機(jī)只離開(kāi)與人兩眼的視差相當(dāng)?shù)拈g隔來(lái)配置，在該狀態(tài)下對(duì)被攝體攝影。然而如果在保持2個(gè)照相機(jī)的間隔的前提下，配置照相機(jī)以外的其它結(jié)構(gòu)部件，則其它結(jié)構(gòu)部件的配置將受到基于2個(gè)照相機(jī)的配置的制約，造成便攜信息終端的小形化及設(shè)計(jì)性能降低。
此外，由于將由照相機(jī)對(duì)移動(dòng)中的被攝體攝影了的圖像轉(zhuǎn)換為3D顯示圖像，因而實(shí)質(zhì)上難以說(shuō)是完滿(mǎn)的圖像。而且對(duì)于通常用照相機(jī)拍攝2D圖像，必要時(shí)進(jìn)行3D圖像攝影顯示的用戶(hù)，一般只使用2個(gè)照相機(jī)中的1個(gè)。
即，為進(jìn)行3D顯示而設(shè)置2個(gè)照相機(jī)這一點(diǎn)存在上述的高價(jià)格化、高耗電化的問(wèn)題及小型化、設(shè)計(jì)性能低下的問(wèn)題，難以實(shí)現(xiàn)便攜信息終端中的3D功能的實(shí)用化。尤其是，便攜電話(huà)有必要小型、輕量、廉價(jià)等，設(shè)置2個(gè)照相機(jī)是困難的。

發(fā)明內(nèi)容
因此，本發(fā)明的目的之一是提供一種實(shí)現(xiàn)小型化、低耗電化，設(shè)計(jì)性高的便攜設(shè)備。
本發(fā)明的上述目的通過(guò)便攜設(shè)備包含以下構(gòu)成要素來(lái)達(dá)到。即，便攜設(shè)備包含對(duì)被攝體攝影，獲得攝影圖像的攝影部；在攝影圖像中附加視差信息，作成3D圖像的3D圖像作成部；顯示3D圖像的顯示部。
根據(jù)本發(fā)明的其它方面，便攜設(shè)備包含對(duì)被攝體攝影，獲得攝影圖像的1個(gè)攝影部；在攝影圖像中附加視差信息，作成3D圖像的3D圖像作成部；顯示3D圖像的顯示部。
根據(jù)本發(fā)明的其它方面，3D轉(zhuǎn)換程序產(chǎn)品是一種使計(jì)算機(jī)實(shí)行3D轉(zhuǎn)換處理的程序產(chǎn)品，實(shí)行輸入2D圖像的步驟；從輸入的2D圖像切出人的面部圖像，獲得面部圖像的步驟；對(duì)面部圖像附加視差信息，作成3D圖像的步驟；輸出3D圖像的步驟。


圖1是表示本實(shí)施方式涉及的便攜電話(huà)機(jī)的主要構(gòu)成的框圖。
圖2A及圖2B是表示從打開(kāi)了可折疊的便攜電話(huà)機(jī)201的狀態(tài)下的內(nèi)側(cè)(鍵面)看去的外觀及從關(guān)閉狀態(tài)下的外側(cè)(背面)看去的外觀的附圖。
圖3是表示主畫(huà)面203中使用的可進(jìn)行3D顯示的液晶模塊主要部分的構(gòu)成的平面斷面圖。
圖4是表示對(duì)人的面部進(jìn)行攝影，進(jìn)行3D顯示時(shí)的便攜電話(huà)機(jī)中的處理的流程圖。
圖5A及圖5B是表示在實(shí)施方式1中，在主畫(huà)面203上進(jìn)行2D顯示及3D顯示的畫(huà)面的具體示例的附圖。
圖6是用于說(shuō)明實(shí)施方式1中的視差信息索求方法的概念圖。
圖7A及圖7B是表示在實(shí)施方式4中，在主畫(huà)面203上進(jìn)行2D顯示及3D顯示的畫(huà)面的具體示例的附圖。
圖8是表示實(shí)施方式3涉及的便攜電話(huà)機(jī)的主要構(gòu)成的框圖。
實(shí)施方式[實(shí)施方式1]基于附圖，對(duì)第1發(fā)明的實(shí)施方式作以說(shuō)明。本發(fā)明雖然可適用于任意便攜設(shè)備，但在以下作為最佳實(shí)施方式，對(duì)可折疊的帶有照相機(jī)的便攜電話(huà)機(jī)作以說(shuō)明。
圖1是表示本實(shí)施方式涉及的便攜電話(huà)機(jī)的主要構(gòu)成的框圖。在實(shí)施方式1中的便攜設(shè)備中，設(shè)有與未圖示的基站進(jìn)行通信的通信控制部101、在對(duì)從擴(kuò)音器102輸入的語(yǔ)音信號(hào)進(jìn)行編碼的同時(shí)，對(duì)通話(huà)對(duì)方的語(yǔ)音信號(hào)進(jìn)行解碼的語(yǔ)音信號(hào)處理部103、使解碼后的語(yǔ)音信號(hào)再生的揚(yáng)聲器104、實(shí)行程序，對(duì)便攜電話(huà)機(jī)整體進(jìn)行控制的處理器105、由處理器105參照的存儲(chǔ)器106、受理用戶(hù)的輸入的鍵操作部107、CCD照相機(jī)等一般的2D圖像攝影用的照相機(jī)模塊108、主畫(huà)面用的彩色液晶模塊109、子畫(huà)面用的彩色液晶模塊110。
圖2A是表示從打開(kāi)了可折疊的便攜電話(huà)機(jī)201的狀態(tài)下的內(nèi)側(cè)(鍵面)看去的外觀的附圖，圖2B是表示從關(guān)閉狀態(tài)下的外側(cè)(背面)看去的外觀的附圖。
如圖2A所示，由于揚(yáng)聲器104被配置于便攜電話(huà)機(jī)201的蓋部?jī)?nèi)側(cè)的上方中央，擴(kuò)音器102被配置于本體部?jī)?nèi)側(cè)的下方中央，因而易于在打開(kāi)便攜電話(huà)機(jī)201的狀態(tài)下進(jìn)行通話(huà)。由數(shù)字鍵和十字鍵209等組成的操作鍵204被配置于本體部?jī)?nèi)側(cè)，主畫(huà)面203被以四角形狀配置于蓋部?jī)?nèi)側(cè)，在打開(kāi)了便攜電話(huà)機(jī)201的狀態(tài)下操作性良好。此外，照相機(jī)206被配置于接近于蓋部外側(cè)的鉸鏈的中央附近，子畫(huà)面207被以四角形狀配置于蓋部外側(cè)的中央附近，即使在關(guān)閉了便攜電話(huà)機(jī)201的狀態(tài)下，也可以邊在子畫(huà)面207上確認(rèn)被攝體，邊用照相機(jī)206攝影。背面鍵208被配置于子畫(huà)面207的下方，在關(guān)閉了便攜電話(huà)機(jī)201的狀態(tài)下，可作為快門(mén)鍵使用。雖然該鍵208在圖2B中只示出了1個(gè)，但通過(guò)設(shè)置多個(gè)，可以分別作為對(duì)顯示于子畫(huà)面207的信息進(jìn)行切換的操作鍵(比如滾動(dòng)鍵、蓄存中的圖像的選擇鍵等)來(lái)使用。在打開(kāi)了便攜電話(huà)機(jī)201的狀態(tài)下攝影的場(chǎng)合下，可以在主畫(huà)面203或子畫(huà)面207上確認(rèn)被攝體的同時(shí)，將操作鍵204中包含的鍵中的任意一個(gè)鍵作為快門(mén)鍵來(lái)使用，進(jìn)行攝影。
主畫(huà)面203由可立體顯示(以下稱(chēng)3D顯示)的液晶模塊構(gòu)成，但也可以由可3D顯示的液晶模塊構(gòu)成主畫(huà)面203與子畫(huà)面207雙方或一方。如果在子畫(huà)面207上作為待機(jī)畫(huà)面來(lái)顯示所喜歡的3D圖像，則利用者即使不打開(kāi)便攜電話(huà)機(jī)201，也能持續(xù)觀看3D圖像，因而附加價(jià)值得到提高。
圖3是表示主畫(huà)面203中使用的可進(jìn)行3D顯示的液晶模塊主要部分的構(gòu)成的平面斷面圖。參照?qǐng)D3，在主畫(huà)面203中使用的可進(jìn)行3D顯示的液晶模塊中，設(shè)有背照燈301、可切換偏振光角的切換用液晶元件302、按狹縫狀圖案化了的圖案化相位差片303、TFT(Thin FilmTransistor(薄膜晶體管))液晶304。
在主畫(huà)面203上顯示3D圖像的場(chǎng)合下，通過(guò)切換切換用液晶元件302的偏振光角，改變切換用液晶元件302與圖案化相位差片303的相位關(guān)系，按照左眼用圖像不通過(guò)L像素306(在圖中以白像素表示)被投影到右眼的原則進(jìn)行遮斷(虛線309)。對(duì)右眼用圖像也同樣，按照右眼用圖像不通過(guò)R像素305(在圖中以黑像素表示)被投影到左眼的原則進(jìn)行遮斷(虛線310)。
這樣，由于在觀察者的右眼只映出右眼用圖像，在左眼只映出左眼用圖像，因而向觀察者的右眼與左眼提供不同的圖像，其結(jié)果是，觀察者可感覺(jué)到具有深度擴(kuò)展感的3維立體圖像(3D圖像)。
在主畫(huà)面203上顯示2D圖像(通常的2維平面圖像)的場(chǎng)合下，不進(jìn)行基于上述切換用液晶302與圖案化相位差片303的光的遮斷。這樣，通過(guò)對(duì)切換用液晶302與圖案化相位差片303進(jìn)行電控制，可在主畫(huà)面203上對(duì)2D圖像與3D圖像進(jìn)行切換來(lái)顯示。2D圖像與3D圖像的切換操作可通過(guò)比如輕輕按壓操作鍵204的任意鍵，比如電源鍵來(lái)進(jìn)行。
雖然在本發(fā)明中，為在主畫(huà)面203上實(shí)現(xiàn)3D顯示而采用上述構(gòu)成的液晶模塊，但作為用于在主畫(huà)面203上實(shí)現(xiàn)3D顯示的結(jié)構(gòu)，也可以是采用了雙凸透鏡的結(jié)構(gòu)及取代TFT液晶304而采用了CG硅(Continuous Grain Silicon連續(xù)晶粒硅)液晶的結(jié)構(gòu)等其它結(jié)構(gòu)。此外雖然在上述結(jié)構(gòu)中，采用可在主畫(huà)面203上實(shí)現(xiàn)3D顯示的液晶模塊，但也可以是一種使用在主畫(huà)面203上顯示2D圖像的通常的液晶模塊，通過(guò)偏振光眼鏡來(lái)觀察該顯示的結(jié)構(gòu)。在該場(chǎng)合下，組合了顯示2D圖像的液晶模塊和偏振光眼鏡的結(jié)構(gòu)成為可進(jìn)行3D顯示的顯示手段。
接下來(lái)，對(duì)從利用上述構(gòu)成的便攜電話(huà)機(jī)，由照相機(jī)206攝影的2D圖像作成3D圖像并在主畫(huà)面203上顯示之前的處理順序作以說(shuō)明。
對(duì)于拍攝人的面部并進(jìn)行3D顯示的示例，基于圖4所示的流程圖、圖5A及圖5B所示的顯示畫(huà)面示例、圖6所示的索求視差信息時(shí)的概念圖來(lái)進(jìn)行說(shuō)明。
參照?qǐng)D4，當(dāng)用戶(hù)如圖5A如示，在主畫(huà)面203上確認(rèn)作為由照相機(jī)拍攝的被攝體501的人的面部，同時(shí)當(dāng)所中意的圖像在主畫(huà)面203上顯示出來(lái)時(shí)，按壓操作鍵204中作為快門(mén)鍵分配的鍵，對(duì)被攝體501進(jìn)行攝影后，照相機(jī)模塊108將所攝影的圖像作為2D圖像(靜止圖像)來(lái)取入(S401)。
接下來(lái)，由處理器105來(lái)確認(rèn)從所取入的2D圖像自動(dòng)抽出還是手動(dòng)抽出眼、鼻、口、眉、顎等構(gòu)成人的面部的部分及面部輪廓的模式(S402)。該面部圖像抽出模式可預(yù)先由用戶(hù)利用便攜電話(huà)機(jī)的菜單畫(huà)面等進(jìn)行設(shè)定，也可以在每次操作中由用戶(hù)設(shè)定。在面部圖像抽出模式是手動(dòng)抽出模式的場(chǎng)合下(在S402中為「手動(dòng)」)，用戶(hù)從用戶(hù)受理利用了操作鍵204的上述各面部部分的位置指定(S403)。這樣，處理器105基于在步驟S403中指定的位置信息求出各面部部分的2維坐標(biāo)(S404)。此時(shí)，如果能利用未圖示的筆輸入及鼠標(biāo)和嚙合盤(pán)進(jìn)行選擇，則操作性更佳。此外，在從面部的2D圖像作成3D圖像的場(chǎng)合下，由于鼻子在立體上最為突出，因而不論面部圖像抽出模式是自動(dòng)抽出模式還是手動(dòng)抽出模式，作為所抽出的面部部分，鼻子都是必不可少的。尤其在考慮了人的感覺(jué)的場(chǎng)合下，如果強(qiáng)調(diào)鼻子部分的突出，則可得到面部的立體感。
另一方面，在面部圖像抽出模式是自動(dòng)抽出模式的場(chǎng)合下(在S402中為「自動(dòng)」)，處理器105通過(guò)利用了邊緣檢測(cè)等的眾所周知的面部部分抽出技術(shù)，從在步驟S401中取入的2D圖像求出各面部部分的2維坐標(biāo)(S404)。在如同便攜電話(huà)機(jī)之類(lèi)的來(lái)自用戶(hù)的輸入操作不方便的設(shè)備中，面部部分被自動(dòng)抽出這一點(diǎn)具有良好的方便性。此外通過(guò)在攝影時(shí)在主畫(huà)面109上顯示圓形及方形邊框，使用戶(hù)按照在該邊框附近設(shè)定面部圖像位置的原則進(jìn)行攝影，可以縮小處理器105抽出面部部分的范圍，因而自動(dòng)抽出的處理速度及精度得到提高。
在步驟S404求出各面部部分的2維坐標(biāo)，并從在步驟S401中取入的2D圖像切出面部圖像后，接下來(lái)，處理器105將在步驟S404中抽出的各面部部分的坐標(biāo)投影到規(guī)定的人的面部的3維模型上，求出對(duì)全體面部圖像的3維數(shù)據(jù)(S405)。在步驟S405，假設(shè)采用本申請(qǐng)人在以前申請(qǐng)的特開(kāi)2001-109907號(hào)公報(bào)中公開(kāi)的3維模型生成方法。以下，對(duì)在步驟S405中采用了特開(kāi)2001-109907號(hào)公報(bào)中公開(kāi)的技術(shù)的場(chǎng)合作以說(shuō)明。
即，處理器105根據(jù)在步驟S404中求出的各面部部分的2維坐標(biāo)來(lái)估算(檢測(cè))面部的大小、位置及方向，將基于作為人面部3維模型的人面部標(biāo)準(zhǔn)形狀的標(biāo)準(zhǔn)面部形狀模型按假設(shè)估算的大小、位置及方向投影到在步驟S401中取入的2D圖像上。這樣，計(jì)算出標(biāo)準(zhǔn)面部形狀模型中包含的各面部部分被投影的2D圖像上的坐標(biāo)與在步驟S404中求出的各面部部分的2維坐標(biāo)的位置偏差。接下來(lái)，在相對(duì)該假設(shè)估算的大小、位置及方向有少量偏差的位置及方向上對(duì)標(biāo)準(zhǔn)面部形狀模式進(jìn)行投影，同樣計(jì)算出包含于標(biāo)準(zhǔn)面部形狀模型的各面部部分所投影的坐標(biāo)與在步驟S404中求出的各面部部分的2維坐標(biāo)的位置偏差。求出該偏差達(dá)到最小的大小、位置及方向，將其作為下一假設(shè)估算的大小、位置及方向，重復(fù)上述處理。處理器105重復(fù)這種處理，最后將偏差不再變小時(shí)的大小、位置及方向估算為包含于2D圖像中的面部圖像的大小、位置及方向。
接下來(lái)，處理器105在由步驟S401取入的2D圖像上按在上述處理中估算的大小、位置及方向來(lái)投影標(biāo)準(zhǔn)面部形狀數(shù)據(jù)，生成結(jié)構(gòu)圖像。即首先，處理器105計(jì)算標(biāo)準(zhǔn)面部形狀數(shù)據(jù)的所有頂點(diǎn)的坐標(biāo)。同時(shí)處理器105按規(guī)定的大小及位置從正面將標(biāo)準(zhǔn)面部形狀數(shù)據(jù)平行投影到結(jié)構(gòu)圖像上，計(jì)算標(biāo)準(zhǔn)面部形狀數(shù)據(jù)的所有頂點(diǎn)的坐標(biāo)。即，假設(shè)某頂點(diǎn)的2D圖像上的投影坐標(biāo)與同一頂點(diǎn)的結(jié)構(gòu)圖像上的投影坐標(biāo)對(duì)應(yīng)，基于該對(duì)應(yīng)，利用圖像變形的方法，從2D圖像向結(jié)構(gòu)圖像轉(zhuǎn)移各面部部分。這里所用的圖像變形方法是一種在圖像處理領(lǐng)域廣為人知的技術(shù)，可由屬于該技術(shù)領(lǐng)域的技術(shù)人員容易地實(shí)現(xiàn)。因此，這里省略圖像變形的更具體的方法說(shuō)明。
該轉(zhuǎn)移的結(jié)果是成為一種與按照達(dá)到規(guī)定的大小及位置的原則從正面對(duì)包含于2D圖像的被攝體進(jìn)行攝影的圖像近似的圖像。處理器105在步驟S405中將作為這種近似圖像的3維模型作為通過(guò)從正面平行投影來(lái)貼附到標(biāo)準(zhǔn)面部形狀數(shù)據(jù)的結(jié)構(gòu)圖像來(lái)生成。
此外在步驟S405中，作為上述人的面部的3維模型，可以利用基于人的面部的標(biāo)準(zhǔn)形狀的標(biāo)準(zhǔn)面部形狀模型，也可以預(yù)先準(zhǔn)備圓臉、長(zhǎng)臉等多種面部形狀模型，由用戶(hù)選擇。對(duì)特定人物將專(zhuān)用的面部形狀模型預(yù)先存儲(chǔ)到存儲(chǔ)器106，在步驟S401對(duì)該人進(jìn)行攝影，在步驟S405使用該人專(zhuān)用的面部形狀模型，由此可作成更精密的3D圖像。比如，如果將便攜電話(huà)機(jī)的所有者本人的面部形狀模型存儲(chǔ)到存儲(chǔ)器106，便可容易地作成精密的本人3D面部圖像數(shù)據(jù)。如果采用圖2A及圖2B所示的便攜電話(huà)機(jī)，由于可在關(guān)閉了上蓋的狀態(tài)下在子畫(huà)面207上確認(rèn)自己的面部的同時(shí)進(jìn)行攝影，因而可容易地拍攝自己的面部圖像。如果通過(guò)郵件附加等方法將分別作成的本人的3D面部圖像在同事之間互相交換，則可由多人欣賞高精度的3D面部圖像。此外由于用于計(jì)算該人專(zhuān)用的面部形狀模型的計(jì)算量較大，因而也可以采用將由服務(wù)器計(jì)算出的結(jié)果下載到便攜電話(huà)機(jī)的結(jié)構(gòu)。
在步驟S405求出面部圖像的3維數(shù)據(jù)后，接下來(lái)，處理器105將視差信息附加到該3維數(shù)據(jù)(S406)。在步驟S406，處理器105基于人兩眼的標(biāo)準(zhǔn)間隔(比如大約6cm)與利用便攜電話(huà)機(jī)拍攝人的面部場(chǎng)合下的標(biāo)準(zhǔn)距離(比如大約1m)進(jìn)行近似計(jì)算，求出以由在照相機(jī)位置假想的人的兩眼與被攝體的面部的3點(diǎn)所作成的面部點(diǎn)為頂點(diǎn)的角度α，將與該角度α相當(dāng)?shù)囊暡钚畔⒏郊拥?維數(shù)據(jù)。即，如圖6所示，處理器105將從假想的右眼位置投影到面部圖像的3維數(shù)據(jù)來(lái)轉(zhuǎn)換的數(shù)據(jù)作為右眼用圖像數(shù)據(jù)，同樣，將從假想的左眼位置投影到面部圖像的3維數(shù)據(jù)來(lái)轉(zhuǎn)換的數(shù)據(jù)作為左眼用圖像數(shù)據(jù)。這樣，處理器105作成包含右眼用圖像和左眼用圖像的3D圖像(S407)。
這樣，處理器105通過(guò)使在步驟S407中作成的3D圖像在主畫(huà)面203上顯示，可使觀察者的眼中產(chǎn)生如圖5B所示人的面部相對(duì)主畫(huà)面203上浮的感覺(jué)(S408)。在圖5B中，雖然從圖面作成技術(shù)考慮，面部鼻子的高聳與眼睛的下凹等立體感未表現(xiàn)出來(lái)，但觀察者能感覺(jué)到這些立體感，可欣賞有感染力的面部圖像。在圖5B中，人的頭部及肩部周?chē)才c圖5A同樣顯示。這樣，本發(fā)明的便攜電話(huà)機(jī)可以對(duì)面部之外的人的一部分進(jìn)行切出，也可以使換裝偶人等穿上預(yù)先作為模板準(zhǔn)備的服裝等來(lái)進(jìn)行顯示。
雖然在上述示例中，處理器105將從照相機(jī)206至被攝體501的距離作為預(yù)定距離(比如1m)來(lái)計(jì)算視差信息，但每當(dāng)攝影時(shí)，用戶(hù)也可以利用操作鍵204來(lái)輸入該距離。在拍攝自己的面部的場(chǎng)合下，由于伸出持有便攜電話(huà)機(jī)的手進(jìn)行攝影的機(jī)會(huì)較多，與拍攝本人以外的他人的面部的場(chǎng)合相比，攝影距離較近(比如50cm)，因而在拍攝自己的面部的場(chǎng)合下，處理器105可自動(dòng)切換規(guī)定距離，計(jì)算視差信息。處理器105可通過(guò)比如檢測(cè)蓋的開(kāi)閉來(lái)自動(dòng)判別是拍攝自己的面部還是拍攝他人的面部。
在上述示例中，從所攝影的2D圖像中切出人的面部，對(duì)人的面部進(jìn)行3D顯示，但也可以使人的面部之外的背景圖像(比如圖5A的飛機(jī))與人的面部共同顯示。使人的面部與背景圖像共同顯示后，成為深度擴(kuò)展感進(jìn)一步增強(qiáng)，具有感染力的圖像。
在上述示例中，對(duì)人的面部的3維模型作了說(shuō)明。但也可以準(zhǔn)備比如波米蘭尼亞小狗等狗的面部的3維模型，作成自己的寵物的3D圖像，也可以準(zhǔn)備人體的3維模型，作成人的全身的3D圖像。
在上述示例中，在拍攝被攝體后，在主畫(huà)面203上如圖5A所示顯示出2D圖像，但如果預(yù)先在操作鍵204上分配3D快門(mén)鍵，全自動(dòng)地進(jìn)行上述的3D轉(zhuǎn)換處理，則在按下3D快門(mén)鍵后，可立刻顯示出圖5B的3D圖像，比較方便。
如果采用由ァィォ-デ-タ公司生產(chǎn)的「PLAY3DPC」產(chǎn)品系列，可以將由數(shù)字照相機(jī)攝影的圖像取入個(gè)人計(jì)算機(jī)(以下稱(chēng)個(gè)人計(jì)算機(jī))，用專(zhuān)用軟件解析所取入的圖像的各塊中的亮度，假設(shè)塊的亮度越亮，便越位于前面，由此作成3D圖像。這樣，用戶(hù)使如此作成的3D圖像在與個(gè)人計(jì)算機(jī)連接的顯示器上顯示，通過(guò)液晶眼鏡來(lái)觀察3D圖像。
這樣利用基于圖像的亮度作成3D圖像的技術(shù)，實(shí)施方式2中的便攜電話(huà)機(jī)的處理器105可以將由照相機(jī)206攝影的2D圖像分割為多個(gè)塊，檢測(cè)各塊的亮度，按照塊的亮度越亮越靠前的原則來(lái)將視差信息附加到各塊，作成3D圖像，在主畫(huà)面203上顯示。比如可顯示出在前面有汽車(chē)，在后面有建筑物的具有遠(yuǎn)近感的背景圖像。
在該場(chǎng)合下，由于處理器105根據(jù)2D圖像的各塊的亮度強(qiáng)度對(duì)各塊附加不同的視差信息，作成3D圖像，因而無(wú)需用于計(jì)算在實(shí)施方式1中說(shuō)明過(guò)的視差信息的近似計(jì)算。
如果采用特開(kāi)2002-77944公報(bào)中公開(kāi)的技術(shù)，可將光照射到被攝體，基于其反射光的強(qiáng)度來(lái)檢測(cè)從該便攜電話(huà)機(jī)至被攝體各部的距離，基于該距離信息對(duì)被攝體的各部附加不同的視差，作成3D圖像。這樣可在與外部連接的立體視頻顯示裝置上顯示出所作成的3D圖像。即，在實(shí)施方式3中的便攜電話(huà)機(jī)中采用上述特開(kāi)2002-77944公報(bào)中公開(kāi)的技術(shù)，處理器105可以根據(jù)至由照相機(jī)206攝影的2D圖像的被攝體的距離來(lái)將不同的視差信息附加到被攝體各部，作成3D圖像，在主畫(huà)面203上顯示。在該場(chǎng)合下，實(shí)施方式3中的便攜電話(huà)機(jī)如圖8所示，除了圖1所示的構(gòu)成要素以外，還具備對(duì)被攝體照射光的射光部801、檢測(cè)反射光的強(qiáng)度的檢測(cè)部802。
實(shí)施方式4中的便攜電話(huà)機(jī)的處理器105可以通過(guò)來(lái)自用戶(hù)的利用了操作鍵204(比如十字鍵209)的選擇從由照相機(jī)206攝影的顯示于主畫(huà)面203的2D圖像中受理靠前的被攝體，對(duì)被選擇的該被攝體附加不同于該被攝體以外的背景圖像的視差信息，作成3D圖像。
比如，如圖7A所示，用戶(hù)利用顯示于主畫(huà)面203的選擇框701，采用操作鍵204(比如十字鍵209)對(duì)拍攝了人的面部與飛機(jī)的2D圖像中位于前面的人的面部進(jìn)行指定。選擇框701的顯示既可以是圓形也可以是方形。此外，如果大小可變，則便于正確地指定被攝體。此外如果并非由選擇框701包圍被攝體，而是按照通過(guò)未圖示的筆輸入描繪所切出的被攝體的原則來(lái)進(jìn)行指定，則可更正確地切出被攝體。
受理了上述選擇后，接下來(lái)，處理器105利用邊緣檢測(cè)等圖像處理技術(shù)，將所選擇的被攝體從2D圖像切出，按照比該被攝體以外的背景圖像看起來(lái)更靠前的原則對(duì)所切出的被攝體圖像附加視差，作成3D圖像。在圖7A的場(chǎng)合下，頭發(fā)的一部及肩膀四周從選擇框701露出，處理器105最好對(duì)從選擇框701或多或少露出的部分也估算邊緣的連續(xù)性，同時(shí)切出。
在選擇框701附近的被攝體圖像被切出，作成3D圖像后，如圖7B所示，使用戶(hù)感覺(jué)到其面部比飛機(jī)更靠前。由于在上述處理中，未使用實(shí)施方式1中說(shuō)明過(guò)的3維模型，因而鼻子的高度等面部的立體感未表現(xiàn)出來(lái)，但在實(shí)施方式4中的便攜電話(huà)機(jī)的處理器105中由于未進(jìn)行有關(guān)3維模型的處理，因而可簡(jiǎn)單地作成3D圖像。此外在該場(chǎng)合下，被攝體并非局限于人的面部，也可以是建筑物等。
此外在上述示例中，在攝影后利用選擇框701來(lái)選擇欲靠前觀看的被攝體，但也可在攝影時(shí)顯示選擇框701，在選擇框701附近吻合的狀態(tài)下對(duì)靠前的被攝體進(jìn)行攝影。這樣，由于在攝影后無(wú)需進(jìn)行指定選擇框701的操作，因而只按壓一次快門(mén)鍵便可顯示出3D圖像。
此外雖然在上述示例中，只選擇1個(gè)被攝體，但也可從位于前面的被攝體開(kāi)始依次選擇多個(gè)被攝體。在該場(chǎng)合下，處理器105對(duì)所選擇的多個(gè)被攝體的每一個(gè)附加不同的視差信息。這樣，在選擇了多個(gè)被攝體，進(jìn)行3D顯示后，深度擴(kuò)展感進(jìn)一步增加，產(chǎn)生感染力。
如各實(shí)施方式中所述，本發(fā)明中的被攝體攝影用的照相機(jī)206可以是用于進(jìn)行通常的2D圖像攝影的照相機(jī)，無(wú)需具有用于3D圖像的特別功能。因而無(wú)需專(zhuān)門(mén)準(zhǔn)備3D圖像攝影用的照相機(jī)，可按原樣利用傳統(tǒng)的便攜電話(huà)機(jī)中使用的照相機(jī)。即，根據(jù)本發(fā)明，可以使由設(shè)于便攜設(shè)備的照相機(jī)拍攝的2D圖像在該設(shè)備上進(jìn)行3D顯示。由于用1個(gè)照相機(jī)即可，因而可實(shí)現(xiàn)便攜電話(huà)機(jī)的小型化及低耗電化。此外與采用2D圖像攝影用與3D圖像攝影用的2個(gè)照相機(jī)的場(chǎng)合相比，用于部件配置的設(shè)計(jì)上的自由性大大提高。
此外在上述各實(shí)施方式中，從2D圖像作成3D圖像之前的處理的全部或一部由讀出了軟件的處理器105實(shí)行。由處理器105讀出的3D轉(zhuǎn)換程序可以被預(yù)先存儲(chǔ)到存儲(chǔ)器106，裝入便攜電話(huà)機(jī)，也可以從服務(wù)器下載來(lái)獲取。此外該3D轉(zhuǎn)換程序也可以在個(gè)人計(jì)算機(jī)等便攜電話(huà)機(jī)之外的其它設(shè)備中使用。
本發(fā)明的便攜設(shè)備中，可使上述各實(shí)施方式中的處理的全部或一部互相組合來(lái)實(shí)行。比如，在便攜設(shè)備中，將實(shí)施方式1的從3維模型作成3D圖像的處理與實(shí)施方式2的基于圖像亮度的強(qiáng)度求出視差信息的處理組合來(lái)實(shí)行后，可與具有感染力的3D面部圖像同時(shí)顯示出具有遠(yuǎn)近感的背景圖像。
此外所說(shuō)明的上述便攜電話(huà)機(jī)雖然是折疊式類(lèi)型，但也可以是直線式類(lèi)型。
在上文中以在便攜電話(huà)機(jī)中拍攝靜止畫(huà)面的場(chǎng)合為例進(jìn)行了說(shuō)明，但也可以對(duì)運(yùn)動(dòng)畫(huà)面進(jìn)行攝影。在該場(chǎng)合下，可對(duì)構(gòu)成運(yùn)動(dòng)畫(huà)面的多個(gè)圖像逐次進(jìn)行與靜止畫(huà)面的場(chǎng)合同樣的處理。
在將由數(shù)字照相機(jī)攝影的本人面部等2D靜止畫(huà)面轉(zhuǎn)換為3D圖像的場(chǎng)合下，利用實(shí)施方式2 2中記載的由ァィォ-デ-タ公司生產(chǎn)的「PLAY3DPC」產(chǎn)品系列等市場(chǎng)上銷(xiāo)售的軟件，在搭載了該軟件的個(gè)人計(jì)算機(jī)側(cè)取入由照相機(jī)攝影的2D靜止畫(huà)面，實(shí)行處理。不過(guò)，也可以利用被設(shè)置于實(shí)施方式5中的便攜電話(huà)機(jī)本體內(nèi)的3D轉(zhuǎn)換專(zhuān)用軟件，將2D圖像即時(shí)轉(zhuǎn)換為3D圖像。在實(shí)施方式5中的便攜電話(huà)機(jī)中，兩眼用的圖像不是實(shí)際攝影的圖像，而是模擬的3D圖像，可通過(guò)將從上述2D圖像轉(zhuǎn)換為3D圖像的市場(chǎng)上銷(xiāo)售的軟件裝入便攜電話(huà)機(jī)來(lái)實(shí)現(xiàn)。
此外在上述實(shí)施方式中，對(duì)在便攜電話(huà)機(jī)中將由照相機(jī)拍攝的2D圖像轉(zhuǎn)換為3D圖像的場(chǎng)合作了記述，但也可以在通信控制部101中接收由通信單元發(fā)送來(lái)的2D圖像(照片、動(dòng)畫(huà)片等)，實(shí)行與針對(duì)上述攝影圖像的處理同樣的處理，作成3D圖像，進(jìn)行3D顯示。在該場(chǎng)合下，也可以將操作鍵之一作為3D圖像作成指示鍵。
這樣，本發(fā)明中的便攜設(shè)備中，可使由設(shè)置于便攜設(shè)備的照相機(jī)拍攝的2D圖像在該設(shè)備中進(jìn)行3D顯示。
根據(jù)本發(fā)明，可利用帶有照相機(jī)的便攜電話(huà)機(jī)對(duì)被攝體攝影，對(duì)被拍攝的該圖像在現(xiàn)場(chǎng)即時(shí)進(jìn)行3D顯示。由于隨時(shí)攜帶便攜電話(huà)機(jī)外出，因而可不失去瞬間的快門(mén)機(jī)會(huì)，隨時(shí)拍攝圖像，并對(duì)該圖像進(jìn)行3D顯示。這樣，由于3D顯示與2D顯示相比具有感染力，因而可進(jìn)一步欣賞該圖像。
此次公開(kāi)的實(shí)施方式在各方面不過(guò)是一種例示，不應(yīng)構(gòu)成限制。本發(fā)明的范圍并非是上述所說(shuō)明的范圍，而是權(quán)利要求中所記載的范圍，包括與權(quán)利要求的范圍同等的意義及范圍內(nèi)的所有變更。
權(quán)利要求
1.一種便攜設(shè)備，包含對(duì)被攝體攝影，獲得攝影圖像的攝影部(108)；在上述攝影圖像中附加視差信息，作成3D圖像的3D圖像作成部(105)；顯示上述3D圖像的顯示部(109)。
2.權(quán)利要求1中記載的便攜設(shè)備，其中上述攝影部(108)是2D圖像攝影用的攝影部。
3.權(quán)利要求2中記載的便攜設(shè)備，還包含控制與其它裝置通信的通信控制部(101)；實(shí)現(xiàn)與其它裝置通話(huà)的收發(fā)部(102，103，104)。
4.一種便攜設(shè)備，包含對(duì)被攝體攝影，獲得攝影圖像的1個(gè)攝影部(108)；在上述攝影圖像中附加視差信息，作成3D圖像的3D圖像作成部(105)；顯示上述3D圖像的顯示部(109)。
5.權(quán)利要求4中記載的便攜設(shè)備，其中上述攝影部(108)是2D圖像攝影用的攝影部。
6.權(quán)利要求5中記載的便攜設(shè)備，還包含控制與其它裝置通信的通信控制部；實(shí)現(xiàn)與其它裝置通話(huà)的收發(fā)部。
7.權(quán)利要求4中記載的便攜設(shè)備，其中上述3D圖像作成部從上述攝影圖像切出人的面部，獲得面部圖像，對(duì)上述面部圖像附加上述視差信息。
8.權(quán)利要求7中記載的便攜設(shè)備，其中上述攝影部是2D圖像攝影用的攝影部。
9.權(quán)利要求8中記載的便攜設(shè)備，還包含控制與其它裝置通信的通信控制部；實(shí)現(xiàn)與其它裝置通話(huà)的收發(fā)部。
10.權(quán)利要求4中記載的便攜設(shè)備，其中上述3D圖像作成部從上述攝影圖像選擇特定的被攝體，獲得被攝體圖像，對(duì)上述被攝體圖像及作為在上述攝影圖像中包含的圖像的上述特定被攝體之外的圖像附加各自不同的視差信息。
11.權(quán)利要求10中記載的便攜設(shè)備，其中上述攝影部是2D圖像攝影用的攝影部。
12.權(quán)利要求11中記載的便攜設(shè)備，還包含控制與其它裝置通信的通信控制部(101)；實(shí)現(xiàn)與其它裝置通話(huà)的收發(fā)部(102，103，104)。
13.一種3D轉(zhuǎn)換程序產(chǎn)品，其使計(jì)算機(jī)執(zhí)行的3D轉(zhuǎn)換處理包含以下步驟輸入2D圖像的步驟(S401)；從上述輸入的2D圖像切出人的面部圖像，獲得面部圖像的步驟(S404)；對(duì)上述面部圖像附加視差信息，作成3D圖像的步驟(S406)；輸出上述3D圖像的步驟(S408)。
全文摘要
本發(fā)明涉及的便攜電話(huà)機(jī)具備2D圖像攝影用的1個(gè)照相機(jī)，在由該1個(gè)照相機(jī)攝影的2D圖像中附加視差信息，作成3D圖像。之后，將所作成的3D圖像在顯示部中顯示。
文檔編號(hào)H04M1/00GK1471322SQ03145309
公開(kāi)日2004年1月28日 申請(qǐng)日期2003年7月3日 優(yōu)先權(quán)日2002年7月3日
發(fā)明者紺矢峰弘, 宮田雄介, 奧田計(jì), 安本隆, 介 申請(qǐng)人:夏普公司