用于顯示視窗的遮擋區(qū)域的內(nèi)容的電子裝置制造方法
【專利摘要】本發(fā)明的目的是提供一種為用戶顯示視窗的遮擋區(qū)域的內(nèi)容的方式。所述目的通過一種電子裝置中的方法來實(shí)現(xiàn)。所述電子裝置獲得(402)標(biāo)識(shí)遮擋區(qū)域相對(duì)于視窗的位置的信息。所述電子裝置還計(jì)算(403)標(biāo)識(shí)遮擋區(qū)域在顯示器上的位置的信息。所述電子裝置從存儲(chǔ)器獲得(404)關(guān)于視窗或視窗的部分的未被遮擋時(shí)的內(nèi)容的信息。所述電子裝置創(chuàng)建(405)與視窗的遮擋區(qū)域的內(nèi)容有關(guān)的圖像。所述電子裝置還在顯示器上的與計(jì)算(403)的遮擋區(qū)域相對(duì)于顯示器的位置對(duì)應(yīng)的地方顯示(406)所述圖像。
【專利說明】用于顯示視窗的遮擋區(qū)域的內(nèi)容的電子裝置

【技術(shù)領(lǐng)域】
[0001]本文的實(shí)施方式整體涉及電子裝置中的圖像處理，尤其涉及創(chuàng)建半透明觀看體驗(yàn)。

【背景技術(shù)】
[0002]在過去幾年里，觸摸屏在諸如移動(dòng)電話、平板和計(jì)算機(jī)的許多裝置中已越來越普及。在觸摸屏上，不使用常規(guī)鍵盤，而是用戶觸摸屏幕以給予裝置以輸入。觸摸屏的一個(gè)問題在于，手持握在觸摸屏的前面，遮擋了觸摸屏。這使得閱讀觸摸屏上的文本并還以更精確的方式對(duì)觸摸屏進(jìn)行觸摸更困難。
[0003]相關(guān)情況是如果人在白板上書寫。有時(shí)由于書寫的人的手、手臂以及甚至身體遮擋了白板上所書寫的東西，所以讀者而難以閱讀白板上的文本。人的四肢也可能使讀者分心。
[0004]在過去幾年里也越來越普及的一種技術(shù)是增強(qiáng)現(xiàn)實(shí)。增強(qiáng)現(xiàn)實(shí)意指在顯示器上顯示一些信息以改進(jìn)用戶的體驗(yàn)。例如，通過相機(jī)記錄照片。當(dāng)將該照片顯示在顯示器上時(shí)，在顯示器上增加一些信息。該信息可以是(例如)關(guān)于可在顯示器上看到的東西的信息。如果照片記錄的是房子，并且相機(jī)連接到GPS記錄儀和羅盤，則顯示器上增加的信息可以是(例如)誰擁有這所房子。這一技術(shù)在現(xiàn)有技術(shù)中是熟知的。


【發(fā)明內(nèi)容】

[0005]因此，本文的實(shí)施方式的目的是提供一種為用戶顯示視窗(view)的遮擋區(qū)域的內(nèi)容的方式。
[0006]依據(jù)實(shí)施方式的第一方面，提供一種電子裝置中的方法。內(nèi)容顯示在包括在所述電子裝置中的顯示器上。所述顯示器適于設(shè)置在用戶的眼睛與視窗之間。所述電子裝置還包括連接到相機(jī)的存儲(chǔ)器。所述相機(jī)布置在所述電子裝置上。所述電子裝置獲得標(biāo)識(shí)遮擋區(qū)域相對(duì)于所述視窗的位置的信息。所述電子裝置還基于獲得的標(biāo)識(shí)遮擋區(qū)域相對(duì)于所述視窗的位置的信息，計(jì)算標(biāo)識(shí)遮擋區(qū)域在顯示器上的位置的信息。所述電子裝置從存儲(chǔ)器獲得關(guān)于所述視窗或所述視窗的部分的未被遮擋時(shí)的內(nèi)容的信息。在所述視窗被遮擋之前通過相機(jī)記錄關(guān)于所述視窗的內(nèi)容的所述信息并將所述信息保存在存儲(chǔ)器上。所述電子裝置還基于獲得的標(biāo)識(shí)遮擋區(qū)域相對(duì)于顯示器的位置的信息并且基于計(jì)算的標(biāo)識(shí)遮擋區(qū)域相對(duì)于所述視窗的位置的信息，并且基于獲得的關(guān)于所述視窗或所述視窗的部分的未被遮擋時(shí)的內(nèi)容的信息，創(chuàng)建與所述視窗的遮擋區(qū)域的內(nèi)容有關(guān)的圖像。所述電子裝置還在顯示器上的與計(jì)算的遮擋區(qū)域相對(duì)于顯示器的位置對(duì)應(yīng)的地方顯示所述圖像。
[0007]依據(jù)實(shí)施方式的第二方面，提供一種電子裝置。所述電子裝置具有顯示器以用于顯示電子裝置的用戶的視窗的遮擋區(qū)域的內(nèi)容。所述內(nèi)容顯示在包括在所述電子裝置中的顯示器上。所述顯示器適于設(shè)置在用戶的眼睛與視窗之間。所述電子裝置還包括連接到相機(jī)的存儲(chǔ)器。所述相機(jī)布置在所述電子裝置上。所述電子裝置包括獲得電路，其被配置為獲得標(biāo)識(shí)遮擋區(qū)域相對(duì)于所述視窗的位置的信息。所述電子裝置還包括計(jì)算電路，其被配置為基于獲得的標(biāo)識(shí)遮擋區(qū)域相對(duì)于所述視窗的位置的信息，計(jì)算標(biāo)識(shí)遮擋區(qū)域在顯示器上的位置的信息。所述獲得電路還被配置為從存儲(chǔ)器獲得關(guān)于所述視窗或所述視窗的部分的未被遮擋時(shí)的內(nèi)容的信息。在所述視窗被遮擋之前通過相機(jī)記錄關(guān)于所述視窗的內(nèi)容的所述信息并將所述信息保存在存儲(chǔ)器上。所述電子裝置還包括創(chuàng)建電路，其被配置為基于獲得的標(biāo)識(shí)遮擋區(qū)域相對(duì)于顯示器的位置的信息并且基于計(jì)算的標(biāo)識(shí)遮擋區(qū)域相對(duì)于所述視窗的位置的信息，以及獲得的關(guān)于所述視窗或所述視窗的部分的未被遮擋時(shí)的內(nèi)容的信息，創(chuàng)建與所述視窗的遮擋區(qū)域的內(nèi)容有關(guān)的圖像。所述電子裝置還包括顯示電路，其被配置為在顯示器上的與計(jì)算的遮擋區(qū)域相對(duì)于顯示器的位置對(duì)應(yīng)的地方顯示所述圖像。
[0008]由于電子裝置標(biāo)識(shí)被物體遮擋的區(qū)域并用獲得的關(guān)于視窗的遮擋區(qū)域的信息代替顯示器上的對(duì)應(yīng)區(qū)域，所以提供半透明觀看體驗(yàn)。
[0009]本文的實(shí)施方式的優(yōu)點(diǎn)在于它使得電子裝置的用戶能夠看到遮擋物體后面的東西。
[0010]本文的實(shí)施方式的另一優(yōu)點(diǎn)在于電子裝置的用戶在觀看視窗時(shí)不會(huì)被物體分心。

【專利附圖】

【附圖說明】
[0011]參照附圖更詳細(xì)地描述本文的實(shí)施方式的示例，其中:
[0012]圖1是示出根據(jù)本文的實(shí)施方式的場(chǎng)景的示意性框圖；
[0013]圖2是根據(jù)本文的實(shí)施方式的示意性信令和流程圖；
[0014]圖3是示出本文的實(shí)施方式的示意性框圖；
[0015]圖4是描繪電子裝置中的方法的實(shí)施方式的流程圖；并且
[0016]圖5是示出根據(jù)一些實(shí)施方式的電子裝置的示意性框圖。

【具體實(shí)施方式】
[0017]將以非限制性描述舉例說明實(shí)施方式。
[0018]圖1示出根據(jù)一些實(shí)施方式的場(chǎng)景。所述場(chǎng)景包括電子裝置101。電子裝置101可被稱作增強(qiáng)現(xiàn)實(shí)單元。電子裝置101可以(例如)放置在用戶102的頭部。
[0019]電子裝置101包括顯示器103。電子裝置101使用增強(qiáng)現(xiàn)實(shí)技術(shù)，該技術(shù)在顯示器103上顯示信息以改進(jìn)電子裝置101的用戶的體驗(yàn)。例如，通過相機(jī)記錄照片。當(dāng)將該照片顯示在顯示器103上時(shí)，在顯示器103上增加一些信息。該信息可以是(例如)關(guān)于可在顯示器103上看到的東西的信息。如果照片記錄的是房子，并且相機(jī)連接到GPS記錄儀和羅盤，則顯示器上增加的信息可以(例如)關(guān)于誰擁有這所房子。顯示器103可包括在電子裝置101中，或者可以是連接到電子裝置101的單獨(dú)的單元。顯示器103可被放置在用戶102的一只眼或雙眼104的前面。顯示器103還可以是半透明的，以使得用戶可透過顯示器103觀看，但顯示器103也可以是不透明的。例如，顯示器103可以如圖1所示像眼鏡一樣被用戶102佩戴。顯示器103還可被持握于用戶102的手中。
[0020]電子裝置101可包括相機(jī)105。相機(jī)105可以是視頻相機(jī)或靜止畫面相機(jī)。相機(jī)105可包括在電子裝置101中，或者是連接到電子裝置101的單獨(dú)的單元。相機(jī)105可以是視頻相機(jī)或靜止畫面相機(jī)。相機(jī)105的用途是記錄在電子裝置101的用戶102的前面的東西。相機(jī)105適于將關(guān)于相機(jī)105記錄了什么的信息傳輸給電子裝置101。相機(jī)105還適于將關(guān)于相機(jī)105記錄了什么的信息保存到存儲(chǔ)器(圖1中未示出，但圖2中示出)。存儲(chǔ)器可被設(shè)置在相機(jī)105中或者電子裝置101中，或者可以是連接到相機(jī)105和/或電子裝置101的單獨(dú)的單元。相機(jī)105可具有廣角視野(例如魚眼相機(jī))。
[0021]所述場(chǎng)景還包括視窗106。視窗106位于顯示器103的前面。視窗106可以是(例如)觸摸屏、汽車的擋風(fēng)玻璃、白板或者在用戶102的視野內(nèi)的任何東西。用戶102在透過顯示器103觀看時(shí),可以看到視窗106。
[0022]在視窗106與電子裝置101的用戶102之間，可能放置有物體107。物體107可以是(例如)用戶102的手或四肢。當(dāng)物體107位于視窗106與電子裝置101的用戶102之間時(shí)，物體107遮擋了視窗106的一部分，使得用戶102看不到視窗的這一部分，將視窗的這一部分稱作遮擋區(qū)域108。
[0023]所述場(chǎng)景可包括布置在遮擋視窗106的物體107上的傳感器109。傳感器109可連接到電子裝置101，并且適于向電子裝置101提供關(guān)于遮擋視窗106的物體107的信息。傳感器109可以是(例如)設(shè)置在用戶102的手上的陀螺儀、羅盤或者GPS接收器。
[0024]現(xiàn)在將參照?qǐng)D2中的組合流程圖和信令圖描述顯示視窗106的遮擋區(qū)域108的內(nèi)容的方法的實(shí)施方式。為了說明本文的實(shí)施方式，下面的描述將利用以下示例來進(jìn)行描述。在此示例中，物體107是用戶102的手，視窗106是用戶102正在打字的鍵盤。假設(shè)用戶102觀看不幸被物體107遮擋的視窗106，例如，用戶102用他的手在觸摸屏上打字，打字的手不幸遮擋了觸摸屏。用戶102無法看到觸摸屏的鍵盤，因?yàn)樗淮蜃值氖终趽趿?。用?02現(xiàn)在利用使用增強(qiáng)現(xiàn)實(shí)功能的電子裝置101，以在通過電子裝置101的顯示器103觀看時(shí)使手半透明。當(dāng)用戶102看到他的手為半透明時(shí)，用戶102能夠看到手和觸摸屏的鍵盤二者。
[0025]在以下與圖2有關(guān)的描述中，電子裝置101、相機(jī)105、存儲(chǔ)器200和顯示器103將被描述為單獨(dú)的單元。本領(lǐng)域技術(shù)人員將理解，它們?nèi)靠砂ㄔ陔娮友b置中。
[0026]所述方法包括以下動(dòng)作，所述動(dòng)作可按照任何合適的順序執(zhí)行。所述動(dòng)作也可組口 ο
[0027]實(shí)施方式描述了電子裝置101中顯示電子裝置101的用戶102的視窗106的遮擋區(qū)域108的內(nèi)容的方法。所述內(nèi)容顯示在包括在電子裝置101中的顯示器103上。顯示器103適于設(shè)置在用戶102的眼睛104與視窗106之間。
[0028]動(dòng)作201
[0029]電子裝置101獲得標(biāo)識(shí)遮擋區(qū)域108相對(duì)于視窗106的位置的信息。獲得的標(biāo)識(shí)遮擋區(qū)域108相對(duì)于視窗106的位置的信息可從相機(jī)105或者從存儲(chǔ)器200獲得。在我們的示例中，執(zhí)行此動(dòng)作，以使得電子裝置101能夠標(biāo)識(shí)遮擋視窗的用戶102的打字的手。
[0030]相機(jī)105可適于利用任何類型的計(jì)算機(jī)視覺在視窗106中檢測(cè)物體107。現(xiàn)有技術(shù)中已知有不同的計(jì)算機(jī)視覺技術(shù)。相機(jī)105檢測(cè)物體107的一種方式可以是使用自動(dòng)獲取的可變長(zhǎng)度馬爾可夫模型來表示手勢(shì)的高級(jí)結(jié)構(gòu)和時(shí)間排序。通過將模型與退火粒子濾波組合來處理手形的連續(xù)估計(jì)。
[0031]相機(jī)105將標(biāo)識(shí)遮擋區(qū)域108相對(duì)于視窗106的位置的信息傳輸給電子裝置。
[0032]獲得的(201)標(biāo)識(shí)遮擋區(qū)域108相對(duì)于視窗106的位置的信息可包括圖像數(shù)據(jù)。在該圖像數(shù)據(jù)中，可由電子裝置101標(biāo)識(shí)遮擋視窗106的物體107。
[0033]這意味著可在圖像數(shù)據(jù)中標(biāo)識(shí)遮擋視窗106的物體107?？衫帽绢I(lǐng)域已知的任何方法來執(zhí)行物體107在圖像數(shù)據(jù)中的標(biāo)識(shí)。就像可從臉部的視頻供應(yīng)(feed)推導(dǎo)預(yù)期的臉部幾何形狀一樣，可利用(例如)基于骨骼的手勢(shì)識(shí)別算法(例如，XTR3D)針對(duì)手來推導(dǎo)預(yù)期的手幾何形狀。當(dāng)記錄任何東西時(shí)很難使用計(jì)算機(jī)視覺技術(shù)，但對(duì)輸入存在某些預(yù)期。這就是手/手臂將一直在相機(jī)105的視野內(nèi)。這將使得電子裝置101更容易優(yōu)化計(jì)算機(jī)視覺算法。
[0034]動(dòng)作202
[0035]在一些實(shí)施方式中，電子裝置101從附著到遮擋視窗106的物體107的傳感器109獲得有關(guān)物體107的位置信息。如果遮擋視窗106的物體107是用戶102的手，則傳感器109可以是(例如)羅盤、陀螺儀或GPS接收器。傳感器109可經(jīng)由線纜或任何類型的無線連接來連接到電子裝置101。傳感器109適于將有關(guān)物體107的位置信息發(fā)送給電子裝置
101。這將幫助電子裝置101相對(duì)于視窗106標(biāo)識(shí)遮擋區(qū)域108。在我們的示例中，傳感器109可被佩戴在用戶的腕部或手指上。
[0036]動(dòng)作203
[0037]電子裝置101基于獲得(201)的標(biāo)識(shí)遮擋區(qū)域108相對(duì)于視窗106的位置的信息計(jì)算標(biāo)識(shí)遮擋區(qū)域108在顯示器103上的位置的信息。
[0038]計(jì)算的標(biāo)識(shí)遮擋區(qū)域108在顯示器103上的位置的位置信息對(duì)應(yīng)于當(dāng)從用戶102的眼睛104觀看時(shí)顯示器上的視窗106被物體107遮擋的區(qū)域。視窗106的其余部分可在顯示器103上仍可見。如果顯示器103是半透明的，則用戶102的眼睛104的位置必須被最可能地獲得，以能夠計(jì)算標(biāo)識(shí)與視窗106的遮擋區(qū)域108對(duì)應(yīng)的遮擋區(qū)域108在顯示器103上的位置的信息。
[0039]動(dòng)作204
[0040]相機(jī)105記錄關(guān)于視窗106的內(nèi)容的信息并將該信息傳輸給存儲(chǔ)器200。存儲(chǔ)器200接收關(guān)于視窗106的內(nèi)容的信息并保存該信息。相機(jī)105可以是與獲得標(biāo)識(shí)遮擋區(qū)域108相對(duì)于視窗106的位置的信息(如與動(dòng)作201有關(guān)描述的)相同的相機(jī)105。
[0041]動(dòng)作205
[0042]電子裝置101從存儲(chǔ)器200獲得關(guān)于視窗106或所述視窗106的部分的未被遮擋時(shí)的內(nèi)容的信息。存儲(chǔ)器200連接到相機(jī)105。相機(jī)105布置在電子裝置101上。如動(dòng)作203中提及的，在視窗106被物體107遮擋之前通過相機(jī)105記錄關(guān)于視窗106的內(nèi)容的信息并將該信息保存在存儲(chǔ)器200上。
[0043]相機(jī)105與電子裝置101的用戶102看到相同的視窗106。假設(shè)在視窗106被記錄的時(shí)刻與它被遮擋的時(shí)刻之間，關(guān)于視窗106的內(nèi)容的信息沒有改變。在我們的示例中，用戶102在鍵盤上打字，并且當(dāng)用戶102在鍵盤上打字時(shí)鍵盤將不改變外觀。
[0044]動(dòng)作206
[0045]電子裝置101基于獲得(201)的標(biāo)識(shí)遮擋區(qū)域相對(duì)于顯示器103的位置的信息并且基于計(jì)算(203)的標(biāo)識(shí)遮擋區(qū)域108相對(duì)于視窗106的位置的信息，并且基于獲得(205)的關(guān)于視窗106或視窗106的部分的未被遮擋時(shí)的內(nèi)容的信息，創(chuàng)建與視窗106的遮擋區(qū)域108的內(nèi)容有關(guān)的圖像。
[0046]創(chuàng)建與視窗106的遮擋區(qū)域108的內(nèi)容有關(guān)的圖像的一個(gè)方式是利用獲得(205)的關(guān)于視窗106的內(nèi)容的信息的對(duì)應(yīng)像素代替計(jì)算(203)的標(biāo)識(shí)遮擋區(qū)域108在顯示器103上的位置的信息上的一些像素。在創(chuàng)建圖像時(shí)，可對(duì)計(jì)算(203)的顯示器104上的位置重新布光(relight)以更好地配合使用情況(例如，當(dāng)物體107不移動(dòng)時(shí)變暗或變灰，朝著視窗106增加對(duì)比度，或者用增強(qiáng)現(xiàn)實(shí)的手代替)。還可增加虛擬光源并使用這些光源來對(duì)遮擋視窗106的物體107重新布光。利用物體107的深度圖，甚至可將陰影設(shè)置在正確的地方。如何這樣做的細(xì)節(jié)是本領(lǐng)域已知的。重新布光可通過觀察物體107的表面和位置來執(zhí)行。觀看物體107的表面的彎曲部分，它們將具有特定形狀，該形狀允許我們生成圖像中的各個(gè)像素的法線。根據(jù)它們面朝光源還是背離光源，這些法線可與像素的3D位置結(jié)合用于確定像素的亮度。
[0047]動(dòng)作207
[0048]電子裝置101在顯示器103上與計(jì)算(203)的遮擋區(qū)域108相對(duì)于顯示器103的位置對(duì)應(yīng)的地方顯示圖像。
[0049]本文所述的實(shí)施方式的效果可從圖3看出。本文呈現(xiàn)的實(shí)施方式的目的是向電子裝置101的用戶102顯示遮擋區(qū)域108的至少部分內(nèi)容。圖3是示出根據(jù)實(shí)施方式的半透明觀看體驗(yàn)的示意性框圖。電子裝置101能夠在計(jì)算(203)的顯示器103上的對(duì)應(yīng)位置上顯示遮擋區(qū)域108的至少一部分。當(dāng)用戶102看向物體107(例如，手301)時(shí)，遮擋區(qū)域108的部分在顯示器103上可見，從而給予用戶102半透明觀看體驗(yàn)。
[0050]如果電子裝置101和顯示器103是單獨(dú)的單元，則電子裝置101將圖像傳輸給顯示器103并且顯示器103顯示該圖像。在我們的示例中，用戶102打字的鍵盤將顯示在打字的手指上方。這給予用戶半透明觀看體驗(yàn)。
[0051]現(xiàn)在將參照?qǐng)D4中描繪的流程圖描述電子裝置101中的用于向電子裝置101的用戶102顯示視窗106的遮擋區(qū)域108的內(nèi)容的方法的實(shí)施方式。將從電子裝置101的角度描述圖4。內(nèi)容顯示在包括在電子裝置101中的顯示器103上。顯示器103適于設(shè)置在用戶102的眼睛104與視窗106之間。所述方法包括以下動(dòng)作，所述動(dòng)作可按照以下所述順序以外的任何合適的順序執(zhí)行。所述動(dòng)作也可組合。
[0052]動(dòng)作401
[0053]電子裝置101從附著到遮擋視窗106的物體107的傳感器109獲得關(guān)于物體107的位置信息。這一動(dòng)作對(duì)應(yīng)于與圖2的信令圖有關(guān)的描述中的動(dòng)作202。
[0054]動(dòng)作402
[0055]電子裝置101獲得標(biāo)識(shí)遮擋區(qū)域108相對(duì)于視窗106的位置的信息。這一動(dòng)作對(duì)應(yīng)于與圖2的信令圖有關(guān)的描述中的動(dòng)作201。
[0056]動(dòng)作403
[0057]電子裝置101基于獲得(201，402)的標(biāo)識(shí)遮擋區(qū)域108相對(duì)于視窗106的位置的信息計(jì)算標(biāo)識(shí)遮擋區(qū)域108在顯示器103上的位置的信息。這一動(dòng)作對(duì)應(yīng)于與圖2的信令圖有關(guān)的描述中的動(dòng)作203。
[0058]動(dòng)作404
[0059]電子裝置101從存儲(chǔ)器200獲得關(guān)于視窗106或視窗106的部分的未被遮擋時(shí)的內(nèi)容的信息。存儲(chǔ)器200連接到相機(jī)105。相機(jī)105布置在電子裝置101上，其中，在視窗106被物體107遮擋之前通過相機(jī)105記錄關(guān)于視窗106的內(nèi)容的信息并將所述信息保存在存儲(chǔ)器200上。這一動(dòng)作對(duì)應(yīng)于與圖2的信令圖有關(guān)的描述中的動(dòng)作205。
[0060]動(dòng)作405
[0061]電子裝置101基于獲得(402)的標(biāo)識(shí)遮擋區(qū)域相對(duì)于顯示器103的位置的信息并且基于計(jì)算(403)的標(biāo)識(shí)遮擋區(qū)域108相對(duì)于視窗106的位置的信息，以及獲得(404)的關(guān)于視窗106或視窗106的部分的未被遮擋時(shí)的內(nèi)容的信息，創(chuàng)建與視窗106的遮擋區(qū)域108的內(nèi)容有關(guān)的圖像。這一動(dòng)作對(duì)應(yīng)于與圖2的信令圖有關(guān)的描述中的動(dòng)作206。
[0062]動(dòng)作406
[0063]電子裝置101在顯示器103上的與計(jì)算(403)的遮擋區(qū)域相對(duì)于顯示器103的位置對(duì)應(yīng)的地方顯示圖像。這一動(dòng)作對(duì)應(yīng)于與圖2的信令圖有關(guān)的描述中的動(dòng)作207。
[0064]為了執(zhí)行上述電子裝置101中的用于為電子裝置101的用戶102顯示視窗106的遮擋區(qū)域108的內(nèi)容的方法動(dòng)作。電子裝置101包括圖5所描繪的結(jié)構(gòu)。
[0065]在以下描述中，相機(jī)105、存儲(chǔ)器200和顯示器103將包括在電子裝置101中。對(duì)于技術(shù)人員而言明顯的是，這些單元可被實(shí)現(xiàn)為連接到電子裝置101的單獨(dú)的單元。
[0066]電子裝置101適于為電子裝置101的用戶102顯示視窗106的遮擋區(qū)域108的內(nèi)容。內(nèi)容顯示在包括在電子裝置101中的顯示器103上。顯示器103適于設(shè)置在用戶102的眼睛104與視窗106之間。電子裝置101還包括連接到布置在電子裝置101上的相機(jī)105的存儲(chǔ)器200。
[0067]電子裝置101可以是增強(qiáng)現(xiàn)實(shí)單元。
[0068]電子裝置101包括獲得電路501，其被配置為獲得標(biāo)識(shí)遮擋區(qū)域108相對(duì)于視窗106的位置的信息。獲得電路501能夠連接到傳感器109、相機(jī)105和存儲(chǔ)器200。
[0069]標(biāo)識(shí)遮擋區(qū)域108相對(duì)于視窗106的位置的信息可包括圖像數(shù)據(jù)。獲得電路501還被配置為在圖像數(shù)據(jù)中標(biāo)識(shí)遮擋視窗106的物體107。
[0070]獲得電路501還可被配置為從附著到遮擋視窗106的物體107的傳感器109獲得關(guān)于物體107的位置信息。
[0071]電子裝置101還包括計(jì)算電路502，其被配置為基于獲得的標(biāo)識(shí)遮擋區(qū)域108相對(duì)于視窗106的位置的信息計(jì)算標(biāo)識(shí)遮擋區(qū)域108在顯示器103上的位置的信息。計(jì)算電路502能夠連接到獲得電路501。
[0072]獲得電路501還被配置為從存儲(chǔ)器200獲得關(guān)于視窗106或視窗106的部分的未被遮擋時(shí)的內(nèi)容的信息。在視窗106被遮擋之前通過相機(jī)105記錄關(guān)于視窗106的內(nèi)容的信息并將該信息保存在存儲(chǔ)器200上。
[0073]電子裝置101還包括創(chuàng)建電路503，其被配置為基于獲得的標(biāo)識(shí)遮擋區(qū)域108相對(duì)于顯示器103的位置的信息并且基于計(jì)算的標(biāo)識(shí)遮擋區(qū)域108相對(duì)于視窗106的位置的信息，并且基于獲得的視窗106或視窗106的部分的未被遮擋時(shí)的內(nèi)容的信息,倉Il建與視窗106的遮擋區(qū)域108的內(nèi)容有關(guān)的圖像。創(chuàng)建電路503能夠連接到獲得電路501和計(jì)算電路 502。
[0074]電子裝置101還包括顯示電路504，其被配置為在顯示器103上的與計(jì)算的遮擋區(qū)域相對(duì)于顯示器103的位置對(duì)應(yīng)的地方顯示圖像。顯示電路504能夠連接到計(jì)算電路502、創(chuàng)建電路503和顯示器103。
[0075]用于在電子裝置101中顯示遮擋區(qū)域108的內(nèi)容的本文的實(shí)施方式可通過一個(gè)或更多個(gè)處理器(例如，電子裝置101中的處理器505)與用于執(zhí)行本文的實(shí)施方式的功能和動(dòng)作的計(jì)算機(jī)程序代碼一起來實(shí)現(xiàn)。上述程序代碼也可作為計(jì)算機(jī)程序產(chǎn)品來提供，例如以承載計(jì)算機(jī)程序代碼的數(shù)據(jù)載體的形式，所述計(jì)算機(jī)程序代碼在被載入電子裝置101中時(shí)執(zhí)行本文的實(shí)施方式。一種這樣的載體可以是CD ROM盤的形式。然而，可以想到諸如記憶棒的其它數(shù)據(jù)載體。計(jì)算機(jī)程序代碼還可作為服務(wù)器上的純程序代碼提供并被下載到電子裝置101。
[0076]電子裝置101還可包括外部存儲(chǔ)器506，其包括一個(gè)或更多個(gè)存儲(chǔ)器單元。外部存儲(chǔ)器506被布置為用于存儲(chǔ)數(shù)據(jù)、接收的數(shù)據(jù)流、接收的信息、配置、調(diào)度以及在電子裝置101中執(zhí)行時(shí)執(zhí)行本文的方法的應(yīng)用。
[0077]本領(lǐng)域技術(shù)人員還將理解，上述獲得電路501、計(jì)算電路502、創(chuàng)建電路503和顯示電路504可指模擬和數(shù)字電路和/或配置有(例如)在由所述一個(gè)或更多個(gè)處理器執(zhí)行時(shí)存儲(chǔ)在存儲(chǔ)器中的軟件和/或固件的一個(gè)或更多個(gè)處理器的組合。這些處理器中的一個(gè)或更多個(gè)以及其它數(shù)字硬件可被包括在單個(gè)專用集成電路(ASIC)中，或者多個(gè)處理器和各種數(shù)字硬件可分布于多個(gè)單獨(dú)的組件上(無論是單獨(dú)封裝還是組裝成系統(tǒng)芯片(SoC))。
[0078]當(dāng)使用詞語“包括”時(shí)，它應(yīng)該被解釋為非限制性的，即，表示“至少由…組成”。
[0079]本文的實(shí)施方式不限于上述優(yōu)選實(shí)施方式。可使用各種替代形式、修改形式和等同形式。因此，實(shí)施方式不應(yīng)被看作限制本發(fā)明的范圍，本發(fā)明的范圍由所附權(quán)利要求限定。
【權(quán)利要求】
1.一種電子裝置(101)中的用于顯示所述電子裝置(101)的用戶(102)的視窗(106)的遮擋區(qū)域(108)的內(nèi)容的方法，所述內(nèi)容顯示在包括在所述電子裝置(101)中的顯示器(103)上，所述顯示器(103)適于設(shè)置在所述用戶(102)的眼睛(104)與所述視窗(106)之間，所述電子裝置(101)還包括連接到相機(jī)(105)的存儲(chǔ)器(200)，所述相機(jī)(105)布置在所述電子裝置(101)上，所述方法包括以下步驟: 獲得(201，402)標(biāo)識(shí)所述遮擋區(qū)域(108)相對(duì)于所述視窗(106)的位置的信息， 基于獲得(201，402)的標(biāo)識(shí)所述遮擋區(qū)域(108)相對(duì)于所述視窗(106)的位置的信息，計(jì)算(203，403)標(biāo)識(shí)所述遮擋區(qū)域(108)在所述顯示器(103)上的位置的信息， 從所述存儲(chǔ)器(200)獲得(205，404)關(guān)于所述視窗(106)或所述視窗(106)的部分的未被遮擋時(shí)的內(nèi)容的信息，其中，在所述視窗(106)被遮擋之前通過所述相機(jī)(105)記錄關(guān)于所述視窗(106)的內(nèi)容的所述信息并將所述信息保存在所述存儲(chǔ)器(200)上， 基于獲得(201，402)的標(biāo)識(shí)所述遮擋區(qū)域相對(duì)于所述顯示器(103)的位置的信息并且基于計(jì)算(203，403)的標(biāo)識(shí)所述遮擋區(qū)域(108)相對(duì)于所述視窗(106)的位置的信息，以及基于獲得(205,404)的關(guān)于所述視窗(106)或所述視窗(106)的部分的未被遮擋時(shí)的內(nèi)容的信息，創(chuàng)建(206,405)與所述視窗(106)的所述遮擋區(qū)域(108)的內(nèi)容有關(guān)的圖像，以及 在所述顯示器(103)上的與計(jì)算(203，403)的所述遮擋區(qū)域相對(duì)于所述顯示器(103)的位置對(duì)應(yīng)的地方顯示(207，406)所述圖像。
2.根據(jù)權(quán)利要求1所述的方法，其中，標(biāo)識(shí)所述遮擋區(qū)域(108)相對(duì)于所述視窗(106)的位置的所述信息包括圖像數(shù)據(jù)，并且其中，獲得(201，402)標(biāo)識(shí)所述遮擋區(qū)域(108)相對(duì)于所述視窗(106)的位置的信息的步驟還包括在所述圖像數(shù)據(jù)中標(biāo)識(shí)遮擋所述視窗(106)的物體(107)。
3.根據(jù)權(quán)利要求1-2中任一項(xiàng)所述的方法，其中，獲得(201，402)標(biāo)識(shí)所述遮擋區(qū)域(108)相對(duì)于所述視窗(106)的位置的信息的步驟還包括: 從附著到遮擋所述視窗(106)的物體(107)的傳感器(109)獲得(202，401)關(guān)于所述物體(107)的位置信息。
4.根據(jù)權(quán)利要求1-3中任一項(xiàng)所述的方法，其中，所述電子裝置(101)是增強(qiáng)現(xiàn)實(shí)單J Li ο
5.一種電子裝置(101)，所述電子裝置用于顯示所述電子裝置(101)的用戶(102)的視窗(106)的遮擋區(qū)域(108)的內(nèi)容，所述內(nèi)容顯示在包括在所述電子裝置(101)中的顯示器(103)上，所述顯示器(103)適于設(shè)置在所述用戶(102)的眼睛(104)與所述視窗(106)之間，所述電子裝置(101)還包括連接到相機(jī)(105)的存儲(chǔ)器(200)，所述相機(jī)(105)布置在所述電子裝置(101)上，所述電子裝置(101)包括: 獲得電路(501)，其被配置為獲得標(biāo)識(shí)所述遮擋區(qū)域(108)相對(duì)于所述視窗(106)的位置的信息， 計(jì)算電路(502)，其被配置為基于獲得的標(biāo)識(shí)所述遮擋區(qū)域(108)相對(duì)于所述視窗(106)的位置的信息，計(jì)算標(biāo)識(shí)所述遮擋區(qū)域(108)在所述顯示器(103)上的位置的信息，并且 其中，所述獲得電路(501)還被配置為從所述存儲(chǔ)器(200)獲得關(guān)于所述視窗(106)或所述視窗(106)的部分的未被遮擋時(shí)的內(nèi)容的信息，其中，在所述視窗(106)被遮擋之前通過所述相機(jī)(105)記錄關(guān)于所述視窗(106)的內(nèi)容的所述信息并將所述信息保存在所述存儲(chǔ)器(200)上， 創(chuàng)建電路(503)，其被配置為基于獲得的標(biāo)識(shí)所述遮擋區(qū)域相對(duì)于所述顯示器(103)的位置的信息并且基于計(jì)算的標(biāo)識(shí)所述遮擋區(qū)域(108)相對(duì)于所述視窗(106)的位置的信息，以及獲得的關(guān)于所述視窗(106)或所述視窗(106)的部分的未被遮擋時(shí)的內(nèi)容的信息，創(chuàng)建與所述視窗(106)的所述遮擋區(qū)域(108)的內(nèi)容有關(guān)的圖像，以及 顯示電路(504)，其被配置為在所述顯示器(103)上的與計(jì)算的所述遮擋區(qū)域相對(duì)于所述顯示器(103)的位置對(duì)應(yīng)的地方顯示所述圖像。
6.根據(jù)權(quán)利要求5所述的電子裝置(101)，其中，標(biāo)識(shí)所述遮擋區(qū)域(108)相對(duì)于所述視窗(106)的位置的所述信息包括圖像數(shù)據(jù)，并且其中，所述獲得電路(501)還被配置為在所述圖像數(shù)據(jù)中標(biāo)識(shí)遮擋所述視窗(106)的物體(107)。
7.根據(jù)權(quán)利要求5-6中任一項(xiàng)所述的電子裝置(101)，其中，所述獲得電路(501)還被配置為從附著到遮擋所述視窗(106)的物體(107)的傳感器(109)獲得關(guān)于所述物體(107)的位置信息。
8.根據(jù)權(quán)利要求5-7中任一項(xiàng)所述的電子裝置(101)，其中，所述電子裝置(101)是增強(qiáng)現(xiàn)實(shí)單元。
9.一種能夠載入計(jì)算機(jī)化裝置的外部存儲(chǔ)器(506)中并且包括軟件代碼部分的計(jì)算機(jī)程序產(chǎn)品，所述軟件代碼部分適于執(zhí)行權(quán)利要求1-4所述的一個(gè)或更多個(gè)動(dòng)作和/或?qū)崿F(xiàn)權(quán)利要求5-8所述的一個(gè)或更多個(gè)特征。
【文檔編號(hào)】G02B27/01GK104205007SQ201280071332
【公開日】2014年12月10日 申請(qǐng)日期:2012年3月12日 優(yōu)先權(quán)日:2012年3月12日
【發(fā)明者】卡爾·奧拉·索恩, 佩爾·阿斯特蘭德, 亨里克·本特松, M·林德奎斯特, L·馬騰森, 馬茨·維爾納松 申請(qǐng)人:索尼移動(dòng)通訊有限公司