提供對應(yīng)于電視節(jié)目的交互增強(qiáng)現(xiàn)實(shí)信息的方法和設(shè)備的制作方法
【專利摘要】本發(fā)明公開了多種涉及用于顯示基于增強(qiáng)現(xiàn)實(shí)（AR）的多媒體內(nèi)容的技術(shù)。AR內(nèi)容對應(yīng)于正在電視屏幕上顯示的電視（TV）節(jié)目。這些技術(shù)的一個(gè)實(shí)施方式不需要掃描任何AR標(biāo)識或者相關(guān)圖像以檢索特定的AR內(nèi)容。用于電視廣播節(jié)目的AR系統(tǒng)包括移動設(shè)備、數(shù)字電視或互聯(lián)網(wǎng)電視和基于云計(jì)算的TV-AR管理服務(wù)器。所述TV-AR管理服務(wù)器被配置成對于正在廣播的并且同時(shí)用戶正使用的電視機(jī)中接收的電視節(jié)目提供正確的AR內(nèi)容。
【專利說明】提供對應(yīng)于電視節(jié)目的交互增強(qiáng)現(xiàn)實(shí)信息的方法和設(shè)備
【【技術(shù)領(lǐng)域】】
[0001] 本發(fā)明通常涉及增強(qiáng)現(xiàn)實(shí)領(lǐng)域。特別地，本發(fā)明涉及多種用于將相應(yīng)的增強(qiáng)實(shí)現(xiàn)覆蓋到在電視設(shè)備上正顯示的圖像或者視頻上的技術(shù)。
【【背景技術(shù)】】
[0002]增強(qiáng)現(xiàn)實(shí)(Augmented Reality, AR)是一種虛擬現(xiàn)實(shí)的類型,其目的在于在計(jì)算機(jī)設(shè)備中復(fù)制世界的環(huán)境。增強(qiáng)現(xiàn)實(shí)系統(tǒng)為用戶生成復(fù)合視圖，該視圖是用戶所觀看到的真實(shí)場景和利用附加內(nèi)容增強(qiáng)場景的計(jì)算機(jī)設(shè)備所生成的虛擬場景的結(jié)合。通過計(jì)算機(jī)設(shè)備所生成的虛擬場景被設(shè)計(jì)成增強(qiáng)用戶對于正在觀看或者交互的虛擬世界的感官知覺。增強(qiáng)現(xiàn)實(shí)的目的是創(chuàng)建一種用戶不能分辨真實(shí)世界與其虛擬增強(qiáng)之間的區(qū)別的系統(tǒng)。如今的增強(qiáng)現(xiàn)實(shí)被用在娛樂、軍事訓(xùn)練、工程設(shè)計(jì)、機(jī)器人技術(shù)、制造和其他工業(yè)中。
[0003]移動設(shè)備和云計(jì)算近來的發(fā)展允許軟件開發(fā)者創(chuàng)建很多AR應(yīng)用程序以覆蓋所捕捉的圖像中的虛擬對象和/或附加的2D/3D多媒體信息。為了在顯示真實(shí)圖像的真實(shí)的屏幕區(qū)域中顯示諸如虛擬對象等AR內(nèi)容，用戶需要掃描AR特定標(biāo)識(例如QR碼)或者等同標(biāo)識的圖像，從而通過服務(wù)器來檢索AR內(nèi)容。
[0004]對于電視節(jié)目而言，實(shí)施AR的確存在著一些困難。因?yàn)橛脩敉ǔＷ谏嘲l(fā)上來觀看電視屏幕，所以由于電視屏幕與觀看者之間的距離會產(chǎn)生各種問題。當(dāng)AR標(biāo)識被置于電視屏幕上時(shí)，在播放電視節(jié)目的同時(shí)，會對正確檢測與該特定電視節(jié)目有關(guān)的AR標(biāo)識或等同標(biāo)識的圖像產(chǎn)生視覺上的困難。另一個(gè)問題是電視廣播公司可能不接受僅是為了實(shí)現(xiàn)對于電視節(jié)目的AR功能而在電視節(jié)目中加入連續(xù)的可視圖像。電視節(jié)目同樣也有對于AR實(shí)施的特定的困難。由于可能的自然災(zāi)害或者其他緊急情況，電視節(jié)目的時(shí)間表在播放計(jì)劃方面存在著易變情況的固有問題。因此，對于正在播放的電視節(jié)目提供交互增強(qiáng)現(xiàn)實(shí)內(nèi)容的技術(shù)也存在需求。
【
【發(fā)明內(nèi)容】
】
[0005]本章節(jié)總結(jié)了現(xiàn)有公開的一些方面，并簡單的介紹一些優(yōu)選實(shí)施例。本章節(jié)的簡化或者省略和在摘要或者標(biāo)題中的說明一樣可能會避開隱藏本章節(jié)、摘要和標(biāo)題的目的。這些簡化或者省略并非想要限定現(xiàn)有公開的范圍。
[0006]一般地，本發(fā)明涉及多種用于顯示任何對應(yīng)于電視屏幕上的電視(TV)節(jié)目的基于增強(qiáng)現(xiàn)實(shí)(AR)的多媒體信息的技術(shù)，這些技術(shù)不需要掃描任何AR標(biāo)識或者相關(guān)圖像以檢索特定AR內(nèi)容。根據(jù)本發(fā)明的一個(gè)方面，一種用于電視廣播節(jié)目的AR系統(tǒng)包括移動設(shè)備、數(shù)字電視或互聯(lián)網(wǎng)電視機(jī)和基于云計(jì)算的TV-AR管理服務(wù)器。所述TV-AR管理服務(wù)器被配置成向正在廣播并且同時(shí)被用戶正使用的電視機(jī)接收的電視節(jié)目提供正確的AR內(nèi)容。
[0007]根據(jù)實(shí)施情況，本發(fā)明可以被實(shí)施成方法、設(shè)備或系統(tǒng)的一部分。根據(jù)一個(gè)實(shí)施方式，其為一種用于提供增強(qiáng)現(xiàn)實(shí)(AR)內(nèi)容的方法，該方法包括:接收來自移動設(shè)備的請求，用以根據(jù)正在電視設(shè)備的顯示屏上顯示的圖像來下載AR內(nèi)容，其中所述移動設(shè)備與所述電視設(shè)備進(jìn)行無線通信以接收關(guān)于所述電視設(shè)備上正在顯示的圖像的詳細(xì)信息；根據(jù)關(guān)于所述圖像的詳細(xì)信息從數(shù)據(jù)庫中搜索合適的AR內(nèi)容，其中所述合適的AR內(nèi)容與正在電視設(shè)備上顯示的圖像是時(shí)間同步的；以及將該合適的AR內(nèi)容釋放到所述移動設(shè)備，以在所述圖像上顯示所述AR內(nèi)容。
[0008]根據(jù)另一實(shí)施方式，其為一種提供增強(qiáng)現(xiàn)實(shí)(AR)內(nèi)容的方法，該方法包括:從移動設(shè)備向服務(wù)器發(fā)送請求，以獲取合適的AR內(nèi)容用于在電視設(shè)備的顯示屏上的正在顯示的圖像上覆蓋所述AR內(nèi)容，其中所述移動設(shè)備與所述電視設(shè)備進(jìn)行無線通信以接收關(guān)于正在該電視設(shè)備上顯示的圖像的詳細(xì)信息；以及在所述圖像上顯示所述合適的AR內(nèi)容。
[0009]本發(fā)明的目的、特征和優(yōu)點(diǎn)之一為在電視設(shè)備上正在顯示的圖像上顯示對應(yīng)的AR內(nèi)容提供了很多靈活性。移動設(shè)備的使用是幫助對應(yīng)于正在電視設(shè)備上顯示的電視節(jié)目的正確AR內(nèi)容的檢索。
[0010]本公開的其他目標(biāo)，優(yōu)點(diǎn)和優(yōu)勢通過接下來的優(yōu)選實(shí)施例結(jié)合附圖的具體說明將變得更加明顯。
【【專利附圖】

【附圖說明】】
[0011]結(jié)合接下來的說明、所附權(quán)利要求、參考附圖，本發(fā)明的這些和其他特征、方面和優(yōu)點(diǎn)將更容易理解。
[0012]圖1A描述了根據(jù)本發(fā)明的一個(gè)實(shí)施方式的配置100 ； [0013]圖1B示出了另一實(shí)施方式，其中電視廣播公司在服務(wù)器(這里被稱為更新的IEPG服務(wù)器)中生成了其自己的電視節(jié)目指南或者直播計(jì)劃；
[0014]圖1C示出了用于從電視機(jī)到移動設(shè)備所獲取的當(dāng)前電視頻道的功能框圖；
[0015]圖2A描述了展示SLAM算法如何被用于確定電視框架(屏幕)的3D坐標(biāo)的示例；
[0016]圖2B和圖2C分別示出了在移動設(shè)備的觸摸屏上顯示的AR內(nèi)容的兩個(gè)示例；
[0017]圖3示出了以默認(rèn)模式的方式實(shí)施的流程300的流程圖；
[0018]圖4A示出了在不同服務(wù)器(如圖1B所示)之間的對應(yīng)的數(shù)據(jù)流400，其中TV-AR管理服務(wù)器被提供給單個(gè)電視廣播公司；
[0019]圖4B和圖4C分別描述了 IEPG數(shù)據(jù)集的鏈接數(shù)據(jù)庫和AR內(nèi)容數(shù)據(jù)集，用于電視廣播公司正確地識別出對應(yīng)于由移動設(shè)備作出請求時(shí)的電視節(jié)目的AR內(nèi)容；
[0020]圖4D不出了一種系統(tǒng)配置450,其中包括移動設(shè)備、電視設(shè)備(例如傳統(tǒng)電視機(jī)或具有顯示屏的計(jì)算設(shè)備)以及用于由不同電視廣播公司所提供的多個(gè)電視節(jié)目的TV-AR管理服務(wù)器；
[0021]圖5A和圖5B分別描述了當(dāng)對應(yīng)的AR信息在移動設(shè)備上顯示時(shí)的示例用戶界面布局;
[0022]圖6示出了一種被修改以提供基于位置的TV-AR內(nèi)容的配置600 ；
[0023]圖7示出了一種TV-AR服務(wù)器的配置，以向電視廣播服務(wù)器提供TV-AR觀眾的統(tǒng)計(jì)數(shù)據(jù)。
【【具體實(shí)施方式】】
[0024]在下面的描述中，為了提供對本發(fā)明的全面理解而陳述了大量的具體細(xì)節(jié)。但是，對于本領(lǐng)域技術(shù)人員而言，本發(fā)明顯然可以在不具有這些具體細(xì)節(jié)的情況下實(shí)施。這里的描述和陳述是本領(lǐng)域有經(jīng)驗(yàn)的或普通技術(shù)人員所使用的常見手段，以便更有效地向本領(lǐng)域其他技術(shù)人員表達(dá)他們工作的實(shí)質(zhì)。在其他實(shí)例中，為了避免不必要地模糊本發(fā)明的各方面，所以并沒有詳細(xì)描述公知的方法、流程、組件和電路。
[0025]這里“一個(gè)實(shí)施方式”或“實(shí)施方式”意味著與該實(shí)施方式有關(guān)的具體特征、結(jié)構(gòu)或特性可以被包括在本發(fā)明的至少一個(gè)實(shí)施方式中。短語“在一個(gè)實(shí)施方式中”在文中各處的出現(xiàn)并不必然指代同一個(gè)實(shí)施方式，單獨(dú)的或替換的實(shí)施方式與其他實(shí)施方式也不互相排斥。進(jìn)一步地，代表本發(fā)明的一個(gè)或多個(gè)實(shí)施方式的流程圖或圖表中的方框的順序并非固定地表示任何特定的順序，也非暗示本發(fā)明的任何限制。
[0026]本發(fā)明的實(shí)施方式將結(jié)合圖1-圖7來討論。但是，本領(lǐng)域技術(shù)人員能夠容易地理解這里給出的關(guān)于這些附圖的具體描述是用于解釋目的，本發(fā)明范圍超過這些有限的實(shí)施方式。
[0027]根據(jù)一種實(shí)施方式，電視節(jié)目指南(例如互聯(lián)網(wǎng)電子節(jié)目指南(InternetElectronic Program Guide, IEPG))與移動設(shè)備的內(nèi)置時(shí)鐘之間的同步被用于該移動設(shè)備從專用服務(wù)器(例如云服務(wù)器)下載相應(yīng)的AR內(nèi)容，其中所述AR內(nèi)容與當(dāng)前正在廣播或者用戶正在觀看的電視節(jié)目準(zhǔn)確地匹配。
[0028]圖1A描述了根據(jù)本發(fā)明的一個(gè)實(shí)施方式的配置100。移動設(shè)備102與數(shù)字電視機(jī)104或者互聯(lián)網(wǎng)電視機(jī)的操作系統(tǒng)(例如谷歌安卓操作系統(tǒng))通過W1-Fi直連(W1-FiDirect)或者諸如藍(lán)牙協(xié)議等的其他無線通信進(jìn)行通信，以識別正在顯示的電視頻道。例如，W1-Fi直連，之前稱為W1-Fi P2P，是一種允許W1-Fi設(shè)備彼此連接而不需要無線接入點(diǎn)的標(biāo)準(zhǔn)。該標(biāo)準(zhǔn)允許W1-Fi直連設(shè)備彼此之間直接傳輸數(shù)據(jù)，極大地減少設(shè)置。所述設(shè)置通常包括將兩臺W1-Fi直連設(shè)備放在一起，然后觸發(fā)它們之間的配對或耦合程序(couplingprocedure),例如，使用其中一個(gè)設(shè)備上的按鍵。當(dāng)一臺設(shè)備進(jìn)入W1-Fi直連主機(jī)的范圍時(shí)，它們可以彼此使用已存的點(diǎn)對點(diǎn)(ad-hoc)協(xié)議進(jìn)行通信。
[0029]移動設(shè)備102與云服務(wù)器106進(jìn)行通信，以檢索對應(yīng)于正在頻道上顯示的節(jié)目的AR內(nèi)容。云服務(wù)器106被設(shè)置成與服務(wù)器108(這里為IEPG服務(wù)器)連接，該服務(wù)器108提供了 IEPG或當(dāng)前所選擇的且在電視機(jī)104上觀看的電視節(jié)目。如圖1A所示，移動設(shè)備102執(zhí)行一個(gè)應(yīng)用程序，該應(yīng)用程序被配置成向云服務(wù)器106發(fā)送請求以檢索相應(yīng)的AR內(nèi)容。該請求包括關(guān)于正在顯示的是什么電視頻道的數(shù)據(jù)。為了及時(shí)地提供對應(yīng)于電視機(jī)104上正在顯示的電視節(jié)目的同步的AR內(nèi)容，云服務(wù)器106執(zhí)行一個(gè)被配置成與服務(wù)器108通信以獲取同步信息的模塊，從而檢索出用于移動設(shè)備102的對應(yīng)的AR內(nèi)容以進(jìn)行下載。下載的或者下行的(down-streamed)AR內(nèi)容可以被顯示在移動設(shè)備102中，即將AR內(nèi)容覆蓋到來自正在顯示的電視節(jié)目的圖像上。
[0030]根據(jù)圖1B所示的一個(gè)實(shí)施方式，電視廣播公司在服務(wù)器110 (這里稱為更新的IEPG服務(wù)器)中生成其自己的電視(TV)節(jié)目指南或直播計(jì)劃。服務(wù)器110中的這個(gè)IEPG數(shù)據(jù)集被持續(xù)地更新和上傳到TV-AR管理服務(wù)器106。最初的IEPG的原始數(shù)據(jù)可以由以下兩種方式提供:(I)從電視廣播服務(wù)器108直接上傳，(2)由電視廣播公司資助的服務(wù)器(subsidized server)或IEPG數(shù)據(jù)供應(yīng)商提供。
[0031]圖1B描述了多個(gè)服務(wù)器的配置，包括TV-AR管理服務(wù)器106、IEPG數(shù)據(jù)供應(yīng)商的服務(wù)器110以及電視廣播公司的服務(wù)器108。本領(lǐng)域技術(shù)人員能夠理解并領(lǐng)會到這些服務(wù)器106、108和110可以不是必然地分離操作的。根據(jù)實(shí)施情況，這些服務(wù)器中的一些可以在一個(gè)服務(wù)器中實(shí)施，而這些服務(wù)器中的一個(gè)可以不是物理獨(dú)立的，因?yàn)樗梢员粚?shí)施成一個(gè)分布系統(tǒng)。無論如何，為了有助于本發(fā)明的描述，這些服務(wù)器被描述成是獨(dú)立操作的并且是由一個(gè)或不同的實(shí)體所控制。
[0032]根據(jù)一個(gè)實(shí)施方式,在TV-AR管理服務(wù)器106中開發(fā)了并執(zhí)行了一個(gè)軟件模塊或程序。該模塊被配置成從由電視廣播公司運(yùn)行的服務(wù)器108中獲取IEPG數(shù)據(jù)。在一個(gè)實(shí)施方式中，所述IEPG數(shù)據(jù)為由XMLTV項(xiàng)目所維護(hù)的XMLTV格式，其中XMLTV是一種用于描述電視節(jié)目列表的開源且非常普及的基于XML的文件格式。XMLTV同樣也是一種介于發(fā)出指南數(shù)據(jù)的程序和使用指南數(shù)據(jù)的程序之間的接口軟件。XMLTV由用于獲取、操作和搜索更新的電視節(jié)目列表的軟件工具的集合所組成。
[0033]在一個(gè)實(shí)施方式中，TV-AR管理服務(wù)器106被設(shè)計(jì)成在它的服務(wù)器環(huán)境中具有若干個(gè)逗號分隔值(Comma Separated Values, CSV)文件，以包含對于每個(gè)電視頻道節(jié)目的描述。對應(yīng)于每個(gè)電視頻道的IEPG數(shù)據(jù)集的屬性應(yīng)該至少包括以下信息:
[0034]電視節(jié)目開始的日期和時(shí)間；
[0035]所描述的節(jié)目的時(shí)長或總運(yùn)行時(shí)間；
[0036]節(jié)目應(yīng)顯示對于所描述的節(jié)目的片名；
[0037]節(jié)目應(yīng)在直播期間顯示的描述。
[0038]IEPG的屬性的個(gè)數(shù)可以增加，這取決于AR內(nèi)容的應(yīng)用以及在移動設(shè)備上顯示的時(shí)間(timing)。圖1C顯示了從電視機(jī)到移動設(shè)備的獲取當(dāng)前電視頻道的功能框圖130。在圖1C的左側(cè)所顯示的互聯(lián)網(wǎng)電視的情形下，應(yīng)用程序軟件被開發(fā)成用于互聯(lián)網(wǎng)電視操作系統(tǒng)(例如谷歌安卓操作系統(tǒng))，以通過無線鏈路從移動設(shè)備接收當(dāng)前電視頻道的數(shù)據(jù)請求并將電視頻道號發(fā)送給移動設(shè)備。在傳統(tǒng)模擬電視的情形下，通常而言，在模擬電視環(huán)境中安裝上述的應(yīng)用程序軟件并不容易。這個(gè)問題可以通過提供在移動設(shè)備側(cè)的TV-AR應(yīng)用程序中的用戶界面布局來克服，從而允許用戶手動輸入當(dāng)前電視頻道。
[0039]操作時(shí)，移動設(shè)備在云計(jì)算網(wǎng)絡(luò)中發(fā)送一具有包含當(dāng)前時(shí)間和電視頻道的數(shù)據(jù)的請求到TV-AR管理服務(wù)器。作為響應(yīng)，移動設(shè)備下載對應(yīng)于電視節(jié)目的AR內(nèi)容。電視廣播站服務(wù)器通過網(wǎng)絡(luò)持續(xù)地將更新的電視節(jié)目數(shù)據(jù)集上傳到TV-AR管理服務(wù)器。如果移動設(shè)備成功下載了對于電視節(jié)目正確的AR內(nèi)容，則一圖像處理應(yīng)用程序被執(zhí)行以通過使用移動設(shè)備的視頻攝像頭來確定電視框架(TV frame)的本地3D坐標(biāo)。一旦確定了電視框架的本地坐標(biāo)，移動設(shè)備就顯示AR內(nèi)容以適應(yīng)當(dāng)前視頻攝像頭捕捉到的包括電視屏幕框架的視頻視圖。
[0040]執(zhí)行地面/有線/衛(wèi)星數(shù)字電視廣播的電視廣播公司可以提供其自己的IEPG數(shù)據(jù)。該IEPG具有自適應(yīng)功能，能夠調(diào)節(jié)由于一些意外情況(如緊急新聞或自然災(zāi)害)對原電視節(jié)目計(jì)劃的突然的改變，IEPG通過以下兩種方式來提供自適應(yīng)功能以更新電視節(jié)目的時(shí)間表:(1)從電視公司接收警報(bào)通知并將其顯示在智能手機(jī)上；(2)更新重新安排的電視節(jié)目表。IEPG數(shù)據(jù)包括節(jié)目描述、傳輸計(jì)劃(開始時(shí)間和結(jié)束時(shí)間)、用以指示其狀態(tài)的標(biāo)記。
[0041]電視廣播公司持續(xù)地更新其電視節(jié)目計(jì)劃并將IEPG數(shù)據(jù)上傳到TV-AR管理服務(wù)器。該TV-AR管理服務(wù)器識別對應(yīng)于此時(shí)的電視節(jié)目的正確的AR內(nèi)容。移動設(shè)備下載由TV-AR管理服務(wù)器所選擇的AR內(nèi)容。在AR內(nèi)容被成功下載到移動設(shè)備之后，移動設(shè)備將AR內(nèi)容覆蓋到攝像頭捕捉的正在移動設(shè)備的屏幕上播放的圖像上。
[0042]通過使用數(shù)字電視廣播的IEPG，位于云計(jì)算服務(wù)器上的AR內(nèi)容管理成為用于顯示一系列廣泛的AR內(nèi)容的一種全新途徑。因?yàn)閷τ谡_的AR內(nèi)容的識別并不需要任何諸如傳統(tǒng)標(biāo)識(例如黑白矩形圖)、QR碼或其他用于從云服務(wù)器檢索正確AR內(nèi)容的圖像塊等的傳統(tǒng)圖像處理方法。
[0043]根據(jù)一個(gè)實(shí)施方式，圖像處理算法被設(shè)計(jì)成在參考3D坐標(biāo)(即世界坐標(biāo))中確定可視的識別3D對象的本地3D坐標(biāo)。該圖像處理算法被稱作同步定位與地圖創(chuàng)建(SLAM)算法，是計(jì)算機(jī)視覺領(lǐng)域公知的圖像處理方法，用于解決在地圖中定位移動攝像頭的同時(shí)建立3D地圖的問題。目的是最終獲得攝像頭視野內(nèi)所捕捉的3D對象(即電視框架)的3D坐標(biāo)。基于SLAM的電視框架跟蹤算法創(chuàng)建了在包含電視框架的攝像頭場景中的區(qū)別對象特征的(3D地圖的)點(diǎn)云，并且確定電視框架的本地3D坐標(biāo)。對于SLAM算法而言，為了基于SLAM的3D跟蹤的有效初始化，提供關(guān)于電視框架的尺寸(例如電視顯示屏的實(shí)際尺寸)的先備知識同樣是有幫助的。
[0044]根據(jù)一個(gè)實(shí)施方式，圖2A描述了顯不SLAM算法是如何被用于確定電視框架的3D坐標(biāo)的示例。在操作時(shí)，移動設(shè)備的視頻攝像頭持續(xù)地在3D環(huán)境中捕捉電視框架。移動設(shè)備中的基于SLAM算法的圖像處理應(yīng)用程序檢測到電視框架的區(qū)別對象特征，例如銳角和/或長邊，從而產(chǎn)生區(qū)別點(diǎn)數(shù)據(jù)集的3D地圖。基于這些點(diǎn)和電視尺寸的先備知識(例如40英寸電視屏幕)，SLAM算法計(jì)算出在參考3D坐標(biāo)中電視框架的本地3D坐標(biāo)。所以，根據(jù)電視框架的本地3D坐標(biāo)，AR內(nèi)容就能夠被正確地顯示在移動設(shè)備的顯示屏上。
[0045]圖2B和圖2C分別顯示了在移動設(shè)備的觸摸屏上顯示AR內(nèi)容的兩個(gè)示例。圖2B示出的是顯示了對應(yīng)于正在播放的電視節(jié)目的三個(gè)基于文本的AR內(nèi)容。當(dāng)用戶觸摸位于左下區(qū)域的“信息矩形”時(shí)，開始播放如圖2C所示的附加的AR內(nèi)容的視頻片段。
[0046]根據(jù)一個(gè)實(shí)施方式,對于顯不AR內(nèi)容有多種可選模式。
[0047]AR內(nèi)容的默認(rèn)模式或顯示模式I可以按如下步驟實(shí)施:
[0048]步驟1:移動設(shè)備發(fā)送對于AR內(nèi)容(包括當(dāng)前電視頻道和時(shí)鐘時(shí)間)的請求，然后移動設(shè)備通過從TV-AR服務(wù)器下載AR內(nèi)容來獲取AR內(nèi)容。
[0049]步驟2:如果移動設(shè)備通過來自移動設(shè)備的視頻攝像頭的圖像而成功確定了電視框架的坐標(biāo)，那么將開始顯示AR內(nèi)容并對應(yīng)于當(dāng)前時(shí)間持續(xù)地更新AR內(nèi)容。
[0050]步驟3:如果視頻攝像頭從視頻中無法找到電視框架，那么AR內(nèi)容將從視頻捕捉的屏幕上消失。如果視頻攝像頭可以重新捕捉到電視框架，那么AR內(nèi)容將會被再次顯示。
[0051]AR內(nèi)容的可選模式或顯示模式2將在最初視頻攝像頭成功捕捉到電視框架之后開始。一旦AR內(nèi)容被顯示，用戶不需要持續(xù)地捕捉電視框架以維持AR內(nèi)容的顯示。AR內(nèi)容被持續(xù)顯示并更新，而不需要通過視頻攝像頭對于電視框架的圖像捕捉。
[0052]AR內(nèi)容的其他可選模式或顯示模式3將被獨(dú)立顯示，而不需要對電視框架的圖像捕捉。當(dāng)移動設(shè)備完成AR內(nèi)容的下載時(shí)，AR內(nèi)容將被顯示在移動設(shè)備的屏幕上，而不考慮視頻攝像頭的當(dāng)前所捕捉的圖像狀態(tài)。
[0053]圖3示出了在默認(rèn)模式中實(shí)施的流程300的流程圖。流程300被優(yōu)選地以軟件實(shí)施，但是也可以以軟件和硬件的結(jié)合實(shí)施。在步驟302，用戶啟動TV-AR應(yīng)用程序。根據(jù)實(shí)施情況，這樣的應(yīng)用程序可以為可下載的應(yīng)用程序或由網(wǎng)站提供。在一個(gè)實(shí)施方式中，所述應(yīng)用程序被配置成使得移動設(shè)備開啟其攝像頭。在步驟304，通過使用移動設(shè)備中的攝像頭，該攝像頭捕捉電視機(jī)(即顯示屏)。在步驟306，移動設(shè)備通過與電視機(jī)之間的無線通信進(jìn)一步獲取當(dāng)前所選擇的電視頻道。所述無線通信可以通過W1-F1、W1-Fi直連或藍(lán)牙實(shí)現(xiàn)。然后，TV-AR應(yīng)用程序激活對應(yīng)于從電視機(jī)發(fā)送來的電視頻道數(shù)據(jù)的特定AR-TV功能。移動設(shè)備發(fā)送一包括電視頻道和當(dāng)前時(shí)鐘時(shí)間的請求到TV-AR管理服務(wù)器，用于下載與所選擇的電視頻道有關(guān)的合適的AR內(nèi)容。所述TV-AR管理服務(wù)器提供正確的AR內(nèi)容以響應(yīng)來自移動設(shè)備的請求。一旦完成AR內(nèi)容的下載，如果電視框架還仍位于攝像頭的視野區(qū)域內(nèi)，則移動設(shè)備顯示AR內(nèi)容。
[0054]圖4A示出了在不同服務(wù)器(如圖1B所示)之間的對應(yīng)的數(shù)據(jù)流400，其中TV-AR管理服務(wù)器被提供給單個(gè)電視廣播公司。該電視廣播公司通過互聯(lián)網(wǎng)持續(xù)地將更新的IEPG數(shù)據(jù)包上傳到TV-AR管理服務(wù)器。TV-ARR管理服務(wù)器維護(hù)數(shù)據(jù)庫，以根據(jù)電視廣播公司所提供的電視頻道的時(shí)間軸來管理正確的AR內(nèi)容的提供。移動設(shè)備安裝特定的TV-AR應(yīng)用程序，該應(yīng)用程序可以下載用于特定電視廣播公司的AR內(nèi)容。
[0055]圖4B和圖4C分別描述了 IEPG數(shù)據(jù)集的鏈接的數(shù)據(jù)庫410以及AR內(nèi)容數(shù)據(jù)集420，該AR內(nèi)容數(shù)據(jù)集420用于電視廣播公司正確地識別出對應(yīng)于移動設(shè)備作出請求時(shí)的電視節(jié)目的AR內(nèi)容。如圖4B和圖4C所示，有兩個(gè)查找表用于正確地檢索時(shí)間軸上的電視節(jié)目以及對應(yīng)于移動設(shè)備的內(nèi)置時(shí)鐘所已知當(dāng)前時(shí)間的特定AR內(nèi)容。圖4B示出了 IEPG的查找表410和AR內(nèi)容。圖4C示出了用于選擇必要的AR文件的查找表420，作為下載到移動設(shè)備的準(zhǔn)備。
[0056]圖4D不出了一種系統(tǒng)配置450,其中包括移動設(shè)備452、電視設(shè)備454 (例如傳統(tǒng)電視機(jī)或具有顯示屏的計(jì)算設(shè)備)以及用于不同電視廣播公司所提供的多個(gè)電視節(jié)目的TV-AR管理服務(wù)器456。上面針對單個(gè)電視廣播公司的描述可以擴(kuò)展到有多個(gè)電視廣播公司獨(dú)立地提供它們自己的AR內(nèi)容以用于它們自己的電視節(jié)目的情況。電視廣播公司包括但不限于地面電視廣播公司、有線電視公司、互聯(lián)網(wǎng)電視公司和衛(wèi)星電視公司。類似地，安裝在移動設(shè)備中的TV-AR應(yīng)用程序被執(zhí)行以通過與電視機(jī)454的操作系統(tǒng)之間的無線通信來識別是哪家電視公司占用電視機(jī)454。然后，移動設(shè)備452激活僅對于當(dāng)前正占用電視機(jī)454的電視廣播公司可使用的特定TV-AR應(yīng)用程序模塊。然后，移動設(shè)備通過互聯(lián)網(wǎng)連接從TV-AR管理服務(wù)器456下載正確的AR內(nèi)容，而該服務(wù)器456被配置成從指定的服務(wù)器(供應(yīng)商458之一)檢索對應(yīng)的AR內(nèi)容。
[0057]圖5A和圖5B分別描述了當(dāng)對應(yīng)的AR信息正在移動設(shè)備上顯示時(shí)的示例用戶界面布局。在圖5A中，AR內(nèi)容對應(yīng)于時(shí)間軸而被顯示。AR內(nèi)容的顯示根據(jù)在TV-AR管理服務(wù)器中的數(shù)據(jù)庫所定義的AR時(shí)間軸規(guī)范而開始、保持顯示以及消失。
[0058]圖5B，主要的AR內(nèi)容被直接顯示在移動設(shè)備的屏幕上，并且根據(jù)AR時(shí)間軸規(guī)格而消失。但是，用戶可以通過選擇位于屏幕右側(cè)的AR菜單來顯示其他的AR信息。
[0059]根據(jù)一個(gè)實(shí)施方式，電視廣播公司的電視節(jié)目內(nèi)容可以按照不同位置而改變。因此，在不具備本發(fā)明的一個(gè)實(shí)施方式的情況下，用戶可以在一個(gè)位置接收正確的AR內(nèi)容，但是可能在另一位置接收不正確的AR內(nèi)容。
[0060]圖6不出了被修改以提供基于位置的TV-AR內(nèi)容的配置600。根據(jù)一個(gè)實(shí)施方式，移動設(shè)備通過無線互聯(lián)網(wǎng)連接將其位置數(shù)據(jù)(例如GPS數(shù)據(jù))、電視頻道和當(dāng)前的時(shí)鐘時(shí)間發(fā)送到TV-AR管理服務(wù)器。TV-AR管理服務(wù)器搜索對應(yīng)于特定位置的正確IEPG數(shù)據(jù)。然后，TV-AR服務(wù)器發(fā)送在移動設(shè)備附近的電視機(jī)中當(dāng)前電視節(jié)目的正確的AR信息數(shù)據(jù)集。
[0061]圖7示出了 TV-AR服務(wù)器的示例配置，該服務(wù)器被配置成提供已經(jīng)觀看過從TV-AR服務(wù)器所釋放的AR內(nèi)容的電視觀眾的統(tǒng)計(jì)數(shù)據(jù)。TV-AR服務(wù)器被配置成從位于不同地理位置的多個(gè)移動設(shè)備接收請求。這些包括各個(gè)移動設(shè)備的GPS數(shù)據(jù)的請求可以被用作對于AR內(nèi)容供應(yīng)商或電視廣播公司的反饋信息。根據(jù)一個(gè)實(shí)施方式，TV-AR服務(wù)器被設(shè)計(jì)成將來自這些移動設(shè)備的請求分類以用于使用AR內(nèi)容的電視觀眾的統(tǒng)計(jì)分析。這些統(tǒng)計(jì)數(shù)據(jù)分析至少包括:(1)當(dāng)前已經(jīng)激活用于接收AR應(yīng)用程序的服務(wù)的電視觀眾的總數(shù)；(2) —個(gè)時(shí)間窗(time window)內(nèi)(例如每小時(shí)、每日、每周或每月)的第(I)種情況下觀眾的總數(shù)；(3)交互地使用AR界面來獲取進(jìn)一步詳細(xì)的AR內(nèi)容的觀眾的總數(shù)；(4)每個(gè)觀眾已經(jīng)觀看特定電視頻道的特定AR內(nèi)容的時(shí)長；(5)觀眾的地理分布。這些統(tǒng)計(jì)分析可以有益于AR內(nèi)容供應(yīng)商或電視廣播公司來評估對于一個(gè)預(yù)定的目的(例如商業(yè)廣告、對于一般公眾的重要信息通知或其他目的)而言的AR內(nèi)容的效力。
[0062]本發(fā)明被優(yōu)選地以軟件實(shí)施，但是也可以以硬件或硬件和軟件的結(jié)合實(shí)施。本發(fā)明也可以以計(jì)算機(jī)可讀介質(zhì)上的計(jì)算機(jī)可讀代碼來實(shí)現(xiàn)。所述計(jì)算機(jī)可讀介質(zhì)為能夠存儲數(shù)據(jù)且該數(shù)據(jù)之后可被計(jì)算機(jī)系統(tǒng)讀取的任何數(shù)據(jù)存儲設(shè)備。所述計(jì)算機(jī)可讀介質(zhì)的示例包括只讀存儲器、隨機(jī)訪問存儲器、CD-ROM、DVD、磁帶、光數(shù)據(jù)存儲設(shè)備以及載波。所述計(jì)算機(jī)可讀介質(zhì)也可以被分布在網(wǎng)絡(luò)連接的計(jì)算機(jī)系統(tǒng)中，從而計(jì)算機(jī)可讀代碼被以分布的方式存儲并執(zhí)行。
[0063]上面討論的流程、順序或步驟以及特征是彼此有關(guān)的，同時(shí)相信每個(gè)在本領(lǐng)域內(nèi)都是有獨(dú)立地新穎性的。這些公開的流程和順序可以被單獨(dú)或者以任一組合執(zhí)行，以提供新穎的且非顯而易見的系統(tǒng)或者部分系統(tǒng)。可以理解為，即使從最廣義上看，即具有少于流程或順序中的每個(gè)已經(jīng)被減少以實(shí)踐的特定方式，這些流程和順序組合也生成一個(gè)同樣獨(dú)立地新穎的組合。
[0064]本發(fā)明已經(jīng)在一定程度上被充分詳細(xì)的描述。本領(lǐng)域技術(shù)人員可以理解，目前實(shí)施例所揭露的只是示例而已，凡在本發(fā)明的精神和原則之內(nèi)，所作的任何修改、等同替換等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。因此，本發(fā)明的范圍定義為其保護(hù)范圍而不是以上實(shí)施例的說明。
【權(quán)利要求】
1.一種用于提供增強(qiáng)現(xiàn)實(shí)(AR)內(nèi)容的方法，所述方法包括: 在服務(wù)器中接收來自移動設(shè)備的請求，用以根據(jù)正在電視設(shè)備的顯示屏上顯示的圖像來下載所述AR內(nèi)容，其中所述移動設(shè)備與所述電視設(shè)備進(jìn)行無線通信以接收關(guān)于所述電視設(shè)備上正在顯示的圖像的詳細(xì)信息； 根據(jù)所述圖像的詳細(xì)信息從數(shù)據(jù)庫中搜索所述AR內(nèi)容，其中所述AR內(nèi)容與正在所述電視設(shè)備上顯示的圖像在時(shí)間上是同步的；以及 將所述AR內(nèi)容釋放到所述移動設(shè)備，以在所述移動設(shè)備中的所述圖像上顯示所述AR內(nèi)容。
2.根據(jù)權(quán)利要求1所述的方法，其中所述電視設(shè)備為電視機(jī)或具有顯示屏的計(jì)算設(shè)備。
3.根據(jù)權(quán)利要求1所述的方法，其中所述電視設(shè)備具有無線通信能力，以與所述移動設(shè)備進(jìn)行通信將所述詳細(xì)信息釋放到所述移動設(shè)備。
4.根據(jù)權(quán)利要求1所述的方法，其中所述詳細(xì)信息包括含有所述圖像的視頻的頻道。
5.根據(jù)權(quán)利要求4所述的方法，其中所述請求包括所述圖像的具有本地時(shí)間的所述詳細(xì)信息，以幫助在服務(wù)器中根據(jù)互聯(lián)網(wǎng)電子節(jié)目指南(IEPG)來搜索所述AR內(nèi)容。
6.根據(jù)權(quán)利要求5所述的方法，其中所述服務(wù)器被配置以更新由至少一家電視節(jié)目公司所提供的IEPG。
7.根據(jù)權(quán)利要求6所述的方法，其中正被顯示在所述移動設(shè)備上的所述AR內(nèi)容包括交互菜單，用于當(dāng)所述菜單被激活時(shí)進(jìn)一步顯示附加內(nèi)容。
8.根據(jù)權(quán)利要求7所述的方法，其中所述附加內(nèi)容包括多媒體內(nèi)容。
9.根據(jù)權(quán)利要求4所述的方法，其中所述請求包括用以指示所述移動設(shè)備的地理位置的GPS數(shù)據(jù)、正被顯示的圖片的具有本地時(shí)間的所述詳細(xì)信息，以幫助在服務(wù)器中根據(jù)互聯(lián)網(wǎng)電子節(jié)目指南(IEPG)來搜索所述AR內(nèi)容。
10.根據(jù)權(quán)利要求9所述的方法，其中所述服務(wù)器被配置以獲取用于所述地理位置的所述AR內(nèi)容。
11.根據(jù)權(quán)利要求1所述的方法，其中將所述AR內(nèi)容釋放到所述移動設(shè)備，以在所述移動設(shè)備中的所述圖像上顯示所述AR內(nèi)容包括: 獲取所述圖像；以及 根據(jù)所述圖像的預(yù)定位置在所述圖像上覆蓋所述AR內(nèi)容。
12.根據(jù)權(quán)利要求11所述的方法，其中所述圖像的預(yù)定位置是由所述移動設(shè)備計(jì)算的。
13.根據(jù)權(quán)利要求11所述的方法，其中所述圖像的預(yù)定位置是通過使用移動設(shè)備的視頻攝像頭來拍攝所述電視設(shè)備的顯示屏的圖像而計(jì)算的，并且其中所述移動設(shè)備執(zhí)行軟件模塊以確定所述電視設(shè)備的顯示屏的3D坐標(biāo)，用于根據(jù)所述3D坐標(biāo)來將所述AR內(nèi)容覆蓋到所述圖像上。
14.根據(jù)權(quán)利要求1所述的方法，其中所述服務(wù)器被配置以收集關(guān)于已經(jīng)訪問了所述AR內(nèi)容的用戶的統(tǒng)計(jì)數(shù)據(jù)，所述統(tǒng)計(jì)數(shù)據(jù)基于時(shí)間、地理位置和特定頻道中的一者。
15.一種用于提供增強(qiáng)現(xiàn)實(shí)(AR)內(nèi)容的方法，所述方法包括: 從移動設(shè)備向服務(wù)器發(fā)送請求，以獲取所述AR內(nèi)容用于在電視設(shè)備的顯示屏上的正在顯示的圖像上覆蓋所述AR內(nèi)容，其中所述移動設(shè)備與所述電視設(shè)備進(jìn)行無線通信以接收關(guān)于正在所述電視設(shè)備上顯示的圖像的詳細(xì)信息； 從所述服務(wù)器中檢索所述AR內(nèi)容，其中所述服務(wù)器被配置成從與所述請求中所包含的時(shí)間同步的數(shù)據(jù)庫中搜索所述AR內(nèi)容；以及 在所述移動設(shè)備中的所述圖像上顯示所述AR內(nèi)容。
16.根據(jù)權(quán)利要求15所述的方法，其中所述電視設(shè)備具有無線通信能力，以與所述移動設(shè)備進(jìn)行通信以將所述詳細(xì)信息釋放到該移動設(shè)備。
17.根據(jù)權(quán)利要求15所述的方法，其中所述詳細(xì)信息包括至少所述圖像的頻道。
18.根據(jù)權(quán)利要求15所述的方法，其中所述請求包括所述圖像的具有本地時(shí)間的所述詳細(xì)信息，以幫助在服務(wù)器中根據(jù)互聯(lián)網(wǎng)電子節(jié)目指南(IEPG)來搜索合適的AR內(nèi)容。
19.根據(jù)權(quán)利要求18所述的方法，其中所述服務(wù)器被配置成更新由至少一家電視節(jié)目公司所提供的IEPG。
20.根據(jù)權(quán)利要求19所述的方法，其中正被顯示的所述AR內(nèi)容包括交互菜單，用于當(dāng)所述菜單被激活時(shí)進(jìn)一步顯示附加內(nèi)容。
21.根據(jù)權(quán)利要求20所述的方法，其中所述附加內(nèi)容包括多媒體內(nèi)容。
22.根據(jù)權(quán)利要求17所述的方法，其中所述請求包括用以指示所述移動設(shè)備的地理位置的GPS數(shù)據(jù)、所述圖像的具有本地時(shí)間的所述詳細(xì)信息，以幫助在服務(wù)器中根據(jù)互聯(lián)網(wǎng)電子節(jié)目指南(IEPG)來搜索合適的AR內(nèi)容。
23.根據(jù)權(quán)利要求22所述的方法，其中所述服務(wù)器被配置成獲取用于所述地理位置的合適的AR內(nèi)容。
【文檔編號】H04N21/254GK103945274SQ201310689163
【公開日】2014年7月23日 申請日期:2013年12月14日 優(yōu)先權(quán)日:2013年4月19日
【發(fā)明者】安武泰三 申請人:達(dá)騰科公司