用于分布式故事閱讀的視覺內(nèi)容修改的制作方法
【專利說明】用于分布式故事閱讀的視覺內(nèi)容修改
【背景技術(shù)】
[0001] 遠(yuǎn)程地閱讀故事(諸如通過計(jì)算機(jī)網(wǎng)絡(luò)）具有成為非常個(gè)人化的體驗(yàn)的潛力。例 如，出差的父母可以向他們的孩子讀他們的孩子最喜歡的睡前故事，以便不會(huì)錯(cuò)過讓他們 的孩子蓋好被子安睡。然而，迄今為止，當(dāng)這被遠(yuǎn)程地完成時(shí)，體驗(yàn)受限于以下事實(shí)，即：故 事就是所共享的全部，或者在最好情況下，如在對(duì)等呼叫中那樣，故事加上附加視頻就是所 共享的全部。此外，共享體驗(yàn)多半是單向的(從讀者到聽者)，其中讀者與故事分離地傳達(dá)情 感。

【發(fā)明內(nèi)容】

[0002] 本
【發(fā)明內(nèi)容】
被提供來以簡(jiǎn)化的形式引入概念的選取，這些概念在下面的具體實(shí)施 方式中進(jìn)一步加以描述。本
【發(fā)明內(nèi)容】
并不預(yù)期標(biāo)識(shí)要求保護(hù)的主題的關(guān)鍵特征或基本特 征。
[0003] 各種實(shí)施例提供了其中可以從遠(yuǎn)程位置體驗(yàn)故事的交互式共享故事閱讀體驗(yàn)。各 種實(shí)施例使得能夠增強(qiáng)或修改與故事閱讀體驗(yàn)關(guān)聯(lián)的音頻和/或視頻。這可以包括在閱讀 故事時(shí)增強(qiáng)和修改讀者的話音、臉部和/或與故事關(guān)聯(lián)的其他內(nèi)容。
[0004] 按照這種方式，兩個(gè)或者更多個(gè)遠(yuǎn)程參與者可以與基于故事的共享交互式內(nèi)容實(shí) 時(shí)地通信和交互?？商鎿Q地或者附加地，基于故事的共享交互式內(nèi)容可以被增強(qiáng)或修改，并 且被記錄和/或存檔以供后續(xù)回放。
【附圖說明】
【具體實(shí)施方式】 [0005] 參照附圖進(jìn)行描述。在圖中，附圖標(biāo)記的最左邊的（一個(gè)或者多個(gè)） 數(shù)字標(biāo)識(shí)該附圖標(biāo)記首次出現(xiàn)的附圖。在說明書的不同示例以及附圖中使用相同的附圖標(biāo) 記可以指示相似或相同的項(xiàng)目。
[0006] 圖1為依照一個(gè)或多個(gè)實(shí)施例的示例實(shí)現(xiàn)方式中的環(huán)境的圖示。
[0007] 圖2為依照一個(gè)或多個(gè)實(shí)施例的示例實(shí)現(xiàn)方式中的環(huán)境的圖示。
[0008] 圖3為依照一個(gè)或多個(gè)實(shí)施例的示例增強(qiáng)效果模塊的圖示。
[0009] 圖4圖示出依照一個(gè)或多個(gè)實(shí)施例的流程圖。
[0010] 圖5圖示出依照一個(gè)或多個(gè)實(shí)施例的流程圖。
[0011] 圖6圖示出依照一個(gè)或多個(gè)實(shí)施例的流程圖。
[0012] 圖7圖示出依照一個(gè)或多個(gè)實(shí)施例的示例用戶界面。
[0013] 圖8圖示出依照一個(gè)或多個(gè)實(shí)施例的示例用戶界面。
[0014] 圖9圖示出依照一個(gè)或多個(gè)實(shí)施例的流程圖。
[0015] 圖10圖示出依照一個(gè)或多個(gè)實(shí)施例的流程圖。
[0016] 圖11圖示出依照一個(gè)或多個(gè)實(shí)施例的流程圖。
[0017] 圖12圖示出依照一個(gè)或多個(gè)實(shí)施例的流程圖。
[0018] 圖13圖示出依照一個(gè)或多個(gè)實(shí)施例的流程圖。
[0019] 圖14圖示出依照一個(gè)或多個(gè)實(shí)施例的示例系統(tǒng)。
[0020] 圖15圖示出依照一個(gè)或多個(gè)實(shí)施例的示例系統(tǒng)。
[0021] 圖16圖示出一個(gè)或多個(gè)實(shí)施例的方面。
[0022] 圖17圖示出一個(gè)或多個(gè)實(shí)施例的方面。
[0023] 圖18圖示出一個(gè)或多個(gè)實(shí)施例的方面。
[0024] 圖19圖示出一個(gè)或多個(gè)實(shí)施例的方面。
[0025] 圖20圖示出依照一個(gè)或多個(gè)實(shí)施例的流程圖。
[0026] 圖21圖示出可以被利用來實(shí)現(xiàn)本文描述的各種實(shí)施例的示例計(jì)算設(shè)備。
【具體實(shí)施方式】
[0027] 綜述 各種實(shí)施例提供了其中可以從遠(yuǎn)程位置體驗(yàn)故事的交互式共享故事閱讀體驗(yàn)。各種實(shí) 施例使得能夠增強(qiáng)或修改與故事閱讀體驗(yàn)關(guān)聯(lián)的音頻和/或視頻。這可以包括在閱讀故事 時(shí)增強(qiáng)和修改讀者的話音、臉部和/或與故事關(guān)聯(lián)的其他內(nèi)容。所描述的實(shí)施例可以與諸 如稱為"電子書"的電子圖書之類的電子或數(shù)字內(nèi)容有關(guān)地加以利用。電子書是一種包括 文本、圖像或二者的數(shù)字形式的圖書長(zhǎng)度的出版物，并且在計(jì)算機(jī)或其他電子設(shè)備上制作、 通過計(jì)算機(jī)或其他電子設(shè)備公布并且可在計(jì)算機(jī)或其他電子設(shè)備上閱讀。電子書通常在專 用電子書閱讀器或者通用平板計(jì)算機(jī)上閱讀。個(gè)人計(jì)算機(jī)和移動(dòng)電話也可以用來閱讀電子 書。
[0028] 按照這種方式，兩個(gè)或更多個(gè)遠(yuǎn)程參與者可以與基于故事的共享交互式內(nèi)容實(shí)時(shí) 地通信和交互?？商鎿Q地或者附加地，基于故事的共享交互式內(nèi)容可以被增強(qiáng)或修改和/ 或存檔以便后續(xù)回放。在各種實(shí)施例中，參與者可以欣賞還包括用戶與故事內(nèi)容的交互的 共享視圖，例如，如果一個(gè)用戶觸摸圖片或者沿著內(nèi)容中的詞語追蹤，那么那些動(dòng)作可以對(duì) 其他參與者可見。
[0029] 在接下來的討論中，提供了題為"示例操作環(huán)境"的章節(jié)，并且其描述了其中可以 采用一個(gè)或多個(gè)實(shí)施例的一種環(huán)境。在此之后，題為"示例增強(qiáng)效果模塊"的章節(jié)描述了依 照一個(gè)或多個(gè)實(shí)施例的增強(qiáng)效果模塊。接下來，題為"用于分布式故事閱讀的語音修改"的 章節(jié)描述了其中可以在閱讀故事的上下文中修改語音的各種實(shí)施例。在此之后，題為"使 用暗示決定何時(shí)增強(qiáng)語音"的章節(jié)描述了依照一個(gè)或多個(gè)實(shí)施例可以用于語音增強(qiáng)的各種 暗示。接下來，題為"使用觸摸決定何時(shí)增強(qiáng)語音"的章節(jié)描述了依照一個(gè)或多個(gè)實(shí)施例可 以如何利用基于觸摸的輸入造成語音增強(qiáng)。在此之后，題為"使用用戶界面元素決定何時(shí)增 強(qiáng)語音"的章節(jié)描述了依照一個(gè)或多個(gè)實(shí)施例可以如何使用各種用戶界面元素造成語音增 強(qiáng)。接下來，題為"使用姿態(tài)來應(yīng)用增強(qiáng)"的章節(jié)描述了依照一個(gè)或多個(gè)實(shí)施例可以如何在 增強(qiáng)過程中利用各種姿態(tài)。在此之后，題為"使用故事內(nèi)容來應(yīng)用增強(qiáng)"的章節(jié)描述了依照 一個(gè)或多個(gè)實(shí)施例可以如何在增強(qiáng)過程中使用特定故事的內(nèi)容。接下來，題為"使用故事元 數(shù)據(jù)來應(yīng)用增強(qiáng)"的章節(jié)描述了依照一個(gè)或多個(gè)實(shí)施例可以如何在增強(qiáng)過程中利用與故事 關(guān)聯(lián)的元數(shù)據(jù)。在此之后，題為"使用頁碼和其他故事結(jié)構(gòu)來應(yīng)用增強(qiáng)"的章節(jié)描述了依照 一個(gè)或多個(gè)實(shí)施例可以如何在增強(qiáng)過程中利用頁碼和其他故事結(jié)構(gòu)。接下來，題為"實(shí)現(xiàn)方 式的示例和考慮因素"的章節(jié)描述了依照一個(gè)或多個(gè)實(shí)施例的各種實(shí)現(xiàn)方式的示例。在此 之后，題為"捕獲共享的故事體驗(yàn)以供后續(xù)共享"的章節(jié)描述了依照一個(gè)或多個(gè)實(shí)施例可以 如何以實(shí)時(shí)以外的方式來共享故事。接下來，題為"媒體流操縱"的章節(jié)描述了依照一個(gè)或 多個(gè)實(shí)施例可以如何利用增強(qiáng)效果操縱媒體流。在此之后，題為"示例使用場(chǎng)景"的章節(jié)描 述了依照一個(gè)或多個(gè)實(shí)施例的各種使用場(chǎng)景。最后，題為"示例設(shè)備"的章節(jié)描述了可以被 利用來實(shí)現(xiàn)一個(gè)或多個(gè)實(shí)施例的示例設(shè)備。
[0030] 提供了下面要描述的各種實(shí)施例的綜述之后，現(xiàn)在考慮其中可以實(shí)現(xiàn)一個(gè)或多個(gè) 實(shí)施例的一些示例操作環(huán)境。
[0031] 示例操作環(huán)境 本文描述的各種實(shí)施例可以在各種各樣的不同環(huán)境中實(shí)現(xiàn)。圖1和圖2圖示出其中可 以實(shí)現(xiàn)所述實(shí)施例的兩個(gè)示例環(huán)境。應(yīng)當(dāng)領(lǐng)會(huì)和理解的是，可以在不脫離要求保護(hù)的主題 的精神和范圍的情況下利用其他環(huán)境。
[0032] 圖1為在基于分組的網(wǎng)絡(luò)上實(shí)現(xiàn)的通信系統(tǒng)100的示意圖示，所述基于分組的 網(wǎng)絡(luò)在這里通過互聯(lián)網(wǎng)形式的通信云110表示，其包括多個(gè)互連元件。應(yīng)當(dāng)領(lǐng)會(huì)的是，盡 管參照通信系統(tǒng)100描述了各種實(shí)施例的方面，但是這些討論僅僅用于說明的目的，并且 并非預(yù)期限制要求保護(hù)的主題的范圍。每個(gè)網(wǎng)絡(luò)元件連接到互聯(lián)網(wǎng)的其余部分，并且被 配置成在互聯(lián)網(wǎng)上通過傳輸和接收互聯(lián)網(wǎng)協(xié)議（IP)分組形式的數(shù)據(jù)而與其他這樣的元件 傳送數(shù)據(jù)。每個(gè)元件也具有在互聯(lián)網(wǎng)內(nèi)對(duì)該元件定位的關(guān)聯(lián)IP地址，并且每個(gè)分組在其 報(bào)頭中包括源和一個(gè)或多個(gè)目的地IP地址。圖1中所示的元件包括多個(gè)最終用戶終端 102(a)-102(c)(諸如臺(tái)式或膝上型PC或者啟用互聯(lián)網(wǎng)的移動(dòng)電話)、一個(gè)或多個(gè)服務(wù)器 104 (諸如基于互聯(lián)網(wǎng)的通信系統(tǒng)的對(duì)等服務(wù)器等等）以及到另一種類型的網(wǎng)絡(luò)108 (諸如 到傳統(tǒng)的公共交換電話網(wǎng)絡(luò)（PSTN)或者其他電路交換網(wǎng)絡(luò)，和/或到移動(dòng)蜂窩網(wǎng)絡(luò)）的網(wǎng) 關(guān)106。然而，當(dāng)然，將領(lǐng)會(huì)的是，比那些明確示出的元件多得多的元件組成互聯(lián)網(wǎng)。這在圖 1中通過通信云110示意性地表示，該通信云典型地包括許多其他的最終用戶終端、服務(wù)器 和網(wǎng)關(guān)以及互聯(lián)網(wǎng)服務(wù)提供商（ISP)的路由器和互聯(lián)網(wǎng)骨干路由器。此外，圖1的系統(tǒng)也 包括電子書的一個(gè)或多個(gè)源，其示例在下文中提供。
[0033] 在該圖示和描述的實(shí)施例中，最終用戶終端102(a)_102(c)可以通過通信云使用 任何適當(dāng)?shù)募夹g(shù)彼此通信以及與其他實(shí)體通信。因此，最終用戶終端可以通過通信云110 和/或通過通信云110、網(wǎng)關(guān)106和網(wǎng)絡(luò)108使用例如互聯(lián)網(wǎng)協(xié)議語音通信（VoIP)與一個(gè) 或多個(gè)實(shí)體通信。為了與另一個(gè)最終用戶終端通信，在發(fā)起的最終用戶終端上執(zhí)行的客戶 端獲取其上安裝另一個(gè)客戶端的終端的IP地址。這典型地使用地址查找表完成。
[0034] 一些基于互聯(lián)網(wǎng)的通信系統(tǒng)由運(yùn)營(yíng)商管理，因?yàn)樗鼈円蕾囉谝粋€(gè)或多個(gè)集中式、 運(yùn)營(yíng)商運(yùn)行的服務(wù)器以用于進(jìn)行地址查找(未示出）。在這種情況下，當(dāng)一個(gè)客戶端要與另 一個(gè)客戶端通信時(shí)，那么發(fā)起的客戶端聯(lián)系由系統(tǒng)運(yùn)營(yíng)商運(yùn)行的集中式服務(wù)器以獲得被呼 叫者的IP地址。
[0035] 與這些運(yùn)營(yíng)商管理的系統(tǒng)形成對(duì)照的是，另一種類型的基于互聯(lián)網(wǎng)的通信系統(tǒng) 稱為"對(duì)等"（P2P)系統(tǒng)。對(duì)等（P2P)系統(tǒng)典型地將責(zé)任從集中式運(yùn)營(yíng)商服務(wù)器轉(zhuǎn)移走 并且轉(zhuǎn)移到最終用戶自身的終端中。這意味著對(duì)于地址查找的責(zé)任轉(zhuǎn)移到像被標(biāo)記為 102(a)-102(c)的終端那樣的最終用戶終端。每個(gè)最終用戶終端可以運(yùn)行P2P客戶端應(yīng)用， 并且每個(gè)這樣的終端形成P2P系統(tǒng)的節(jié)點(diǎn)。P2P地址查找通過在最終用戶節(jié)點(diǎn)中的一些最 終用戶節(jié)點(diǎn)之中分布IP地址數(shù)據(jù)庫而起作用。該數(shù)據(jù)庫是一種列表，其將所有在線或者最 近在線用戶的用戶名映射到相關(guān)IP地址，使得給定用戶名就可以確定IP地址。
[0036] IP地址一旦已知，則允許用戶建立話音或視頻呼叫，或者發(fā)送頂聊天消息或文件 傳遞等等。然而，附加地，也可以在客戶端本身需要自主地與另一個(gè)客戶端傳送信息時(shí)使用 地址。
[0037] (一個(gè)或者多個(gè)）服務(wù)器104表示連接到通信系統(tǒng)100的一個(gè)或多個(gè)服務(wù)器，其示 例在上文和下文中提供。例如，服務(wù)器104可以包括協(xié)同工作以實(shí)現(xiàn)相同功能性的一批服 務(wù)器?？商鎿Q地或者附加地，服務(wù)器104可以包括多個(gè)獨(dú)立服務(wù)器，其被配置成提供根據(jù)其 他服務(wù)器而專門化的功能性。如下文中更詳細(xì)地描述的，這些服務(wù)器可以用作用于電子書 的知識(shí)庫，這些電子書典型地在可通過URL訪問的電子庫中維護(hù)。
[0038] 在一個(gè)或多個(gè)實(shí)施例中，單獨(dú)的最終用戶終端102(a)_(c)包括電子書閱讀器形 式的軟件或者使得能夠閱讀電子書的其他適當(dāng)配置的應(yīng)用，諸如web瀏覽器。最終用戶終 端也包括增強(qiáng)效果模塊112,該模塊可以用來增強(qiáng)與閱讀在一個(gè)或多個(gè)其他遠(yuǎn)程參與者之 中共享的電子書有關(guān)的效果。此外，在至少一些實(shí)施例中，服務(wù)器104可以包括可以如上文 和下文中所描述的而進(jìn)行操作的增強(qiáng)效果模塊112。
[0039] 在操作中，增強(qiáng)效果模塊112被配置成增強(qiáng)或修改與故事閱讀體驗(yàn)關(guān)聯(lián)的音頻和 /或視頻。這可以包括在閱讀故事時(shí)讀者的話音、臉部和/或與故事關(guān)聯(lián)的其他內(nèi)容(例如 故事的視覺內(nèi)容）的增強(qiáng)和修改。
[0040] 考慮了其中可以利用本發(fā)明原理的一個(gè)示例系統(tǒng)之后，現(xiàn)在考慮其中可以利用本 發(fā)明原理的不同的示例系統(tǒng)。
[0041] 圖2圖示出一種示例系統(tǒng)200,其總體上將(一個(gè)或者多個(gè)）服務(wù)器104和最終用 戶終端102示為在其中多個(gè)設(shè)備通過中心計(jì)算設(shè)備互連的環(huán)境中實(shí)現(xiàn)。最終用戶終端包括 如上文和下文中描述的增強(qiáng)效果模塊112。中心計(jì)算設(shè)備可以對(duì)所述多個(gè)設(shè)備是本地的，或 者可以位于遠(yuǎn)離所述多個(gè)設(shè)備的位置。在一個(gè)實(shí)施例中，中心計(jì)算設(shè)備是"云"服務(wù)器群， 其包括通過網(wǎng)絡(luò)或互聯(lián)網(wǎng)或者其他裝置連接到所述多個(gè)設(shè)備的一個(gè)或多個(gè)服務(wù)器計(jì)算機(jī)。
[0042] 在一個(gè)實(shí)施例中，該互連架構(gòu)使得功能性能夠跨多個(gè)設(shè)備輸送以便向所述多個(gè)設(shè) 備的用戶提供共同且無縫的體驗(yàn)。所述多個(gè)設(shè)備中的每一個(gè)可以具有不同的物理要求和能 力，并且中心計(jì)算設(shè)備使用使得能夠向所述設(shè)備輸送體驗(yàn)的平臺(tái)，該平臺(tái)既適于該設(shè)備，也 為所有設(shè)備共用。在一個(gè)實(shí)施例中，創(chuàng)建目標(biāo)設(shè)備"類別"，并且使體驗(yàn)適于一般設(shè)備類別。 設(shè)備類別可以通過設(shè)備的物理特征或用途或者其他常見特性(例如CPU性能)限定。例如，如 先前所描述的，最終用戶終端102可以以各種各樣的不同方式配置，例如供移動(dòng)裝置202、 計(jì)算機(jī)204和電視206使用。這些配置中的每一種具有總體上相應(yīng)的屏幕尺寸，并且因此最 終用戶終端102在該示例系統(tǒng)200中可以被配置成這些設(shè)備類別之一。例如，最終用戶終 端102可以采取移動(dòng)裝置202設(shè)備類別，其包括移動(dòng)電話、音樂播放器、游戲設(shè)備等等。最 終用戶終端102也可以采取計(jì)算機(jī)204設(shè)備類別，其包括個(gè)人計(jì)算機(jī)、膝上型計(jì)算機(jī)、上網(wǎng) 本、平板計(jì)算機(jī)等等。電視206配置包括涉及休閑環(huán)境中的顯示的設(shè)備配置，例如電視、機(jī) 頂盒、游戲控制臺(tái)等等。因此，本文描述的技術(shù)可以受最終用戶終端102的這些各種配置支 持，并且不限于以下章節(jié)中描述的特定示例。
[0043] 在一些實(shí)施例中，（一個(gè)或者多個(gè)）服務(wù)器104包括"云"功能性。在這里，云208 被圖示為包括用于web服務(wù)212的平臺(tái)210。平臺(tái)210抽象化云208的硬件(例如服務(wù)器） 和軟件資源的底層功能性，并且因此可以充當(dāng)"云操作系統(tǒng)"。例如，平臺(tái)210可以抽象化將 最終用戶終端102與其他計(jì)算設(shè)備連接的資源。平臺(tái)210也可以用來抽象化資源規(guī)模以便 提供與遇到的對(duì)于經(jīng)由平臺(tái)210實(shí)現(xiàn)的web服務(wù)212的需求相應(yīng)的規(guī)模水平。也可以設(shè)想 各種各樣的其他示例，諸如服務(wù)器群中的服務(wù)器負(fù)載平衡、對(duì)惡意方(例如垃圾郵件、病毒 和其他惡意軟件)的防范等等。因此，云208作為涉及軟件和硬件資源的策略的部分而被包 括，這些資源經(jīng)由互聯(lián)網(wǎng)或者其他網(wǎng)絡(luò)是對(duì)于最終用戶終端102可用的。
[0044] 可替換地或者附加地，服務(wù)器104包括如上文和下文中所描述的增強(qiáng)效果模塊 112。在一些實(shí)施例中，平臺(tái)210和增強(qiáng)效果模塊112可以駐留在相同的一組服務(wù)器上，而 在其他實(shí)施例中，它們駐留在分離的服務(wù)器上。在這里，增強(qiáng)效果模塊112被示為利用由云 208提供的功能性以便與最終用戶終端102互連。
[0045] 通常，本文描述的任何功能都可以使用軟件、固件、硬件(例如固定邏輯電路系 統(tǒng))、人工處理或者這些實(shí)現(xiàn)方式的組合實(shí)現(xiàn)。當(dāng)在本文中使用時(shí)，術(shù)語"模塊"、"功能性"和 "邏輯"通常表示軟件、固件、硬件或者其組合。在軟件實(shí)現(xiàn)方式的情況下，所述模塊、功能性 或邏輯表示當(dāng)在處理器(例如一個(gè)或多個(gè)CPU)上執(zhí)行或者被處理器執(zhí)行時(shí)執(zhí)行所指定的任 務(wù)的程序代碼。該程序代碼可以存儲(chǔ)在一