用于電子媒體內(nèi)容的同步聲道回放系統(tǒng)的制作方法
【專利摘要】本發(fā)明涉及一種用于電子媒體內(nèi)容的同步聲道回放系統(tǒng)和一種用于顯示電子文本并同步用于該電子文本的聲道的回放的方法。該聲道包含多個音頻區(qū)域，被配置用于在電子文本的對應(yīng)文本區(qū)域中回放。該聲道的音頻區(qū)域在音頻輸出系統(tǒng)中的回放基于表示該用戶的估計閱讀位置的閱讀位置計數(shù)，其基于用戶閱讀速度變量而增加。該用戶閱讀速度變量由來自眼部跟蹤器的處理眼部跟蹤信號更新，以確定該用戶的閱讀掃描速度。
【專利說明】用于電子媒體內(nèi)容的同步聲道回放系統(tǒng)

【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及用于針對電子媒體內(nèi)容的同步聲道的回放系統(tǒng)和方法，如但不限于僅文本或包含結(jié)合圖像，視頻或動畫呈現(xiàn)的文本的多媒體內(nèi)容。該聲道的回放同步于用戶的個人閱讀速度。

【背景技術(shù)】
[0002]為增強閱讀體驗，已建議多種系統(tǒng)，在這些系統(tǒng)中關(guān)聯(lián)于文本內(nèi)容(如電子書)的音頻聲道，在閱讀文本期間被生成并播放至用戶。某些系統(tǒng)針對用戶的閱讀速度同步該聲道的回放。
[0003]其中一個這樣的系統(tǒng)描述于 申請人:共同未決的國際PCT專利申請公開W02013/015694中，其內(nèi)容通過引用整體并入本文。在該系統(tǒng)中，電子文本(如電子書)的聲道被生成，其包含被配置以在用戶閱讀電子文本時同時(concurrently)播放和/或按順序播放的不同類型的音軌(aud1 track)。該聲道的回放與用戶閱讀速度同步。該聲道可以包含不同的音頻類型的組合，包括環(huán)境噪聲，聲音效果和背景音樂，其被配置以在用戶閱讀電子文本的特定部分時在電子文本中的特定點或電子文本中的該部分以同步方式回放。W02013/015694中的聲道包含多個音頻區(qū)域，該多個音頻區(qū)域被指定為在電子文本的指定文本部分期間回放。每個音頻區(qū)域包含定義要回放的音軌，定義在電子文本中該音頻區(qū)域要開始回放的開始位置，以及定義在電子文本中該音頻區(qū)域要停止回放的停止位置的音頻數(shù)據(jù)。在描述的一個實施例中，電子文本基于詞的數(shù)量以及關(guān)聯(lián)于特定的開始詞和不同的停止詞的音頻區(qū)域的開始和停止位置來被索引。
[0004]W02013/015694描述了多種用戶回放系統(tǒng)，用于顯示電子文本并控制相關(guān)聲道的回放。用戶回放系統(tǒng)可以實現(xiàn)于多種用戶硬件設(shè)備，包括便攜式消費電子設(shè)備，如智能電話，平板電腦和專用的電子閱讀器設(shè)備或個人計算機，無論是臺式型還是膝上型。包括所有音軌的該一個或者多個聲道數(shù)據(jù)文件，在回放能夠開始之前提前全部下載并本地存儲在用戶設(shè)備中。在某些實施例中，該聲道和音軌文件與電子文本文件合并為用于下載和回放的單個多媒體數(shù)據(jù)文件。用戶回放系統(tǒng)處理一個或者多個本地存儲的下載文件并根據(jù)估計電子文本中的用戶閱讀位置的閱讀位置計數(shù)來協(xié)調(diào)(co-ordinate)音頻的回放。該閱讀位置計數(shù)以一定速度增加，該速度依賴于表示用戶閱讀速度的用戶閱讀速度變量。該用戶閱讀速度變量的精確度影響著聲道回放的同步的精確度。在某些形式中，閱讀速度變量由用戶手動調(diào)整，而在其他形式中，該閱讀速度變量可以基于頁中的字數(shù)和閱讀該頁所需時間而從每次翻頁自動計算和調(diào)整。
[0005]在已經(jīng)引用了專利說明書，其他外部文檔或其他信息源的該說明書中，其總體上用于提供討論本發(fā)明的特征的上下文環(huán)境。除非另行特別聲明，對于該外部文檔的引用不應(yīng)解釋為允許該文檔或信息源以任何權(quán)限為現(xiàn)有技術(shù)或形成本領(lǐng)域部分公知常識。


【發(fā)明內(nèi)容】

[0006]本發(fā)明的至少某些實施例的目標在于提供一種回放系統(tǒng)和/或方法，用于電子媒體內(nèi)容的同步聲道，其提供一種改進的自動閱讀速度檢測形式或至少提供給公眾以有用的選擇。
[0007]在第一方面，本發(fā)明廣義上包括一種方法，用于顯示電子文本并同步用于該電子文本的聲道的回放，該聲道包含多個音頻區(qū)域，該多個音頻區(qū)域被配置用于在該電子文本的對應(yīng)文本區(qū)域期間回放，每個音頻區(qū)域由音頻數(shù)據(jù)定義，該音頻數(shù)據(jù)包含:用于在該音頻區(qū)域回放的音軌；開始文本位置，表示在該電子文本中對應(yīng)于要開始該音軌回放的詞；以及停止文本位置，表示在該電子文本中對應(yīng)于要停止該音軌回放的詞，該方法包含:在顯示器中顯示至少一部分電子文本；利用眼部跟蹤器跟蹤用戶至少一只眼睛的移動并生成代表性的眼部跟蹤信號；基于該眼部跟蹤信號確定該用戶的閱讀掃描速度；基于該確定的閱讀掃描速度和關(guān)聯(lián)于該電子文本和/或用戶的補充掃描速度數(shù)據(jù)來計算該用戶閱讀速度的估計；至少部分地基于該計算的用戶閱讀速度的估計來更新表示用戶閱讀速度的用戶閱讀速度變量；保持對應(yīng)于所估計的文本位置的閱讀位置計數(shù)，該估計的文本位置表示在電子文本中該用戶當前閱讀的詞，該計數(shù)以基于該用戶閱讀速度變量的速度來增加；并基于該音頻數(shù)據(jù)和閱讀位置計數(shù)來控制在音頻輸出系統(tǒng)中該聲道的音頻區(qū)域的回放，以將該音頻區(qū)域的回放同步于該用戶的估計閱讀位置。
[0008]在一個實施例中，該閱讀掃描速度為行掃描速度，并且確定該行掃描速度包含:處理來自該眼部跟蹤器的眼部跟蹤信號以檢測換行眼部移動；基于檢測的換行移動和計時器確定該用戶的行掃描速度；并基于該行掃描速度和表示每行平均或?qū)嶋H電子文本量的補充掃描速度數(shù)據(jù)計算該用戶閱讀速度的估計。在一個形式中，該方法包含確定該用戶的行掃描速度為多個連續(xù)檢測的換行移動中的平均行掃描速度。在一個示例中，該行掃描速度為移動均值。
[0009]在另一實施例中，該閱讀掃描速度為翻頁速度，并且確定該翻頁速度包含:處理來自該眼部跟蹤器的眼部跟蹤信號以檢測換頁眼部移動；基于在所檢測的換頁移動之間的時間間隔確定該用戶的翻頁速度；并基于該翻頁速度和表示每頁平均或?qū)嶋H電子文本量的補充掃描速度數(shù)據(jù)計算該用戶閱讀速度的估計。
[0010]在另一實施例中，該閱讀掃描速度為翻頁速度并且確定該翻頁速度包含:當該用戶轉(zhuǎn)到該電子文本的新頁時啟動計時器；處理來自該眼部跟蹤器的眼部跟蹤信號以檢測換頁眼部移動；并基于表示該頁的電子文本量的補充掃描速度數(shù)據(jù)和在檢測到換頁眼部移動時計時器的值計算該用戶閱讀速度的估計。
[0011]在一個實施例中，該方法進一步包含處理該眼部跟蹤信號以檢測換頁眼部移動，并響應(yīng)于每個檢測的換頁眼部移動生成翻頁信號以使電子文本顯示模塊轉(zhuǎn)到該電子文本的下一頁。
[0012]在另一實施例中，該閱讀掃描速度為掃視速度，并且確定該掃視速度包含:處理來自該眼部跟蹤器的眼部跟蹤信號以檢測掃視之間的凝視固定點(gaze fixat1n point);基于檢測的凝視固定點之間的時間間隔確定該用戶的掃視速度；并基于掃視速度和表示凝視固定點之間電子文本的平均或?qū)嶋H的量的補充掃描速度數(shù)據(jù)計算該用戶閱讀速度的估計。在一個形式中，該補充掃描數(shù)據(jù)包含表示該用戶每次掃視遍歷的文本的平均量的數(shù)據(jù)。
[0013]在第二方面，本發(fā)明廣義上包括一種系統(tǒng)，用于顯示電子文本并控制同步至用戶閱讀速度的聲道的回放，該系統(tǒng)包含:顯示器，被配置以顯示該電子文本；用戶界面，被配置以接收用戶輸入以控制該系統(tǒng)；音頻輸出系統(tǒng)，其可以操作以生成音頻輸出以使該用戶聽到；電子文本顯示模塊，被配置以處理表示該電子文本的電子文本數(shù)據(jù)并響應(yīng)于來自該用戶界面的用戶輸入來控制該電子文本在該顯示器中的顯示；聲道回放模塊，被配置以:生成對應(yīng)于所估計的當前文本位置的閱讀位置計數(shù)，該當前文本位置表示電子文本中該用戶當前閱讀的詞，該閱讀位置計數(shù)以至少部分地基于表示該用戶閱讀速度的可配置用戶閱讀速度變量的速度來增加；以及處理表示該聲道的聲道數(shù)據(jù)以控制該聲道在該音頻輸出系統(tǒng)中的回放，該聲道數(shù)據(jù)定義該聲道的多個音頻區(qū)域，每個音頻區(qū)域由音頻數(shù)據(jù)定義，該音頻數(shù)據(jù)包含:用于在該音頻區(qū)域回放的音軌；開始文本位置，表示在該電子文本中對應(yīng)于要開始該音頻區(qū)域的回放的詞；以及停止文本位置，表示在該電子文本中對應(yīng)于要停止該音頻區(qū)域的回放的詞；并且其中該聲道回放模塊被配置以基于該閱讀位置計數(shù)協(xié)調(diào)該音頻區(qū)域的回放，以將該聲道的音頻區(qū)域的回放同步于用戶對電子文本的閱讀；以及閱讀速度檢測器，其被配置以:利用眼部跟蹤器跟蹤用戶至少一只眼睛的移動以生成代表性的眼部跟蹤信號；基于該眼部跟蹤信號確定該用戶的閱讀掃描速度；并基于該確定的閱讀掃描速度和關(guān)聯(lián)于該電子文本和/或用戶的補充掃描速度數(shù)據(jù)來計算該用戶閱讀速度的估計，其中該聲道回放模塊被配置以至少部分地基于由該閱讀速度檢測器計算的用戶閱讀速度的估計來更新該用戶閱讀速度變量。
[0014]在一個實施例中，該閱讀掃描速度為行掃描速度，并且該閱讀速度檢測器被配置以:處理來自該眼部跟蹤器的眼部跟蹤信號以檢測換行眼部移動；基于所檢測的換行移動和計時器來確定用戶行掃描速度；并基于該行掃描速度和表示每行平均或?qū)嶋H電子文本量的補充掃描速度數(shù)據(jù)計算該用戶閱讀速度的估計。在一個形式中，該閱讀速度檢測器被配置以:確定該用戶的行掃描速度為多個連續(xù)檢測的換行移動中的平均行掃描速度。在一個示例中，該行掃描速度為移動均值。
[0015]在另一實施例中，該閱讀掃描速度為翻頁速度，并且該閱讀速度檢測器被配置以:處理來自該眼部跟蹤器的眼部跟蹤信號以檢測換頁眼部移動；基于該檢測的換頁移動之間的時間間隔確定該用戶的翻頁速度；并基于該翻頁速度和表示每頁中電子文本的平均或?qū)嶋H的量的補充掃描速度數(shù)據(jù)來計算該用戶閱讀速度的估計。
[0016]在另一實施例中，該閱讀掃描速度為翻頁速度，并且該閱讀速度檢測器被配置以:當該用戶轉(zhuǎn)到該電子文本的新頁時啟動計時器；處理來自該眼部跟蹤器的眼部跟蹤信號以檢測換頁眼部移動；并基于表示該頁的電子文本量的補充掃描速度數(shù)據(jù)以及在檢測到換頁眼部移動時的計時器的值計算用戶閱讀速度的估計。
[0017]在一個實施例中，該系統(tǒng)進一步被配置以處理該眼部跟蹤信號以檢測換頁眼部移動，并響應(yīng)于每個檢測的換頁眼部移動生成翻頁信號以使該電子文本顯示模塊轉(zhuǎn)到該電子文本的下一頁。
[0018]在另一實施例中，該閱讀掃描速度為掃視速度，并且該閱讀速度檢測器被配置以:處理來自該眼部跟蹤器的眼部跟蹤信號以檢測掃視之間的凝視固定點；基于檢測的凝視固定之間的時間間隔來確定該用戶的掃視速度；并基于該掃視速度和表示連續(xù)凝視固定點之間電子文本的平均或?qū)嶋H的量的補充掃描速度數(shù)據(jù)來計算該用戶閱讀速度的估計。在一個形式中，該補充掃描速度數(shù)據(jù)包含表示該用戶每次掃視遍歷的平均文本量的數(shù)據(jù)。
[0019]在一個實施例中，該系統(tǒng)實現(xiàn)于硬件系統(tǒng)，并且該眼部跟蹤器包含具有至少捕獲用戶的一只或兩只眼睛的視場的一個或者多個光學傳感器。
[0020]在第三方面，本發(fā)明廣義上包括一種估計電子文本中讀者的閱讀位置的方法，包含:利用第一方式在第一時間定位用戶的第一閱讀位置；通過跟蹤讀者眼部移動檢測閱讀掃描速度；利用該閱讀掃描速度估計閱讀速度；以及基于從第一時間的增加時間，所估計的閱讀速度和第一位置估計在第二時間處的該用戶的閱讀位置。
[0021]在一個實施例中，第一閱讀位置根據(jù)以下任一個來確定:翻頁信號，顯示該電子文本的觸摸屏幕顯示器的觸摸輸入和/或遍歷電子文本的導(dǎo)航輸入。
[0022]在第四方面，本發(fā)明廣義上包括一種方法，用于顯示電子文本并同步用于該電子文本的聲道的回放，該聲道包含多個音頻區(qū)域，該多個音頻區(qū)域被配置用于在該電子文本的對應(yīng)文本區(qū)域中回放，每個音頻區(qū)域由音頻數(shù)據(jù)定義，該音頻數(shù)據(jù)包含:用于在該音頻區(qū)域回放的音軌，開始文本位置，表示在該電子文本中對應(yīng)于要開始該音軌回放的詞；以及停止文本位置，表示在該電子文本中對應(yīng)于要停止該音軌回放的詞，該方法包含:在顯示器中顯示該電子文本的至少一部分；利用眼部跟蹤器跟蹤用戶至少一只眼睛的移動以檢測換行眼部移動；基于檢測的換行移動和計時器確定該用戶的行掃描速度；基于該行掃描速度和表示每行電子文本平均或?qū)嶋H的量的數(shù)據(jù)來計算該用戶閱讀速度的估計，至少部分地基于所計算的該用戶閱讀速度的估計來更新表示該用戶閱讀速度的用戶閱讀速度變量；保持對應(yīng)于估計的文本位置的閱讀位置計數(shù)，所估計的文本位置表示電子文本中的該用戶當前閱讀的詞，該計數(shù)以基于該用戶閱讀速度變量的速度來增加；并基于該音頻數(shù)據(jù)和閱讀位置計數(shù)來控制音頻輸出系統(tǒng)中聲道的音頻區(qū)域的回放，以將該音頻區(qū)域的回放同步于所估計的用戶閱讀位置。
[0023]在某些配置中，該方法包含確定該用戶的行掃描速度為多個連續(xù)檢測的換行移動中的平均行掃描速度。在某些配置中，該行掃描速度可以為移動均值。
[0024]在某些配置中，該方法進一步包含利用眼部跟蹤器跟蹤用戶至少一只眼睛的移動以檢測換頁眼部移動；基于該檢測的換頁移動之間的時間間隔確定該用戶的翻頁速度；基于該翻頁速度和表示每頁平均電子文本量的數(shù)據(jù)計算該用戶閱讀速度的估計；并且基于所計算的用戶閱讀速度的估計進一步更新該用戶閱讀速度變量。
[0025]在某些配置中，該方法進一步包含當該用戶轉(zhuǎn)到該電子文本的新頁時啟動計時器，利用眼部跟蹤器跟蹤用戶至少一只眼睛的移動以檢測換頁眼部移動；并基于表示該頁電子文本量的數(shù)據(jù)以及在檢測到換頁眼部移動時的計時器的值來計算該用戶閱讀速度的估計；并且基于所計算的該用戶閱讀速度的估計進一步更新該用戶閱讀速度變量。
[0026]在某些配置中，該方法進一步包含利用眼部跟蹤器跟蹤用戶至少一只眼睛的移動以檢測換頁眼部移動，并響應(yīng)于每個檢測的換頁眼部移動生成翻頁信號以使電子文本顯示模塊轉(zhuǎn)到該電子文本的下一頁。
[0027]在某些配置中，該方法進一步包含跟蹤該用戶的至少一只眼睛的移動以檢測掃視之間的凝視固定點；基于檢測的凝視固定點之間的計時器間隔確定該用戶的掃視速度；基于該掃視速度和表示凝視固定點之間平均電子文本量的數(shù)據(jù)來計算該用戶閱讀速度的估計；并且基于所計算的該用戶閱讀速度的估計進一步來更新該用戶閱讀速度變量。
[0028]在第五方面，本發(fā)明廣義上包括一種系統(tǒng)，用于顯示電子文本并控制同步至該用戶閱讀速度的聲道的回放，該系統(tǒng)包含:顯示器，被配置以顯示該電子文本；用戶界面，被配置以接收用戶輸入以控制該系統(tǒng)；音頻輸出系統(tǒng)，其可以操作以生成音頻輸出以使用戶聽到；電子文本顯示模塊，被配置以處理表示該電子文本的電子文本數(shù)據(jù)，并響應(yīng)于來自用戶界面的用戶輸入來控制該顯示器上該電子文本的顯示；聲道回放模塊，被配置以:生成對應(yīng)于所估計的當前文本位置的閱讀位置計數(shù)，所估計的當前文本位置表示電子文本中的該用戶當前閱讀的詞，該閱讀位置計數(shù)以至少部分地基于表示該用戶閱讀速度的可配置用戶閱讀速度變量的速度來增加；并且處理表示該聲道的聲道數(shù)據(jù)，以控制在該音頻輸出系統(tǒng)中該聲道的回放，該聲道數(shù)據(jù)定義該聲道的多個音頻區(qū)域，每個音頻區(qū)域被音頻數(shù)據(jù)定義，其中該音頻數(shù)據(jù)包含:用于在該音頻區(qū)域中回放的音軌；開始文本位置，表示在該電子文本中對應(yīng)于要開始該音頻區(qū)域的回放的詞；以及停止文本位置，表示在該電子文本中對應(yīng)于要停止該音頻區(qū)域的回放的詞；并且其中該聲道回放模塊被配置以基于該閱讀位置計數(shù)來協(xié)調(diào)該音頻區(qū)域的回放，以將該聲道的音頻區(qū)域的回放同步于用戶對電子文本的閱讀；以及閱讀速度檢測器，被配置以:利用眼部跟蹤器跟蹤用戶至少一只眼睛的移動以檢測換行眼部移動；基于該檢測的換行移動和計時器確定該用戶的行掃描速度；并基于該行掃描速度和表示每行電子文本平均或?qū)嶋H的量的數(shù)據(jù)計算該用戶閱讀速度的估計，其中該聲道回放模塊被配置以至少部分地基于由該閱讀速度檢測器計算的用戶閱讀速度的估計來更新該用戶閱讀速度變量。
[0029]在某些配置中，該閱讀速度檢測器可以被配置以:確定該用戶的行掃描速度為多個連續(xù)檢測的換行移動中的平均行掃描速度。在某些配置中，該行掃描速度可以為移動均值。
[0030]在某些配置中，該閱讀速度檢測器可以進一步被配置以:利用眼部跟蹤器跟蹤用戶至少一只眼睛的移動以檢測換頁眼部移動；基于該檢測的換頁移動之間的時間間隔確定該用戶的翻頁速度；基于該翻頁速度和表示該每頁平均電子文本量的數(shù)據(jù)來計算該用戶閱讀速度的估計；并且其中該聲道回放模塊被配置以基于所計算的該用戶閱讀速度的估計進一步更新該閱讀速度變量。
[0031]在某些配置中，該閱讀速度檢測器可以進一步被配置以:當該用戶轉(zhuǎn)到該電子文本的新頁時啟動計時器；利用眼部跟蹤器跟蹤用戶至少一只眼睛的移動以檢測換頁眼部移動；并基于表示該頁的電子文本量的數(shù)據(jù)以及在檢測到換頁眼部移動時計時器的值計算該用戶閱讀速度的估計；并且其中該聲道回放模塊被配置以基于所計算的該用戶閱讀速度的估計進一步更新該閱讀速度變量。
[0032]在某些配置中，該系統(tǒng)可以進一步被配置以利用眼部跟蹤器跟蹤用戶至少一只眼睛的移動以檢測換頁眼部移動，并響應(yīng)于每個檢測到的換頁眼部移動生成翻頁信號以使該電子文本顯示模塊轉(zhuǎn)到該電子文本的下一頁。
[0033]在某些配置中，該閱讀速度檢測器可以進一步被配置以:跟蹤該用戶的至少一只眼睛的移動以檢測掃視之間的凝視固定點；基于在檢測的凝視固定之間的計時器間隔確定該用戶的掃視速度；基于該掃視速度和表示連續(xù)凝視固定點之間的平均電子文本量的數(shù)據(jù)來計算該用戶閱讀速度的估計；并且其中該聲道回放模塊被配置以基于所計算的該用戶閱讀速度的估計進一步更新該閱讀速度變量。
[0034]在某些配置中，該系統(tǒng)實現(xiàn)于硬件系統(tǒng)，并且該眼部跟蹤器包含具有至少捕獲用戶的一只或者兩只眼睛的視場的一個或者多個光學傳感器。在一個示例中，該硬件系統(tǒng)可以為桌面型計算機，膝上型計算機，平板電腦，智能電話或類似物，并且該光學傳感器可以包含該硬件系統(tǒng)的數(shù)字照相機。在某些示例中，可以在該顯示器的外周附近提供或定位數(shù)字照相機。在另一示例，該硬件系統(tǒng)可以為可穿戴計算機或計算設(shè)備，諸如頭部安裝的顯示器，其被提供有一個或多個面向用戶的照相機。在另一示例，該硬件可以嵌入在隱形眼鏡或眼鏡中以檢測眼部移動。
[0035]在某些配置中，該眼部跟蹤器可以被配置以通過捕獲并處理該用戶眼睛的圖像(靜態(tài)或視頻)來檢測該用戶的眼部移動。在某些形式中，該眼部移動直接從該圖像中檢測。在其它形式中，該圖像被處理以檢測在該顯示器的用戶凝視點(例如像素位置)并且該眼部移動基于跟蹤該檢測的凝視點的移動而間接地被檢測。
[0036]在第六方面，本發(fā)明廣義上包括一種估計電子文本中讀者的閱讀位置的方法，包含:利用第一方式在第一時間定位用戶的第一閱讀位置；通過跟蹤讀者眼部移動檢測行掃描速度；利用該行掃描速度估計閱讀速度；并且基于從第一時間的增加時間，該估計的閱讀速度和第一位置來估計在第二時間的該用戶的閱讀位置。
[0037]在某些配置中，第一閱讀位置基于翻頁信號，顯示該電子文本的觸摸屏幕顯示器的觸摸輸入或遍歷電子文本的其他導(dǎo)航輸入來確定。
[0038]在第七方面，本發(fā)明廣義上包括非暫時性計算機可讀介質(zhì)，具有存儲于其上的計算機可讀指令，其當在一個或者多個處理設(shè)備上執(zhí)行時，使該處理設(shè)備執(zhí)行本發(fā)明第一，第三，第四或第六方面的方法。
[0039]定義
[0040]除非上下文另行建議，該說明書和權(quán)利要求使用的術(shù)語“聲道”旨在表示在閱讀電子媒體內(nèi)容時用于回放的聲道并且屬于描述于W02013/015694的類型，其包含多個音頻區(qū)域，被配置用于在電子媒體內(nèi)容中的預(yù)定義閱讀位置或區(qū)域回放，并且該聲道的回放定時基于其估計的閱讀位置和/或閱讀速度而同步于用戶。
[0041]除非該上下文另行建議，在該說明書和權(quán)利要求中使用的術(shù)語“文本位置”旨在指代該電子文本中的位置或定位，諸如典型地為電子文本的行或詞或字符或電子文本的其他任何任選位置，并且該位置可以利用適用于該電子文本的任何合適的方式引用或標識，無論是間接地還是直接地，包括但不限于:在已被索引的電子文本中對應(yīng)于該電子文本的行，詞或字符的索引位置的索引值，數(shù)字或其他，包括例如行號，字號或字符號；或用于標識電子文本中的位置的其他任何位置引用方案。
[0042]除非該上下文另行建議，在該說明書和權(quán)利要求中使用的該術(shù)語“硬件系統(tǒng)”旨在表示任何形式的計算，處理或可編程電子設(shè)備，平臺或系統(tǒng)，包括但不限于，便攜式或非便攜式消費電子設(shè)備，諸如智能電話，手機，平板電腦，智能手表，電子閱讀器或電子書設(shè)備，膝上型電腦，以及筆記本，游戲機或控制臺，服務(wù)器，智能電視，通用計算機諸如桌面計算機，專用計算機，可穿戴計算機或計算設(shè)備諸如頭部安裝的顯示器或眼鏡或隱形眼鏡等，并且旨在包括一個或多個鏈接的或通信的硬件或共同工作的處理設(shè)備或系統(tǒng)。
[0043]除非上下文另行建議，在說明書和權(quán)利要求使用的術(shù)語“電子媒體內(nèi)容”旨在表示包含電子文本的任何電子媒體內(nèi)容，無論是否為單獨或與嵌入式靜態(tài)或動態(tài)圖像或圖形(如視頻)結(jié)合，該電子媒體內(nèi)容為能夠繪制于電子顯示器的任何格式或文件類型，并且包括但不限于，電子書籍或電子書，網(wǎng)頁，數(shù)字視頻，漫畫或幻燈片放映。
[0044]除非該上下文另行建議，在該說明書和權(quán)利要求中使用的術(shù)語“閱讀掃描速度”旨在表示一種表示用戶閱讀或掃描文本和/或圖像的速度的測量或度量，并包含多種分辨率，包括但不限于高分辨率閱讀掃描速度諸如掃視速度，例如每個時間單元用戶進行的掃視次數(shù)，中間分辨率閱讀掃描速度諸如行掃描速度，例如每個時間單元用戶閱讀的行數(shù)，以及低分辨率閱讀掃描速度諸如翻頁速度，例如每個時間單元用戶閱讀的頁數(shù)，且其中該閱讀掃描速度，以及分辨率，可以轉(zhuǎn)換為詞級的用戶閱讀速度的測量或度量，諸如每分鐘的詞(wpm)或類似，基于關(guān)聯(lián)于該文本和/或用戶的補充掃描速度數(shù)據(jù):諸如關(guān)聯(lián)于顯示的電子文本的特定項的不同分辨率的表示該平均或?qū)嶋H文本量的數(shù)據(jù)和/或關(guān)聯(lián)于單個讀者，以示例的形式包括表示以下任一個的數(shù)據(jù):該讀者每次掃視閱讀的詞的實際或平均數(shù)，每行詞的實際或平均數(shù)和/或每頁的詞的實際或平均數(shù)。
[0045]除非該上下文另行建議，在該說明書和權(quán)利要求中使用的該術(shù)語“換行眼部移動”旨在表示用戶眼睛的移動，其表示該用戶從一行的末尾改變或跳轉(zhuǎn)(無論是用于英語的水平方向或用于其它語言的垂直方向)至顯示的電子文本中下一行的開始，并且例如在英語文本中將等同于以下眼部移動，其中該用戶的凝視從或朝向該右邊距遍歷至顯示文本的水平行的左邊距或在日語文本中等同于以下眼部移動，其中該用戶的凝視自底向上遍歷顯示的文本列，即與該文本的行的閱讀方向相反的方向的眼部移動。
[0046]除非該上下文另行建議，在該說明書和權(quán)利要求中使用的術(shù)語“行掃描速度”旨在表示，表示每個時間單元用戶閱讀行數(shù)的數(shù)字值，諸如行數(shù)每秒或每分鐘或其他合適的時間單元。
[0047]除非該上下文另行建議，在該說明書和權(quán)利要求中使用的術(shù)語“換頁眼部移動”旨在表示表示該用戶從電子文本一頁的末尾改變或跳轉(zhuǎn)至電子文本下一頁的開始的用戶眼睛的任何移動，并且該眼部移動的類型可以根據(jù)文本語言而變化，并且該顯示形成該電子文本，例如是否為單頁視圖或兩頁視圖，并且例如在單頁視圖的英語文本中等同于總的眼部移動，其中該用戶的凝視從或朝向該顯示器的底部(典型地但不一定為右角)遍歷至該顯示器的頂部(典型地但不一定是該左角)。
[0048]除非該上下文另行建議，在該說明書和權(quán)利要求中使用的該術(shù)語“翻頁速度”旨在表示表示每個時間單元用戶閱讀頁數(shù)的數(shù)字值，諸如每分鐘或其他合適的時間單元的頁數(shù)。
[0049]除非該上下文另行建議，在該說明書和權(quán)利要求中使用的術(shù)語“掃視”旨在表示在閱讀時從一個凝視固定點跳轉(zhuǎn)至下一凝視固定點時用戶的一只或者兩只眼睛的快速(通常是急速的)移動，并且無論是在語目(諸如英語)文本的水平方向上，還是語目(諸如日語)文本的垂直移動。
[0050]除非該上下文另行建議，在該說明書和權(quán)利要求中使用的術(shù)語“掃視速度”旨在表示表示用戶在每個時間單元進行的掃視數(shù)量的數(shù)字值，諸如每秒或每分鐘或其他合適的時間單元的掃視數(shù)。
[0051]在說明書和權(quán)利要求使用的術(shù)語“包含”表示“至少由。。。構(gòu)成”。當解釋該說明書和權(quán)利要求中包括術(shù)語“包含”的每個表述時，除此之外的或由該術(shù)語導(dǎo)致的特征之外的特征也可以呈現(xiàn)。相關(guān)術(shù)語如“包括”或“包括有”將以相同方式解釋。
[0052]本文使用的術(shù)語“和/或”表示“和”或“或”或兩者。
[0053]本文使用的名詞之后的“(S) ”表示該名詞的復(fù)數(shù)和/或單數(shù)形式。
[0054]本發(fā)明發(fā)明上述部分并包括以下給出的實施例的構(gòu)造。
[0055]在如下描述中，特定細節(jié)被給定，以提供對實施例的全面理解。然而，本領(lǐng)域普通技術(shù)人員將會理解實施例可以在沒有這些特定細節(jié)的情況下實現(xiàn)。例如，軟件模塊，功能，電路等可以以框圖形式顯示，以避免以不必要的細節(jié)混淆該實施例。在其他情況下，熟知的模塊，結(jié)構(gòu)和技術(shù)可以不詳細地顯示，以不混淆該實施例。
[0056]并且，應(yīng)當注意，實施例可以描述為過程，其描述為流程圖，流圖，結(jié)構(gòu)圖或框圖。盡管流程圖可以將該操作描述為串行過程，但多個操作可以并行或同時執(zhí)行。此外，操作順序可以重新排列。當其操作完成時過程終止。過程可以對應(yīng)于計算機程序中的方法，函數(shù)，過程，子例程，子程序等。當過程對應(yīng)于函數(shù)時，其終止對應(yīng)于所述函數(shù)到調(diào)用函數(shù)和主函數(shù)的返回。

【專利附圖】

【附圖說明】
[0057]本發(fā)明的優(yōu)選實施例僅將以示例的形式并參考附圖來描述，其中:
[0058]圖1為一部分文本和被配置用于在電子文本的閱讀期間回放的聲道的相關(guān)音頻區(qū)域的示意性數(shù)據(jù)說明；
[0059]圖2為類似于圖1的示意性數(shù)據(jù)說明，不同之處在于示出了本發(fā)明的被配置用于包含文本和圖像的電子媒體內(nèi)容的聲道；
[0060]圖3為用于實現(xiàn)根據(jù)本發(fā)明的實施例的回放系統(tǒng)的典型硬件系統(tǒng)的示意性圖示；
[0061]圖4為示意性圖示，示出了回放系統(tǒng)的主軟件模塊或功能以及其與根據(jù)本發(fā)明的實施例的硬件元件的交互；
[0062]圖5為示意性圖示，示出了根據(jù)本發(fā)明的實施例的閱讀速度檢測器的主軟件模塊或功能；
[0063]圖6為用戶設(shè)備和由根據(jù)本發(fā)明的實施例的眼部跟蹤器檢測的換行眼部移動的圖示；
[0064]圖7為用戶設(shè)備和由根據(jù)本發(fā)明的實施例的眼部跟蹤器檢測的換頁眼部移動的圖示；并且
[0065]圖8為用戶設(shè)備和由根據(jù)本發(fā)明的實施例的眼部跟蹤器檢測的掃視之間的凝視固定點的圖示。

【具體實施方式】
[0066]1、同步聲道概覽
[0067]本發(fā)明涉及描述于W02013/015694中的類型的聲道傳送，如前所述，該聲道被生成用于增強用戶對電子文本的項(item)的閱讀體驗。
[0068]聲道可以以應(yīng)用于任何格式或文件類型的電子文本，包括但不限于與如下文件擴展相關(guān)聯(lián)的格式或文件類型:aeh, djvu, epub, fb2, html, xhtml, azw, lit, prc, mobi, KF8,exe，pdb，txt，pdb，pdf, ps，rgo，pdb，tr2，tr3，wol，rtf, doc, docx，asc，lit，wri，odt，text, pwi，rtx，sdw，strings，utf8，utfl6，wp \ wpw, wri, wtx, asc, csv，Iwp, dtp，indd，pmd，ppp, pub, fm,以及任何類型的標記語言類型，包括但不限于SGML，HTML, XHTML, HTML5，XML和LaTex。電子文本可以為任何電子媒體內(nèi)容的形式，無論僅包含文本還是結(jié)合圖像或圖形的文本，無論為靜態(tài)的還是運動的(例如視頻或其他動畫)。以示例的形式而不限制，該電子媒體內(nèi)容可以為電子書，網(wǎng)頁，或任何其他電子媒體內(nèi)容格式的形式。
[0069]聲道為電子媒體內(nèi)容而定制并特別地為電子文本的內(nèi)容而定制以增強電子文本讀者的閱讀體驗。該聲道可以包含不同類型的音軌并可以被配置以在用戶閱讀電子文本時同時播放，按順序播放或同時和按順序播放其兩者。該聲道的回放同步于用戶閱讀速度。在一個示例中，該電子文本可以為小說或非小說書籍，而且該聲道可以包含不同音頻類型的組合，包括環(huán)境噪聲，聲音效果和背景音樂，其可以被配置以同步方式在用戶閱讀特定部分電子文本時在電子文本的特定點或該電子文本的該部分回放。
[0070]聲道包含指定為在電子文本的指定文本的部分期間回放的多個音頻區(qū)域。每個音頻區(qū)域包含定義要回放的音軌的音頻數(shù)據(jù)和定義所需回放特征的音頻屬性。音頻數(shù)據(jù)指定在電子文本中該音頻區(qū)域要開始回放的開始文本位置，以及該音頻區(qū)域要停止回放的停止文本位置。在一個實施例中，該電子文本被指定了基于電子文本中的詞或字符的數(shù)量的數(shù)字文本索引，而且該開始和停止文本位置由對應(yīng)的開始和停止索引值分別定義。在一個示例中，文本的索引基于電子文本中詞的數(shù)量以使每個詞具有唯一索引值，該唯一索引值表示該詞在電子文本中的位置。每個詞的索引值可以對應(yīng)于其在電子文本中的詞數(shù)量或詞計數(shù)。在該示例中，在表示針對該音頻區(qū)域的電子文本中的所選開始詞和停止詞的開始和停止索引值之間回放該音頻區(qū)域。
[0071]當用戶閱讀電子文本時，對應(yīng)于用戶被估計的當前閱讀處的電子文本中的文本位置(諸如詞)的閱讀位置計數(shù)或標識符被保持。該閱讀位置計數(shù)至少部分地基于表示用戶閱讀速度的用戶閱讀速度變量以一定速率來增加或改變。該閱讀位置計數(shù)允許該聲道的音頻區(qū)域的回放同步于用戶閱讀速度，以使當閱讀位置計數(shù)匹配于該音頻區(qū)域的開始詞的開始索引值時，音頻區(qū)域的回放被觸發(fā)，同理，當閱讀位置計數(shù)匹配于該音頻區(qū)域的停止詞的停止索引值時，音頻區(qū)域的回放停止。
[0072]在可選的實施例中，可以應(yīng)用與基于詞或字符的索引相反的其他閱讀位置引用方案(scheme)。在其他實施例中，每個音頻區(qū)域的開始和停止位置可以由任何其他文檔或文本位置引用方案或系統(tǒng)來定義。一個這樣的示例為ePub規(guī)范片段標識符(CFI) (canonicalfragment identifier)。在該示例中，該音頻區(qū)域中的開始和停止位置將由CFI參數(shù)或范圍定義，并且閱讀位置變量將以CFI格式保持，其基于用戶閱讀速度來改變或增加，以當其CFI值匹配該閱讀位置變量時觸發(fā)該聲道音頻區(qū)域的回放。
[0073]聲道包含多個音頻區(qū)域并且兩個或多個區(qū)域的回放可以部分地或完全重疊，以使兩個或多個音頻區(qū)域能夠同時回放，如果需要的話。該聲道被提供有用于回放的多個通道，并且重疊音頻區(qū)域被指定有可用通道的集合中的不同通道，以允許同時回放。其使不同的音軌，如聲音效果，環(huán)境噪聲和背景音樂同時播放并混合在一起提供總體聲道，其增強了用戶對該特定電子文本的閱讀體驗。典型地，每個音頻區(qū)域的音頻數(shù)據(jù)包括音頻類型，如“音樂”，“環(huán)境”和“效果”。所選擇的音頻類型旨在定義該音頻區(qū)域的特征。例如，如果音頻區(qū)域用于背景音樂，則所選音頻類型將為“音樂”。如果該音頻區(qū)域為聲音效果，則“效果”音頻類型被選擇。如果該音頻區(qū)域旨在為環(huán)境聲音或噪聲，則“環(huán)境”音頻類型被選擇。
[0074]以示例的形式，圖1示出了僅包含電子文本的電子媒體內(nèi)容的一部分。圖1還將多個音頻區(qū)域10的示意性表示與文本相覆蓋，多個音頻區(qū)域10被配置以在閱讀示意性表示中的電子文本期間回放，該音頻區(qū)域10的每一個由在其關(guān)聯(lián)的文本部分下方延伸的橫線或下劃線來表示。該音頻區(qū)域的每個橫線或下劃線的開始表示該音頻區(qū)域的音軌將開始回放的開始位置，并且結(jié)尾10表示電子文本中該音頻區(qū)域的音軌將停止回放的位置。每個音頻區(qū)域可以在單個詞或詞組，行，多個行或甚至頁中延伸。如其所示，該音頻區(qū)域可以重疊以使其同時回放。
[0075]參見圖2，該電子媒體內(nèi)容可以包含多媒體內(nèi)容，包含文本和圖像，無論是靜止的還是運動的。圖2示出了包含靜態(tài)圖像20的這種電子文本。對于該電子媒體內(nèi)容，該聲道音頻區(qū)域可以具有對應(yīng)于文本或圖像的開始和停止位置。例如音頻區(qū)域可以被配置以開始于特定詞，并且然后當用戶被預(yù)期來看在文本中嵌入的特定圖像時結(jié)束?？蛇x地，音頻區(qū)域可以被配置以當用戶被預(yù)期來瀏覽特定嵌入的圖像(無論是靜止還是視頻)時開始回放。
[0076]2、硬件系統(tǒng)
[0077]現(xiàn)將描述用于顯示電子文本(例如電子書31)并控制相關(guān)聲道33的回放的回放系統(tǒng)的實施例。
[0078]在該實施例中，用戶回放系統(tǒng)可以被提供為或?qū)崿F(xiàn)為運行于任何合適的電子硬件系統(tǒng)或平臺或設(shè)備中的應(yīng)用程序，網(wǎng)站，插件或其他任何形式的軟件，無論是獨立，集成或嵌入在其他軟件中。典型地，回放系統(tǒng)實現(xiàn)于任何合適的便攜式或非便攜式硬件設(shè)備或系統(tǒng)，該硬件設(shè)備和系統(tǒng)具有合適的處理器和存儲器能力，用于顯示電子文本的顯示器，以及通過揚聲器或耳機用于聲道的回放的音頻輸出系統(tǒng)。僅以示例的形式，硬件設(shè)備或系統(tǒng)可以為便攜式消費電子設(shè)備，諸如智能電話，手機，平板電腦，智能手表，專用電子閱讀器或電子書設(shè)備，膝上型電腦，筆記本，諸如光學頭部安裝的或頭戴顯示器(例如Google眼鏡)或隱形眼鏡的可穿戴計算機或計算設(shè)備，或其他任何合適的電子設(shè)備?？蛇x地，回放系統(tǒng)可以實現(xiàn)于桌面?zhèn)€人計算機或其他任何非便攜式硬件系統(tǒng)，如果需要的話。典型地，回放系統(tǒng)被提供為可以被加載和運行于上述硬件設(shè)備或系統(tǒng)的應(yīng)用程序或軟件，但應(yīng)當理解，專用電子設(shè)備可以被配置和構(gòu)建為獨立的用戶回放系統(tǒng)，如果需要的話。應(yīng)當理解，用戶回放系統(tǒng)可以以網(wǎng)站接口的形式來實現(xiàn)。例如，用戶可以通過互聯(lián)網(wǎng)訪問網(wǎng)站，該網(wǎng)站被配置以提供用于經(jīng)由用戶的互聯(lián)網(wǎng)瀏覽器瀏覽電子文本并提供對應(yīng)聲道的回放的回放系統(tǒng)。
[0079]參考圖3，示出了回放系統(tǒng)軟件可以運行于其上的硬件設(shè)備30的示例。硬件設(shè)備30包括處理器32，用于執(zhí)行軟件或計算機可讀指令；存儲器34，用于數(shù)據(jù)處理和指令的執(zhí)行；數(shù)據(jù)存儲器36，用于數(shù)據(jù)存儲(諸如硬盤驅(qū)動)；用戶界面38 (例如按鈕，觸摸屏幕，鍵盤，鼠標輸入，語音命令等，無論為獨立還是組合)以使用戶與硬件設(shè)備和軟件交互；顯示器40，用于顯示回放系統(tǒng)軟件的圖形用戶界面(⑶I);以及音頻輸出系統(tǒng)42，用于通過揚聲器或耳機生成音頻輸出。硬件設(shè)備30還可以包含外部設(shè)備接口和/或通信模塊44，用于與外部網(wǎng)絡(luò)48 (諸如互聯(lián)網(wǎng)或外聯(lián)網(wǎng)或內(nèi)部互聯(lián)網(wǎng))建立通信鏈路46，或與外部數(shù)據(jù)庫或服務(wù)器52 (諸如音樂庫)建立通信鏈路50。
[0080]硬件設(shè)備還連接于或具有集成的眼部跟蹤器54，用于跟蹤用戶一只或兩只眼睛的移動。多種眼部跟蹤器技術(shù)為已知。在該實施例中，眼部跟蹤器是非接觸式，非介入性光學眼部跟蹤器。在某些形式中，眼部跟蹤器可以被配置以跟蹤瞳孔或眼球移動，并生成代表性的眼部移動信號。在其它形式中或可選地可以被配置以跟蹤用戶的眼部移動以檢測其在顯示屏幕上的凝視點并生成代表性的凝視點信號，諸如像素坐標。在該形式中，典型地，眼部跟蹤器基于檢測紅外光的角膜反射，利用一個或多個光學傳感器(諸如紅外照相機)和圖像處理來檢測眼部移動或凝視方向。應(yīng)當理解，由眼部跟蹤器生成的眼部跟蹤信號可以為眼部移動信號或凝視點信號或其組合。
[0081 ] 在該實施例中，眼部跟蹤器典型地包含或使用集成于或提供在顯示屏幕外周附近的至少一個面向用戶的照相機，如通常提供在多個膝上型電腦，智能電話，平板電腦等上的。在某些形式中，照相機可以為網(wǎng)絡(luò)攝像頭。在某些形式中，一個或者多個照相機可以安裝或提供于可穿戴計算機或計算設(shè)備(諸如光學頭部安裝的或頭戴的顯示器(例如Google眼鏡))中。在某些形式中，眼部跟蹤器可以為軟件，其操作一個或者多個照相機并處理捕獲的圖像，以生成代表性的眼部移動信號或以另外的形式被編程以檢測特定眼部移動，用于閱讀速度檢測器中，其在稍后更詳細地說明。
[0082]3.軟件功能
[0083]參考圖4，現(xiàn)將描述回放系統(tǒng)60的實施例的基本功能和數(shù)據(jù)處理。為了清晰地描述用戶回放系統(tǒng)，回放系統(tǒng)60的多種功能和數(shù)據(jù)處理將參考專用的模塊描述，該專用的模塊被配置以實現(xiàn)功能和數(shù)據(jù)處理，。應(yīng)當理解，該模塊可以以多種方式以軟件形式被配置或?qū)崿F(xiàn)并且模塊執(zhí)行的處理和功能可以集成于數(shù)量降低的統(tǒng)一模塊中或根據(jù)設(shè)計需要進一步擴展和劃分為更大數(shù)量的模塊。
[0084]示出了回放系統(tǒng)60的主模塊，以及主模塊與用戶回放系統(tǒng)正在其上運行的硬件平臺的多種組件(諸如顯示器40，用戶界面38，音頻輸出系統(tǒng)42，以及眼部跟蹤器54)間的交互。為清晰起見，未示出硬件系統(tǒng)的其他方面(諸如處理器32，存儲器34，數(shù)據(jù)存儲器36和其他任何通信鏈路或組件)。
[0085]回放系統(tǒng)64被配置以接收并處理聲道數(shù)據(jù)文件33和相關(guān)的電子文本數(shù)據(jù)文件31 (無論是合并為多媒體數(shù)據(jù)文件還是存儲為獨立的數(shù)據(jù)文件)，以生成電子文本的可視顯示和伴隨聲道的音頻回放。一個或者多個聲道數(shù)據(jù)文件(包括所有音軌)在某些實施例中在回放能夠開始之前提前全部下載并本地存儲在用戶設(shè)備中，或在可選的實施例中聲道在遠程服務(wù)器(例如在云或類似物)中被編譯，并且流傳輸(stream)至用戶設(shè)備用于回放。
[0086]電子f本顯示
[0087]回放系統(tǒng)60包含電子文本顯示模塊62，其被配置以處理表示電子文本的電子文本數(shù)據(jù)31并響應(yīng)于來自用戶界面38的用戶輸入來控制電子文本在顯示器40的顯示。顯示器38可以為傳統(tǒng)電子顯示器(例如IXD或LED顯示屏幕)，具有包含任何一個或多個典型輸入設(shè)備諸如但不限于，按鈕，撥號盤，開關(guān)，鼠標，觸摸板，鍵盤，語音命令或其他任何觸覺的，聽覺的或可視的用戶輸入系統(tǒng)或設(shè)備的用戶界面38。在優(yōu)選的實施例，硬件設(shè)備被提供有以觸摸屏顯示器為形式的集成的顯示器40和用戶界面38，該集成的顯示器40和用戶界面38通常可以于多個便攜式電子設(shè)備(諸如平板電腦，智能電話，筆記本等)處獲得。
[0088]聲道回放樽塊
[0089]聲道回放模塊64被提供用于基于表示用戶在電子文本中的期望或估計的閱讀位置的閱讀位置變量或計數(shù)來協(xié)調(diào)聲道33的音頻區(qū)域在音頻輸出系統(tǒng)42中的回放，以將聲道的回放與用戶對電子文本的閱讀同步。聲道回放模塊以類似于在W02013/015694中描述的回放模塊的方式來操作。聲道回放模塊64保持用戶閱讀位置變量(諸如計數(shù))，該用戶閱讀位置變量以基于表示用戶閱讀速度的可配置用戶閱讀速度設(shè)置或變量的速度來增加或改變(例如每分鐘的詞(wpm)或類似)。閱讀位置計數(shù)可以表示用戶當前閱讀的詞，例如如果電子文本基于詞索引，則可以為詞的計數(shù)。閱讀位置計數(shù)可以基于用戶交互/輸入(例如翻頁，滾動，任意閱讀位置更新輸入等)而周期性地或任意地更新。閱讀位置模塊還被配置以接收表示用戶開始閱讀或暫停閱讀的控制輸入，并因此控制閱讀位置計數(shù)(例如開始或暫停計數(shù))。
[0090]聲道回放模塊64被配置以處理聲道數(shù)據(jù)文件并基于用戶閱讀位置計數(shù)觸發(fā)或提示關(guān)聯(lián)于所定義的聲道的音頻區(qū)域的音軌文件的回放。特別地，回放模塊64當閱讀位置變量匹配為該音頻區(qū)域定義的開始位置時，開始關(guān)聯(lián)于音頻區(qū)域的音軌文件的回放，并且當閱讀位置變量匹配為該音頻區(qū)域定義的停止位置時，停止音軌文件的回放。應(yīng)當理解，當有兩個或多個重疊音頻區(qū)域時，兩個或多個音軌文件可以同時播放，并且每個音頻區(qū)域可以具有可以依賴或不必依賴閱讀速度的關(guān)于回放的其他相關(guān)屬性(諸如音量和平移包絡(luò)控制(panning envelop control)以及其他音頻效果和屬性,如W02013/015694中所描述)。
[0091]閱讀速度檢測器
[0092]用戶閱讀速度變量可以由用戶人工調(diào)整或從針對終端用戶(end user)的歷史存儲的閱讀速度中檢索。
[0093]在該實施例中，回放系統(tǒng)60進一步包含自動閱讀速度檢測器66，其被配置以基于眼部跟蹤在其閱讀時連續(xù)地或周期性地計算用戶的實時閱讀速度。特別地，閱讀速度檢測器被配置以在用戶閱讀呈現(xiàn)于顯示器40的電子文本時，從眼部跟蹤器接收表示所跟蹤的關(guān)聯(lián)于用戶的一只或兩只眼睛的眼部移動或凝視點的數(shù)據(jù)或信號68。閱讀速度檢測器66被配置以基于來自眼部跟蹤器54的眼部跟蹤信號68和來自電子文本顯示模塊62的關(guān)于所顯示文本的特性(例如每行的詞數(shù)，每頁的詞數(shù)(無論單行或單頁或平均值)的補充掃描速度數(shù)據(jù)70和/或關(guān)聯(lián)于單個讀者的補充掃描速度數(shù)據(jù)(諸如讀者每次掃視的詞的平均數(shù))來計算周期性的或連續(xù)的更新的用戶閱讀速度的估計。閱讀速度檢測器66發(fā)送其所計算的更新的用戶閱讀速度估計72至聲道回放模塊，以更新所存儲的用戶閱讀速度變量，其中閱讀速度計數(shù)根據(jù)該用戶閱讀速度變量而增加，以由此增強聲道回放的同步。
[0094]以示例的形式，閱讀速度檢測器66被配置以接收補充掃描速度數(shù)據(jù)，補充掃描速度數(shù)據(jù)具有選自表示如下任何一個或多個的數(shù)據(jù)的一個或多個類型:
[0095].電子文本每個單獨行的每行的實際詞，
[0096].電子文本的整個項的每行詞的平均值，
[0097].一部分電子文本(諸如在文本的一頁或多頁中)中多個連續(xù)行的每行詞的移動(moving)均值，
[0098].電子文本的每單個頁的每頁實際詞，
[0099].電子文本的整個項的每頁詞的平均值，
[0100].文本多個連續(xù)頁的每頁詞的移動均值，
[0101].為單個讀者確定的每次掃視所閱讀的詞的平均數(shù)，和/或
[0102]?基于具有對應(yīng)于讀者的閱讀速度的人的統(tǒng)計平均值確定的每次掃視閱讀的詞的平均數(shù)。
[0103]在某些實施例中，依賴于閱讀速度檢測器66的配置，補充掃描速度數(shù)據(jù)依賴于提供的補充掃描速度數(shù)據(jù)的一種或者多種類型被一次接收，周期性地接收和連續(xù)地接收。應(yīng)當理解，表示每示或每頁的實際或平均詞的補充掃描速度數(shù)據(jù)可以由電子文本顯示模塊62以多種形式確定。在某些形式中，電子文本顯示模塊可以從電子文本文件本身提取補充掃描速度數(shù)據(jù)或在其它形式中可以通過處理電子文本文件而計算數(shù)據(jù)。在一個示例中，電子文本顯示模塊62可以被配置以至少部分地基于顯示的字體大小和文本顯示區(qū)域(例如頁顯示寬度)來計算平均每行詞或每頁詞的估計。
[0104]參考圖5，閱讀速度檢測器66將被更詳細地說明。簡言之，閱讀速度檢測器包含一個或多個速度模塊80，82，84，其被配置以基于來自眼部跟蹤器54的眼部移動信號68的處理來確定閱讀掃描速度。在某些實施例中，閱讀速度檢測器可以包含單個速度模塊80，82，84，根據(jù)該單個速度模塊確定更新的閱讀速度估計72。在其它實施例，閱讀速度檢測器可以包含兩個或多個速度模塊80，82，84的配置，根據(jù)該兩個或多個速度模塊確定更新的閱讀速度估計。在該實施例中，作為模塊的所有估計的平均值的單個閱讀速度估計被生成，或者一個速度模塊被配置為“基本”速度模塊而其他剩余的一個或多個速度模塊為“第二”或“補充”模塊，“第二”或“補充”模塊生成數(shù)據(jù)以細化由基本速度模塊生成的閱讀速度估計或所有速度模塊各自獨立生成閱讀速度估計信號，用于更新在聲道回放模塊存儲的用戶閱讀速度變量。
[0105]在一個示例實施例，閱讀速度檢測器包含基本行掃描速度模塊80，并可選地包括補充新頁速度模塊82和掃視速度模塊84中的一個或兩個。每個模塊能夠生成用戶閱讀速度的估計。在該實施例中，從檢測器輸出至聲道回放模塊的更新的閱讀速度72基于行掃描速度模塊80。在某些實施例中，由行掃描速度模塊80生成的該基本閱讀速度估計可以基于由新頁速度模塊82和掃視速度模塊84生成的輸出或閱讀速度估計來進一步細化或更新。
[0106]以示例的形式，三個不同的速度模塊80，82，84將以示例的形式描述。如所討論的，每個速度模塊在閱讀速度檢測器的某些配置中可以單獨使用，或每個速度模塊在閱讀速度檢測器的其它配置中可以結(jié)合一個或多個不同的速度模塊使用。每個示出的速度模塊80，82，84被配置以基于接收自眼部跟蹤器54的眼部跟蹤信號68生成閱讀掃描速度。每個不同的速度模塊80，82，84被配置以不同的“分辨率”生成閱讀掃描速度。掃視速度模塊84生成高分辨率閱讀掃描速度(諸如掃視速度)，例如每個時間單元用戶進行的掃視數(shù)。行掃描速度模塊80生成中間分辨率閱讀掃描速度(諸如行掃描速度)，例如每個時間單元用戶閱讀的行數(shù)。新頁速度模塊生成低分辨率閱讀掃描速度(諸如翻頁速度)，例如每個時間單元用戶閱讀的頁數(shù)。如將被說明的，基于補充掃描速度數(shù)據(jù)，每個速度模塊被配置以將其各自的閱讀掃描速度轉(zhuǎn)換為用戶閱讀速度估計(諸如每分鐘的詞或類似)。每個速度模塊在以下參考圖6-8分別進一步說明。
[0107]行掃描速度模塊
[0108]行掃描速度模塊80被配置以在用戶閱讀文本時經(jīng)由眼部跟蹤器檢測表示用戶改變行的眼部移動，以生成用戶閱讀速度能夠從中被計算的行掃描速度。
[0109]參考圖6，具有用于呈現(xiàn)電子文本的顯示器92，以及面向用戶的光學傳感器(例如數(shù)字照相機94)的示例硬件設(shè)備90被示出。由數(shù)字照相機捕獲的用戶一只或者兩只眼睛的圖像由眼部跟蹤器軟件處理。
[0110]在一個實施例中，眼部跟蹤器被配置以跟蹤用戶至少一只眼睛的移動以檢測換行眼部移動。例如，在包含水平行文本的英語或等同語言的文本環(huán)境下，在用戶從一行的末尾移動至下一行的開始時，眼部跟蹤器檢測由箭頭94示出的左右眼部移動類型。應(yīng)當理解，可選地眼部跟蹤器可以被配置以在包含垂直文本列的日語或等同語言環(huán)境下檢測上下眼部的移動。行掃描速度模塊80然后基于檢測的換行移動和計時器來確定用戶的行掃描速度。例如，行掃描速度可以確定為每分鐘或每秒的多個行。在某些配置中，行掃描速度確定用戶的行掃描速度為多個連續(xù)檢測的換行移動中的平均行掃描速度。在某些配置中，行掃描速度可以為移動均值。在該實施例中，行掃描速度可以在不知道在顯示屏幕上用戶凝視的準確位置的情況下被確定，即從右到左的移動是重要的，其一般標示著換行。也不需要知道用戶正在閱讀的準確的行。
[0111]在另一實施例中，行掃描速度模塊被配置以通過從眼部跟蹤信號檢測用戶的凝視停留在同一行(無論在行的何處)達多久(即時間間隔或時間段)來生成行掃描速度的估計，并基于多個連續(xù)行中時間段的平均值來計算用戶的平均行掃描速度。例如，如果用戶被確定停留在每行達到平均6秒，則其對應(yīng)于每分鐘10行的行掃描速度。
[0112]在這些實施例的任一個中，行掃描速度模塊然后被配置以基于行掃描速度和表示每行平均或?qū)嶋H的電子文本量(例如每行詞數(shù)或字符數(shù))的補充掃描速度數(shù)據(jù)來計算用戶閱讀速度的估計。例如，將行掃描速度(以每分鐘的行為單位)乘以每行的平均或?qū)嶋H的詞產(chǎn)生以每分鐘的詞(wpm)為單位的閱讀速度結(jié)果。根據(jù)閱讀速度檢測器的配置，該閱讀速度的估計然后可以輸出72到聲道回放模塊，或在其輸出到回放模塊之前，與由其他速度模塊之一生成的閱讀速度估計合并，或者用于修改或者細化該閱讀速度估計。
[0113]新頁速度模塊
[0114]新頁速度模塊82被配置以經(jīng)由眼部跟蹤器檢測表示用戶改變頁(即例如在電子書中的翻頁時)的眼部移動。新頁速度模塊82能夠計算用戶閱讀速度的估計。參考圖7，如圖6中的描述相同的示例硬件設(shè)備90被示出，并將用于描述如下的新頁速度模塊82的示例實現(xiàn)。
[0115]在該新頁速度模塊82的一個實施例中，眼部跟蹤器54被配置以跟蹤用戶至少一只眼睛的移動以檢測換頁眼部移動。例如，眼部跟蹤器被配置以檢測總的眼部移動，其中用戶的凝視從或朝向顯示器的底部(典型地但不一定為右角)遍歷至顯示器頂部(典型地但不一定為左角)，即箭頭96示出的對角的自底向上的眼部移動，例如在英語或等同語言環(huán)境中，但應(yīng)當理解，總的眼部移動將在包含文本列的日語文本或等同物的不同方向上。在該實施例中，新頁速度模塊82然后可以基于檢測的換頁移動之間的時間間隔確定用戶的翻頁速度，并且在某些實施例中其為移動均值。用戶閱讀速度的估計然后基于翻頁速度和表示接收自電子文本顯示模塊62的每頁平均或?qū)嶋H電子文本量的補充掃描速度數(shù)據(jù)70來計算。例如，將翻頁速度(以每分鐘的頁為單位)乘以每頁的平均或?qū)嶋H的詞來產(chǎn)生以每分鐘的詞(wpm)為單位的閱讀速度結(jié)果。根據(jù)閱讀速度檢測器的配置，該閱讀速度的估計然后可以輸出72到聲道回放模塊，或在其輸出到回放模塊之前，與由其他速度模塊之一生成的閱讀速度估計合并，或者用于修改或者細化該閱讀速度估計。
[0116]在該新頁速度模塊82的另一實施例中，眼部跟蹤器54被配置以當用戶轉(zhuǎn)到電子文本的新頁時(例如通過從電子文本顯示模塊62接收翻頁信號或數(shù)據(jù)70)啟動計時器。模塊然后利用眼部跟蹤器54跟蹤用戶至少一只眼睛的移動以檢測上述的換頁眼部移動。在檢測換頁眼部移動時(其表示用戶達到頁的末尾)，模塊被配置以基于表示接收自電子文本顯示模塊62的特定頁中的實際電子文本量的補充掃描速度數(shù)據(jù)70和在檢測到換頁眼部移動時的計時器的值來計算用戶閱讀速度的估計。再次地，根據(jù)閱讀速度檢測器的配置，該閱讀速度的估計然后可以輸出72到聲道回放模塊，或在其輸出到回放模塊之前，與由其他速度模塊之一生成的閱讀速度估計合并，或者用于修改或者細化該閱讀速度估計。
[0117]在某些實施例中，新頁速度模塊可以被配置以忽略檢測到的似乎相對于移動均值為界外值的翻頁，以允許讀者可能略過，翻閱或以其他形式快速翻過電子文本的頁的情況。
[0118]在某些配置中中，閱讀速度檢測器可以被配置以響應(yīng)于每個檢測的換頁眼部移動生成翻頁信號，并將該翻頁信號發(fā)送至電子文本顯示模塊62以使其轉(zhuǎn)到電子文本的下一頁。在該配置中，眼部跟蹤器在檢測換頁眼部移動時被設(shè)置為自動翻頁器。
[0119]掃視速度模塊
[0120]掃視速度模塊84被配置以經(jīng)由眼部跟蹤器54檢測表示在用戶的眼睛遍歷文本行的水平掃描路徑時的掃視之間的凝視固定點的眼部移動。該模塊基于該眼部移動確定掃視速度，其中基于該掃視速度可以確定用戶閱讀速度的估計。參考圖8，如圖6中所描述的相同的示例硬件設(shè)備90被示出，并將用于描述如下掃視速度模塊82的示例實現(xiàn)。
[0121 ] 在該模塊84中，在例如由F1-F8表示的凝視固定點由眼部跟蹤器檢測。在該配置中，眼部跟蹤器不一定檢測固定點的準確位置，而僅僅是用戶的凝視暫時固定的位置。然后模塊84基于檢測的凝視固定點之間的時間間隔確定掃視速度。掃視速度可以為數(shù)字值，諸如每個時間單元用戶進行掃視的平均次數(shù)，諸如每秒或每分鐘或其他合適的時間單元掃視的平均次數(shù)。然后模塊84基于掃視速度和表示用戶在凝視固定點之間平均電子文本量的補充掃描速度數(shù)據(jù)來計算用戶閱讀速度的估計。在某些實施例中，表示每次掃視遍歷的文本的平均量的數(shù)據(jù)可以基于與用戶的標稱閱讀速度相關(guān)的普通人群的平均或典型平均。在其它實施例中，凝視固定點的準確位置可以由眼部跟蹤器確定并且每次掃視遍歷的詞的平均數(shù)可以實時計算。
[0122]根據(jù)閱讀速度檢測器的配置，由模塊84生成的該閱讀速度的估計然后可以輸出72到聲道回放模塊，或在其輸出到回放模塊之前，與由其他速度模塊之一生成的閱讀速度估計合并，或者用于修改或者細化該閱讀速度估計。
[0123]實時閱讀位置檢測器
[0124]在某些實施例中，系統(tǒng)可以被配置以基于由閱讀速度檢測器的任何一個或多個速度模塊生成的所確定的閱讀掃描速度來確定在電子文本中用戶的閱讀位置。
[0125]例如，系統(tǒng)可以被配置以檢測用戶在第一時間的閱讀位置的第一位置信息，例如通過生成翻頁信號的翻頁，在觸摸屏幕顯示器上表示用戶正在閱讀的當前詞的觸摸輸入或用于遍歷電子文本的另一導(dǎo)航輸入。計時器記錄檢測第一閱讀位置的第一時間。由眼部跟蹤器檢測的閱讀掃描速度然后被監(jiān)視并且閱讀速度被如上所討論地根據(jù)所使用的速度模塊來計算。讀者的當前實時位置可以由與第一時間的時間差乘以所計算的閱讀速度并將其與第一閱讀位置相加來計算。用戶的實時當前位置可以用于更新閱讀位置變量或用于其他目的。
[0126]4、總述
[0127]本發(fā)明的實施例可以由硬件，軟件，固件，中間件，微代碼或其任何組合實現(xiàn)。當實現(xiàn)于軟件，固件，中間件或微代碼時，執(zhí)行必要任務(wù)的程序代碼或代碼段可以存儲于機器可讀介質(zhì)(如存儲介質(zhì)或其他存儲器)中。處理器可以執(zhí)行必要任務(wù)。代碼段可以表示過程，功能，子程序，程序，例程，子例程，模塊，軟件包，類或指令，數(shù)據(jù)結(jié)構(gòu)或程序語句的任何組合。代碼段可以通過傳遞和/或接收信息，數(shù)據(jù)，自變量，參數(shù)或存儲器內(nèi)容而耦合于另一代碼段或硬件電路。信息，自變量，參數(shù)，數(shù)據(jù)等可以經(jīng)由任何合適的方式(包括存儲器共享，消息傳遞，令牌傳遞(token passing),網(wǎng)絡(luò)傳輸?shù)?傳遞,轉(zhuǎn)發(fā)或傳輸。
[0128]在前文中，存儲介質(zhì)可以表示用于存儲數(shù)據(jù)的一個或者多個設(shè)備，包括只讀存儲器(ROM)，隨機存取存儲器(RAM)，磁盤存儲介質(zhì)，光學存儲介質(zhì)，閃速存儲設(shè)備和/或用于存儲信息的其它機器可讀介質(zhì)。術(shù)語“機器可讀介質(zhì)”和“計算機可讀介質(zhì)”包括但不限于，便攜式或固定存儲設(shè)備，光學存儲設(shè)備和/或能夠存儲，包含或攜帶指令和/或數(shù)據(jù)的多種其他介質(zhì)。
[0129]結(jié)合本文公開的示例描述的多種說明性的邏輯塊，模塊，電路，元件和/或組件可以利用通用處理器，數(shù)字信號處理器(DSP)，專用集成電路(ASIC)，現(xiàn)場可編程門陣列(FPGA)或其他可編程邏輯組件，離散的門或晶體管邏輯，離散的硬件組件或被設(shè)計以執(zhí)行本文描述的功能的任何組合來實現(xiàn)或執(zhí)行。通用處理器可以為微處理器，但在可選項中，處理器可以為任何傳統(tǒng)處理器，控制器，微控制器，電路和/或狀態(tài)機。處理器還可以實現(xiàn)為計算組件的組合，例如，DSP和微處理器的組合，多個微處理器，結(jié)合DSP核的一個或多個微處理器或任何其他配置。
[0130]結(jié)合本文公開的示例描述的方法或算法可以直接在硬件中，在由處理器執(zhí)行的軟件模塊中或在兩者的組合中，以處理單元，編程指令和其他方向的形式來實現(xiàn)，并可以包含于單個設(shè)備或分布于多個設(shè)備中。軟件模塊可以駐留于RAM存儲器，閃速存儲器，ROM存儲器，EPROM存儲器，EEPROM存儲器，寄存器，硬盤，可移除磁盤，CD-ROM或本領(lǐng)域已知的任何其他形式的存儲介質(zhì)中。存儲介質(zhì)可耦合到處理器，以使處理器和存儲介質(zhì)之間可以閱讀信息和寫入信息。可選擇地，存儲介質(zhì)可以集成于處理器中。
[0131]附圖中說明的一個或多個組件和功能可以重新排列和/或合并為單個組件或應(yīng)用于若干組件，而不偏離本發(fā)明。還可以添加附加的元件或組件，而不偏離本發(fā)明。附加地，本文描述的特征可以以軟件，硬件或其組合的形式實現(xiàn)。
[0132]在其多個方面，本發(fā)明可以應(yīng)用于計算機實現(xiàn)過程，機器(如電子設(shè)備和通用計算機或其他設(shè)備，其提供計算機程序可在其上執(zhí)行的平臺)，由這些機器執(zhí)行的過程或制品。該制品可以包括計算機程序產(chǎn)品或數(shù)字信息產(chǎn)品，其中計算機可讀存儲介質(zhì)包含存儲于其上的計算機程序指令或計算機可讀數(shù)據(jù)，以及生成并使用該制品的過程和機器。
[0133]本發(fā)明的前文描述包括其優(yōu)選的形式?？梢詫ζ溥M行修改而不偏離本發(fā)明由所附權(quán)利要求定義的范圍。
【權(quán)利要求】
1.一種用于顯示電子文本并同步所述電子文本的聲道的回放的方法，該聲道包含被配置用于在所述電子文本的對應(yīng)文本區(qū)域中回放的多個音頻區(qū)域，每個音頻區(qū)域由音頻數(shù)據(jù)定義，所述音頻數(shù)據(jù)包含:用于在所述音頻區(qū)域中回放的音軌，表示在所述電子文本中對應(yīng)于要開始所述音軌的回放的詞的開始文本位置；以及表示在所述電子文本中對應(yīng)于要停止所述音軌的回放的詞的停止文本位置，所述方法包含: 在顯示器中顯示所述電子文本的至少一部分； 利用眼部跟蹤器跟蹤用戶至少一只眼睛的移動并生成代表性的眼部跟蹤信號； 基于所述眼部跟蹤信號確定所述用戶的閱讀掃描速度； 基于所確定的閱讀掃描速度和關(guān)聯(lián)于所述電子文本和/或用戶的補充掃描速度數(shù)據(jù)來計算所述用戶的閱讀速度的估計； 至少部分地基于所計算的所述用戶的閱讀速度的估計來更新表示所述用戶的閱讀速度的用戶閱讀速度變量； 保持對應(yīng)于所估計的文本位置的閱讀位置計數(shù)，所估計的文本位置表示在電子文本中所述用戶當前閱讀的詞，所述計數(shù)以基于所述用戶閱讀速度變量的速度來增加；以及 基于所述音頻數(shù)據(jù)和閱讀位置計數(shù)來控制音頻輸出系統(tǒng)中所述聲道的所述音頻區(qū)域的回放，以將所述音頻區(qū)域的回放同步于所估計的用戶的閱讀位置。
2.根據(jù)權(quán)利要求1所述的方法，其中所述閱讀掃描速度為行掃描速度并且確定所述行掃描速度包含: 處理來自所述眼部跟蹤器的眼部跟蹤信號，以檢測換行眼部移動； 基于檢測的換行移動和計時器來確定所述用戶的行掃描速度；以及基于所述行掃描速度和表示每行平均或?qū)嶋H電子文本量的補充掃描速度數(shù)據(jù)來計算所述用戶的閱讀速度的估計。
3.根據(jù)權(quán)利要求2所述的方法，其中所述方法包含確定所述用戶的行掃描速度作為多個連續(xù)檢測的換行移動中的平均行掃描速度。
4.根據(jù)權(quán)利要求3所述的方法，其中所述行掃描速度為移動均值。
5.根據(jù)權(quán)利要求1所述的方法，其中所述閱讀掃描速度為翻頁速度，并且確定所述翻頁速度包含: 處理來自所述眼部跟蹤器的眼部跟蹤信號以檢測換頁眼部移動； 基于所檢測的換頁移動之間的時間間隔確定所述用戶的翻頁速度；以及基于所述翻頁速度和表示每頁中電子文本的平均或?qū)嶋H的量的補充掃描速度數(shù)據(jù)來計算所述用戶的閱讀速度的估計。
6.根據(jù)權(quán)利要求1所述的方法，其中所述閱讀掃描速度為翻頁速度，并且確定所述翻頁速度包含: 當所述用戶轉(zhuǎn)到電子文本的新頁時啟動計時器； 處理來自所述眼部跟蹤器的眼部跟蹤信號以檢測換頁眼部移動；以及基于表示所述頁的電子文本量的補充掃描速度數(shù)據(jù)和檢測到換頁眼部移動時計時器的值來計算所述用戶的閱讀速度的估計。
7.根據(jù)前述權(quán)利要求中的任一個所述的方法，進一步包含處理所述眼部跟蹤信號以檢測換頁眼部移動，并響應(yīng)于每個檢測到的換頁眼部移動來生成翻頁信號，以使電子文本顯示模塊轉(zhuǎn)到所述電子文本的下一頁。
8.根據(jù)權(quán)利要求1所述的方法，其中所述閱讀掃描速度為掃視速度，并且確定所述掃視速度包含: 處理來自所述眼部跟蹤器的眼部跟蹤信號以檢測掃視之間的凝視固定點； 基于所檢測的凝視固定點之間的時間間隔來確定所述用戶的掃視速度；并且基于所述掃視速度和表示凝視固定點之間平均或?qū)嶋H的電子文本的量的補充掃描速度數(shù)據(jù)來計算所述用戶的閱讀速度的估計。
9.根據(jù)權(quán)利要求8所述的方法，其中所述補充掃描數(shù)據(jù)包含表示所述用戶每次掃視遍歷的文本的平均量的數(shù)據(jù)。
10.一種用于顯示電子文本并控制同步至用戶的閱讀速度的聲道的回放的系統(tǒng)，包含: 顯示器，被配置以顯示所述電子文本； 用戶界面，被配置以接收用戶輸入以控制所述系統(tǒng)； 音頻輸出系統(tǒng)，其可以操作以生成音頻輸出以使用戶聽到； 電子文本顯示模塊，被配置以處理表示所述電子文本的電子文本數(shù)據(jù)并響應(yīng)于來自所述用戶界面的用戶輸入來控制所述電子文本在所述顯示器上的顯示； 聲道回放模塊，被配置以:生成對應(yīng)于所估計的當前文本位置的閱讀位置計數(shù)，所估計的當前文本位置表示電子文本中的所述用戶當前閱讀的詞，所述閱讀位置計數(shù)以至少部分地基于表示所述用戶的閱讀速度的可配置用戶閱讀速度變量的速度來增加；并處理表示所述聲道的聲道數(shù)據(jù)，以控制所述聲道在音頻輸出系統(tǒng)中的回放，所述聲道數(shù)據(jù)定義用于所述聲道的多個音頻區(qū)域，每個音頻區(qū)域由音頻數(shù)據(jù)定義，所述音頻數(shù)據(jù)包含: 用于在所述音頻區(qū)域中回放的音軌； 開始文本位置，表示在所述電子文本中對應(yīng)于要開始所述音頻區(qū)域的回放的詞；以及停止文本位置，表示在所述電子文本中對應(yīng)于要停止所述音頻區(qū)域的回放的詞；并且其中所述聲道回放模塊被配置以基于所述閱讀位置計數(shù)來協(xié)調(diào)所述音頻區(qū)域的回放，以將所述聲道的音頻區(qū)域的回放同步于所述用戶對電子文本的閱讀；以及 閱讀速度檢測器，其被配置以:利用眼部跟蹤器跟蹤用戶至少一只眼睛的移動以生成代表性的眼部跟蹤信號；基于所述眼部跟蹤信號確定所述用戶的閱讀掃描速度；并且基于所確定的閱讀掃描速度和關(guān)聯(lián)于所述電子文本和/或用戶的補充掃描速度數(shù)據(jù)來計算所述用戶的閱讀速度的估計， 其中所述聲道回放模塊被配置以至少部分地基于由所述閱讀速度檢測器計算的所述用戶的閱讀速度的估計來更新所述用戶閱讀速度變量。
11.根據(jù)權(quán)利要求10所述的系統(tǒng)，其中所述閱讀掃描速度為行掃描速度并且所述閱讀速度檢測器被配置以: 處理來自所述眼部跟蹤器的眼部跟蹤信號以檢測換行眼部移動； 基于所檢測的換行移動和計時器來確定所述用戶的行掃描速度；以及基于所述行掃描速度和表示每行平均或?qū)嶋H電子文本量的補充掃描速度數(shù)據(jù)來計算所述用戶的閱讀速度的估計。
12.根據(jù)權(quán)利要求11所述的系統(tǒng)，其中所述閱讀速度檢測器被配置以:確定所述用戶的行掃描速度作為多個連續(xù)檢測的換行移動中的平均行掃描速度。
13.根據(jù)權(quán)利要求12所述的系統(tǒng)，其中所述行掃描速度為移動均值。
14.根據(jù)權(quán)利要求10所述的系統(tǒng)，其中所述閱讀掃描速度為翻頁速度并且所述閱讀速度檢測器被配置以: 處理來自所述眼部跟蹤器的眼部跟蹤信號以檢測換頁眼部移動； 基于所檢測的換頁移動之間的時間間隔來確定所述用戶的翻頁速度；以及基于所述翻頁速度和表示每頁中電子文本的平均或?qū)嶋H的量的補充掃描速度數(shù)據(jù)來計算所述用戶的閱讀速度的估計。
15.根據(jù)權(quán)利要求10所述的系統(tǒng)，其中所述閱讀掃描速度為翻頁速度，并且所述閱讀速度檢測器被配置以: 當所述用戶轉(zhuǎn)到電子文本的新頁時啟動計時器； 處理來自所述眼部跟蹤器的眼部跟蹤信號以檢測換頁眼部移動；以及基于表示所述頁的電子文本量的補充掃描速度數(shù)據(jù)和檢測到換頁眼部移動時計時器的值來計算所述用戶的閱讀速度的估計。
16.根據(jù)權(quán)利要求10所述的系統(tǒng)，其中所述閱讀掃描速度為掃視速度，并且所述閱讀速度檢測器被配置以: 處理來自所述眼部跟蹤器的眼部跟蹤信號以檢測掃視之間的凝視固定點； 基于所檢測到的凝視固定之間的時間間隔確定所述用戶的掃視速度；以及基于所述掃視速度和表示連續(xù)凝視固定點之間的平均或?qū)嶋H電子文本量的補充掃描速度數(shù)據(jù)來計算所述用戶的閱讀速度的估計。
17.根據(jù)權(quán)利要求16所述的系統(tǒng)，其中所述補充掃描速度數(shù)據(jù)包含表示用戶每次掃視遍歷的文本的平均量的數(shù)據(jù)。
18.根據(jù)權(quán)利要求10-17中任一個所述的系統(tǒng)，其中所述系統(tǒng)進一步被配置以處理所述眼部跟蹤信號以檢測換頁眼部移動，并響應(yīng)于每個檢測到的換頁眼部移動來生成翻頁信號，以使所述電子文本顯示模塊轉(zhuǎn)到所述電子文本的下一頁。
19.根據(jù)權(quán)利要求10-17中任一個所述的系統(tǒng)，其中所述系統(tǒng)實現(xiàn)于硬件系統(tǒng)，并且所述眼部跟蹤器包含具有至少捕獲所述用戶的一只或兩只眼睛的視場的一個或者多個光學傳感器。
20.一種估計電子文本中讀者的閱讀位置的方法，包含: 利用第一方式在第一時間定位用戶的第一閱讀位置； 通過跟蹤讀者眼部移動來檢測閱讀掃描速度； 利用所述閱讀掃描速度來估計閱讀速度；以及 基于從第一時間的增加時間、所估計的閱讀速度和所述第一位置來估計在第二時間所述用戶的閱讀位置。
21.根據(jù)權(quán)利要求20所述的方法，其中所述第一閱讀位置根據(jù)以下任一個來確定:翻頁信號，示出所述電子文本的觸摸屏幕顯示器的觸摸輸入和/或用于遍歷電子文本的導(dǎo)航輸入。
【文檔編號】G11B27/10GK104464769SQ201410667976
【公開日】2015年3月25日 申請日期:2014年9月18日 優(yōu)先權(quán)日:2013年9月18日
【發(fā)明者】M·S·卡梅倫, P·C·卡梅倫, C·A·威爾森 申請人:布克查克控股有限公司