本申請(qǐng)是國家申請(qǐng)?zhí)枮?01180059381.5，進(jìn)入中國國家階段的日期為2013年6月8日，發(fā)明名稱為“借助智能電話和音頻水印的多種語言同步電影配音”的pct申請(qǐng)的分案申請(qǐng)。

本發(fā)明涉及為組合的視頻和音頻并且尤其為電影和電視節(jié)目提供替選音頻的系統(tǒng)和方法。

背景技術(shù)：

電影和電視節(jié)目包括視頻和音頻軌跡(track)。一般地，會(huì)生產(chǎn)不同版本的電影和其他內(nèi)容在不同的語言環(huán)境和國家中播放。例如，大預(yù)算的電影可能會(huì)以十個(gè)或以上的不同語言版本生產(chǎn)。這些不同的語言版本的區(qū)別主要在于它們的音軌(audiotrack)不同而視頻部分則大致相同。但是，由于可能會(huì)根據(jù)文化和觀眾的需求而對(duì)一些版本進(jìn)行不同地編輯，生產(chǎn)長(zhǎng)度稍微不同的電影，因而并不總是如此。

使用各種技術(shù)來生產(chǎn)這些不同的語言版本。例如，可以使用配音(即以第二種語言取代音頻)和字幕。在配音中，原始的語音可能被完全取代。其他非語音的音軌部分可能被保持不變或者也被取代。使用字幕具有給觀眾增加負(fù)擔(dān)的缺點(diǎn)，這可能降低對(duì)產(chǎn)品的樂趣。

還存在在現(xiàn)場(chǎng)表演地點(diǎn)例如劇院提供一種其它語言的字幕和音頻的系統(tǒng)，但是，這些系統(tǒng)可能使用專有硬件，其要求表演地點(diǎn)的大筆投資并且通常只可以在該特定地點(diǎn)使用。

無論如何，特定語言版本的電影或表演不會(huì)使不理解該特定語言或者對(duì)該特定語言的理解很差的人們獲得相同程度的樂趣。

如果小語種版本的觀眾較少，則在電影院用單獨(dú)的屏幕來提供不同語言版本的電影可能是不可行的。無論如何，這種方法可能不能使一群具有不同母語但想一起看電影的人(例如出生在不同國家的丈夫和妻子)滿意。

因此，需要一種克服這些問題的系統(tǒng)和方法。

技術(shù)實(shí)現(xiàn)要素：

針對(duì)這樣的背景，根據(jù)第一方面提供一種為組合的視頻和音頻內(nèi)容提供替選音頻的方法，所述方法包括下述步驟：確定所述組合的視頻和音頻內(nèi)容的當(dāng)前播放位置；將所述替選音頻與所確定的當(dāng)前播放位置同步；和播放與當(dāng)前播放位置同步的所述替選音頻。向內(nèi)容的觀眾播放替選音頻。該替選音頻替換了由其他觀眾聽到的原始音頻。替選音頻與內(nèi)容被同步到當(dāng)前正在播放的內(nèi)容的當(dāng)前位置、時(shí)刻或時(shí)間。從而，不能夠以原語言或者投映語言欣賞內(nèi)容例如電影或電視節(jié)目的觀眾可以與更喜歡原語言的其他用戶一起欣賞節(jié)目。在播放組合的視頻和音頻內(nèi)容(原始音頻)時(shí)提供替選音頻。在播放原始音頻的同時(shí)提供替選音頻，即同時(shí)提供原始音頻和替選音頻。替選音頻可以選擇性地向單個(gè)的觀眾播放，同時(shí)其他觀眾聽原始音頻。當(dāng)前播放位置可以是組合的視頻和音頻內(nèi)容的時(shí)間點(diǎn)(當(dāng)前或目前的播放時(shí)間)、此刻示出或顯示的內(nèi)容的當(dāng)前點(diǎn)的幀號(hào)或其他指示符。由于在同步替選音頻的同時(shí)不可能干擾放映，因此這種方式是有益的。而且，并不要求替選音頻與組合的視頻和音頻內(nèi)容或電影同時(shí)開始播放。

可選的，上述確定步驟還可以包括：

接收與所述組合的視頻和音頻內(nèi)容關(guān)聯(lián)的信號(hào)；和

分析接收的信號(hào)來確定所述組合的視頻和音頻內(nèi)容的當(dāng)前播放位置。這允許同步步驟的自動(dòng)化。所述信號(hào)可以與組合的視頻和音頻內(nèi)容一起發(fā)送或者為該內(nèi)容的一部分(以視頻或音頻形式)。例如，關(guān)聯(lián)可以涉及在內(nèi)容播放期間發(fā)送該信號(hào)并且可以在內(nèi)容播放的時(shí)間內(nèi)發(fā)生，或者與內(nèi)容播放同步。該同步可以完全獨(dú)立于替選音頻的同步。該信號(hào)可以由與播放內(nèi)容的裝置(例如投影設(shè)備)相同(或與之連接)的裝置傳輸。當(dāng)該信號(hào)是內(nèi)容的一部分(即它的音頻部分)時(shí)，可以不需要其他信號(hào)產(chǎn)生器。

可選的，該信號(hào)可以從音頻信號(hào)、光信號(hào)、激光信號(hào)、無線信號(hào)、wifi信號(hào)、藍(lán)牙信號(hào)和紅外信號(hào)中選擇。當(dāng)使用音頻信號(hào)時(shí)該信號(hào)可以通過麥克風(fēng)接收?？梢允莾?nèi)部或外部麥克風(fēng)。

可選的，所接收的信號(hào)可以包含位置碼，并且所述分析步驟包括根據(jù)所述位置碼確定當(dāng)前播放位置。該位置碼可以是時(shí)間碼、組合的視頻和音頻的實(shí)際時(shí)間、或者用于確定實(shí)際位置或時(shí)間的查找碼或標(biāo)識(shí)符。

可選的，所述接收、分析和同步步驟可以有間隔地或連續(xù)地重復(fù)。這個(gè)重復(fù)可以用于保持同步。例如，可以每分鐘、每30秒或每10秒執(zhí)行該重復(fù)。

優(yōu)選地，位置碼可以被編碼在音頻信號(hào)中作為音頻水印。音頻水印可以是添加到音頻信號(hào)中的額外信號(hào)，該額外信號(hào)通常無法被聽眾察覺但能夠被電子裝置提取。

優(yōu)選的，分析所接收的信號(hào)來確定所述組合的視頻和音頻內(nèi)容的當(dāng)前播放位置還可以包括：獲取音頻信號(hào)的信號(hào)特征，并且將所獲取的信號(hào)特征與信號(hào)特征和對(duì)應(yīng)播放時(shí)間的數(shù)據(jù)庫進(jìn)行比較?？梢允褂眠@個(gè)操作代替水印技術(shù)并且不需要用額外信息對(duì)原始音頻編碼。

優(yōu)選地，信號(hào)特征可以是從振幅、頻率、過零率、節(jié)奏、譜平坦度和帶寬中選擇的任何一種或多種。還可以使用其他信號(hào)特征。

優(yōu)選地，信號(hào)特征可以是音頻指紋。

可選地，所述確定步驟還可以包括接收指示當(dāng)前播放位置的用戶輸入。這可以在沒有自動(dòng)同步或自動(dòng)同步不可用的時(shí)候使用。

優(yōu)選地，用戶輸入可以是前進(jìn)或后退信號(hào)。這可以借助用戶與用戶界面例如觸摸屏或物理開關(guān)的交互來實(shí)現(xiàn)。

可選地，該方法還可以包括對(duì)替選音頻施加手動(dòng)時(shí)間偏移的步驟。例如這可以是變大或變小(+/-分鐘、秒或0.1秒)。

優(yōu)選地，替選音頻可以存儲(chǔ)在播放裝置內(nèi)。這允許在網(wǎng)絡(luò)信號(hào)不可用或較差時(shí)使用該方法。

可選地，替選音頻可以跨網(wǎng)絡(luò)流動(dòng)。這種流動(dòng)還可以被緩存。

優(yōu)選地，可以通過耳機(jī)播放替選音頻。耳機(jī)可以消除噪聲來減少組合的視頻和音頻內(nèi)容的音頻部分(即原始音頻)的聲音級(jí)別。

優(yōu)選地，根據(jù)前述權(quán)利要求的方法還可以包括：基于所接收的音頻信號(hào)識(shí)別待播放的多個(gè)可用的替選音頻?？梢愿鶕?jù)請(qǐng)求向用戶呈現(xiàn)選項(xiàng)。

有益地，該方法還可以包括解壓縮所述替選音頻的步驟。使用壓縮的替選音頻可以允許在向用于播放的移動(dòng)裝置發(fā)送替選音頻時(shí)節(jié)省帶寬。

可選地，該方法還可以包括解密所述替選音頻的步驟。加密替選音頻可以增加安全性并且減少未經(jīng)授權(quán)的復(fù)制和分發(fā)。

可選地，該方法還可以包括：在消息收件箱接收一個(gè)或多個(gè)提供關(guān)于可用替選音頻的信息的消息。

可選地，該方法還可以包括：向社交網(wǎng)絡(luò)提供關(guān)于所述替選音頻的信息。這些網(wǎng)絡(luò)可以包括臉譜facebook(注冊(cè)商標(biāo))、谷歌google+(注冊(cè)商標(biāo))等。

可選地，該方法還可以包括：相對(duì)所述當(dāng)前播放位置偏移所述替選音頻的播放位置。

可選地，該方法還可以包括：改變偏移的步驟。

可選地，該方法還可以包括：測(cè)量偏移量相對(duì)于需要的偏移量的變化，并且如果測(cè)量的變化大于預(yù)定量則執(zhí)行同步步驟。

根據(jù)第二方面，提供一種為組合的視頻和音頻內(nèi)容提供替選音頻的設(shè)備，該設(shè)備包括：處理器，配置成：確定所述組合的視頻和音頻內(nèi)容的當(dāng)前播放位置，并且將所述替選音頻與所述確定的當(dāng)前播放位置同步；和音頻產(chǎn)生器，配置成播放與當(dāng)前播放位置同步的所述替選音頻。

可選地，該設(shè)備還可以包括信號(hào)接收器，配置成接收與所述組合的視頻和音頻內(nèi)容關(guān)聯(lián)的信號(hào)，并且，其中所述處理器還被配置成分析接收的信號(hào)以確定所述組合的視頻和音頻內(nèi)容的當(dāng)前播放位置。在音頻信號(hào)的情況下，該關(guān)聯(lián)可以是原始音頻。

可選地，接收的信號(hào)可以從音頻信號(hào)、光信號(hào)、激光信號(hào)、無線信號(hào)、wifi信號(hào)、藍(lán)牙信號(hào)和紅外信號(hào)中選擇。因而，該設(shè)備還可以包括麥克風(fēng)、光傳感器、攝像機(jī)或配置成接收信號(hào)的無線接收器。

可選地，處理器還可以配置成從接收的信號(hào)中提取位置碼，以便確定當(dāng)前播放位置。接收的信號(hào)可以是音頻信號(hào)。

可選地，接收的信號(hào)可以是音頻信號(hào)并且該處理器還配置成從所述音頻信號(hào)的音頻水印中提取所述位置碼。音頻水印是添加到音頻流的另外的信號(hào)以向接收裝置提供計(jì)算機(jī)可讀數(shù)據(jù)。

可選地，接收的信號(hào)可以是音頻信號(hào)并且另外，其中所述處理器還配置成通過獲取所述音頻信號(hào)的信號(hào)特征并且將所獲取的信號(hào)特征與信號(hào)特征和對(duì)應(yīng)播放時(shí)間的數(shù)據(jù)庫進(jìn)行比較來分析所接收的音頻信號(hào)。這可以代替使用音頻水印或其他技術(shù)來實(shí)現(xiàn)。

優(yōu)選地，該設(shè)備還可以包括與所述音頻產(chǎn)生器電通信的耳機(jī)。

可選地，該設(shè)備還可以包括顯示屏，配置成能夠在播放所述替選音頻信號(hào)時(shí)變暗。該變暗可以減少對(duì)其他觀眾的干擾。

可選地，該設(shè)備還可以包括被配置成將所述音頻產(chǎn)生器與外部音頻放大器連接的接口?？梢允褂迷摻涌谝员阌谙蚨鄠€(gè)觀眾呈現(xiàn)替選音頻。例如，可以使用該接口向電視觀眾提供替選音頻。當(dāng)在同步處理(采用水印、采用指紋或其它方法)中使用來自組合的視頻和音頻內(nèi)容的音頻信號(hào)(原始音頻)時(shí)，原始音頻的聲音可能被減小到設(shè)備可以察覺但相對(duì)觀眾聽到的替選音頻足夠低的水平。

根據(jù)第三方面，提供一種服務(wù)器，包括：替選音頻的數(shù)據(jù)庫；處理器，配置成接收上述設(shè)備對(duì)所述替選音頻的請(qǐng)求。該數(shù)據(jù)庫和處理器可以位于相同的裝置內(nèi)或者電連接但物理分離。該請(qǐng)求可以被通過網(wǎng)絡(luò)(優(yōu)選地?zé)o線網(wǎng)絡(luò))接收并且響應(yīng)。該數(shù)據(jù)庫可以是關(guān)系數(shù)據(jù)庫、文件系統(tǒng)和/或存儲(chǔ)系統(tǒng)。替選音頻的格式可以是例如aac、dts、mpeg-1、aiff、wav、wmp、wma和mp3。

根據(jù)第四方面提供了一種包括上述設(shè)備和服務(wù)器的系統(tǒng)。

上述方法可以作為計(jì)算機(jī)程序?qū)崿F(xiàn)，該計(jì)算機(jī)程序包括用于運(yùn)行計(jì)算機(jī)的程序指令。該計(jì)算機(jī)程序可以存儲(chǔ)在計(jì)算機(jī)可讀介質(zhì)上或作為信號(hào)傳輸。

根據(jù)本公開的實(shí)施方式，提供了一種提供與組合的視頻和音頻內(nèi)容相對(duì)應(yīng)的替選音頻的方法，該方法包括下述步驟：通過移動(dòng)裝置接收與組合的視頻和音頻內(nèi)容關(guān)聯(lián)的原始音頻信號(hào)，其中原始音頻信號(hào)是通過移動(dòng)裝置的麥克風(fēng)接收的；通過移動(dòng)裝置分析由麥克風(fēng)接收的原始音頻信號(hào)，以確定組合的視頻和音頻內(nèi)容的當(dāng)前播放位置；通過移動(dòng)裝置將替選音頻與所確定的組合的視頻和音頻內(nèi)容的當(dāng)前播放位置同步；以及通過移動(dòng)裝置播放與組合的視頻和音頻內(nèi)容的當(dāng)前播放位置同步的替選音頻。

根據(jù)本公開的實(shí)施方式，提供了一種用于提供與組合的視頻和音頻內(nèi)容相對(duì)應(yīng)的替選音頻的設(shè)備，該設(shè)備包括：麥克風(fēng)，其被配置成接收與組合的視頻和音頻內(nèi)容關(guān)聯(lián)的原始音頻信號(hào)；處理器，其被配置成：分析在麥克風(fēng)處接收的原始音頻信號(hào)以確定組合的視頻和音頻內(nèi)容的當(dāng)前播放位置；以及將替選音頻與所確定的組合的視頻和音頻內(nèi)容的當(dāng)前播放位置同步；和音頻產(chǎn)生器，其被布置成播放與組合的視頻和音頻內(nèi)容的當(dāng)前播放位置同步的替選音頻。

根據(jù)本公開的實(shí)施方式，提供了一種用于提供與組合的視頻和音頻內(nèi)容相對(duì)應(yīng)的替選音頻的服務(wù)器，該服務(wù)器包括：替選音頻的數(shù)據(jù)庫；和處理器，其被配置成接收針對(duì)根據(jù)以上所述的設(shè)備的對(duì)所述替選音頻的請(qǐng)求。

根據(jù)本公開的實(shí)施方式，提供了一種包括根據(jù)以上所述的設(shè)備和根據(jù)以上所述的服務(wù)器的系統(tǒng)。

應(yīng)當(dāng)注意，上述任一特征可以用在本發(fā)明的任一特定方面或?qū)嵤├小?/p>

附圖說明

本發(fā)明可以以多種方式實(shí)施，下面將僅以示例形式并參照附圖來描述實(shí)施方式，在附圖中：

圖1僅以示例形式示出用于提供替選音頻的包括手持設(shè)備的系統(tǒng)的示意圖；

圖2僅以示例形式示出用于提供替選音頻的方法的流程圖；

圖3示出圖1的移動(dòng)裝置的示意圖；

圖4示出用于提供替選音頻的另一種方法的流程圖；

圖5示出用于提供替選音頻的又一種方法的流程圖；

圖6僅以示例形式示出用于提供組合的視頻和音頻的替選音頻的圖1的裝置的屏幕截圖；

圖7示出圖1的裝置的包括查看替選音頻的選項(xiàng)的另一個(gè)屏幕截圖；

圖8示出圖1的裝置的包括購買特定替選音頻的選項(xiàng)的另一個(gè)屏幕截圖；

圖9示出圖1的裝置的包括用以開始用于提供替選音頻的方法的按鈕的另一個(gè)屏幕截圖；

圖10示出圖1的裝置的指示傾聽階段的另一個(gè)屏幕截圖；

圖11示出圖1的裝置的指示同步模式的另一個(gè)屏幕截圖；

圖12示出圖1的裝置的包括登錄圖標(biāo)的另一個(gè)屏幕截圖；

圖13示出圖1的裝置的示出手動(dòng)調(diào)整屏幕的另一個(gè)屏幕截圖；

圖14示出圖1的裝置的包括屏幕選擇選項(xiàng)的另一個(gè)屏幕截圖；

圖15僅以例子形式示出用于提供替選音頻的包括手持裝置的系統(tǒng)的另一個(gè)示意圖；

圖16示出用于提供替選音頻的方法的另一個(gè)流程圖；

圖17示出用于提供替選音頻的方法的另一個(gè)流程圖；

圖18示出圖1的裝置的另一個(gè)屏幕截圖；

圖19a示出圖1的裝置的另一個(gè)屏幕截圖；和

圖19b示出圖1的裝置的另一個(gè)屏幕截圖。

應(yīng)當(dāng)注意，出于簡(jiǎn)潔的目的示出上述附圖，并且附圖并非必須按比例繪制。

具體實(shí)施方式

圖1是示出用于為組合的音頻和視頻例如電影(影片)或電視節(jié)目提供替選音頻的系統(tǒng)的組件的示意圖。在這個(gè)例子中，組合的音頻和視頻采用在電影院環(huán)境下投映的電影的形式。電影由投影儀150投映到屏幕160上，通過揚(yáng)聲器170發(fā)出原始音頻。用戶可以操作移動(dòng)裝置100(本示例中移動(dòng)裝置100是具備處理器功能的智能電話)?？梢酝ㄟ^集成音頻發(fā)生器提供移動(dòng)裝置100的音頻輸出，集成音頻發(fā)生器具有優(yōu)選地通過耳機(jī)140提供給用戶的音頻輸出。耳機(jī)140可以優(yōu)選地設(shè)計(jì)成減少或消除環(huán)境聲音，例如從揚(yáng)聲器170聽到的原始音頻內(nèi)容。移動(dòng)裝置100可以為例如運(yùn)行由蘋果公司(apple,inc)提供的ios操作系統(tǒng)的iphone(注冊(cè)商標(biāo))。在移動(dòng)裝置100上運(yùn)行的計(jì)算機(jī)程序可以通過下載服務(wù)例如itunes(注冊(cè)商標(biāo))提供，并且計(jì)算機(jī)程序可以為移動(dòng)應(yīng)用程序的形式。移動(dòng)應(yīng)用程序確定在屏幕160上顯示的視頻內(nèi)容和由揚(yáng)聲器170產(chǎn)生的音頻內(nèi)容的當(dāng)前播放位置或時(shí)間?？梢砸酝ǔ５姆绞皆谕队跋到y(tǒng)中使原始音頻與視頻內(nèi)容同步。投影系統(tǒng)可以包括所播放電影的單一語言或聲軌版本。

數(shù)據(jù)庫120可以存儲(chǔ)與不同電影或組合的視頻和音頻內(nèi)容相對(duì)應(yīng)的多套替選音頻。服務(wù)器130可以根據(jù)請(qǐng)求向移動(dòng)裝置100提供替選音頻。可以通過在移動(dòng)裝置100上運(yùn)行的移動(dòng)應(yīng)用程序來發(fā)出這樣的請(qǐng)求和下載，并且可以由網(wǎng)絡(luò)例如因特網(wǎng)優(yōu)選地通過運(yùn)行例如3gpp、hspa+、edge、cdma200和4g技術(shù)協(xié)議的移動(dòng)手機(jī)網(wǎng)絡(luò)提供請(qǐng)求和下載。還可以使用wifi或wimax或有線網(wǎng)絡(luò)連接(例如以太網(wǎng)或usb)。

服務(wù)器130和數(shù)據(jù)庫120可以位于不同的地點(diǎn)或者相同的地點(diǎn)。它們還可以遠(yuǎn)離播放電影的一家或多家電影院。投影系統(tǒng)和移動(dòng)裝置100或服務(wù)器130之間不需要直接通信。替選音頻可以預(yù)先或者就在電影開始前一刻全部下載到移動(dòng)終端100。在一些場(chǎng)景中，替選音頻可以根據(jù)需要實(shí)時(shí)或者近似實(shí)時(shí)地流向移動(dòng)裝置100。如果替選音頻與顯示的視頻內(nèi)容不同步，則移動(dòng)應(yīng)用程序可以確定組合的視頻和音頻內(nèi)容(電影)的當(dāng)前播放位置，使替選音頻與確定的當(dāng)前播放位置同步(即，從相同位置移動(dòng)或開始音頻)，然后通過耳機(jī)140向用戶播放替選音頻。以這種方式，電影院中沒有這種移動(dòng)裝置的其他觀眾可以觀看音頻和原始音頻內(nèi)容，同時(shí)，具有該移動(dòng)裝置的用戶可以同時(shí)觀看視頻內(nèi)容和被正確同步的替選音頻。

在移動(dòng)裝置上運(yùn)行的移動(dòng)應(yīng)用程序可以有間隔地或連續(xù)地檢查同步，并且在需要時(shí)將視頻內(nèi)容與替選音頻重新同步。這可以由手工啟動(dòng)或者是自動(dòng)處理。

可能存在許多獨(dú)立運(yùn)行地或者不同類型的移動(dòng)裝置100、在不同電影院或建筑物內(nèi)運(yùn)行的投影儀150和一個(gè)或多個(gè)服務(wù)器130和/或數(shù)據(jù)庫130。每一個(gè)服務(wù)器130可以運(yùn)行適合的操作系統(tǒng)例如unix、windows(注冊(cè)商標(biāo))、osx(注冊(cè)商標(biāo))等。每一個(gè)數(shù)據(jù)庫120可以包括適合的數(shù)據(jù)庫軟件例如oracle(注冊(cè)商標(biāo))、mysql、sqlserver(注冊(cè)商標(biāo))、db2(注冊(cè)商標(biāo))等。每一個(gè)裝置可以提供可用的替選音軌中的任何一種。

圖2示出為組合的音頻和視頻內(nèi)容提供替選音頻的方法300的流程圖。如參照?qǐng)D1所描述的，步驟310要求將移動(dòng)應(yīng)用程序下載到移動(dòng)裝置100。對(duì)于特定移動(dòng)裝置100，這個(gè)操作可能只需要一次。方法300的后續(xù)操作可以使用之前下載的移動(dòng)應(yīng)用程序版本(或者如果新版本可用則更新之前下載的移動(dòng)應(yīng)用程序版本)。然后在步驟320用戶可以針對(duì)他們想要觀看的特定電影而選擇替選音頻。然后在步驟330移動(dòng)應(yīng)用程序可以將該替選音頻與電影同步，并且在步驟340通過耳機(jī)140與視頻或電影同步地向用戶播放替選音頻。

在一個(gè)實(shí)施例中，移動(dòng)裝置100還可以包括如圖3所示的麥克風(fēng)180。該麥克風(fēng)可以用于檢測(cè)組合的音頻和視頻內(nèi)容或電影的原始音頻內(nèi)容的音頻信號(hào)。在該實(shí)施例中，在移動(dòng)裝置100上運(yùn)行的移動(dòng)應(yīng)用程序可以使用接收到的音頻信號(hào)來確定組合的視頻和音頻內(nèi)容的當(dāng)前播放位置，以便使替選音頻與當(dāng)前播放位置同步。

可以用來提供步驟330的同步的技術(shù)有多種。圖4示出指示提供這種同步的一種方法的流程圖。在方法400中，組合的視頻和音頻內(nèi)容的原始音頻或聲軌具有音頻水印。在下面的兩個(gè)文件中詳細(xì)描述了水印技術(shù)：

1.“contentcontrol:digitalwatermarkingandfingerprinting”，dominicmilano

(http://www.rhozet.com/whitepapers/fingerprinting_watermarking.pdf)

2.“accuratelysynchronizingcompaniondeviceswithtvprogramsvideosync-2ndscreen”

(http://www.civolution.com/fileadmin/bestanden/datasheets/videosync_-2nd_screen.pdf)

音頻水印具有可以用于確定電影的當(dāng)前播放位置的位置或時(shí)間碼信息。這些音頻水印可以以規(guī)則間隔嵌入(420)，其可以是在內(nèi)容中每隔幾秒鐘或者以更高的頻率嵌入。音頻水印可以直接包括時(shí)間碼、當(dāng)前播放位置和/或提供時(shí)間碼或當(dāng)前播放位置的唯一標(biāo)識(shí)符。不管怎樣，音頻水印可以提供移動(dòng)裝置可以檢測(cè)到的當(dāng)前播放位置的唯一標(biāo)識(shí)?？梢栽陔娪氨慌渌偷诫娪霸褐暗暮笃谥谱麟A段提供音頻水印。音頻水印不可被觀眾察覺但可以被移動(dòng)裝置100檢測(cè)到。

在圖4示出的步驟410，移動(dòng)裝置100的麥克風(fēng)180接收到音頻信號(hào)。該音頻信號(hào)產(chǎn)生自電影的音頻部分或者音軌。在步驟420，通過移動(dòng)應(yīng)用程序可以檢測(cè)到并處理音頻水印。在步驟430，可以從音頻水印中提取出位置、位置碼、時(shí)間碼或時(shí)間碼標(biāo)識(shí)符。在步驟440，替選音頻可以與指示當(dāng)前播放位置的位置或時(shí)間碼同步。

圖5示出將替選音頻與電影的當(dāng)前播放位置同步的另一種方法。該另一種方法基于音頻指紋而不是如參照?qǐng)D4描述的音頻水印。上述引用文獻(xiàn)(1和2)也描述了音頻指紋的概念和用途。概括來說，任何音頻信號(hào)都會(huì)具有可以被采樣或檢測(cè)到的特定信號(hào)特征。可以將這些音頻信號(hào)特征和與特定已知內(nèi)容相關(guān)的信號(hào)特征的數(shù)據(jù)庫進(jìn)行比較。因而，可以基于音頻指紋技術(shù)進(jìn)行匹配。

與方法400相同，圖5示出的方法500也以從移動(dòng)裝置100使用麥克風(fēng)180接收音頻信號(hào)開始。但是，在步驟520，移動(dòng)應(yīng)用程序檢測(cè)在音頻信號(hào)內(nèi)的一種或多種音頻指紋。換句話說，該方法分析接收到的音頻信號(hào)并且確定構(gòu)成指紋的信號(hào)的特定特征。數(shù)據(jù)庫530在移動(dòng)裝置100本地或者與移動(dòng)裝置100遠(yuǎn)離并通過網(wǎng)絡(luò)連接，存儲(chǔ)采集的音頻水印?？梢詫⒃诓襟E520檢測(cè)到的指紋與在數(shù)據(jù)庫530內(nèi)(以適當(dāng)?shù)碾娮有问?存儲(chǔ)的音頻指紋進(jìn)行比較。存儲(chǔ)的指紋可以與使用內(nèi)容標(biāo)識(shí)符的特定電影或組合的視頻和音頻內(nèi)容相關(guān)聯(lián)。還可以使用時(shí)間碼id或?qū)嶋H時(shí)間來使每一個(gè)指紋與電影的特定位置、時(shí)間碼、位置碼和/或當(dāng)前播放位置相關(guān)聯(lián)。通過移動(dòng)裝置100檢測(cè)到的特定音頻水印可以與數(shù)據(jù)庫530內(nèi)的一個(gè)水印匹配?？梢栽谄ヅ洳襟E540內(nèi)進(jìn)行用于識(shí)別對(duì)應(yīng)的當(dāng)前特定播放位置的匹配。然后替選音頻(預(yù)存儲(chǔ)的或流動(dòng)的)可以跳到相同的當(dāng)前播放位置以便使替選音頻與電影同步(步驟550)。

圖6至圖14示出在移動(dòng)裝置100上運(yùn)行的移動(dòng)應(yīng)用程序的示例屏幕截圖?？梢允境霾煌聊徊⑶铱梢允褂闷渌冃巍?/p>

圖6指示通過移動(dòng)3g網(wǎng)絡(luò)連接移動(dòng)裝置100。移動(dòng)裝置100具有屏幕20，其在該示例中為觸摸屏。在屏幕的底部示出選項(xiàng)按鈕30并且可以使用選項(xiàng)按鈕30操作移動(dòng)應(yīng)用程序。這些選項(xiàng)按鈕30可以啟動(dòng)替選音頻的播放、下載選擇屏幕、登錄用戶賬戶屏幕或者設(shè)置其他選項(xiàng)和設(shè)置。

圖7示出另一個(gè)屏幕截圖，包括瀏覽按鈕40，其可以提供對(duì)可以使用的替選音頻文件、可在不久后使用的替選音頻文件以及所有這樣的內(nèi)容的視圖的指示。

圖8示出用于購買或接收一種或多種可利用語言的特定替選音頻的功能的屏幕截圖。在這個(gè)屏幕截圖中，示出購買選擇按鈕50，并且購買選擇按鈕50可以用于選擇電影的特定語言版本。

圖9、圖10和圖11示出運(yùn)行特別是參照?qǐng)D4、圖5和一般性地參照?qǐng)D2描述的方法的移動(dòng)應(yīng)用程序的屏幕截圖。圖9顯示特定的組合的視頻和音頻內(nèi)容(電影)、當(dāng)前播放位置80的指示、方法的狀態(tài)和用于控制移動(dòng)應(yīng)用程序的各種功能的控制按鈕70。在這個(gè)特定的屏幕截圖中，移動(dòng)應(yīng)用程序已經(jīng)中途停止了替選音頻的播放。

圖10示出在移動(dòng)應(yīng)用程序的運(yùn)行過程中移動(dòng)裝置100接收音頻并確定當(dāng)前播放位置的屏幕截圖(近似對(duì)應(yīng)于方法400的步驟410-430或方法500的步驟510-540)。

圖11指示已進(jìn)行同步(步驟540和550)以使得替選音頻與組合的視頻和音頻內(nèi)容的當(dāng)前播放位置同步。

圖7示出移動(dòng)應(yīng)用程序的通用圖標(biāo)登錄屏幕。

代替或除前面描述的技術(shù)之外，可以通過由用戶使替選音頻以各種不同速度快進(jìn)、快退或跳過直到電影的視頻部分的當(dāng)前播放位置與移動(dòng)裝置100提供的替選音頻匹配，來實(shí)現(xiàn)同步。界面可以包括播放控制例如停止、播放、前進(jìn)、倒退和暫停?？梢蕴峁┣斑M(jìn)和后退微時(shí)間移動(dòng)同步控制來以更高準(zhǔn)確率和精度(例如+/-0.25至10秒)進(jìn)行提示和同步。

默認(rèn)播放模式可以自動(dòng)同步，其中移動(dòng)應(yīng)用程序自動(dòng)將屏幕音頻與播放音頻(替選音頻)同步。通過使用嵌入技術(shù)實(shí)現(xiàn)自動(dòng)同步從而借助裝置的如上述示例實(shí)施例中描述的麥克風(fēng)180傾聽被屏幕化的音頻。但是，在沒有可利用的音頻反饋的情況下(例如當(dāng)在飛機(jī)上看電影時(shí))，移動(dòng)應(yīng)用程序可以提供允許使電影優(yōu)選地在30秒以內(nèi)同步的手動(dòng)同步選項(xiàng)。

圖13示出用于通過用戶快進(jìn)或快退或者移動(dòng)替選音頻的播放來提供手動(dòng)同步的移動(dòng)應(yīng)用程序的屏幕截圖。播放按鈕90可以用于實(shí)現(xiàn)該控制。

圖14示出移動(dòng)應(yīng)用程序的選項(xiàng)頁的屏幕截圖。電影院模式指示可以在哪里實(shí)現(xiàn)自動(dòng)同步(按鈕200)。換句話說，該模式發(fā)起水印方法400或者指紋方法500，以便將替選音頻與當(dāng)前播放位置同步。使用手動(dòng)同步按鈕210可以進(jìn)入使用播放按鈕90的手動(dòng)同步?？梢詧?zhí)行的其他選項(xiàng)220包括向朋友發(fā)電子郵件推薦，獲取支持或者查看收到的與可能提供的替選音頻相關(guān)的電子郵件。

圖15示出用于提供替選音頻并更詳細(xì)地示出不同特征的系統(tǒng)的另一個(gè)示意圖。該系統(tǒng)可以使用上面描述的音頻水印或音頻指紋技術(shù)。

示出替選音頻內(nèi)容的源600。該源例如可以直接來自內(nèi)容生產(chǎn)商例如電影制片廠。部件610處理替選音頻，并且將替選音頻以適于向移動(dòng)裝置100發(fā)送的格式存儲(chǔ)在數(shù)據(jù)庫120內(nèi)。處理620產(chǎn)生音頻水印或分析替選音頻來產(chǎn)生音頻指紋。音頻水印或指紋存儲(chǔ)在數(shù)據(jù)庫530內(nèi)。

部件640處理移動(dòng)應(yīng)用程序650到移動(dòng)裝置100的調(diào)用。移動(dòng)應(yīng)用程序650包含程序碼和用于執(zhí)行所描述方法(300、400或500)的算法660。該部件640還將替選音頻與數(shù)據(jù)(例如音頻水印或指紋查找表)一起傳遞給移動(dòng)應(yīng)用程序650從而可以實(shí)現(xiàn)同步。

圖16示出采用指紋的實(shí)施例500的流程圖。該流程圖示出該方法的其他方面。但是，圖16并未清晰示出該方法的所有方面。提供媒體內(nèi)容710。這是組合的視頻和音頻內(nèi)容。可以使用分發(fā)器720將媒體內(nèi)容分發(fā)到電影院和其他內(nèi)容出口以產(chǎn)生分發(fā)的媒體730。指紋標(biāo)識(shí)符740分析分發(fā)的媒體730以產(chǎn)生一系列音頻指紋。這可以使用信號(hào)特征。這些特征或指紋可以編碼成例如數(shù)字形式。音頻指紋可以與該內(nèi)容的特定播放位置一起存儲(chǔ)在數(shù)據(jù)庫530中。

圖17示出采用水印的實(shí)施例400的流程圖。該流程圖示出該方法的其他方面。但是，圖17并未清晰示出該方法的所有方面。再次提供媒體內(nèi)容710。水印器810向媒體內(nèi)容710添加音頻水印。由分發(fā)器720將具有添加的水印的媒體內(nèi)容分發(fā)到內(nèi)容出口820例如電影院、電視播放器、劇院等。作為同步步驟330的一部分，水印檢測(cè)器830可以檢測(cè)音頻水印。

圖18示出移動(dòng)應(yīng)用程序650的屏幕截圖的另一個(gè)例子。這個(gè)屏幕截圖示出另一種確?；蜣D(zhuǎn)為正確同步的方法。這個(gè)另外的步驟可以與其他同步技術(shù)例如上面描述的那些一起使用。在這個(gè)另外的同步中，可以對(duì)替選音頻使用時(shí)間偏移(以秒為單位)以便與組合的視頻和音頻內(nèi)容精確同步(使用上述任何方法)。換句話說，可以相對(duì)當(dāng)前播放位置對(duì)替選音頻應(yīng)用預(yù)定的或可調(diào)節(jié)的偏移(向前或向后)。這可能有助于克服可能由存在于電影院中的外部定時(shí)影響、或者因?yàn)椴煌苿?dòng)裝置100具有不同處理能力而導(dǎo)致的播放延遲或差異。可以在重復(fù)同步之前，設(shè)置用于指定偏移所能改變的量的容限(依然是預(yù)定的或可調(diào)節(jié)的)。這可以避免同步發(fā)生的太頻繁而使觀看者受到干擾。可以例如以+/-秒為單位限定容限。

圖19(a)和(b)示出當(dāng)偏移容限被破壞時(shí)自動(dòng)同步處理的另一個(gè)屏幕截圖。

該偏移和/或容限數(shù)據(jù)可以寫入內(nèi)容管理系統(tǒng)內(nèi)每一個(gè)電影聲軌或替選音頻的數(shù)據(jù)庫記錄中?？梢詫?duì)每一種可連同替選音頻與移動(dòng)應(yīng)用程序一起使用的裝置類型使用不同的值?？梢酝ㄟ^例如識(shí)別移動(dòng)裝置100的類型和型號(hào)來設(shè)置這樣的值。

本領(lǐng)域技術(shù)人員應(yīng)當(dāng)理解，可以在不脫離隨附權(quán)利要求限定的本發(fā)明的范圍的情況下改變上述實(shí)施例的詳情。

例如，在音頻水印實(shí)施例的情況下可以使用與音頻指紋數(shù)據(jù)庫530類似的數(shù)據(jù)庫。在這種情況下，音頻水印可以不包含特定位置或時(shí)間碼或當(dāng)前播放位置而具有關(guān)于時(shí)間或位置的可搜索標(biāo)準(zhǔn)。這種可搜索基準(zhǔn)可以連同特定播放時(shí)間或時(shí)間碼存儲(chǔ)在數(shù)據(jù)庫中。

其他移動(dòng)裝置可以運(yùn)行移動(dòng)應(yīng)用程序。這些移動(dòng)裝置包括安卓(注冊(cè)商標(biāo))裝置、ipodtouch(注冊(cè)商標(biāo))和ipad(注冊(cè)商標(biāo))。

下載的軌跡或替選音頻可以單獨(dú)加密為例如aes-256標(biāo)準(zhǔn)，其阻止在其他任何裝置上的復(fù)制和播放。

移動(dòng)應(yīng)用程序的設(shè)置區(qū)域的特征可以提供電影院模式選項(xiàng)，該選項(xiàng)將移動(dòng)裝置的屏幕調(diào)節(jié)成最暗或者與電話的最小亮度設(shè)定相比調(diào)節(jié)成比通常可用亮度更暗的水平(以便不打擾其他看電影的人)。

移動(dòng)應(yīng)用程序可以包括它自己的集成的消息收件箱，通過將多媒體消息播送到消息收件箱，消息可以被播送給所有用戶，而且與推送消息不同，多媒體消息可以被存儲(chǔ)以在用戶方便時(shí)對(duì)其進(jìn)行檢索。這種消息收發(fā)功能可以使其他各方發(fā)送豐富的關(guān)于新片發(fā)布、預(yù)告和宣傳等的媒體消息。移動(dòng)應(yīng)用程序還可以包括社交網(wǎng)絡(luò)功能以允許用戶通過例如臉譜、谷歌+、推特等分享他們的經(jīng)驗(yàn)。

基于移動(dòng)裝置的內(nèi)部語言設(shè)置，移動(dòng)應(yīng)用程序的界面可以采用許多不同種類的語言。還可以在傳遞電影信息時(shí)反映語言設(shè)置，例如，如果用戶選擇法語作為電話的默認(rèn)語言，則移動(dòng)應(yīng)用程序控制可以與電影名稱和概要(如果有)一起以法語顯示。

可以在節(jié)目的播放期間根據(jù)嵌入的音頻水印或音頻指紋技術(shù)及相關(guān)查找表自動(dòng)識(shí)別特定的電影或組合的視頻和音頻內(nèi)容而不必由用戶來進(jìn)行識(shí)別。因而用戶可以只需要選擇特定語言版本。

替選音頻的一般文件大小可以大約為100至200mb。

示出麥克風(fēng)作為用于接收與組合的視頻和音頻關(guān)聯(lián)的信號(hào)的信號(hào)接收器。在這個(gè)例子中，信號(hào)是音頻信號(hào)本身?？蛇x地，接收的信號(hào)可以為光的形式(例如紅外光、可見光、激光等)。接收的信號(hào)還可以是無線的(例如wifi或者藍(lán)牙)。為了使用這些其他的信號(hào)源，可以在移動(dòng)裝置內(nèi)加入合適的信號(hào)接收器。

對(duì)本領(lǐng)域技術(shù)人員來說，對(duì)上述實(shí)施方式進(jìn)行多種組合、修改或變形是明顯的，并且這些組合、修改或變形應(yīng)構(gòu)成本發(fā)明的一部分。與一種實(shí)施例或示例關(guān)聯(lián)描述的任何特征可以通過進(jìn)行適當(dāng)?shù)男薷亩糜谄渌魏螌?shí)施方式中。

根據(jù)上述描述可知，本發(fā)明的實(shí)施例還公開了以下技術(shù)方案，包括但不限于：

方案1.一種為組合的視頻和音頻內(nèi)容提供替選音頻的方法，所述方法包括下述步驟：

確定所述組合的視頻和音頻內(nèi)容的當(dāng)前播放位置；

將所述替選音頻與所確定的當(dāng)前播放位置同步；和

播放與當(dāng)前播放位置同步的所述替選音頻。

方案2.如方案1所述的方法，其中所述確定步驟還包括：

接收與所述組合的視頻和音頻內(nèi)容關(guān)聯(lián)的信號(hào)；和

分析接收的所述信號(hào)以確定所述組合的視頻和音頻內(nèi)容的當(dāng)前播放位置。

方案3.如方案2所述的方法，其中所述信號(hào)是從音頻信號(hào)、光信號(hào)、激光信號(hào)、無線信號(hào)、無線網(wǎng)絡(luò)保真wifi信號(hào)、藍(lán)牙信號(hào)和紅外信號(hào)中選擇的。

方案4.如方案2或3所述的方法，其中接收的所述信號(hào)包含位置碼，并且所述分析步驟包括根據(jù)所述位置碼確定當(dāng)前播放位置。

方案5.如方案2至4中任一項(xiàng)所述的方法，其中有間隔地或連續(xù)地重復(fù)所述接收、分析和同步步驟。

方案6.如方案2至5中任一項(xiàng)所述的方法，其中所述信號(hào)是音頻信號(hào)并且通過麥克風(fēng)接收。

方案7.如方案6所述的方法，其中所述位置碼被編碼在所述音頻信號(hào)中作為音頻水印。

方案8.如方案6所述的方法，其中，分析接收的所述音頻信號(hào)以確定所述組合的視頻和音頻內(nèi)容的當(dāng)前播放位置還包括：獲取所述音頻信號(hào)的信號(hào)特征，并將獲取的所述信號(hào)特征與信號(hào)特征和對(duì)應(yīng)播放時(shí)間的數(shù)據(jù)庫進(jìn)行比較。

方案9.如方案8所述的方法，其中，所述信號(hào)特征是從振幅、頻率、過零率、節(jié)奏、譜平坦度和帶寬中選擇的任何一種或多種。

方案10.如方案8和9所述的方法，其中，所述信號(hào)特征為音頻指紋。

方案11.如前述方案中任意一項(xiàng)所述的方法，其中，所述確定步驟還包括接收指示當(dāng)前播放位置的用戶輸入。

方案12.如方案11所述的方法，其中，所述用戶輸入是前進(jìn)或后退信號(hào)。

方案13.如前述方案中任意一項(xiàng)所述的方法，還包括對(duì)所述替選音頻施加手動(dòng)時(shí)間偏移的步驟。

方案14.如前述方案中任意一項(xiàng)所述的方法，其中所述替選音頻被存儲(chǔ)在播放裝置中。

方案15.如前述方案中任意一項(xiàng)所述的方法，其中所述替選音頻在網(wǎng)絡(luò)上流動(dòng)。

方案16.如前述方案中任意一項(xiàng)所述的方法，其中通過耳機(jī)播放所述替選音頻。

方案17.如前述方案中任意一項(xiàng)所述的方法，還包括：基于接收的所述音頻信號(hào)識(shí)別待播放的多個(gè)可用的替選音頻。

方案18.如前述方案中任意一項(xiàng)所述的方法，還包括：解壓縮所述替選音頻的步驟。

方案19.如前述方案中任意一項(xiàng)所述的方法，還包括：解密所述替選音頻的步驟。

方案20.如前述方案中任意一項(xiàng)所述的方法，還包括：在消息收件箱接收一個(gè)或多個(gè)提供關(guān)于可用替選音頻的信息的消息。

方案21.如前述方案中任意一項(xiàng)所述的方法，還包括：向社交網(wǎng)絡(luò)提供關(guān)于所述替選音頻的信息。

方案22.如前述方案中任意一項(xiàng)所述的方法，還包括：相對(duì)于當(dāng)前播放位置偏移所述替選音頻的播放位置。

方案23.如方案22所述的方法，還包括改變所述偏移的步驟。

方案24.如方案22或23所述的方法，還包括：測(cè)量偏移量相對(duì)于需要的偏移量的變化，并且如果測(cè)量的變化大于預(yù)定量則執(zhí)行所述同步步驟。

方案25.一種為組合的視頻和音頻內(nèi)容提供替選音頻的設(shè)備，所述設(shè)備包括：

處理器，配置成：

確定所述組合的視頻和音頻內(nèi)容的當(dāng)前播放位置，并且

將所述替選音頻與所確定的當(dāng)前播放位置同步；和

音頻產(chǎn)生器，配置成播放與當(dāng)前播放位置同步的所述替選音頻。

方案26.如方案25所述的設(shè)備，還包括信號(hào)接收器，所述信號(hào)接收器被配置成接收與所述組合的視頻和音頻內(nèi)容關(guān)聯(lián)的信號(hào)，并且，其中所述處理器還被配置成分析接收的所述信號(hào)以確定所述組合的視頻和音頻內(nèi)容的當(dāng)前播放位置。

方案27.如方案26所述的設(shè)備，其中接收的所述信號(hào)是從音頻信號(hào)、光信號(hào)、激光信號(hào)、無線信號(hào)、無線網(wǎng)絡(luò)保真wifi信號(hào)、藍(lán)牙信號(hào)和紅外信號(hào)中選擇的。

方案28.如方案26或27所述的設(shè)備，其中所述處理器還被配置成從接收的所述信號(hào)中提取位置碼以便確定當(dāng)前播放位置。

方案29.如方案28所述的設(shè)備，其中接收的所述信號(hào)是音頻信號(hào)，此外，其中所述處理器還被配置成從所述音頻信號(hào)的音頻水印中提取所述位置碼。

方案30.如方案29所述的設(shè)備，其中，接收的所述信號(hào)是音頻信號(hào)，此外，其中所述處理器還被配置成通過獲取所述音頻信號(hào)的信號(hào)特征并且將獲取的所述信號(hào)特征與信號(hào)特征和對(duì)應(yīng)播放時(shí)間的數(shù)據(jù)庫進(jìn)行比較來分析接收的所述音頻信號(hào)。

方案31.如方案25至30中任意一項(xiàng)所述的設(shè)備，還包括與所述音頻產(chǎn)生器電通信的耳機(jī)。

方案32.如方案25至31中任意一項(xiàng)所述的設(shè)備，還包括顯示屏，所述顯示屏能夠配置成在播放所述替選音頻信號(hào)時(shí)變暗。

方案33.如方案25至32中任意一項(xiàng)所述的設(shè)備，還包括被配置成將所述音頻產(chǎn)生器與外部音頻放大器連接的接口。

方案34.一種服務(wù)器，包括：

替選音頻的數(shù)據(jù)庫；和

處理器，被配置成接收針對(duì)根據(jù)方案25至33中任意一項(xiàng)所述的設(shè)備的對(duì)替選音頻的請(qǐng)求。

方案35.一種包括根據(jù)方案25至33中任意一項(xiàng)所述的設(shè)備和方案34所述的服務(wù)器的系統(tǒng)。

方案36.一種計(jì)算機(jī)程序，包括當(dāng)在計(jì)算機(jī)上被執(zhí)行時(shí)使所述計(jì)算機(jī)執(zhí)行如方案1至24中任意一項(xiàng)所述的方法的程序指令。

方案37.一種攜帶根據(jù)方案36所述的計(jì)算機(jī)程序的計(jì)算機(jī)可讀介質(zhì)。

方案38.一種攜帶根據(jù)方案36所述的計(jì)算機(jī)程序的信號(hào)。

方案39.一種被編程以執(zhí)行如方案1至24中任意一項(xiàng)所述的方法的計(jì)算機(jī)。