專利名稱：用于數字音頻信號和數字音頻/視頻信號的時標修改方法和通過使用該方法的數字電視 ...的制作方法
技術領域：
本發(fā)明涉及數字音頻信號的時標(time-scale)修改(“TSM”)。特別地，本發(fā)明涉及時標修改方法，其中在TSM處理之后，可以幾乎與預定的時標(或可變速度比率)成精確比例地修改數字音頻信號的再現時間，由此在再現時幾乎完全保持多媒體信號的時標再現中的視頻和音頻信號之間的同步。
背景技術：
由于引進了疊加-添加(overlap-add)(“OLA”)方法，用于在時域中修改數字音頻信號的再現速度的方法已經被發(fā)展為同步的疊加和添加(“SOLA”)方法和基于波形相似性的疊加和添加(“WSOLA”)方法，它們都基于OLA。這些技術的基本原理在于通過分析并同步輸入音頻數據流來修改原始數字音頻信號的時標。
根據TSM方法的基本概念，當將輸入音頻信號的數據流分段為連續(xù)的預定大小的多個窗口(幀)時，相鄰窗口(幀)相互重疊所分配的長度(分析步驟)。然后，如果給定了時標α的值(用戶分配的正常再現速度與所修改的再現速度的比率)，則取決于α的值重新計算并添加在分析步驟期間獲得的多個窗口中的相鄰窗口的重疊區(qū)域。換句話說，根據時標α的值，在壓縮或擴展相鄰窗口的重疊區(qū)域后連接窗口。當合成窗口時，加權系數被應用到重疊區(qū)域來合成相鄰窗口(合成步驟)。按原樣添加沒有重疊的區(qū)域。由于應該增加音頻數據量以便使音頻數據流的再現速度慢放，所以壓縮經TSM處理的輸出音頻信號的相鄰窗口的重疊長度，使其短于原始的重疊長度。相反，為了加速再現速度，擴展經TSM處理的輸出音頻信號的相鄰窗口的重疊長度，使其長于原始的重疊長度。
在TSM方法的音頻信號處理中，由合成間隔Ss和分析間隔Sa的比率定義時標α，它理論上表示為如下α＝Ss/Sa (1)其中當在合成步驟中重新排列多個連續(xù)的窗口時，合成間隔Ss意味著相鄰窗口Wi和Wi+1(或幀)的起始點間隔，并且當在分析步驟中將原始音頻流分段為多個連續(xù)的窗口時，分析間隔Sa意味著相鄰窗口Wi和Wi+1(或幀)的起始點間隔。由于由許多音頻采樣表示相鄰窗口Wi和Wi+1的起始點間隔，合成間隔Ss和分析間隔Sa總是具有自然數。
在TSM處理中，由用戶確定時標α并給定合成間隔Ss。所以通過方程(1)計算分析間隔Sa的值。根據Ss和α，分析間隔Sa的計算出的值可能是小數而不是自然數。然而，由于分析間隔Sa不能具有小數值，因此不可避免地采用最接近自然數。例如，假設由方程(1)計算出的Sa值為31.7，則定義最接近的較低(或較高)自然數31(或32)作為實際應用的分析間隔，其中實際應用的分析間隔被稱為‘修改后的分析間隔’并標為Sa’。
然而，如果通過應用修改后的分析間隔Sa’來由TSM方法處理數字音頻數據，則累積由分析間隔Sa和修改后的分析間隔Sa’的差所引起的再現時間誤差，即，通過采用修改后的分析間隔Sa’而不是分析間隔Sa的TSM處理意味著所應用的時標α’與用戶給定的時標α不同，并且產生與數值之間的差相同的時間誤差。
可以連續(xù)地累積再現時間誤差。在僅再現音頻信號的情況下，沒有與給定的時標α成比例地精確修改TSM處理的音頻信號的再現時間的事實可能還不是嚴重的問題，換句話說，當用戶指令正常速度的2倍的時標修改時，即使通過1.8或2.2倍時標再現，用戶也不會識別出很大的差別，并且如果不存在要求恰巧2倍精度的情形，則這不是大問題。
然而，在包含視頻和音頻信號的多媒體信號的時標修改的情況下，如果音頻信號的時標不與所分配時標α精確成比例，在再現處理中，音頻信號和視頻信號將不同步。在再現時間中累積誤差的增加將導致‘嘴唇同步’問題，其中聲音不與嘴唇一致。所以需要一種方法來精確地保持TSM處理的再現時間以便不發(fā)生嘴唇同步問題。為了提供用于接收的數字廣播信號的不同的有用時標修改功能，絕對需要保證時標的音頻和視頻信號的同步。

發(fā)明內容
做出本發(fā)明來解決本領域中的上述問題，并且本發(fā)明的目的是提供用于數字音頻信號的TSM方法，其中TSM處理的數字音頻信號的實際時標與所分配的時標一致，它們在可忽略的容限(tolerance)的分鐘范圍內。
本發(fā)明的另一目的是提供一種用于數字音頻信號的TSM方法，其中當在數字AV信號的時標修改時，可以很好地保持食品信號和音頻信號的再現同步。
本發(fā)明的又一目的是通過將本發(fā)明的TSM方法應用到數字廣播信號來提供各種附加的功能。
為了實現以上目的，根據本發(fā)明的一個方面，提供一種用于數字音頻信號的時標修改方法，其中將輸入信號的音頻采樣流分段為多個重疊分析窗口，將重疊區(qū)域的長度改變?yōu)閷谒峙涞臅r標α的長度，加權合成重疊區(qū)域，由此被轉換為時標輸出信號。本發(fā)明的方法包括步驟a)定義從輸入音頻采樣的第mSa采樣(m周期索引)開始的N+Kmax個采樣作為當前周期m的分析窗口Wm，其中如果期望的合成間隔Ss除以時標α所得的值是自然數，則分配該值作為分析間隔Sa，而如果是小數，則分別分配最接近該小數的兩個自然數作為修改后的分析間隔Sa’和補償后的分析間隔Sa”，每次當滿足特定的期望條件時，交替地應用修改后的分析間隔Sa’和補償后的分析間隔Sa”來代替分析間隔Sa；b)當在來自輸出音頻采樣的末尾的OV個采樣和與之重疊的當前周期分析窗口的OV個采樣之間顯示出最高的波形相似性時，計算當前周期分析窗口Wm的移位值Km，同時將當前周期分析窗口Wm的起始點移位特定預定數量個采樣，該預定數量在被定義為從前一周期m-1的輸出信號的末尾開始計算的第OV+1采樣開始的Kmax個采樣的搜索范圍內；c)定義從當前周期分析窗口第Km+1采樣開始的N個采樣作為要添加到當前周期的附加幀，其中通過將從附加幀的前端開始的OV個采樣疊加到從前一周期幀的末尾開始的OV個采樣來合成當前周期m的輸出信號；和d)累積當前周期m的輸出信號的實際再現時間和由時標α計算出的推算再現時間之間的誤差，其中當累積誤差偏離允許誤差范圍的上限或下限時，認為滿足特定的期望條件。
時標α的值包括由用戶輸入裝置分配的時標。另外，可以提供通過與音頻信號的時標修改一起執(zhí)行的視頻信號的時標處理提供的視頻信號的實際時標作為時標α的值。
最好，本發(fā)明的時標修改方法還可以包括步驟當時標α改變時，基于改變后的時標重新計算分析間隔Sa，其中使用改變后的時標和重新計算出的分析間隔Sa處理時標修改。
為了降低用于搜索最大交叉相關點Km的計算量，當在每個周期在搜索范圍Kmax中移位分析窗口Wm時最好跳過多個采樣。
在以上時標修改方法中，可以通過由從前一周期幀的末尾開始的特定數量個采樣組成的重疊區(qū)域與當前周期的當前周期分析窗口Wm的、與前一周期幀重疊的特定數量個采樣之間的交叉相關性來確定波形相似性。在這種情況下，最好在前一周期幀的采樣和當前分析窗口中，可以選擇其索引為k(k大于2的自然數)的倍數的采樣并將其參與到交叉相關性的計算中。
根據本發(fā)明的另一方面，提供一種用于數字音頻/視頻信號的時標修改方法，其中輸入數字音頻/視頻信號被分離為音頻信號和視頻信號，使用相同的時標α時標每個信號。本發(fā)明的方法包括步驟a)周期地計算通過基于時標α時標視頻信號所獲得的時標的視頻信號的實際時標；b)確定時標的視頻信號的當前周期的實際時標是否與前一周期的時標不同，其中如果不同，則提供當前周期的實際時標作為目標時標α’，目標時標α’成為用于音頻信號的時標修改的參考；和c)將輸入音頻信號的采樣流分段為多個重疊分析窗口，將重疊區(qū)域的長度改變?yōu)閷谀繕藭r標α’的長度，加權合成重疊區(qū)域，由此修改為時標的輸出音頻信號。
這里，在以上用于數字音頻/視頻信號的時標修改方法中，可以通過前一描述的用于音頻信號的TSM方法來執(zhí)行輸入音頻信號的時標修改。
在以上用于數字音頻/視頻信號的時標修改方法中，視頻信號的實際時標是從過去的某個點T1到當前時間T2的流逝時間T2-T1與過去的某個點T1中的時標視頻幀的時間標簽TS1到當前時間T2中的時標的視頻幀的當前時間標簽TS2的流逝時間TS2-TS1之間的比率。
根據本發(fā)明的一個方面，提供一種使用設備再現廣播信號的方法，該設備接收以MPEG模式壓縮并編碼的數字電視廣播信號的傳輸流，并且實時再現視頻和音頻信號。本發(fā)明的該方法包括a)在用戶輸入電話中斷(phonebreak)鍵之后在存儲裝置中順序地存儲正在接收的數字電視廣播信號；b)在用戶按下返回鍵之后，以FIFO模式讀取所存儲的廣播信號，并且使用預定的時標來時標相應檢索到的視頻和音頻信號，其中，特別地，基于再現的視頻信號的實際時標α來執(zhí)行音頻信號的時標，通過時標通過應用預定的時標計算出的視頻信號獲得的視頻信號的實際時標，輸入信號的音頻采樣流被分段為多個重疊的分析窗口，重疊區(qū)域的長度被改變?yōu)閷谝曨l信號的實際時標α的長度，加權合成重疊區(qū)域，由此轉換為時標的輸出信號；和c)輸出時標的視頻和音頻信號來代替當前正在接收的廣播信號。
最好，再現數字廣播信號的以上方法還可以包括步驟如果通過應用作為高速再現模式的值的時標α再現的廣播信號與正在接收的廣播信號之間的時間誤差落入特定的期望誤差范圍內，則輸出正在接收的廣播信號來代替所存儲的廣播信號。
此外，還可以包括步驟當電話中斷鍵輸入和返回鍵輸入之間的電話中斷時段超出存儲裝置的最大存儲時間時，以從較早存儲的信號開始的順序將正在接收的廣播信號替代所存儲的廣播信號，并且將從當前時間算起的電話中斷時段的起始地址改變?yōu)樵谧畲蟠鎯r間之前的廣播信號的地址。
根據本發(fā)明另一方面，提供一種使用設備再現廣播信號的方法，該設備接收以MPEG模式壓縮并編碼的數字電視廣播信號的傳輸流，并且實時再現視頻和音頻信號。本發(fā)明的方法包括步驟a)在存儲裝置中順序存儲廣播信號；b)當檢測到用戶的返回并慢放(back-slow)鍵輸入時，從該時間點的特定時間周期之前接收的廣播信號開始以FIFO模式讀取所存儲的廣播信號，并且使用預定的時標來時標相應檢索到的視頻和音頻信號以便能夠實現低速再現，其中，特別地，基于再現的視頻信號的實際時標α執(zhí)行音頻信號的時標，通過時標通過應用預定的時標計算出的視頻信號獲得的視頻信號的實際時標，輸入信號的音頻采樣流被分段為多個重疊的分析窗口，重疊區(qū)域的長度被改變?yōu)閷谝曨l信號的實際時標α的長度，加權合成重疊區(qū)域，由此轉換為時標的輸出信號；和c)輸出時標的視頻和音頻信號來代替當前正在接收的廣播信號。
最好，再現數字廣播信號的以上方法還可以包括步驟a)當用戶輸入返回鍵時，通過將時標修改為用于高速再現模式的值來時標所存儲的廣播信號，從而進行高速再現，和b)如果以高速模式正在再現的廣播信號和正在接收的廣播信號之間的時間誤差落入特定的期望誤差范圍內，則輸出正在接收的廣播信號來代替所存儲的廣播信號。
根據本發(fā)明的另一方面，提供一種使用設備再現廣播信號的方法，該設備接收以MPEG模式壓縮并編碼的數字電視廣播信號的傳輸流，并且實時再現視頻和音頻信號。本發(fā)明的方法包括步驟a)至少在輸入立即慢放鍵之后在存儲裝置中順序存儲廣播信號；b)從輸入立即慢放鍵的點開始以FIFO模式讀取所存儲的廣播信號，并且使用預定的時標來時標相應獲取視頻和音頻信號，以便能夠實現低速再現，其中，特別地，基于再現的視頻信號的實際時標α執(zhí)行音頻信號的時標，通過時標通過應用預定的時標計算出的視頻信號獲得的視頻信號的實際時標，輸入信號的音頻采樣流被分段為多個重疊的分析窗口，重疊區(qū)域的長度被改變?yōu)閷谝曨l信號的實際時標α的長度，加權合成重疊區(qū)域，由此轉換為時標的輸出信號；和c)輸出時標的視頻和音頻信號來代替當前正在接收的廣播信號。
最好，以上方法還包括步驟a)當用戶輸入返回鍵時，通過將時標修改為用于高速再現模式的值來時標所存儲的廣播信號，從而進行高速再現，和b)如果以高速模式正在再現的廣播信號和正在接收的廣播信號之間的時間誤差落入特定的期望誤差范圍內，則輸出正在接收的廣播信號來代替所存儲的廣播信號。
在用于數字廣播信號的以上3種TSM方法中，可以通過先前在本節(jié)開始處描述的TSM方法來執(zhí)行音頻數據的時標修改。
此外，最好，以上用于數字廣播信號的TSM方法還可以包括步驟在時標存儲裝置中存儲的廣播信號之前分別通過MPEG解碼器解壓縮并解碼視頻和音頻信號。
此外，在以上3種TSM方法中，可以通過調節(jié)視頻幀的輸出時間間隔來執(zhí)行視頻信號的時標，以便與時標一樣快，或者減少輸出幀的數量，以便和時標一樣慢，或者將二者組合?？梢酝ㄟ^調節(jié)視頻幀的呈現時間標簽的值來執(zhí)行視頻幀的輸出時間間隔的調節(jié)。
已經了解各種數字時標技術。然而，因為當應用到多媒體信號時那些常規(guī)技術不能獲得視頻和音頻信號的同步，因此它們在商業(yè)化中不成功。
通過本發(fā)明可以完全地解決以上問題。根據本發(fā)明的音頻信號的TSM處理，一旦分配了特定的時標，可以控制對應于所分配的時標的推算再現時間和時標的信號的實際再現時間之間的誤差，以保持在預先建立的微小誤差范圍內。此外，如果時標改變，使用改變后的時標立即TSM處理音頻信號。結果，與使用用戶指定的時標計算的再現時間相比，通過本發(fā)明的TSM處理獲得的音頻信號總被維持在能夠忽略的狹窄誤差范圍內。因此，當應用到多媒體信號時，本發(fā)明可以完成視頻和音頻的同步。特別地，即使時標的視頻信號的實際時標的值可能偏離用戶分配的值，基于時標的偏離值自適應地執(zhí)行音頻信號的TSM處理，使得時標處理中的AV同步需要更少的負擔。此外，該AV信號同步導致有用和實際的功能，諸如“電話中斷觀看功能”、“返回并慢放觀看功能”和“立即慢放觀看功能”。
可以編程本發(fā)明，以便它可以被包含在用于個人計算機的多媒體播放器中，例如，可以嵌入在諸如DVD播放器、數字VTR、TV電視、PVR(個人視頻錄像機)、MP3播放器、機頂盒之類的數字多媒體或數字廣播信號處理器的芯片中。


通過結合附圖參照下面的詳細描述可以更加全面地理解本發(fā)明的目的盒有點，其中圖1是顯示根據本發(fā)明的時標修改(“TSM”)概念的圖；圖2是說明用于發(fā)現當前周期幀和前一周期幀之間的最大波形相似點的方法的圖；圖3是顯示根據本發(fā)明實施例的用于將累積的再現時間誤差抑制在預先分配的界限之內的控制方法的具體執(zhí)行過程的流程圖；圖4是顯示用于執(zhí)行根據本發(fā)明的控制方法的設備的基本配置的方框圖；圖5是顯示電話中斷時段觀看功能的執(zhí)行過程的流程圖；圖6是顯示返回并慢放觀看功能的執(zhí)行過程的流程圖；圖7是顯示立即慢放觀看功能的執(zhí)行過程的流程圖；圖8是顯示系統(tǒng)的配置的方框圖，該系統(tǒng)可以通過時標數字電視廣播信號來提供以上附加的功能。
圖9是顯示與圖8中的系統(tǒng)不同的另一實施例的配置的方框圖；圖10a和10b是顯示當使用采用圖8或圖9的系統(tǒng)的數字TV或TV電話(通常稱為“數字TV”)執(zhí)行電話中斷時段觀看功能時的信號處理的圖；圖11是顯示當執(zhí)行返回并慢放觀看功能時的信號處理的圖；和圖12是顯示當執(zhí)行立即慢放觀看功能時的信號處理的圖。
具體實施例方式
下面將參照附圖詳細說明本發(fā)明的優(yōu)選實施例。
在描述本發(fā)明之前，將在下面說明音頻信號的TSM處理，以便清楚地理解本發(fā)明。圖1是說明用于數字音頻信號的TSM方法的原理的圖。本發(fā)明采用的TSM方法將輸入信號的音頻采樣流分段為多個重疊的分析窗口，將重疊區(qū)域的長度轉換為對應于所請求的時標的長度，并且通過應用加權系數合成重疊區(qū)域。TSM處理通常包括分析步驟和合成步驟。
在分析步驟中，圖1(a)所示的數字音頻信號采樣流被分段為圖1(b)所示的多個連續(xù)的分析窗口Wm。這里m是從一(1)開始的自然數，表示分析窗口的周期和索引。一個分析窗口Wm包含N+Kmax個采樣，它包含N個采樣的一幀和添加到其上的Kmax個采樣。在分析步驟中，每個分析窗口Wm的起始點是從輸入信號的第一采樣開始的第mSa采樣。這里，Sa被稱為分析間隔，它是多個重疊分析窗口的相鄰窗口的起始點之間的距離。
圖1(a)和(b)分別圖解低速模式和高速模式的、經TSM處理的輸出信號。可以通過合成步驟獲得這些信號。在合成步驟中，使用分析窗口Wm搜索最大波形相似點。用于合成的采樣不是分析窗口中的所有采樣，而是除了搜索范圍中的Kmax個采樣之外的N個采樣，即僅是一幀中的采樣。丟棄其余的Kmax個采樣。因此，在每個周期中N個采樣用于合成輸出信號。如圖1(b)所示，在實際的合成處理中，將分析窗口從原始的重疊長度OVm重新校準為期望的重疊長度。如圖1(c)所示，在低速模式的TSM處理中，由于必須增加數據量，所以在重新校準后的重疊長度OVm’變得比重新校準前的重疊長度OVm更短，因此合成間隔Ss’變得比分析間隔Sa更長。如圖1(d)所示，在高速模式的TSM處理中，由于必須降低數據量，在重新校準后的重疊長度OVm”變得比重新校準前的重疊長度OVm更長，因此合成間隔Ss’變得比分析間隔Sa更短。與數據量的變化成比例地改變再現信號所需要的時間。通過應用加權系數來合成重新定位的相鄰幀(幀是分析窗口的一部分)具有重疊長度OVm’或OVm”的采樣。分析間隔Ss’或Ss”與合成間隔Sa的比率必須等于時標α的值。方程(1)表示該關系。
如果修改相鄰幀的重疊長度，則發(fā)生不連續(xù)性。因此，由于相鄰幀的不連續(xù)性在輸出信號中可能包含噪聲。需要盡力降低由不連續(xù)性引起的噪聲。很難簡單地通過將分析窗口Wm的分析間隔Sa修改為根據時標α的值計算的合成間隔Ss來降低噪聲。在修改并重新校準相鄰幀的重疊區(qū)域時，如果發(fā)現添加了重疊的當前周期幀和前一周期幀的最大波形相似點并從那個點向幀添加了重疊，則使不連續(xù)性及因此產生的噪聲達到最小。
圖2是說明用于發(fā)現當前周期幀和前一周期幀之間的最大波形相似點的方法的圖。通過計算在當前周期分析窗口Wm和前一周期幀Fm-1之間的確定區(qū)域中的采樣的交叉相關性來確定最大波形相似。即，通過計算通過將當前周期分析窗口Wm和前一周期幀Fm-1重疊產生的重疊區(qū)域OVm’(或OVm”)中的采樣10a、10b之間的交叉相關性，然后將分析窗口Wm的起始點移過搜索范圍Kmax，以搜索最大波形相似。計算交叉相關性的方法對于本領域技術人員來說是公知的，他們可以選擇并應用恰當的方法。如圖2所示，在從已經成為輸出信號的前一周期幀Fm-1的末端期的OVm’(或OVm”)中的采樣組成重疊區(qū)域，而在與該重疊區(qū)域相鄰的Kmax中的采樣組成搜索范圍。然后，在搜索范圍內，當將輸入信號的第m分析窗口(即當前周期分析窗口Wm)移位預定采樣間隙時，搜索分析窗口Wm和前一幀Fm-1的重疊區(qū)域中的采樣10a、10b之間的最大交叉相關點。一旦搜索到最大交叉相關點，則作為分析窗口Wm的一部分的當前幀Fm被疊加到前一幀Fm-1的末尾。除了分析窗口Wm的開始處的Km個采樣之外的N個采樣和在其末尾的Kmax-Km個采樣成為幀Fm，它被作為當前周期輸出信號添加。然后，通過應用加權系數合成屬于重疊區(qū)域OVm’或OVm”的采樣10a和10b，并且按原樣添加當前周期幀Fm中的其它采樣。忽略那些不參與合成的采樣。以這種方式，獲得當前周期的輸出信號。在最大交叉相關點Km，如果將當前周期幀Fm與前一幀Fm-1合成，則可以獲得最低不連續(xù)的連接，由此降低由幀重新校準(realignment)引起的噪聲。逐幀地順序執(zhí)行以上TSM處理。
當在分析窗口Wm的兩個側邊和輸出信號之間的重疊區(qū)域中合成采樣時，對合成應用加權函數的原因是通過自然地將輸出信號的末尾部分與分析窗口的起始部分連接來降低重疊區(qū)域中的信號的不連續(xù)性。作為加權函數的典型實例，可以使用下面的斜坡函數，但是可以另外選擇指數函數或任意其它恰當的函數。
g(j)＝0 j＜0； (2-1)g(j)＝j/Nm 0≤j≤Nm(2-2)g(j)＝1 j＞Nm (2-3)需要大量的計算來找出最大交叉相關點Km。在許多情況下，由于過量的計算，因此很難在嵌入式系統(tǒng)處理器上執(zhí)行不采用措施來降低計算量的TSM方法。用于降低計算量的第一方案是擴展分析窗口Wm的移位間隔。即，即使可以通過一個采樣來進行分析窗口的移位，為了減少計算量，也可以一次移位幾個采樣。如果它移位太多采樣，則最大交叉相關點將不精確。需要考慮到減少計算量和最大交叉相關點的精確度來確定移位量。用于降低計算量的第二種方式是將參與到最大交叉相關點的計算的采樣的數量限制到全部采樣的一部分，而不是重疊區(qū)域10a、10b中的所有采樣。例如，從分析窗口Wm的重疊區(qū)域10a和前一幀Fm-1的重疊區(qū)域中，僅選擇那些采樣索引是k(k是大于2的自然數)的倍數的采樣來計算交叉相關性。如果一起應用這兩個方法，將會更多增加計算量降低的效果。
在合成步驟中，可以以固定長度將重疊區(qū)域10a、10b應用到任何幀周期。另外，重疊區(qū)域10a、10b的不同長度可以被應用到不同的幀周期。當疊加周期10c的數據包括最小噪聲時的重疊區(qū)域10a、10b的長度被確定為最佳重疊長度。相關系數可以用于發(fā)現最佳重疊區(qū)域。使用下面的方程來獲得相關系數Rxy。
Rxy＝[(∑xy)/(nσxσy)]×100％ (3)其中x和y表示兩個重疊區(qū)域10a和10b中的參加相關系數的計算的采樣，n表示參與相關系數的計算的每個參數x和y的采樣的數量，而σx和σy分別表示參數x和y的離差(dispersion)。相關系數可以在-100[％]到+100[％]的范圍內變化，并且值越大，則相關性越高。如果相關系數處于70％～100％的范圍內北，則評估為具有高相關性。因此，最好應用分析窗口和輸出信號之間的具有多于70％的相關系數Rxy的重疊間隔的值。在該方法中，增加計算量來發(fā)現最佳重疊長度，但是提高了輸出信號的質量。當非常需要高質量的聲音時，應用該方法可能是有利的。
已經由本申請人提出并提交了如上所述的降低計算量并改變重疊區(qū)域的方法，該申請具有PCT申請?zhí)朠CT/KR02/01499，名稱為“Audio signaltime-scale modification method using variable length synthesis and reducecross-correlation computations”。在以上PCT申請中聲明的TSM方法可以很好地與本發(fā)明組合?？梢酝ㄟ^參照其說明書和附圖來理解在PCT申請中公開的技術，并且其內容援引于此以供參考。因此，在這里不重復更詳細的內容。能夠與本發(fā)明組合的TSM方法不限于以上PCT申請的發(fā)明。只要是用于在時域中修改音頻信號的再現速度的SOLA或WSOLA類的算法，就可以應用所有的TSM方法，這些方法包括在未來新開發(fā)的任何TSM方法。如果TSM算法可以與時標α的預定值精確成比例地合成輸出信號，則它可以更加有利地與本發(fā)明組合。
接下來，說明經TSM處理的輸出信號與預定的時標精確成比例，誤差范圍可以被忽略的方法。
在數字音頻信號的TSM處理中，由于分析間隔Sa的單位(即采樣的數量)必須是自然數，所以如果從方程(1)計算出的分析間隔Sa具有小數值，則不可避免地采用最接近的自然數。應用修改后的分析間隔Sa’代替所計算出的分析間隔Sa導致實際再現時間和由預定時標計算出的推算再現時間之間的誤差。這里，推算再現時間指的是通過假設應用分析Sa的小數值的計算獲得的輸出信號的再現時間。如果由方程(1)計算出的分析間隔Sa不是自然數而是小數，則丟棄小數部分(或上舍入(round up))，并且剩余的整數部分被分配為要實際使用的、修改后的分析間隔Sa’的值。修改后的分析間隔Sa’的應用與通過使用不精確的時標α’(即，修改的時標)而不是用戶分配的時標進行的TSM處理相同。因此，經TSM處理的輸出音頻信號的實際再現時間與通過應用用戶分配的時標獲得的虛擬輸出音頻信號的再現時間(“推算再現時間”)不同。通過TSM處理不斷地累積該誤差。
在本發(fā)明中，控制再現時間的以上累積誤差以便不偏離預定界限。即，如果預定合成間隔Ss被除以時標α的值是自然數，則按原樣應用該值。然而，如果該值是小數，則最接近的兩個自然數被分別分配為修改后的分析間隔Sa’和補償后的分析間隔Sa”。只要滿足預定條件，就交替地使用修改后的分析間隔Sa’和補償后的分析間隔Sa”，而不用計算出的分析間隔Sa。累積當前周期中的輸出信號的實際再現時間和由時標α計算出的推算再現時間之間的差，如果累積誤差偏離所允許的上限或下限，則認為是滿足預定條件的情況。最好在觀看者沒有識別出嘴唇同步(即音頻和視頻的不同步)的范圍內確定所允許的誤差界限。例如，可以將所允許誤差范圍的上限確定為數十毫秒內。
圖3是圖解以上控制方法的詳細執(zhí)行過程的流程圖。在使用上面說明的用于輸入信號的音頻采樣流的TSM方法執(zhí)行音頻采樣的TSM的處理(S20)中，當TSM處理每個單獨幀時累積‘實際再現時間’和‘推算再現時間’之間的差(S22)。只要累積誤差超過所允許誤差范圍的上限或下限，就執(zhí)行誤差補償(S24、S26、S28、S30)。補償后的分析間隔Sa”是引入來補償由修改后的分析間隔產生的誤差的參數。當執(zhí)行TSM程序時(S20)，如果計算出的分析間隔Sa不是自然數，則通過恰當地應用修改后的分析間隔Sa’和補償后的分析間隔Sa”來控制再現時間的累積誤差以便不偏離預定的誤差界限。
用于計算修改后的分析間隔Sa’的處理如下。首先，初始化TSM處理(S10)。在初始化步驟中，向需要來執(zhí)行TSM程序的各種參數，諸如幀大小N、重疊長度OV、分析間隔Ss、當前分析窗口(幀)對前一窗口的搜索范圍Kmax和時標α分配恰當的值。此外，還初始化修改后的分析間隔Sa’、補償后的分析間隔Sa”、再現時間和其它用于累積誤差的參數。在初始化步驟后，按原樣將輸入信號的第一幀F0復制到輸出信號而不進行處理(S11)，并且從第二幀F1開始執(zhí)行TSM程序并修改時標。為該處里讀取由用戶分配的時標α的值(S12)。如果用戶不具體分配時標α的值，則時標α的值將是在初始化步驟分配的1。一旦確定了時標α的值，就根據方程(1)計算分析間隔Sa(S14)。然后，測試所計算出的分析間隔Sa是否是自然數。如果是自然數，則當執(zhí)行步驟S20的TSM程序時按原樣應用該數(S16)。如果該值是小數，則丟棄小數部分，而把整數部分分配為修改后的分析間隔Sa’。在TSM程序步驟(S20)應用的分析間隔Sa的值是修改后的分析間隔Sa’(S18)。此后，將修改后的分析間隔Sa’而不是計算出的分析間隔Sa應用到TSM處理中的分析間隔。根據上述過程，準備用于計算出的分析間隔不是自然數的情況的處理條件。
在步驟S20中，如上所述執(zhí)行用于當前周期的分析窗口Wm的TSM處理。即，每次當執(zhí)行一個TSM程序(S20)時，完成用于一個分析窗口的TSM處理。因此，幀(或分析窗口)索引的值m從1開始，并且只要完成步驟S20就加1(步驟S19、S21)。
在用于一個窗口的TSM處理完成后，計算再現時間的累積誤差(S22)。為了計算累積誤差，必須分別計算推算再現時間和到那時的實際再現時間。在時域中，音頻信號的再現時間與數字音頻采樣的數量成比例。因此，可以通過計數TSM處理的數字音頻采樣來獲得實際再現時間。另外，通過使用TSM處理的數字音頻采樣的時間標簽可以獲得音頻信號的再現時間。如果應用由用戶分配的時標α，則通過計數直到當前周期的要TSM處理的采樣的數量可以獲得以上推算再現時間。以這種方式，獲得推算再現時間和實際的再現時間，并且計算二者的差。通過將該差添加到直到前一周期的再現時間的累積誤差，計算直到當前周期的再現時間的新累積誤差。
在更新了再現時間的累積誤差后，檢查該值是否超過上限(如+5ms)(S24)。在步驟S24中，如果結果為真，則計算補償后的分析間隔Sa”(S26)。從下一幀應用補償后的分析間隔Sa”以便降低累積誤差。如果通過丟棄所計算出的分析間隔Sa的小數值的小數部分來確定修改后的分析間隔Sa’，則可以通過對修改后的分析間隔Sa’加1來確定補償后的分析間隔Sa”。如果通過上舍入所計算出的分析間隔Sa的小數值的小數部分來確定修改后的分析間隔Sa’，則可以通過對修改后的分析間隔Sa’減1來確定補償后的分析間隔Sa”。例如，如果所計算出的分析間隔Sa的值是31.7，并且確定修改后的分析間隔Sa’是31(或32)，則確定補償后的分析間隔Sa”是32(或31)。對于更迅速的誤差補償，可以使用更大的值(諸如2或3)而不是1作為要添加到修改后的分析間隔Sa’或從修改后的分析間隔Sa’減去的值，以便獲得補償后的分析間隔Sa”。以這種方式，在計算補償后的分析間隔Sa”并將其分配到分析間隔Sa后，當從下一幀周期執(zhí)行TSM程序(S20)時使用該分析間隔。
在重復TSM處理同時應用補償后的分析間隔Sa”期間，再現時間的累積誤差連續(xù)降低到0附近，然后朝向異號增加，最后偏離所允許誤差范圍的下限(如，-5ms)。此時，將應用來執(zhí)行TSM程序的分析間隔被再次替換為修改后的分析間隔Sa’，而不是到那時仍然使用的補償后的分析間隔Sa”。在步驟S28和S30中執(zhí)行該處理。在應用了修改后的分析間隔Sa’后，再現時間的累積誤差再次增加，因此而超過所允許誤差范圍的上限。然后再次使用補償后的分析間隔Sa”。以這種方式，在所計算出的分析間隔Sa不是自然數的情況下，與計算出的分析間隔Sa最接近的兩個自然數被分別分配為修改后的分析間隔Sa’和補償后的分析間隔Sa”，并且交替應用修改后的分析間隔Sa’和補償后的分析間隔Sa”，而不是應用所計算出的分析間隔Sa。只要再現時間的累積誤差超過誤差范圍的上限或下限，則交替使用修改后的分析間隔Sa’和補償后的分析間隔Sa”。
根據上述的控制方法，經TSM處理的輸出信號的實際再現時間在基于由預定的時標計算的推算再現時間的固定范圍中擺動。如果假設建立允許誤差范圍，以便保持所謂嘴唇同步地將本發(fā)明的控制方法應用到AV信號的時標再現中，則AV信號的同步幾乎可以完美地達到人不能識別出AV信號的同步誤差的程度。
另一方面，通過步驟S20到S30完成用于一個分析窗口的處理。此時，檢查是否存在要被處理的更多輸入信號的音頻采樣。如果沒有更多的輸入信號，則程序立即終止。否則，它返回到要處理下一窗口的步驟。在返回處理期間，檢查時標α的值是否被改變(S34)。如果時標α還沒有改變，則程序返回到TSM處理的執(zhí)行步驟(S20)，并且以上述相同方式重復用于分析窗口Wm+1的TSM處理。如果時標α已經改變，它返回到步驟S20，在其中由于時標α的改變，所以應該重新計算分析窗口間隔Sa、修改的分析窗口間隔Sa’和其它參數(S34)。
可以以軟件引擎的形式實現這些控制方法和TSM方法。可以將這些軟件引擎加載到存儲器，并且在諸如CPU、DSP、微處理器和音頻解碼器芯片之類的處理器上執(zhí)行。用于執(zhí)行本發(fā)明的方法的設備的基本配置如圖4所示。如圖所示，該設備需要諸如ROM或閃存之類的用來存儲引擎程序的非易失性存儲器110、用于執(zhí)行引擎程序并將輸入信號轉換為經TSM處理的輸出信號的處理器120和用于在TSM處理之前或之后存儲數據的存儲器130。作為實例，可以將處理器實現為DSP、微計算機或CPU單元，或者它可以是特殊目的音頻芯片、音頻/視頻芯片、MPEG芯片或DVD芯片。存儲器130提供用于臨時存儲輸入信號的輸入緩沖器130、用于在TSM處理之后存儲輸出信號的輸出緩沖器130b，還提供用于處理器120的各種操作和數據處理所需的空間。此外，需要用戶輸入設備140，如輸入鍵盤或遙控器來將用戶輸入的時標α傳遞給處理器。
在TSM處理之前，來自諸如CD-ROM、硬盤和解碼芯片之類的輸入信號提供者150的輸入信號被臨時存儲在存儲器130的輸入緩沖器130b，然后由處理器120進行TSM處理。TSM處理的信號被臨時存儲在輸出緩沖器130b并被傳送到再現單元160來通過D/A轉換處理經由揚聲器播放。
如果將TSM方法應用到AV裝置，可以獲得AV信號的同步。這是因為本發(fā)明的TSM方法能夠使時標的音頻信號的再現時間幾乎與給定時標精確成比例。作為另一個原因，在本發(fā)明的TSM方法中，一旦改變時標，立即基于改變后的時標來TSM處理下一幀。當時標AV信號時，經過一段時間，時標的視頻信號的實際時標可能與用戶分配的時標α不同。在這種情況下，如果根據用戶分配的時標執(zhí)行音頻信號的時標處理，不保持時標的AV信號的同步。在時標AV信號的情況下，必須基于另一時標的信號的實際時標來執(zhí)行一個信號的時標，以便保持AV信號的同步。本發(fā)明提出通過將時標的視頻信號的實際時標傳送到音頻信號的TSM處理，以使用時標的視頻信號的實際時標作為用于時標音頻信號的參考時標。通過使用該方法，實現了經時標的AV信號的同步。
更具體地說，引入目標時標的概念。在經時標的信號的再現處理中觀察到的實際時標可以隨時間變化，并且該目標時標就是由變化的實際時標連續(xù)追蹤的參考時標。當僅再現音頻信號時，由用戶分配的時標α成為目標時標。然而，在使用AV設備再現經時標的AV信號時，可以采用視頻信號的實際時標作為其值可以變化的目標時標。在音頻信號的TSM處理中，視頻信號的實際時標可以被認為是用戶分配的時標。
假設由音頻信號時標處理器100和視頻信號時標處理器170根據用戶分配的相同時標分離地時標AV信號的視頻和音頻信號。為了保持視頻信號的音頻信號之間的同步，基于視頻信號的實際時標處理音頻信號的TSM。即，如果視頻信號的實際時標的值改變，則通過將時標修改為視頻信號的實際時標的改變的值來處理音頻信號的時標，當在音頻信號的TSM處理中時該時標用作參考。明確地說，視頻信號時標處理器170周期地計算時標的視頻信號的實際時標，并且檢查所計算的時標是否具有與先前計算的時標相同的值。如果兩個時標不同，則新計算的時標被提供到音頻TSM處理120。另外，視頻信號時標處理器170周期地計算視頻信號的實際時標，并且將其傳送到音頻信號的時標處理器100的處理器120，并且音頻信號的時標處理器100的處理器120可以測試是否已經改變的時標。無論使用哪種方法，可以在步驟S34執(zhí)行關于是否改變視頻信號的實際時標的確定，其中檢查是否由用戶糾正時標。如果已經改變了視頻信號的實際時標，即目標時標α’，則執(zhí)行從S12到S32的過程，例如，返回到步驟S12，讀取改變的目標時標α’，并且重新計算分析間隔Sa等。如果還沒有改變目標時標α’，它轉到步驟S20。
以這種方式，在時標AV信號的情況下，如果使用作為音頻信號時標的參考的、視頻信號的實際時標TSM處理音頻信號，則總是可以保持AV信號的同步。例如，假設由用戶分配的時標是2(即，2倍快速再現)。在基于該值開始AV信號的時標再現之后，可以假設在特定周期中視頻信號的實際時標由于某些原因變?yōu)?.1。在這種情況下，音頻信號時標處理器100從視頻信號時標處理器170接收視頻信號的實際時標值2.1，但是將其當作用戶分配的時標。因此，在音頻信號的經時標的再現中，目標時標從2.0改變?yōu)?.1。然后，基于改變的值，重新計算分析間隔Sa、修改后的分析間隔Sa’和補償后的分析間隔Sa”。通過應用這些值，處理音頻信號的TSM。
在MPEG信號的情況下，可以從時間標簽計算時標的視頻信號的實際時標(即，目標時標)。視頻信號時標處理器170可以從當前時標的視頻幀的時間標簽讀取時間值。因此，如果已知在過去T1的某個點上的時標的視頻幀的時間標簽TS1和在當前時間T2的時標的視頻幀的時間標簽TS2，則可以從方程(4)計算時標的視頻信號的實際時標αv。即，視頻信號的實際時標是從過去的某個點T1到當前時間T2的實際流逝時間T2-T1與在T1的時標的視頻幀的時間標簽TS1和在T2的時標的視頻幀的時間標簽TS2之間的差的比率。所計算的值作為新的目標時標α’被應用到音頻信號的時標再現中。
αv＝α’＝(TS2-TS1)/(T2-T1) (4)以這種方式，根據本發(fā)明，根據用戶分配的時標來時標視頻信號，并且基于視頻信號的實際時標來時標音頻信號。因此，在時標的同時獲得AV信號的同步，而不管視頻信號的實際再現速度，音頻再現速度都可以與視頻再現速度一致。結果，可以很好地保持時標的音頻和視頻信號之間的同步。
另一方面，上述本發(fā)明的音頻信號的TSM技術和用于AV信號的同步技術可以與公知的用于視頻信號的時標再現技術組合來應用到數字廣播信號的時標再現，由此進一步提供各種有用的功能。
由“電話中斷時段觀看功能”來示例第一個有用的附加功能。根據該功能，當不能觀看電視，例如由于使用廁所或電話呼叫(這成為“電話中斷時段”)時存儲廣播信號，并且在電話呼叫后，可以以高速模式順序地從電話中斷時段的起點重播所存儲的廣播信號。然后，當所存儲的廣播信號趕上當前廣播信號時，由當前正在接收的廣播信號來代替所存儲的廣播信號。通過使用該功能，可以連續(xù)地、沒有中斷地觀看廣播信號。
第二個附加的功能是“返回并慢放觀看功能”。當人們希望在觀看電視的同時詳細觀看先前的內容時，該功能以低速或正常速度模式順序地從關心的場景開始重播。之后，以高速模式重播所存儲的廣播信號來進行正常觀看，并且當它趕上當前廣播信號時切換到當前廣播信號。
第三個附加功能是“立即慢放功能”。該功能用于詳細觀看當前廣播信號，至少從當前場景開始在存儲裝置中存儲正在接收的廣播信號，同時以低速模式重播所存儲的廣播信號，并且當它趕上當前廣播信號時切換到當前廣播信號。
可以在正在接收的廣播信號可以被存儲在諸如存儲器或硬盤之類的數據存儲介質中的條件下建立這些功能。因此，用于執(zhí)行這些功能的設備需要配有用于數字廣播信號的存儲裝置和用于音頻和視頻信號的時標處理方法。圖8是描述系統(tǒng)200的配置的方框圖，該系統(tǒng)可以通過時標數字電視廣播信號來提供以上附加的功能?？梢詫⒃撓到y(tǒng)200嵌入在數字電視、具有內置數字廣播接收機的TV電話、個人視頻錄像機(RVR)、機頂盒等等中。
下面簡要描述在圖8的系統(tǒng)中執(zhí)行的處理?？梢詳底只⒎纸M視頻信號，然后使用相關音頻信號和/或數據信道復用視頻信號。數據信道可以是與相關視頻密切相關的或完全不相關的。這些復用信號稱為數字廣播信號(或廣播節(jié)目)。此外，多個廣播節(jié)目可以被復用為單一的傳送流。以傳送流的形式將根據MPEG標準壓縮并編碼的數字廣播信號提供到數字TV。通過地波廣播、衛(wèi)星廣播、有線電視等向TV觀眾供應數字廣播信號。一旦電視接收信號，則由去復用器245去復用視頻、音頻和其它信息并將其傳送到MPEG解碼器230。同時，在存儲器240中存儲它以便提供以上功能。這里，存儲器240是用于廣播信號的存儲裝置的典型實例。MPEG解碼器230的兩個數據源之一是通過去復用器245直接提供的當前廣播信號，而另一個是先前接收的并存儲在存儲器240中的廣播信號。控制器265控制哪個元數據將要被提供到MPEG解碼器230。MPEG解碼器230將MPEG廣播信號分離為視頻信號和音頻信號，然后分別解壓縮并解碼該信號。經解碼的數據成為PCM數據。在不需要時標的情況下，經解碼的視頻和音頻信號被分離地傳送到A/V同步器250。A/V同步器250同步視頻信號和音頻信號。同步的視頻和音頻信號被傳送到視頻編碼器255和音頻數字-模擬轉換器(DAC)260來分別轉換為模擬視頻和音頻信號，最后作為運動圖像和聲音通過顯示器或揚聲器輸出。如果顯示設備是諸如LCD或PDP之類的數字驅動顯示裝置，則需要分離的驅動電路而不是視頻編碼器255。通過總線(275)連接每個元件。
為了執(zhí)行上述3個功能，應該執(zhí)行用于音頻和視頻信號的時標處理。為此，將來自MPEG解碼器230的解碼的視頻和音頻信號提供到視頻時標器220和音頻時標器210，其中對它們進行時標并提供到A/V同步器250。諸如遙控器280或鍵盤270之類的用戶輸入裝置配有用于指示以上3個功能的按鍵。如上所述，例如遙控器280有利地配有用于“電話中斷時段觀看功能”的電話中斷鍵280a、用于“立即慢放功能”的立即慢放鍵280b、用于“返回并慢放觀看功能”的返回和慢放鍵280c、用于趕上廣播信號的返回鍵280d和用于增加或降低重播速度的向上和向下鍵280e、280f等。
圖9是顯示與圖8中的系統(tǒng)不同的另一系統(tǒng)200-1的配置的方框圖。圖9中的系統(tǒng)200-1與圖8的系統(tǒng)200的區(qū)別在于A/V同步器250-1放置在MPEG解碼器230和兩個時標器220、210之間。圖8的系統(tǒng)200在時標后處理視頻和音頻信號的同步，而圖9的系統(tǒng)200-1在時標前同步視頻和音頻信號。
在圖8和9描述的系統(tǒng)中，存儲器240是用于正在接收的廣播信號的存儲介質的典型實例，可以是RAM。作為以MPEG模式壓縮并解碼的數字信號的廣播信號尤其具有許多視頻信號數據。因此，需要大容量RAM來存儲長時間的廣播信號，由此增加成本。因此，在數字TV和與數字TV結合使用的機頂盒和個人視頻錄像機(PVR)的情況下，最好使用諸如硬盤之類的低成本大容量存儲裝置作為存儲器240。此外，可以將硬盤和RAM的組合用作存儲器240。雖然圖8和9中描述的系統(tǒng)是數字TV配置的實例，但它可以被認為是TV電話的配置，即所謂TV接收機功能。由于TV電話不使用遙控器280，TV電話的某些按鍵需要接管遙控器280的相關按鍵280a～280f的功能。
圖5是顯示電話中斷時段觀看功能的執(zhí)行過程的流程圖。圖10a和10b是顯示當使用采用圖8或圖9的系統(tǒng)的數字TV或TV電話(通常稱為“數字TV”)執(zhí)行電話中斷時段觀看功能時的信號處理的圖。假設存儲器240具有能夠存儲最多4分鐘廣播信號的容量。特別地，圖10a和10b分別描述4分鐘和5分鐘的電話中斷時段的實例。當從存儲器存儲并獲取廣播信號時最好采用FIFO模式。如果使用FIFO模式，則在圖10b中只有最新的4分鐘廣播信號被存儲在存儲器240，并且由于溢出，所以不可避免地丟失先前一分鐘的廣播信號，即從19:10到19:11接收的廣播信號。
例如，在由于在觀看TV時的電話呼叫等用戶需要中斷的情況中，按下電話中斷鍵280a(S40)。它記住在按下電話中斷鍵280a時的存儲器240的地址以便讀取在已經按下電話中斷鍵280a的點之后的廣播信號(S42)。必須至少從按下電話中斷鍵280a的點開始存儲廣播信號。不管按鍵輸入，考慮到“返回并慢放觀看功能”和其它功能，最好連續(xù)存儲廣播信號。這是是否向顯示器和揚聲器輸出在電話中斷期間接收的廣播信號的選項。
以下，如圖10a所示，如果用戶在19:14按下遙控器280的返回鍵280d來在電話呼叫后再次觀看電視，則控制器265控制MPEG解碼器230來讀取并解碼存儲器240中存儲的廣播信號。在該操作之前，控制器265最終執(zhí)行關于要被解碼的存儲器的起始地址的判決處理。即，當按下返回鍵280d時，計算電話中斷鍵280a的輸入點Tr和返回鍵280d的輸入點Tb之間的時間周期Tr-Tb，并且確定它是否超過存儲器240的最大存儲時間(如，4分鐘)(S46)。如圖10b所示，如果Tr-Tb＞Tmax，則將電話中斷時段的起始地址從當前時間的地址更新到存儲了之前Tmax分鐘接收到的廣播信號的地址(S48)。在圖10b中，電話中斷時段的起始地址被更新為在存儲器240中當前存儲的第一廣播信號(即，在19:11接收到的廣播信號)的地址，并且將在19:10到19:11之間接收到的廣播信號當作丟失。如圖10b所示，如果Tr-Tb＜Tmax，則它不超過電話中斷時段存儲器240的最大存儲容量，因此不需要更新電話中斷時段的起始地址，并且將不丟失數據。
在電話中斷時段的起始地址的判決處理后，執(zhí)行“趕上廣播信號功能”的處理。即，MPEG解碼器230從以上判決的地址順序地讀取并解碼存儲器240中存儲的廣播信號。將由MPEG解碼器230解碼的視頻和音頻信號分別傳送到視頻時標器220和音頻時標器210，并且在高速模式下以指定的時標重播它們。由每個時標器210、220采用的基本時標可以是正常速度的兩倍，可以通過用戶使用遙控器280的速度控制鍵280e、280f將其改變?yōu)槠渌怠＿M一步通過AV合成器250將時標來以便以高速模式重播的視頻和音頻信號進行合成，并且輸出作為視頻和音頻。從以上解釋不難理解，在圖9所示的系統(tǒng)200-1的情況下，在AV合成器250上的合成將在兩個時標器210、220的時標之前。
當以高速模式重播時，逐漸地減少當前正在接收的廣播信號和存儲器240中存儲的廣播信號的再現信號之間的時差。在這樣的情形中的特定時期后，再現信號幾乎趕上當前廣播信號。如果兩個信號之間的時差很小以至于在預定的誤差范圍內時，則由MPEG解碼器230解碼的信號被通過去復用器245提供的當前廣播信號代替，而不是存儲器240中存儲的廣播信號。然后，將當前廣播信號輸出到數字TV顯示器和揚聲器?？梢酝ㄟ^比較時間標簽的值來判斷是否完成“趕上廣播信號功能”。
接下來，圖6是顯示返回并慢放觀看功能的執(zhí)行過程的流程圖，圖11是顯示當執(zhí)行返回并慢放觀看功能時的信號處理的圖。對于該功能，需要連續(xù)地在存儲器240中存儲當前正在接收的廣播信號，同時將其解碼并實時輸出(S60)。例如，當人在觀看足球節(jié)目的時候希望詳細觀看剛剛進球的場景時，這是有用的功能。在這種情況下，一般再次觀看數個或數十毫秒的場景，因此存儲數十秒的廣播信號的存儲容量對于存儲器240來說是足夠的。
如果用戶在18:20:23按下返回并慢放鍵280c來再次觀看重要的場景(S62)，則控制器265識別按鍵輸入并控制MPEG解碼器230來讀取并解碼存儲器240中存儲的廣播信號，而不是使用從去復用器245直接提供的、當前接收的廣播信號(S64)。只要按下返回并慢放鍵280c，就編程來返回到過去某個時間，如10秒前。例如，如果用戶一旦按下返回并慢放鍵280c，18:20:13的廣播信號將被提供到MPEG解碼器230，這返回到10秒前。由視頻時標器220和音頻時標器210分別時標在MPEG解碼器230解碼的視頻和音頻信號，使得以低速模式(如2倍慢速)重播它們。為了用戶方便的緣故，可以顯示正在返回播放的場景的時間和/或與當前廣播信號的時間差。
為了完成低速模式重播，用戶按下返回鍵280c。如果感測到返回鍵輸入，控制控制器265以使得以高速模式播放存儲器240中存儲的廣播信號以便趕上當前信號(S70)。在步驟S64的低速模式重播和步驟S70的高速模式重播中，可以將基本上應用的時標設置為2倍快速和1.5倍慢速，當用戶需要時可以通過使用按鍵280e、280f來改變這些時標。趕上當前信號的處理與結合圖5的步驟S52說明的相同。例如，如果在18:20:43按下返回鍵280d，以低速重播的信號是從18:20:13到18:20:20的廣播信號。因此，通過以高速模式讀取并重播在18:20:23之后的、存儲在存儲器240中的廣播信號，可以趕上當前信號。例如，如果以1.5倍快速的高速模式播放存儲器240中存儲的廣播信號時，將在18:21:23趕上當前廣播信號。然后，MPEG解碼器230解碼從去復用器245直接提供的廣播信號。
圖7是顯示立即慢放觀看功能的執(zhí)行過程的流程圖，而圖12是顯示當執(zhí)行立即慢放觀看功能時的信號處理的圖。僅對于該功能，在命令該功能的執(zhí)行之前不需要將廣播信號存儲到存儲器240。然而，如果還提供有以上兩個功能，當前廣播信號將連續(xù)地存儲在存儲器240中(S80)。當需要仔細地觀看特定場景時，該功能使得能夠以慢速度模式觀看TV，并且當遇見這樣的場景時，用戶可以通過按下立即慢放鍵280b來執(zhí)行該功能(S82)。如果感測到立即慢放鍵280b的輸入，控制器265立即控制MPEG解碼器230來讀取并解碼存儲器240中存儲的廣播信號。由視頻時標器220和音頻時標器210分別以所分配的時標來時標所解碼的視頻和音頻信號，并且以低速模式播放所獲得的視頻和音頻信號(S84)。如上所述，如果用戶在以上低速模式重播后按下返回鍵280d以便返回到正常速度時?？刂破?65識別出按鍵按下(S86)并開始以高速模式重播存儲器240中存儲的廣播信號(S88)。然后，當所存儲的信號的高速重播趕上當前廣播信號時，控制器265通過控制MPEG編碼器230返回到當前廣播信號以便解碼當前廣播信號(S90)。
在圖12中，如果在18:20:20按下立即慢放鍵280b，并且在18:20:30按下返回鍵280d，并且所分配的時標是2倍慢速和1.5倍快速，則以2倍慢速將從18:20:20開始存儲了5秒的廣播信號重播10秒(從20秒到30秒)，并且從當按下返回鍵280d時的30秒開始，以1.5倍快速重播從25秒開始存儲的廣播信號。結果，再現信號可以在18:20:40趕上當前廣播信號。然后，直接輸出當前廣播信號。
啟用這些有用的附加功能的原因在于無論時標是多少，都可以實現AV信號之間的同步。如前所述，AV同步歸因于根據本發(fā)明的音頻信號的時標方法的靈活性和自適應性。即，根據本發(fā)明，即使視頻信號的重播速度與所分配的時標不同，也基于視頻信號的實際時標來時標音頻信號，并且該自適應的時標是可實時應用的，使得可以連續(xù)地同步時標的視頻和音頻信號。
在以上描述中，不具體描述視頻信號的時標方法。存在許多公知的時標技術，從這些技術中可以選擇并使用恰當的技術。只要能夠精確地計算實際時標，就可以將任意視頻信號時標方法應用到本發(fā)明。
工業(yè)適用性根據本發(fā)明的TSM音頻信號的處理，一旦分配了特定的時標，就可以控制對應于所分配的時標的推算再現時間和通過時標進行經時標的信號的實際再現時間的差，以使其保持在預先建立的微小誤差范圍內。此外，即使時標改變，立即就使用改變后的時標來TSM處理音頻信號。結果，與使用由用戶分配的時標計算出的再現時間相比，通過本發(fā)明的TSM處理獲得的音頻信號總是被保持在能夠被丟棄的狹窄誤差范圍內。因此，當應用到多媒體信號時本發(fā)明可以完成視頻和音頻的同步。特別地，即使時標的信號的實際時標可以偏離用戶分配的值，也基于時標的偏離值來自適應地執(zhí)行音頻信號的TSM處理，使得時標處理中的AV同步需要更少的負載。此外，該AV信號同步導致諸如“電話中斷觀看功能”、“返回并慢放觀看功能”和“立即慢放觀看功能”之類的有用和實際的功能。
可以編程本發(fā)明，使得可以將它包含在個人計算機的多媒體播放器中，例如可以將它嵌入置入DVD播放器、數字VTR、TV電話、PVR(個人視頻錄像機)、MP3播放器、機頂盒之類的數字多媒體或數字廣播信號處理器的芯片中。
雖然參照數個優(yōu)選實施例已經描述了本發(fā)明，但是描述是說明性的，并且不應理解為限制本發(fā)明，本領域內的普通技術人員將理解的是，可在不背離由所附權利要求書限定的本發(fā)明宗旨和范圍的前提下對本發(fā)明進行各種形式和細節(jié)上的修改。
權利要求
1.一種用于數字音頻信號的時標修改方法，其中將輸入信號的音頻采樣流分段為多個重疊分析窗口，將重疊區(qū)域的長度改變?yōu)閷谒峙涞臅r標α的長度，加權合成重疊區(qū)域，由此被轉換為時標輸出信號，該方法包括步驟a)定義從輸入音頻采樣的第mSa采樣(m周期索引)開始的N+Kmax個采樣作為當前周期m的分析窗口Wm，其中如果期望的合成間隔Ss除以時標α所得的值是自然數，則分配該值作為分析間隔Sa，而如果是小數，則分別分配最接近該小數的兩個自然數作為修改后的分析間隔Sa’和補償后的分析間隔Sa”，每次當滿足特定的期望條件時，交替地應用修改后的分析間隔Sa’和補償后的分析間隔Sa”來代替分析間隔Sa；b)當在來自輸出音頻采樣的末尾的OV個采樣和與之重疊的當前周期分析窗口的OV個采樣之間顯示出最高的波形相似性時，計算當前周期分析窗口Wm的移位值Km，同時將當前周期分析窗口Wm的起始點移位特定預定數量個采樣，該預定數量在被定義為從前一周期m-1的輸出信號的末尾開始計算的第OV+1采樣開始的Kmax個采樣的搜索范圍內；c)定義從當前周期分析窗口的前端第Km+1采樣開始的N個采樣作為要添加到當前周期的附加幀，其中通過將從附加幀的前端開始的OV個采樣疊加到從前一周期幀的末尾開始的OV個采樣來合成當前周期m的輸出信號；和d)累積當前周期m的輸出信號的實際再現時間和由時標α計算出的推算再現時間之間的誤差，其中當累積誤差偏離允許誤差范圍的上限或下限時，認為滿足特定的期望條件。
2.如權利要求1所述的修改方法，還包括步驟時標α改變時，基于改變后的時標重新計算分析間隔Sa，其中使用改變后的時標和重新計算出的分析間隔Sa處理時標修改。
3.如權利要求1或2所述的修改方法，其中時標α包括由用戶輸入裝置分配的時標，或通過與視頻信號的時標修改一起執(zhí)行的視頻信號的時標處理提供的視頻信號的實際時標。
4.如權利要求1所述的修改方法，其中當在每個周期在搜索范圍Kmax中移位分析窗口Wm時跳過多個采樣。
5.如權利要求1到4中任意一個所述的修改方法，其中通過由從前一周期幀的末尾開始的特定數量個采樣組成的重疊區(qū)域和與前一周期幀重疊的當前周期的當前周期分析窗口Wm的特定數量個采樣之間的交叉相關性來確定波形相似性。
6.如權利要求5所述的修改方法，其中在前一周期幀的采樣和當前分析窗口中，選擇其索引為k(k大于2的自然數)的倍數的采樣并將其參與到交叉相關性的計算中。
7.一種用于數字音頻/視頻信號的時標修改方法，其中輸入數字音頻/視頻信號被分離為音頻信號和視頻信號，使用相同的時標α時標每個信號，該方法包括步驟a)周期地計算通過基于時標α時標視頻信號所獲得的時標的視頻信號的實際時標；b)確定時標的視頻信號的當前周期的實際時標是否與前一周期的時標不同，其中如果不同，則將當前周期的實際時標作為目標時標α’，目標時標α’成為用于音頻信號的時標修改的參考；和c)將輸入音頻信號的采樣流分段為多個重疊分析窗口，將重疊區(qū)域的長度改變?yōu)閷谀繕藭r標α’的長度，加權合成重疊區(qū)域，由此修改為時標的輸出音頻信號。
8.如權利要求7所述的時標修改方法，其中步驟c)包括步驟a)定義從輸入音頻采樣的第mSa采樣(m周期索引)開始的N+Kmax個采樣作為當前周期m的分析窗口Wm，其中如果期望的合成間隔Ss除以時標α所得的值是自然數，則分配該值作為分析間隔Sa，而如果是小數，則分別分配最接近該小數的兩個自然數作為修改后的分析間隔Sa’和補償后的分析間隔Sa”，每次當滿足特定的期望條件時，交替地應用修改后的分析間隔Sa’和補償后的分析間隔Sa”來代替分析間隔Sa；b)當在來自輸出音頻采樣的末尾的OV個采樣和與之重疊的當前周期分析窗口的OV個采樣之間顯示出最高的波形相似性時，計算當前周期分析窗口Wm的移位值Km，同時將當前周期分析窗口Wm的起始點移位特定預定數量個采樣，該預定數量在被定義為從前一周期m-1的輸出信號的末尾開始計算的第OV+1采樣開始的Kmax個采樣的搜索范圍內；c)定義從當前周期分析窗口的前端第Km+1采樣開始的N個采樣作為要添加到當前周期的附加幀，其中通過將從附加幀的前端開始的OV個采樣疊加到從前一周期幀的末尾開始的OV個采樣來合成當前周期m的輸出信號；和d)累積當前周期m的輸出信號的實際再現時間和時標α’計算的推算再現時間之間的誤差，其中當累積誤差偏離允許誤差范圍的上限或下限時，認為滿足特定的期望條件。
9.如權利要求1、7或8所述的時標修改方法，其中視頻信號的實際時標是從過去的某個點T1到當前時間T2的流逝時間T2-T1與過去的某個點T1中的時標視頻幀的時間標簽TS1到當前時間T2中的時標的視頻幀的當前時間標簽TS2的流逝時間TS2-TS1之間的比率。
10.如權利要求7或8所述的時標修改方法，其中確定允許誤差范圍的上限和下限在誤差范圍內，使得在音頻和視頻時標的再現期間不會識別出信號之間的不同步。
11.如權利要求8所述的時標修改方法，其中當在每個周期在搜索范圍Kmax中移位分析窗口Wm時跳過多個采樣。
12.如權利要求8所述的時標修改方法，其中通過由從前一周期幀的末尾開始的特定數量個采樣組成的重疊區(qū)域和與前一周期幀重疊的當前周期分析窗口Wm的特定數量個采樣之間的交叉相關性來確定波形相似性。
13.如權利要求12所述的時標修改方法，其中在每個前一周期幀的所有采樣和當前分析窗口中，選擇其索引為k(k大于2的自然數)的倍數的采樣并將其參與到交叉相關性的計算中。
14.一種使用設備再現廣播信號的方法，該設備接收以MPEG模式壓縮并編碼的數字電視廣播信號的傳輸流，并且實時再現視頻和音頻信號，該方法包括a)至少在用戶輸入電話中斷鍵之后在存儲裝置中順序地存儲正在接收的數字電視廣播信號；b)在用戶按下返回鍵之后，以FIFO模式讀取所存儲的廣播信號，并且使用預定的時標來時標相應檢索到的視頻和音頻信號，其中，特別地，基于再現的視頻信號的實際時標α來執(zhí)行音頻信號的時標，通過時標通過應用預定的時標計算出的視頻信號獲得的視頻信號的實際時標，輸入信號的音頻采樣流被分段為多個重疊的分析窗口，重疊區(qū)域的長度被改變?yōu)閷谝曨l信號的實際時標α的長度，加權合成重疊區(qū)域，由此轉換為時標的輸出信號；和c)輸出時標的視頻和音頻信號來代替當前正在接收的廣播信號。
15.如權利要求14所述的方法，還包括步驟如果通過應用作為高速再現模式的值的時標α再現的廣播信號與正在接收的廣播信號之間的時間誤差落入特定的期望誤差范圍內，則輸出正在接收的廣播信號來代替所存儲的廣播信號。
16.如權利要求14所述的方法，還包括步驟當電話中斷鍵輸入和返回鍵輸入之間的電話中斷時段超出存儲裝置的最大存儲時間時，以從較早存儲的信號開始的順序將正在接收的廣播信號替代所存儲的廣播信號，并且將從當前時間算起的電話中斷時段的起始地址改變?yōu)樵谧畲蟠鎯r間之前的廣播信號的地址。
17.一種使用設備再現廣播信號的方法，該設備接收以MPEG模式壓縮并編碼的數字電視廣播信號的傳輸流，并且實時再現視頻和音頻信號，該方法包括步驟a)在存儲裝置中順序存儲廣播信號；b)當檢測到用戶的返回并慢放鍵輸入時，從該時間點的特定時間周期之前接收的廣播信號開始以FIFO模式讀取所存儲的廣播信號，并且使用預定的時標來時標相應檢索到的視頻和音頻信號以便能夠實現低速再現，其中，特別地，基于再現的視頻信號的實際時標α執(zhí)行音頻信號的時標，通過時標通過應用預定的時標計算出的視頻信號獲得的視頻信號的實際時標，輸入信號的音頻采樣流被分段為多個重疊的分析窗口，重疊區(qū)域的長度被改變?yōu)閷谝曨l信號的實際時標α的長度，加權合成重疊區(qū)域，由此轉換為時標的輸出信號；和c)輸出時標的視頻和音頻信號來代替當前正在接收的廣播信號。
18.如權利要求17所述的方法，還包括步驟a)當用戶輸入返回鍵時，通過將時標修改為用于高速再現模式的值來時標所存儲的廣播信號，從而進行高速再現，和b)如果以高速模式正在再現的廣播信號和正在接收的廣播信號之間的時間誤差落入特定的期望誤差范圍內，則輸出正在接收的廣播信號來代替所存儲的廣播信號。
19.一種使用設備再現廣播信號的方法，該設備接收以MPEG模式壓縮并編碼的數字電視廣播信號的傳輸流，并且實時再現視頻和音頻信號，該方法包括步驟a)至少在輸入立即慢放鍵之后在存儲裝置中順序存儲廣播信號；b)從輸入立即慢放鍵的點開始以FIFO模式讀取所存儲的廣播信號，并且使用預定的時標來時標相應獲取視頻和音頻信號，以便能夠實現低速再現，其中，特別地，基于再現的視頻信號的實際時標α執(zhí)行音頻信號的時標，通過時標通過應用預定的時標計算出的視頻信號獲得的視頻信號的實際時標，輸入信號的音頻采樣流被分段為多個重疊的分析窗口，重疊區(qū)域的長度被改變?yōu)閷谝曨l信號的實際時標α的長度，加權合成重疊區(qū)域，由此轉換為時標的輸出信號；和c)輸出時標的視頻和音頻信號來代替當前正在接收的廣播信號。
20.如權利要求19所述的方法，還包括步驟a)當用戶輸入返回鍵時，通過將時標修改為用于高速再現模式的值來時標所存儲的廣播信號，從而進行高速再現，和b)如果以高速模式正在再現的廣播信號和正在接收的廣播信號之間的時間誤差落入特定的期望誤差范圍內，則輸出正在接收的廣播信號來代替所存儲的廣播信號。
21.如權利要求14、17或19所述的方法，其中通過下面的步驟執(zhí)行音頻信號的時標a)定義從輸入音頻采樣的第mSa采樣(m周期索引)開始的N+Kmax個采樣作為當前周期m的分析窗口Wm，其中如果期望的合成間隔Ss除以時標α所得的值是自然數，則分配該值作為分析間隔Sa，而如果是小數，則分別分配最接近該小數的兩個自然數作為修改后的分析間隔Sa’和補償后的分析間隔Sa”，每次當滿足特定的期望條件時，交替地應用修改后的分析間隔Sa’和補償后的分析間隔Sa”來代替分析間隔Sa；b)當在來自輸出音頻采樣的末尾的OV個采樣和與之重疊的當前周期分析窗口的OV個采樣之間顯示出最高的波形相似性時，計算當前周期分析窗口Wm的移位值Km，同時將當前周期分析窗口Wm的起始點移位特定預定數量個采樣，該預定數量在被定義為從前一周期m-1的輸出信號的末尾開始計算的第OV+1采樣開始的Kmax個采樣的搜索范圍內；c)定義從當前周期分析窗口的前端第Km+1采樣開始的N個采樣作為要添加到當前周期的附加幀，其中通過將從附加幀的前端開始的OV個采樣疊加到從前一周期幀的末尾開始的OV個采樣來合成當前周期m的輸出信號；和d)累積當前周期m的輸出信號的實際再現時間和由時標α計算出的推算再現時間之間的誤差，其中當累積誤差偏離允許誤差范圍的上限或下限時，認為滿足特定的期望條件。
22.如權利要求14、17或19所述的方法，還包括步驟在時標存儲裝置中存儲的廣播信號之前分別通過MPEG解碼器解壓縮并解碼視頻和音頻信號。
23.如權利要求14、17或19所述的方法，其中通過調節(jié)視頻幀的輸出時間間隔來執(zhí)行視頻信號的時標，以便與時標一樣快，或者減少輸出幀的數量，以便和時標一樣慢，或者將二者組合。
24.如權利要求14、17或19所述的方法，其中通過調節(jié)視頻幀的表示時間標簽的值來執(zhí)行視頻幀的輸出時間間隔的調節(jié)。
全文摘要
問題需要能夠確保時標被修改的音頻信號和視頻信號之間的同步的方法。解決方案當分析移位Sa＝Ss/α具有小數值時，分別選擇最接近該小數值的兩個自然數作為修改后的分析間隔Sa’和補償后的分析間隔Sa”，其中Ss是合成移位，而α是指定的時標(可變速度比)。在通過將源音頻樣本劃分為重疊的連續(xù)分析窗口來改變重放速度的源音頻樣本的時標修改中，只要滿足預定條件，就交替地應用修改后的分析間隔Sa’和補償后的分析間隔Sa”。累積估算的重放時間和時標被修改的音頻信號的實際重放時間之間的時差。滿足預定條件的情況是累積時差超過允許誤差范圍的上限閾值或下限閾值的情況。在改變AV信號的重放速度的處理中，如果給定重放速度改變的視頻信號的實際可變速度比作為音頻信號的目標可變速度比來改變音頻信號的重放速度，則可以獲得視頻信號和音頻信號之間的同步。通過將該技術應用到數字TV或TV電話，可以連續(xù)觀看電話中斷時間的廣播信號。通過在從過去或現在初始化的低速模式重放后還可以通過高速重放模式趕上當前正在接收的廣播信號。
文檔編號H04N9/804GK1902697SQ200480040219
公開日2007年1月24日 申請日期2004年5月17日 優(yōu)先權日2003年11月11日
發(fā)明者崔元龍 申請人:科斯莫坦股份有限公司