專利名稱：便攜式圖像終端機(jī)的音頻和視頻同步方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種圖像終端機(jī)，尤其涉及在可視通話或錄像等移動(dòng) 圖像模式時(shí)，解決攝像機(jī)產(chǎn)生的音頻和視頻不同步問題的便攜式圖像 終端機(jī)的音頻和^見頻同步方法。
背景技術(shù)：
圖1是便攜式多媒體移動(dòng)通信系統(tǒng)構(gòu)成示意圖。第1多媒體移動(dòng)
終端機(jī)(以下稱圖像終端機(jī))l通過與移動(dòng)通信網(wǎng)絡(luò)4進(jìn)行無線鏈接3, 與第2圖像終端機(jī)2進(jìn)行通信。2個(gè)終端機(jī)1, 2間不僅進(jìn)行多媒體傳輸， 而且也傳輸控制數(shù)據(jù)。
為了進(jìn)行可視通話，所述圖像終端機(jī)1，2將通過攝像機(jī)捕獲到的圖 像調(diào)制后傳輸給對(duì)方。與此同時(shí)，從對(duì)方接收多媒體數(shù)據(jù)，并依靠?jī)?nèi) 部的多士某體數(shù)字信號(hào)編解碼器進(jìn)行解調(diào)后，通過顯示裝置7和揚(yáng)聲器 進(jìn)行播放，這樣便能夠?qū)崿F(xiàn)與對(duì)方間的可視通話。
對(duì)原有的可視電話來說，并沒有考慮到以下情況在使用可視電 話期間，攝像機(jī)被關(guān)閉，或者在傳輸音頻和視頻過程中，突然關(guān)閉視 頻。因此，如果發(fā)生這種情況，依據(jù)音頻/視頻同步設(shè)定方式，必須使 音頻/視頻同步中斷。
原有的可視電話同步設(shè)定方式是利用H.263的圖像層(Picture layer) 的時(shí)間參數(shù)(TR: Temporal Reference)數(shù)值對(duì)照的。時(shí)間參數(shù)(TR)在設(shè)定 幀頻(framerate)時(shí)使用，根據(jù)所設(shè)定的幀頻，來決定各幀間的間隔。該
間隔的和為時(shí)間參數(shù)。時(shí)間參數(shù)為8bit，擁有0 255間的數(shù)值，該數(shù)值 如果比255大，便重新從O開始計(jì)算。視頻壓縮由一張一張的畫面壓 縮而成，所以每當(dāng)對(duì)一幀進(jìn)行壓縮時(shí)，便生成圖像層(Picture layer),此 時(shí)便具有計(jì)算的時(shí)間參數(shù)(TR)數(shù)值。因此，在視頻壓縮結(jié)束前一起持 續(xù)進(jìn)行，具有該數(shù)值便能夠同步。
圖2是R263數(shù)據(jù)流的圖像層構(gòu)成示意圖。被壓縮的各幀都有圖 像層，在圖像啟始碼(PSC: Picture Start Code) 22bit后，時(shí)間參數(shù)(TR) 數(shù)值到8bit。
H.263比特?cái)?shù)據(jù)流具有如圖2所示的形式。對(duì)各部分的敘述 (descriptor)如下。
圖像啟始碼(PSC; picture start code)顯示圖像的開始。時(shí)間參數(shù)(TR; Temporal Reference)通過以下方法形成按照時(shí)間在以前傳輸數(shù)據(jù)以后 省略以前參照?qǐng)D像數(shù)據(jù)頭的數(shù)值，或加上非參照?qǐng)D像的數(shù)增加1形成。
圖像類型(PTYPE)包含詳細(xì)的圖像調(diào)制類型，即包含企業(yè)內(nèi)部 網(wǎng)或因特網(wǎng)。PQUANT依靠任何雙方話機(jī)信息進(jìn)行更新前，它所顯示 的是圖像被使用的雙方話機(jī)調(diào)制語。CPM是持續(xù)存在多點(diǎn)和使用視頻 多路傳輸(Continuous Presence Multipoint)模式信號(hào)的符號(hào)語。如果只 對(duì)PSBI圖像子比特?cái)?shù)據(jù)流圖像器-CPM進(jìn)行設(shè)置時(shí)，存在TRB幀雙向 預(yù)測(cè)的幀時(shí)，存在(由PB-幀可知)DBQUANT雙方向幀時(shí)，存在PEI是 關(guān)于剩余插入信息的，為了顯示下一選項(xiàng)的數(shù)據(jù)區(qū)(PSUPP和PEI)的存 在，將其設(shè)置為'T'。 PSUPP和PEI—起作為補(bǔ)充擴(kuò)展信息，作為附加 在H.263的附錄L中定義。
這里，所述時(shí)間參數(shù)顯示被設(shè)定的比特率或幀率的幀間間隔，它
是在0 255之間的數(shù)值。所述時(shí)間參數(shù)數(shù)值存在如下關(guān)系TR(Current) =TR(Previous) + frame interval ， (0^TR<256， TR是固定數(shù))。
因此，利用計(jì)算出的時(shí)間參數(shù)數(shù)值，便能夠知道應(yīng)該跳過(SKIP) 的輸入幀的數(shù)量。因此，便能夠使音頻和視頻間同步。
例如，如果使用按照每秒30幀(30 fps)輸入的攝像機(jī)，按照每秒 7.5Qjs進(jìn)行R263壓縮，在理想的情況下，每幀間的間隔為4，并表現(xiàn) 出0， 4, 8,12，...，252， O，...的構(gòu)成形態(tài)。
圖3是理想情況下每秒輸入30幀(30fys)的攝像機(jī)按照7.5fJ3S進(jìn)行 壓縮時(shí)，時(shí)間參數(shù)和音頻、視頻間的同步。通過這種方式能夠進(jìn)行可 視通話。
如果正在進(jìn)行可視通話，關(guān)閉攝像機(jī)，或者沒有輸入時(shí)，按照攝 像機(jī)的設(shè)定，在現(xiàn)有的可視電話中，視頻便會(huì)處于暫時(shí)中止?fàn)顟B(tài)。此 時(shí)，H.263的時(shí)間參數(shù)數(shù)值的增加便會(huì)停止。在這種情況下，視頻雖然 中止，但是音頻還會(huì)繼續(xù)壓縮并傳輸，對(duì)方便能夠聽到聲音。這里， 如果重新開啟攝#4幾的設(shè)定，便會(huì)出現(xiàn)圖4的狀態(tài)。
如圖4所示，攝像機(jī)時(shí)間參數(shù)為8時(shí)(T1)停止，視頻多媒體數(shù)字信 號(hào)編解碼器便會(huì)停止運(yùn)行。此時(shí)，音頻繼續(xù)輸出，在打開攝像機(jī)(T2) 前，繼續(xù)出現(xiàn)視頻延遲(Videodelay)(Tl-T2)。即使攝像機(jī)正常工作，因 為無法與實(shí)際增加的時(shí)間參數(shù)數(shù)值相吻合，所以在時(shí)間參數(shù)的計(jì)算一 致前， 一起會(huì)產(chǎn)生延遲(delay)(Td)。在這一時(shí)刻，實(shí)際壓縮的數(shù)據(jù)是與 音頻合在一起的，所以音頻和視頻間便會(huì)出現(xiàn)同步問題。這是因?yàn)闀r(shí) 間參數(shù)數(shù)值始終作為增加數(shù)據(jù)存在所造成的。

發(fā)明內(nèi)容
為解決上述問題，本發(fā)明提供一種便攜式圖像終端機(jī)的音頻和視 頻同步方法來解決可視通話過程中攝像機(jī)開啟/關(guān)閉所產(chǎn)生的同步問 題。本發(fā)明依靠時(shí)間參數(shù)數(shù)值的變化使視頻延遲不發(fā)生，因而不受攝 像機(jī)關(guān)閉的影響，繼續(xù)進(jìn)行壓縮，在增加時(shí)間參數(shù)數(shù)值后，在攝像機(jī) 開啟的時(shí)刻，作為最后時(shí)間參數(shù)數(shù)值加入到圖像層內(nèi)，使音頻和視頻 間能夠同步。
為了實(shí)現(xiàn)上述目的，本發(fā)明的便攜式圖像終端機(jī)的音頻和視頻同
步方法由以下三個(gè)步驟構(gòu)成在便攜式圖像終端機(jī)中，進(jìn)行可視通話 的步驟;在進(jìn)行可視通話過程中，如果攝像機(jī)關(guān)閉，使視頻多媒體數(shù)字 信號(hào)編解碼器不停止壓縮，而是繼續(xù)進(jìn)行壓縮，并計(jì)算出時(shí)間參數(shù)數(shù) 值的步驟;如果所述攝像機(jī)開啟，將該時(shí)刻的最后時(shí)間參數(shù)數(shù)值加入到 視頻數(shù)據(jù)流的圖像層中，使音頻和視頻同步的步驟。
本發(fā)明的便攜式圖像終端機(jī)的音頻和視頻同步方法包括以下兩個(gè) 步驟在終端機(jī)的移動(dòng)圖傳模式下，無論攝像機(jī)是否發(fā)生非正常錯(cuò)誤， 能使視頻多々某體數(shù)字信號(hào)編解碼器繼續(xù)進(jìn)行壓縮，并增加時(shí)間參數(shù)數(shù) 值計(jì)算的步驟；如果所述攝像機(jī)正常運(yùn)行，將在該時(shí)刻最后計(jì)算出的 時(shí)間參數(shù)數(shù)值加入到視頻數(shù)據(jù)流內(nèi)，使音頻和視頻同步的步驟。
所述視頻數(shù)據(jù)流最好是H.263數(shù)據(jù)流。
如上所述，本發(fā)明的便攜式圖像終端機(jī)的音頻和視頻同步方法具 有以下效果在進(jìn)行可視通話時(shí)，能夠使視頻多媒體數(shù)字信號(hào)編解碼 器不受攝像機(jī)開啟/關(guān)閉的影響繼續(xù)運(yùn)行，減少視頻和音頻間發(fā)生音頻/ 視頻不同步現(xiàn)象。
同時(shí)，本發(fā)明還具有如下效果當(dāng)才聶像才幾暫時(shí)處于停止運(yùn)行狀態(tài) 時(shí)，如果音頻首先開啟，而^f見頻畫面在其后出現(xiàn)，能夠事先防止因音 頻和視頻不同步所造成的視力和聽覺不能同時(shí)進(jìn)行的現(xiàn)象。


圖l是便攜式多媒體移動(dòng)通信系統(tǒng)構(gòu)成示意圖2是H,263數(shù)據(jù)流的圖像層構(gòu)成示意圖3是現(xiàn)有技術(shù)的可視通話音頻和視頻處于同步狀態(tài)圖4是現(xiàn)有技術(shù)進(jìn)行可視通話時(shí)音頻和視頻出現(xiàn)同步錯(cuò)誤時(shí)的示
意圖5是本發(fā)明的便攜式圖像終端機(jī)構(gòu)成圖6是本發(fā)明的進(jìn)行可視通話時(shí)音頻和視頻處于同步狀態(tài)示意圖
圖7是本發(fā)明的便攜式圖像終端機(jī)的音頻和視頻同步方法流程圖
<附圖中主要部分的符號(hào)說明>
ll...射頻裝置
12...移動(dòng)基站調(diào)制解調(diào)器芯片
12a...計(jì)時(shí)器
12b…音頻多媒體數(shù)字信號(hào)編解碼器
13...音頻處理裝置 14...揚(yáng)聲器
15...微處理器
16...按鍵輸入裝置
17...DSP芯片
17a...視頻多士某體數(shù)字信號(hào)編解碼器
18...攝像裝置
19..丄CD裝置
20...存儲(chǔ)裝置
具體實(shí)施例方式
圖5是本發(fā)明的便攜式圖像終端機(jī)的音頻和視頻同步設(shè)備構(gòu)成圖。
如圖5所示，射頻裝置(RF裝置)ll具有便攜電話機(jī)的無線通信功 能。所述射頻裝置11由以下兩部分構(gòu)成使發(fā)送的信號(hào)頻率發(fā)生上升 變化并放大的RF發(fā)射機(jī)；將接收到的信號(hào)低噪音放大，并使頻率降低 的RF接收機(jī)。
移動(dòng)基站調(diào)制解調(diào)器(MSM)芯片12由以下兩部分構(gòu)成對(duì)所要發(fā) 送的信號(hào)進(jìn)行調(diào)制的調(diào)制發(fā)射機(jī)；對(duì)接收到的信號(hào)進(jìn)行解調(diào)的解調(diào)接 收機(jī)等。即，所述移動(dòng)基站調(diào)制解調(diào)器芯片12由調(diào)制解調(diào)器(MODEM) 和音頻多媒體數(shù)字信號(hào)編解碼器(CODEC)構(gòu)成。這里，所述多媒體數(shù) 字信號(hào)編解碼器包括以下兩部分處理打包數(shù)據(jù)等的數(shù)據(jù)多媒體數(shù)字 信號(hào)編解碼器；處理聲音等音頻信號(hào)的音頻多^f某體數(shù)字信號(hào)編解碼器 12b。同時(shí)，音頻多媒體數(shù)字信號(hào)編解碼器12b作為便攜式電話機(jī)的內(nèi) 置聲音多媒體數(shù)字信號(hào)編解碼器(speech codec),能夠?qū)⑴c對(duì)方間進(jìn)行 通話時(shí)輸入的聲音信號(hào)進(jìn)行編碼。同時(shí)，MSM芯片12在可視通話模 式下，進(jìn)行整體控制，并提供計(jì)時(shí)器12a所生成的時(shí)鐘的時(shí)間信息。
音頻處理裝置13將所述移動(dòng)基站調(diào)制解調(diào)器芯片12的音頻多媒 體數(shù)字信號(hào)編解碼器12b輸出的音頻信號(hào)通過揚(yáng)聲器14播放，或?qū)⑽?處理器15生成的輸入音頻信號(hào)傳輸給所述移動(dòng)基站調(diào)制解調(diào)器芯片12 的音頻多媒體數(shù)字信號(hào)編解碼器12b。
按鍵輸入裝置16由能夠輸入數(shù)字和文字信息的按鍵和設(shè)定各種功 能的功能鍵構(gòu)成。同時(shí)，所述按鍵輸入裝置16在本發(fā)明實(shí)施例中還可
以具備以下按鍵用于控制移動(dòng)圖像錄像模式的功能鍵；用于驅(qū)動(dòng)攝 像機(jī)的攝像鍵。同時(shí)，在本發(fā)明的實(shí)施例中，通過所述按鍵輸入裝置 16也能夠輸入在合成移動(dòng)圖像信號(hào)中合成的文本信號(hào)。
DSP(Digital Signal Processor: DSP)芯片17具有以下功能對(duì)攝像 裝置18捕獲到的圖像信號(hào)編碼成能夠顯示圖像信號(hào)的畫面數(shù)據(jù)。所述 DSP芯片17對(duì)攝像裝置18輸出的圖像信號(hào)以幀為單位進(jìn)行處理，將 所述幀圖像數(shù)據(jù)按照LCD裝置19的特性和大小進(jìn)行輸出。同時(shí)，所 述DSP芯片17還具有視頻多媒體數(shù)字信號(hào)編解碼器17a,所述視頻多 媒體數(shù)字信號(hào)編解碼器17a可以是H.263，對(duì)圖像信號(hào)按照設(shè)定的方式 進(jìn)行編碼，或者將經(jīng)過編碼的幀圖像數(shù)據(jù)解碼成原來的幀圖像數(shù)據(jù)。 所述DSP芯片17在所述MSM芯片12的控制下，按照設(shè)定的模式， 生成或者播放移動(dòng)圖像信號(hào)。
攝像裝置(camera module)18由以下部分構(gòu)成在攝制圖像時(shí)，將 感知到的光信號(hào)變換為電信號(hào)的攝像機(jī)傳感器；將從所述攝像機(jī)傳感 器攝到的模擬信號(hào)轉(zhuǎn)換為數(shù)字信號(hào)的信號(hào)處理裝置。這里，所述攝像 機(jī)傳感器假設(shè)為CCD傳感器，同時(shí)，所述攝^^幾傳感器和信號(hào)處理裝 置可以具有一體化結(jié)構(gòu)，同時(shí)也可以分開。
LCD裝置19將所述DSP芯片17輸出的幀圖像信號(hào)或?qū)Ψ綀D像以 畫面形式顯示。并顯示所述MSM芯片12輸出的用戶數(shù)據(jù)。同時(shí)，所 述LCD裝置19在DSP芯片17的控制下，顯示要播放的移動(dòng)圖像信號(hào)。
存儲(chǔ)裝置20可以由程序存儲(chǔ)器和數(shù)據(jù)存儲(chǔ)器構(gòu)成。所述程序存儲(chǔ) 器內(nèi)存儲(chǔ)以下內(nèi)容:控制便攜電話機(jī)一般功能的程序；控制施加到LCD 裝置內(nèi)的圖像信號(hào)路徑的程序。同時(shí)，所述數(shù)據(jù)存儲(chǔ)器用于暫時(shí)存儲(chǔ)
運(yùn)行程序時(shí)生成的數(shù)據(jù)。同時(shí)，所述數(shù)據(jù)存儲(chǔ)器由以下部分構(gòu)成用 于存儲(chǔ)通過所述4^建輸入裝置16輸入的文本信號(hào)的文本緩存器；用于 存儲(chǔ)視頻多媒體數(shù)字信號(hào)編解碼器17a生成的移動(dòng)圖像信號(hào)的圖像緩 存器；用于存儲(chǔ)所述音頻多媒體數(shù)字信號(hào)編解碼器(12b)生成的音頻信 號(hào)的音頻緩存器。所述移動(dòng)圖像存儲(chǔ)器在本發(fā)明中是能夠存儲(chǔ)經(jīng)過編 碼的圖像數(shù)據(jù)和文本信號(hào)(也可以包含各種音頻)的合成數(shù)據(jù)的存儲(chǔ)器。
在本發(fā)明中，在進(jìn)行可視通話過程中，即使攝像機(jī)關(guān)閉，也不會(huì) 受攝像機(jī)關(guān)閉影響，視頻多媒體數(shù)字信號(hào)編解碼器17a繼續(xù)進(jìn)行壓縮。 由此，因?yàn)樵跀z像機(jī)關(guān)閉后，也能夠繼續(xù)進(jìn)行壓縮，所以隨著時(shí)間流 動(dòng)，時(shí)間參數(shù)數(shù)值也有一定增加。此后，在打開攝像機(jī)時(shí)，作為最后 時(shí)間參數(shù)數(shù)值被加入到圖像層內(nèi)，即使攝像機(jī)關(guān)閉視頻產(chǎn)生延遲，也 能夠解決音頻和視頻的同步問題。
如圖6所示，攝像機(jī)關(guān)閉時(shí)刻(T11)時(shí)間參數(shù)數(shù)值是8時(shí)，視頻多 媒體數(shù)字信號(hào)編解碼器在進(jìn)行可視通話期間，繼續(xù)進(jìn)行壓縮。進(jìn)行該
視頻壓縮的同時(shí)，繼續(xù)傳輸時(shí)間參數(shù)數(shù)值。
此后，在開啟攝像機(jī)時(shí)刻(T12),如果加入最后時(shí)間參數(shù)數(shù)值，即 使攝像機(jī)關(guān)閉產(chǎn)生視頻延遲，也能夠解決音頻和視頻間的同步問題。 例如將攝像機(jī)開啟時(shí)刻(T12)的最后時(shí)間參數(shù)數(shù)值加入到圖像層內(nèi)，便 能夠?qū)崿F(xiàn)同步。
圖7是本發(fā)明的便攜式圖像終端機(jī)的音頻和視頻同步方法流程圖。
如圖7所示，進(jìn)行可視通話(S11)。此時(shí)，判斷攝像機(jī)是否關(guān)閉(S13)。 如果攝像機(jī)被關(guān)閉，視頻多媒體數(shù)字信號(hào)編解碼器繼續(xù)進(jìn)行壓縮，并 增加TR數(shù)值(S15)。此后判斷攝像機(jī)是否被重新開啟(S17)。如果攝像
機(jī)被開啟，將所述增加的最后TR數(shù)值加入到圖像層內(nèi)(S19),實(shí)現(xiàn)視 頻和音頻間的同步。
在本發(fā)明中，不僅在可視通話時(shí)，而且在錄像模式下，即使攝像 機(jī)非正常運(yùn)行，視頻多媒體數(shù)字信號(hào)編解碼器也會(huì)繼續(xù)運(yùn)行，并繼續(xù) 增加時(shí)間參數(shù)數(shù)值，在設(shè)備正常運(yùn)行的同時(shí)，能夠?qū)崿F(xiàn)音頻和視頻的 同步。
通過上述的說明，本領(lǐng)域技術(shù)人員完全可以在不偏離本發(fā)明技術(shù) 思想的范圍內(nèi)，進(jìn)行多樣的變更以及修改。因此，本發(fā)明的技術(shù)性范 圍并不局限于說明書的內(nèi)容，必須要根據(jù)權(quán)利要求范圍來確定其技術(shù) 性范圍。
權(quán)利要求
1、一種便攜式圖像終端機(jī)的音頻和視頻同步方法，其特征在于，包括以下步驟在便攜式圖像終端機(jī)中，進(jìn)行可視通話的步驟；在進(jìn)行可視通話過程中，如果攝像機(jī)關(guān)閉，使視頻多媒體數(shù)字信號(hào)編解碼器不停止壓縮，而是繼續(xù)進(jìn)行壓縮，并計(jì)算出時(shí)間參數(shù)數(shù)值的步驟；如果所述攝像機(jī)開啟，將該時(shí)刻的最后時(shí)間參數(shù)數(shù)值加入到視頻數(shù)據(jù)流的圖像層中，使音頻和視頻同步的步驟。
2、 如權(quán)利要求1所述的便攜式圖像終端機(jī)的音頻和視頻同步方法， 其特征在于，從攝像機(jī)關(guān)閉開始到攝像機(jī)開啟期間所造成的延遲為視 頻的延遲。
3、 一種便攜式圖像終端機(jī)的音頻和視頻同步方法，其特征在于， 包括以下步驟在便攜式圖像終端機(jī)中，在終端機(jī)的移動(dòng)圖像模式下，無論攝像 機(jī)是否發(fā)生非正常錯(cuò)誤，能使視頻多媒體數(shù)字信號(hào)編解碼器繼續(xù)進(jìn)行 壓縮，并增加時(shí)間參數(shù)數(shù)值計(jì)算的步驟；如果所述攝像機(jī)正常運(yùn)行，將在該時(shí)刻最后計(jì)算出的時(shí)間參數(shù)數(shù) 值加入到視頻數(shù)據(jù)流內(nèi)，使音頻和視頻同步的步驟。
4、 如權(quán)利要求1或3所述的便攜式圖像終端機(jī)的音頻和視頻同步 方法，其特征在于，所述視頻數(shù)據(jù)流是H.263數(shù)據(jù)流。
全文摘要
本發(fā)明涉及一種便攜式圖像終端機(jī)的音頻和視頻同步方法，該方法包括如下步驟在便攜式圖像終端機(jī)中，進(jìn)行可視通話的步驟；在進(jìn)行可視通話過程中，如果攝像機(jī)非正常關(guān)閉，并不停止視頻多媒體數(shù)字信號(hào)編解碼器壓縮操作，而是使其繼續(xù)進(jìn)行，并計(jì)算時(shí)間參數(shù)數(shù)值的步驟；如果所述攝像機(jī)開啟，將該時(shí)刻的最后時(shí)間參數(shù)數(shù)值加入到視頻數(shù)據(jù)流的圖像層內(nèi)，使音頻和視頻同步。通過本發(fā)明的便攜式圖像終端機(jī)的音頻和視頻同步方法，能夠解決因攝像機(jī)非正常工作所造成的音頻和視頻不同步問題。
文檔編號(hào)H04N7/14GK101102510SQ200610086329
公開日2008年1月9日 申請(qǐng)日期2006年7月7日 優(yōu)先權(quán)日2006年7月7日
發(fā)明者金盛鎮(zhèn) 申請(qǐng)人:樂金電子(昆山)電腦有限公司