用于異步網(wǎng)絡(luò)上的多媒體內(nèi)容的同步傳輸?shù)难b置和方法
【專利摘要】一種裝置包括：接收器(21)、延遲值接收器(25)、時間戳計算單元(29)以及發(fā)射器(25)。該接收器(21)被配置為接收內(nèi)容信號。該接收器(21)被配置為接收內(nèi)容信號。該延遲值接收器(25)被配置為從另一個裝置(13)接收延遲值。該時間戳計算單元(29)被配置為基于延遲值來確定時間戳。該發(fā)射器(25)被配置為將包括時間戳的內(nèi)容信號發(fā)送至另一個裝置(13)。
【專利說明】用于異步網(wǎng)絡(luò)上的多媒體內(nèi)容的同步傳輸?shù)难b置和方法
【技術(shù)領(lǐng)域】
[0001]本公開涉及傳輸裝置、傳輸方法、接收裝置、接收方法、同步傳送系統(tǒng)、同步傳送方法以及在非臨時性計算機可讀介質(zhì)上編碼的程序，并且具體地涉及優(yōu)選地在其中多媒體數(shù)據(jù)經(jīng)由異步包傳送網(wǎng)絡(luò)同步傳送的情況下使用的傳輸裝置、傳輸方法、接收裝置、接收方法、同步傳送系統(tǒng)、同步傳送方法以及在非臨時性計算機可讀介質(zhì)上編碼的程序。
【背景技術(shù)】 [0002]到目前為止，在廣播站等中使用的攝像機和照相機控制單元(在下文中其將被稱為(XU)通過HD-SDI電纜連接，并且視頻信號以解壓的方式經(jīng)由HD-SDI電纜被同步傳送。然后，近年來，該HD-SDI電纜用以太網(wǎng)(注冊商標)電纜替換。在這種情況下，類似于使用HD-SDI電纜時，請求攝像機和CXU的各參考信號高精度地彼此同步并且視頻信號的傳送延遲被設(shè)為小于或等于視頻幀間隔。
[0003]可以通過使用IEEE1588 PTP (精確時間協(xié)議)(例如，參見PTL I)來實現(xiàn)由以太網(wǎng)(注冊商標)電纜連接的CCU和攝像機的相應(yīng)的參考信號之間的高精度地同步。
[0004]同樣，針對傳送延遲上的設(shè)置小于或等于視頻幀間隔，只要在連接可以通過HD-SDI電纜建立的范圍內(nèi)距離較短，則在用以太網(wǎng)(注冊商標)電纜替換時不會出現(xiàn)問題。
[0005]引用列表
[0006]專利文獻
[0007]PTL 1:日本未經(jīng)審查的專利申請公開第2010-190635號
【發(fā)明內(nèi)容】

[0008]技術(shù)問題
[0009]此外，近來，其中攝像機和CXU均連接到通過互聯(lián)網(wǎng)(包括WAN(廣域網(wǎng))和LAN(局域網(wǎng)))表示的異步包傳送網(wǎng)絡(luò)并且經(jīng)由該異步包傳送網(wǎng)絡(luò)傳送視頻信號的需求增加。
[0010]而且在這種情況下，攝像機與CXU的各參考信號之間高精度地同步可以通過使用IEEE1588 PTP來實現(xiàn)。然而，難以保證視頻信號的傳送延遲上的設(shè)置小于或等于視頻幀間隔。
[0011]當(dāng)與自身的參考信號匹配的介質(zhì)相位(就視頻信號而言為幀相位)中的視頻數(shù)據(jù)通過傳輸側(cè)傳輸并且其通過接收側(cè)接收時，如果視頻信號的傳送延遲增加，則在接收側(cè)上的相關(guān)介質(zhì)相位與參考信號之間生成產(chǎn)生移位。結(jié)果，當(dāng)處理通過接收側(cè)接收的視頻信號時在視頻和首頻中出現(xiàn)干擾。
[0012]應(yīng)注意的是，介質(zhì)相位指的是多媒體數(shù)據(jù)的幀再現(xiàn)定時(在視頻信號的情況下的FSYNC等)相對于預(yù)定參考信號的偏移量。
[0013]鑒于上述情況和目的構(gòu)造本公開以允許諸如視頻信號的多媒體數(shù)據(jù)經(jīng)由異步包傳送網(wǎng)絡(luò)同步傳送。[0014]問題的解決方案
[0015]在一個實施例中，本發(fā)明包括一種裝置，該裝置包括接收器、延遲值接收器、時間戳計算單元以及發(fā)射器。接收器被配置為接收內(nèi)容信號。所述延遲值接收器被配置為從另一個裝置接收延遲值。時間戳計算單元被配置為基于延遲值確定時間戳。發(fā)射器被配置為將包括時間戳的內(nèi)容信號發(fā)送至另一個裝置。
[0016]在另一個實施例中，所述裝置包括接收器、延遲值計算器以及發(fā)射器。接收器被配置為從另一個裝置接收包括時間戳的內(nèi)容信號。延遲值計算器被配置為基于時間戳和時間戳的接收時間計算延遲值。發(fā)射器被配置為將延遲值發(fā)送至另一個裝置，使得另一個裝置使用延遲值來計算稍后的時間戳。
[0017]根據(jù)本公開的第二方面，可以經(jīng)由異步包傳送網(wǎng)絡(luò)接收諸如視頻信號的多媒體數(shù)據(jù)而不發(fā)生相移。
[0018]根據(jù)本公開的第三方面，可以經(jīng)由異步包傳送網(wǎng)絡(luò)同步傳送諸如視頻信號的多媒體數(shù)據(jù)。
【專利附圖】

【附圖說明】
[0019][圖1]圖1是示出了應(yīng)用了本公開的同步傳送系統(tǒng)的配置實例的框圖。
[0020][圖2]圖2是示出了視頻信號的通信時序的時序圖。
[0021][圖3]圖3是用于描述視頻信號傳送處理的流程圖。
[0022][圖4]圖4是用于描述由接收裝置進行的延遲測量處理的流程圖。
[0023][圖5]圖5是用于描述通過傳輸裝置進行的校正處理的流程圖。
[0024][圖6]圖6是示出了接收裝置的另一配置實例的框圖。
[0025][圖7]圖7是示出了計算機的配置實例的框圖。
【具體實施方式】
[0026]在下文中，將參照附圖詳細描述用于實現(xiàn)本公開的最佳方式(在下文中其被稱為實施例)。
[0027]〈1、實施例〉
[0028]<同步傳送系統(tǒng)的配置實例>
[0029]圖1示出了根據(jù)本公開的同步傳送系統(tǒng)的配置實例。同步傳送系統(tǒng)10由照相機11、傳輸裝置12以及接收裝置13組成。 [0030]照相機11與從傳輸裝置12的介質(zhì)相位控制單元28供應(yīng)的符合SMPTE-274M的參考信號同步執(zhí)行視頻拍攝并將由此獲得的視頻信號經(jīng)由HD-SDI I/F輸出至傳輸裝置12。
[0031]當(dāng)參考信號和系統(tǒng)時鐘與經(jīng)由網(wǎng)絡(luò)14連接的接收裝置13同步時，傳輸裝置12通過壓縮編碼打包從照相機11輸入的視頻信號以便經(jīng)由網(wǎng)絡(luò)14同步傳送至接收裝置13。接收裝置13從傳輸裝置12接收并解碼在壓縮編碼和打包狀態(tài)下傳輸?shù)囊曨l信號。網(wǎng)絡(luò)14是由互聯(lián)網(wǎng)表示的異步包傳送網(wǎng)絡(luò)。
[0032]<傳輸裝置12的配置實例>
[0033]傳輸裝置12由編碼器21、FEC處理單元22、RTP處理單元23、平滑單元(smoothingunit) 24、通信單元25、高精度時鐘同步單元26、參考信號生成單元27、介質(zhì)相位控制單元28、時間戳控制單元29、時間戳計數(shù)器30以及RTCP處理單元31組成。
[0034]編碼器21對從照相機11輸入的視頻信號執(zhí)行壓縮編碼并將由此獲得的編碼數(shù)據(jù)輸出至FEC處理單元22。FEC(前向錯誤校正)處理單元22對輸入編碼數(shù)據(jù)執(zhí)行冗余編碼處理以便添加諸如里德-所羅門碼的錯誤校正碼并輸出至RTP處理單元23。
[0035]RTP(實時傳送協(xié)議)處理單元23將添加有錯誤校正碼的編碼數(shù)據(jù)打包成符合IETF RFC3550RTP的RTP包。同樣，RTP處理單元23添加時間戳S_TS，其中添加有時間戳校正量TS_0FFSET，其在實現(xiàn)打包的時刻從時間戳計數(shù)器48通知給相應(yīng)的RTP包以便輸出至平滑單元24。應(yīng)注意的是，除了實現(xiàn)打包的時刻之外，添加到RTP包的時間戳S_TS可以對應(yīng)于將視頻信號輸入至編碼器21時的時刻，并且也可以對應(yīng)于從傳輸裝置12傳輸視頻信號的時刻。
[0036]平滑單元24對從RTP處理單元23順序輸入的RTP包進行平滑處理以便輸出至通信單元25。
[0037]通信單元25經(jīng)由網(wǎng)絡(luò)14將平滑的RTP包傳輸至接收裝置13。同樣，通信單元25經(jīng)由網(wǎng)絡(luò)14基于在接收裝置13的高精度時鐘同步單元26與高精度時鐘同步單元47之間通信的IEEE1588PTP，傳輸并接收用于參考信號同步的PTP消息。此外，通信單元25經(jīng)由網(wǎng)絡(luò)14傳輸并接收在接收裝置13的RTCP處理單元31與RTCP處理單元50之間傳遞的RTCP包。
[0038]高精度時鐘同步單元26基于在接收裝置13的高精度時鐘同步單元47之間傳遞的PTP消息控制參考信號生成單元27，使得傳輸裝置12和接收裝置13的相應(yīng)的參考信號和系統(tǒng)時鐘高精度地彼此同步。參考信號生成單元27生成與接收裝置13的參考信號同步的參考信號，同時跟隨來自高精度時鐘同步單元26的控制以便輸出至介質(zhì)相位控制單元28和其他相應(yīng)的單元。
[0039]介質(zhì)相位控制單元28基于從RTCP處理單元31輸入的傳送延遲信息DJFFSET來決定介質(zhì)相位校正量M_0FFSET并使從參考信號生成單元27輸入的參考信號的相位前移(advance)介質(zhì)相位校正量M_0FFSET以便供應(yīng)給照相機11。據(jù)此，照相機11操作的同時跟隨參考信號，與從介質(zhì)相位控制單元28供應(yīng)的接收裝置13的參考信號相比，該參考信號中的相位被前移介質(zhì)相位校正量M_0FFSET。
[0040]時間戳控制單元29基于從RTCP處理單元31輸入的傳送延遲信息D_0FFSET來決定時間戳校正量TS_0FFSET并通知時間戳計數(shù)器30所決定的時間戳校正量TS_0FFSET。
[0041]時間戳計數(shù)器30生成時間戳S_TS并通知該時間戳的RTP處理單元23，通過基于參考信號生成單元27的參考信號將從介質(zhì)相位控制單元28通知的時間戳校正量TS_OFFSET添加到表示系統(tǒng)時鐘的時間戳TS來校正時間戳S_TS。同樣，時間戳計數(shù)器30通知RTCP處理單元31時間戳校正量TS_0FFSET。
[0042]RTCP (RTP控制協(xié)議)處理單元31周期性地生成存儲從時間戳計數(shù)器30通知的時間戳校正量TS_0FFSET的RTCP包以輸出至通信單元25。同樣，RTCP處理單元31基于存儲在從接收裝置13的RTCP處理單元50傳輸?shù)腞TCP包中的平均傳送延遲值Da生成傳送延遲信息D_0FFSET以輸出至介質(zhì)相位控制單元28和時間戳控制單元29。
[0043]應(yīng)注意的是，由于介質(zhì)相位控制單元28中的介質(zhì)相位的校正基本上要處理網(wǎng)絡(luò)14的傳送延遲，因此前移參考信號的相位，但相位也可以過來以調(diào)整前移的范圍。在此情況下，可以生成負值作為介質(zhì)相位校正量M_OFFSET。類似地，時間戳控制單元29不僅能夠前移而且能夠返回時間戳計數(shù)器30的時間戳TS。在此情況下，可以生成負值作為時間戳校正量 TS_OFFSET。
[0044]<接收裝置13的配置實例>
[0045]接收裝置13由通信單元41、RTP處理單元42、抖動吸收緩沖器43、FEC處理單元44、解碼器45、參考信號生成單元46、高精度時鐘同步單元47、時間戳計數(shù)器48、延遲測量單元49以及RTCP處理單元50組成。
[0046]通信單元41接收存儲經(jīng)由網(wǎng)絡(luò)14從傳輸裝置12傳輸?shù)倪M行壓縮編碼的視頻信號的RTP包并將該RTP包輸出至RTP處理單元42。同樣，通信單元41傳輸并接收在傳輸裝置12的高精度時鐘同步單元47與高精度時鐘同步單元26之間傳遞的用于參考信號同步的PTP消息。此外，通信單元41傳輸并接收在傳輸裝置12的RTCP處理單元50與RTCP處理單元31之間傳遞的RTCP包。
[0047]RTP處理單元42重構(gòu)從通信單元41輸入的RTCP包以輸出至抖動吸收緩沖器43。抖動吸收緩沖器43緩沖所重構(gòu)的RTP包并順序?qū)敵鲋罠EC處理單元44，其中添加到緩沖RTP包的時間戳S_TS與在時間戳計數(shù)器48中計數(shù)的時間戳R_TS匹配。
[0048]在存儲在從抖動吸收緩沖器43輸出的RTP包中的編碼數(shù)據(jù)中出現(xiàn)錯誤或缺陷的情況下，F(xiàn)EC處理單元44對其進行校正以輸出至解碼器45。解碼器45解碼編碼數(shù)據(jù)并將由此獲得的視頻信號輸出至后續(xù)級(stage)，同時與由參考信號生成單元46所生成的參考信號同步。
[0049]參考信號生成單元46生成具有接收裝置13中的相應(yīng)的單元的操作時序的參考的功能的參考信號。應(yīng)注意的是，針對參考信號生成單元46中生成的參考信號，同樣同步在傳輸裝置12的參考信號生成單元27中生成的參考信號。也就是說，針對參考信號，接收裝置13側(cè)變?yōu)橹鳈C(master),傳輸裝置12側(cè)變?yōu)閺臋C(slave)。
[0050]高精度時鐘同步單元47與傳輸裝置12的高精度時鐘同步單元26傳遞用于參考信號同步的PTP消息。時間戳計數(shù)器48基于由參考信號生成單元46生成的參考信號通知抖動吸收緩沖器43表示系統(tǒng)時鐘的時間戳R_TS。
[0051]延遲測量單元49基于添加到所接收的RTP包的時間戳S_TS、由時間戳計數(shù)器48向上基數(shù)的時間戳R_TS以及從RTCP處理單元50通知的傳輸裝置12中的時間戳校正量TS_OFFSET來計算瞬時傳送延遲值Dc。此外，延遲測量單元49基于該瞬時傳送延遲值Dc來計算平均傳送延遲值Da以輸出至RTCP處理單元50。
[0052]RTCP處理單元50通知延遲測量單元49存儲在從傳輸裝置12的RTCP處理單元31傳輸并由通信單元41接收的RTCP包中的時間戳校正量TS_0FFSET。同樣，RTCP處理單元50將從延遲測量單元49輸入的平均傳送延遲值Da存儲在RTCP包中以便傳輸至RTCP處理單元31以輸出至通信單元25。
[0053]<傳送時序的概述>
[0054]圖2示出了由照相機11拍攝的視頻信號的一個區(qū)塊的導(dǎo)線區(qū)塊順序傳送至傳輸裝置12和接收裝置13中的相應(yīng)的單元以進行處理的時序。
[0055] 在相同附圖中由A指示的時序上從照相機11輸入至傳輸裝置12的視頻信號在相同附圖中由B指示的時序上經(jīng)受壓縮編碼，在相同附圖中由C指示的時序上打包成RTP包，添加有時間戳S_TS，進行平滑處理，并經(jīng)由網(wǎng)絡(luò)14從傳輸裝置12傳輸至接收裝置13。
[0056]由接收裝置13接收的RTP包在相同附圖中由D指示的時序上從抖動吸收緩沖器43輸出，在相同附圖中由E指示的時序上進行錯誤校正，并在相同附圖中的由F指示的時序上解碼成視頻信號。然后，在相同附圖中用G指示的時序上將視頻信號從接收裝置13輸出至后續(xù)級。
[0057]上述傳送延遲信息D_0FFSET是在相同附圖中由C指示的時序上來自傳輸裝置12的傳輸時序與按在相同附圖中由D指示的時序上來自抖動吸收緩沖器43的輸出時序之間的時間差。
[0058]同樣，如在相同附圖中由I所指示的，介質(zhì)相位校正量M_0FFSET是針對傳輸裝置12的在相同附圖中由A指示的視頻信號的輸入時序與來自接收裝置13的在相同附圖中由G指示的視頻信號的輸出時序之間的時間差。
[0059]如從相同附圖顯而易見的是，介質(zhì)相位校正量M_0FFSET是傳輸裝置12中的各個處理時間、傳送延遲信息D_0FFSET以及在接收裝置13中的抖動吸收緩沖器43之后的級中的處理時間之和。在本文中，傳輸裝置12中的各個處理時間以及在接收裝置13中的抖動吸收緩沖器43之后的級中的處理時間幾乎不變并且可以事先測量并設(shè)置。與此相反，由于傳送延遲信息D_0FFSET根據(jù)網(wǎng)絡(luò)14的狀態(tài)改變，因此介質(zhì)相位校正量M_0FFSET根據(jù)傳送延遲信息D_0FFSET的變化改變。 [0060]相同附圖中的J示出了從傳輸裝置12的時間戳計數(shù)器30向RTP處理單元23通知的時間戳S_TS連同消逝的時間一起共計的狀態(tài)。相同附圖中的K示出了從接收裝置13的時間戳計數(shù)器48向抖動吸收緩沖器43和延遲測量單元49通知的時間戳R_TS連同消逝的時間一起共計的狀態(tài)。從相同附圖中的J和相同附圖中的K顯而易見的是，時間戳5_丁3被設(shè)為傳送延遲信息D_0FFSET針對時間戳R_TS前移的值。
[0061]<同步傳送系統(tǒng)10的操作描述>
[0062]圖3是用于描述同步傳送系統(tǒng)10進行的視頻信號傳送處理的流程圖。
[0063]作為該視頻信號傳送處理的前提，從與接收裝置13的參考信號同步的狀態(tài)被前移介質(zhì)相位校正量M_0FFSET的參考信號從接收裝置12的介質(zhì)相位控制單元28供應(yīng)給照相機11。
[0064]在步驟SI中，照相機11與從介質(zhì)相位控制單元28供應(yīng)的參考信號同步執(zhí)行視頻拍攝并經(jīng)由HD-SDI I/F將由此獲得的視頻信號輸出至傳輸裝置12。在步驟S2中，編碼器21對從照相機11輸入的視頻信號執(zhí)行壓縮編碼并將由此獲得的編碼數(shù)據(jù)輸出至FEC處理單元22。在步驟S3中，F(xiàn)EC處理單元22對輸入編碼數(shù)據(jù)執(zhí)行冗余編碼處理以添加前向錯誤校正碼以輸出至RTP處理單元23。
[0065]在步驟S4中，RTP處理單元23將添加有錯誤校正碼的編碼數(shù)據(jù)打包成RTP包并將從時間戳計數(shù)器48通知的時間戳S_TS添加到相應(yīng)的RTP包以輸出至平滑單元24。在步驟S5中，平滑單元24對從RTP處理單元23順序輸入的RTP包進行平滑處理以便輸出至通信單元25。在步驟S6中，通信單元25經(jīng)由網(wǎng)絡(luò)14將平滑的RTP包傳輸至接收裝置13。應(yīng)注意的是，重復(fù)執(zhí)行步驟S1-S6中的處理直至結(jié)束視頻信號傳送處理。
[0066]另一方面，在接收裝置13中，在步驟Sll中，通信單元41接收存儲經(jīng)由網(wǎng)絡(luò)14從傳輸裝置12傳輸?shù)慕?jīng)受壓縮編碼的視頻信號的RTP包以輸出至RTP處理單元42。在步驟S12中，RTP處理單元42重構(gòu)從通信單元41輸入的RTP包以輸出至抖動吸收緩沖器43。在步驟S13中，抖動吸收緩沖器43緩沖所重構(gòu)的RTP包。
[0067]在步驟S14中，抖動吸收緩沖器43確定添加到緩沖RTP包的時間戳S_TS是否與從時間戳計數(shù)器48通知的時間戳R_TS匹配并堅持直至確定結(jié)果是肯定的。
[0068]應(yīng)注意的是，在由傳輸裝置12的時間戳計數(shù)器30輸出的計數(shù)值TS的初始值依照IETF RFC3550隨機設(shè)置的情況下，計數(shù)值TS的隨機設(shè)置的初始值和系統(tǒng)時鐘(也就是說，接收裝置13的時間戳計數(shù)48的計數(shù)值)的偏移值通過使用RTCP包從傳輸裝置12的RTCP處理單元31通知給接收裝置13的RTCP處理單元50，并做出對于通過使時間戳S_TS移位該偏移值而獲得的值是否與時間戳R_TS匹配的確定。
[0069]在步驟S14中，在其中確定結(jié)果肯定的情況下，處理進行到步驟S15。在步驟S15中，抖動吸收緩沖器43將添加有與時間戳R_TS匹配的時間戳S_TS的RTP包輸出至FEC處理單元44。
[0070]在步驟S16中，F(xiàn)EC處理單元44對存儲在從抖動吸收緩沖器43輸入的RTP包中的編碼數(shù)據(jù)執(zhí)行錯誤校正處理以輸出至解碼器45。在步驟S17中，解碼器45解碼編碼數(shù)據(jù)并將由此獲得的視頻信號輸出至后續(xù)階段，同時與由參考信號生成單元46生成的參考信號同步。應(yīng)注意的是，重復(fù)執(zhí)行步驟S11-S17中的處理直至結(jié)束視頻信號傳送處理。如上所述，結(jié)束關(guān)于視頻信號傳送處理的描述。
[0071]接下來，圖4是用于描述由接收裝置13進行的與上述視頻信號傳送處理并行執(zhí)行的延遲測量處理的流程圖。
[0072]在步驟S21 中，接收裝置13的延遲測量單元49獲得由通信單元41接收并添加到輸入至RTP處理單元42的RTP包的時間戳S_TS并還獲得由時間戳計數(shù)器48共計的時間戳R_TS。在步驟S22中，延遲測量單元49計算網(wǎng)絡(luò)14中符合后續(xù)表達式(I)的RTP包的瞬時傳送延遲值Dc。
[0073]瞬時傳送延遲值Dc =時間戳R_TS_時間戳S_TS+時間戳校正量TS_0FFSET (I)
[0074]應(yīng)注意的是，在時間戳校正量TS_0FFSET在當(dāng)前階段下不從傳輸裝置12通知的情況下，采用預(yù)定初始值而不是時間戳校正量TSJFFSET。
[0075]在步驟S23中，延遲測量單元49基于所計算的瞬時傳送延遲值Dc更新平均傳送延遲值Da以輸出至RTCP處理單元50。在步驟S24中，如果預(yù)定時間段自RTCP包在先前時間傳輸至傳輸裝置12的RTCP處理單元31起消逝，則RTCP處理單元50將來自延遲測量單元49的平均傳送延遲值Da存儲在RTCP包中以輸出至通信單元25并傳輸至傳送裝置12的RTCP處理單元31。該平均傳送延遲值Da被用作傳輸裝置12中的傳送延遲信息D_0FFSET。
[0076]在步驟S25中，RTCP處理單元50確定存儲從傳輸裝置12的RTCP處理單元31傳輸?shù)臅r間戳校正量TS_0FFSET的RTCP包是否有通信單元41接收。在該確定結(jié)果為否定的情況下，處理返回步驟S21，并重復(fù)后續(xù)處理。
[0077]在步驟S25中的確定結(jié)果為肯定的情況下，處理進行到步驟S26。在步驟S26中，RTCP處理單元50通知延遲測量單元49存儲在所接收的RTCP包中的時間戳校正量TS_OFFSET。響應(yīng)于此，延遲測量單元49將此后執(zhí)行步驟S22中的處理時一次使用的時間戳校正量TS_0FFSET更新為所通知的時間戳校正量。應(yīng)注意的是，重復(fù)執(zhí)行步驟S21-S26中的處理直至結(jié)束上述視頻信號傳送處理。如上所述，結(jié)束關(guān)于接收裝置13進行的延遲測量處理的描述。
[0078]接下來，圖5是用于描述由傳輸裝置12進行的與上述視頻信號傳送處理并行執(zhí)行的校正處理的流程圖。
[0079]在步驟S31中，RTCP處理單元31確定由接收裝置13的RTCP處理單元50傳輸?shù)腞TCP包作為上述步驟S24中的處理是否有通信單元25接收。在確定結(jié)果為肯定的情況下，處理進行到步驟S32。
[0080]在步驟S32中，RTCP處理單元31比較存儲在所接收的RTCP包中的平均傳送延遲值Da和當(dāng)前傳送延遲信息D_0FFSET并確定其差是否大于或等于預(yù)定閾值。在確定結(jié)果為肯定的情況下，處理進行到步驟S33。在步驟S33中，RTCP處理單元31通知介質(zhì)相位控制單元28和時間戳控制單元29平均傳送延遲值Da作為新傳送延遲信息D_0FFSET。此后，處理進行到步驟S34。
[0081]在步驟S34中，介質(zhì)相位控制單元28使用從RTCP處理單元31通知的傳送延遲信息D_0FFSET來決定符合后續(xù)表達式(2)的介質(zhì)相位校正量M_0FFSET。
[0082]介質(zhì)相位校正量M_0FFSET =傳送延遲信息D_0FFSET+傳送裝置12中的各單元的處理時間(已知)+接收裝置13中的在抖動吸收緩沖器43之后的階段中的處理時間(已知)(2)
[0083]然而，應(yīng)注意的是，傳送裝置12中的相應(yīng)的單元的處理時間(已知)和接收裝置13中的在抖動吸收緩沖器43之后的級中的處理時間(已知)需要在介質(zhì)相位控制單元28中事先測量并設(shè)置。
[0084]此外，介質(zhì)相位控制單元28使從參考信號生成單元27輸入的參考信號的相位逐漸前移到介質(zhì)相位校正量M_0FFSET以供應(yīng)給照相機11。通過這種方式，通過逐漸調(diào)整參考信號的相位，可以減少在實現(xiàn)校正期間可以在視頻信號中生成的視頻干擾等。
[0085]另一方面，時間戳控制單元29使用從RTCP處理單元31通知的傳送延遲信息D_OFFSET來決定時間戳校正量TS_0FFSET，同時符合后續(xù)表達式(3)。
[0086]時間戳校正量TS_0FFSET =傳送延遲信息D_0FFSETX時間戳頻率(3)
[0087]此外，與介質(zhì)相位控制單元28中類似，時間戳控制單元29控制時間戳計數(shù)器30將基于參考信號生成單元27的參考信號而被添加到表示系統(tǒng)時鐘的時間戳TS的值逐漸增大至?xí)r間戳校正量TS_0FFSET并通知RTP處理單元23所校正的時間戳S_TS。然而，應(yīng)注意的是，添加到時間戳TS的值的變化以視頻信號的幀中的行為單位進行，并且添加到時間戳TS的值在同一行中不改變。
[0088]通過這種方式，通過逐漸校正時間戳S_TS，可以減少在實現(xiàn)校正期間可以在視頻信號中生成的視頻干擾等。
[0089]此后，處理進行到步驟S35。應(yīng)注意的是，在步驟S31中的確定結(jié)果為否定的情況下，跳過步驟S32至S34，并且處理進行到步驟S35。類似地，在步驟S32中的確定結(jié)果為否定的情況下，跳過步驟S33和S34，并且處理進行到步驟S35。
[0090]在步驟S35中，如果預(yù)定時間段自在先前時間傳輸存儲傳送延遲信息D_0FFSET的RTCP包起逝去，則RTCP處理單元31生成存儲最近傳送延遲信息D_0FFSET的RTCP包以從通信單元25傳輸至接收裝置13的RTCP處理單元50。
[0091]重復(fù)執(zhí)行步驟S31至S35中的處理直至結(jié)束上述視頻信號傳送處理。如上所述，結(jié)束關(guān)于傳輸裝置12進行的校正處理的描述。
[0092]根據(jù)上述同步傳送系統(tǒng)10進行的操作，通過考慮網(wǎng)絡(luò)14中的傳送延遲，從傳輸裝置12傳輸?shù)囊曨l信號的相位和時間戳偏移。據(jù)此，每次當(dāng)所傳送的視頻信號由接收裝置13再現(xiàn)時可以抑制視頻干擾。 [0093]<變形例>
[0094]圖6示出了接收裝置13的另一配置實例。相同附圖中所示的接收裝置13就組件部分而言與圖1中所示的接收裝置13 —樣，并且改變抖動吸收緩沖器43的布置。
[0095]在這種情況下，傳輸裝置12的時間戳控制單元29配置為決定符合后續(xù)表達式(4)的時間戳校正量TS_0FFSET。
[0096]時間戳校正量TS_0FFSET =(傳送延遲信息D_0FFSET+傳送裝置12中的相應(yīng)的單元的處理時間(已知)+接收裝置13中的在抖動吸收緩沖器43之前的級中的處理時間(已知))X時間戳頻率(4)
[0097]同樣，RTP處理單元42和RTCP處理單元50執(zhí)行丟包率和突發(fā)丟包率的測量并將這些測量結(jié)果通知傳輸裝置12，并且根據(jù)這些測量結(jié)果，可以改變由FEC處理單元22進行的冗余編碼的單元。據(jù)此，突發(fā)丟包阻力可以適用于網(wǎng)絡(luò)環(huán)境。然而，應(yīng)注意的是，由于改變了 FEC處理時間，因此需要改變表達式(2)和表達式(4)中的已知值。
[0098]此外，RTP處理單元42和RTCP處理單元50執(zhí)行網(wǎng)絡(luò)抖動的測量,并根據(jù)測量結(jié)果，可以改變抖動吸收緩沖器43中的數(shù)據(jù)保持時間以通知傳輸裝置12改變結(jié)果。于是可以提高抖動阻力。然而，應(yīng)注意的是，在這種情況下，由于改變了抖動吸收緩沖器中的處理時間，故需要改變表達式(2)和表達式(4)中的已知值。
[0099]應(yīng)注意的是，除了視頻信號之外，本公開也可以適用于傳送諸如音頻信號的多媒體數(shù)據(jù)的情況。因此，本發(fā)明可以用于僅音頻信號、僅視頻信號以及包括音頻和視頻兩者的信號。
[0100]順便提及，由上述傳輸裝置12或接收裝置13進行的一系列處理可以通過硬件執(zhí)行并且還可以通過軟件執(zhí)行。在一系列處理通過軟件執(zhí)行的情況下，將構(gòu)成軟件的程序安裝到計算機中。在本文中，計算機包括并入專用硬件中的計算機、通用計算機等，其可以通過安裝各種程序等來執(zhí)行各種功能。
[0101]圖7是示出了借助程序執(zhí)行上述一系列處理的計算機的硬件的配置的框圖。
[0102]在計算機100中，CPU(中央處理單元)101、R0M(只讀存儲器)102以及RAM(隨機存取存儲器)103通過總線104相互連接。
[0103]輸入與輸出接口 105進一步連接到總線104。輸入單元106、輸出單元107、存儲單元108、通信單元109以及驅(qū)動器110連接到輸入與輸出接口 105。
[0104]輸入單元106由鍵盤、鼠標、麥克風(fēng)等組成。輸出單元107由顯示器、揚聲器等組成。存儲單元108由硬盤、非易失性存儲器等組成。通信單元109由網(wǎng)絡(luò)接口等組成。驅(qū)動器110驅(qū)動諸如磁盤、光盤、光學(xué)磁盤或半導(dǎo)體存儲器可移除介質(zhì)111。
[0105]在以上述方式配置的計算機100中，CPUlOl例如經(jīng)由輸入與輸出接口 105和總線104將存儲在存儲單元108中的程序加載到RAM103上，便于執(zhí)行，使得實現(xiàn)上述一系列處理。
[0106]應(yīng)注意的是，由計算機100執(zhí)行的程序可以是以時間序列的方式按本說明書中描述的順序?qū)崿F(xiàn)處理的程序或者也可以是并行或在需要時(比如進行通話時)執(zhí)行處理的程序。
[0107]應(yīng)注意的是，本公開的實施例不限于上述實施例，并且在不背離本公開的主旨的情況下可以在范圍內(nèi)做出各種改變。
[0108](I) 一種裝置，包括:
[0109]接收器，被配置為接收內(nèi)容信號；
[0110]延遲值接收器，被配置為從另一個裝置接收延遲值；
[0111]時間戳計算單元，被配置為基于所述延遲值計算時間戳；以及
[0112]發(fā)射器，被配置為將包括所述時間戳的所述內(nèi)容信號發(fā)送至所述另一個裝置。
[0113](2)根據(jù)(I)所述的裝置，其中，所述接收器被配置為接收所述內(nèi)容信號，所述內(nèi)容信號包括視頻信號。
[0114](3)根據(jù)⑵所述的裝置，其中，所述接收器配置為接收所述內(nèi)容信號，所述內(nèi)容
信號包括音頻信號。
[0115](4)根據(jù)(I) 所述的裝置，其中，所述接收器被配置為接收所述內(nèi)容信號，所述內(nèi)
容信號包括音頻信號。
[0116](5)根據(jù)⑴至⑷所述的裝置，進一步包括:
[0117]介質(zhì)相位校正計算單元，被配置為基于所述延遲值計算介質(zhì)相位校正。
[0118](6)根據(jù)(5)所述的裝置，其中，所述介質(zhì)相位校正計算單元基于所述延遲值和所述裝置中的處理延遲時間來計算所述介質(zhì)相位校正。
[0119](7)根據(jù)(6)所述的裝置，其中，所述裝置將所述介質(zhì)相位校正傳輸至照相機，所述照相機將所述內(nèi)容信號提供給所述接收器。
[0120](8) 一種用于多媒體數(shù)據(jù)的異步包傳送網(wǎng)絡(luò)系統(tǒng)，包括根據(jù)權(quán)利要求(I)至(7)所述的裝置。
[0121](9) 一種方法，包括:
[0122]接收內(nèi)容信號；
[0123]從另一個裝置接收延遲值；
[0124]基于所述延遲值計算時間戳；以及
[0125]將包括所述時間戳的所述內(nèi)容信號發(fā)送至所述另一個裝置。8.[0126](10) 一種利用程序編碼的非臨時性計算機可讀介質(zhì)，當(dāng)所述程序被加載到處理器上時，所述程序使所述處理器執(zhí)行方法，所述方法包括:一種利用程序編碼的非臨時性計算機可讀介質(zhì)，當(dāng)所述程序被加載到處理器上時，所述程序使所述處理器執(zhí)行方法，所述方法包括:
[0127]接收內(nèi)容信號；
[0128]從另一個裝置接收延遲值；
[0129]基于所述延遲值計算時間戳；以及
[0130]將包括所述時間戳的所述內(nèi)容信號發(fā)送至所述另一個裝置。
[0131](11) 一種裝置，包括:
[0132]接收器，被配置為從另一個裝置接收包括時間戳的內(nèi)容信號；
[0133]延遲值計算器，被配置為基于所述時間戳和所述時間戳的接收時間來計算延遲值；以及
[0134]發(fā)射器，被配置為將所述延遲值發(fā)送至所述另一個裝置，使得所述另一個裝置使用所述延遲值以計算稍后的時間戳。
[0135](12)根據(jù)(11)所述的裝置，其中，所述接收器被配置為接收所述內(nèi)容信號，所述內(nèi)容信號包括視頻信號。
[0136](13)根據(jù)(12)所述的裝置，其中，所述接收器被配置為接收所述內(nèi)容信號，所述內(nèi)容信號包括音頻信號。
[0137](14)根據(jù)(11)所述的裝置，其中，所述接收器被配置為接收所述內(nèi)容信號，所述內(nèi)容信號包括音頻信號。
[0138](15)根據(jù)(11)至(14)所述的裝置，其中，所述延遲值計算器針對多個包基于所述時間戳來計算所述延遲值。
[0139](16)根據(jù)(11)至(15)所述的裝置，其中，所述延遲值計算器針對多個包基于所述時間戳和所述時間戳的接收時間來計算平均延遲值，并且所述發(fā)射器將所述平均延遲值傳輸至所述另一個裝置。
[0140](17)根據(jù)(11)至(16)所述的裝置，進一步包括:
[0141]輸出設(shè)備，被配置為基于所述時間戳再現(xiàn)所述內(nèi)容信號。
[0142](18) 一種用于多媒體數(shù)據(jù)的異步包傳送網(wǎng)絡(luò)系統(tǒng)，包括根據(jù)權(quán)利要求(11)至
(17)所述的裝置。
[0143](19) 一種方法，包括:
[0144]從另一個裝置接收包括時間戳的內(nèi)容信號；
[0145]基于所述時間戳和所述時間戳的接收時間計算延遲值；以及
[0146]將所述延遲值發(fā)送至所述另一個裝置，使得所述另一個裝置使用所述延遲值以計算稍后的時間戳。
[0147](20) 一種利用程序編碼的非臨時性計算機可讀介質(zhì)，當(dāng)所述程序被加載到處理器上時，所述程序使所述處理器執(zhí)行方法，所述方法包括:
[0148]從另一個裝置接收包括時間戳的內(nèi)容信號；
[0149]基于所述時間戳和所述時間戳的接收時間計算延遲值；以及
[0150]將所述延遲值發(fā)送至所述另一個裝置，使得所述另一個裝置使用所述延遲值以計算稍后的時間戳。
[0151]附圖標記列表
[0152]10同步傳送系統(tǒng)
[0153] 11照相機
[0154]12傳輸裝置
[0155]13接收裝置
[0156]14 網(wǎng)絡(luò)
[0157]21編碼器
[0158]22 FEC處理單元
[0159]23 RTP處理單元
[0160]24平滑單元[0161]25通信單元
[0162]26高精度時鐘同步單元
[0163]27參考信號生成單元
[0164]28介質(zhì)相位控制單元
[0165]29時間戳控制單元
[0166]30時間戳計數(shù)器
[0167]41通信單元
[0168]42RTP處理單元
[0169]43抖動吸收緩沖器
[0170]44FEC處理單元
[0171]45解碼器
[0172]46參考信號生成單元
[0173]47高精度時鐘同步單元
[0174]48時間戳計數(shù)器
[0175]49延遲測量單元
[0176]50RTCP處理單元
【權(quán)利要求】
1.一種裝置，包括: 接收器，被配置為接收內(nèi)容信號； 延遲值接收器，被配置為從另一個裝置接收延遲值； 時間戳計算單元，被配置為基于所述延遲值計算時間戳；以及 發(fā)射器，被配置為將包括所述時間戳的所述內(nèi)容信號發(fā)送至所述另一個裝置。
2.根據(jù)權(quán)利要求1所述的裝置，其中，所述接收器被配置為接收所述內(nèi)容信號，所述內(nèi)容信號包括視頻信號。
3.根據(jù)權(quán)利要求2所述的裝置，其中，所述接收器被配置為接收所述內(nèi)容信號，所述內(nèi)容信號包括音頻信號。
4.根據(jù)權(quán)利要求1所述的裝置，其中，所述接收器被配置為接收所述內(nèi)容信號，所述內(nèi)容信號包括音頻信號。
5.根據(jù)權(quán)利要求1所述的裝置，進一步包括: 介質(zhì)相位校正計算單元，被配置為基于所述延遲值計算介質(zhì)相位校正。
6.根據(jù)權(quán)利要求5所述的裝置，其中，所述介質(zhì)相位校正計算單元基于所述延遲值和所述裝置中的處理延遲時間來計算所述介質(zhì)相位校正。
7.根據(jù)權(quán)利要求6所述的裝置，其中，所述裝置將所述介質(zhì)相位校正傳輸至照相機，所述照相機將所述內(nèi)容信號提供給所述接收器。
8.一種用于多媒體數(shù)據(jù)的異步包傳送網(wǎng)絡(luò)系統(tǒng)，包括根據(jù)權(quán)利要求1所述的裝置。
9.一種方法，包括: 接收內(nèi)容信號； 從另一個裝置接收延遲值； 基于所述延遲值計算時間戳；以及 將包括所述時間戳的所述內(nèi)容信號發(fā)送至所述另一個裝置。
10.一種利用程序編碼的非臨時性計算機可讀介質(zhì)，當(dāng)所述程序被加載到處理器上時，所述程序使所述處理器執(zhí)行方法，所述方法包括: 接收內(nèi)容信號； 從另一個裝置接收延遲值； 基于所述延遲值計算時間戳；以及 將包括所述時間戳的所述內(nèi)容信號發(fā)送至所述另一個裝置。
11.一種裝置，包括: 接收器，被配置為從另一個裝置接收包括時間戳的內(nèi)容信號； 延遲值計算器，被配置為基于所述時間戳和所述時間戳的接收時間來計算延遲值；以及 發(fā)射器，被配置為將所述延遲值發(fā)送至所述另一個裝置，使得所述另一個裝置使用所述延遲值以計算稍后的時間戳。
12.根據(jù)權(quán)利要求11所述的裝置，其中，所述接收器被配置為接收所述內(nèi)容信號，所述內(nèi)容信號包括視頻信號。
13.根據(jù)權(quán)利要求12所述的裝置，其中，所述接收器被配置為接收所述內(nèi)容信號，所述內(nèi)容信號包括音頻信號。
14.根據(jù)權(quán)利要求11所述的裝置，其中，所述接收器被配置為接收所述內(nèi)容信號，所述內(nèi)容信號包括音頻信號。
15.根據(jù)權(quán)利要求11所述的裝置，其中，所述延遲值計算器針對多個包基于所述時間戳來計算所述延遲值。
16.根據(jù)權(quán)利要求11所述的裝置，其中，所述延遲值計算器針對多個包基于所述時間戳和所述時間戳的接收時間來計算平均延遲值，并且所述發(fā)射器將所述平均延遲值傳輸至所述另一個裝置。
17.根據(jù)權(quán)利要求11所述的裝置，進一步包括: 輸出設(shè)備，被配置為基于所述時間戳再現(xiàn)所述內(nèi)容信號。
18.一種用于多媒體數(shù)據(jù)的異步包傳送網(wǎng)絡(luò)系統(tǒng)，包括根據(jù)權(quán)利要求11所述的裝置。
19.一種方法,包括: 從另一個裝置接收包括時間戳的內(nèi)容信號； 基于所述時間戳和所述時間戳的接收時間計算延遲值；以及 將所述延遲值發(fā)送至所述另一個裝置，使得所述另一個裝置使用所述延遲值以計算稍后的時間戳。
20.一種利用程序編碼的非臨時性計算機可讀介質(zhì)，當(dāng)所述程序被加載到處理器上時，所述程序使所述處理器執(zhí)行方法，所述方法包括: 從另一個裝置接收包括時間戳的內(nèi)容信號； 基于所述時間戳和所述時間戳的接收時間計算延遲值；以及 將所述延遲值發(fā)送至所述另一個裝置，使得所述另一個裝置使用所述延遲值以計算稍后的時間戳。
【文檔編號】H04J3/06GK104025607SQ201280063115
【公開日】2014年9月3日 申請日期:2012年12月11日 優(yōu)先權(quán)日:2011年12月26日
【發(fā)明者】久禮嘉伸 申請人:索尼公司