幀率控制方法、幀率控制裝置以及幀率控制程序的制作方法
【專利摘要】本發(fā)明的目的在于，即使在輸入視頻的輸入定時不是固定的而是波動的情況下，也不增加延遲地抑制編碼器的運算量和編碼結果的信息量的瞬間的增加。將輸入視頻的幀率調整為編碼器能編碼的幀率的幀率控制方法具有：判定在從輸入細化的判定對象畫面的時刻起往前規(guī)定時間的期間中輸入了的畫面?zhèn)€數是否超過規(guī)定的閾值的過程；以及在所述畫面?zhèn)€數超過所述閾值的情況下，廢棄所述判定對象畫面，在所述畫面?zhèn)€數未超過所述閾值的情況下，將所述判定對象畫面作為編碼對象的過程。
【專利說明】幀率控制方法、幀率控制裝置以及幀率控制程序

【技術領域】
[0001] 本發(fā)明涉及視頻編碼中的幀率控制，特別是涉及用于抑制編碼器中的運算量和信 息量的幀率控制方法、幀率控制裝置以及幀率控制程序。
[0002] 本申請基于在2012年1月26日向日本申請的特愿2012 - 013773號要求優(yōu)先權， 并將其內容引用于此。

【背景技術】
[0003] 歷來，在能編碼的幀率和從攝像設備等向編碼器的輸入視頻的幀率不同的情況 下，使用進行輸入視頻的細化（thinning)處理來變換為能編碼的幀率的技術(參照專利文 獻1)〇
[0004] 在圖5中示出了表示現有技術的裝置的結構的框圖。在圖6中示出了現有技術中 的畫面細化判定部的流程圖。
[0005] 在圖5中，編碼器200是按照例如H. 264等編碼方式來對輸入視頻進行編碼、輸 出編碼視頻流的裝置。編碼器200具備：按照將幀分割后的每個塊進行運動檢測的運動檢 測部203、利用由運動檢測部203檢測出的運動矢量來進行預測的預測部204、通過DCT (離 散余弦變換)等對輸入信號和預測信號的殘差信號進行正交變換的正交變換部205、對變換 系數進行量化的量化部206、對量化結果進行逆量化的逆量化部207、對變換系數進行逆正 交變換的逆正交變換部208、存儲對逆正交變換部208的輸出加上預測信號而得到的本地 解碼圖像的本地解碼圖像存儲部209、對量化部206的輸出進行可變長編碼的可變長編碼 部210、對編碼信息進行復用的復用部211、對編碼信息進行存儲并作為編碼視頻流進行輸 出的緩沖器部212、以及利用產生碼量等進行量化部206等的編碼控制的控制部213。
[0006] 在編碼器200能編碼的幀率和幀率測定部202測定出的從攝像設備等向編碼器 200的輸入視頻的幀率不同的情況下，畫面細化判定部201進行輸入視頻的細化處理來變 換為能編碼的幀率。幀率測定部202對輸入視頻的幀率進行測定并通知給畫面細化判定部 201〇
[0007] 畫面細化判定部201執(zhí)行圖6所示的處理。首先，當對編碼器200能輸入的幀率 TA進行設定(步驟S200 )，并且，將輸入視頻的幀率設為CA時(步驟S201)，根據CA計算細化 幀間隔值n=CA/ (CA-TA)(步驟S202)。接著，將畫面編號i初始設定為1，將畫面細化數 d初始設定為0 (步驟S203)，進行以下的處理。
[0008] 根據作為判定對象的畫面的畫面編號i是否超過η乘以到目前為止的畫面細化數 d的值來決定是否對畫面i進行細化。即，判定是否為i彡ηΧ (d+Ι)，如果i在nX (d+1) 以上，則執(zhí)行步驟S205、S206。在步驟S205中，對d加上1，在步驟S206中，對畫面i進行 細化。如果i比nX (d+Ι)小，則不對畫面i進行細化。在全部視頻的處理完成之前(步驟 S207為"是")，一邊對i加上1 (步驟S208)，一邊重復進行以上的步驟S204?S207。
[0009] 如以上那樣，在現有技術中，根據向編碼器的輸入幀率和能編碼的幀率的比率，計 算表示只要輸入了多少個視頻畫面就可以細化1個畫面的畫面細化數，按照計算出的畫面 細化數來進行輸入視頻的細化處理。
[0010] 為了應用本技術，需要向編碼器的輸入幀率CA是已知的。因此，需要通過例如在 圖5中示出的幀率測定部202來測定向編碼器的輸入視頻的幀率CA。可是，在輸入視頻的 輸入定時波動的情況下等，不一定總是保持測定時的幀率。因此，會產生不必要地細化許多 畫面的狀態(tài)或者細化數不足的狀態(tài)。
[0011] 現有技術文獻 專利文獻 專利文獻1 :日本特開2005 - 328487號公報。


【發(fā)明內容】

[0012] 發(fā)明要解決的課題 設想：在電視電話那樣的視頻通信用應用中，用與PC (個人計算機)連接的Web攝像機 等輸入視頻，用軟件編碼器進行編碼，將編碼后的視頻流傳送到接收側。此時，由于CPU(中 央處理裝置）資源不足等理由，存在用攝像機拍攝的視頻被輸入至編碼器的定時不是固定 的而是波動的情況。在這樣的情況下，每單位時間的輸入幀率可能局部地變高。
[0013] 在圖7中示出視頻的輸入定時波動的例子。雖然以固定的定時的固定幀率執(zhí)行利 用攝像機進行的拍攝，但是，由于在剛輸入了畫面2之后CPU資源不足、編碼器前級的處理 延遲導致畫面3以后被依次延遲地輸入至編碼器。之后，CPU資源的不足解除，積存在編碼 器前級的視頻被一口氣輸入至編碼器。
[0014] 在以實時處理為前提的編碼器中，在每單位時間進行編碼的畫面?zhèn)€數增加，由此， 碼量和運算量局部地增加。如圖7所示那樣，當嘗試以固定時間將時間軸劃分成區(qū)間時，在 區(qū)間1?4中畫面?zhèn)€數為1個，與此相對地，在區(qū)間5中變?yōu)?個，與其它的區(qū)間相比較，需 要大約3倍的碼量和運算量。像這樣的輸入至編碼器的視頻的定時的波動會產生由于超過 對編碼后的視頻流進行傳送的傳送路徑的容量而引起的延遲，此外，在最差的情況下發(fā)生 數據包丟失，由此，導致在接收側的視頻品質劣化。
[0015] 在像專利文獻1所記載的技術那樣，根據向編碼器的輸入幀率和能編碼的幀率的 比率計算表示只要輸入了多少個視頻畫面就可以細化1個畫面的畫面細化數，按照計算出 的畫面細化數來進行細化處理的情況下，需要向編碼器的輸入幀率是已知的。
[0016] 因此，即使對向編碼器的輸入幀率進行測定，也存在以下那樣的問題。像圖7的例 子那樣，在編碼器中能編碼的幀數相對于1個區(qū)間為1個的情況下，對于區(qū)間1?4,被輸入 至編碼器的幀數為1個。若基于區(qū)間1?4的測定結果，則被輸入至編碼器的幀數等于能 編碼的幀數，因此，不需要對幀進行細化。可是，對于區(qū)間5,被輸入的幀數變?yōu)?個。在不 基于區(qū)間1?4的測定結果對區(qū)間5的輸入視頻實施細化的情況下，超過能編碼的幀個數 的視頻被輸入至編碼器。
[0017] 本發(fā)明的目的在于，謀求上述課題的解決，即使在輸入視頻的輸入定時不是固定 的而是波動的情況下，能將編碼器的運算量、信息量抑制在固定的范圍內。
[0018] 用于解決課題的方案 為了解決上述課題，本發(fā)明進行是否細化被輸入的視頻幀的判定，以使進行編碼的視 頻幀不會瞬間地增加。判定是根據在從輸入判定對象畫面的時刻起往前單位時間的期間中 輸入了的幀個數是否超過規(guī)定的閾值來進行的，不使用以輸入視頻的輸入定時決定的向編 碼器的輸入幀率。在上述幀個數超過閾值的情況下對相應的幀進行細化，在不是這樣的情 況下進行編碼。
[0019] 本發(fā)明的作用如下。在畫面細化判定中，不使用向編碼器的輸入幀率。因此，即使 在輸入視頻的輸入定時波動并且不一定總是保持幀率的情況下，也能夠得到良好的判定結 果，進行適當的畫面細化。因此，即使在輸入視頻的輸入定時波動的情況下，也能夠通過畫 面細化處理來抑制進行編碼的視頻幀瞬間地增加。即，能夠抑制編碼器的運算量的瞬間的 增加和視頻比特流的信息量的瞬間的增加。
[0020] 此外，由于僅使用在從輸入判定對象畫面的時刻起往前單位時間的期間中輸入了 的畫面?zhèn)€數是否超過根據設定幀率而計算出的閾值這樣的在輸入對象畫面的時間點已知 的信息來進行判定，所以不產生延遲。
[0021] 再有，由于本技術也不利用編碼時的信息，所以能與編碼器獨立地構成，能直接利 用以往的編碼器。
[0022] 發(fā)明效果 即使在輸入視頻的輸入定時不是固定的而是波動的情況下，本發(fā)明也存在以下的效 果。
[0023] (1)能夠在不增加延遲的情況下抑制編碼器的運算量的瞬間的增加。
[0024] (2)能夠在不增加延遲的情況下抑制編碼后的視頻比特流的信息量的瞬間的增 加。

【專利附圖】

【附圖說明】
[0025] 圖1是示出根據本發(fā)明的實施例的畫面細化處理的例子的圖。
[0026] 圖2是示出本發(fā)明的實施方式的裝置的結構的框圖。
[0027] 圖3是本發(fā)明的實施方式的畫面細化判定部的流程圖。
[0028] 圖4是示出在使用計算機和軟件程序來實現本實施方式的裝置的情況下的系統(tǒng) 的結構例的圖。
[0029] 圖5是示出現有技術的裝置的結構的框圖。
[0030] 圖6是現有技術中的畫面細化判定部的流程圖。
[0031] 圖7是示出視頻的輸入定時波動的例子的圖。

【具體實施方式】
[0032] 以下，使用附圖來對本發(fā)明的實施例和實施方式詳細地進行說明。
[0033] 基于編碼器的處理性能等，設定能輸入至編碼器的幀率^和成為基準的幀率測定 間隔Ti?；诨鶞蕩蕼y定間隔T i，利用下述所示的公式來預先計算能在測定間隔中輸入 的視頻畫面?zhèn)€數η。

【權利要求】
1. 一種帖率控制方法，將輸入視頻的帖率調整為編碼器能編碼的帖率，其中，具有； 判定在從輸入細化的判定對象畫面的時刻起往前規(guī)定時間的期間中輸入了的畫面?zhèn)€ 數是否超過規(guī)定的闊值的過程；W及 在所述畫面?zhèn)€數超過所述闊值的情況下，廢棄所述判定對象畫面，在所述畫面?zhèn)€數未 超過所述闊值的情況下，將所述判定對象畫面作為編碼對象的過程。
2. 根據權利要求1所述的帖率控制方法，其中， 在所述判定的過程中，根據所述判定對象畫面的時間戳ti和由在所述規(guī)定時間即成為 基準的帖率測定間隔Ti內用所述編碼器能編碼的畫面?zhèn)€數nW及畫面細化數d決定的往前 (n+d)個的畫面中的時間戳的差值是否超過所述帖率測定間隔Ti，判定所述輸入了 的畫面?zhèn)€數是否超過所述規(guī)定的闊值。
3. -種帖率控制裝置，將輸入視頻的帖率調整為編碼器能編碼的帖率，其中，具備； 判定部，判定在從輸入細化的判定對象畫面的時刻起往前規(guī)定時間的期間中輸入了的 畫面?zhèn)€數是否超過規(guī)定的闊值；W及 細化部，在所述畫面?zhèn)€數超過所述闊值的情況下，廢棄所述判定對象畫面，在所述畫面 個數未超過所述闊值的情況下，將所述判定對象畫面作為編碼對象。
4. 一種帖率控制程序，其中，用于使計算機執(zhí)行權利要求1或權利要求2所述的帖率控 制方法。
【文檔編號】H04N19/132GK104471936SQ201380005516
【公開日】2015年3月25日 申請日期:2013年1月21日 優(yōu)先權日:2012年1月26日
【發(fā)明者】小野尚紀, 清水淳, 中村健, 北原正樹, 京地清介 申請人:日本電信電話株式會社