專利名稱：新型用戶敏感信息適應(yīng)性視頻代碼轉(zhuǎn)換架構(gòu)的制作方法
新型用戶敏感信息適應(yīng)性視頻代碼轉(zhuǎn)換架構(gòu)
背景技術(shù)：
代碼轉(zhuǎn)換表示一種數(shù)字文件到另 一種的轉(zhuǎn)換。這種轉(zhuǎn)換包括但不 限于格式變化、分辨率變化以及比特率變化。在視頻點(diǎn)播應(yīng)用中，主 機(jī)計(jì)算機(jī)可以響應(yīng)于用戶請(qǐng)求來瀏覽所存儲(chǔ)的視頻文件。主機(jī)計(jì)算機(jī) 可以把所存儲(chǔ)的視頻文件進(jìn)行代碼轉(zhuǎn)換而變成合適的視頻格式和比 特率，以通過網(wǎng)絡(luò)傳輸給用戶。代碼轉(zhuǎn)換的格式可以是與用戶平臺(tái)相 兼容的，例如，電視或個(gè)人電腦。主機(jī)計(jì)算機(jī)也可以調(diào)整傳輸比特率 以滿足連接主機(jī)計(jì)算機(jī)和用戶的網(wǎng)絡(luò)的帶寬需求。
主機(jī)計(jì)算機(jī)和用戶之間的網(wǎng)絡(luò)連接有時(shí)可能是不穩(wěn)定的或擁塞
的。無(wú)線連接比如無(wú)線保真(WiFi)網(wǎng)絡(luò)上的視頻傳輸很容易發(fā)生數(shù) 據(jù)丟失或者錯(cuò)誤。因此，主機(jī)計(jì)算機(jī)上的代碼轉(zhuǎn)換一般降低傳輸比特 率以在這種網(wǎng)絡(luò)條件下進(jìn)行防護(hù)。但是，降低的比特率一般會(huì)降低用 戶所接收到的視頻質(zhì)量。


通過舉例的方式來闡明了諸實(shí)施例，附圖中圖形并不是對(duì)本發(fā)明 的限制，附圖中，相同的附圖標(biāo)記表示相同的元件。需要注意的是， 本發(fā)明中"一個(gè)"實(shí)施例并不一定是指的同一個(gè)實(shí)施例，其表示至少 一個(gè)。
圖1是一見頻系統(tǒng)實(shí)施例的方框圖。
圖2是包括有三幀的幀序列的示例。
圖3是視頻系統(tǒng)靜態(tài)模型的方框圖。
圖4視頻系統(tǒng)動(dòng)態(tài);f莫型的方框圖。
圖5是示出視頻系統(tǒng)代碼轉(zhuǎn)換操作的流程圖。
具體實(shí)施例方式
圖1示出了視頻系統(tǒng)10實(shí)施例的方框圖。視頻系統(tǒng)10可以是個(gè)人電腦，文件服務(wù)器，或者任意具有視頻代碼轉(zhuǎn)換功能的計(jì)算設(shè)備。
在一個(gè)實(shí)施例中，視頻系統(tǒng)IO可以是視頻點(diǎn)播(VOD)系統(tǒng)，響應(yīng)于用 戶請(qǐng)求通過網(wǎng)絡(luò)向終端用戶發(fā)逸視頻流。^見頻系統(tǒng)10可以通過存儲(chǔ) 器接口 17和存儲(chǔ)路徑18而耦合到存儲(chǔ)器12。視頻系統(tǒng)10也可以通 過網(wǎng)絡(luò)接口 19耦合到網(wǎng)絡(luò)15上，用于向終端用戶發(fā)送^f見頻流。網(wǎng)絡(luò) 15可以是有線或無(wú)線網(wǎng)絡(luò)，或者二者組合。網(wǎng)絡(luò)15可以是局域網(wǎng)， 廣域網(wǎng)，因特網(wǎng)或以上所述的組合。存儲(chǔ)器12可以是一個(gè)或多個(gè)易 失或非易失存儲(chǔ)設(shè)備的組合，或者任意機(jī)器可讀介質(zhì)。例如，機(jī)器可 讀介質(zhì)包括只讀存儲(chǔ)器(ROM);隨機(jī)存取存儲(chǔ)器(RAM);磁盤存儲(chǔ)々萊 體；光存儲(chǔ)媒體；閃存設(shè)備；生物電子、機(jī)械系統(tǒng)；電、光、聲或其 它形式的傳播信號(hào)(比如，載波、紅外信號(hào)或數(shù)字信號(hào))。
存儲(chǔ)器12可存儲(chǔ)多個(gè)視頻文件，包括一種或多種視頻格式的媒 體流文件123。媒體流文件123可包括一系列幀。每個(gè)幀的部分可包 含用戶特別感興趣或敏感的信息。例如，圖2示出了三個(gè)連續(xù)幀，其 中每個(gè)都包括一個(gè)正在奔跑的人和兩輛移動(dòng)的汽車。用戶可能對(duì)人比
對(duì)汽車更感興趣，因此，可能會(huì)更加關(guān)注人的細(xì)節(jié)。因此，用戶可以指定人為包含更多用戶敏感信息的物體。包含人的區(qū)域，如橢圓21-23所表示的，被稱之為敏感信息部分(SIP)區(qū)域。SIP區(qū)域之外的區(qū)域稱之為非SIP區(qū)域。
參照?qǐng)D1,在一個(gè)實(shí)施例中，視頻系統(tǒng)IO可以具有一個(gè)包括代碼轉(zhuǎn)換器110、敏感信息部分(SIP)產(chǎn)生器120以及可選SIP文件分析器130的代碼轉(zhuǎn)換單元16,用于向視頻文件施加偏差率控制。在一個(gè)實(shí)施例中，比起向非SIP區(qū)域，代碼轉(zhuǎn)換器110可以向SIP區(qū)域分配更多的用于每個(gè)宏塊的位數(shù)(例如16象素x 16象素塊)，從而增強(qiáng)SIP的質(zhì)量和用戶體驗(yàn)。SIP產(chǎn)生器120為每一幀產(chǎn)生SD 信息。SIP信息可 以與代碼轉(zhuǎn)換流的傳輸一起產(chǎn)生或者靜態(tài)地產(chǎn)生到存儲(chǔ)在存儲(chǔ)器12
里的SIP配置文件125。如果SIP信息是離線產(chǎn)生的并存儲(chǔ)到SIP配 置文件125中的，SIP配置文件的格式可能并不能與代碼轉(zhuǎn)換器110 相兼容。SIP文件分析器130可以用于把用于代碼轉(zhuǎn)換器110的文件 格式進(jìn)行轉(zhuǎn)換以解決任何格式不兼容問題。
圖1中，代碼轉(zhuǎn)換器110、 SIP產(chǎn)生器120以及SIP文件分析器 130作為硬件設(shè)備而示出，其可通過特定用途集成電路(ASIC)、現(xiàn)場(chǎng) 可編程門陣列(FPGA),或任何適用于邏輯設(shè)備執(zhí)行的硬件技術(shù)。這些 硬件設(shè)備可以通過直接存儲(chǔ)器存取(DMA)控制器13直接對(duì)存儲(chǔ)器12 里的文件進(jìn)行存取。作為備選地， 一個(gè)或多個(gè)代碼轉(zhuǎn)換器110、 SIP 產(chǎn)生器120和SIP文件分析器130可以實(shí)現(xiàn)為預(yù)定義的存儲(chǔ)在機(jī)器可 讀介質(zhì)中的軟件模塊。這些軟件模塊可以包含由處理器14執(zhí)行的指 令。
在靜態(tài)實(shí)施例中，SIP可以在用戶的指導(dǎo)下產(chǎn)生。例如，用戶可 以手動(dòng)為各幀標(biāo)記一個(gè)或多個(gè)SIP區(qū)域，并為所標(biāo)記的區(qū)域分配優(yōu)先 級(jí)。SIP產(chǎn)生器120可以產(chǎn)生每個(gè)被標(biāo)記區(qū)域的坐標(biāo)，并將其存儲(chǔ)到 SIP配置文件125中。作為備選地，用戶可以在SIP首先出現(xiàn)的幀中 對(duì)SIP進(jìn)行標(biāo)記。SIP產(chǎn)生器120可以使用標(biāo)記的信息來自動(dòng)對(duì)其后 的幀中的SEP進(jìn)行定位。例如，參照?qǐng)D2,用戶可以手動(dòng)標(biāo)記橢圓21-23 來表示正在奔跑的人包包^^敏感信息。用戶可以僅僅選擇性地標(biāo)記橢 圓21。 SEP產(chǎn)生器120可以分析物體(正在奔跑的人)的特點(diǎn)，或者 包含在橢圓21內(nèi)的區(qū)域，并且在后續(xù)幀中搜索具有相同或相似特點(diǎn) 的物體或區(qū)域。SEP產(chǎn)生器120可以利用標(biāo)準(zhǔn)函數(shù)，比如運(yùn)動(dòng)圖象專 家組-4(MPEG-4)中所描述的，來進(jìn)行分析或搜索。當(dāng)SDP產(chǎn)生器120 對(duì)物體或區(qū)域定位后，SIP產(chǎn)生器可以產(chǎn)生標(biāo)記，橢圓形或者任意合 適的形狀，來包圍它。標(biāo)記的坐標(biāo)，無(wú)論是由用戶還是SIP產(chǎn)生器120 產(chǎn)生的，都可以存儲(chǔ)在SIP配置文件125中。SIP配置文件125可以 以項(xiàng)目(item)形式來存儲(chǔ)每個(gè)SIP,該項(xiàng)目包括幀序列號(hào)、SIP號(hào)、SIP 優(yōu)先級(jí)以及包圍SIP的標(biāo)記的形狀和坐標(biāo)。
作為備選地，用戶也可以向SIP產(chǎn)生器120指示某個(gè)物體(比如 正在奔跑的人)就是SIP，而不用把物體圈起來。在這種場(chǎng)景下，用 戶可以向SIP產(chǎn)生器120來描述物體的特點(diǎn)(比如某種顏色或某種高寬 比的物體)。作為備選地，用戶還可以把固定坐標(biāo)或形狀的區(qū)域指定 SIP區(qū)域。SIP產(chǎn)生器120可以根據(jù)用戶的指導(dǎo)來在所有幀中定位物體 或區(qū)域。
SIP產(chǎn)生器120也可以自動(dòng)對(duì)SIP進(jìn)行定位，而不需要用戶的指 導(dǎo)，或者只需要用戶最小的輸入。例如，用戶可以為每個(gè)頻繁出現(xiàn)的 物體提供一個(gè)優(yōu)先級(jí)。SIP產(chǎn)生器120可以比較幀序列中的物體，并 指定出現(xiàn)最頻繁的物體和/或具有最高優(yōu)先級(jí)的物體為SIP。作為備選 地，SIP產(chǎn)生器120也可以比較一系列幀中的物體，并指定出現(xiàn)這些 幀最中心位置的物體作為SIP。在另外一些場(chǎng)景中，SIP產(chǎn)生器120 可以比較幀序列中的感興趣區(qū)域并指定這些出現(xiàn)最為頻繁的區(qū)域作 為SIP。
在某些實(shí)施例中，圖1中的視頻系統(tǒng)IO可以由靜態(tài)模型或靜態(tài) 模型實(shí)現(xiàn)。圖3和圖4分別示出了視頻系統(tǒng)10的靜態(tài)模型和動(dòng)態(tài)模 型的實(shí)施例。在靜態(tài)模型和動(dòng)態(tài)模型中，代碼轉(zhuǎn)換器IIO可以基于SIP 信息和網(wǎng)絡(luò)15的可用帶寬來對(duì)i某體流文件123進(jìn)行代碼轉(zhuǎn)換。代碼 轉(zhuǎn)換器IIO可以為SIP區(qū)域和非SIP區(qū)域決定不同的比特率以保證SIP 的質(zhì)量并不妥協(xié)于有限的帶寬。與非SIP區(qū)域相比，SIP區(qū)域可以以 更高的比特率被發(fā)送。如果可用帶寬命支低，或者網(wǎng)絡(luò)15不穩(wěn)定，代 碼轉(zhuǎn)換器IIO可以降低用于發(fā)送非SIP區(qū)域的比特率而維持用于發(fā)送 SIP區(qū)域的比特率。作為備選的，代碼轉(zhuǎn)換器110可以降低用于SIP 和非SIP區(qū)域的比特率，但是對(duì)非SIP區(qū)域施加的比特率降低更多。 為了為高優(yōu)先級(jí)SIP保留更多的帶寬， 一些低優(yōu)先級(jí)的SEP區(qū)域可能 會(huì)丟棄。即，低優(yōu)先級(jí)SIP區(qū)域可以用與非SIP區(qū)域相同的比特率進(jìn) 行編碼。因此，視頻系統(tǒng)10可以適用于不同的網(wǎng)絡(luò)環(huán)境，并可以有 效地利用帶寬來傳輸高質(zhì)量的敏感信息。
在圖3的靜態(tài)4莫型中，SIP配置文件125優(yōu)先于被代碼轉(zhuǎn)換的視 頻傳輸而產(chǎn)生。SIP配置文件125也可以從不同的平臺(tái)導(dǎo)入，并且可 以具有不易^支代碼轉(zhuǎn)換器110所解讀的格式。SIP文件分析器130可 以讀取SIP配置文件125，并4巴文件格式轉(zhuǎn)換成其它能與代碼轉(zhuǎn)換器 110兼容的格式。然后代碼轉(zhuǎn)換器110可以基于從SIP文件分析器130 處所接收到的SIP和網(wǎng)絡(luò)15的帶寬狀態(tài)而從4某體流文件123中產(chǎn)生代 碼轉(zhuǎn)換的流。
圖4的動(dòng)態(tài)模型中，SIP配置文件125和SIP文件分析器130可 以省略。SIP產(chǎn)生器120與代碼轉(zhuǎn)換操作同時(shí)產(chǎn)生SIP信息，并且直 接把SIP發(fā)送給代碼轉(zhuǎn)換器110。在一個(gè)實(shí)施例中，代碼轉(zhuǎn)換器110 可以把網(wǎng)絡(luò)15的帶寬狀態(tài)饋送給SIP產(chǎn)生器120，并允許SEP產(chǎn)生器 基于網(wǎng)絡(luò)條件動(dòng)態(tài)地調(diào)整SIP的量。
圖5是示出某些實(shí)施例中例如圖1中的代碼轉(zhuǎn)換器110中代碼轉(zhuǎn) 換器操作的例子的流程圖。方框51處，代碼轉(zhuǎn)換器110接收帶寬狀 態(tài)，帶寬狀態(tài)指示可用于發(fā)送代碼轉(zhuǎn)換的視頻的可用帶寬。方框52 處，根據(jù)圖3的靜態(tài)模型，代碼轉(zhuǎn)換器110從SIP文件分析器130處 接收SIP信息。作為備選的，根據(jù)圖4的動(dòng)態(tài)模型，代碼轉(zhuǎn)換器110 也可從SIP產(chǎn)生器120處接收SIP信息，并把帶寬狀態(tài)轉(zhuǎn)發(fā)SIP產(chǎn)生 器。盡管，如圖所示，SIP信息是在接收到帶寬狀態(tài)之后才被接收的， 但是，這些接收可以是任意順序的，并且可以是同時(shí)的。方框53處， 代碼轉(zhuǎn)換器IIO基于帶寬狀態(tài)而決定對(duì)SIP以及非SIP區(qū)域進(jìn)行代碼 轉(zhuǎn)換的比特率。代碼轉(zhuǎn)換器110也可以決定是否丟棄具有低優(yōu)先級(jí)的 SIP。方框54處，代碼轉(zhuǎn)換器IIO形成近似被標(biāo)記區(qū)域或物體的宏塊。 在塊55處，比起非SIP區(qū)域中的宏塊，代碼轉(zhuǎn)換器110對(duì)SIP區(qū)域的 宏塊中的每一個(gè)用更高的比特率進(jìn)行代碼轉(zhuǎn)換。方框56處，代碼轉(zhuǎn) 換器通過網(wǎng)絡(luò)15向每個(gè)終端用戶發(fā)送進(jìn)行了代碼轉(zhuǎn)換的流。
在上述說明中，對(duì)一些特定實(shí)施例進(jìn)行了說明。但是，4艮明顯可 以對(duì)其進(jìn)行各種變型或變化，而并不偏離權(quán)利要求書的精神和范圍。因而，本說明以及附圖應(yīng)該視為是示范性的，而非限制性的。
權(quán)利要求
1.一種方法，包括定義幀的第一部分為包含敏感信息，其中所述幀包括所述第一部分和第二部分；基于可用于發(fā)送代碼轉(zhuǎn)換的幀的帶寬，而對(duì)所述幀的所述第一部分以高于所述幀的所述第二部分的比特率進(jìn)行代碼轉(zhuǎn)換。
2. 如權(quán)利要求1所述的方法，其特征在于，所迷定義幀的第一 部分還包括定義所述幀的所述第一部分的一個(gè)或多個(gè)項(xiàng)目為包含敏感信息， 其中所述項(xiàng)目為區(qū)域和物體中的一個(gè)。
3. 如權(quán)利要求2所述的方法，還包括 把每個(gè)所述項(xiàng)目的坐標(biāo)存儲(chǔ)到文件中。
4. 如權(quán)利要求2所述的方法，其特征在于，定義所述幀的所述第 一部分的一個(gè)或多個(gè)項(xiàng)目還包4舌如果所迷可用帶寬降低，則用與所述幀的所述第二部分相同的比 特率對(duì)低優(yōu)先級(jí)項(xiàng)目進(jìn)行代碼轉(zhuǎn)換。
5. 如權(quán)利要求1所述的方法，其特征在于，所述代碼轉(zhuǎn)換還包括 如果所述可用帶寬降低，則降低所述幀的所述第二部分的比特率，同時(shí)維持所述幀的所述第一部分的比特率。
6. 如權(quán)利要求1所述的方法，其特征在于，所述代碼轉(zhuǎn)換還包括 如果所述可用帶寬降低，則所述幀的所述第二部分的比特率的降低大于所述幀的所述第一部分的比特率的降低。
7. 如權(quán)利要求1所述的方法，其特征在于，定義幀的第一部分 還包括比較幀序列中的物體；以及定義所述第一部分為包含所述幀序列中出現(xiàn)最頻繁的物體。
8. 如權(quán)利要求1所述的方法，其特征在于，定義幀的第一部分還包括比較幀序列中的物體；以及定義所述第一部分為包含所述幀序列中最中心位置出現(xiàn)的物體。
9. 一種系統(tǒng)，包括敏感信息產(chǎn)生器，以產(chǎn)生把幀的第一部分作為包含敏感信息的定義，其中所述幀包括所述第一部分和第二部分；代碼轉(zhuǎn)換器，以基于可用于發(fā)送代碼轉(zhuǎn)換的幀的帶寬，而對(duì)所述幀的所述第一部分以高于所述幀的所述第二部分的比特率進(jìn)行代碼轉(zhuǎn)換。
10. 如權(quán)利要求9所述的系統(tǒng)，還包括存儲(chǔ)器，以存儲(chǔ)包括所述幀的所述第一部分中項(xiàng)目的坐標(biāo)的配置文件，其中所述項(xiàng)目是物體和區(qū)域中的一個(gè)。
11. 如權(quán)利要求9所述的系統(tǒng)，還包括存儲(chǔ)器，以存儲(chǔ)包括所述幀的所述第一部分中項(xiàng)目的優(yōu)先級(jí)的配置文件，其中所述項(xiàng)目是物體和區(qū)域中的一個(gè)。
12. 如權(quán)利要求11所述的系統(tǒng)，還包括文件分析器，以把所述配置文件的格式轉(zhuǎn)換成與所述代碼轉(zhuǎn)換器兼容的另一種格式。
13. 如權(quán)利要求9所述的系統(tǒng)，其特征在于，所述敏感信息產(chǎn)生器發(fā)送所述第一幀的定義到所述代碼轉(zhuǎn)換器，并且從所述代碼轉(zhuǎn)換器接收的所述帶寬的狀態(tài)。
14. 一種其中具有指令的機(jī)器可讀介質(zhì)，在所述指令被執(zhí)行時(shí)能使機(jī)器定義幀的第一部分為包含敏感信息，其中所述幀包括所述第一部分和第二部分；基于可用于發(fā)送代碼轉(zhuǎn)換的幀的帶寬，而對(duì)所述幀的所述第一部分以高于所述幀的所述第二部分的比特率進(jìn)行代碼轉(zhuǎn)換。
15. 如權(quán)利要求14所述的機(jī)器可讀介質(zhì)，其特征在于，定義幀的第一部分還包括如下指令，所迷指令可操作以定義所述幀的所述第一部分的一個(gè)或多個(gè)項(xiàng)目為包含敏感信息， 其中所述項(xiàng)目是區(qū)域和物體中的 一個(gè)。
16. 如權(quán)利要求15所述的機(jī)器可讀介質(zhì)，其特征在于，定義所述 幀的所述第一部分的一個(gè)或多個(gè)項(xiàng)目還包括指令，可操作以如果所述可用帶寬降低，則以與所述幀的所述第二部分相同的比 特率對(duì)低優(yōu)先級(jí)項(xiàng)目進(jìn)行代碼轉(zhuǎn)換。
17. 如權(quán)利要求14所述的機(jī)器可讀介質(zhì)，其特征在于，還包括指 令，可操作以如果所述可用帶寬降低，則降低所述幀的所述第二部分的比特 率，同時(shí)維持所述幀的所述第一部分的比特率。
18. 如權(quán)利要求14所述的機(jī)器可讀介質(zhì)，其特征在于，還包括指 令，可操作以如果所述可用帶寬降低，則所述幀的所述第二部分的比特率的降 低大于所述幀的所述第 一部分的比特率的降低。
19. 如權(quán)利要求14所述的機(jī)器可讀介質(zhì)，其特征在于，所述定義 幀的第一部分還包括指令，可操作以比較幀序列中的物體；以及定義所述第一部分為包含所述幀序列中出現(xiàn)最頻繁的所述物體。
20. 如權(quán)利要求14所述的方法，其特征在于，所述定義幀的第 一部分還包括指令，可操作以比較幀序列中的物體；以及定義所述第一部分為包含所述幀序列中最中心位置出現(xiàn)的物體。
全文摘要
本發(fā)明涉及一種視頻系統(tǒng)，該視頻系統(tǒng)包括敏感信息產(chǎn)生器，用于產(chǎn)生敏感信息部分(SIP)區(qū)域的定義。該視頻系統(tǒng)還包括代碼轉(zhuǎn)換器，基于用于對(duì)被代碼轉(zhuǎn)換過的幀進(jìn)行發(fā)送的可用帶寬，對(duì)SIP區(qū)域以高于非SIP區(qū)域的比特率進(jìn)行代碼轉(zhuǎn)換。SIP區(qū)域是靜態(tài)地或動(dòng)態(tài)地產(chǎn)生的。視頻系統(tǒng)適用于不同的網(wǎng)絡(luò)環(huán)境，并且能夠有效地利用帶寬來進(jìn)行高質(zhì)量的敏感信息傳輸，并能增強(qiáng)用戶體驗(yàn)。
文檔編號(hào)H04N7/26GK101346997SQ200580052395
公開日2009年1月14日 申請(qǐng)日期2005年12月28日 優(yōu)先權(quán)日2005年12月28日
發(fā)明者C·X·陳, R·李 申請(qǐng)人:英特爾公司