一種面向虛擬場景生成的視頻圖像素材庫的構(gòu)造方法
【專利摘要】本發(fā)明公開了一種面向虛擬場景生成的視頻圖像素材庫的構(gòu)造方法，首先定義視頻圖像素材在虛擬場景生成領(lǐng)域下的本體概念及表示；再將所述本體的信息從網(wǎng)絡本體語言OWL描述轉(zhuǎn)換成關(guān)系數(shù)據(jù)庫描述，以構(gòu)造視頻圖像素材庫；針對虛擬場景生成的應用需求，結(jié)合所構(gòu)造的視頻圖像素材庫，在對象、動作、事件三個語義層次上標注生成虛擬場景所需視頻圖像素材的語義并寫入素材標注庫；或在對象、動作、事件三個語義層次上檢索所述視頻圖像素材庫中的視頻圖像素材；該方法能夠提供生成虛擬場景所需的視頻圖像素材，并有效組織和管理視頻圖像素材庫，為基于視頻圖像素材的虛擬場景生成系統(tǒng)提供數(shù)據(jù)庫支持。
【專利說明】一種面向虛擬場景生成的視頻圖像素材庫的構(gòu)造方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及數(shù)據(jù)庫【技術(shù)領(lǐng)域】，尤其涉及一種面向虛擬場景生成的視頻圖像素材庫的構(gòu)造方法。
【背景技術(shù)】
[0002]目前，虛擬場景普遍應用于游戲娛樂、軍事訓練、影視制作，醫(yī)學等領(lǐng)域，虛擬場景的生成方法具體分為兩種，一種通過傳統(tǒng)的三維建模技術(shù)渲染生成，通常需要大量的數(shù)據(jù)采集、模型搭建方面的工作，同時為達到逼真的繪制效果，往往需要對海量場景細節(jié)進行人工構(gòu)造，其代價較高，工作周期較長。基于上述原因，視頻圖像素材在虛擬場景生成領(lǐng)域逐漸成為重要的資源。一方面，攝像技術(shù)廣泛應用于人類生產(chǎn)活動的各個領(lǐng)域，視頻圖像數(shù)據(jù)相對三維模型而言，來源豐富、采集過程更為便捷；另一方面，視頻圖像具有真實感強，易于編輯的優(yōu)點，其相應的算法工具也較容易由非領(lǐng)域?qū)＜业娜藛T理解和掌握，更具普遍意義。因此，圍繞基于視頻圖像素材的虛擬場景生成技術(shù)的理論、技術(shù)和系統(tǒng)研究正成為當下計算機視覺領(lǐng)域的研究熱點，其應用前景體現(xiàn)了虛擬現(xiàn)實技術(shù)在人類社會生活中的應用趨勢。
[0003]數(shù)字視頻圖像數(shù)據(jù)量呈海量增長，在各個應用領(lǐng)域均存在大量冗余情況，例如在影視、廣告節(jié)目制作中，實際拍攝的素材長度往往是最終剪輯完成的影片長度的數(shù)倍甚至是數(shù)十倍，因此有必要將素材入庫，以進行統(tǒng)一、有效的管理；另一方面，素材查找在影視圖像編輯工作中占據(jù)很大比重，為方便用戶定位適合的素材數(shù)據(jù)，應為素材標記語義信息，為此還需要完善的知識表達方法對素材進行標注和表達，而現(xiàn)有技術(shù)中卻缺乏一套面向虛擬場景生成的視頻圖像語義素材庫的構(gòu)造方法。

【發(fā)明內(nèi)容】

[0004]本發(fā)明的目的是提供一種面向虛擬場景生成的視頻圖像素材庫的構(gòu)造方法，該方法能夠提供生成虛擬場景所需的視頻圖像素材，并有效組織和管理視頻圖像素材庫，為基于視頻圖像素材的虛擬場景生成系統(tǒng)提供數(shù)據(jù)庫支持。
[0005]一種面向虛擬場景生成的視頻圖像素材庫的構(gòu)造方法，所述方法包括:
[0006]定義視頻圖像素材在虛擬場景生成領(lǐng)域下的本體概念及表示；
[0007]將所述本體的信息從網(wǎng)絡本體語言0WL描述轉(zhuǎn)換成關(guān)系數(shù)據(jù)庫描述，以構(gòu)造視頻圖像素材庫；
[0008]其中，所述視頻圖像素材庫包括素材數(shù)據(jù)庫，素材標注庫和素材知識庫:
[0009]所述素材數(shù)據(jù)庫用于存儲視頻圖像素材數(shù)據(jù)以及長度、幀率、分辨率的基本信息；
[0010]所述素材知識庫用于存儲相關(guān)領(lǐng)域素材的本體知識集合；
[0011]所述素材標注庫用于在所述素材知識庫的指導下，存儲視頻圖像素材的語義標注信息，建立素材的語義結(jié)構(gòu)到存儲結(jié)構(gòu)的映射關(guān)系；[0012]針對虛擬場景生成的應用需求，結(jié)合所構(gòu)造的視頻圖像素材庫，在對象、動作、事件三個語義層次上標注生成虛擬場景所需視頻圖像素材的語義并寫入所述素材標注庫；或在對象、動作、事件三個語義層次上檢索所述視頻圖像素材庫中的視頻圖像素材。
[0013]由上述本發(fā)明提供的技術(shù)方案可以看出，該方法能夠提供生成虛擬場景所需的視頻圖像素材，并有效組織和管理視頻圖像素材庫，為基于視頻圖像素材的虛擬場景生成系統(tǒng)提供數(shù)據(jù)庫支持。
【專利附圖】

【附圖說明】
[0014]為了更清楚地說明本發(fā)明實施例的技術(shù)方案，下面將對實施例描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實施例，對于本領(lǐng)域的普通技術(shù)人員來講，在不付出創(chuàng)造性勞動的前提下，還可以根據(jù)這些附圖獲得其他附圖。
[0015]圖1為本發(fā)明實施例所述面向虛擬場景生成的視頻圖像素材庫的構(gòu)造方法流程示意圖；
[0016]圖2為本發(fā)明實施例所構(gòu)建的體育視頻圖像素材的領(lǐng)域本體頂層示意圖；
[0017]圖3為本發(fā)明實施例所述足球領(lǐng)域Entity類結(jié)構(gòu)示意圖；
[0018]圖4為本發(fā)明實施例所述足球領(lǐng)域Action類結(jié)構(gòu)示意圖；
[0019]圖5為本發(fā)明實施例所述足球領(lǐng)域Event類結(jié)構(gòu)示意圖；
[0020]圖6為本發(fā)明實施例所構(gòu)造的領(lǐng)域本體的屬性約束示意圖；
[0021]圖7為本發(fā)明實施例所構(gòu)造的部分領(lǐng)域本體數(shù)據(jù)庫結(jié)構(gòu)示意圖；
[0022]圖8為本發(fā)明實施例所構(gòu)造的素材標注庫E-R圖；
[0023]圖9為本發(fā)明實施例所構(gòu)造的部分素材標注庫數(shù)據(jù)庫結(jié)構(gòu)示意圖；
[0024]圖10為本發(fā)明實施例視頻圖像素材語義標注的層次示意圖；
[0025]圖11為本發(fā)明實施例所述標注文件入庫的數(shù)據(jù)流程示意圖。
【具體實施方式】
[0026]下面結(jié)合本發(fā)明實施例中的附圖，對本發(fā)明實施例中的技術(shù)方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本發(fā)明一部分實施例，而不是全部的實施例?；诒景l(fā)明的實施例，本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動前提下所獲得的所有其他實施例，都屬于本發(fā)明的保護范圍。
[0027]下面將結(jié)合附圖對本發(fā)明實施例作進一步地詳細描述，如圖1所示為本發(fā)明實施例所述面向虛擬場景生成的視頻圖像素材庫的構(gòu)造方法流程示意圖，所述方法包括:
[0028]步驟11:定義視頻圖像素材在虛擬場景生成領(lǐng)域下的本體概念及表示；
[0029]在具體實現(xiàn)中，所述本體概念按照領(lǐng)域經(jīng)驗規(guī)定屬性約束，具有面向領(lǐng)域的通用性、完備性以及可擴展性，具體來說:
[0030]針對虛擬場景生成的不同領(lǐng)域素材建立支持語義規(guī)范化描述的本體；
[0031]所述本體呈樹狀結(jié)構(gòu)，樹內(nèi)的每一個節(jié)點代表某一類通用的概念，概念之間具有繼承關(guān)系，并以多個層次描述所述本體中符合人類經(jīng)驗的常用概念的屬性；
[0032]且所述本體使用網(wǎng)絡本體語言0WL語言進行描述。舉例來說，針對體育足球領(lǐng)域，可以將頂層實體繼承為球員、球場等實體，而球員實體可以做進一步繼承，成為場上球員、替補球員等更具體化的實體等，最終獲得足球領(lǐng)域內(nèi)的本體樹。
[0033]步驟12:將所述本體的信息從網(wǎng)絡本體語言0WL描述轉(zhuǎn)換成關(guān)系數(shù)據(jù)庫描述，以構(gòu)造視頻圖像素材庫；
[0034]其中，所述視頻圖像素材庫包括素材數(shù)據(jù)庫，素材標注庫和素材知識庫為:
[0035]所述素材數(shù)據(jù)庫用于存儲視頻圖像素材數(shù)據(jù)以及長度、幀率、分辨率的基本信息；具體實現(xiàn)中，所述素材數(shù)據(jù)庫包括視頻和圖像素材，且所述視頻和圖像素材的構(gòu)造過程中具有統(tǒng)一的構(gòu)造方法，將圖像素材作為時間長度為1幀的視頻素材進行處理。
[0036]所述素材知識庫用于存儲相關(guān)領(lǐng)域，例如影視、體育等領(lǐng)域素材的本體知識集合；
[0037]所述素材標注庫用于在所述素材知識庫的指導下，存儲視頻圖像素材的語義標注信息，建立素材的語義結(jié)構(gòu)到存儲結(jié)構(gòu)的映射關(guān)系；進一步的，該素材標注庫包括視頻、幀、對象、對象幀、事件、事件對象和事件關(guān)系，其中:
[0038]所述視頻和所述幀用于記錄視頻和圖像幀的物理屬性；所述對象和所述事件用于記錄視頻圖像的對象、動作、事件語義屬性，且所述事件用于描述作為原子事件的動作；所述對象幀用于記錄包含語義信息的幀區(qū)域；所述事件對象用于記錄所述對象和所述事件的組成關(guān)系；所述事件關(guān)系用于描述不同事件之間的時序、空間位置關(guān)系。
[0039]另外，在將所述本體的信息從網(wǎng)絡本體語言0WL描述轉(zhuǎn)換成關(guān)系數(shù)據(jù)庫描述的過程中，具體包含如下13類的轉(zhuǎn) 換模式(相應的中文名稱需要標注出來):
[0040]1)命名空間實體:namespaces (ID, name)；
[0041]2)資源實體:resources (ID, namespace, localname, type)；
[0042]3)三兀組實體:triple (subject, predicate, object)；
[0043]4)類繼承關(guān)系:subClass0f (subclassID, superclassID)；
[0044]5)屬性繼承關(guān)系:subProperty0f (subpropertylD, superpropertylD)；
[0045]6)隸屬關(guān)系:individuals (individuallD, classID)；
[0046]7)屬性域?qū)嶓w:propertyField (propertylD, domain, range)；
[0047]8)等價關(guān)系:equivalentRelation (resourcellD, type, resource2ID)；
[0048]9)不等價關(guān)系:differentRelation (resourcellD, type, resource2ID)；
[0049]10)屬性特征實體:propertyCharacter (propertylD, character)；
[0050]11)屬性約束關(guān)系:propertyRest;riction (classID, propertylD, type, value)；
[0051]12)類操作關(guān)系:classOperation (resourcelD, type, resourcellD,resource2ID)；
[0052]13)類注釋關(guān)系:label (labellD, labelText, resourcelD) ?
[0053]步驟13:針對虛擬場景生成的應用需求，結(jié)合所構(gòu)造的視頻圖像素材庫，在對象、動作、事件三個語義層次上進行相應處理。
[0054]在該步驟中，具體是結(jié)合所構(gòu)造的視頻圖像素材庫，在對象、動作、事件三個語義層次上標注生成虛擬場景所需視頻圖像素材的語義并寫入所述素材標注庫；這里素材內(nèi)容語義標注具有層級關(guān)系，一般來講，動作標注在對象標注的基礎上進行，事件標注在動作或者事件標注的基礎上進行，具體來說:[0055]標注生成虛擬場景所需視頻圖像素材的對象類別以及名稱，并在視頻幀或者圖像上勾勒包含語義的對象區(qū)域，若是在視頻上標注對象，則需要連續(xù)勾勒多幀對象區(qū)域；
[0056]標注生成虛擬場景所需視頻圖像素材的動作類別、名稱、起止時間，并指定動作的主體和客體，所述動作的主體和客體均為對象標注結(jié)果；
[0057]標注生成虛擬場景所需視頻圖像素材的事件類別、名稱、起止時間，并指定組成事件的子事件，所述事件由子事件或者動作組成，且所述動作可看作原子事件。
[0058]或者，可以在對象、動作、事件三個語義層次上檢索所述視頻圖像素材庫中的視頻圖像素材，在這過程中:可以根據(jù)檢索結(jié)果中不同層次的標注信息，定位到具體的視頻流、圖像流以及具有語義信息的像素區(qū)域。
[0059]下面以體育視頻中足球比賽為例來對上述構(gòu)造方法進行詳細說明，首先是定義視頻圖像素材在虛擬場景生成領(lǐng)域下的本體概念及表示:
[0060]如圖2所示為本發(fā)明實施例所構(gòu)建的體育視頻圖像素材的領(lǐng)域本體頂層示意圖，途圖2中:每一個節(jié)點是一個概念類，所有的類都是根類“Thing”的子類。深色的節(jié)點表示枚舉類。以足球領(lǐng)域為例，Thing按照語義劃分為Action、Ball_Status、Ball_Direction、Entity、Event五個子類，其中枚舉類Ball_Status由moving、stil兩個實例組成,枚舉類Ball_Direction 由 backward, left, forward, right 四個實例組成。
[0061]Entity類描述了足球領(lǐng)域的常見實體,部分結(jié)構(gòu)如圖3所示。Player (球員)、Pitch (球場)、Ball (足球)、Body_Parts (身體部位)等概念類都是Entity的子類。Player又可以進一步細分為Player_On_Pitch (場上球員)和Substitle (替補隊員)。場上球員還可以做進一步細分。球場上的位置(Pitch)可以分為兩類，Point(點)和Area(區(qū)域)。點有中點和罰球點兩個子類，區(qū)域有前場、后場、中場、罰球區(qū)、角球區(qū)等七個子類。足球比賽中常見的身體部位可以分為手、足、胸、頭四個子類。Action、Event類的構(gòu)造規(guī)則與Entity類相似，描述了足球領(lǐng)域常見的動作概念和事件概念，其部分結(jié)構(gòu)如圖4、5所示。這里，所有的概念命名規(guī)則參考中國足球協(xié)會裁判委員會編寫的《足球競賽規(guī)則與裁判法分析》以及900余條足球比賽視頻文字播報。
[0062]參閱圖6本發(fā)明實施例所構(gòu)造的領(lǐng)域本體的屬性約束示意圖，領(lǐng)域本體的部分類定義有屬性約束，以便于本體的完善和演化。例如，Action類最多只有一個action_location (發(fā)生位置)屬性，其定義域是Action類，值域是Pitch類。類似的定義其他屬性約束并為其他類增加必要的屬性及屬性約束，從而得到一個完善的面向特定領(lǐng)域素材的本體。
[0063]參閱圖7部分足球領(lǐng)域本體在數(shù)據(jù)庫中的存儲結(jié)構(gòu)示意圖，圖7中:黑色箭頭表示不同表結(jié)構(gòu)的字段的對應關(guān)系。該存儲結(jié)構(gòu)是一種將本體的信息從網(wǎng)絡本體語言0WL描述轉(zhuǎn)換成關(guān)系數(shù)據(jù)庫描述的模式，完整地存儲了本體信息，考慮了本體的可拓展性，并且利用了關(guān)系數(shù)據(jù)庫查詢的高效性，這里具體包含13類關(guān)系模式:
[0064](1)namespaces (ID, name)。該模式記錄本體中命名空間的概念。其中ID字段用于唯一標識一個命名空間，字段name用于記錄地址字符串的值。
[0065](2) resources (ID, namespace, localname, type)。描述本體的資源概念。ID 用于唯一標識一個資源。namespace字段和localname字段共同構(gòu)成本體中標識資源地址的URI。namespace字段的取值參照namespaces表中的ID字段，localname存儲標識符字符串。資源的類型用字段type進行區(qū)分。類用用“C”表示，屬性用“P”表示，實例用“I”表示，文字用“L”表示。
[0066](3) triple (subject，predicate，object)。描述本體中的三元組，表中的每一個字段的取值都參照resources表中的ID字段，用來保存實例在屬性上的具體取值。
[0067](4) subClassOf (subclassID，superclassID)。subClassOf 模式存儲類之間的從屬關(guān)系。subclassID字段存儲子類的ID，取值參照resources表中的ID字段；superclassID字段存儲父類的ID，取值參照resources表中的ID字段。
[0068](5) subPropertyOf (subpropertylD, superpropertylD)。subPropertyOf 模式存儲屬性之間的從屬關(guān)系。subpropertylD字段存儲子屬性的ID，取值參照resources表中的ID字段；superpropertylD字段存儲父屬性的ID，取值參照resources表中的ID字段。
[0069](6) individuals (individuallD，classID)。根據(jù)原則 1，0WL 中從 RDFS 繼承過來的特征要分開存儲，于是為實例和類之間的隸屬關(guān)系Individual創(chuàng)建單獨的individuals表。其中各字段的取值均參照resources表中的ID字段。
[0070](7) propertyField (propertylD, domain，range)。propertyField 模式存儲 OWL本體中的屬性域。表中各字段的取值均參照resources表中的ID字段。
[0071](8) equivalentRelation (resourcellD, type, resource2ID)。equivalentRelation模式存儲OWL中的類、屬性和實例的等價關(guān)系。resourcellD字段和resource2ID字段的取值均參照resources表中的ID字段，字段type可選取值為“equivalentClass，，、“equivalentProperty，，或“sameAs”，用來表不 resourcellD 所代表的資源和resource2ID所代表的資源是同一種type類型間的關(guān)系。
[0072](9) differentRelation (resourcellD, type, resource2ID)。differentRelation模式存儲OWL中的類、屬性和實例的不等價關(guān)系。I'esoui'cellD字段和I'esoui'ceSID字段的取值均參照resources表中的ID字段，字段type可選取值為“differentFrom”和“AllDifferent”，用來表示resourcellD所代表的資源和resource2ID所代表的資源是同一種type類型間的關(guān)系。
[0073](10) propertyCharacter (properylD, character)。propertyCharacter 存儲 OWL本體中六個查詢率較低的特征。這六個特征用character字段進行區(qū)分，可能的取值有“ 0b jectProperty，，、“DatatypeProperty，，、“ TransitiveProperty，，、“SymmetricProperty，，、“FunctionalProperty” 或“InverseFunctionalProperty”。properylD 字段的取值參照resources表中的ID字段。
[0074](11)propertyRestriction(classID, propertylD, type, value)。 存儲 OWL中的屬性約束。classID字段和propertylD字段的取值參照resources表中的ID字段。type 字段可選取的值為 “allValuesFrom”、“someValuesFrom”、“minCardinality”、“maxCardinality”或“cardinality”。value字段中的取值隨type的取值而定，type值為“allValuesFrom”、“someValuesFrom” 時，value 取值參照 resources 表中的 ID 字段；type值為 “minCardinality，，、“maxCardinality "、“cardinality "時，value 取值為具體的數(shù)值，如0或1。
[0075](12) classOperation (resourcelD, type, resourcellD, resource2ID)。OWL 中用IntersectionOf特征來描述一個類是某個命名類和限制之間的相交，它是一個三元關(guān)系，classOperation存儲這種關(guān)系。表中除type外的字段取值均參照resources表中的ID字段。type字段說明resourecelD是由resourcellD和resource2ID經(jīng)過type類型的運算而得到的。
[0076](13) label (labellD, labelText, resourcelD)。label 表用于存儲對本體概念的注釋，注釋的具體內(nèi)容存儲在labelText字段里,resourcelD字段的取值參照resources表中的ID字段。labellD字段用于唯一標識一個注釋。
[0077]參閱圖8為本發(fā)明實施例所述素材標注庫的E-R圖，素材標注庫包括視頻、幀、對象、對象幀、事件、事件對象和事件關(guān)系，如圖8所示:“視頻”實體記錄視頻URL地址、視頻縮略圖等基本信息，圖像在入庫時，可看作長度為1幀的視頻進行處理?！皫睂嶓w記錄了幀所在的視頻ID、幀在視頻中出現(xiàn)的時間、幀的偏移。“對象”實體記錄了對象的名稱和類型?！皫睂嶓w與“對象”實體通過關(guān)系“對象幀”關(guān)聯(lián)起來，每個對象在某幀中的輪廓點序列保存在“對象幀”關(guān)系中。“事件”實體是對事件的抽象。動作可以看作原子事件，亦由“事件”實體描述。事件與事件之間的關(guān)系由“事件關(guān)系”來體現(xiàn)?！笆录ο蟆标P(guān)系存儲動作中的主體和客體?！皩傩浴睂嶓w記錄標注過程產(chǎn)生的其他屬性信息，其中資源類型和資源ID指明該屬性值的擁有者實體的類型以及相應的ID。資源類型包括對象、動作、事件。屬性值均對應領(lǐng)域本體的某一概念，相應的屬性ID對應于知識庫中的屬性ID值。
[0078]該E-R圖所轉(zhuǎn)換的數(shù)據(jù)庫結(jié)構(gòu)部分如圖9所示:一共包含8類關(guān)系模式。其中需要說明的是事件關(guān)系模式包含6類時間關(guān)系取值，分別是“before”、“meet”、“ o ver 1 ap ”、“ s tar t ”、“ during ”、“ same ”,和 4 類空間關(guān)系取值“ during ”、“ s i de-by-s i de ”、“ face-to-face”、“back—to—back'“confusion，，。
[0079]參閱圖10為本發(fā)明實施例視頻圖像素材語義標注的層次示意圖，本發(fā)明實施例支持對象、動作、以及事件三種不同層次的語義標注。其中，對象標注需要勾勒出視頻圖像中具有語義含義的對象區(qū)域，并在此基礎上指定對象類別、名稱。若在視頻上標注對象，則需要對對象的輪廓進行跟蹤，連續(xù)標注多個對象巾貞。動作標注建立在對象標注的基礎上，需要指定動作的主體對象與客體對象，動作發(fā)生的時間區(qū)域，動作類別、名稱等屬性。事件標注建立在動作標注或事件標注的基礎上，指定一個或者多個動作或事件與它們之間的時空關(guān)系、事件類別、名稱等。不同層級的語義標注具有繼承關(guān)系，例如動作標注繼承對象標注的屬性，事件標注繼承動作、子事件標注的屬性等。標注信息以XML文檔結(jié)構(gòu)描述，便于為虛擬場景生成的有關(guān)工具算法提供輸入。
[0080]參閱圖11為本發(fā)明實施例所述標注文件入庫的數(shù)據(jù)流程示意圖，圖11中:標注文件的根元素信息存儲視頻圖像文件的基本物理信息，存入素材標注庫中的視頻信息表。事件信息分析模塊把解析得到的事件元素與一些視頻信息進行分析獲取事件信息，并把事件信息存儲到素材標注庫中的事件信息表；動作信息分析模塊把標注文件解析得到的動作元素信息和必要的視頻信息一起進行分析，把分析的結(jié)果存入事件信息表，一些必要的動作信息還將流向?qū)ο笠唤碡懶畔⒎治瞿K。在對象一巾貞信息分析模塊中，對象信息、巾貞信息、對象和幀的關(guān)系信息、對象和動作的關(guān)系信息被一一分析出來并分別存儲到素材標注庫中的對象信息表、巾貞信息表、對象一巾貞關(guān)系表、動作一對象關(guān)系表中。
[0081]另外，本發(fā)明實施例還可以根據(jù)語義概念關(guān)鍵字檢索視頻圖像素材，檢索條件可以是單一或多關(guān)鍵字，關(guān)鍵字對應領(lǐng)域本體的某一級概念節(jié)點，其根類型對應領(lǐng)域本體的二級節(jié)點，還是以足球領(lǐng)域為例，關(guān)鍵字內(nèi)容應對應Action、Ball_Status、Ball-Direction>Entity>Event五個二級概念的子類。查詢關(guān)鍵字組合轉(zhuǎn)換為數(shù)據(jù)庫查詢語句對素材標注庫進行檢索，并根據(jù)檢索結(jié)果中視頻或圖像的URL信息定位視頻流和圖像流，最后通過對象幀實體記錄的點序列定位視頻圖像流中具有語義信息的像素區(qū)域。
[0082]綜上所述，本發(fā)明實施例所述構(gòu)造方法具有完善的領(lǐng)域本體支撐，可利用可擴展的領(lǐng)域知識本體對視頻圖像素材進行統(tǒng)一組織管理，保證了標注內(nèi)容的一致性與完整性；同時支持多層次的視頻圖像素材語義標注和檢索，不僅可以標注和檢索完整的視頻圖像素材，還支持對視頻圖像素材中的對象、動作以及事件語義進行標注或檢索，給出以XML文件描述的檢索結(jié)果供虛擬場景生成系統(tǒng)的系列工具及算法調(diào)用。
[0083]以上所述，僅為本發(fā)明較佳的【具體實施方式】，但本發(fā)明的保護范圍并不局限于此，任何熟悉本【技術(shù)領(lǐng)域】的技術(shù)人員在本發(fā)明披露的技術(shù)范圍內(nèi)，可輕易想到的變化或替換，都應涵蓋在本發(fā)明的保護范圍之內(nèi)。因此，本發(fā)明的保護范圍應該以權(quán)利要求書的保護范圍為準。
【權(quán)利要求】
1.一種面向虛擬場景生成的視頻圖像素材庫的構(gòu)造方法，其特征在于，所述方法包括:定義視頻圖像素材在虛擬場景生成領(lǐng)域下的本體概念及表示；將所述本體的信息從網(wǎng)絡本體語言OWL描述轉(zhuǎn)換成關(guān)系數(shù)據(jù)庫描述，以構(gòu)造視頻圖像素材庫；其中，所述視頻圖像素材庫包括素材數(shù)據(jù)庫，素材標注庫和素材知識庫:所述素材數(shù)據(jù)庫用于存儲視頻圖像素材數(shù)據(jù)以及長度、幀率、分辨率的基本信息；所述素材知識庫用于存儲相關(guān)領(lǐng)域素材的本體知識集合；所述素材標注庫用于在所述素材知識庫的指導下，存儲視頻圖像素材的語義標注信息，建立素材的語義結(jié)構(gòu)到存儲結(jié)構(gòu)的映射關(guān)系；針對虛擬場景生成的應用需求，結(jié)合所構(gòu)造的視頻圖像素材庫，在對象、動作、事件三個語義層次上標注生成虛擬場景所需視頻圖像素材的語義并寫入所述素材標注庫；或在對象、動作、事件三個語義層次上檢索所述視頻圖像素材庫中的視頻圖像素材。
2.根據(jù)權(quán)利要求1所述面向虛擬場景生成的視頻圖像素材庫的構(gòu)造方法，其特征在于，所述本體概念及表示，具體為:針對虛擬場景生成的不同領(lǐng)域素材建立支持語義規(guī)范化描述的本體；所述本體呈樹狀結(jié)構(gòu)，樹內(nèi)的每一個節(jié)點代表某一類通用的概念，概念之間具有繼承關(guān)系，并以多個層次描述所述本體中符合人類經(jīng)驗的常用概念的屬性；且所述本體使用網(wǎng)絡本體語言OWL語言進行描述。
3.根據(jù)權(quán)利要求1所述面向虛擬場景生成的視頻圖像素材庫的構(gòu)造方法，其特征在于，所述素材數(shù)據(jù)庫包括視頻和圖像素材，且所述視頻和圖像素材的構(gòu)造過程中具有統(tǒng)一的處理方法，將圖像素材作為時間長度為1幀的視頻素材進行處理。
4.根據(jù)權(quán)利要求1所述面向虛擬場景生成的視頻圖像素材庫的構(gòu)造方法，其特征在于，在將所述本體的信息從網(wǎng)絡本體語言OWL描述轉(zhuǎn)換成關(guān)系數(shù)據(jù)庫描述的過程中，具體包含如下13類的轉(zhuǎn)換模式:1)命名空間實體:namespaces(ID, name)；2)資源實體:resources(ID, namespace, localname, type)；3)三兀組實體:triple(subject, predicate, object)；4)類繼承關(guān)系:subClassOf(subclassID, superclassID)；5)屬性繼承關(guān)系:subPropertyOf(subpropertylD, superpropertylD)；6)隸屬關(guān)系:individuals(individuallD，classID)；7)屬性域?qū)嶓w:propertyField(propertylD，domain, range)；8)等價關(guān)系:equivalentRelation(resourcellD,type, resource2ID)；9)不等價關(guān)系:differentRelation(resourcellD,type, resource2ID)；10)屬性特征實體:propertyCharacte;r(propertylD, character)；11)屬性約束關(guān)系:propertyRest;riction(classID, propertylD, type, value)；12)類操作關(guān)系:classOperation(resourcelD,type, resourcellD, resource2ID)；13)類注釋關(guān)系:label(labellD, labelText, resourcelD)。
5.根據(jù)權(quán)利要求1所述面向虛擬場景生成的視頻圖像素材庫的構(gòu)造方法，其特征在于，所述素材標注庫包括視頻、幀、對象、對象幀、事件、事件對象和事件關(guān)系。
6.根據(jù)權(quán)利要求1所述面向虛擬場景生成的視頻圖像素材庫的構(gòu)造方法，其特征在于，所述視頻和所述幀用于記錄視頻和圖像幀的物理屬性；所述對象和所述事件用于記錄視頻圖像的對象、動作、事件語義屬性，且所述事件用于描述作為原子事件的動作；所述對象幀用于記錄包含語義信息的幀區(qū)域；所述事件對象用于記錄所述對象和所述事件的組成關(guān)系；所述事件關(guān)系用于描述不同事件之間的時序、空間位置關(guān)系。
7.根據(jù)權(quán)利要求1所述面向虛擬場景生成的視頻圖像素材庫的構(gòu)造方法，其特征在于，所述在對象、動作、事件三個語義層次上標注生成虛擬場景所需視頻圖像素材的語義并入庫，具體包括:標注生成虛擬場景所需視頻圖像素材的對象類別以及名稱，并在視頻幀或者圖像上勾勒包含語義的對象區(qū)域，若是在視頻上標注對象，則需要連續(xù)勾勒多幀對象區(qū)域；標注生成虛擬場景所需視頻圖像素材的動作類別、名稱、起止時間，并指定動作的主體和客體，所述動作的主體和客體均為對象標注結(jié)果；標注生成虛擬場景所需視頻圖像素材的事件類別、名稱、起止時間，并指定組成事件的子事件，所述事件由子事件或者動作組成，且所述動作可看作原子事件。
8.根據(jù)權(quán)利要求1所述面向虛擬場景生成的視頻圖像素材庫的構(gòu)造方法，其特征在于，所述在對象、動作、事件三個語義層次上檢索所述視頻圖像素材庫中的視頻圖像素材的過程中，具體包括:根據(jù)檢索結(jié)果中不同層次的標注信息，定位到具體的視頻流、圖像流以及具有語義信息的像素區(qū)域。
【文檔編號】G06F17/30GK103678569SQ201310660958
【公開日】2014年3月26日 申請日期:2013年12月9日 優(yōu)先權(quán)日:2013年12月9日
【發(fā)明者】陳小武, 張宇, 趙沁平, 蔣愷, 譚文婷 申請人:北京航空航天大學