本發(fā)明涉及三維模型標注領域，具體說是一種基于語義空間投影變換的三維模型在線標注方法與系統(tǒng)。

背景技術：

三維模型在電影特效制作、游戲、計算機輔助設計等領域廣泛應用。隨著三維建模工具和三維掃描設備廣泛使用，三維模型大量產(chǎn)生并廣泛傳播。由于三維建模過程費時耗力，因此，如何重用已有的三維模型是一個非常重要的問題。

當前，三維模型檢索技術主要分為三類：基于文本的三維模型檢索技術；基于內容的三維模型檢索技術和基于語義的三維模型檢索技術?；谖谋镜臋z索最符合用戶使用習慣，如谷歌公司發(fā)布的Google3DWarehouse[1]。這種檢索方式的不足是缺乏描述三維模型的關鍵字，需要人工標注。對于大規(guī)模數(shù)據(jù)集來說，繁重的人工標注工作量，以及標注結果中存在的不準確、不完整現(xiàn)象不能滿足實際檢索需求?；趦热莸娜S模型檢索技術通過模型的內容特征進行檢索，這些內容特征包括：空間信息、拓撲結構信息、紋理信息、材質信息、顏色信息等等。如美國普林斯頓大學開發(fā)的三維模型檢索系統(tǒng)[2]，不僅提供模型文本關鍵字查詢，還提供草圖查詢。這種檢索方式檢索出的結果中存在大量與目標模型語義不同的模型。

三維模型語義自動標注是指使用語義標簽來表示一個三維模型的語義內容，是檢索和管理三維模型的重要支撐技術。按照三維模型標注的粒度，標注方法可分為兩種：一種是基于模型分割的局部標注方法；一種是全局語義標注方法。研究工作者對基于模型分割的標注方法進行了大量的研究，如文獻[3]按模型的組合特性來分解三維模型，并對模型進行自動標注，該算法主要適用于CAD三維模型。文獻[4]提出了一種基于分割的語義標注技術，其先主要是依靠模型部件與本體的關系來對模型進行標注。文獻[5]設計了一個交互式的三維模型標注系統(tǒng)，對三維模型進行分割，提取分割裝置特征，并利用本體對分割裝置、裝置屬性和分割裝置之間的關系進行描述，利用知識庫實現(xiàn)三維模型自動標注。文獻[6]提出了一種數(shù)據(jù)驅動的三維模型分割與標注方法，通過條件隨機域模型對剖分裝置和文本標簽之間的相關性進行學習。中國專利(申請?zhí)?01310019194.5)“一種三維模型構件類別的自動標注方法”可獲得優(yōu)于傳統(tǒng)分割方法的標注結果，但是其需要數(shù)據(jù)集中存在大量已給出的模型部件標注信息。中國專利(申請?zhí)?01310019194.5)“一種三維模型構成的自動標注方法”也同樣受限于初始分割結果，而且當有新的三維模型添加到數(shù)據(jù)集的時候，需要重新進行聯(lián)合分割，才能得到較好的標注結果。中國專利(申請?zhí)?01410223528.5)“一種三維模型構件的在線標注方法”需要用戶在三維模型上交互地選擇各個分割部件，獲得分割模型，這種用戶指定分割種類和范圍的模式使得標注結果受到用戶主觀影響，會降低標注精度。

上述方法主要適用于規(guī)則的三維模型，有其局限性。三維模型涉及領域廣泛，組織結構復雜，很難開發(fā)出完善的三維模型分割技術。而且，由于三維模型網(wǎng)格自動剖分算法復雜，需要人工參數(shù)調節(jié)，不可避免的存在三維模型過分割和欠分割現(xiàn)象，由此帶來的累積誤差無法滿足實際環(huán)境中的三維模型標注要求。因此，適用度更廣的全局語義標注得到了更多地重視。文獻[7]采用對模型和文本標簽進行概率統(tǒng)計，進行自動標注。但是該方法沒有考慮詞匯之間相似度計算。文獻[8]提出了一種基于語義相關性的三維模型自動標注方法，語義相關性來自用戶的相關反饋記錄。文獻[9]通過語義距離來判斷語義群。文獻[10]通過綜合內容相似性、WORDNET語義相似度以及相關反饋確定最終的標注結果。其缺陷是相關反饋需要用戶進行多次介入。文獻[11]結合深度特征和詞匯信息量共同完成語義標注。文獻[12]提出了一種基于模糊近鄰的三維模型半自動標注方法，該方法利用模糊分類結果，計算分類不確定度，并通過主動學習進行半自動化標注。文獻[13]首先獲得模型“視覺詞匯”，并采用模糊近鄰分類完成標注過程。文獻[14]提出了一種基于半監(jiān)督學習的標簽傳播方法，該方法在弱標簽數(shù)據(jù)集上能夠解決數(shù)據(jù)稀疏和噪聲干擾問題。文獻[15]計算不同CAD模型之間的形狀相似度進行語義標注。文獻[16,17]提出了一種求解三維模型語義相似度的簡便計算方法。文獻[18]利用WordNet語義度量優(yōu)化標注結果，這是一種引入額外數(shù)據(jù)源的方法，但是這種本體知識庫對于詞典依賴性過強，僅考慮候選標注間的字典語義關系，與數(shù)據(jù)集統(tǒng)計特性無關。

綜上所述，當前語義標注方法準確率低的主要原因在于：已有的標注模型分別在三維模型的內容特征空間和文本特征空間兩個異構空間上對內容特征和標簽進行相關性建模。因此，其模型構建過程沒有充分利用視覺內容和其附帶文本標簽的語義關聯(lián)和互補特性。同時，現(xiàn)有方法的計算復雜性限制了其在大規(guī)模三維模型數(shù)據(jù)集上應用。

文獻[1]https://3dwarehouse.sketchup.com。

文獻[2]http://shape.cs.princeton.edu/search.html。

文獻[3]Symonova,Olga,Minh-Son Dao,Giuliana Ucelli,and Raffaele De Amicis."Ontology based shape annotation and retrieval."In Proc.of the ECAI.2006。

文獻[4]Robbiano,Francesco,Marco Attene,Michela Spagnuolo,and Bianca Falcidieno."Part-based annotation of virtual 3d shapes."In Cyberworlds,2007.CW'07.International Conference on,pp.427-436.IEEE,2007。

文獻[5]Attene,Marco,Francesco Robbiano,Michela Spagnuolo,and Bianca Falcidieno."Characterization of 3D shape parts for semantic annotation."Computer-Aided Design 41,no.10(2009):756-763。

文獻[6]Kalogerakis,Evangelos,Aaron Hertzmann,and Karan Singh."Learning3D mesh segmentation and labeling."ACM Transactions on Graphics(TOG)29,no.4(2010):102。

文獻[7]Goldfeder,Corey,and Peter Allen."Autotagging to improve text search for 3d models."In Proceedings of the 8th ACM/IEEE-CS joint conference on Digital libraries,pp.355-358.ACM,2008。

文獻[8]王新穎.三維模型檢索中基于語義方法的若干問題研究[D].吉林大學,2009。

文獻[9]Lu,Tianyang,Shaobin Huang,Peng Wu,and Yeran Jia."Researches on Semantic Annotation and Retrieval of 3D Models Based on User Feedback."In Semantics Knowledge and Grid(SKG),2010Sixth International Conference on,pp.211-218.IEEE,2010。

文獻[10]黃文.三維模型語義標注系統(tǒng)的設計與實現(xiàn)[D].西安：西北大學，2011。

文獻[11]樊亞春,周明全,宋毅,等.結合深度特征和信息量的三維模型標注方法[J].計算機應用與軟件,2011,28(11):40-44.

文獻[12]張俊青.三維模型采集與自動標注算法研究[D].北京:北京交通大學,2011。

文獻[13]李雅潔.基于HKS的非剛性三位模型檢索與語義標注研究[D].北京:北京交通大學,2012。

文獻[14]田楓,沈旭昆,劉賢梅等.一種基于弱標簽的三維模型語義自動標注方法[J].系統(tǒng)仿真學報,2012,24(009):1873-1876。

文獻[15]李亮,張樹生,白曉亮,黃瑞.一種三維CAD模型自動語義標注算法[J].計算機集成制造系統(tǒng)，2013,19(7):1484-1489。

文獻[16]韓麗,朱永玲.融合骨架結構與相關傳遞性的三維模型標注方法[J].計算機應用與軟件，2015，32(1):211-228。

文獻[17]韓麗,朱永玲.融合形狀與語義相關性的三維模型標注方法[J].《計算機工程與設計》,2014,35(2):715-719。

文獻[18]湯斌,王吉華,龐雙雙.改進的三維模型語義自動標注算法[J].山東師范大學學報(自然科學版)，2015，30(4):50-54。

技術實現(xiàn)要素：

有鑒于此，本發(fā)明提供一種基于語義空間投影變換的三維模型在線標注方法與系統(tǒng)，以解決目前語義標注方法準確率低的問題。

第一方面，本發(fā)明提供一種基于語義空間投影變換的三維模型在線標注方法，包括：

第一步，訓練集三維模型的預處理，提取所述訓練集三維模型的內容特征向量；

第二步，建立三維模型標注數(shù)據(jù)庫，存儲所述內容特征向量和所述三維模型附帶的文本標簽數(shù)據(jù)；

第三步，從所述三維模型標注數(shù)據(jù)庫中獲取所述內容特征向量，計算所述內容特征向量之間的相似度，以所述訓練集三維模型為節(jié)點，所述相似度為邊，建立訓練集三維模型的內容特征相似圖；

第四步，從所述文本標簽數(shù)據(jù)中獲取文本標簽向量，計算標簽的相關度，以所述標簽為節(jié)點，以所述相關度為邊，建立訓練集的文本標簽相關圖；

第五步，根據(jù)所述內容特征相似圖和文本標簽相關圖，計算三維模型特征正交投影矩陣，得到三維模型的語義特征向量和文本標簽的語義特征向量，所述三維模型的語義特征向量和文本標簽的語義特征向量構成語義空間，將所述三維模型的語義特征向量和文本標簽的語義特征向量存儲到所述三維模型標注數(shù)據(jù)庫；

第六步，通過待標注三維模型的預處理，提取所述待標注三維模型的內容特征向量；

第七步，對所述待標注三維模型的內容特征向量進行三維模型特征投影變換，得到待標注的三維模型的語義特征向量，在所述語義空間內計算所述待標注的三維模型的語義特征向量與所述文本標簽的語義特征向量之間的相似度，得到所述待標注三維模型的近鄰文本標簽，所述近鄰文本標簽作為最終的標注詞。

優(yōu)選地，所述語義空間的構建方法包括：

建立語義空間優(yōu)化目標函數(shù)：

其中，為所述訓練集三維模型的內容特征向量構成的內容特征矩陣，{t₁,t₂,...,t_m}為所述文本標簽數(shù)據(jù)的文本標簽的集合；

其中，L^S是所述內容特征相似圖的規(guī)范拉普拉斯相似度矩陣，L^C是所述訓練集的文本標簽相關圖的規(guī)范拉普拉斯相關度矩陣；

其中，為所述文本標簽向量構成的標簽矩陣，Y_ij＝1表示所述內容特征矩陣O中特征向量o_j具備文本標簽t_i，Y_ij＝0表示所述內容特征矩陣O中特征向量o_j不具備文本標簽t_i；

其中，為文本標簽語義特征矩陣，為所述語義空間中第i個文本標簽t_i的語義特征向量；為三維模型語義特征矩陣，為所述語義空間中第j個三維模型的語義特征向量，所述文本標簽的語義特征向量和所述三維模型的語義特征向量構成所述語義空間；

其中，為所述三維模型特征正交投影矩陣；

其中，為在所述語義空間內，所述u_i與所述v_j的相似度；

其中，為p階單位矩陣，α、β與γ為參數(shù)，

優(yōu)選地，所述參數(shù)取值為：α＝0.8，β＝0.6，γ＝0.005；

優(yōu)選地，所述計算三維模型特征正交投影矩陣A和文本標簽語義特征矩陣U的方法包括：

語義空間優(yōu)化目標函數(shù)的拉格朗日函數(shù)為：

隨機初始化所述三維模型特征正交投影矩陣A和所述文本標簽語義特征矩陣U，并初始迭代變量t＝1；

步驟1：計算所述目標函數(shù)對于A的導數(shù)：

步驟2：計算所述目標函數(shù)對于U的導數(shù)：

所述目標函數(shù)對于U的每個列向量的導數(shù)為：

所述目標函數(shù)對于U的導數(shù)為

步驟3：更新更新η為下降步長；

步驟4：更新所述迭代變量t＝t+1；重復步驟1、步驟2、步驟3，直至所述三維模型特征正交投影矩陣A和文本標簽語義特征矩陣U收斂；

其中，λ和ζ為拉格朗日不定乘子；

利用所述三維模型特征正交投影矩陣A對所述訓練集三維模型內容特征矩陣進行變換，所述變換為O'＝A^TO，將所述三維模型的語義特征向量和所述文本標簽的語義特征向量存儲到三維模型標注數(shù)據(jù)庫中。

優(yōu)選地，所述參數(shù)取值為：λ＝ζ＝0.005，下降步長η＝0.005。

第二方面，本發(fā)明提供一種基于語義空間投影變換的三維模型在線標注系統(tǒng)，包括：

訓練集三維模型預處理裝置，與三維模型標注數(shù)據(jù)庫裝置連接，用于提取所述訓練集三維模型的內容特征向量和文本標簽向量；

所述三維模型標注數(shù)據(jù)庫裝置，分別與訓練集三維模型預處理裝置、訓練集的三維模型的內容特征相似圖建立裝置、訓練集的文本標簽相關圖建立裝置、語義空間構建裝置和待標注三維模型預處理裝置連接，用于存儲和讀取所述特征向量等數(shù)據(jù)；

所述訓練集的三維模型的內容特征相似圖建立裝置，用于獲取所述內容特征向量，計算所述內容特征向量之間相似度，以所述訓練集三維模型為節(jié)點，所述相似度為邊，建立所述訓練集的三維模型的內容特征相似圖；

所述訓練集的文本標簽相關圖建立裝置，用于計算所述訓練集中標簽的相關度，以所述標簽為節(jié)點，以所述標簽相關度為邊，建立所述訓練集的文本標簽相關圖；

所述語義空間構建裝置，還與訓練集的三維模型的內容特征相似圖建立裝置、訓練集的文本標簽相關圖建立裝置、三維模型標注數(shù)據(jù)庫裝置和待標注三維模型在線標注裝置連接，計算三維模型特征正交投影矩陣和文本標簽的語義特征向量，構建所述語義空間，并將所述語義空間的三維模型的語義特征向量和文本標簽的語義特征向量存儲到三維模型標注數(shù)據(jù)庫；

待標注三維模型預處理裝置，用于對待標注三維模型進行格式轉換、歸一化處理，并提取所述待標注三維模型的內容特征向量；

所述待標注三維模型在線標注裝置，還與所述待標注三維模型預處理裝置、三維模型標注數(shù)據(jù)庫裝置、語義空間構建裝置連接，用于對所述待標注三維模型的內容特征向量進行三維模型特征投影變換，得到所述待標注三維模型的語義特征向量，在語義空間內計算所述三維模型的語義特征向量與所述文本標簽的語義特征向量之間的相似度，得到待標注三維模型的近鄰文本標簽，所述近鄰文本標簽作為最終的標注詞。

優(yōu)選地，所述語義空間構建裝置包括：

語義空間的目標函數(shù)建立單元：

其中，為所述訓練集三維模型的內容特征向量構成的內容特征矩陣，{t₁,t₂,...,t_m}為所述文本標簽數(shù)據(jù)的文本標簽的集合；

其中，L^S是所述內容特征相似圖的規(guī)范拉普拉斯相似度矩陣，L^C是所述訓練集的文本標簽相關圖的規(guī)范拉普拉斯相關度矩陣；

其中，為所述文本標簽向量構成的標簽矩陣，Y_ij＝1表示所述內容特征矩陣O中特征向量o_j具備文本標簽t_i，Y_ij＝0表示所述內容特征矩陣O中特征向量o_j不具備文本標簽t_i；

其中，為文本標簽語義特征矩陣，為所述語義空間中第i個文本標簽t_i的語義特征向量；為三維模型語義特征矩陣，為所述語義空間中第j個三維模型的語義特征向量，所述文本標簽的語義特征向量和所述三維模型的語義特征向量構成所述語義空間；

其中，為所述三維模型特征正交投影矩陣；

其中，為在所述語義空間內，所述u_i與所述v_j的相似度；

其中，為p階單位矩陣，α、β與γ為參數(shù)，

語義空間求解單元，與所述語義空間的目標函數(shù)建立單元連接，用于計算三維模型特征正交投影矩陣A和文本標簽語義特征矩陣U；

語義空間變換單元，與所述語義空間求解單元連接，利用所述三維模型特征正交投影矩陣A對所述內容特征矩陣進行變換，生成所述三維模型的語義特征向量，所述變換為O'＝A^TO。

優(yōu)選地，所述參數(shù)取值為：α＝0.8,β＝0.6，γ＝0.005；

優(yōu)選地，所述語義空間求解單元包括：

初始化模塊，語義空間優(yōu)化目標函數(shù)的拉格朗日函數(shù)為：

其中，λ和ζ為參數(shù)，隨機初始化所述三維模型特征正交投影矩陣A和所述文本標簽語義特征矩陣U，并初始迭代變量t＝1；

第一導數(shù)模塊，與所述初始化模塊連接，用于計算所述目標函數(shù)對于A的導數(shù)：

第二導數(shù)模塊，與所述初始化模塊連接，用于計算所述目標函數(shù)對于U的導數(shù)：

所述目標函數(shù)對于U的每個列向量的導數(shù)為：

所述目標函數(shù)對于U的導數(shù)為

變量更新模塊，分別與所述第一導數(shù)模塊和所述第二導數(shù)模塊連接，用于更新更新更新所述迭代變量t＝t+1，η為下降步長；

迭代模塊，分別與所述變量更新模塊和所述第一導數(shù)模塊連接，重復所述第一導數(shù)模塊、所述第二導數(shù)模塊和所述變量更新模塊的迭代計算，直至所述三維模型特征正交投影矩陣A和文本標簽語義特征矩陣U收斂。

優(yōu)選地，所述參數(shù)取值為：λ＝ζ＝0.005，下降步長η＝0.005。

本發(fā)明至少具有如下有益效果：

本發(fā)明采用訓練集三維模型的內容特征相似圖和訓練集三維模型文本標簽相關圖，得到語義空間的潛在表示，對待標注三維模型的內容特征向量進行三維模型特征投影變換，得到待標注的三維模型的語義特征向量，在所述語義空間內計算所述待標注的三維模型的語義特征向量與所述文本標簽的語義特征向量之間的相似度，得到所述待標注三維模型的近鄰文本標簽，所述近鄰文本標簽作為最終的標注詞，可以取得更好的標注精度和標注速度。

附圖說明

通過以下參考附圖對本發(fā)明實施例的描述，本發(fā)明的上述以及其它目的、特征和優(yōu)點更為清楚，在附圖中：

圖1是本發(fā)明實施例提供一種基于語義空間投影變換的三維模型在線標注方法的流程圖；

圖2是本發(fā)明實施例提供一種基于語義空間投影變換的三維模型在線標注方法的具有標簽向量的三維模型標注數(shù)據(jù)庫結構圖；

圖3是本發(fā)明實施例的一種基于語義空間投影變換的三維模型在線標注系統(tǒng)的框圖。

具體實施方式

以下基于實施例對本發(fā)明進行描述，但是值得說明的是，本發(fā)明并不限于這些實施例。在下文對本發(fā)明的細節(jié)描述中，詳盡描述了一些特定的細節(jié)部分。然而，對于沒有詳盡描述的部分，本領域技術人員也可以完全理解本發(fā)明。

此外，本領域普通技術人員應當理解，所提供的附圖只是為了說明本發(fā)明的目的、特征和優(yōu)點，附圖并不是實際按照比例繪制的。

同時，除非上下文明確要求，否則整個說明書和權利要求書中的“包括”、“包含”等類似詞語應當解釋為包含的含義而不是排他或窮舉的含義；也就是說，是“包含但不限于”的含義。

圖1是本發(fā)明實施例提供一種基于語義空間投影變換的三維模型在線標注方法的流程圖。如圖1所示，一種基于語義空間投影變換的三維模型在線標注方法包括：步驟101訓練集三維模型預處理、步驟102建立三維模型標注數(shù)據(jù)庫、步驟103建立訓練集三維模型的內容特征相似圖、步驟104建立訓練集的文本標簽相關圖、步驟105構建語義空間、步驟106待標注三維模型預處理和步驟107待標注三維模型在線標注。

步驟101訓練集三維模型預處理進一步包括：步驟101a訓練集三維模型轉換為off格式，并進行歸一化處理和步驟101b訓練集三維模型的內容特征向量提取。

步驟101a訓練集三維模型轉換為off格式，并進行歸一化處理，以第i個三維模型為例，其歸一化處理過程如下：

(1)讀取三維模型網(wǎng)格結構，獲取其頂點集合{p₁,p₂,...,p_N}和三角面片集合{T₁,T₂,...,T_M}；

(2)平移變換：頂點集合{p₁,p₂,...,p_N}中每個元素均進行坐標平移變換p_i＝p_i-tm,i＝1,···,N，使得模型的重心與坐標原點重合，三維模型重心tm的計算公式為：

其中，s_i為三角面片T_i的面積，tm_i為三角面片T_i的重心，tm_i計算公式為(p_a,p_b,p_c)為T_i的三個頂點向量；

其中，三角面片T_i的面積s_i計算公式為：

其中，p_a＝(x_a,y_a,z_a)，p_a＝(x_a,y_a,z_a)，p_a＝(x_a,y_a,z_a)分別為三角形T_i的三個頂點向量的坐標；

(3)旋轉變換：頂點集合{p₁,p₂,...,p_N}中每一個元素均進行旋轉變換p_i＝p_i×R，其中，R＝[e₁,e₂,e₃]^T為縮放變換矩陣，{e₁,e₂,e₃}為頂點集合的協(xié)方差矩陣C的特征向量，頂點集合的協(xié)方差矩陣C的計算公式為：

(4)縮放變換：頂點集合{p₁,p₂,...,p_N}中每一個元素均進行縮放變換p_i＝sc×p_i，sc為縮放因子，縮放因子sc的計算公式為：

其中，d_x為模型表面頂點集合到YOZ平面的加權平均距離，計算公式為：d_i為三角形T_i的中心到YOZ平面的距離；

其中，d_y是模型表面頂點集合到XOZ平面的加權平均距離，d_j為三角形T_i的中心到XOZ平面的距離；

其中，d_z為模型表面頂點集合到XOY平面的加權平均距離，d_k為三角形T_i的中心到XOY平面的距離。

步驟101b訓練集三維模型的內容特征向量提取，采用文獻[19]中的方法，提取以下訓練集三維模型特征向量：基于深度緩沖的特征，得到438維特征向量；基于射線的球面調和方法，得到136維特征向量；基于體素化的球面調和方法，得到256維特征向量；基于射線的方法，得到512維特征向量；基于形狀分布方法，得到64維特征向量；基于形狀直方圖方法，得到128維特征向量。將上述特征向量拼接并進行歸一化處理后，得到三維模型內容特征向量。

文獻[19]D.V.Vranic,3D Model Retrieval[D].Ph.D.Thesis,University of Leipzig,2004。

步驟102建立三維模型標注數(shù)據(jù)庫。

三維模型標注數(shù)據(jù)庫用于存放三維模型的基本信息、文本標簽向量、內容特征向量和語義特征向量等數(shù)據(jù)，詳細描述如圖2所示。

步驟103建立訓練集三維模型的內容特征相似圖。

令訓練集三維模型的內容特征向量集合為{o₁,o₂,...,o_n}。從三維模型標注數(shù)據(jù)庫中提取訓練集三維模型的內容特征向量，并計算各個特征向量之間的歐式距離，計算公式為：

其中，表示第i個訓練集三維模型的內容特征向量，表示第j個訓練集三維模型的內容特征向量，d為內容特征向量的維度；

計算訓練集三維模型的各個內容特征向量之間的平均距離，公式為：

計算訓練集三維模型的各個內容特征向量之間的相似度，相似度公式為：

以訓練集三維模型為節(jié)點，以各個內容特征向量之間的相似度為邊，構建K-近鄰圖，K默認值為30，內容特征相似度矩陣

步驟104建立訓練集的文本標簽相關圖。

令訓練集文本標簽集合為{t₁,t₂,...,t_m}，從三維模型標注數(shù)據(jù)庫中讀取訓練集三維模型的標簽向量并初始化標簽矩陣如果o_j具備第i個標簽t_i，則Y_ij＝1，否則Y_ij＝0，計算兩個標簽的共現(xiàn)次數(shù)，公式為：

根據(jù)兩個標簽的共現(xiàn)次數(shù)，計算兩個標簽的相關度，公式為：

以標簽為節(jié)點，以標簽相關度C_ik為邊，構建文本標簽相關圖，其相似度矩陣為

步驟105構建語義空間。

在語義空間中，訓練集的n個三維模型和m個文本標簽均采用語義特征向量來表示，具有相同的維度。其目標為將兩個相似的三維模型內容特征向量和映射到語義空間中相近的兩個點和將語義相關的兩個文本標簽t_i和t_j映射到語義空間中相近的兩個點和將語義相關的三維模型和文本標簽t_j映射到語義空間中相近的兩個點和語義空間的構建方法如下：

(1)計算三維模型內容特征相似度矩陣S的規(guī)范拉普拉斯矩陣：

其中，D＝diag(D₁₁,...,D_nn)，

(2)計算標簽相關矩陣C的規(guī)范拉普拉斯矩陣，公式如下：

其中，G＝diag(G₁₁,...,G_mm)，

語義空間優(yōu)化目標函數(shù)為：

其中，為訓練集三維模型內容特征矩陣，為第i個文本標簽的語義特征向量，為文本標簽語義特征矩陣，為第j個三維模型的語義特征向量，為三維模型語義特征矩陣；

其中，為在語義空間內標簽u_i與三維模型v_j的相似度，||u_i-v_j||²＝(u_i-v_j)^T(u_i-v_j)，σ設置為0.5，v_j＝A^To_j實現(xiàn)第j個三維模型的內容特征向量到V_O-X的投影；

其中，

tr(·)為矩陣求跡運算；

其中，為三維模型特征正交投影矩陣，A為正交投影矩陣；

其中，為p階單位矩陣，α＝0.8,β＝0.6，γ＝λ＝ζ＝0.005，

將約束條件乘以不定乘子λ和ζ，構造拉格朗日目標函數(shù)：

(3)隨機初始化三維模型特征正交投影矩陣A＝rand(d,p)和文本標簽語義特征矩陣U＝rand(p,m)，并初始迭代變量t＝1。

(4)計算目標函數(shù)對于A的導數(shù)，公式為：

(5)計算目標函數(shù)對于U的導數(shù)，公式如下：

目標函數(shù)對于U的每個列向量的導數(shù)為：

目標函數(shù)對于U的導數(shù)為

(6)更新

(7)更新變量t＝t+1；重復步驟(4)、(5)、(6)迭代計算直至A與U收斂，實施過程中，下降步長η＝0.005，拉格朗日乘子λ＝ζ＝0.005。

讀取三維模型標注數(shù)據(jù)庫中的三維模型特征數(shù)據(jù)表3DmodelFeature_Table，用獲得的三維模型特征正交投影矩陣A對訓練集三維模型的內容特征向量實施投影變換O'＝A^TO，得到三維模型的語義特征向量，并存儲到三維模型特征數(shù)據(jù)表3DmodelFeature_Table中。利用獲得的文本標簽語義特征矩陣U，將文本標簽的語義特征向量存儲到文本標簽字典表TagDictionary_Table中。

步驟106待標注三維模型預處理進一步包括：步驟106a待標注三維模型轉換為off格式，并進行歸一化處理和步驟106b待標注三維模型內容特征向量提取。待標注三維模型預處理與步驟101訓練集三維模型預處理的方法相同，詳見步驟101訓練集三維模型預處理的描述。

步驟107待標注三維模型在線標注。

按照步驟106待標注三維模型預處理得到待標注三維模型的內容特征向量o_new，然后采用如下投影變換得到o_new的語義特征向量v_new，投影變換公式為：v_new＝A^To_new；

其中，A為步驟105構建語義空間計算得到的投影矩陣；

計算待標注三維模型的語義特征向量v_new與文本標簽字典表TagDictionary_Table中的文本標簽的語義特征向量的歐式距離，獲取其k個近鄰。計算公式為：

其中，u_i為文本標簽的語義特征向量，為向量v_new的第i維向量值，為向量u_i的第i維向量值，p為語義空間的維度，實施中p固定為300；

按照距離由小達大排序，獲取前k個文本標簽的語義特征向量，k默認取值是3，對應的文本標簽作為待標注三維模型的標注詞。

進一步地，基于語義空間投影變換的三維模型在線標注方法采用JAVA實現(xiàn)。

圖2是本發(fā)明實施例提供的一種基于語義空間投影變換的三維模型在線標注方法的三維模型標注數(shù)據(jù)庫結構圖。如圖2所示，三維標注數(shù)據(jù)數(shù)據(jù)庫包括：三維模型表3DmodelDescription_Table、特征描述符表3DmodelFeature_Table、模型標簽信息表3DmodelTag_Table、文本標簽字典表TagDictionary_Table。

三維模型特征數(shù)據(jù)表3DmodelFeature_Table用于存儲三維模型的標識碼ModelID、內容特征向量FeatureVector、三維模型的語義特征向量SemanticFeatureVector，主鍵PK為ModelID。

三維模型表3DmodelDescription_Table用于存儲三維模型的標識碼ModelID，模型文件的存放路徑FilePath，入庫時間Time，主鍵PK為ModelID。

模型標簽信息表3DmodelTag_Table用于存儲三維模型的標識碼ModelID，標簽向量FeatureVector，主鍵PK為ModelID。

文本標簽字典表TagDictionary_Table用于存儲文本標簽的標識碼TagID、文本TagText、語義特征向量SemanticFeatureVector，主鍵PK為TagID。

進一步地，三維模型標注數(shù)據(jù)庫的實現(xiàn)采用MySQL數(shù)據(jù)庫。

進一步地，訓練集三維模型數(shù)據(jù)和其附屬文本標簽數(shù)據(jù)來自于美國普林斯頓大學三維模型數(shù)據(jù)庫和Google3Dwarehouse三維模型數(shù)據(jù)庫。

圖3是本發(fā)明實施例的一種基于語義空間投影變換的三維模型在線標注系統(tǒng)的框圖。如圖3所示，一種基于語義空間投影變換的三維模型在線標注系統(tǒng)包括：訓練集三維模型預處理裝置301、三維模型標注數(shù)據(jù)庫裝置302、訓練集的三維模型的內容特征相似圖建立裝置303、訓練集的文本標簽相關圖建立裝置304、語義空間構建裝置305、待標注三維模型在線標注裝置306、待標注三維模型預處理裝置307。

圖3中，訓練集三維模型預處理裝置301與三維模型標注數(shù)據(jù)庫裝置302連接，三維模型標注數(shù)據(jù)庫裝置302分別與訓練集的三維模型的內容特征相似圖建立裝置303、訓練集的文本標簽相關圖建立裝置304、語義空間構建裝置305和待標注三維模型在線標注裝置306連接，訓練集的三維模型的內容特征相似圖建立裝置303和訓練集的文本標簽相關圖建立裝置304都與語義空間構建裝置305連接，語義空間構建裝置305還分別與三維模型標注數(shù)據(jù)庫裝置302和待標注三維模型在線標注裝置306連接，待標注三維模型在線標注裝置306與待標注三維模型預處理裝置307、三維模型標注數(shù)據(jù)庫裝置302和語義空間構建裝置305連接。

訓練集三維模型預處理裝置301，用于提取訓練集三維模型的內容特征向量。

三維模型標注數(shù)據(jù)庫裝置302，用于存儲與讀取三維模型基本信息、內容特征向量、文本標簽信息和語義特征向量等數(shù)據(jù)，三維模型標注數(shù)據(jù)庫的結構見圖2的描述。

訓練集的三維模型的內容特征相似圖建立裝置303，用于獲取三維模型內容特征向量，計算各個內容特征向量之間相似度，以訓練集三維模型為節(jié)點，相似度為邊，建立訓練集的三維模型的內容特征相似圖。

訓練集的文本標簽相關圖建立裝置304，用于計算標簽的相關度，以標簽為節(jié)點，以標簽相關度為邊，建立訓練集的文本標簽相關圖。

語義空間構建裝置305，用于計算三維模型特征正交投影矩陣和文本標簽的語義特征向量，構建語義空間，并將語義空間的三維模型的語義特征向量和文本標簽的語義特征向量存儲到三維模型標注數(shù)據(jù)庫。

待標注三維模型預處理裝置307，用于對待標注三維模型進行格式轉換、歸一化處理，并提取待標注三維模型的內容特征向量。

待標注三維模型在線標注裝置306，用于對待標注三維模型的內容特征向量進行三維模型特征投影變換，得到待標注三維模型的語義特征向量，計算三維模型的語義特征向量與文本標簽的語義特征向量之間的相似度，得到待標注三維模型的近鄰文本標簽，近鄰文本標簽作為最終的標注詞。

進一步地語義空間構建裝置305包括語義空間的目標函數(shù)建立單元、語義空間求解單元、語義空間變換單元。

語義空間的目標函數(shù)建立單元包括：建立語義空間優(yōu)化目標函數(shù)，完成訓練集三維模型的內容特征相似圖的規(guī)范拉普拉斯相似度矩陣、訓練集的文本標簽相關圖的規(guī)范拉普拉斯相關度矩陣等數(shù)據(jù)的計算準備。

進一步地，語義空間優(yōu)化目標函數(shù)為：

其中，訓練集由n個三維模型和其附帶的文本標簽構成，為訓練集三維模型的內容特征向量構成的內容特征矩陣，{t₁,t₂,...,t_m}為文本標簽的集合。

其中，L^S是訓練集三維模型的內容特征相似圖的規(guī)范拉普拉斯相似度矩陣，S為內容特征相似度矩陣，特征相似度矩陣S中的元素S_ij為第i個三維模型的內容特征向量o_i和第j個三維模型的內容特征向量o_j的相似度，D＝diag(D₁₁,...,D_nn)為對角矩陣，其元素

其中，L^C是訓練集的文本標簽相關圖的規(guī)范拉普拉斯相關度矩陣，C為文本標簽相關度矩陣，文本標簽相關度矩陣C中的元素C_ij為第i個文本標簽t_i和第j個文本標簽t_j的相關度，G＝diag(G₁₁,...,G_nn)為對角矩陣，其元素

其中，為訓練集三維模型的標簽向量構成的標簽矩陣，Y_ij＝1表示內容特征矩陣O中特征向量o_j具備文本標簽t_i，Y_ij＝0表示內容特征矩陣O中特征向量o_j不具備文本標簽t_i；

其中，為語義空間中第i個文本標簽t_i的語義特征向量，語義空間維度為p，為文本標簽語義特征矩陣，為語義空間中第j個三維模型的語義特征向量，為三維模型語義特征矩陣，文本標簽的語義特征向量和三維模型的語義特征向量構成的語義空間；

其中，為三維模型特征正交投影矩陣，A為正交投影矩陣；在語義空間中，三維模型文本標簽均采用語義特征向量來表示，具有相同的維度。其目標為將兩個相似的三維模型內容特征向量和映射到語義空間中相近的兩個點和將語義相關的兩個文本標簽t_i和t_j映射到語義空間中相近的兩個點和將語義相關的三維模型和文本標簽t_j映射到語義空間中相近的兩個點和

其中，為在語義空間內，標簽u_i與三維模型v_j的相似度，||u_i-v_j||²＝(u_i-v_j)^T(u_i-v_j)，σ設置為0.5，v_j＝A^To_j實現(xiàn)三維模型的內容特征向量o_j到語義空間的投影；

其中，為p階單位矩陣，α、β與γ為參數(shù)，

其中，目標函數(shù)的參數(shù)取值為：α＝0.8，β＝0.6，γ＝0.005。

語義空間求解單元：根據(jù)語義空間的目標函數(shù)建立單元的計算結果，完成三維模型特征正交投影矩陣和文本標簽語義特征矩陣的計算。

語義空間求解單元與待優(yōu)化的目標函數(shù)建立單元連接，用于求解三維模型特征正交投影矩陣A和文本標簽語義特征矩陣U。

進一步地，語義空間求解單元包括：初始化模塊、第一導數(shù)模塊、第二導數(shù)模塊、變量更新模塊和迭代模塊。

初始化模塊，確定優(yōu)化目標函數(shù)的拉格朗日函數(shù)為：

隨機初始化三維模型特征正交投影矩陣A＝rand(d,p)和文本標簽語義特征矩陣U＝rand(p,m)，并初始迭代變量t＝1；

第一導數(shù)模塊，與初始化模塊連接，用于計算目標函數(shù)對于A的導數(shù)：

第二導數(shù)模塊，與初始化模塊連接，用于計算目標函數(shù)對于U的導數(shù)：

目標函數(shù)對于U的每個列向量的導數(shù)為：

目標函數(shù)對于U的導數(shù)為

變量更新模塊，分別與第一導數(shù)模塊和第二導數(shù)模塊連接，用于更新更新更新迭代變量t＝t+1，η為下降步長；

迭代模塊，分別與變量更新模塊和第一導數(shù)模塊連接，重復第一導數(shù)模塊、第二導數(shù)模塊和變量更新模塊的迭代計算，直至三維模型特征正交投影矩陣和文本標簽語義特征矩陣U收斂。

進一步地，初始化模塊的參數(shù)λ＝ζ＝0.005，變量更新模塊的下降步長η＝0.005。

語義空間變換單元：根據(jù)語義空間求解單元的計算結果，完成訓練集三維模型的語義特征向量和文本標簽的語義特征向量的生成和存儲。

進一步地，語義空間變換單元包括：通過三維模型標注數(shù)據(jù)庫裝置302讀取三維模型標注數(shù)據(jù)庫中的三維模型特征數(shù)據(jù)表3DmodelFeature_Table，獲取訓練集三維模型的內容特征向量，根據(jù)三維模型特征正交投影矩陣A對訓練集三維模型的內容特征向量實施投影變換O'＝A^TO，得到三維模型的語義特征向量，并存儲到三維模型特征數(shù)據(jù)表3DmodelFeature_Table中。利用獲得的文本標簽語義特征矩陣U，將文本標簽的語義特征向量存儲到文本標簽字典表TagDictionary_Table中。

待標注三維模型在線標注裝置306從語義空間構建裝置305三維模型特征正交投影矩陣A，從待標注三維模型預處理裝置307獲取待標注三維模型的內容特征向量o_new，對o_new進行投影變換，得到待標注三維模型的語義特征向量v_new，投影變換公式為：

v_new＝A^To_new；

待標注三維模型在線標注裝置306從三維模型標注數(shù)據(jù)庫裝置302獲取文本標簽字典表TagDictionary_Table中的文本標簽的語義特征向量；計算待標注三維模型的語義特征向量v_new與文本標簽的語義特征向量的歐式距離，計算公式為：

其中，u_i為文本標簽的語義特征向量。為向量v_new的第i維向量值；為向量u_i的第i維向量值；p為語義空間的維度，實施中p固定為300。

按照距離由小達大排序，獲取前k個文本標簽的語義特征向量，k默認取值是3，對應的文本標簽作為待標注三維模型的標注詞。

更進一步地，基于語義空間投影變換的三維模型在線標注系統(tǒng)采用JAVA實現(xiàn)。

顯然，本領域的技術人員應該明白，上述的本發(fā)明的各單元或各步驟可以用通用的計算裝置來實現(xiàn)，它們可以集中在單個的計算裝置上，或者分布在多個計算裝置組成的網(wǎng)絡上，可選地，它們可以用計算裝置可執(zhí)行的程序代碼來實現(xiàn)，從而，可以將它們存儲在存儲裝置中由計算裝置來執(zhí)行，或者將它們分別制作成各個集成電路單元，或者將它們中的多個單元或步驟制作成單個集成電路單元來實現(xiàn)。這樣，本發(fā)明不限制于任何特定的硬件和軟件結合。

以上所述實施例僅為表達本發(fā)明的實施方式，其描述較為具體和詳細，但并不能因此而理解為對本發(fā)明專利范圍的限制。應當指出的是，對本領域的普通技術人員來說，在不脫離本發(fā)明構思的前提下，還可以做出若干變形、同等替換、改進等，這些都屬于本發(fā)明的保護范圍。因此，本發(fā)明專利的保護范圍應以所附權利要求為準。