本申請(qǐng)涉及計(jì)算機(jī)技術(shù)領(lǐng)域,具體涉及音頻處理領(lǐng)域,尤其涉及基于人工智能的音頻處理方法和裝置。
背景技術(shù):
人工智能(Artificial Intelligence),英文縮寫為AI。它是研究、開發(fā)用于模擬、延伸和擴(kuò)展人的智能的理論、方法、技術(shù)及應(yīng)用系統(tǒng)的一門新的技術(shù)科學(xué)。人工智能是計(jì)算機(jī)科學(xué)的一個(gè)分支,它企圖了解智能的實(shí)質(zhì),并生產(chǎn)出一種新的能以人類智能相似的方式做出反應(yīng)的智能機(jī)器,該領(lǐng)域的研究包括機(jī)器人、語言識(shí)別、圖像識(shí)別、自然語言處理和專家系統(tǒng)等。
目前的對(duì)音頻的處理主要有以下兩種,一種是通過改變音頻的基頻或者共振峰對(duì)音頻進(jìn)行處理;另一種是語音合成,進(jìn)行語音合成時(shí),首先要采集帶標(biāo)注的模板音頻的數(shù)據(jù),然后基于采集到的數(shù)據(jù)訓(xùn)練模型,模型的輸入為文本,因此需要先對(duì)待合成的音頻首先要進(jìn)行語音識(shí)別,再將識(shí)別出的文本輸入訓(xùn)練好的模型生成音頻。上述第一種方法對(duì)音頻的處理缺乏靈活性,不能實(shí)現(xiàn)很好的處理效果,第二種方法所需樣本音頻數(shù)據(jù)量大,且處理時(shí)需要先將待處理音頻轉(zhuǎn)換為文本,處理效率低。
技術(shù)實(shí)現(xiàn)要素:
本申請(qǐng)的目的在于提出一種改進(jìn)的基于人工智能的音頻處理方法和裝置,來解決以上背景技術(shù)部分提到的技術(shù)問題。
第一方面,本申請(qǐng)?zhí)峁┝艘环N基于人工智能的音頻處理方法,該方法包括:轉(zhuǎn)換待處理音頻為待處理圖片;提取待處理圖片的內(nèi)容特征;根據(jù)風(fēng)格特征和待處理圖片的內(nèi)容特征確定目標(biāo)圖片,風(fēng)格特征從模板音頻轉(zhuǎn)換成的模板圖片中得到;將目標(biāo)圖片轉(zhuǎn)換為處理后的音頻。
在一些實(shí)施例中,轉(zhuǎn)換待處理音頻為待處理圖片,包括:按照預(yù)設(shè)時(shí)間間隔將待處理音頻切分為音頻片段;將音頻片段的聲波圖、頻譜圖或語譜圖確定為待處理圖片。
在一些實(shí)施例中,提取待處理圖片的內(nèi)容特征,包括:將待處理圖片輸入預(yù)先訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò),卷積神經(jīng)網(wǎng)絡(luò)用于提取圖像特征;將卷積神經(jīng)網(wǎng)絡(luò)中至少一個(gè)卷積層輸出的矩陣,作為待處理圖片的內(nèi)容特征。
在一些實(shí)施例中,風(fēng)格特征是經(jīng)由以下步驟確定的:將模板圖片輸入預(yù)先訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò),卷積神經(jīng)網(wǎng)絡(luò)用于提取圖像特征;將卷積神經(jīng)網(wǎng)絡(luò)中至少一個(gè)卷積層輸出的矩陣作為模板圖片的風(fēng)格特征。
在一些實(shí)施例中,根據(jù)風(fēng)格特征和待處理圖片的內(nèi)容特征確定目標(biāo)圖片,包括:將待處理圖片的內(nèi)容特征導(dǎo)入預(yù)設(shè)的風(fēng)格遷移模型,獲取風(fēng)格遷移模型的輸出作為目標(biāo)圖片。
在一些實(shí)施例中,根據(jù)風(fēng)格特征和待處理圖片的內(nèi)容特征確定目標(biāo)圖片,包括:提取初始目標(biāo)圖片的內(nèi)容特征和風(fēng)格特征;根據(jù)待處理圖片的內(nèi)容特征,和初始目標(biāo)圖片的內(nèi)容特征確定內(nèi)容損失函數(shù);根據(jù)模板圖片的風(fēng)格特征,和初始目標(biāo)圖片的風(fēng)格特征確定風(fēng)格損失函數(shù);根據(jù)內(nèi)容損失函數(shù)和風(fēng)格損失函數(shù)確定總損失函數(shù);根據(jù)總損失函數(shù)調(diào)整初始目標(biāo)圖片,得到目標(biāo)圖片。
在一些實(shí)施例中,內(nèi)容損失函數(shù)根據(jù)待處理圖片的內(nèi)容特征和初始目標(biāo)圖片的內(nèi)容特征的均方差得到。
在一些實(shí)施例中,風(fēng)格損失函數(shù)根據(jù)以下步驟確定:根據(jù)模板圖片的風(fēng)格特征和初始目標(biāo)圖片的風(fēng)格特征,分別確定模板圖片的格拉姆矩陣和初始目標(biāo)圖片的格拉姆矩陣;根據(jù)模板圖片的格拉姆矩陣和初始目標(biāo)圖片的格拉姆矩陣的均方差,確定風(fēng)格損失函數(shù)。
在一些實(shí)施例中,總損失函數(shù)根據(jù)加權(quán)后的內(nèi)容損失函數(shù)和加權(quán)后的風(fēng)格損失函數(shù)之和得到。
在一些實(shí)施例中,根據(jù)總損失函數(shù)調(diào)整初始目標(biāo)圖片,得到目標(biāo)圖片,進(jìn)一步包括:基于梯度下降法和總損失函數(shù)調(diào)整初始目標(biāo)圖片,使得總損失函數(shù)取得極小值;將總損失函數(shù)的極小值對(duì)應(yīng)的調(diào)整后的圖片作為目標(biāo)圖片。
第二方面,本申請(qǐng)?zhí)峁┝艘环N基于人工智能的音頻處理的裝置,該裝置包括:第一轉(zhuǎn)換單元,用于轉(zhuǎn)換待處理音頻為待處理圖片;提取單元,用于提取待處理圖片的內(nèi)容特征;確定單元,用于根據(jù)風(fēng)格特征和待處理圖片的內(nèi)容特征確定目標(biāo)圖片,風(fēng)格特征從模板音頻轉(zhuǎn)換成的模板圖片中得到;第二轉(zhuǎn)換單元,用于將目標(biāo)圖片轉(zhuǎn)換為處理后的音頻。
在一些實(shí)施例中,第一轉(zhuǎn)換單元包括:切分子單元,用于按照預(yù)設(shè)時(shí)間間隔將待處理音頻切分為音頻片段;待處理圖片確定子單元,用于將音頻片段的聲波圖、頻譜圖或語譜圖確定為待處理圖片。
在一些實(shí)施例中,提取單元包括:輸入子單元,用于將待處理圖片輸入預(yù)先訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò),卷積神經(jīng)網(wǎng)絡(luò)用于提取圖像特征;內(nèi)容特征確定子單元,用于將卷積神經(jīng)網(wǎng)絡(luò)中至少一個(gè)卷積層輸出的矩陣,作為待處理圖片的內(nèi)容特征。
在一些實(shí)施例中,裝置還包括:風(fēng)格特征確定單元,用于將模板圖片輸入預(yù)先訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò),卷積神經(jīng)網(wǎng)絡(luò)用于提取圖像特征;將卷積神經(jīng)網(wǎng)絡(luò)中至少一個(gè)卷積層輸出的矩陣作為模板圖片的風(fēng)格特征。
在一些實(shí)施例中,確定單元進(jìn)一步用于:將待處理圖片的內(nèi)容特征導(dǎo)入預(yù)設(shè)的風(fēng)格遷移模型,獲取風(fēng)格遷移模型的輸出作為目標(biāo)圖片。
在一些實(shí)施例中,確定單元包括:提取子單元,用于提取初始目標(biāo)圖片的內(nèi)容特征和風(fēng)格特征;內(nèi)容損失函數(shù)確定子單元,用于根據(jù)待處理圖片的內(nèi)容特征,和初始目標(biāo)圖片的內(nèi)容特征確定內(nèi)容損失函數(shù);風(fēng)格損失函數(shù)確定子單元,用于根據(jù)模板圖片的風(fēng)格特征,和初始目標(biāo)圖片的風(fēng)格特征確定風(fēng)格損失函數(shù);總損失函數(shù)確定子單元,用于根據(jù)內(nèi)容損失函數(shù)和風(fēng)格損失函數(shù)確定總損失函數(shù);調(diào)整子單元,用于根據(jù)總損失函數(shù)調(diào)整初始目標(biāo)圖片,得到目標(biāo)圖片。
在一些實(shí)施例中,內(nèi)容損失函數(shù)確定子單元進(jìn)一步用于:根據(jù)待處理圖片的內(nèi)容特征和初始目標(biāo)圖片的內(nèi)容特征的均方差得到內(nèi)容損失函數(shù)。
在一些實(shí)施例中,風(fēng)格損失函數(shù)確定子單元進(jìn)一步用于:根據(jù)模板圖片的風(fēng)格特征和初始目標(biāo)圖片的風(fēng)格特征,分別確定模板圖片的格拉姆矩陣和初始目標(biāo)圖片的格拉姆矩陣;根據(jù)模板圖片的格拉姆矩陣和初始目標(biāo)圖片的格拉姆矩陣的均方差,確定風(fēng)格損失函數(shù)。
在一些實(shí)施例中,總損失函數(shù)確定子單元進(jìn)一步用于:根據(jù)加權(quán)后的內(nèi)容損失函數(shù)和加權(quán)后的風(fēng)格損失函數(shù)之和得到總損失函數(shù)。
在一些實(shí)施例中,其特征在于,調(diào)整子單元進(jìn)一步用于:基于梯度下降法和總損失函數(shù)調(diào)整初始目標(biāo)圖片,使得總損失函數(shù)取得極小值;將總損失函數(shù)的極小值對(duì)應(yīng)的調(diào)整后的圖片作為目標(biāo)圖片。
本申請(qǐng)?zhí)峁┑囊纛l處理方法和裝置,通過轉(zhuǎn)換待處理音頻為待處理圖片,而后提取待處理圖片的內(nèi)容特征,之后根據(jù)風(fēng)格特征和待處理圖片的內(nèi)容特征確定目標(biāo)圖片,最后將目標(biāo)圖片轉(zhuǎn)換為處理后的音頻,在不改變待處理音頻的內(nèi)容的同時(shí),實(shí)現(xiàn)了處理后的音頻帶有模板音頻風(fēng)格的處理效果,提高了音頻處理的效率和靈活性。
附圖說明
通過閱讀參照以下附圖所作的對(duì)非限制性實(shí)施例所作的詳細(xì)描述,本申請(qǐng)的其它特征、目的和優(yōu)點(diǎn)將會(huì)變得更明顯:
圖1是本申請(qǐng)可以應(yīng)用于其中的示例性系統(tǒng)架構(gòu)圖;
圖2是根據(jù)本申請(qǐng)的音頻處理方法的一個(gè)實(shí)施例的示意性流程圖;
圖3A是根據(jù)本申請(qǐng)的音頻處理方法的應(yīng)用場景中待處理圖片的示意圖;
圖3B是根據(jù)本申請(qǐng)的音頻處理方法的應(yīng)用場景中風(fēng)格圖片的示意圖;
圖3C是根據(jù)本申請(qǐng)的音頻處理方法的應(yīng)用場景中目標(biāo)圖片的示意圖;
圖3D是根據(jù)本申請(qǐng)的音頻處理方法的應(yīng)用場景中語譜圖的示意圖;
圖4是根據(jù)本申請(qǐng)的音頻處理方法的又一個(gè)實(shí)施例的示意性流程圖;
圖5是根據(jù)本申請(qǐng)的音頻處理的裝置的一個(gè)實(shí)施例的示例性結(jié)構(gòu)圖;
圖6是適于用來實(shí)現(xiàn)本申請(qǐng)實(shí)施例的終端設(shè)備或服務(wù)器的計(jì)算機(jī)系統(tǒng)的結(jié)構(gòu)示意圖。
具體實(shí)施方式
下面結(jié)合附圖和實(shí)施例對(duì)本申請(qǐng)作進(jìn)一步的詳細(xì)說明??梢岳斫獾氖牵颂幩枋龅木唧w實(shí)施例僅僅用于解釋相關(guān)發(fā)明,而非對(duì)該發(fā)明的限定。另外還需要說明的是,為了便于描述,附圖中僅示出了與有關(guān)發(fā)明相關(guān)的部分。
需要說明的是,在不沖突的情況下,本申請(qǐng)中的實(shí)施例及實(shí)施例中的特征可以相互組合。下面將參考附圖并結(jié)合實(shí)施例來詳細(xì)說明本申請(qǐng)。
圖1示出了可以應(yīng)用本申請(qǐng)的音頻處理方法或音頻處理的裝置的實(shí)施例的示例性系統(tǒng)架構(gòu)100。
如圖1所示,系統(tǒng)架構(gòu)100可以包括終端設(shè)備101、102、103,網(wǎng)絡(luò)104和服務(wù)器105、106。網(wǎng)絡(luò)104用以在終端設(shè)備101、102、103和服務(wù)器105、106之間提供通信鏈路的介質(zhì)。網(wǎng)絡(luò)104可以包括各種連接類型,例如有線、無線通信鏈路或者光纖電纜等等。
用戶110可以使用終端設(shè)備101、102、103通過網(wǎng)絡(luò)104與服務(wù)器105、106交互,以接收或發(fā)送數(shù)據(jù)等。終端設(shè)備101、102、103上可以安裝有各種通訊客戶端應(yīng)用,例如游戲類應(yīng)用、社交平臺(tái)軟件網(wǎng)頁瀏覽器應(yīng)用、搜索引擎類應(yīng)用、購物類應(yīng)用、即時(shí)通信工具、郵箱客戶端等。
終端設(shè)備101、102、103可以是各種電子設(shè)備,包括但不限于智能手機(jī)、平板電腦、電子書閱讀器、MP3播放器(Moving Picture Experts Group Audio Layer III,動(dòng)態(tài)影像專家壓縮標(biāo)準(zhǔn)音頻層面3)、MP4(Moving Picture Experts Group Audio Layer IV,動(dòng)態(tài)影像專家壓縮標(biāo)準(zhǔn)音頻層面4)播放器、膝上型便攜計(jì)算機(jī)和臺(tái)式計(jì)算機(jī)等等。終端設(shè)備101、102、103可以獲取用戶輸入的待處理音頻,轉(zhuǎn)換待處理音頻為待處理圖片,而后提取待處理圖片的內(nèi)容特征,之后根據(jù)風(fēng)格特征和待處理圖片的內(nèi)容特征確定目標(biāo)圖片,并將目標(biāo)圖片轉(zhuǎn)換為處理后的音頻,最后輸出處理后的音頻。終端設(shè)備101、102、103也可以獲取用戶輸入的待處理音頻,而后將其交由后臺(tái)服務(wù)器處理,最后可以輸出服務(wù)器返回的處理后的音頻。
服務(wù)器105、106可以是提供各種服務(wù)的服務(wù)器,例如對(duì)終端設(shè)備101、102、103提供支持的后臺(tái)服務(wù)器。后臺(tái)服務(wù)器可以轉(zhuǎn)換接收到的待處理音頻為待處理圖片,而后提取待處理圖片的內(nèi)容特征,之后根據(jù)風(fēng)格特征和待處理圖片的內(nèi)容特征確定目標(biāo)圖片,并將目標(biāo)圖片轉(zhuǎn)換為處理后的音頻,最后可以將處理后的音頻反饋給終端設(shè)備。
需要說明的是,本申請(qǐng)實(shí)施例所提供的音頻處理方法可以由服務(wù)器105、106執(zhí)行,也可以由終端設(shè)備101、102、103執(zhí)行,相應(yīng)地,音頻處理的裝置可以設(shè)置于服務(wù)器105、106中,也可以設(shè)置于終端設(shè)備101、102、103中。
應(yīng)該理解,圖1中的終端設(shè)備、網(wǎng)絡(luò)和服務(wù)器的數(shù)目僅僅是示意性的。根據(jù)實(shí)現(xiàn)需要,可以具有任意數(shù)目的終端設(shè)備、網(wǎng)絡(luò)和服務(wù)器。
繼續(xù)參考圖2,示出了根據(jù)本申請(qǐng)的音頻處理方法的一個(gè)實(shí)施例的流程200。該的音頻處理方法,包括以下步驟:
步驟201,轉(zhuǎn)換待處理音頻為待處理圖片。
在本實(shí)施例中,音頻處理方法運(yùn)行于其上的電子設(shè)備(例如圖1所示的終端或服務(wù)器),可以轉(zhuǎn)換待處理音頻為待處理圖片。待處理音頻可以是用戶通過具有錄音功能的終端錄制的,也可以是已存儲(chǔ)在本地或云端的一段音頻。待處理圖片可以是待處理音頻的聲波圖、頻譜圖、語譜圖,或基于聲波圖、頻譜圖或語譜圖進(jìn)行圖形變換得到的圖片,上述圖片可以基于數(shù)字音頻編輯器得到。
在本實(shí)施例的一些可選實(shí)現(xiàn)方式中,轉(zhuǎn)換待處理音頻為待處理圖片,可以包括:按照預(yù)設(shè)時(shí)間間隔將待處理音頻切分為音頻片段;將音頻片段的聲波圖、頻譜圖或語譜圖確定為待處理圖片。通過切分操作一方面可以避免單次處理的數(shù)據(jù)量過大所導(dǎo)致的卡頓,另一方面切分得到的待處理圖片大小一致便于后續(xù)處理。
步驟202,提取待處理圖片的內(nèi)容特征。
在本實(shí)施例中,上述電子設(shè)備可以提取步驟201中轉(zhuǎn)換得到的待處理圖片的內(nèi)容特征。內(nèi)容特征可以用于體現(xiàn)待處理圖片的輪廓、線條、色彩等。
在本實(shí)施例的一些可選實(shí)現(xiàn)方式中,提取待處理圖片的內(nèi)容特征,可以包括:將待處理圖片輸入預(yù)先訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)(CNN,Convolutional Neural Network),卷積神經(jīng)網(wǎng)絡(luò)用于提取圖像特征;將卷積神經(jīng)網(wǎng)絡(luò)中至少一個(gè)卷積層輸出的矩陣,作為待處理圖片的內(nèi)容特征。卷積神經(jīng)網(wǎng)絡(luò)是一種前饋神經(jīng)網(wǎng)絡(luò),它的人工神經(jīng)元可以響應(yīng)一部分覆蓋范圍內(nèi)的周圍單元,對(duì)于大型圖像處理有出色表現(xiàn)。它包括卷積層和池層。卷積神經(jīng)網(wǎng)絡(luò)可以通過多層卷積提取物體的抽象特征完成物體識(shí)別。所以,可以通過卷積神經(jīng)網(wǎng)絡(luò)來提取待處理圖片的內(nèi)容特征。預(yù)先訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)可以使用目視圖像生成器(VGG,Visual Graphics Generator)模型,深度殘差網(wǎng)絡(luò)(ResNet,Deep Residual Network)模型等用于提取圖像特征的模型。
在本實(shí)施例的一些可選實(shí)現(xiàn)方式中,還可以通過小波變換等方式提取待處理圖片的內(nèi)容特征。
步驟203,根據(jù)風(fēng)格特征和待處理圖片的內(nèi)容特征確定目標(biāo)圖片。
在本實(shí)施例中,上述電子設(shè)備可以根據(jù)風(fēng)格特征和步驟202中提取的待處理圖片的內(nèi)容特征確定目標(biāo)圖片。風(fēng)格特征從模板音頻轉(zhuǎn)換成的模板圖片中得到,模板音頻可以是預(yù)置的,用戶可以根據(jù)喜好進(jìn)行選擇,例如模板音頻可以是一段明星的語音,或一段卡通人物的聲音。模板音頻也可以是用戶自定義的一段音頻。目標(biāo)圖片可以是綜合了模板圖片的風(fēng)格特征和待處理圖片的內(nèi)容特征的圖片。
在本實(shí)施例的一些可選實(shí)現(xiàn)方式中,風(fēng)格特征可以是經(jīng)由以下步驟確定的:將模板圖片輸入預(yù)先訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò),卷積神經(jīng)網(wǎng)絡(luò)用于提取圖像特征;可以將卷積神經(jīng)網(wǎng)絡(luò)中至少一個(gè)卷積層輸出的矩陣作為模板圖片的風(fēng)格特征。模板圖片輸入的卷積神經(jīng)網(wǎng)絡(luò)與待處理圖片輸入的卷積神經(jīng)網(wǎng)絡(luò)可以相同也可以不同。經(jīng)過多層卷積抽象之后的圖片會(huì)丟棄像素級(jí)的特征,而保留了高級(jí)的繪畫風(fēng)格,即高卷積層的輸出相對(duì)于低卷積層的輸出更加抽象,所以可以用其提取風(fēng)格特征。
在本實(shí)施例的一些可選實(shí)現(xiàn)方式中,根據(jù)風(fēng)格特征和待處理圖片的內(nèi)容特征確定目標(biāo)圖片,可以包括:將待處理圖片的內(nèi)容特征導(dǎo)入預(yù)設(shè)的風(fēng)格遷移模型,獲取風(fēng)格遷移模型的輸出作為目標(biāo)圖片。風(fēng)格遷移模型可以是一個(gè)生成對(duì)抗網(wǎng)絡(luò)(GAN,Generative Adversarial Network)模型,生成對(duì)抗網(wǎng)絡(luò)包含一個(gè)生成模型和一個(gè)判別模型。訓(xùn)練時(shí)固定一方,更新另一個(gè)模型的參數(shù),交替迭代。用于模型訓(xùn)練的損失函數(shù)可以根據(jù)待處理圖片的內(nèi)容特征和模板圖片的風(fēng)格特征確定。風(fēng)格遷移模型還可以基于艾施可米(Ashikhmin)算法等風(fēng)格遷移算法實(shí)現(xiàn)。
在本實(shí)施例的一些可選實(shí)現(xiàn)方式中,根據(jù)風(fēng)格特征和待處理圖片的內(nèi)容特征確定目標(biāo)圖片,可以包括:提取初始目標(biāo)圖片的內(nèi)容特征和風(fēng)格特征;根據(jù)待處理圖片的內(nèi)容特征,和初始目標(biāo)圖片的內(nèi)容特征確定內(nèi)容損失函數(shù);根據(jù)模板圖片的風(fēng)格特征,和初始目標(biāo)圖片的風(fēng)格特征確定風(fēng)格損失函數(shù);根據(jù)內(nèi)容損失函數(shù)和風(fēng)格損失函數(shù)確定總損失函數(shù);根據(jù)總損失函數(shù)調(diào)整初始目標(biāo)圖片,得到目標(biāo)圖片。
在本實(shí)施例的一些可選實(shí)現(xiàn)方式中,內(nèi)容損失函數(shù)可以根據(jù)待處理圖片的內(nèi)容特征和初始目標(biāo)圖片的內(nèi)容特征的均方差得到。內(nèi)容損失函數(shù)也可以根據(jù)其他能表征待處理圖片的內(nèi)容特征和初始目標(biāo)圖片的內(nèi)容特征之間差異的計(jì)算方式得到。
在本實(shí)施例的一些可選實(shí)現(xiàn)方式中,風(fēng)格損失函數(shù)可以根據(jù)以下步驟確定:根據(jù)模板圖片的風(fēng)格特征和初始目標(biāo)圖片的風(fēng)格特征,分別確定模板圖片的格拉姆矩陣和初始目標(biāo)圖片的格拉姆矩陣;根據(jù)模板圖片的格拉姆矩陣和初始目標(biāo)圖片的格拉姆矩陣的均方差,確定風(fēng)格損失函數(shù)。基于格拉姆矩陣確定風(fēng)格函數(shù)的意義在于使不同風(fēng)格間的差異性更加突出。風(fēng)格損失函數(shù)可以根據(jù)模板圖片的風(fēng)格特征和初始目標(biāo)圖片的風(fēng)格特征相關(guān)聯(lián)程度確定,由于風(fēng)格特征可理解為矩陣,所以也可以風(fēng)格損失函數(shù)可以基于矩陣距離確定。
在本實(shí)施例的一些可選實(shí)現(xiàn)方式中,總損失函數(shù)可以根據(jù)加權(quán)后的內(nèi)容損失函數(shù)和加權(quán)后的風(fēng)格損失函數(shù)之和得到。通過調(diào)節(jié)內(nèi)容損失函數(shù)權(quán)重和風(fēng)格損失函數(shù)權(quán)重的大小,可以決定目標(biāo)圖片更注重風(fēng)格還是更強(qiáng)調(diào)內(nèi)容。
在本實(shí)施例的一些可選實(shí)現(xiàn)方式中,可以根據(jù)總損失函數(shù)調(diào)整初始目標(biāo)圖片,得到目標(biāo)圖片,進(jìn)一步包括:基于梯度下降法和總損失函數(shù)調(diào)整初始目標(biāo)圖片,使得總損失函數(shù)取得極小值;將總損失函數(shù)的極小值對(duì)應(yīng)的調(diào)整后的圖片作為目標(biāo)圖片。梯度下降法(gradient descent)是一個(gè)最優(yōu)化算法,通常也稱為最速下降法,常用于機(jī)器學(xué)習(xí)和人工智能當(dāng)中用來遞歸性地逼近最小偏差模型。
在本實(shí)施例的一些可選實(shí)現(xiàn)方式中,初始目標(biāo)圖片可以包括白噪聲圖片、空白圖片或待處理圖片。在調(diào)整初始目標(biāo)圖片以確定目標(biāo)圖片的過程中,初始目標(biāo)圖片相當(dāng)于總損失函數(shù)的一個(gè)自變量,調(diào)整的目的即通過迭代求得總損失函數(shù)取得極小值時(shí)的目標(biāo)圖片,初始目標(biāo)圖片相當(dāng)于迭代的一個(gè)初始值,可能會(huì)影響迭代次數(shù)但對(duì)最終結(jié)果產(chǎn)生影響的可能性較小。
步驟204,將目標(biāo)圖片轉(zhuǎn)換為處理后的音頻。
在本實(shí)施例中,上述電子設(shè)備可以將步驟203中確定的目標(biāo)圖片轉(zhuǎn)換為處理后的音頻。與步驟201相似,上述電子設(shè)備同樣可以基于一些數(shù)字音頻編輯器將目標(biāo)圖片轉(zhuǎn)換為處理后的音頻。此外,上述電子設(shè)備可以將處理后的音頻保存至本地、上傳到云端或發(fā)送至其他電子設(shè)備,還可以直接輸出處理后的音頻。
繼續(xù)參考圖3A、圖3B、圖3C、圖3D,在根據(jù)本申請(qǐng)的音頻處理方法的應(yīng)用場景中,用戶可以使用終端設(shè)備錄入一段音頻或任意選定一段音頻作為待處理音頻,運(yùn)行有音頻處理方法的設(shè)備接收到這段音頻后,開始處理音頻,處理所用到的模板音頻可以是用戶自定義的也可以是默認(rèn)的模板音頻。處理后的音頻為待處理音頻和模板音頻的融合,其內(nèi)容特征與待處理音頻的內(nèi)容特征相近,但風(fēng)格特征與模板音頻的風(fēng)格特征相近。例如,用戶輸入一段自己的語音,處理后的音頻不改變其說話的內(nèi)容,但變換后聽起來帶有模板音頻所體現(xiàn)的類似“北京腔”、“臺(tái)灣腔”的腔調(diào)。用戶可以使用運(yùn)行有音頻處理方法的設(shè)備融合自己和明星的聲音,或者將男女朋友的聲音變換到一起給親朋好友發(fā)送祝福語等。由于音頻處理的效果不易展示,因此這里以圖片的處理類比音頻的處理,以產(chǎn)生直觀的視覺效果。圖3A為待處理圖片,即提供內(nèi)容特征的圖片;圖3B為模板圖片,即提供風(fēng)格特征的圖片;圖3C為目標(biāo)圖片,即風(fēng)格遷移后的圖片,目標(biāo)圖片內(nèi)容特征與待處理圖片的內(nèi)容特征相近,風(fēng)格特征與模板圖片的風(fēng)格特征相近;圖3D為音頻片段的語譜圖,可以對(duì)音頻片段的語譜圖,聲波圖或頻譜圖進(jìn)行風(fēng)格遷移,后再將風(fēng)格遷移后的語譜圖,聲波圖或頻譜圖轉(zhuǎn)為音頻,即得到了處理后的音頻。
本申請(qǐng)的上述實(shí)施例提供的方法通過綜合待處理音頻轉(zhuǎn)換的待處理圖片的內(nèi)容特征和模板音頻轉(zhuǎn)換的模板圖片的風(fēng)格特征,在不改變待處理音頻的內(nèi)容的同時(shí),實(shí)現(xiàn)了處理后的音頻帶有模板音頻風(fēng)格的處理效果,提高了音頻處理的效率和靈活性。
請(qǐng)參考圖4,圖4是根據(jù)本實(shí)施例的音頻處理方法的又一個(gè)實(shí)施例的流程示意圖。
在圖4中,該音頻處理方法400,包括以下步驟:
步驟401,轉(zhuǎn)換待處理音頻為待處理圖片。
在本實(shí)施例中,音頻處理方法運(yùn)行于其上的電子設(shè)備(例如圖1所示的終端或服務(wù)器),可以轉(zhuǎn)換待處理音頻為待處理圖片。
步驟402,提取待處理圖片的內(nèi)容特征。
在本實(shí)施例中,上述電子設(shè)備可以提取步驟401中轉(zhuǎn)換得到的待處理圖片的內(nèi)容特征。內(nèi)容特征可以用于體現(xiàn)待處理圖片的輪廓、線條、色彩等。具體的,可以將待處理圖片輸入預(yù)先訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò),將卷積神經(jīng)網(wǎng)絡(luò)中至少一個(gè)卷積層輸出的矩陣,作為待處理圖片的內(nèi)容特征。
步驟403,提取初始目標(biāo)圖片的內(nèi)容特征和風(fēng)格特征。
在本實(shí)施例中,上述電子設(shè)備可以提取初始目標(biāo)圖片的內(nèi)容特征和風(fēng)格特征??梢詫⒊跏寄繕?biāo)圖片輸入預(yù)先訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò),以獲取其內(nèi)容特征和風(fēng)格特征,用于提取初始目標(biāo)圖片的卷積神經(jīng)網(wǎng)絡(luò)最好與用于提取待處理圖片的卷積神經(jīng)網(wǎng)絡(luò)一致,用于提取初始目標(biāo)圖片的內(nèi)容特征的卷積神經(jīng)網(wǎng)絡(luò)最好與用于提取待處理圖片的內(nèi)容特征的卷積神經(jīng)網(wǎng)絡(luò)一致,并使用相同卷積層的輸出矩陣作為內(nèi)容特征。同樣,用于提取初始目標(biāo)圖片的風(fēng)格特征的卷積神經(jīng)網(wǎng)絡(luò)最好與用于提取模板圖片的風(fēng)格特征的卷積神經(jīng)網(wǎng)絡(luò)一致,并使用相同卷積層的輸出矩陣作為風(fēng)格特征。
由于在一個(gè)卷積網(wǎng)絡(luò)中會(huì)有很多卷積核,所以會(huì)有很多輸出矩陣。同時(shí),也存在很多卷積層,可以使用加權(quán)平均后的多個(gè)卷積層的輸出矩陣作為內(nèi)容特征或風(fēng)格特征,具體權(quán)重可根據(jù)需要設(shè)置。由于風(fēng)格特征與內(nèi)容特征相比較為抽象,所以確定風(fēng)格特征的卷積層,總體高于確定內(nèi)容特征的卷積層。
步驟404,根據(jù)待處理圖片的內(nèi)容特征,和初始目標(biāo)圖片的內(nèi)容特征確定內(nèi)容損失函數(shù)。
在本實(shí)施例中,上述電子設(shè)備可以根據(jù)步驟402提取的待處理圖片的內(nèi)容特征,和步驟403提取的初始目標(biāo)圖片的內(nèi)容特征確定內(nèi)容損失函數(shù)。內(nèi)容損失函數(shù)可以根據(jù)待處理圖片的內(nèi)容特征和初始目標(biāo)圖片的內(nèi)容特征的均方差得到,也可以根據(jù)其他能表征待處理圖片的內(nèi)容特征和初始目標(biāo)圖片的內(nèi)容特征之間差異的計(jì)算方式得到。由于卷積神經(jīng)網(wǎng)絡(luò)提取特征時(shí)將圖片分成了若干卷積片,所以確定內(nèi)容損失函數(shù)要針對(duì)初始目標(biāo)圖片和待處理圖片中相同位置的分片進(jìn)行。例如,可以計(jì)算初始目標(biāo)圖片和待處理圖片中相同位置的分片的輸出矩陣的均方差,再綜合各個(gè)分片的計(jì)算結(jié)果作為損失函數(shù)的值。
步驟405,根據(jù)模板圖片的風(fēng)格特征,和初始目標(biāo)圖片的風(fēng)格特征確定風(fēng)格損失函數(shù)。
在本實(shí)施例中,上述電子設(shè)備可以根據(jù)模板圖片的風(fēng)格特征,和步驟403提取的初始目標(biāo)圖片的風(fēng)格特征確定風(fēng)格損失函數(shù)。模板圖片的風(fēng)格特征可以是預(yù)先提取好的,也可以是在獲取到用戶確定的模板音頻后提取的??梢曰诔跏寄繕?biāo)圖片和待處理圖片中各個(gè)相同位置的分片的輸出矩陣的距離,確定損失函數(shù)。為了使不同風(fēng)格間的差異性更加突出,也可以分別確定模板圖片的風(fēng)格特征的格拉姆矩陣和初始目標(biāo)圖片的風(fēng)格特征的格拉姆矩陣,風(fēng)格特征的格拉姆矩陣可以是同一卷積層中不同卷積片的內(nèi)積。再基于所確定的格拉姆矩陣來確定損失函數(shù)。同時(shí),也可以加權(quán)平均多個(gè)卷積層輸出的初始目標(biāo)圖片和待處理圖片的格拉姆矩陣的距離,以確定損失函數(shù),具體權(quán)重可根據(jù)需要設(shè)置。
步驟406,根據(jù)內(nèi)容損失函數(shù)和風(fēng)格損失函數(shù)確定總損失函數(shù)。
在本實(shí)施例中,上述電子設(shè)備可以根據(jù)步驟404確定的內(nèi)容損失函數(shù)和步驟405確定的風(fēng)格損失函數(shù)確定總損失函數(shù)??倱p失函數(shù)可以根據(jù)加權(quán)后的內(nèi)容損失函數(shù)和加權(quán)后的風(fēng)格損失函數(shù)之和得到。通過調(diào)節(jié)內(nèi)容損失函數(shù)權(quán)重和風(fēng)格損失函數(shù)權(quán)重的大小,可以決定目標(biāo)圖片更注重風(fēng)格還是更強(qiáng)調(diào)內(nèi)容。
步驟407,根據(jù)總損失函數(shù)調(diào)整初始目標(biāo)圖片,得到目標(biāo)圖片。
在本實(shí)施例中,上述電子設(shè)備可以根據(jù)步驟406確定的總損失函數(shù)調(diào)整初始目標(biāo)圖片,得到目標(biāo)圖片。調(diào)整初始目標(biāo)圖片是一個(gè)迭代的過程,可將初始目標(biāo)圖片各個(gè)像素點(diǎn)的值理解為總損失函數(shù)的自變量,可以通過梯度下降法對(duì)總損失函數(shù)中初始目標(biāo)圖片各個(gè)像素的值求導(dǎo),調(diào)整的目的即通過迭代求得總損失函數(shù)取得極小值時(shí)的目標(biāo)圖片。
步驟408,將目標(biāo)圖片轉(zhuǎn)換為處理后的音頻。
在本實(shí)施例中,上述電子設(shè)備可以將步驟407中得到的目標(biāo)圖片基于一些數(shù)字音頻編輯器轉(zhuǎn)換為處理后的音頻。處理后的音頻可以保存至本地、上傳到云端或發(fā)送至其他電子設(shè)備。
本申請(qǐng)的上述實(shí)施例提供的方法通過卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行特征的提取,并綜合內(nèi)容特征和風(fēng)格特征確定損失函數(shù),通過迭代得到目標(biāo)圖像,實(shí)現(xiàn)了更好的音頻融合的效果。
進(jìn)一步參考圖5,作為對(duì)上述方法的實(shí)現(xiàn),本申請(qǐng)?zhí)峁┝艘环N基于人工智能的音頻處理的裝置的一個(gè)實(shí)施例,該裝置實(shí)施例與圖1所示的方法實(shí)施例相對(duì)應(yīng),該裝置具體可以應(yīng)用于各種電子設(shè)備中。
如圖5所示,本實(shí)施例的基于人工智能的音頻處理的裝置500包括:第一轉(zhuǎn)換單元510、提取單元520、確定單元530、第二轉(zhuǎn)換單元540,其中,第一轉(zhuǎn)換單元510,用于轉(zhuǎn)換待處理音頻為待處理圖片;提取單元520,用于提取待處理圖片的內(nèi)容特征;確定單元530,用于根據(jù)風(fēng)格特征和待處理圖片的內(nèi)容特征確定目標(biāo)圖片,風(fēng)格特征從模板音頻轉(zhuǎn)換成的模板圖片中得到;第二轉(zhuǎn)換單元540,用于將目標(biāo)圖片轉(zhuǎn)換為處理后的音頻。
在本實(shí)施例中,第一轉(zhuǎn)換單元510、提取單元520、確定單元530、第二轉(zhuǎn)換單元540的具體處理可以參考圖2對(duì)應(yīng)實(shí)施例步驟201、步驟202、步驟203和步驟204的詳細(xì)描述,在此不再贅述。
在本實(shí)施例的一些可選實(shí)現(xiàn)方式中,第一轉(zhuǎn)換單元510包括:切分子單元511,用于按照預(yù)設(shè)時(shí)間間隔將待處理音頻切分為音頻片段;待處理圖片確定子單元512,用于將音頻片段的聲波圖、頻譜圖或語譜圖確定為待處理圖片。
在本實(shí)施例的一些可選實(shí)現(xiàn)方式中,提取單元520包括:輸入子單元521,用于將待處理圖片輸入預(yù)先訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò),卷積神經(jīng)網(wǎng)絡(luò)用于提取圖像特征;內(nèi)容特征確定子單元522,用于將卷積神經(jīng)網(wǎng)絡(luò)中至少一個(gè)卷積層輸出的矩陣,作為待處理圖片的內(nèi)容特征。
在本實(shí)施例的一些可選實(shí)現(xiàn)方式中,裝置還包括:風(fēng)格特征確定單元550,用于將模板圖片輸入預(yù)先訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò),卷積神經(jīng)網(wǎng)絡(luò)用于提取圖像特征;將卷積神經(jīng)網(wǎng)絡(luò)中至少一個(gè)卷積層輸出的矩陣作為模板圖片的風(fēng)格特征。
在本實(shí)施例的一些可選實(shí)現(xiàn)方式中,確定單元530進(jìn)一步用于:將待處理圖片的內(nèi)容特征導(dǎo)入預(yù)設(shè)的風(fēng)格遷移模型,獲取風(fēng)格遷移模型的輸出作為目標(biāo)圖片。
在本實(shí)施例的一些可選實(shí)現(xiàn)方式中,確定單元530包括:提取子單元531,用于提取初始目標(biāo)圖片的內(nèi)容特征和風(fēng)格特征;內(nèi)容損失函數(shù)確定子單元532,用于根據(jù)待處理圖片的內(nèi)容特征,和初始目標(biāo)圖片的內(nèi)容特征確定內(nèi)容損失函數(shù);風(fēng)格損失函數(shù)確定子單元533,用于根據(jù)模板圖片的風(fēng)格特征,和初始目標(biāo)圖片的風(fēng)格特征確定風(fēng)格損失函數(shù);總損失函數(shù)確定子單元534,用于根據(jù)內(nèi)容損失函數(shù)和風(fēng)格損失函數(shù)確定總損失函數(shù);調(diào)整子單元535,用于根據(jù)總損失函數(shù)調(diào)整初始目標(biāo)圖片,得到目標(biāo)圖片。
在本實(shí)施例的一些可選實(shí)現(xiàn)方式中,內(nèi)容損失函數(shù)確定子單元532進(jìn)一步用于:根據(jù)待處理圖片的內(nèi)容特征和初始目標(biāo)圖片的內(nèi)容特征的均方差得到內(nèi)容損失函數(shù)。
在本實(shí)施例的一些可選實(shí)現(xiàn)方式中,風(fēng)格損失函數(shù)確定子單元533進(jìn)一步用于:根據(jù)模板圖片的風(fēng)格特征和初始目標(biāo)圖片的風(fēng)格特征,分別確定模板圖片的格拉姆矩陣和初始目標(biāo)圖片的格拉姆矩陣;根據(jù)模板圖片的格拉姆矩陣和初始目標(biāo)圖片的格拉姆矩陣的均方差,確定風(fēng)格損失函數(shù)。
在本實(shí)施例的一些可選實(shí)現(xiàn)方式中,總損失函數(shù)確定子單元534進(jìn)一步用于:根據(jù)加權(quán)后的內(nèi)容損失函數(shù)和加權(quán)后的風(fēng)格損失函數(shù)之和得到總損失函數(shù)。
在本實(shí)施例的一些可選實(shí)現(xiàn)方式中,調(diào)整子單元535進(jìn)一步用于:基于梯度下降法和總損失函數(shù)調(diào)整初始目標(biāo)圖片,使得總損失函數(shù)取得極小值;將總損失函數(shù)的極小值對(duì)應(yīng)的調(diào)整后的圖片作為目標(biāo)圖片。
從圖5中可以看出,本實(shí)施例中的音頻處理方法的裝置500在轉(zhuǎn)換待處理音頻為待處理圖片的基礎(chǔ)上,根據(jù)風(fēng)格特征和待處理圖片的內(nèi)容特征確定目標(biāo)圖片,最后將目標(biāo)圖片轉(zhuǎn)換為處理后的音頻。由此,本實(shí)施例可以綜合待處理音頻轉(zhuǎn)換的待處理圖片的內(nèi)容特征和模板音頻轉(zhuǎn)換的模板圖片的風(fēng)格特征,在不改變待處理音頻的內(nèi)容的同時(shí),實(shí)現(xiàn)了處理后的音頻帶有模板音頻風(fēng)格的處理效果,提高了音頻處理的效率和靈活性。
下面參考圖6,其示出了適于用來實(shí)現(xiàn)本申請(qǐng)實(shí)施例的終端設(shè)備或服務(wù)器的計(jì)算機(jī)系統(tǒng)600的結(jié)構(gòu)示意圖。
如圖6所示,計(jì)算機(jī)系統(tǒng)600包括中央處理單元(CPU)601,其可以根據(jù)存儲(chǔ)在只讀存儲(chǔ)器(ROM)602中的
程序或者從存儲(chǔ)部分608加載到隨機(jī)訪問存儲(chǔ)器(RAM)603中的程序而執(zhí)行各種適當(dāng)?shù)膭?dòng)作和處理。在RAM 603中,還存儲(chǔ)有系統(tǒng)600操作所需的各種程序和數(shù)據(jù)。CPU 601、ROM 602以及RAM 603通過總線604彼此相連。輸入/輸出(I/O)接口605也連接至總線604。
以下部件連接至I/O接口605:包括鍵盤、鼠標(biāo)等的輸入部分606;包括諸如陰極射線管(CRT)、液晶顯示器(LCD)等以及揚(yáng)聲器等的輸出部分607;包括硬盤等的存儲(chǔ)部分608;以及包括諸如LAN卡、調(diào)制解調(diào)器等的網(wǎng)絡(luò)接口卡的通信部分609。通信部分609經(jīng)由諸如因特網(wǎng)的網(wǎng)絡(luò)執(zhí)行通信處理。驅(qū)動(dòng)器610也根據(jù)需要連接至I/O接口606??刹鹦督橘|(zhì)611,諸如磁盤、光盤、磁光盤、半導(dǎo)體存儲(chǔ)器等等,根據(jù)需要安裝在驅(qū)動(dòng)器610上,以便于從其上讀出的計(jì)算機(jī)程序根據(jù)需要被安裝入存儲(chǔ)部分608。
特別地,根據(jù)本公開的實(shí)施例,上文參考流程圖描述的過程可以被實(shí)現(xiàn)為計(jì)算機(jī)軟件程序。例如,本公開的實(shí)施例包括一種計(jì)算機(jī)程序產(chǎn)品,其包括有形地包含在機(jī)器可讀介質(zhì)上的計(jì)算機(jī)程序,所述計(jì)算機(jī)程序包含用于執(zhí)行流程圖所示的方法的程序代碼。在這樣的實(shí)施例中,該計(jì)算機(jī)程序可以通過通信部分609從網(wǎng)絡(luò)上被下載和安裝,和/或從可拆卸介質(zhì)611被安裝。在該計(jì)算機(jī)程序被中央處理單元(CPU)601執(zhí)行時(shí),執(zhí)行本申請(qǐng)的方法中限定的上述功能。
附圖中的流程圖和框圖,圖示了按照本申請(qǐng)各種實(shí)施例的系統(tǒng)、方法和計(jì)算機(jī)程序產(chǎn)品的可能實(shí)現(xiàn)的體系架構(gòu)、功能和操作。在這點(diǎn)上,流程圖或框圖中的每個(gè)方框可以代表一個(gè)單元、程序段、或代碼的一部分,所述單元、程序段、或代碼的一部分包含一個(gè)或多個(gè)用于實(shí)現(xiàn)規(guī)定的邏輯功能的可執(zhí)行指令。也應(yīng)當(dāng)注意,在有些作為替換的實(shí)現(xiàn)中,方框中所標(biāo)注的功能也可以以不同于附圖中所標(biāo)注的順序發(fā)生。例如,兩個(gè)接連地表示的方框?qū)嶋H上可以基本并行地執(zhí)行,它們有時(shí)也可以按相反的順序執(zhí)行,這依所涉及的功能而定。也要注意的是,框圖和/或流程圖中的每個(gè)方框、以及框圖和/或流程圖中的方框的組合,可以用執(zhí)行規(guī)定的功能或操作的專用的基于硬件的系統(tǒng)來實(shí)現(xiàn),或者可以用專用硬件與計(jì)算機(jī)指令的組合來實(shí)現(xiàn)。
描述于本申請(qǐng)實(shí)施例中所涉及到的單元可以通過軟件的方式實(shí)現(xiàn),也可以通過硬件的方式來實(shí)現(xiàn)。所描述的單元也可以設(shè)置在處理器中,例如,可以描述為:一種處理器包括第一轉(zhuǎn)換單元、提取單元、確定單元、第二轉(zhuǎn)換單元。其中,這些單元的名稱在某種情況下并不構(gòu)成對(duì)該單元本身的限定,例如,第一轉(zhuǎn)換單元還可以被描述為“轉(zhuǎn)換待處理音頻為待處理圖片的單元”。
作為另一方面,本申請(qǐng)還提供了一種非易失性計(jì)算機(jī)存儲(chǔ)介質(zhì),該非易失性計(jì)算機(jī)存儲(chǔ)介質(zhì)可以是上述實(shí)施例中所述裝置中所包含的非易失性計(jì)算機(jī)存儲(chǔ)介質(zhì);也可以是單獨(dú)存在,未裝配入終端中的非易失性計(jì)算機(jī)存儲(chǔ)介質(zhì)。上述非易失性計(jì)算機(jī)存儲(chǔ)介質(zhì)存儲(chǔ)有一個(gè)或者多個(gè)程序,當(dāng)所述一個(gè)或者多個(gè)程序被一個(gè)設(shè)備執(zhí)行時(shí),使得所述設(shè)備:轉(zhuǎn)換待處理音頻為待處理圖片;提取待處理圖片的內(nèi)容特征;根據(jù)風(fēng)格特征和待處理圖片的內(nèi)容特征確定目標(biāo)圖片,風(fēng)格特征從模板音頻轉(zhuǎn)換成的模板圖片中得到;將目標(biāo)圖片轉(zhuǎn)換為處理后的音頻。
以上描述僅為本申請(qǐng)的較佳實(shí)施例以及對(duì)所運(yùn)用技術(shù)原理的說明。本領(lǐng)域技術(shù)人員應(yīng)當(dāng)理解,本申請(qǐng)中所涉及的發(fā)明范圍,并不限于上述技術(shù)特征的特定組合而成的技術(shù)方案,同時(shí)也應(yīng)涵蓋在不脫離所述發(fā)明構(gòu)思的情況下,由上述技術(shù)特征或其等同特征進(jìn)行任意組合而形成的其它技術(shù)方案。例如上述特征與本申請(qǐng)中公開的(但不限于)具有類似功能的技術(shù)特征進(jìn)行互相替換而形成的技術(shù)方案。