本發(fā)明涉及計算機領(lǐng)域，具體而言，涉及一種視頻的校正方法及裝置。

背景技術(shù)：

隨著互聯(lián)網(wǎng)技術(shù)的發(fā)展，只需要通過攝像頭以及電腦即可以實現(xiàn)多個不同地域的人如同面對面一樣的交流，然而當(dāng)我們使用聊天軟件(例如微信、米聊、MSN等)進(jìn)行視頻聊天時，由于攝像頭與屏幕中心之間存在距離差，導(dǎo)致聊天用戶之間缺少目光對視的交流，例如，筆記本電腦的攝像頭往往設(shè)置在屏幕的上方，當(dāng)用戶USER1與用戶USER2在進(jìn)行聊天時，用戶USER1往往注視著屏幕的中心區(qū)域，而不是攝像頭，那么對于用戶USER2而言，用戶USER2的顯示屏幕會顯示用戶USER1的眼睛向下看，而眼神對視是人與人交流中不可缺少的一部分，缺少它會使得視頻聊天不能像平時面對面聊天一樣自然。

在現(xiàn)有技術(shù)中，往往采用鏡面反射或虛擬視點繪制的方法對視頻圖像進(jìn)行校正，從而實現(xiàn)聊天用戶之間的眼神對視，但是，實現(xiàn)上述方法復(fù)雜，而且設(shè)備昂貴，不適于人們?nèi)粘Ｒ曨l聊天的場景中，所以難以普及。

針對上述在現(xiàn)有技術(shù)中，為實現(xiàn)聊天用戶之間目光對視的視頻校正方法復(fù)雜，且耗費資源大的問題，目前尚未提出有效的解決方案。

技術(shù)實現(xiàn)要素：

本發(fā)明實施例提供了一種視頻的校正方法及裝置，以至少解決在現(xiàn)有技術(shù)中，為實現(xiàn)聊天用戶之間目光對視的視頻校正方法復(fù)雜，且耗費計算資源大的技術(shù)問題。

根據(jù)本發(fā)明實施例的一個方面，提供了一種視頻的校正方法，該方法包括：采集用戶的第一圖像以及第二圖像，其中，第一圖像為用戶觀看攝像設(shè)備區(qū)域時所采集的圖像，第二圖像為用戶觀看屏幕區(qū)域時所采集的圖像；提取第一圖像中的坐標(biāo)系以及第二圖像中的坐標(biāo)系，并計算第一圖像的坐標(biāo)系至第二圖像的坐標(biāo)系的仿射矩陣；采用仿射矩陣對采集到的初始視頻進(jìn)行仿射變換處理，生成校正后的目標(biāo)視頻。

根據(jù)本發(fā)明實施例的另一方面，還提供了一種視頻的校正裝置，包括：采集單元， 用于采集用戶的第一圖像以及第二圖像，其中，第一圖像為用戶觀看攝像設(shè)備區(qū)域時所采集的圖像，第二圖像為用戶觀看屏幕區(qū)域時所采集的圖像；提取單元，用于提取第一圖像中的坐標(biāo)系以及第二圖像中的坐標(biāo)系，并計算第一圖像的坐標(biāo)系至第二圖像的坐標(biāo)系的仿射矩陣；校正單元，用于采用仿射矩陣對采集到的初始視頻進(jìn)行仿射變換處理，生成校正后的目標(biāo)視頻。

在本發(fā)明實施例中，通過采用采集用戶的第一圖像以及第二圖像，其中，第一圖像為用戶觀看攝像設(shè)備區(qū)域時所采集的圖像，第二圖像為用戶觀看屏幕區(qū)域時所采集的圖像；提取第一圖像中的坐標(biāo)系以及第二圖像中的坐標(biāo)系，并計算第一圖像的坐標(biāo)系至第二圖像的坐標(biāo)系的仿射矩陣；采用仿射矩陣對采集到的初始視頻進(jìn)行仿射變換處理，生成校正后的目標(biāo)視頻，解決了現(xiàn)有技術(shù)中為實現(xiàn)聊天用戶之間目光對視的視頻校正方法復(fù)雜，且耗費計算資源大的技術(shù)問題。

附圖說明

此處所說明的附圖用來提供對本發(fā)明的進(jìn)一步理解，構(gòu)成本申請的一部分，本發(fā)明的示意性實施例及其說明用于解釋本發(fā)明，并不構(gòu)成對本發(fā)明的不當(dāng)限定。在附圖中：

圖1是根據(jù)本發(fā)明實施例的視頻的校正方法的流程圖；以及

圖2是根據(jù)本發(fā)明實施例視頻的校正裝置的結(jié)構(gòu)示意圖。

具體實施方式

為了使本技術(shù)領(lǐng)域的人員更好地理解本發(fā)明方案，下面將結(jié)合本發(fā)明實施例中的附圖，對本發(fā)明實施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實施例僅僅是本發(fā)明一部分的實施例，而不是全部的實施例?；诒景l(fā)明中的實施例，本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動前提下所獲得的所有其他實施例，都應(yīng)當(dāng)屬于本發(fā)明保護(hù)的范圍。

需要說明的是，本發(fā)明的說明書和權(quán)利要求書及上述附圖中的術(shù)語“第一”、“第二”等是用于區(qū)別類似的對象，而不必用于描述特定的順序或先后次序。應(yīng)該理解這樣使用的數(shù)據(jù)在適當(dāng)情況下可以互換，以便這里描述的本發(fā)明的實施例能夠以除了在這里圖示或描述的那些以外的順序?qū)嵤?。此外，術(shù)語“包括”和“具有”以及他們的任何變形，意圖在于覆蓋不排他的包含，例如，包含了一系列步驟或單元的過程、方法、系統(tǒng)、產(chǎn)品或設(shè)備不必限于清楚地列出的那些步驟或單元，而是可包括沒有清楚地列出的或?qū)τ谶@些過程、方法、產(chǎn)品或設(shè)備固有的其它步驟或單元。

實施例一

根據(jù)本發(fā)明實施例，提供了一種視頻的校正方法的實施例，需要說明的是，在附圖的流程圖示出的步驟可以在諸如一組計算機可執(zhí)行指令的計算機系統(tǒng)中執(zhí)行，并且，雖然在流程圖中示出了邏輯順序，但是在某些情況下，可以以不同于此處的順序執(zhí)行所示出或描述的步驟。

圖1是根據(jù)本發(fā)明實施例的視頻的校正方法的流程圖，如圖1所示，該方法包括如下步驟：

步驟S12，采集用戶的第一圖像以及第二圖像，其中，第一圖像為用戶觀看攝像設(shè)備區(qū)域時所采集的圖像，第二圖像為用戶觀看屏幕區(qū)域時所采集的圖像。

具體地，在上述步驟S12中，可以采用攝像設(shè)備來采集用戶在目視不同區(qū)域時的兩張圖像，攝像設(shè)備可以是配置在電腦屏幕上方的攝像頭，在本實施例中，可以讓用戶靜坐于電腦屏幕前，在用戶低頭目視屏幕區(qū)域(優(yōu)選為屏幕中心)時，通過攝像頭采集用戶的第一圖像，在用戶仰頭目視攝像設(shè)備區(qū)域(優(yōu)選為攝像頭的鏡頭)時，通過攝像頭采集用戶的第二圖像。需要說明的是，在第一圖像中，用戶的眼睛關(guān)注于屏幕的中心，在第二圖像中，用戶的眼睛關(guān)注于屏幕上方的攝像頭。

步驟S14，提取第一圖像中的坐標(biāo)系以及第二圖像中的坐標(biāo)系，并計算第一圖像的坐標(biāo)系至第二圖像的坐標(biāo)系的仿射矩陣。

具體地，在上述步驟S14中，可以采用計算機終端來獲取上述兩張圖像，然后提取上述第一圖像中的坐標(biāo)系以及第二圖像中的坐標(biāo)系，需要說明的是，上述第一圖像為以相機為原點的坐標(biāo)系，上述第二圖像為以屏幕為中心為原點的坐標(biāo)系，計算機終端可以根據(jù)現(xiàn)有的計算算法來計算以相機為原點的坐標(biāo)系到以屏幕為中心為原點的坐標(biāo)系之間的仿射矩陣。

步驟S16，采用仿射矩陣對采集到的初始視頻進(jìn)行仿射變換處理，生成校正后的目標(biāo)視頻。

具體地，在上述步驟S16中，在用戶在進(jìn)行視頻通話時，本方案可以獲取用戶的初始視頻，然后提取每一幀初始視頻的面部特征點與輪廓，然后針對每一幀初始視頻的面部特征點與輪廓進(jìn)行仿射變換處理，生成校正后的目標(biāo)視頻，優(yōu)選地，本方案可以將校正后的目標(biāo)視頻貼回初始視頻的面部區(qū)域。需要說明的，由于本方案對于用戶的視頻進(jìn)行了校正，因此，在多個用戶在進(jìn)行視頻聊天時，可以實現(xiàn)目光對視的效果。

本實施例通過采集用戶的第一圖像以及第二圖像，其中，第一圖像為用戶觀看攝 像設(shè)備區(qū)域時所采集的圖像，第二圖像為用戶觀看屏幕區(qū)域時所采集的圖像；提取第一圖像中的坐標(biāo)系以及第二圖像中的坐標(biāo)系，并計算第一圖像的坐標(biāo)系至第二圖像的坐標(biāo)系的仿射矩陣；采用仿射矩陣對采集到的初始視頻進(jìn)行仿射變換處理，生成校正后的目標(biāo)視頻，解決了在現(xiàn)有技術(shù)中為實現(xiàn)聊天用戶之間目光對視的視頻校正方法復(fù)雜，且耗費資源大的技術(shù)問題。

可選地，步驟S14，提取第一圖像中的坐標(biāo)系以及第二圖像中的坐標(biāo)系的步驟可以包括：

步驟S141，對第一圖像以及第二圖像進(jìn)行Hartley變換處理。

步驟S142，對經(jīng)過Hartley變換處理的兩張圖像進(jìn)行立體匹配處理，得到第一圖像與第二圖像之間的視差圖。

這里需要說明的是，本申請中的Hartley變換算法(也稱哈特萊變換算法)是一種完全對稱的實數(shù)域正交三角變換算法，相對于傅里葉變換具有更好的對稱性以及計算效率。

步驟S143，在視差圖中提取第一圖像中的坐標(biāo)系以及第二圖像中的坐標(biāo)系。

具體地，在上述步驟S141至步驟S143中，可以對上述第一圖像以及第二圖像進(jìn)行Hartley校正方法予以校正，使得兩張圖像的極線水平(或垂直)，然后利用立體匹配算法得到視差圖，對此視差圖進(jìn)行平滑濾波，得到平滑后的視差圖，最后，提取兩幅圖像中眼部特征點的位置，在視差圖中提取第一圖像中的坐標(biāo)系以及第二圖像中的坐標(biāo)系。

需要說明的是，本方案還可以獲取通過攝像機標(biāo)定方法(例如三角標(biāo)定方法)獲取攝像機的內(nèi)參數(shù)，內(nèi)參數(shù)矩陣包含攝像頭的焦距和光心信息，然后根據(jù)攝像頭的焦距和光心信息來將視差圖轉(zhuǎn)為深度值，然后執(zhí)行上述步驟S143的方案。

可選地，在步驟S142，對經(jīng)過Hartley變換處理的兩張圖像進(jìn)行立體匹配處理，得到第一圖像與第二圖像之間的視差圖之前，本實施例提供的方法還可以包括：

步驟S140，分別將第一圖像以及第二圖像按照順時針旋轉(zhuǎn)預(yù)設(shè)角度。

具體地，在本方案中，由于立體匹配算法計算的是水平方向的視差，因此本方案可以將兩張圖像順時針旋轉(zhuǎn)預(yù)設(shè)角度(例如90°)，然后在將左視圖(對著屏幕中心)與右視圖(對著攝像頭)采用立體匹配算法獲得垂直視差圖。

可選地，在步驟S16生成校正后的目標(biāo)視頻之后，本實施例提供的方法還可以包 括：

步驟S17，對目標(biāo)視頻中的面部輪廓進(jìn)行去重疊處理，生成校正后的目標(biāo)面部輪廓。

具體地，在上述步驟S17中，本方案可以對目標(biāo)視頻中的面部輪廓進(jìn)行優(yōu)化處理，以消除目標(biāo)視頻中的面部輪廓的重疊和誤差。

可選地，步驟S17，對目標(biāo)視頻中的面部輪廓進(jìn)行去重疊處理，生成校正后的目標(biāo)面部輪廓的步驟可以包括：

步驟S171，在目標(biāo)視頻中的面部輪廓中提取多個特征點。

步驟S172，計算每個特征點與第一圖像的像素密度差值。

步驟S173，將像素密度差值最小的特征點作為校正后的目標(biāo)面部輪廓的特征點。

具體地，在上述步驟S171至步驟S173中，可以對每一幀的面部輪廓提取20到30個特征點，以每一個特征點為中心取一個N×N的小塊(N為奇數(shù)，一般可取大于3小于15的奇數(shù)，不同的數(shù)值對應(yīng)于不同的計算量和優(yōu)化效果，數(shù)值越大計算量越大，優(yōu)化效果越好；反之則計算量越小，優(yōu)化效果越差，特征點數(shù)量的選取可根據(jù)具體情況予以選擇，通?？蛇x5或者7)，在上述N×N個點中計算校正后與原圖像素密度差值最小的點，然后將該點作為校正后面部輪廓的點，如此迭代計算M次后(M為大于1的正整數(shù)，不同的數(shù)值對應(yīng)于不同的計算量和優(yōu)化效果，數(shù)值越大計算量越大，優(yōu)化效果越好；反之則計算量越小，優(yōu)化效果越差，M的數(shù)量可根據(jù)具體情況予以選擇，通常可選3或者4)，便可得到優(yōu)化后的面部輪廓。

綜上，本方案提出了用單個普通網(wǎng)絡(luò)攝像頭獲取場景深度的技術(shù)方案，并且提出在深度圖有空洞的情況下，利用圖像信息進(jìn)行填補，最后，本方案能夠?qū)崿F(xiàn)在不影響原來視頻聊天質(zhì)量情況下，實現(xiàn)聊天者的目光對視的技術(shù)效果。

實施例二

本申請還提供了一種視頻的校正裝置，該裝置可以用于執(zhí)行上述視頻的校正方法，如圖2所示，該裝置可以包括：采集單元20，用于采集用戶的第一圖像以及第二圖像，其中，第一圖像為用戶觀看攝像設(shè)備區(qū)域時所采集的圖像，第二圖像為用戶觀看屏幕區(qū)域時所采集的圖像；提取單元22，用于提取第一圖像中的坐標(biāo)系以及第二圖像中的坐標(biāo)系，并計算第一圖像的坐標(biāo)系至第二圖像的坐標(biāo)系的仿射矩陣；校正單元24，用于采用仿射矩陣對采集到的初始視頻進(jìn)行仿射變換處理，生成校正后的目標(biāo)視頻。

本實施例通過采集用戶的第一圖像以及第二圖像，其中，第一圖像為用戶觀看攝像設(shè)備區(qū)域時所采集的圖像，第二圖像為用戶觀看屏幕區(qū)域時所采集的圖像；提取第一圖像中的坐標(biāo)系以及第二圖像中的坐標(biāo)系，并計算第一圖像的坐標(biāo)系至第二圖像的坐標(biāo)系的仿射矩陣；采用仿射矩陣對采集到的初始視頻進(jìn)行仿射變換處理，生成校正后的目標(biāo)視頻，解決了現(xiàn)有技術(shù)中為實現(xiàn)聊天用戶之間目光對視的視頻校正方法復(fù)雜，且耗費資源大的技術(shù)問題。

可選地，提取單元可以包括：第一處理模塊，用于對第一圖像以及第二圖像進(jìn)行Hartley變換處理；第二處理模塊，用于對經(jīng)過Hartley變換處理的兩張圖像進(jìn)行立體匹配處理，得到第一圖像與第二圖像之間的視差圖；第一提取模塊，用于在視差圖中提取第一圖像中的坐標(biāo)系以及第二圖像中的坐標(biāo)系。

可選地，本實施例提供的裝置還包括：旋轉(zhuǎn)單元，用于分別將第一圖像以及第二圖像按照順時針旋轉(zhuǎn)預(yù)設(shè)角度。

可選地，本實施例提供的裝置還包括：處理單元，用于對目標(biāo)視頻中的面部輪廓進(jìn)行去重疊處理，生成校正后的目標(biāo)面部輪廓。

可選地，處理單元可以包括：第二提取模塊，用于在目標(biāo)視頻中的面部輪廓中提取多個特征點；計算模塊，用于計算每個特征點與第一圖像的像素密度差值；第三處理模塊，用于將像素密度差值最小的特征點確定為校正后的目標(biāo)面部輪廓的特征點。

上述本發(fā)明實施例序號僅僅為了描述，不代表實施例的優(yōu)劣。

在本發(fā)明的上述實施例中，對各個實施例的描述都各有側(cè)重，某個實施例中沒有詳述的部分，可以參見其他實施例的相關(guān)描述。

在本申請所提供的幾個實施例中，應(yīng)該理解到，所揭露的技術(shù)內(nèi)容，可通過其它的方式實現(xiàn)。其中，以上所描述的裝置實施例僅僅是示意性的，例如所述單元的劃分，可以為一種邏輯功能劃分，實際實現(xiàn)時可以有另外的劃分方式，例如多個單元或組件可以結(jié)合或者可以集成到另一個系統(tǒng)，或一些特征可以忽略，或不執(zhí)行。另一點，所顯示或討論的相互之間的耦合或直接耦合或通信連接可以是通過一些接口，單元或模塊的間接耦合或通信連接，可以是電性或其它的形式。

所述作為分離部件說明的單元可以是或者也可以不是物理上分開的，作為單元顯示的部件可以是或者也可以不是物理單元，即可以位于一個地方，或者也可以分布到多個單元上?？梢愿鶕?jù)實際的需要選擇其中的部分或者全部單元來實現(xiàn)本實施例方案的目的。

另外，在本發(fā)明各個實施例中的各功能單元可以集成在一個處理單元中，也可以是各個單元單獨物理存在，也可以兩個或兩個以上單元集成在一個單元中。上述集成的單元既可以采用硬件的形式實現(xiàn)，也可以采用軟件功能單元的形式實現(xiàn)。

所述集成的單元如果以軟件功能單元的形式實現(xiàn)并作為獨立的產(chǎn)品銷售或使用時，可以存儲在一個計算機可讀取存儲介質(zhì)中?；谶@樣的理解，本發(fā)明的技術(shù)方案本質(zhì)上或者說對現(xiàn)有技術(shù)做出貢獻(xiàn)的部分或者該技術(shù)方案的全部或部分可以以軟件產(chǎn)品的形式體現(xiàn)出來，該計算機軟件產(chǎn)品存儲在一個存儲介質(zhì)中，包括若干指令用以使得一臺計算機設(shè)備(可為個人計算機、服務(wù)器或者網(wǎng)絡(luò)設(shè)備等)執(zhí)行本發(fā)明各個實施例所述方法的全部或部分步驟。而前述的存儲介質(zhì)包括：U盤、只讀存儲器(ROM，Read-Only Memory)、隨機存取存儲器(RAM，Random Access Memory)、移動硬盤、磁碟或者光盤等各種可以存儲程序代碼的介質(zhì)。

以上所述僅是本發(fā)明的優(yōu)選實施方式，應(yīng)當(dāng)指出，對于本技術(shù)領(lǐng)域的普通技術(shù)人員來說，在不脫離本發(fā)明原理的前提下，還可以做出若干改進(jìn)和潤飾，這些改進(jìn)和潤飾也應(yīng)視為本發(fā)明的保護(hù)范圍。