會(huì)話(huà)視頻中單攝像頭眼神糾正方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及會(huì)話(huà)視頻中的眼神校正技術(shù)領(lǐng)域，特別是在僅有單個(gè)普通攝像頭情況 下的一種實(shí)現(xiàn)會(huì)話(huà)視頻中的眼神糾正的方法。與傳統(tǒng)的雙攝像頭圖像合成方法，或者高成 本的深度攝像頭方法進(jìn)行眼神糾正的不同，本方法僅使用單個(gè)普通攝像頭，利用現(xiàn)有的3D 模型實(shí)現(xiàn)眼神糾正，大大地減少了設(shè)備及算法復(fù)雜度和會(huì)話(huà)視頻成本，從而提高了會(huì)話(huà)視 頻的用戶(hù)體驗(yàn)，有利于會(huì)話(huà)視頻的推廣和普及。
【背景技術(shù)】
[0002] 數(shù)字多媒體通信是當(dāng)前通信技術(shù)眾多領(lǐng)域中最具挑戰(zhàn)性、發(fā)展最快、研究最活躍 的領(lǐng)域之一。自從二十世紀(jì)九十年代以來(lái)，從數(shù)字電視廣播到無(wú)線(xiàn)多媒體通信等技術(shù)已在 世界各國(guó)陸續(xù)得到普遍應(yīng)用?；ヂ?lián)網(wǎng)的普及使得多媒體通信擺脫了電視的局限：Skype、 GoogleTalk等視頻聊天軟件的出現(xiàn)讓人們可以通過(guò)電腦進(jìn)行視頻通話(huà)、遠(yuǎn)程會(huì)議等多媒 體通信。而今，隨著智能手機(jī)的快速發(fā)展，移動(dòng)終端上，例如Facetime和Tango等應(yīng)用使得 多媒體通信在移動(dòng)網(wǎng)絡(luò)上普及，用戶(hù)越來(lái)越多地期望得到方便、快捷、無(wú)所不在的多媒體通 信服務(wù)。
[0003] 互聯(lián)網(wǎng)的普及和多媒體通信業(yè)務(wù)的發(fā)展帶來(lái)了多媒體數(shù)據(jù)的急劇增長(zhǎng)，對(duì)于現(xiàn)有 的移動(dòng)網(wǎng)絡(luò)提出了嚴(yán)峻挑戰(zhàn)。其中，會(huì)話(huà)視頻業(yè)務(wù)能夠滿(mǎn)足用戶(hù)"不論身在何處，都能面對(duì) 面交流"的需要，其應(yīng)用日益廣泛。在如今眾多視頻業(yè)務(wù)中，會(huì)話(huà)視頻通信占據(jù)愈發(fā)重要 的位置。PEW進(jìn)行的統(tǒng)計(jì)研究表明，19%的美國(guó)用戶(hù)曾經(jīng)在線(xiàn)使用手機(jī)嘗試過(guò)視頻通話(huà)、聊 天、會(huì)議等會(huì)話(huà)視頻服務(wù)，而40%的Skype通話(huà)都是視頻通話(huà)。
[0004] 然而，在現(xiàn)有的會(huì)話(huà)視頻系統(tǒng)中，比如Skype或者Facetime，一個(gè)重要的問(wèn)題是缺 少與會(huì)者眼神的自然交互。它產(chǎn)生的主要原因是因?yàn)閿z像頭拍攝的方向和人眼注視的方向 不在同一條直線(xiàn)上，存在一個(gè)夾角。這樣在交談過(guò)程中，在已經(jīng)注視的情況下，對(duì)方仍然感 覺(jué)不到對(duì)方正注視著自己，無(wú)法保證眼神的自然交流，從而大大地降低了用戶(hù)體驗(yàn)。為了保 證眼神的自然交互，會(huì)話(huà)視頻中需要進(jìn)行眼神糾正，從而實(shí)現(xiàn)眼神交互。拋開(kāi)純審美學(xué)不 談，眼神交流也是人們交流之間的不可或缺的組成部分。這個(gè)問(wèn)題在高端的會(huì)話(huà)視頻系統(tǒng) 中用特別的硬件設(shè)備是能解決的，但是因?yàn)槠湓靸r(jià)昂貴，很難進(jìn)行推廣和普及。
[0005]目前，已經(jīng)有大量這方面的研究工作。眼神糾正需要知道圖像的深度信息，在人臉 圖像里，深度信息中包含了人臉上的每一點(diǎn)到攝像頭的距離。眼神糾正問(wèn)題可以看成是一 個(gè)新圖像合成問(wèn)題，合成的新圖像能夠很好的實(shí)現(xiàn)眼神交互。在眼神糾正中，圖像上的每 個(gè)像素點(diǎn)會(huì)隨著深度信息/距離的不同而進(jìn)行不同的位移或者旋轉(zhuǎn)，使其到達(dá)正確的位置 上。也就是說(shuō)，缺少深度信息，而不使用其他輔助工具，單靠一幅普通的圖像，是很難將眼神 糾正到正確的位置，實(shí)現(xiàn)眼神交互的效果。
[0006] 當(dāng)前，進(jìn)行眼神糾正的主要方法，總結(jié)起來(lái)分為兩種，一種是多攝像頭方法，另一 種是深度攝像頭方法。多攝像頭方法主要是利用在不同角度的兩個(gè)攝像頭同時(shí)拍攝一幅圖 像，然后對(duì)這兩幅圖像進(jìn)行一個(gè)圖像合成來(lái)進(jìn)行眼神糾正。深度攝像頭方法主要是利用其 采集圖像的深度信息，進(jìn)行3D建模，然后旋轉(zhuǎn)模型以達(dá)到眼神糾正。
[0007] 比較兩種方法，使用多攝像頭方法所需的設(shè)備復(fù)雜，在對(duì)圖像預(yù)處理中需要攝像 頭的標(biāo)定和同步，使用的算法相對(duì)復(fù)雜一些，處理時(shí)間不能滿(mǎn)足實(shí)時(shí)化視頻的要求；而深度 攝像頭價(jià)格昂貴，不利于會(huì)話(huà)視頻的推廣和普及。
[0008] 為了能夠降低設(shè)備的復(fù)雜度，同時(shí)也能有較高的性?xún)r(jià)比，我們使用了一種能夠同 時(shí)達(dá)到兩方面效果的方法。該方法使用單個(gè)普通攝像頭實(shí)現(xiàn)眼神糾正，在增強(qiáng)用戶(hù)體驗(yàn)的 情況下，能夠降低設(shè)備的復(fù)雜度，性?xún)r(jià)比更高，有利于會(huì)話(huà)視頻的推廣和普及。

【發(fā)明內(nèi)容】
：
[0009] 針對(duì)現(xiàn)有技術(shù)的缺陷，本發(fā)明的目的是為了能夠在會(huì)話(huà)視頻中使用一個(gè)普通的攝 像頭實(shí)現(xiàn)眼神校正，提高用戶(hù)體驗(yàn)。該系統(tǒng)主要是利用人臉跟蹤得到頭部角度姿態(tài)，利用該 角度對(duì)現(xiàn)有人臉頭部模型進(jìn)行旋轉(zhuǎn)從而達(dá)到眼神校正的目的，從而實(shí)現(xiàn)單個(gè)普通攝像頭的 眼神糾正，大大增加了會(huì)話(huà)視頻的推廣和普及，使得會(huì)話(huà)視頻更加普遍滴應(yīng)用到實(shí)際生活 中。
[0010] 本發(fā)明的優(yōu)點(diǎn)是用簡(jiǎn)單的設(shè)備解決了互聯(lián)網(wǎng)視頻通話(huà)和移動(dòng)視頻通話(huà)時(shí)的眼神 糾正問(wèn)題，而且也包含了原圖里的背景。
[0011] 本發(fā)明中方法涉及到的步驟如下：先由人臉跟蹤得到視頻圖像的臉部特征點(diǎn)和 角度姿態(tài)，然后利用臉部特征點(diǎn)對(duì)頭部3D模型進(jìn)行變形，將其變行成跟視頻圖像中的臉部 形狀基本一致，接著進(jìn)行模型貼圖，將視頻圖像通過(guò)3D渲染貼在模型上，利用角度姿態(tài)對(duì) 其進(jìn)行3D旋轉(zhuǎn)實(shí)現(xiàn)眼神校正得到校正后的模型圖像，最后找出模型圖像與原圖像的臉部 最佳邊緣，將模型圖像中的最佳邊緣的里面部分嵌合到原圖像中，最終得到含有背景的并 進(jìn)行眼神校正后的圖像，完成眼神校正的全過(guò)程，見(jiàn)附圖1、圖2和圖4。
[0012] 本發(fā)明提出的方法，其特征在于，它包含：Laplace網(wǎng)格變形，紋理貼圖，姿態(tài)角度 旋轉(zhuǎn)，最佳邊緣化，其中：
[0013] Laplace網(wǎng)格變形，它的輸入信息是人臉頭部網(wǎng)格模型和通過(guò)人臉跟蹤得出的臉 部特征點(diǎn)，輸出變形后的網(wǎng)格模型；
[0014] 紋理貼圖，它的輸入端是網(wǎng)格模型經(jīng)過(guò)映射后的2D點(diǎn)和網(wǎng)格模型的3D點(diǎn)，輸出端 是含有圖像的網(wǎng)格模型，即模型圖像；
[0015] 姿態(tài)角度旋轉(zhuǎn)，它的輸入端是模型圖像和人臉跟蹤得到的角度姿態(tài)，輸出端是經(jīng) 過(guò)旋轉(zhuǎn)校正以后的模型圖像；
[0016] 最佳邊緣化：它的輸入端是校正以后的模型圖像和原圖像，輸出端是最佳邊緣化 以后的含有原圖像背景的圖像。
[0017] 會(huì)話(huà)視頻中單攝像頭眼神糾正方法，其特征在于所述的方法是按照以下步驟實(shí)現(xiàn) 的：
[0018] 1、手動(dòng)從網(wǎng)格模型上找到人臉定位特征點(diǎn)所對(duì)應(yīng)的位置序號(hào)，作為圖像特征點(diǎn)在 網(wǎng)格模型中對(duì)應(yīng)的點(diǎn)；
[0019] 2、輸入三張圖像，一張是會(huì)話(huà)者的人臉圖像L，一張是眼睛在某位置正視攝像頭 拍出的圖像12，另一張是眼睛在相同位置看屏幕上某點(diǎn)時(shí)攝像頭拍攝的圖像I(即為需要糾 正的圖像），分別對(duì)其進(jìn)行人臉跟蹤，得出圖像L的臉部3d特征點(diǎn)，圖像12的姿態(tài)3D向量， 圖像I的姿態(tài)3D向量、尺度因子和位移向量；
[0020] 3、利用圖像L的臉部3d特征點(diǎn)對(duì)網(wǎng)格模型進(jìn)行變形；
[0021] 4、利用圖像I的姿態(tài)向量得到旋轉(zhuǎn)矩陣、尺度因子和位移向量，從而求出紋理映 射點(diǎn)，利用紋理映射點(diǎn)和圖像I對(duì)變形后的網(wǎng)格模型進(jìn)行映射紋理貼圖；
[0022] 5、利用正視圖像12的姿態(tài)3D向量，對(duì)貼圖的網(wǎng)格模型進(jìn)行臉部姿態(tài)角度旋轉(zhuǎn)，實(shí) 現(xiàn)眼神糾正，并輸出旋轉(zhuǎn)后的網(wǎng)格模型圖像Γ;
[0023] 6、計(jì)算出網(wǎng)格模型圖像Γ和圖像I的最佳匹配邊緣，并將圖像r邊緣及其內(nèi)部嵌 合至圖像12，完成眼神糾正。
[0024] 其中，一直使用該網(wǎng)格模型，所以手動(dòng)操作只要進(jìn)行一次。手動(dòng)從網(wǎng)格模型 上找到人臉定位特征點(diǎn)所對(duì)應(yīng)的位置序號(hào)，作為圖像特征點(diǎn)在網(wǎng)格模型中對(duì)應(yīng)的點(diǎn) { (f。，C。)，· · ·，（f6S,C6S) }，其中，（f。，· · ·，f6S)和（C。，· · ·，C6S)分別表示跟蹤圖像特征點(diǎn)和網(wǎng) 格模型上的點(diǎn)的序號(hào)；
[0025] 同時(shí)，在網(wǎng)格變形中，由于人臉定位算法得到的3D特征點(diǎn)僅與臉部形狀有關(guān)，針 對(duì)同一個(gè)人只要一次網(wǎng)格變形。
[0026] 其中，網(wǎng)格模型變形模塊是采用比較簡(jiǎn)單的Laplace網(wǎng)格變形方法，其方法步驟 如下：
[0027]用AAM模型的人臉定位方法，以下簡(jiǎn)稱(chēng)AAM定位，從圖像中得到VpPi、（xDirection ，yDirection,zDirection)、scale，以及xT和yT。其中，Vi表示的 68 個(gè) 3D特征點(diǎn)，p;表示 與Vi對(duì)應(yīng)的2D特