視頻通話界面顯示方法及裝置制造方法
【專利摘要】本發(fā)明涉及一種視頻通話界面顯示方法，包括：分別在第一窗口與第二窗口中顯示第一通話方與第二通話方的影像，所述第二窗口疊加于所述第一窗口上；獲取所述第一窗口中人臉的面積與所述第一窗口面積的比例k；若k小于第一閾值K1則增加所述第二窗口的面積；以及若k大于第二閾值K2則減小所述第二窗口的面積，所述第二閾值K2大于所述第一閾值K1。上述的視頻通話界面顯示方法可有效利用屏幕顯示空間，且可避免疊加顯示的窗口隱藏下層窗口的細節(jié)。此外，本發(fā)明還提供一種視頻通話界面顯示裝置。
【專利說明】視頻通話界面顯示方法及裝置【技術領域】
[0001]本發(fā)明涉及視頻通話技術，尤其涉及一種視頻通話界面顯示方法及裝置。
【背景技術】
[0002]在視頻通話過程中，至少會需要顯示兩個窗口(如果是多方視頻，會存在多個窗口)。其中，一個窗口是自己攝像頭捕捉到的本地影像，另一個窗口是網(wǎng)絡實時傳輸過來的對方影像。通常對這兩個窗口的顯示方法有三種:
[0003]1.窗口分開顯示。這種方法通常用于個人電腦上，對于手機和電視等固定屏幕的設備，這種顯示方法會在顯示屏上造成大量的無效區(qū)域。
[0004]2.只顯示對方窗口。只顯示對方窗口，可以完整展現(xiàn)對方的影像，可以滿足大多數(shù)情況下多數(shù)人會只關注對方的視頻頭像的需求。但是也帶來很大的弊端，就是用戶無法看到自己的影像。
[0005]3.畫中畫。為了解決第2種方法的弊端，可以將自己的影像窗口縮小，并固定疊加在對方窗口的角落中，形成畫中畫的效果。
[0006]現(xiàn)在大多數(shù)視頻通話程序都采用的是第3種顯示方法，但是在實際使用過程中，由于視頻通話環(huán)境的復雜性，仍然存在以下問題:
[0007]無法處理人與攝像頭的相對位置。在實際使用過程中，尤其是在電視前的視頻通話中，由于對方與攝像頭的前 后距離會造成對方的頭像偏大和偏小，對方與攝像頭在水平軸上的偏差也會造成對方的頭像偏左和偏右，這樣還固定顯示小窗口就會遮蓋住對方的有效區(qū)域，比如臉部。

【發(fā)明內(nèi)容】

[0008]有鑒于此，有必要提供一種視頻通話界面顯示方法及裝置，其可有效利用屏幕顯示空間，且可避免疊加顯示的窗口隱藏下層窗口的細節(jié)。
[0009]一種視頻通話界面顯示方法，包括:分別在第一窗口與第二窗口中顯示第一通話方與第二通話方的影像，所述第二窗口疊加于所述第一窗口上；獲取所述第一窗口中人臉的面積與所述第一窗口面積的比例k ;若k小于第一閾值Kl則增加所述第二窗口的面積；以及若k大于第二閾值K2則減小所述第二窗口的面積，所述第二閾值K2大于所述第一閾值K1。
[0010]一種視頻通話界面顯示裝置，包括:顯示模塊，用于分別在第一窗口與第二窗口中顯示第一通話方與第二通話方的影像，所述第二窗口疊加于所述第一窗口上；人臉比例獲取模塊，用于獲取所述第一窗口中人臉的面積與所述第一窗口面積的比例k;以及面積調(diào)整模塊，用于若k小于第一閾值Kl則增加所述第二窗口的面積；以及若k大于第二閾值K2則減小所述第二窗口的面積，所述第二閾值K2大于所述第一閾值Kl。
[0011 ] 上述的視頻通話界面顯示方法及裝置中，通過檢測第一窗口中人臉所占面積的比例，動態(tài)調(diào)整第二窗口面積的大小，可避免第二窗口過大占用第一窗口的有效顯示空間，同時可充分利用第一窗口無效顯示空間。
[0012]為讓本發(fā)明的上述和其他目的、特征和優(yōu)點能更明顯易懂，下文特舉較佳實施例，并配合所附圖式，作詳細說明如下。
【專利附圖】

【附圖說明】
[0013]圖1為第一實施例提供的視頻通話界面顯示方法流程圖。
[0014]圖2為第一實施例提供的視頻通話界面顯示方法顯示的界面示意圖。
[0015]圖3為第二實施例提供的視頻通話界面顯示方法流程圖。
[0016]圖4為第二實施例提供的視頻通話界面顯示方法部分步驟流程圖。
[0017]圖5為第三實施例提供的視頻通話界面顯示裝置結構框圖。
[0018]圖6為第四實施例提供的視頻通話界面顯示裝置結構框圖。
[0019]圖7為第四實施例提供的視頻通話界面顯示裝置窗口移動模塊的結構框圖。
【具體實施方式】
[0020]為更進一步闡述本發(fā)明為實現(xiàn)預定發(fā)明目的所采取的技術手段及功效，以下結合附圖及較佳實施例，對依據(jù)本發(fā)明的【具體實施方式】、結構、特征及其功效，詳細說明如后。
[0021]第一實施例提供一種視頻通話界面顯示方法，如圖1所示，其包括以下步驟:
[0022]步驟S110、分別在第一窗口與第二窗口中顯示第一通話方與第二通話方的影像。
[0023]參閱圖2，第一窗口 101可用于顯示第一通話方的影像，第一通話方例如可為遠程用戶。第二窗口 102可用于顯示第二通話方的影像，第二通話方例如可為本機用戶。第二窗口 102例如是疊加于第一窗口 101上。
[0024]步驟S120、獲取第一窗口中人臉的面積與第一窗口總面積的比例k。
[0025]根據(jù)凸透鏡成像原理，l/f=l/u+l/v，其中f是焦距，u是物距，V是像距。人越靠近攝像頭，即物距減少，會造成像距增大，即人的頭像就越大。亦即，遠程用戶離鏡頭越近，則第一窗口 101中人臉所占據(jù)的空間就越大，為了避免遮蓋到對方的臉部，第二窗口 102應該適當?shù)乜s小。反之，遠程用戶越遠離攝像頭，特別是在電視機前的視頻通話，人臉占據(jù)的空間就越小，第二窗口 102應該相應地放大來填充空白區(qū)域以有效利用屏幕顯示空間。
[0026]現(xiàn)用的人臉識別技術可以通過一張圖像來識別出圖像中所有人臉的大小，比如使用android操作系統(tǒng)中的android, media.FaceDetector接口，可以識別出人臉的臉中心點O和兩眼間的距離R。近似地，以人臉中心為圓心，兩眼間的距離為半徑做一個圓，其面積SI為R2。攝像頭的分辨率為a*b,則其面積S2為a*b。所以人臉占整個顯示窗口的比例k為S1/S2。
[0027]可以理解，視頻通話時的畫面中可能出現(xiàn)多個人物，此時，采用所有人的人臉的總面積取代上述的Si。而中心點O取所有人的人臉中心的幾何中心代替。
[0028]步驟S130、若k小于第一閾值Kl則增加第二窗口的面積；以及
[0029]步驟S140、若k大于第二閾值K2則減小第二窗口的面積。
[0030]根據(jù)實際的實驗統(tǒng)計，存在著兩個容忍閾值Kl和K2，當Kl〈k〈K2時，第二窗口 102可以正常顯示面積S，即在面積S下，兩個窗口面積比例合適，用戶體驗最好。
[0031]當KKl時，即對方人臉過小，可以適當放大第二窗口 102的面積，比如放大一倍，顯示為2S。
[0032]當k>K2時，即對方人臉過大，可以適當縮小第二窗口 102面積，比如縮小一半，顯示為1/2S。
[0033]其中面積放大和縮小的比例可以根據(jù)k與K1、K2的比例來確定。
[0034]如圖2所示，SI是第一窗口 101中人臉面積，S2是第一窗口 101的面積，S為第二窗口 102面積。Kl可以取1/10，Κ2可以取1/5。當S1/S2在1/10和1/5之間時，我們不調(diào)整第二窗口 102面積，即不調(diào)整S。當S1/S2小于1/10時，我們需要放大S ;當S1/S2大于1/5時，我們需要縮小S。
[0035]本實施例的視頻通話界面顯示方法中，通過檢測第一窗口中人臉所占面積的比例，動態(tài)調(diào)整第二窗口面積的大小，可避免第二窗口過大占用第一窗口的有效顯示空間，同時可充分利用第一窗口無效顯示空間。
[0036]第二實施例提供一種視頻通話界面顯示方法，其與第一實施例相似，參閱圖3，不同之處在于還包括:
[0037]步驟S210、比較第一窗口的多個頂點與人臉的中心點的距離。
[0038]如圖2所示，人臉中心坐標為0(x，y)，第一窗口 101呈矩形，其四個頂點Pl、P2、P3、P4的坐標分別為(0，0)、(0，b)、(a，0)、(a，b)。而在同一坐標系內(nèi)的兩點(xl，yl)與(x2，y2)之間的距離可以采用公式d=(xl-x2)2+(yl-y2)2，計算。根據(jù)上述公式，可以分別計算四個頂點與人臉中心之間的距離dl、d2、d3及d4，然后對其進行排序，此處設大小關系為 dl〈=d2〈=d3〈=d4。
[0039]步驟S220、移動第二窗口至多個頂點中距離人臉中心點較遠的頂點處。
[0040]基于上述的大小關系，可以選擇距離為d3和d4的頂點，即頂點P3、P4，可以將第二窗口 102移動至上述兩個頂點中的任何一個處，還可以是將第二窗口 102移動至距離最遠的頂點處，即頂點P4處。
[0041]然而，可以理解，本實施例并不限于上述方式，還可以進一步根據(jù)第一窗口 101顯示的內(nèi)容決定將第二窗口 102移動至哪個頂點處。
[0042]如圖4所示，步驟S220可具體包括:
[0043]步驟S221，選取多個頂點中距離人臉中心點較遠的多個頂點。例如，選擇如上述的頂點P3、P4。
[0044]步驟S222、對于選取的多個頂點進一步判斷其是否屬于畫面靜止區(qū)域。
[0045]以頂點P3為例，通過計算當前幀與上一幀在區(qū)域103間的RGB變化差值來確定此區(qū)域103是否靜止。區(qū)域103為若將第二窗口 102移動至頂點P3，第二窗口 102所在的區(qū)域，因此其面積、形狀與第二窗口 102相同。
[0046]RGB變化差值計算方法如下:以區(qū)域103中的某個像素點s為例，其在上一幀中的RGB值為(rl，gl，bl)，在當前幀的RGB值為(r2，g2，b2)，那么點s的RGB變化差值為。對區(qū)域103內(nèi)所有像素點計算RGB變化差值并取平均值η。η越趨近0，表示這個區(qū)域103越趨近于靜止區(qū)域。取η的倒數(shù)I/η可以作為表示畫面靜止程度的畫面靜止指數(shù)，畫面靜止指數(shù)越高，表示畫面越趨近于靜止。此外，可以理解，畫面靜止指數(shù)并不限于采用上述的1/η，還可以采用任意本領域中常見的表示方法及指數(shù)。
[0047]步驟S223、若所選取的多個頂點處均非畫面靜止區(qū)域則移動第二窗口 102至距離人臉中心點最遠的頂點處。本實施例中，第二窗口 102已經(jīng)位于頂點P4處，且距離d4最大，因此無須移動。
[0048]步驟S224、若具有附近為畫面靜止區(qū)域的頂點則選取該頂點。
[0049]步驟S225、分別判斷選取的附近為畫面靜止區(qū)域的頂點處是否為空白區(qū)域。
[0050]具體地，參區(qū)域103為例，例如可定義其內(nèi)某個像素點(r，g，b)的RGB值為
(r+g+b)/3。假設區(qū)域103內(nèi)所有點的RGB值分別為xl，x2, x3......xn，所有點的RGB值
的平均數(shù)為m，則區(qū)域103內(nèi)RGB值的方差為s~2=l/n [ (xl-m)'2+(x2-m) ~2+,.......+(xn_
m) ~2]。s~2越小,表示這個區(qū)域越趨近于空白區(qū)域,換言之，s~2越小,表示這個區(qū)域的畫面空白指數(shù)越聞。
[0051]步驟S226、對于所有附近為畫面靜止區(qū)域的頂點處，若均非畫面空白區(qū)域則可將第二窗口 102移動至畫面靜止指數(shù)最高的頂點處。
[0052]步驟S227、若具有附近為畫面空白區(qū)域的頂點，則可將第二窗口 102移動至此頂點。可以理解，若此頂點具有多個，可將第二窗口 102移動至畫面空白指數(shù)最高的頂點處。
[0053]本實施例的視頻通話界面顯示方法中，通過將第二窗口移動至距離人臉中心最遠的頂點處，可最大程度的避免對于第一窗口畫面結構的破壞，提升視頻通話顯示效果；進一步地，通過判斷頂點附近是否為畫面靜止區(qū)域，可以將第二窗口移動至畫面靜止區(qū)域，可以防止占用人物或者動態(tài)物體的顯示空間；再進一步地，通過判斷頂點附件是否為空白區(qū)域，可以最大程度避免占用第一窗口的有效顯示空間。
[0054]第三實施例提供一種視頻通話界面顯示裝置，如圖5所示，其包括顯示模塊310、人臉比例獲取模塊320、以及面積調(diào)整模塊330。
[0055]顯示模塊310用于分別在第一窗口與第二窗口中顯示第一通話方與第二通話方的影像。參閱圖2，第一窗口 101可用于顯示第一通話方的影像，第一通話方例如可為遠程用戶。第二窗口 102可用于顯示第二通話方的影像，第二通話方例如可為本機用戶。第二窗口 102例如是疊加于第一窗口 101上。
[0056]人臉比例獲取模塊320用于獲取所述第一窗口中人臉的面積與所述第一窗口面積的比例k。
[0057]現(xiàn)用的人臉識別技術可以通過一張圖像來識別出圖像中所有人臉的大小，比如使用android操作系統(tǒng)中的android, media.FaceDetector接口，可以識別出人臉的臉中心點O和兩眼間的距離R。近似地，以人臉中心為圓心，兩眼間的距離為半徑做一個圓，其面積SI為R2。攝像頭的分辨率為a*b,則其面積S2為a*b。所以人臉占整個顯示窗口的比例k為S1/S2。
[0058]可以理解，視頻通話時的畫面中可能出現(xiàn)多個人物，此時，采用所有人的人臉的總面積取代上述的Si。而中心點O取所有人的人臉中心的幾何中心代替。
[0059]面積調(diào)整模塊330用于若k小于第一閾值Kl則增加所述第二窗口的面積；以及若k大于第二閾值K2則減小所述第二窗口的面積，所述第二閾值K2大于所述第一閾值Kl。
[0060]如圖2所示，SI是第一窗口 101中人臉面積，S2是第一窗口 101的面積，S為第二窗口 102面積。Kl可以取1/10，K2可以取1/5。當S1/S2在1/10和1/5之間時，我們不調(diào)整第二窗口 102面積，即不調(diào)整S。當S1/S2小于1/10時，我們需要放大S ;當S1/S2大于1/5時，我們需要縮小S。[0061]本實施例的視頻通話界面顯示裝置中，通過檢測第一窗口中人臉所占面積的比例，動態(tài)調(diào)整第二窗口面積的大小，可避免第二窗口過大占用第一窗口的有效顯示空間，同時可充分利用第一窗口無效顯示空間。
[0062]第四實施例提供一種視頻通話界面顯示裝置，其與第三實施例相似，如圖6所示，不同之處在于還包括距離比較模塊410以及窗口移動模塊420。
[0063]距離比較模塊410用于比較所述第一窗口的多個頂點與所述人臉的中心點的距離。
[0064]如圖2所示，人臉中心坐標為0(x，y)，第一窗口 101呈矩形，其四個頂點Pl、P2、P3、P4的坐標分別為(0，0)、(0，b)、(a，0)、(a，b)。而在同一坐標系內(nèi)的兩點(xl，yl)與(x2，y2)之間的距離可以采用公式d=(xl-x2)2+(yl-y2)2，計算。根據(jù)上述公式，可以分別計算四個頂點與人臉中心之間的距離dl、d2、d3及d4，然后對其進行排序，此處設大小關系為 dl〈=d2〈=d3〈=d4。
[0065]窗口移動模塊420用于移動所述第二窗口至所述多個頂點中距離所述人臉中心點較遠的頂點處。
[0066]基于上述的大小關系，可以選擇距離為d3和d4的頂點，即頂點P3、P4，窗口移動模塊420可以將第二窗口 102移動至上述兩個頂點中的任何一個處，還可以是將第二窗口102移動至距離最遠的頂點處，即頂點P4處。
[0067]然而，可以 理解，窗口移動模塊420并不限于上述方式，還可以進一步根據(jù)第一窗口 101顯示的內(nèi)容決定將第二窗口 102移動至哪個頂點處。
[0068]具體地，參閱圖7，窗口移動模塊420可包括第一選取單元421、第一判斷單元422、第二選取單元423、第二判斷單元424、以及窗口移動單元425。
[0069]第一選取單元421用于選取多個頂點中距離所述人臉中心點較遠的多個頂點。
[0070]第一判斷單元422用于分別判斷選取的多個頂點處是否為畫面靜止區(qū)域.[0071]窗口移動單元425用于若所選取的多個頂點處均非畫面靜止區(qū)域則移動所述第二窗口至距離所述人臉中心點最遠的頂點處。
[0072]第二選取單元423用于若具有附近為畫面靜止區(qū)域的頂點則選取附近為畫面靜止區(qū)域的頂點。
[0073]第二判斷單元424用于分別判斷選取的附近為畫面靜止區(qū)域的頂點處是否為空白區(qū)域。
[0074]窗口移動單元425還用于若選取的附近為畫面靜止區(qū)域的頂點均非畫面空白區(qū)域則調(diào)用所述窗口移動模塊移動所述第二窗口至畫面靜止指數(shù)最高的頂點處。此外，窗口移動單元42還用于若具有附近為畫面空白區(qū)域的頂點，則移動所述第二窗口至畫面空白指數(shù)最高的頂點處。
[0075]本實施例的視頻通話界面顯示裝置中，通過將第二窗口移動至距離人臉中心最遠的頂點處，可最大程度的避免對于第一窗口畫面結構的破壞，提升視頻通話顯示效果；進一步地，通過判斷頂點附近是否為畫面靜止區(qū)域，可以將第二窗口移動至畫面靜止區(qū)域，可以防止占用人物或者動態(tài)物體的顯示空間；再進一步地，通過判斷頂點附件是否為空白區(qū)域，可以最大程度避免占用第一窗口的有效顯示空間。
[0076]此外，本發(fā)明實施例還提供一種計算機可讀存儲介質(zhì)，其內(nèi)存儲有計算機可執(zhí)行指令，上述的計算機可讀存儲介質(zhì)例如為非易失性存儲器例如光盤、硬盤、或者閃存。上述的計算機可執(zhí)行指令用于讓計算機或者類似的運算裝置完成上述的視頻通話界面顯示方法中的各種操作。
[0077] 以上所述，僅是本發(fā)明的較佳實施例而已，并非對本發(fā)明作任何形式上的限制，雖然本發(fā)明已以較佳實施例揭示如上，然而并非用以限定本發(fā)明，任何本領域技術人員，在不脫離本發(fā)明技術方案范圍內(nèi)，當可利用上述揭示的技術內(nèi)容做出些許更動或修飾為等同變化的等效實施例，但凡是未脫離本發(fā)明技術方案內(nèi)容，依據(jù)本發(fā)明的技術實質(zhì)對以上實施例所作的任何簡介修改、等同變化與修飾，均仍屬于本發(fā)明技術方案的范圍內(nèi)。
【權利要求】
1.一種視頻通話界面顯示方法，包括: 分別在第一窗口與第二窗口中顯示第一通話方與第二通話方的影像，所述第二窗口疊加于所述第一窗口上； 獲取所述第一窗口中人臉的面積與所述第一窗口面積的比例k ； 若k小于第一閾值Kl則增加所述第二窗口的面積；以及 若k大于第二閾值K2則減小所述第二窗口的面積，所述第二閾值K2大于所述第一閾值K1。
2.如權利要求1所述的視頻通話界面顯示方法，其特征在于，還包括: 比較所述第一窗口的多個頂點與所述人臉的中心點的距離；以及 移動所述第二窗口至所述多個頂點中距離所述人臉中心點較遠的頂點處。
3.如權利要求2所述的視頻通話界面顯示方法，其特征在于，移動所述第二窗口至所述多個頂點中距離所述人臉中心點較遠的頂點處包括: 選取所述多個頂點中距離 所述人臉中心點較遠的多個頂點； 分別判斷選取的多個頂點處是否為畫面靜止區(qū)域；以及 若所選取的多個頂點處均非畫面靜止區(qū)域則移動所述第二窗口至距離所述人臉中心點最遠的頂點處。
4.如權利要求3所述的視頻通話界面顯示方法，其特征在于，若具有附近為畫面靜止區(qū)域的頂點，則還包括: 選取附近為畫面靜止區(qū)域的頂點； 分別判斷選取的附近為畫面靜止區(qū)域的頂點處是否為空白區(qū)域；以及若選取的附近為畫面靜止區(qū)域的頂點均非畫面空白區(qū)域則移動所述第二窗口至畫面靜止指數(shù)最高的頂點處。
5.如權利要求4所述的視頻通話界面顯示方法，其特征在于，若具有附近為畫面空白區(qū)域的頂點，則還包括: 移動所述第二窗口至畫面空白指數(shù)最高的頂點處。
6.一種視頻通話界面顯示裝置，包括: 顯示模塊，用于分別在第一窗口與第二窗口中顯示第一通話方與第二通話方的影像，所述第二窗口疊加于所述第一窗口上； 人臉比例獲取模塊，用于獲取所述第一窗口中人臉的面積與所述第一窗口面積的比例k ;以及 面積調(diào)整模塊，用于若k小于第一閾值Kl則增加所述第二窗口的面積；以及若k大于第二閾值K2則減小所述第二窗口的面積，所述第二閾值K2大于所述第一閾值Kl。
7.如權利要求6所述的視頻通話界面顯示裝置，其特征在于，還包括:距離比較模塊，用于比較所述第一窗口的多個頂點與所述人臉的中心點的距離；以及 窗口移動模塊，用于移動所述第二窗口至所述多個頂點中距離所述人臉中心點較遠的頂點處。
8.如權利要求7所述的視頻通話界面顯示裝置，其特征在于，所述窗口移動模塊包括: 第一選取單元，用于選取所述多個頂點中距離所述人臉中心點較遠的多個頂點； 第一判斷單元，用于分別判斷選取的多個頂點處是否為畫面靜止區(qū)域；以及窗口移動單元，用于若所選取的多個頂點處均非畫面靜止區(qū)域則移動所述第二窗口至距離所述人臉中心點最遠的頂點處。
9.如權利要求8所述的視頻通話界面顯示裝置，其特征在于，所述窗口移動模塊還包括: 第二選取單元，用于若具有附近為畫面靜止區(qū)域的頂點則選取附近為畫面靜止區(qū)域的頂點； 第二判斷單元，用于分別判斷選取的附近為畫面靜止區(qū)域的頂點處是否為空白區(qū)域；所述窗口移動單元還用于若選取的附近為畫面靜止區(qū)域的頂點均非畫面空白區(qū)域則調(diào)用所述窗口移動模塊移動所述第二窗口至畫面靜止指數(shù)最高的頂點處。
10.如權利要求9所述的視頻通話界面顯示裝置，其特征在于，所述窗口移動單元還用于:若具有附近為畫面 空白區(qū)域的頂點，則移動所述第二窗口至畫面空白指數(shù)最高的頂點處。
【文檔編號】H04N7/14GK103780864SQ201210397362
【公開日】2014年5月7日 申請日期:2012年10月18日 優(yōu)先權日:2012年10月18日
【發(fā)明者】陳俊標, 韋民, 朱貴堂 申請人:騰訊科技（深圳）有限公司