來自多模式傳感器的混合媒體的制作方法
【專利說明】來自多模式傳感器的混合媒體
[0001]相關(guān)申請的交叉引用
[0002]本申請涉及并要求2013年3月15日提交的美國申請?zhí)枮?3/837,443的優(yōu)先權(quán)，在此通過引用將其全部內(nèi)容并入本文。
【背景技術(shù)】
[0003]現(xiàn)代技術(shù)允許應(yīng)用各種各樣的方法和技術(shù)在兩個裝置之間進(jìn)行通信?？梢酝ㄟ^網(wǎng)絡(luò)進(jìn)行通信。這些通信會受限于技術(shù)，在通信中混合不同媒體時，會使得用戶不能發(fā)送期望類型的消息且不能獲得期望的靈活性。

【發(fā)明內(nèi)容】

[0004]公開了用于進(jìn)行來自多模式傳感器的混合媒體通信的方法和系統(tǒng)。在與第一通信裝置關(guān)聯(lián)的第一圖像獲取裝置處獲得第一數(shù)據(jù)。在與第一通信裝置關(guān)聯(lián)的第二圖像獲取裝置處獲得第二數(shù)據(jù)。將第一數(shù)據(jù)和第二數(shù)據(jù)同時發(fā)送到第二通信裝置，以在第二通信裝置的顯示器上同時顯示。
【附圖說明】
[0005]圖1示出了根據(jù)本技術(shù)的實(shí)施例的用于進(jìn)行來自多模式傳感器的混合媒體通信的示例裝置的框圖。
[0006]圖2示出了根據(jù)本技術(shù)的實(shí)施例的用于進(jìn)行來自多模式傳感器的混合媒體通信的示例裝置的框圖。
[0007]圖3A示出了根據(jù)本技術(shù)的實(shí)施例的用于進(jìn)行來自多模式傳感器的混合媒體通信的示例環(huán)境的框圖。
[0008]圖3B示出了根據(jù)本技術(shù)的實(shí)施例的用于進(jìn)行來自多模式傳感器的混合媒體通信的示例裝置的框圖。
[0009]圖4示出了根據(jù)本技術(shù)的實(shí)施例的用于進(jìn)行來自多模式傳感器的混合媒體通信的示例方法的流程圖。
[0010]圖5示出了根據(jù)本技術(shù)的實(shí)施例的用于進(jìn)行來自多模式傳感器的混合媒體通信的示例方法的流程圖。
[0011]除非明確指出，否則本描述所涉及的附圖應(yīng)被理解為并非按比例繪制。
【具體實(shí)施方式】
[0012]現(xiàn)在詳細(xì)介紹本技術(shù)的實(shí)施例，即附圖中所展示的示例。雖然結(jié)合不同實(shí)施例描述本技術(shù)，但是應(yīng)該明白其并不旨在將本技術(shù)限制為這些實(shí)施例。相反，本技術(shù)旨在涵蓋包含在由所附權(quán)利要求所限定的各種實(shí)施例的精神和范圍內(nèi)的替代、變型以及等同物。
[0013]而且，下面在對實(shí)施例的描述中，提出大量特定細(xì)節(jié)的目的在于提供對本技術(shù)的充分理解。然而，本技術(shù)可以不用這些特定細(xì)節(jié)來實(shí)現(xiàn)。在其他實(shí)例中，為了不必要地模糊本實(shí)施例的各個方面，沒有對眾所周知的方法、過程、組件以及電路進(jìn)行詳細(xì)地描述。
[0014]除非特別聲明，否則根據(jù)下面的描述是顯而易見的，應(yīng)該意識到對實(shí)施例的整個當(dāng)前描述中，使用諸如“獲取”、“接收”、“發(fā)送”、“創(chuàng)建”、“過濾”、“交換”、“通信”、“顯示”等術(shù)語的論述是指計算機(jī)系統(tǒng)或類似電子計算機(jī)裝置的行為和過程。計算機(jī)系統(tǒng)或類似電子計算裝置(例如，電話、智能電話或手持移動終端)對在計算機(jī)系統(tǒng)的寄存器和內(nèi)存中以物理(電子)量進(jìn)行表示的數(shù)據(jù)進(jìn)行操作并將其轉(zhuǎn)換為同樣在計算機(jī)系統(tǒng)的寄存器或內(nèi)存或其他類型的信息存儲器、傳輸器或顯示裝置內(nèi)的以物理(電子)量進(jìn)行表示的其他數(shù)據(jù)。本技術(shù)的實(shí)施例還較好地適用于其他計算機(jī)系統(tǒng)(例如，光學(xué)和機(jī)械計算機(jī))。
[0015]來自多模式傳感器的混合媒體通信概覽
[0016]本技術(shù)的實(shí)施例針對的是來自多模式傳感器的混合媒體通信?？梢栽趦蓚€裝置，例如，蜂窩電話、智能電話、計算機(jī)、膝上型電腦、手持電子裝置等，之間執(zhí)行通信。裝置能夠獲取或生成圖像、視頻、音頻、文本、動畫以及其他效果，或其組合，并能夠顯示或播放圖像、視頻、音頻、文本、動畫以及其他效果?？梢詫D像、視頻、音頻、文本、動畫以及其他效果的組合描述為混合媒體。這些裝置具有多模式傳感器，例如圖像獲取裝置、照相機(jī)、麥克風(fēng)、光傳感器等。在一個實(shí)施例中，通過網(wǎng)絡(luò)進(jìn)行通信，例如通過蜂窩網(wǎng)絡(luò)、WiFi網(wǎng)絡(luò)或其他用于通信的網(wǎng)絡(luò)。
[0017]通信使用了裝置可用的媒體的組合。在一個實(shí)施例中，通信是一種混合媒體通信，其包括圖像以及視頻和音頻流。視頻和音頻流可以與圖像相關(guān)或與圖像不相關(guān)。例如，裝置的用戶可以利用與裝置關(guān)聯(lián)的第一照相機(jī)獲取對象的圖片并利用與該裝置關(guān)聯(lián)的第二照相機(jī)和麥克風(fēng)獲取視頻和音頻流。將圖像與視頻和音頻流同時從生成混合媒體的裝置發(fā)送給第二裝置。第二裝置具有能夠同時顯示圖像和視頻流的顯示器以及用于播放音頻的揚(yáng)聲器。一旦接收到這些內(nèi)容，第二裝置的顯示器就可以自動顯示圖像和視頻流。
[0018]在一個實(shí)施例中，生成混合媒體的裝置還顯示該圖像和音頻流，使得用戶能夠看到他們正在發(fā)送的內(nèi)容。在一個實(shí)施例中，圖像與視頻流相關(guān)。例如，用戶可以用裝置獲取圖像然后用該裝置獲取用戶對該圖像進(jìn)行描述的特征視頻。在一個實(shí)施例中，獲取視頻和音頻流并將其實(shí)時傳輸給第二裝置。在一個實(shí)施例中，將視頻和/或音頻流傳輸給第二裝置，并在傳輸(streaming)過程中，用戶用第二照相機(jī)進(jìn)行拍攝和成像，并在傳輸過程中將圖像發(fā)送給第二裝置。這種過程可以重復(fù)多次，使得第二照相機(jī)在第一照相機(jī)的視頻傳輸過程中獲取多個圖像并在第一照相機(jī)的傳輸過程中將這多個圖像發(fā)送給第二裝置。
[0019]在一個實(shí)施例中，混合媒體內(nèi)容還可以同時發(fā)送給多個其他裝置。在一個實(shí)施例中，混合媒體內(nèi)容包括兩個視頻流，一個來自于第一裝置的第一照相機(jī)，一個來自于第一裝置的第二照相機(jī)并具有對應(yīng)的音頻流。
[0020]第二裝置可以基本與第一裝置相同，也可以不同。第一裝置在通信發(fā)送之前還可以能夠?qū)ζ渚庉嫛⑦^濾或修改。例如，可以通過向用戶提供選項的用戶界面對視頻部分進(jìn)行編輯、修改、改變、縮減、效果增強(qiáng)等。也可以對獲取的圖像進(jìn)行動畫設(shè)計、剪輯、過濾、效果增強(qiáng)、文本添加等。裝置還向用戶提供如何在另一個裝置上顯示混合媒體通信的選項。例如，裝置向用戶提供視頻是否以前景顯示而圖像以背景顯示或者相反、是否并列顯示圖像和視頻或是否使用畫中畫技術(shù)顯示圖像或視頻的選項。
[0021]用于進(jìn)行來自多模式傳感器的混合媒體通信的方法和系統(tǒng)
[0022]圖1描述了裝置100的一個實(shí)施例。裝置100被配置為創(chuàng)建、發(fā)送、接收和/或顯示來自多模式傳感器的混合媒體通信?；旌厦襟w通信可以包括任意數(shù)量的組合媒體，包括音頻部分、圖像部分、視頻部分、文本部分、動畫、效果，包括任意這些內(nèi)容的多個或組合。應(yīng)該意識到，裝置100可以是智能電話、蜂窩電話、桌上型電腦、膝上型電腦、筆記本、上網(wǎng)本、手持裝置、個人數(shù)字助理、電視、或類似能夠通過網(wǎng)絡(luò)參與來自多模式傳感器的混合媒體通信的電子裝置。
[0023]在一個實(shí)施例中，裝置100能夠發(fā)送并接收通信。這種通信可以是混合媒體通信，其由多模式傳感器獲取，該通信用于在用戶間進(jìn)行社交?；旌厦襟w通信的一個示例為一幅圖像以及從第一裝置實(shí)時同時發(fā)送給第二通信裝置的對應(yīng)音頻和視頻流。可以專門構(gòu)建裝置100用于創(chuàng)建、發(fā)送以及接收混合媒體通信，或裝置100可以是一種提供其他功能的裝置。例如，裝置100可以是使用操作系統(tǒng)的智能電話。在一個實(shí)施例中，本技術(shù)可以作為應(yīng)用程序或app應(yīng)用到智能電話上。app可以包括用戶界面并利用裝置的硬件特征獲取內(nèi)容、創(chuàng)建通信、發(fā)送和接收通信、以及顯示或重播通信。也可以將通信描述為消息或消息的發(fā)送。
[0024]為了清楚和簡潔起見，本文的討論將針對裝置100的組件和功能性。然而，圖2的裝置200以及圖3A和圖3B的裝置300以同樣的方式工作并具有與裝置100類似的性能。在一個實(shí)施例中，裝置200和裝置300與裝置100相同并包括如裝置100的相同組件。
[0025]裝置100被描述為包括顯示器110、處理器120、第一圖像獲取裝置150、第二圖像獲取裝置151、麥克風(fēng)152、揚(yáng)聲器154、全球定位系統(tǒng)160、收發(fā)器161和光傳感器162。應(yīng)該意識到，裝置100可以包括或不包括所描述的所有組件。
[0026]顯示器110被配置為用于顯示圖像、圖片、文本、動畫、效果、混合媒體通信、用戶界面等。顯示器110還被配置為顯示由裝置100獲取的圖像或視頻，或顯示由另一裝置獲取并且由裝置100接收的圖像、圖片、視頻或通信。在一個實(shí)施例中，顯示器110是一種觸摸屏并能夠顯示帶有能被用戶按壓或選擇以啟動命令的區(qū)域的用戶界面。
[0027]收發(fā)器161用于發(fā)送和接收與通信相關(guān)的數(shù)據(jù)，例如文本、語音、音頻、視頻、動畫或通信本身。收發(fā)器161可以進(jìn)行操作以通過網(wǎng)絡(luò)向/從另一個裝置發(fā)送/接收通信。例如，網(wǎng)絡(luò)可以是蜂窩網(wǎng)絡(luò)，例如，3G或4G網(wǎng)絡(luò)。在一個實(shí)施例中，網(wǎng)絡(luò)可以是W1-Fi網(wǎng)絡(luò)、藍(lán)牙網(wǎng)絡(luò)、近場通信或其他用于發(fā)送和接收電磁射頻信號的網(wǎng)絡(luò)。在一個實(shí)施例中，網(wǎng)絡(luò)是因特網(wǎng)的一部分或與其通信。通信可以直接從一個裝置發(fā)往另一個裝置或可以通過其他裝置或服務(wù)器路由或中繼。例如，可以采用點(diǎn)對點(diǎn)網(wǎng)絡(luò)、將多個裝置連接在一起的或通過連接信息識別各個裝置的中央服務(wù)器。
[0028]第一圖像獲取裝置150是一種用于獲取裝置100處的圖像、視頻或圖片的圖像獲取裝置，例如數(shù)字照相機(jī)、視頻照相機(jī)或電荷耦合裝置(CCD)。在一個實(shí)施例中，第一圖像獲取裝置150位于裝置100的前面并且其朝向與顯示器110的朝向相同。因此，第一圖像獲取裝置150將能夠獲取正在觀察顯示器110的用戶的圖像或視頻。應(yīng)該意識到，裝置100還可以包括位于裝置100的背面、朝向與第一圖像獲取裝置150相反的方向的其他照相機(jī)(例如第二圖像獲取裝置151)。麥克風(fēng)152用于獲取裝置100處的音頻。揚(yáng)聲器154用于在裝置10