基于云的數(shù)據(jù)處理的制作方法
【專利摘要】基于云的數(shù)據(jù)處理。在數(shù)據(jù)獲取設(shè)備處捕獲輸入數(shù)據(jù)。所述輸入數(shù)據(jù)被流送到通過網(wǎng)絡(luò)連接通信地耦合到所述數(shù)據(jù)獲取設(shè)備的云服務(wù)器，其中所述流送所述輸入數(shù)據(jù)的至少一部分與所述捕獲所述輸入數(shù)據(jù)并發(fā)地發(fā)生，并且其中所述云服務(wù)器被配置用于在所述輸入數(shù)據(jù)上執(zhí)行數(shù)據(jù)處理以生成處理的數(shù)據(jù)。所述數(shù)據(jù)獲取設(shè)備接收所述處理的數(shù)據(jù)，其中所述接收所述處理的數(shù)據(jù)的至少一部分與所述流送所述輸入數(shù)據(jù)并發(fā)地發(fā)生。
【專利說明】基于云的數(shù)據(jù)處理

【背景技術(shù)】
[0001]移動設(shè)備(諸如，智能電話或平板)公眾正變得越來越能夠買到。移動設(shè)備包括眾多的計算功能性，諸如，電子郵件讀取器、環(huán)球網(wǎng)瀏覽器和媒體播放器。然而，部分由于維持小的形狀的因素的期望，典型的智能電話仍具有比較大的計算機(jī)系統(tǒng)(諸如，桌面計算機(jī)或膝上計算機(jī))低的處理能力。

【專利附圖】

【附圖說明】
[0002]在本說明書中被引入并且形成其一部分的附圖圖示并且用于結(jié)合描述解釋實施例的原理。除非明確指出，本描述中參考的圖應(yīng)被理解為未按比例繪制。
[0003]圖1示出了本發(fā)明的實施例可以在其上被實現(xiàn)的示例系統(tǒng)。
[0004]圖2示出了依據(jù)本發(fā)明的實施例的獲取數(shù)據(jù)的設(shè)備的示例。
[0005]圖3是依據(jù)本發(fā)明的一個實施例的所使用的示例系統(tǒng)的框圖。
[0006]圖4A是依據(jù)本發(fā)明的實施例的用于基于云的數(shù)據(jù)處理的示例流程圖。
[0007]圖4B是依據(jù)本發(fā)明的實施例的用于基于云的數(shù)據(jù)處理的示例時間表。
[0008]圖5是依據(jù)本發(fā)明的實施例的用于渲染三維對象的示例流程圖。

【具體實施方式】
[0009]現(xiàn)在將詳細(xì)參考其示例在附圖中被圖示的各種實施例。盡管主題將被結(jié)合這些實施例來描述，但將被理解的是:它們不旨在把所述主題限制到這些實施例。此外，在接下來的描述中，眾多的特定細(xì)節(jié)被闡述以提供對主題的透徹理解。在其它實例中，眾所周知的方法、過程、對象和電路未被詳細(xì)地描述，以不使所述主題的方面不必要地模糊。
[0010]符號和術(shù)語
接下來的實施例的描述的一些部分就對在計算機(jī)存儲器內(nèi)的數(shù)據(jù)位操作的過程、邏輯塊、處理和其它符號表示被給出。這些描述和表示是由數(shù)據(jù)處理領(lǐng)域的技術(shù)人員用來把其工作的主旨有效地傳送到本領(lǐng)域的其他技術(shù)人員的方法。在本申請中，步驟、邏輯塊、過程等被構(gòu)想為導(dǎo)致期望結(jié)果的步驟或指令的前后一致的序列。所述步驟是需要物理量的物理操縱的步驟。通常，盡管不是必需的，這些量采用能夠在計算機(jī)系統(tǒng)中被存儲、轉(zhuǎn)移、組合、比較并且以其它方式操縱的電或磁信號的形式。
[0011]然而，應(yīng)記住的是:這些和相似術(shù)語的全部將與適合的物理量相關(guān)聯(lián)，并且僅為被應(yīng)用到這些量的方便標(biāo)簽。除非特別聲明，否則如從接下來的討論中明顯的，認(rèn)識到貫穿本討論，術(shù)語(諸如，“捕獲”、“流送”、“接收”、“執(zhí)行”、“提取”、“協(xié)調(diào)”、“存儲”等)指的是計算機(jī)系統(tǒng)或相似的電子計算設(shè)備的動作和過程，其把被表示為計算機(jī)系統(tǒng)的寄存器內(nèi)的物理(電子)量的數(shù)據(jù)操縱并轉(zhuǎn)換成被相似地表示為計算機(jī)系統(tǒng)存儲器或寄存器或其它這種信息存儲、傳送或顯示設(shè)備內(nèi)的物理量的其它數(shù)據(jù)。
[0012]此外，在一些實施例中，在此描述的方法可以由計算機(jī)可用存儲介質(zhì)來實施，所述計算機(jī)可用存儲介質(zhì)其中包含指令，當(dāng)所述指令被執(zhí)行時，促使計算機(jī)系統(tǒng)來執(zhí)行在此描述的方法。
[0013]討論的概述
用于實現(xiàn)基于云的數(shù)據(jù)處理的示例技術(shù)、設(shè)備、系統(tǒng)和方法在此被描述。討論以示例數(shù)據(jù)獲取設(shè)備和基于云的系統(tǒng)架構(gòu)開始。討論以質(zhì)量指示的示例繼續(xù)。其次，示例三維(3D)對象捕獲技術(shù)被描述。討論以示例電子環(huán)境繼續(xù)。最后，使用的兩個示例方法被討論。
[0014]示例數(shù)據(jù)獲取和基于云的系統(tǒng)架構(gòu)
圖1示出了捕獲數(shù)據(jù)并且使那個數(shù)據(jù)流送到云服務(wù)器150的數(shù)據(jù)獲取設(shè)備110。應(yīng)被理解的是:盡管圖1中圖示的示例示出了捕獲深度數(shù)據(jù)的手持?jǐn)?shù)據(jù)獲取設(shè)備110，但數(shù)據(jù)獲取設(shè)備110可以捕獲其它類型的數(shù)據(jù)，該數(shù)據(jù)包括(但不限于):圖像、音頻、視頻、3D深度圖、速率、加速度、環(huán)境光、位置/定位、運動、力、電磁波、光、振動、輻射等。此外，數(shù)據(jù)獲取設(shè)備110可以是任何類型的電子設(shè)備，該電子設(shè)備包括(但不限于):智能電話、個人數(shù)字助理、全光相機(jī)、平板計算機(jī)、膝上計算機(jī)、數(shù)字視頻記錄器等。
[0015]在捕獲輸入數(shù)據(jù)之后，數(shù)據(jù)獲取設(shè)備110把輸入數(shù)據(jù)通過網(wǎng)絡(luò)120流送到云服務(wù)器150。典型地，被配置用于與云計算一起使用的應(yīng)用是基于事務(wù)的。例如，處理一組數(shù)據(jù)的請求被發(fā)送到云。在到云的數(shù)據(jù)上載被完成之后，處理在所有的數(shù)據(jù)上被執(zhí)行。當(dāng)所有數(shù)據(jù)的處理完成時，由處理操作生成的所有數(shù)據(jù)被向回發(fā)送。典型地，在基于事務(wù)的方法中，事務(wù)中的步驟順序地發(fā)生，這導(dǎo)致每個事務(wù)的開始和結(jié)束之間的大的時間延遲，從而使支持具有云服務(wù)的實時交互應(yīng)用是有挑戰(zhàn)性的。圖1圖示了被配置用于連續(xù)實況流送應(yīng)用的設(shè)備，其中，對云服務(wù)器150的往返來回延遲具有低的等待時間，并且與捕獲和處理數(shù)據(jù)并發(fā)地發(fā)生。例如，相比于基于事務(wù)的云計算，在一個實施例中，數(shù)據(jù)獲取設(shè)備110并發(fā)地捕獲數(shù)據(jù)，把所述數(shù)據(jù)流送到云服務(wù)器150以用于處理，并且接收處理的數(shù)據(jù)。在一個示例中，深度數(shù)據(jù)被捕獲并且流送到云服務(wù)器150。在一個實施例中，云服務(wù)器150向數(shù)據(jù)獲取設(shè)備110提供反饋，以使用戶130能夠捕獲較高質(zhì)量的數(shù)據(jù)，或更快捕獲數(shù)據(jù)，或更快完成期望的任務(wù)。
[0016]在一個實施例中，數(shù)據(jù)獲取設(shè)備110把輸入數(shù)據(jù)發(fā)送到云服務(wù)器150，該云服務(wù)器150在輸入數(shù)據(jù)上執(zhí)行各種操作。例如，云服務(wù)器150可操作來確定什么類型的輸入被接收、在數(shù)據(jù)上執(zhí)行密集的計算、并且把處理的數(shù)據(jù)向回發(fā)送到數(shù)據(jù)獲取設(shè)備110。
[0017]圖1圖示了正被發(fā)送到云服務(wù)器150的輸入數(shù)據(jù)的連續(xù)流。隨著云服務(wù)器150在輸入數(shù)據(jù)上執(zhí)行操作并且把數(shù)據(jù)向回發(fā)送到數(shù)據(jù)獲取設(shè)備110，數(shù)據(jù)獲取設(shè)備110連續(xù)地捕獲數(shù)據(jù)并把數(shù)據(jù)發(fā)送到云服務(wù)器150。在一個實施例中，在數(shù)據(jù)獲取設(shè)備110捕獲數(shù)據(jù)、把數(shù)據(jù)發(fā)送到云服務(wù)器150、處理數(shù)據(jù)、并且把數(shù)據(jù)從云服務(wù)器150向回發(fā)送到數(shù)據(jù)獲取設(shè)備110被同時地執(zhí)行。例如，這些操作可以同時地全部開始和停止，然而，這些操作不需要同時地開始和停止。在一些實施例中，數(shù)據(jù)獲取設(shè)備110可以在把數(shù)據(jù)發(fā)送到云服務(wù)器150之前開始獲取數(shù)據(jù)。在一些實施例中，在數(shù)據(jù)獲取設(shè)備110已完成捕獲數(shù)據(jù)之后，云服務(wù)器150可以在數(shù)據(jù)上執(zhí)行操作和/或把數(shù)據(jù)發(fā)送到數(shù)據(jù)獲取設(shè)備110。盡管在此描述的操作可以同時開始和停止，但它們也可以重疊。例如，在云服務(wù)器150停止使處理的數(shù)據(jù)流送到數(shù)據(jù)獲取設(shè)備110之前，數(shù)據(jù)獲取設(shè)備110可以停止把數(shù)據(jù)流送到云服務(wù)器150。此外，在一些示例中，數(shù)據(jù)獲取設(shè)備110可以捕獲數(shù)據(jù)，并且然后把所捕獲的數(shù)據(jù)流送到云服務(wù)器150，而同時繼續(xù)捕獲新數(shù)據(jù)。
[0018]除了在云服務(wù)器150上處理數(shù)據(jù)之外，數(shù)據(jù)獲取設(shè)備110可以在把輸入數(shù)據(jù)流送之前自身執(zhí)行一部分?jǐn)?shù)據(jù)處理。例如，數(shù)據(jù)獲取設(shè)備110可以在數(shù)據(jù)被發(fā)送到云服務(wù)器150之前在深度和/或圖像數(shù)據(jù)上執(zhí)行去噪聲操作，而不是把原始數(shù)據(jù)發(fā)送到云服務(wù)器150。在一個示例中，深度質(zhì)量在數(shù)據(jù)獲取設(shè)備110上被計算并且流送到云服務(wù)器150。在一個實施例中，數(shù)據(jù)獲取設(shè)備110可以(例如，經(jīng)由元數(shù)據(jù))向用戶130指示高質(zhì)量的圖像是否在把數(shù)據(jù)流送到云服務(wù)器150之前被捕獲了。在另一個實施例中，數(shù)據(jù)獲取設(shè)備110可以在把部分或完整的特征發(fā)送到云服務(wù)器150之前執(zhí)行部分或完整的特征提取。
[0019]在一個實施例中，針對特定的操作，數(shù)據(jù)獲取設(shè)備110可以不捕獲足夠的數(shù)據(jù)。在那種情形下，數(shù)據(jù)獲取設(shè)備110捕獲附加的輸入數(shù)據(jù)，并且把所述附加的數(shù)據(jù)流送到云服務(wù)器150，使得云服務(wù)器150重新處理初始的輸入數(shù)據(jù)連同附加的輸入數(shù)據(jù)，以生成較高質(zhì)量的重新處理的數(shù)據(jù)。在重新處理所述數(shù)據(jù)之后，云服務(wù)器150使重新處理的數(shù)據(jù)向回流送到數(shù)據(jù)獲取設(shè)備110。
[0020]示例質(zhì)量指示系統(tǒng)
圖2示出了示例數(shù)據(jù)獲取設(shè)備110，在一個實施例中，所述數(shù)據(jù)獲取設(shè)備110給用戶130提供可以包括處理數(shù)據(jù)的質(zhì)量指示符的元數(shù)據(jù)。在一個實施例中，當(dāng)數(shù)據(jù)獲取設(shè)備110從云服務(wù)器150接收處理的數(shù)據(jù)時，數(shù)據(jù)獲取設(shè)備110向用戶130指示處理數(shù)據(jù)的質(zhì)量以及云服務(wù)器150是否可以使用附加的數(shù)據(jù)以增加處理數(shù)據(jù)的質(zhì)量。例如，當(dāng)數(shù)據(jù)獲取設(shè)備110正在捕獲數(shù)據(jù)并且同時發(fā)送和接收數(shù)據(jù)時，用戶接口可以顯示其中附加輸入數(shù)據(jù)可以被捕獲以增加處理數(shù)據(jù)的質(zhì)量的區(qū)域。例如，當(dāng)捕獲三維(3D)模型時，用戶接口可以給用戶130示出:哪里的捕獲數(shù)據(jù)具有高質(zhì)量，以及哪里的捕獲數(shù)據(jù)具有低質(zhì)量，因此需要附加的數(shù)據(jù)。這個質(zhì)量的指示可以以許多方式被顯示。在一些實施例中，不同的色彩可以被用于示出高質(zhì)量的區(qū)域220和低質(zhì)量的區(qū)域210 (例如，綠色用于高質(zhì)量，并且紅色用于低質(zhì)量)。當(dāng)數(shù)據(jù)獲取設(shè)備110被配置用于捕獲音頻、速率、加速度等時，相似的指示符可以被使用。
[0021]例如，在各種實施例中，云服務(wù)器150可以識別需要附加數(shù)據(jù)、識別所需的附加數(shù)據(jù)位于哪里、并且以引導(dǎo)用戶130來收集附加的信息的容易理解的方式向用戶130傳送需要附加數(shù)據(jù)并且所需的附加數(shù)據(jù)位于哪里。例如，在識別需要更多的數(shù)據(jù)之后，云服務(wù)器150識別哪里需要更多的數(shù)據(jù)，并且然后經(jīng)由數(shù)據(jù)獲取設(shè)備110把這個信息發(fā)送到用戶130。
[0022]例如，仍參考圖2，數(shù)據(jù)獲取設(shè)備110可能已捕獲具有關(guān)于捕獲的數(shù)據(jù)是否具有足夠的質(zhì)量的高等級的確定性的區(qū)域220，而數(shù)據(jù)獲取設(shè)備110捕獲具有低度確定性的區(qū)域210。在聞質(zhì)量的區(qū)域220中，數(shù)據(jù)獲取設(shè)備110指不其已捕獲具有特定等級的確定性或質(zhì)量的輸入數(shù)據(jù)。在一個實施例中，數(shù)據(jù)獲取設(shè)備I1將把高質(zhì)量區(qū)域220漸變?yōu)榫G色，并且把低質(zhì)量區(qū)域210漸變?yōu)榧t色。例如，如果體素表示被用于視覺化三維點，每個體素被依據(jù)所述體素包含的三維點的最大不確定性著色。這允許用戶130遞增地構(gòu)建3D模型，其由從云服務(wù)器150接收的反饋引導(dǎo)。換言之，用戶130將知道附加輸入數(shù)據(jù)應(yīng)(或在一些情形下必須)被收集以用于低質(zhì)量區(qū)域210，以捕獲可靠的輸入數(shù)據(jù)。應(yīng)指出的是:高和低質(zhì)量的漸變區(qū)域僅為數(shù)據(jù)獲取設(shè)備110如何使用元數(shù)據(jù)以提供質(zhì)量指示符的示例。在其它實施例中，低質(zhì)量區(qū)域210可以被高亮、環(huán)繞、或具有覆蓋低質(zhì)量區(qū)域210以指示低質(zhì)量的符號。在一個示例中，相似的技術(shù)被用于指示高質(zhì)量區(qū)域220的質(zhì)量。
[0023]作為示例，為了收集附加輸入數(shù)據(jù)，用戶130可以行走到對象140的相對側(cè)以收集較高質(zhì)量的輸入數(shù)據(jù)用于低質(zhì)量區(qū)域210。當(dāng)用戶正在行走時，數(shù)據(jù)獲取設(shè)備可以正給用戶示出具有每個部分處的質(zhì)量等級的指示的捕獲的3D模型的當(dāng)前狀態(tài)，以及用戶當(dāng)前正捕獲模型的哪個部分。在一個實施例中，用戶130可以向數(shù)據(jù)獲取設(shè)備110指示他正捕獲附加的數(shù)據(jù)以增加針對低質(zhì)量區(qū)域210的數(shù)據(jù)的質(zhì)量。作為一些示例，用戶130可以告知數(shù)據(jù)獲取設(shè)備110他正以通過在靠近低質(zhì)量區(qū)域210的顯示屏幕上敲擊、在具有光標(biāo)的低質(zhì)量區(qū)域210上點擊、或通過語音命令來捕獲附加的數(shù)據(jù)從而補充低質(zhì)量的區(qū)域210。在一個實施例中，數(shù)據(jù)獲取設(shè)備110把由用戶130做出的指示中繼到云服務(wù)器150。
[0024]在一個實施例中，云服務(wù)器150把反饋數(shù)據(jù)流送到除數(shù)據(jù)獲取設(shè)備110之外的設(shè)備。例如，云服務(wù)器150可以把數(shù)據(jù)流送到處于遠(yuǎn)程位置的顯示器。如果數(shù)據(jù)獲取設(shè)備110正在具有低可見度的區(qū)域(其中用戶130不能看見或聽到質(zhì)量指示符)中捕獲數(shù)據(jù)，則第三方可以接收反饋信息并且把所述信息中繼到用戶130。例如，如果用戶130正在水下(或在濃霧中)捕獲數(shù)據(jù)，則第三方可以向用戶130傳送什么區(qū)域需要附加的輸入數(shù)據(jù)。在一個實施例中，云服務(wù)器150把數(shù)據(jù)流送到數(shù)據(jù)獲取設(shè)備110和至少一個遠(yuǎn)程位置處二者，在所述遠(yuǎn)程位置處，第三方可以查看數(shù)據(jù)正被使用除數(shù)據(jù)獲取設(shè)備110之外的設(shè)備捕獲。正被捕獲的數(shù)據(jù)的質(zhì)量還可以在除數(shù)據(jù)獲取設(shè)備110之外的設(shè)備上被示出。在一個實施例中，GPS信息可以被用于告知用戶130向哪里移動以捕獲更可靠的數(shù)據(jù)。GPS信息可以被結(jié)合云服務(wù)器150使用。
[0025]如以上所討論的，由數(shù)據(jù)獲取設(shè)備110捕獲的輸入數(shù)據(jù)未必是深度或圖像數(shù)據(jù)。應(yīng)被理解的是:如在此所使用的，特性與部件、模塊和/或設(shè)備同義。數(shù)據(jù)獲取設(shè)備110可以包括特性，該特性包括(但不限于)視頻相機(jī)、麥克風(fēng)、加速度計、氣壓計、3D深度相機(jī)、激光掃描儀、蓋革(Geiger)計數(shù)器、流體分析儀、全球定位系統(tǒng)、全球?qū)Ш叫l(wèi)星系統(tǒng)接收器、芯片上實驗室設(shè)備等。此外，在一個實施例中，由數(shù)據(jù)獲取設(shè)備110捕獲的數(shù)據(jù)量可以依賴于數(shù)據(jù)獲取設(shè)備HO的特性，該特性包括(但不限于):電池功率、帶寬、計算功率、存儲器等。在一個實施例中，數(shù)據(jù)獲取設(shè)備110部分地基于數(shù)據(jù)獲取設(shè)備110的特性在把數(shù)據(jù)流送到云服務(wù)器150之前判定有多少處理要執(zhí)行。例如，如果可用帶寬小，則施加到捕獲數(shù)據(jù)的壓縮量可以被增加。
[0026]在一個實施例中，至少第二數(shù)據(jù)獲取設(shè)備110可以捕獲流送到云服務(wù)器150的數(shù)據(jù)。在一個實施例中，在把組合、處理的數(shù)據(jù)流送到(一個或多個)數(shù)據(jù)獲取設(shè)備110之前，云服務(wù)器150組合來自多個數(shù)據(jù)獲取設(shè)備110的數(shù)據(jù)。在一個實施例中，云服務(wù)器150自動識別多個數(shù)據(jù)獲取設(shè)備110正捕獲相同的對象140。數(shù)據(jù)獲取設(shè)備110可以間隔5米、間隔10米、或間隔大約I英里。數(shù)據(jù)獲取設(shè)備110可以捕獲許多類型的對象140，該對象140包括(但不限于):叢林金屬架(jungle gym)、小山或山脈、建筑物的內(nèi)部、商業(yè)建筑部件、航天部件等。應(yīng)被理解的是:這是數(shù)據(jù)獲取設(shè)備110可以捕獲的對象140的示例的非常短的列表。如在此所討論的，在一個示例中，通過使用移動設(shè)備創(chuàng)建三維渲染，資源通過不需要用戶130把對象140帶入到實驗室中而被節(jié)約，因為用戶130可以把由數(shù)據(jù)獲取設(shè)備110捕獲的對象140的三維模型簡單地轉(zhuǎn)發(fā)到遠(yuǎn)程位置以在計算機(jī)上保存，或采用三維打印機(jī)打印。
[0027]示例三維對象捕獲技術(shù)
仍然參考圖2，數(shù)據(jù)獲取設(shè)備110可以被用于對象140的三維捕獲。在一個實施例中，數(shù)據(jù)獲取設(shè)備可以僅捕獲數(shù)據(jù)，而所述處理中的一些或全部在云服務(wù)器150中被執(zhí)行。在一個實施例中，數(shù)據(jù)獲取設(shè)備110捕獲圖像/視頻數(shù)據(jù)和深度數(shù)據(jù)。在一個示例中，數(shù)據(jù)獲取設(shè)備110唯獨捕獲深度數(shù)據(jù)。采用數(shù)據(jù)獲取設(shè)備110捕獲三維圖像是非常有益的，因為許多當(dāng)前三維圖像捕獲設(shè)備是不方便的并且很少是手持的。例如，在捕獲三維對象140之后，用戶130可以把渲染發(fā)送到其家里或其它位置處的三維打印機(jī)。相似地，用戶130可以把文件發(fā)送到遠(yuǎn)程計算機(jī)，從而保存為例如計算機(jī)輔助設(shè)計文件。
[0028]數(shù)據(jù)獲取設(shè)備110可以使用模數(shù)轉(zhuǎn)換器來產(chǎn)生原始、數(shù)字?jǐn)?shù)據(jù)流。在一個實施例中，數(shù)據(jù)獲取設(shè)備110使用合成的視頻。此外，色彩空間轉(zhuǎn)換器可以由數(shù)據(jù)獲取設(shè)備110或云服務(wù)器150使用來生成與特定色彩空間標(biāo)準(zhǔn)一致的數(shù)據(jù)，所述色彩空間標(biāo)準(zhǔn)包括(但不限于)紅色、綠色、藍(lán)色色彩模型(RGB)以及色彩空間的亮度、色度:藍(lán)色、色度:紅色族(YCbCr)0
[0029]除捕獲視頻之外，在一個實施例中，數(shù)據(jù)獲取設(shè)備110捕獲深度數(shù)據(jù)。最主要的深度感測技術(shù)包括:結(jié)構(gòu)光、每像素飛行時間、以及重復(fù)最靠近點(ICP)。在這些技術(shù)的一些中的一些實施例中，處理的很多或全部可以在數(shù)據(jù)獲取設(shè)備110被執(zhí)行。在其它實施例中，這些技術(shù)的一些中的部分可以在云服務(wù)器150被執(zhí)行。仍在其它實施例中，這些技術(shù)的一些可以在云服務(wù)器150被完整執(zhí)行。
[0030]在一個實施例中，數(shù)據(jù)獲取設(shè)備110可以把結(jié)構(gòu)光技術(shù)用于感測深度。結(jié)構(gòu)光(如由PrimeSense?在Kinect?中所使用的)通過采用紅外(IR)光投影固定式樣的斑點而捕獲深度圖。紅外相機(jī)捕獲采用點式樣照明的場景，并且深度可以基于位移量被估計。在一些實施例中，這個估計可以在云服務(wù)器150上被執(zhí)行。因為PrimeSense?傳感器需要光源和相機(jī)之間的基線距離，所以具有對象140需要相對于數(shù)據(jù)獲取設(shè)備110的最小距離。在結(jié)構(gòu)光深度感測中，當(dāng)場景點距離增加時，通過三角測量來測量距離的深度傳感器變得較不精確并且更易受噪聲影響。每像素飛行時間傳感器不使用三角測量，但替代地依賴于測量返回光的強度。
[0031]在另一個實施例中，數(shù)據(jù)獲取設(shè)備110使用每像素飛行時間深度傳感器。每像素飛行時間深度傳感器也使用紅外光源、但替代使用空間光式樣，它們發(fā)送出臨時的調(diào)制IR光，并且測量返回光信號的相移。Canesta?和MESA?傳感器使用定制的C0MS/CXD傳感器，而3DV ZCam?使用具有基于砷化鎵的快門的傳統(tǒng)圖像傳感器。因為IR光源可以被與IR相機(jī)靠近地放置，所以這些飛行時間傳感器能夠測量較短的距離。
[0032]在另一個實施例中，數(shù)據(jù)獲取設(shè)備110使用重復(fù)最靠近點技術(shù)。因為ICP是計算密集的，在一個實施例中它在云服務(wù)器150上被執(zhí)行。ICP還部分地對準(zhǔn)重疊的3D點。通常令人期望的是:拼合在一起，或?qū)R從多個不同位置捕獲的深度數(shù)據(jù)。例如，為了測量立方體的所有側(cè)面，從前面和后面捕獲的至少兩個深度圖是必需的。在每個步驟，ICP技術(shù)發(fā)現(xiàn)一對3D點云之間的對應(yīng)性，并且計算最佳對準(zhǔn)所述點云的嚴(yán)格的變換。
[0033]在一個實施例中，立體視頻相機(jī)可以被用于捕獲數(shù)據(jù)。圖像和立體匹配技術(shù)(諸如，平面掃掠)可以被用于基于在視頻幀對之間發(fā)現(xiàn)反差強(dense)的對應(yīng)性而恢復(fù)3D深度。因為立體匹配是計算密集的，所以在一個實施例中其在云服務(wù)器150上被執(zhí)行。
[0034]原始深度數(shù)據(jù)捕獲的質(zhì)量受因素的影響，該因素包括(但不限于):到捕獲主題的傳感器距離、傳感器運動、以及紅外信號強度。
[0035]傳感器和場景之間的相對運動可以使深度測量退化。在結(jié)構(gòu)光傳感器的情形下，光斑點的觀察可能變得模糊，使檢測困難并且還使定位精度較差。在飛行時間傳感器的情形下，運動破壞了如下假設(shè):每個像素正測量單個場景點距離。
[0036]除光隨著距離而衰退之外，場景的不同部分可以反射傳感器需要捕獲的變化量的光。如果對象140吸收并且不反射光，對于結(jié)構(gòu)光傳感器而言觀測所述光斑點變得有挑戰(zhàn)性。對于飛行時間傳感器，減小的強度降低了傳感器的精度。
[0037]如以上所討論的，因為一些實施例是計算密集的，所以數(shù)據(jù)獲取設(shè)備110可以包括圖形處理單元(GPU)以在把輸入數(shù)據(jù)流送到云服務(wù)器150之前執(zhí)行一些操作，從而減少計算時間。在一個實施例中，數(shù)據(jù)獲取設(shè)備110在把輸入數(shù)據(jù)流送到云服務(wù)器150之前從輸入數(shù)據(jù)和/或數(shù)據(jù)圖像提取深度信息。在一個示例中，圖像數(shù)據(jù)和深度數(shù)據(jù)二者被流送到云服務(wù)器150。應(yīng)被理解的是:數(shù)據(jù)獲取設(shè)備110可以包括其它處理單元，該其它處理單元包括(但不限于):視覺處理單元和中央處理單元。
[0038]示例電子環(huán)境
現(xiàn)在參考圖3，在此描述的一些實施例中的全部或部分包括計算機(jī)可讀和計算機(jī)可執(zhí)行指令，該指令例如駐留在數(shù)據(jù)獲取設(shè)備110的計算機(jī)可用/計算機(jī)可讀存儲介質(zhì)中。即，圖3圖示了可以被依據(jù)在此討論的各種實施例使用的或被用于實現(xiàn)在此所討論的各種實施例的一種類型的數(shù)據(jù)獲取設(shè)備110的一個示例。應(yīng)該理解:數(shù)據(jù)獲取設(shè)備110(如圖3中所示的)僅為示例，并且在此描述的實施例可以結(jié)合多個不同計算機(jī)系統(tǒng)進(jìn)行操作，所述計算機(jī)系統(tǒng)包括(但不限于):通用目的聯(lián)網(wǎng)計算機(jī)系統(tǒng)、嵌入式計算機(jī)系統(tǒng)、路由器、交換機(jī)、服務(wù)器設(shè)備、客戶端設(shè)備、各種中間設(shè)備/節(jié)點、獨立計算機(jī)系統(tǒng)、媒體中心、手持計算機(jī)系統(tǒng)、多媒體設(shè)備等。數(shù)據(jù)獲取設(shè)備110非常適合于具有外圍有形計算機(jī)可讀存儲介質(zhì)302，諸如像，軟盤、壓縮盤、數(shù)字多功能盤、基于其它盤的存儲器、通用串行總線“拇指”驅(qū)動器、可移動存儲器卡、以及耦合到其的類似物。有形計算機(jī)可讀存儲介質(zhì)本質(zhì)上是非臨時性的。
[0039]在一個實施例中，數(shù)據(jù)獲取設(shè)備110包括用于傳送信息的地址/數(shù)據(jù)總線304，以及與總線304耦合以用于處理信息和指令的處理器306A。如在圖3中所描繪的，數(shù)據(jù)獲取設(shè)備110還非常適合于多處理器環(huán)境,其中存在多個處理器306A、306B和306C。相反地,數(shù)據(jù)獲取設(shè)備110還非常適合于具有單個處理器，諸如像處理器306A。處理器306A、306B和306C可以是各種類型微處理器中的任一。數(shù)據(jù)獲取設(shè)備110還可以包括數(shù)據(jù)存儲功件，諸如，計算機(jī)可用易失性存儲器308(例如，隨機(jī)訪問存儲器(RAM))，其被與總線304耦合以用于為處理器306A、306B和306C存儲信息和指令。數(shù)據(jù)獲取設(shè)備110還包括計算機(jī)可用非易失性存儲器310(例如，只讀存儲器(R0M))，其被與總線304耦合以用于為處理器306A、306B和306C存儲靜態(tài)信息和指令。數(shù)據(jù)獲取設(shè)備110中還存在數(shù)據(jù)存儲單元312 (例如，磁性或光學(xué)盤和盤驅(qū)動器)，其被與總線304耦合以用于存儲信息和指令。數(shù)據(jù)獲取設(shè)備110還可以包括字母數(shù)字輸入設(shè)備314，其包括字母數(shù)字和功能鍵，與總線304耦合以用于把信息和命令選擇傳送到處理器306A或處理器306A、306B和306C。數(shù)據(jù)獲取設(shè)備110還可以包括光標(biāo)控制設(shè)備316，其被與總線304耦合以用于把用戶130輸入信息和命令選擇傳送到處理器306A或處理器306A、306B和306C。在一個實施例中，數(shù)據(jù)獲取設(shè)備110還可以包括顯不器設(shè)備318,其被與總線304稱合以用于顯不信息。
[0040]仍參考圖3，在一個實施例中，圖3的顯示器設(shè)備可以是液晶設(shè)備、發(fā)光二極管設(shè)備、陰極射線管、等離子顯示器設(shè)備或適合于創(chuàng)建對于用戶130可識別的圖形圖像和字母數(shù)字字符的其它顯示器設(shè)備。在一個實施例中，光標(biāo)控制設(shè)備316允許用戶130在顯示器設(shè)備318的顯示器屏幕上動態(tài)以信號通知可見符號(光標(biāo))的運動，并且指示顯示器設(shè)備318上顯示的可選擇項目的用戶130選擇。光標(biāo)控制服務(wù)316的許多實現(xiàn)方式在本領(lǐng)域中是已知的，包括跟蹤球、鼠標(biāo)、接觸盤、能夠以信號通知位移的給定方向或方式的運動的字母數(shù)字輸入設(shè)備314上的特殊鍵或操縱桿?？商娲?，將認(rèn)識到光標(biāo)可以經(jīng)由來自使用特殊鍵和鍵順序命令的數(shù)字字母輸入設(shè)備314的輸入被指引和/或激活。數(shù)據(jù)獲取設(shè)備110還非常適合于具有由其它方法(諸如像，語音命令)指引的光標(biāo)。數(shù)據(jù)獲取設(shè)備110還包括用于把數(shù)據(jù)獲取設(shè)備110與外部實體(諸如，云服務(wù)器150)耦合的傳送器/接收器320。例如，在一個實施例中，傳送器/接收器320是用于實現(xiàn)數(shù)據(jù)獲取設(shè)備110與網(wǎng)絡(luò)120和/或云服務(wù)器150之間的無線通信的無線卡或芯片。如在此所討論的，數(shù)據(jù)獲取設(shè)備110可以包括其它輸入/輸出設(shè)備(在圖3中未不出)。例如，在一個實施例中，數(shù)據(jù)獲取設(shè)備包括麥克風(fēng)。在一個實施例中，數(shù)據(jù)獲取設(shè)備110包括用于捕獲深度數(shù)據(jù)和/或圖像數(shù)據(jù)的深度/圖像捕獲設(shè)備330。
[0041]仍參考圖3，各種其它部件被針對數(shù)據(jù)獲取設(shè)備110描繪。特別地，當(dāng)存在時，操作系統(tǒng)322、應(yīng)用324、模塊326、和數(shù)據(jù)328被示出為典型地駐留在計算機(jī)可用易失性存儲器308 (例如，RAM)、計算機(jī)可用非易失性存儲器310 (例如，ROM)、和數(shù)據(jù)存儲單元312的一個或某種組合中。在一些實施例中，在此描述的各種實施例的全部或部分例如被存儲為RAM308內(nèi)的存儲器位置中的應(yīng)用324和/或模塊326、數(shù)據(jù)存儲單元312內(nèi)的計算機(jī)可讀存儲介質(zhì)、外圍計算機(jī)可讀存儲介質(zhì)302和/或其它有形計算機(jī)可讀存儲介質(zhì)。
[0042]使用的示例方法
接下來的討論詳細(xì)闡述了實施例操作的一些示例方法的操作。圖4A圖示了由各種實施例使用的示例過程。流程圖400包括一些過程，在各種實施例中，所述過程由圖1、圖2、圖3中圖示的電子設(shè)備中的一個或多個(或受計算機(jī)可讀和計算機(jī)可執(zhí)行指令控制的處理器)執(zhí)行。在各種實施例中，以這種方式，在此并且結(jié)合流程圖400描述的過程被(或可以被)使用計算機(jī)實現(xiàn)。計算機(jī)可讀和計算機(jī)可執(zhí)行指令可以駐留在任何有形的計算機(jī)可讀存儲介質(zhì)中(諸如像，在數(shù)據(jù)存儲功件(諸如，RAM 308、ROM 310、和/或存儲設(shè)備312 (圖3的全部)中)。駐留在有形計算機(jī)可讀存儲介質(zhì)上的計算機(jī)可讀和計算機(jī)可執(zhí)行指令被用于結(jié)合例如處理器306A、或其它相似的(一個或多個)處理器306B和306C的一個或某種組合進(jìn)行控制或操作。盡管特定的過程在流程圖400中被公開，但這種過程是示例。S卩，實施例非常適合于執(zhí)行流程圖400中記載的過程的變化或各種其它過程。同樣地，在一些實施例中，流程圖400中的過程可以被以與所呈現(xiàn)的不同的次序執(zhí)行，和/或不是所有的在一個或多個這些流程圖中描述的過程可以被執(zhí)行，和/或一個或多個附加的操作可以被添加。進(jìn)一步認(rèn)識到的是:在流程圖400中描述的過程可以被以硬件、硬件與固件和軟件中的任一或二者的組合實現(xiàn)。
[0043]圖4A是基于云的服務(wù)器中的處理數(shù)據(jù)的示例方法的流程圖400。
[0044]圖4B是表明了圖4A中所描述的各種過程可以在其被執(zhí)行的時間的示例時間表。像流程圖400 —樣，圖4B是示例。即，實施例非常適合于執(zhí)行在圖4A和4B中所示過程的變化或各種其它過程。同樣地，在一些實施例中，時間表4B中的過程可以被以與所呈現(xiàn)的不同的次序執(zhí)行，和/或不是所有描述的過程可以被執(zhí)行，和/或附加的過程可以被添加。注意的是:在一些實施例中，給定貫穿本公開的所描述的連續(xù)實況流送的實施例的性質(zhì)的情形下，在此描述的過程可以與彼此重疊。作為示例，數(shù)據(jù)獲取設(shè)備110可以正在線411處獲取初始輸入數(shù)據(jù)，同時并發(fā)地:(I)在線441處把數(shù)據(jù)流送到云服務(wù)器150 ; (2)在線461處從所述云服務(wù)器接收數(shù)據(jù)；(3)在線481處指示處理的數(shù)據(jù)的至少一部分需要附加輸入；以及(4)在線421處捕獲附加輸入數(shù)據(jù)。
[0045]在操作410中，數(shù)據(jù)獲取設(shè)備110捕獲輸入數(shù)據(jù)。在一個示例中，數(shù)據(jù)獲取設(shè)備110被配置用于捕獲深度數(shù)據(jù)。在另一個示例中，數(shù)據(jù)獲取設(shè)備110被配置用于捕獲圖像和深度數(shù)據(jù)。在一些實施例中，數(shù)據(jù)獲取設(shè)備110被配置用于捕獲其它類型的輸入數(shù)據(jù)，該輸入數(shù)據(jù)包括(但不限于):聲音、光、運動、振動等。在一些實施例中，操作410在任何其它操作之前被執(zhí)行(如作為示例由圖4B的線411所示的)。
[0046]在操作420中，在一個實施例中，數(shù)據(jù)獲取設(shè)備110捕獲附加的輸入數(shù)據(jù)。如果云服務(wù)器150或數(shù)據(jù)獲取設(shè)備110指示所捕獲的數(shù)據(jù)是不可靠的、不確定的，或指示需要更多的數(shù)據(jù)，則數(shù)據(jù)獲取設(shè)備110可以被用于捕獲附加的數(shù)據(jù)來創(chuàng)建更可靠的數(shù)據(jù)。例如，在捕獲三維對象140的情形下，數(shù)據(jù)獲取設(shè)備110可以連續(xù)捕獲數(shù)據(jù)，并且當(dāng)用戶130被通知所捕獲數(shù)據(jù)的部分不是足夠可靠的時，用戶130可以把數(shù)據(jù)獲取設(shè)備110移動靠近低質(zhì)量區(qū)域210。在一些實施例中，操作420在數(shù)據(jù)獲取設(shè)備110向用戶130指示在操作480中需要附加輸入數(shù)據(jù)之后被執(zhí)行(如作為示例由圖4B的線421所示的)。
[0047]在操作430中，在一個實施例中，數(shù)據(jù)獲取設(shè)備110在數(shù)據(jù)獲取設(shè)備110處在輸入數(shù)據(jù)上執(zhí)行數(shù)據(jù)處理的一部分。在一個實施例中，數(shù)據(jù)獲取設(shè)備110執(zhí)行數(shù)據(jù)處理的一部分，而不是把原始輸入數(shù)據(jù)發(fā)送到云服務(wù)器150。例如，數(shù)據(jù)獲取設(shè)備110可以在數(shù)據(jù)被發(fā)送到云服務(wù)器150之前渲染聲音、深度信息或圖像。在一個實施例中，在數(shù)據(jù)獲取設(shè)備110處執(zhí)行的處理量至少部分地基于數(shù)據(jù)獲取設(shè)備110的特性，該特性包括(但不限于):數(shù)據(jù)獲取設(shè)備110是否具有集成的圖形處理單元、可用的帶寬量、數(shù)據(jù)獲取設(shè)備110的類型處理功率、電池功率等。在一些實施例中，每當(dāng)數(shù)據(jù)獲取設(shè)備110獲取數(shù)據(jù)時(例如，操作410和/或420)，操作430被執(zhí)行(如作為示例由圖4B的線431A和431B所示的)。在其它實施例中，每當(dāng)數(shù)據(jù)被獲取時，操作430不被執(zhí)行。
[0048]在操作440中，數(shù)據(jù)獲取設(shè)備110把輸入數(shù)據(jù)通過網(wǎng)絡(luò)120流送到云服務(wù)器150。如以上所討論的，數(shù)據(jù)流送到云服務(wù)器150的至少一部分與捕獲輸入數(shù)據(jù)并發(fā)地發(fā)生、并且與云服務(wù)器150在輸入數(shù)據(jù)上執(zhí)行數(shù)據(jù)處理以生成處理的數(shù)據(jù)并發(fā)地發(fā)生。不像事務(wù)服務(wù)，數(shù)據(jù)獲取設(shè)備110連續(xù)地把數(shù)據(jù)流送到云服務(wù)器150，并且云服務(wù)器150在數(shù)據(jù)上連續(xù)地執(zhí)行操作，并且把數(shù)據(jù)連續(xù)地向回發(fā)送到數(shù)據(jù)獲取設(shè)備110。盡管所有這些操作不需要并發(fā)地發(fā)生，但至少一部分這些操作并發(fā)地發(fā)生。在沒有足夠的數(shù)據(jù)初始被捕獲的情形下，附加的數(shù)據(jù)可以被流送到云服務(wù)器150。在一些實施例中，在操作410中數(shù)據(jù)獲取設(shè)備110獲取初始輸入數(shù)據(jù)之后，操作440被執(zhí)行(如作為示例由圖4B的線441所示的)。
[0049]在操作450中，在一個實施例中，數(shù)據(jù)獲取設(shè)備110把附加輸入數(shù)據(jù)流送到云服務(wù)器150以便云服務(wù)器150結(jié)合附加輸入數(shù)據(jù)重新處理所述輸入數(shù)據(jù)，以生成重新處理的數(shù)據(jù)。在一些實例中，由數(shù)據(jù)獲取設(shè)備I1捕獲的數(shù)據(jù)可能是不可靠的，或云服務(wù)器150可以指示關(guān)于所述輸入數(shù)據(jù)的可靠性是不確定的。因此，數(shù)據(jù)獲取設(shè)備110連續(xù)地捕獲數(shù)據(jù)(如果云服務(wù)器150指示需要附加的數(shù)據(jù)，則包括附加的數(shù)據(jù))，使得云服務(wù)器150可以重新處理原始輸入數(shù)據(jù)與附加數(shù)據(jù)，以產(chǎn)生可靠的重新處理的數(shù)據(jù)。在三維渲染的情形下，云服務(wù)器150將合并原始捕獲的數(shù)據(jù)與附加數(shù)據(jù)，從而產(chǎn)生更清楚、更確定和可靠的三維對象140的渲染。在一些實施例中，在操作420中數(shù)據(jù)獲取設(shè)備110獲取附加輸入數(shù)據(jù)之后，操作450被執(zhí)行(如作為示例由圖4B的線451所示的)。
[0050]在操作460中，數(shù)據(jù)獲取設(shè)備110從云服務(wù)器150接收處理的數(shù)據(jù)，其中處理的數(shù)據(jù)的至少一部分由數(shù)據(jù)獲取設(shè)備I1與輸入數(shù)據(jù)正被流送到云服務(wù)器150并發(fā)地接收。除了數(shù)據(jù)獲取設(shè)備110連續(xù)捕獲數(shù)據(jù)以及云服務(wù)器150連續(xù)處理數(shù)據(jù)之外，數(shù)據(jù)獲取設(shè)備110將接收從云服務(wù)器150流送的處理的數(shù)據(jù)。這種方式，捕獲數(shù)據(jù)的用戶130將知道什么數(shù)據(jù)是高質(zhì)量的，并且用戶130知道在不停止捕獲數(shù)據(jù)的情形下，云服務(wù)器150是否需要更多的數(shù)據(jù)。這個過程是交互的，因為與用戶130捕獲數(shù)據(jù)并發(fā)地，處理的數(shù)據(jù)的接收向用戶130指示哪里或什么需要更多的數(shù)據(jù)。在一些實施例中，在操作440中初始輸入數(shù)據(jù)被流送到云服務(wù)器150之后，操作460被執(zhí)行(如作為示例由圖4B的線461所示的)。
[0051]在操作470中，在一個實施例中，數(shù)據(jù)獲取設(shè)備110接收重新處理的數(shù)據(jù)。當(dāng)附加數(shù)據(jù)被捕獲并由云服務(wù)器150重新處理時，重新處理的數(shù)據(jù)被向回發(fā)送到數(shù)據(jù)獲取設(shè)備110。在一些實施例中，數(shù)據(jù)獲取設(shè)備110可以指示甚至更多的附加數(shù)據(jù)被需要，在這種情形下，該過程再次開始，并且附加數(shù)據(jù)被捕獲，被流送到云服務(wù)器150，被處理，并且向回發(fā)送到數(shù)據(jù)獲取設(shè)備110。在一些實施例中，如在操作450中一樣附加輸入數(shù)據(jù)被流送到云服務(wù)器150之后，操作470被執(zhí)行(如作為示例由圖4B的線471所示的)。
[0052]在操作480中，在一個實施例中，數(shù)據(jù)獲取設(shè)備110接收元數(shù)據(jù)(例如，質(zhì)量指示符)，其指示處理的數(shù)據(jù)的至少一部分需要附加輸入數(shù)據(jù)。在具有圖形用戶接口的一些實施例中，質(zhì)量指示符可以在顯示器上表現(xiàn)為色彩覆蓋，或高亮低質(zhì)量區(qū)域210的某種其它形式。當(dāng)數(shù)據(jù)獲取設(shè)備110捕獲附加數(shù)據(jù)來固定低質(zhì)量區(qū)域210時，重新處理在云服務(wù)器150處被連續(xù)地執(zhí)行，并且重新處理的數(shù)據(jù)連續(xù)地被流送到數(shù)據(jù)獲取設(shè)備110。應(yīng)注意的是:不是所有的數(shù)據(jù)獲取設(shè)備110包括圖形用戶接口。在一些實施例中，聲音、振動或其它技術(shù)可以被使用以指示低質(zhì)量區(qū)域210。在一些實施例中，在數(shù)據(jù)被從云服務(wù)器150接收的任何時間，操作480被執(zhí)行。例如，這可以發(fā)生在操作460或470之后(如由圖4B中的線481A和481B所示的)。
[0053]在操作490中，在一個實施例中，數(shù)據(jù)獲取設(shè)備110指示是否需要更多的輸入數(shù)據(jù)。如果需要更多的輸入數(shù)據(jù)，用戶130可以收集更多的輸入數(shù)據(jù)。例如，如果用戶130正嘗試執(zhí)行對象140的三維捕獲并且數(shù)據(jù)獲取設(shè)備110指示需要更多的輸入數(shù)據(jù)來執(zhí)行三維渲染，用戶130可能不得不移動更靠近對象140以捕獲附加輸入數(shù)據(jù)。
[0054]在操作495中，在一個實施例中，數(shù)據(jù)獲取設(shè)備110指示數(shù)據(jù)獲取設(shè)備110已捕獲充足量的數(shù)據(jù)和/或不需要附加的數(shù)據(jù)。在一個實施例中，數(shù)據(jù)獲取設(shè)備110將自動停止捕獲數(shù)據(jù)。在另一個實施例中，數(shù)據(jù)獲取設(shè)備110必須被手動關(guān)閉。
[0055]使用的示例方法圖5圖示了由各種實施例使用的示例過程。流程圖500包括一些過程，在各種實施例中，所述過程由圖1、圖2、圖3中圖示的一個或多個電子設(shè)備執(zhí)行，或由受計算機(jī)可讀和計算機(jī)可執(zhí)行指令控制的處理器執(zhí)行。在各種實施例中，以這種方式，在此并且結(jié)合流程圖500描述的過程被(或可以被)使用計算機(jī)實現(xiàn)。計算機(jī)可讀和計算機(jī)可執(zhí)行指令可以駐留在任何有形計算機(jī)可讀存儲介質(zhì)中，諸如像在數(shù)據(jù)存儲功件(諸如，RAM 308、ROM 310和/或存儲設(shè)備312 (圖3的全部))中。計算機(jī)可讀和計算機(jī)可執(zhí)行指令(其駐留在有形的計算機(jī)可讀存儲介質(zhì)上)被用于例如結(jié)合處理器306A或其它相似的(一個或多個)處理器306B和306C的一個或某種組合而進(jìn)行控制或操作。盡管特定的過程在流程圖500中被公開，但這種過程是示例。即，實施例非常適合于執(zhí)行流程圖500中記載的各種其它過程或過程的變化。同樣地，在一些實施例中，流程圖500中的過程可以被以與所呈現(xiàn)的不同的次序執(zhí)行，和/或不是所有的在這些流程圖中的一個或多個中所描述的過程可以被執(zhí)行，和/或一個或多個附加操作可以被添加。進(jìn)一步認(rèn)識到的是:流程圖500中所描述的過程可以被以硬件、或硬件與固件和軟件中的任一或二者的組合來實現(xiàn)。
[0056]圖5是用于渲染三維對象的方法的流程圖。
[0057]在操作510中，數(shù)據(jù)獲取設(shè)備110捕獲輸入數(shù)據(jù)，其中所述輸入數(shù)據(jù)表示對象140并且包括深度信息。在一些實施例中，輸入數(shù)據(jù)可以包括圖像數(shù)據(jù)和與所述圖像數(shù)據(jù)相關(guān)聯(lián)的深度信息。在一個示例中，在數(shù)據(jù)獲取設(shè)備110捕獲深度和/或圖像信息時，用戶130可以圍繞對象140移動。采用所述深度信息，三維渲染可以被創(chuàng)建。
[0058]在操作520中，在一個實施例中，數(shù)據(jù)獲取設(shè)備110至少部分地基于由數(shù)據(jù)獲取設(shè)備110接收的元數(shù)據(jù)而捕獲附加輸入數(shù)據(jù)。元數(shù)據(jù)可以包括質(zhì)量指示符，其標(biāo)識受益于較高質(zhì)量輸入數(shù)據(jù)的區(qū)域。如在此所討論的，元數(shù)據(jù)可以作為重疊的色彩、符號或其它指示符在數(shù)據(jù)獲取設(shè)備110上的顯示器上(或在第三方顯示器上)被示出，以指示附加輸入信息將被捕獲。
[0059]在操作530中，在一個實施例中，數(shù)據(jù)獲取設(shè)備110從輸入數(shù)據(jù)提取深度信息。在一個示例中，在把數(shù)據(jù)流送到云服務(wù)器150之前，圖像數(shù)據(jù)、深度數(shù)據(jù)、以及任何其它類型的數(shù)據(jù)由數(shù)據(jù)獲取設(shè)備110分離。在其它實施例中，原始輸入數(shù)據(jù)被流送到云服務(wù)器150。
[0060]在操作540中，數(shù)據(jù)獲取設(shè)備110把輸入數(shù)據(jù)通過網(wǎng)絡(luò)120流送到云服務(wù)器150，其中云服務(wù)器150被配置用于基于深度信息和/或圖像數(shù)據(jù)執(zhí)行對象140的三維重建，并且其中流送輸入數(shù)據(jù)的至少一部分與捕獲輸入數(shù)據(jù)并發(fā)地發(fā)生。如以上所討論的，數(shù)據(jù)流送到云服務(wù)器150的至少一部分與捕獲輸入數(shù)據(jù)并發(fā)地發(fā)生，并且與云服務(wù)器150在所述輸入數(shù)據(jù)上執(zhí)行數(shù)據(jù)處理以生成處理的數(shù)據(jù)并發(fā)地發(fā)生。不像事務(wù)服務(wù)，數(shù)據(jù)獲取設(shè)備110把數(shù)據(jù)連續(xù)地流送到云服務(wù)器150，并且云服務(wù)器150在所述數(shù)據(jù)上連續(xù)地執(zhí)行操作并且把數(shù)據(jù)連續(xù)地向回發(fā)送到數(shù)據(jù)獲取設(shè)備110。盡管所有這些操作不需要并發(fā)地發(fā)生，但這些操作中的至少一部分并發(fā)地發(fā)生。
[0061]在操作550中，數(shù)據(jù)獲取設(shè)備110接收對象140的三維視覺化，其中對象140的三維視覺化的接收的至少一部分與流送輸入數(shù)據(jù)并發(fā)地發(fā)生。除了數(shù)據(jù)獲取設(shè)備110連續(xù)捕獲數(shù)據(jù)并且云服務(wù)器150連續(xù)處理數(shù)據(jù)之外，數(shù)據(jù)獲取設(shè)備110將接收從云服務(wù)器150流送的處理的數(shù)據(jù)。在一個實施例中，具有元數(shù)據(jù)的作為結(jié)果的三維模型向回流送到數(shù)據(jù)獲取設(shè)備110。這種方式，捕獲數(shù)據(jù)的用戶130將知道什么數(shù)據(jù)是高質(zhì)量的，并且知道在不停止捕獲數(shù)據(jù)的情形下，對象140的什么區(qū)域需要更多的數(shù)據(jù)。這個過程是交互的，因為當(dāng)用戶130正捕獲數(shù)據(jù)時，處理的數(shù)據(jù)的接收向用戶130指示哪里或什么需要更多的數(shù)據(jù)。在一個示例中，對象140的三維視覺化包括對象140和元數(shù)據(jù)的三維模型。
[0062]在操作560中，在一個實施例中，數(shù)據(jù)獲取設(shè)備110接收元數(shù)據(jù)(例如,質(zhì)量指示符)，其指示對象140的三維視覺化的至少一部分需要附加數(shù)據(jù)。在具有圖形用戶接口的一些實施例中，質(zhì)量指示符可以在顯示器上表現(xiàn)為色彩覆蓋、或高亮低質(zhì)量區(qū)域210的某種其它形式。當(dāng)數(shù)據(jù)獲取設(shè)備110捕獲附加數(shù)據(jù)以改進(jìn)低質(zhì)量區(qū)域210時，重新處理在云服務(wù)器150處被連續(xù)地執(zhí)行，并且重新處理的數(shù)據(jù)被連續(xù)地發(fā)送到數(shù)據(jù)獲取設(shè)備110。
[0063]在操作590中，在一個實施例中，數(shù)據(jù)獲取設(shè)備110指示是否需要更多的輸入數(shù)據(jù)。如果需要更多的輸入數(shù)據(jù)，則用戶130被指示來采用數(shù)據(jù)獲取設(shè)備110捕獲更多的數(shù)據(jù)。例如，如果用戶130正試圖捕獲對象140的三維表示并且數(shù)據(jù)獲取設(shè)備110指示需要更多的輸入數(shù)據(jù)，則用戶130可能需要從另一個角度捕獲數(shù)據(jù)，或移動更靠近對象140以捕獲附加的輸入數(shù)據(jù)。在一個示例中，用戶130可能不被指引去捕獲更多的數(shù)據(jù)。在一個示例中，用戶130觀看從云服務(wù)器150接收的表示，并且捕獲附加數(shù)據(jù)。
[0064]在操作595中，在一個實施例中，數(shù)據(jù)獲取設(shè)備110指示足量的數(shù)據(jù)已被捕獲以執(zhí)行對象140的三維視覺化。在一個實施例中，數(shù)據(jù)獲取設(shè)備110將自動停止捕獲數(shù)據(jù)。在另一個實施例中，數(shù)據(jù)獲取設(shè)備110必須被手動關(guān)閉。
[0065]本技術(shù)的實施例被如此描述。盡管本技術(shù)已在特定的實施例中被描述，但應(yīng)被認(rèn)識到的是:本技術(shù)不應(yīng)被解釋為由這種實施例限制，而是被依據(jù)接下來的權(quán)利要求解釋。
【權(quán)利要求】
1.一種用于基于云的數(shù)據(jù)處理的方法，所述方法包括: 在數(shù)據(jù)獲取設(shè)備處捕獲輸入數(shù)據(jù)； 把所述輸入數(shù)據(jù)流送到通過網(wǎng)絡(luò)連接通信地耦合到所述數(shù)據(jù)獲取設(shè)備的云服務(wù)器，其中所述流送所述輸入數(shù)據(jù)的至少一部分與所述捕獲所述輸入數(shù)據(jù)并發(fā)地發(fā)生，并且其中所述云服務(wù)器被配置用于在所述輸入數(shù)據(jù)上執(zhí)行數(shù)據(jù)處理以生成處理的數(shù)據(jù)。
2.如權(quán)利要求1所述的方法，進(jìn)一步包括: 在所述數(shù)據(jù)獲取設(shè)備處接收所述處理的數(shù)據(jù)，其中所述接收所述處理的數(shù)據(jù)的至少一部分與所述流送所述輸入數(shù)據(jù)并發(fā)地發(fā)生。
3.如權(quán)利要求1所述的方法，進(jìn)一步包括: 在所述流送所述輸入數(shù)據(jù)之前在所述數(shù)據(jù)獲取設(shè)備處在所述輸入數(shù)據(jù)上執(zhí)行所述數(shù)據(jù)處理的一部分。
4.如權(quán)利要求1所述的方法，進(jìn)一步包括: 捕獲附加輸入數(shù)據(jù)；以及 把所述附加輸入數(shù)據(jù)流送到所述云服務(wù)器，以便所述云服務(wù)器重新處理所述輸入數(shù)據(jù)與所述附加輸入數(shù)據(jù)，從而生成重新處理的數(shù)據(jù)；以及 在所述數(shù)據(jù)獲取設(shè)備處接收所述重新處理的數(shù)據(jù)。
5.如權(quán)利要求1所述的方法，進(jìn)一步包括: 在所述數(shù)據(jù)獲取設(shè)備處接收元數(shù)據(jù)，所述元數(shù)據(jù)指示所述處理數(shù)據(jù)的至少一部分需要附加的輸入數(shù)據(jù)。
6.如權(quán)利要求4所述的方法，其中所述元數(shù)據(jù)引導(dǎo)用戶來捕獲附加數(shù)據(jù)。
7.如權(quán)利要求1所述的方法，其中所述處理的數(shù)據(jù)基于由所述數(shù)據(jù)獲取設(shè)備流送到所述云服務(wù)器的所述輸入數(shù)據(jù)以及由另一個數(shù)據(jù)獲取設(shè)備流送到所述云服務(wù)器的附加輸入數(shù)據(jù)。
8.一種其中包含指令的計算機(jī)可用存儲介質(zhì)，當(dāng)所述指令被執(zhí)行時，促使計算機(jī)系統(tǒng)執(zhí)行用于渲染三維對象的方法，所述方法包括: 在數(shù)據(jù)獲取設(shè)備處捕獲輸入數(shù)據(jù)，所述輸入數(shù)據(jù)表示對象并且包括深度信息； 把所述輸入數(shù)據(jù)流送到通過網(wǎng)絡(luò)連接通信地耦合到所述數(shù)據(jù)獲取設(shè)備的云服務(wù)器，其中所述云服務(wù)器被配置用于基于所述深度信息執(zhí)行所述對象的三維重建，并且其中所述流送所述輸入數(shù)據(jù)的至少一部分與在所述數(shù)據(jù)獲取設(shè)備處所述捕獲所述輸入數(shù)據(jù)并發(fā)地發(fā)生；以及 在所述數(shù)據(jù)獲取設(shè)備處接收所述對象的三維表示，其中所述接收所述對象的所述三維表示的至少一部分與所述流送所述輸入數(shù)據(jù)并發(fā)地發(fā)生。
9.如權(quán)利要求8所述的計算機(jī)可用存儲介質(zhì)，其中所述方法進(jìn)一步包括: 從所述輸入數(shù)據(jù)提取所述深度信息，其中所述提取在所述流送所述輸入數(shù)據(jù)之前被執(zhí)行；以及 把所述深度信息流送到所述云服務(wù)器。
10.如權(quán)利要求8所述的計算機(jī)可用存儲介質(zhì)，其中所述捕獲所述輸入數(shù)據(jù)、所述流送所述輸入數(shù)據(jù)、以及所述接收所述對象的所述三維表示并發(fā)地發(fā)生，使得當(dāng)所述輸入數(shù)據(jù)被流送到所述云服務(wù)器時，所述對象的所述三維表示的質(zhì)量增加。
11.如權(quán)利要求8所述的計算機(jī)可用存儲介質(zhì)，其中所述方法進(jìn)一步包括: 接收元數(shù)據(jù)，所述元數(shù)據(jù)指示所述對象的所述三維表示的至少一部分需要附加輸入數(shù)據(jù)。
12.如權(quán)利要求11所述的計算機(jī)可用存儲介質(zhì)，其中所述方法進(jìn)一步包括: 至少部分地基于所述元數(shù)據(jù)捕獲附加輸入數(shù)據(jù)。
13.—種設(shè)備,包括: 用于捕獲輸入數(shù)據(jù)的光學(xué)捕獲部件，所述輸入數(shù)據(jù)表示對象并且包括深度信息；傳送器，用于把所述輸入數(shù)據(jù)流送到通過網(wǎng)絡(luò)連接通信地耦合到所述設(shè)備的云服務(wù)器，其中所述云服務(wù)器被配置用于基于所述輸入數(shù)據(jù)和所述深度信息執(zhí)行所述對象的三維重建，并且其中所述流送所述輸入數(shù)據(jù)的至少一部分與所述捕獲所述數(shù)據(jù)并發(fā)地發(fā)生；以及 接收器，用于在所述設(shè)備處接收所述對象的三維表示，其中所述接收所述對象的所述三維表示的至少一部分與所述流送所述輸入數(shù)據(jù)并發(fā)地發(fā)生； 存儲器，用于存儲所述輸入數(shù)據(jù)和所述三維表示； 處理器，用于協(xié)調(diào)所述捕獲所述輸入數(shù)據(jù)、所述流送所述輸入數(shù)據(jù)、以及所述接收所述三維表示；以及 顯示器，用于接收元數(shù)據(jù)，所述元數(shù)據(jù)指示所述對象的所述三維表示的至少一部分需要附加的輸入數(shù)據(jù)。
14.如權(quán)利要求13所述的設(shè)備，其中所述存儲器被配置成執(zhí)行深度圖像提取，所述深度圖像提取然后被上載到所述云服務(wù)器。
15.如權(quán)利要求13所述的設(shè)備，其中所述處理器執(zhí)行所述三維重建的一部分。
【文檔編號】G06T15/00GK104205083SQ201280071645
【公開日】2014年12月10日 申請日期:2012年3月22日 優(yōu)先權(quán)日:2012年3月22日
【發(fā)明者】K-H.譚, J.阿波斯托羅普洛斯 申請人:惠普發(fā)展公司，有限責(zé)任合伙企業(yè)