專利名稱：信息處理系統(tǒng)、信息處理方法、和信息處理裝置的制作方法
技術(shù)領(lǐng)域：
本公開涉及使用GPU(圖形處理單元)對圖像執(zhí)行效果(effect)處理的信息處理系統(tǒng)、信息處理方法、和信息處理裝置。
背景技術(shù)：
近些年，通用計算機硬件的增強性能和高功能性使得利用通用計算機硬件來進行以前只能由專用硬件執(zhí)行的圖像處理成為現(xiàn)實。具體地，在通用計算機硬件中，被用作主存儲器的CPU(中央處理單元)和RAM(隨機存取存儲器)顯示出了極高的速度，所以針對大容量圖像數(shù)據(jù)的復雜效果處理可以在經(jīng)濟且令人滿意的時間段內(nèi)執(zhí)行。通過引入被設(shè)計專門用于并行的算術(shù)處理的算術(shù)處理設(shè)備GPU(圖形處理單元)， 圖像處理可以被以更高的速度執(zhí)行。GPU的并行算術(shù)處理是通過這樣的機制來實現(xiàn)的，該機制包括向多個算術(shù)單元發(fā)布相同的指令并利用各算術(shù)單元獨立執(zhí)行相同的指令。相反，在 CPU中，不同的指令被發(fā)布到不同的算術(shù)單元，并且這些算術(shù)單元分別執(zhí)行不同的指令。所以，GPU可以在諸如圖像處理之類的其中部分處理的算術(shù)結(jié)果不會影響整個處理的處理中顯示出了增強的性能。相反，CPU適用于串行處理。另外最近，使得GPU不僅執(zhí)行圖像處理而且被用于其他數(shù)字處理的GPGPU (圖形處理單元上的通用計算)技術(shù)領(lǐng)域被知曉。日本專利申請早期公開No. 2008-226038(第0005段)(下文中稱為專利文獻1) 公開了一種搜索連接到網(wǎng)絡(luò)的裝置并顯示有關(guān)各裝置上的資源信息(有關(guān)規(guī)格和性能的信息)的列表信息的系統(tǒng)。該文獻描述了以下內(nèi)容在該系統(tǒng)中，當基于用戶輸入的搜索條件(檢索協(xié)議、用于搜索的通信系統(tǒng)、搜索范圍等)搜索各裝置上的資源信息時，在GPU執(zhí)行對裝置的搜索結(jié)果的顯示處理的情況下線程數(shù)目被優(yōu)化。通過優(yōu)化線程數(shù)目，可以避免由于生成了多于資源信息的顯示處理所必需的線程而導致的資源過渡消耗，以及相反由于線程太少而不能實現(xiàn)通過分擔顯示處理來改善處理速度的目的。在通過GPU處理圖像數(shù)據(jù)(諸如，效果)的過程中，線程數(shù)目的選擇(線程參數(shù)) 是決定處理速度的一項重要內(nèi)容。然而，最佳線程數(shù)目(線程參數(shù))取決于諸如GPU的規(guī)格、圖像尺寸、以及效果的處理內(nèi)容(諸如效果的種類和抽頭(tap)尺寸之類的效果參數(shù)) 之類的圖像處理條件。在使用計算機的圖像編輯環(huán)境中，用戶可以自由設(shè)置包括要輸出的圖像尺寸、效果處理內(nèi)容等的圖像處理條件。結(jié)果，圖像處理條件的種類數(shù)目變得很大。用戶每次自己查找并設(shè)置圖像處理條件下的最佳線程參數(shù)對于用戶來說是極為低效的。替代地，假設(shè)效果的開發(fā)者先前為圖像處理條件的所有組合確定了最佳線程參數(shù)，那么預計這會花費很多時間和精力(這畢竟是不現(xiàn)實的)。

發(fā)明內(nèi)容
鑒于上述情形，期望提供一種可以能夠根據(jù)圖像處理條件高效獲取最佳線程參數(shù)從而使得全部圖像處理高效的信息處理系統(tǒng)、信息處理方法、和信息處理裝置。
根據(jù)本公開的實施例，提供了一種信息處理系統(tǒng)，包括多個信息處理裝置、數(shù)據(jù)庫、以及連接信息處理裝置和數(shù)據(jù)庫的傳輸線。每個信息處理裝置包括圖形處理單元，其能夠?qū)D像的處理劃分成多個線程，并對圖像執(zhí)行處理；確定部，被配置為搜索圖形處理單元能夠用來在給定的圖像處理條件下以最高速度執(zhí)行處理的線程參數(shù)，并將該線程參數(shù)確定為最佳線程參數(shù)；傳輸部，被配置為建立圖像處理條件和確定部所確定的最佳線程參數(shù)之間的對應(yīng)關(guān)系，并經(jīng)由傳輸線將圖像處理條件和最佳線程參數(shù)累積在數(shù)據(jù)庫中；以及設(shè)置部，被配置為經(jīng)由傳輸線從數(shù)據(jù)庫獲取最佳線程參數(shù)，并將最佳線程參數(shù)設(shè)置到圖形處理單元。根據(jù)本公開，在新近獲取給定的圖像處理條件下的最佳線程參數(shù)的情況下，確定部搜索信息處理裝置中的圖形處理單元能夠用來在該圖像處理條件下以最高速度執(zhí)行處理的線程參數(shù)，并將其確定為最佳線程參數(shù)。另外，圖像處理條件和確定部所確定的最佳線程參數(shù)之間的對應(yīng)關(guān)系被建立，并且圖像處理條件和最佳線程參數(shù)被經(jīng)由傳輸線而傳輸?shù)綌?shù)據(jù)庫以被累積在數(shù)據(jù)庫中。所以，在數(shù)據(jù)庫中存在給定的圖像處理條件下的最佳線程參數(shù)的情況下，信息處理裝置可以經(jīng)由傳輸線從數(shù)據(jù)庫獲取最佳線程參數(shù)，并將其設(shè)置到圖形處理單元。所以，根據(jù)本公開，最佳線程參數(shù)可以在各種圖像處理條件下被有效獲取，并且圖像可以被有效編輯。另外，根據(jù)本公開，一個數(shù)據(jù)庫由多個信息處理裝置共享，從而使得最佳線程參數(shù)被更高效地獲取。圖像處理條件至少包括圖形處理單元的種類、圖像的尺寸、以及圖像的處理內(nèi)容。 所以，當由于更高性能的圖形處理單元的出現(xiàn)使得將來的圖像處理條件增加時，本技術(shù)也可以適用。設(shè)置部可以被配置為將確定部所確定的最佳線程參數(shù)設(shè)置到圖形處理單元。所以，圖像處理可以在新的圖像處理條件下被立即執(zhí)行。確定部可以被配置為在更新設(shè)置到圖形處理單元的線程參數(shù)的同時測量在給定的圖像處理條件下針對每個線程參數(shù)的處理所需要的時間，并將使得處理所需要的時間最短的線程參數(shù)確定為最佳線程參數(shù)。所以，使得處理所需要的時間最短的線程參數(shù)可以被可靠地確定。確定部可以設(shè)置線程參數(shù)的上限，并可以被配置為在不超過所設(shè)置的上限的范圍內(nèi)確定最佳線程參數(shù)。所以，在線程參數(shù)的上限被設(shè)置到圖形處理單元時，本技術(shù)也可以適用。根據(jù)本公開的另一個實施例，提供了一種信息處理方法，包括通過信息處理裝置的確定部將信息處理裝置的確定部能夠用來在給定的圖像處理條件下以最高速度執(zhí)行處理的線程參數(shù)確定為最佳線程參數(shù)；通過信息處理裝置的傳輸部建立圖像處理條件和確定部所確定的最佳線程參數(shù)之間的對應(yīng)關(guān)系，并經(jīng)由網(wǎng)絡(luò)將圖像處理條件和最佳線程參數(shù)傳輸?shù)綌?shù)據(jù)庫，以將圖像處理條件和最佳線程參數(shù)累積在數(shù)據(jù)庫中；以及通過信息處理裝置的設(shè)置部經(jīng)由網(wǎng)絡(luò)從數(shù)據(jù)庫獲取最佳線程參數(shù)，并將最佳線程參數(shù)設(shè)置到圖形處理單元。根據(jù)本公開的另一個實施例，提供了一種信息處理裝置，包括圖形處理單元，其能夠?qū)D像的處理劃分成多個線程，并對圖像執(zhí)行處理；確定部，被配置為將圖形處理單元能夠用來在給定的圖像處理條件下以最高速度執(zhí)行處理的線程參數(shù)確定為最佳線程參數(shù)；傳輸部，被配置為建立圖像處理條件和確定部所確定的最佳線程參數(shù)之間的對應(yīng)關(guān)系，并經(jīng)由傳輸線將圖像處理條件和最佳線程參數(shù)傳輸?shù)綌?shù)據(jù)庫，以將圖像處理條件和最佳線程參數(shù)累積在數(shù)據(jù)庫中；以及設(shè)置部，被配置為經(jīng)由傳輸線從數(shù)據(jù)庫獲取最佳線程參數(shù)，并將最佳線程參數(shù)設(shè)置到圖形處理單元。如上所述，根據(jù)本公開，可以根據(jù)圖像處理條件有效獲取最佳線程參數(shù)，并可以高效執(zhí)行全部圖像處理。通過附圖中所示的以下最佳模式實施例的詳細描述，本公開的其他目的、特征、和優(yōu)點將變得顯而易見。


圖1是示出根據(jù)本公開的實施例的使用計算機的圖像編輯系統(tǒng)的結(jié)構(gòu)的示圖；圖2是示出圖1的編輯裝置的硬件結(jié)構(gòu)的框圖；圖3是示出效果處理的流程的流程圖；圖4是示出圖1的編輯裝置的編輯環(huán)境屏幕的示例的示圖；圖5是示出用于設(shè)置散焦參數(shù)(defocus parameter)的編輯環(huán)境屏幕的示例的示圖；圖6是示出在圖1的編輯裝置中通過利用GPU來將效果應(yīng)用于圖像數(shù)據(jù)的情況下的圖像處理流程的流程圖；圖7是示意性地示出圖1的編輯裝置的圖像處理功能的框圖；圖8是關(guān)于線程參數(shù)定義的概念性示圖；圖9也是關(guān)于線程參數(shù)定義的概念性示圖；圖10是說明線程參數(shù)的示圖；圖11是示出圖1的編輯裝置搜索最佳線程數(shù)目的過程的流程圖；及圖12是示出修改后的示例1的編輯裝置搜索最佳線程數(shù)目的過程的流程圖。
具體實施例方式下文中，將參考附圖描述本公開的實施例。(第一實施例)圖1是示出作為根據(jù)本公開的實施例的信息處理系統(tǒng)的圖像編輯系統(tǒng)的結(jié)構(gòu)的示圖。(圖像編輯系統(tǒng))如圖1所示，圖像編輯系統(tǒng)100包括作為信息處理裝置的多個編輯裝置10(10-1 至10-5)、數(shù)據(jù)庫20、以及作為連接它們的傳輸線的網(wǎng)絡(luò)30。數(shù)據(jù)庫20累積大量圖像數(shù)據(jù)等，并響應(yīng)于來自編輯裝置10的圖像選擇請求而經(jīng)由網(wǎng)絡(luò)30將適當?shù)膱D像數(shù)據(jù)下載到編輯裝置10上。另外，數(shù)據(jù)庫20不僅可以響應(yīng)于來自編輯裝置10的請求而下載作為編輯目標的圖像數(shù)據(jù)，而且可以下載通過減小圖像數(shù)據(jù)的尺寸而得到的微縮的減小尺寸的圖像數(shù)據(jù)。另外，由編輯裝置10(10-1至10-5)獲取的最佳線程參數(shù)和圖像處理條件的組合可以被累積在數(shù)據(jù)庫20中。每個編輯裝置10(10-1至10-5)是能夠基于編輯者輸入的操作對經(jīng)由網(wǎng)絡(luò)30從數(shù)據(jù)庫20下載的圖像數(shù)據(jù)分別執(zhí)行諸如效果之類的處理的裝置。更具體地，編輯裝置10是包括計算機硬件的信息處理裝置。(編輯裝置10的結(jié)構(gòu))圖2是示出編輯裝置10的硬件結(jié)構(gòu)的框圖。如圖2所示，編輯裝置10包括CPU單元11、GPU單元12、存儲設(shè)備13、顯示接口 14、操作接口 15、網(wǎng)絡(luò)接口 16、以及將它們相互連接的總線17。 CPU單元11包括CPU 111和存儲器112 (下文中，稱為“CPU存儲器”)，并且執(zhí)行 CPU存儲器112中存儲的程序，從而執(zhí)行CPU存儲器112中的關(guān)于各種算術(shù)處理的指令。CPU 單元11對用戶從連接至操作接口 15的操作輸入設(shè)備18輸入的命令進行解釋，從而將它們反映到程序的動作(behavior)。例如，CPU單元11基于用戶的命令等進行控制來下載累積在數(shù)據(jù)庫20中的圖像數(shù)據(jù)并將圖像數(shù)據(jù)存儲在存儲設(shè)備13中，將圖像數(shù)據(jù)從存儲設(shè)備13 讀出到CPU存儲器112，并對圖像數(shù)據(jù)執(zhí)行諸如效果之類的處理。CPU存儲器112中保存的圖像數(shù)據(jù)被提供給顯示接口 14，在顯示接口 14中被描畫處理為可視的描畫數(shù)據(jù)，根據(jù)需要被與由GPU單元12 (后面描述)處理的圖像的描畫數(shù)據(jù)結(jié)合，并被輸出到顯示設(shè)備19。另外，CPU單元11可以根據(jù)需要進行控制來結(jié)合CPU存儲器112中保存的處理后的圖像數(shù)據(jù)和由GPU單元12處理后的圖像數(shù)據(jù)，將圖像數(shù)據(jù)寫回在存儲設(shè)備13中，并經(jīng)由網(wǎng)絡(luò)30將寫回在存儲設(shè)備13中的編輯后的圖像數(shù)據(jù)傳輸?shù)綌?shù)據(jù)庫20。GPU單元12包括GPU 121和存儲器122 (下文中稱為“GPU存儲器122”)，并且可以執(zhí)行存儲在GPU存儲器122中的程序，從而通過GPU存儲器122中的并行算術(shù)處理來執(zhí)行諸如效果之類的圖像處理。GPU存儲器122中保存的圖像數(shù)據(jù)被提供給顯示接口 14，在顯示接口 14中被描畫處理為可視的描畫數(shù)據(jù)，被根據(jù)需要與由上述GPU單元12處理后的圖像的描畫數(shù)據(jù)結(jié)合，并被輸出到顯示設(shè)備19。顯示接口 14是到顯示設(shè)備19的接口，其對由CPU單元11和GPU單元12提供的圖像數(shù)據(jù)執(zhí)行描畫處理，根據(jù)需要將經(jīng)過CPU單元11處理的圖像的描畫數(shù)據(jù)和經(jīng)過GPU單元 12處理的圖像的描畫數(shù)據(jù)結(jié)合在一起，并且將結(jié)合后的數(shù)據(jù)作為一個圖像的描畫數(shù)據(jù)提供給顯示設(shè)備19。顯示接口 14的處理由例如上述GPU 121或者額外提供的GPU(未示出)執(zhí)行。操作接口 15是到操作輸入設(shè)備18的接口，其將用戶從操作輸入設(shè)備18輸入的數(shù)據(jù)和命令提供給CPU單元11等。存儲設(shè)備13例如存儲從數(shù)據(jù)庫20獲取的未編輯的圖像數(shù)據(jù)以及編輯后的圖像數(shù)據(jù)，并且累積促使CPU單元11和GPU單元12執(zhí)行編輯處理等的各種程序。網(wǎng)絡(luò)接口 16是用于連接到網(wǎng)絡(luò)30的接口。(效果處理)將描述在圖2的編輯裝置10對作為運動圖像的一部分的一個場景中包括的一個或多個幀圖像應(yīng)用效果(特殊效果)的情況下的處理流程。圖3是示出效果處理的流程的流程圖。首先，編輯裝置10中的CPU 111根據(jù)用戶的指令從數(shù)據(jù)庫20下載用于選擇運動圖像中的場景的信息(步驟S101)，并在顯示設(shè)備19上顯示所下載的用于選擇場景的信息 (步驟S102)。這里，用于選擇場景的信息是例如，通過降低代表場景的幀圖像的分辨率而獲取的圖像數(shù)據(jù)(微縮圖像)等。
接著，在用戶使用諸如鼠標之類的操作輸入設(shè)備18根據(jù)顯示設(shè)備19上顯示的用于選擇場景的信息選擇用戶希望應(yīng)用效果的場景(步驟Sl(XB)的情況下，編輯裝置10中的 CPU 111向數(shù)據(jù)庫20請求下載與所選擇的場景相對應(yīng)的一個或多個幀圖像，獲取該一個或多個幀圖像，并將它們存儲在存儲設(shè)備13中(步驟S104)。接著，通過使用操作輸入設(shè)備18，用戶設(shè)置圖像的輸出條件(步驟S105)。輸出條件是設(shè)置運動圖像的輸出格式的條件，并且包括例如，放大/縮小率、幀率等。CPU 111將與所選擇的場景相對應(yīng)的每個幀圖像從存儲設(shè)備13讀出到CPU存儲器112。CPU 111根據(jù)上述輸出條件放大/縮小每個幀圖像、通過幀間內(nèi)插改變幀率等?；谳敵鰲l件處理后的每個幀圖像被顯示在編輯環(huán)境屏幕(后面描述)的輸出圖像顯示窗口和追蹤顯示窗口上(步驟 S 106)。接著，用戶通過操作輸入設(shè)備18輸入效果開始指令(步驟S107)。接收到效果開始指令，CPU 111將編輯裝置10中的預先準備的效果程序的列表顯示在顯示設(shè)備19上(步驟S 108)。多個效果程序被預先準備在編輯裝置10中。在用戶從中選擇一個效果(步驟 S109)的情況下，與所選擇的效果相對應(yīng)的效果程序被執(zhí)行，并且對所顯示的幀圖像的效果處理被執(zhí)行。圖4是示出編輯裝置10的編輯環(huán)境屏幕40的示例的示圖。如圖4所示，輸出圖像顯示窗口 41、追蹤顯示窗口 42、以及效果候選列表43等被顯示在編輯環(huán)境屏幕40上。 輸出圖像顯示窗口 41是這樣的窗口 根據(jù)輸出條件而被放大/縮小的幀圖像被作為效果目標圖像顯示在該窗口上，或者效果結(jié)果圖像被顯示在該窗口上。追蹤顯示窗口 42是同時顯示與用戶選擇的部分場景相對應(yīng)的多個連續(xù)幀圖像的窗口。在追蹤顯示窗口 42中，水平方向代表時間方向。用戶通過操作輸入設(shè)備18在左右水平方向操縱用于選擇時間位置的滑塊(未示出)，追蹤顯示窗口 42上同時顯示的多個幀圖像的時間位置被移動(改變)。通過改變，用戶可以看到所選擇的場景中包括的所有幀圖像。另外，用戶可以通過操作輸入設(shè)備18從追蹤顯示窗口 42上顯示的多個幀圖像中選擇要顯示在輸出圖像顯示窗口 41上的一個幀圖像。效果候選列表43是要應(yīng)用于輸出圖像顯示窗口 41上顯示的幀圖像的效果種類的列表。要應(yīng)用于輸出圖像顯示窗口 41上顯示的幀圖像的效果種類由用戶通過諸如鼠標之類的操作輸入設(shè)備18選擇。在一個效果被從效果候選列表43中選出的情況下，CPU 111顯示用于設(shè)置所選擇的效果的各種參數(shù)的效果GUI窗口(步驟S110)。用戶通過諸如鼠標之類的操作輸入設(shè)備 18來調(diào)整效果⑶I窗口上的每個條目的參數(shù)(步驟S111)。例如，將描述散焦被選擇作為效果種類的情況。在散焦被選擇的情況下，如圖5所示，用于設(shè)置散焦參數(shù)的效果⑶I窗口 46被顯示在編輯環(huán)境屏幕40上。通過用于散焦的效果⑶I窗口 46，用戶可以通過操作按鈕來選擇虹膜(iris)的形狀，并可以通過使用諸如鼠標之類的操作輸入設(shè)備18操作滑塊來調(diào)整諸如半徑、角度、以及曲率之類的參數(shù)。根據(jù)用戶通過效果GUI窗口 46選擇的參數(shù)，CPU 111對輸出圖像顯示窗口 41上顯示的幀圖像執(zhí)行效果處理。在這種情況下，效果處理被針對每個參數(shù)的選擇操作實時執(zhí)行，并被反映在輸出圖像顯示窗口 41上顯示的幀圖像中，從而使得可以針對每個條目有效地選擇最佳參數(shù)。在參數(shù)被調(diào)整之后(步驟S112，是)，用戶使用操作輸入設(shè)備18輸入包括參數(shù)調(diào)整結(jié)果的指令，以將所選擇的場景中包括的所有幀圖像中的效果反映到CPU 111中(步驟S 113)。這些指令是通過點擊編輯環(huán)境屏幕40上提供的處理輸出按鈕等做出的。如圖4和圖5所示，處理輸出按鈕包括再現(xiàn)按鈕44和記錄按鈕45。在再現(xiàn)按鈕44被用戶操作的情況下，包括應(yīng)用于用戶選擇的幀圖像的參數(shù)的調(diào)整結(jié)果的效果被類似地應(yīng)用于場景中包括的其他幀圖像，并且與該場景相對應(yīng)的運動圖像被輸出到輸出圖像顯示窗口 41。用戶可以觀看輸出圖像顯示窗41上顯示的運動圖像，并且可以確認應(yīng)用于整個場景的效果的結(jié)果。 另外，在記錄按鈕45被用戶操作的情況下，包括應(yīng)用于用戶選擇的幀圖像的參數(shù)的調(diào)整結(jié)果的效果被類似地應(yīng)用于該場景中包括的其他幀圖像，并且被寫在存儲設(shè)備13中(步驟 S114)。注意，這里描述了散焦效果處理，但是上述描述適用于其他種類的效果處理。接著，將描述使用GPU 121對圖像數(shù)據(jù)應(yīng)用效果的情況下的處理。圖6是示出使用GPU 121對圖像數(shù)據(jù)應(yīng)用效果的情況下的圖像處理流程的流程圖。首先，用戶選擇效果(步驟S201)。如上所述，該操作通過從圖4中所示的效果候選列表43選擇效果來執(zhí)行。在效果被選擇的情況下，CPUlll啟動與所選擇的效果相對應(yīng)的效果程序(步驟S202)。在效果程序被啟動之后，CPU 111執(zhí)行下面的初始化處理。作為初始化處理，CPU 111基于用戶設(shè)置的圖像數(shù)據(jù)的輸出條件來確定一幀的水平/垂直圖像尺寸(步驟S20;3)。接著，CPU 111指示GPU121預留用于一幀的水平/垂直圖像尺寸的GPU存儲器122(步驟S204)。隨后，CPU 111定義GPU單元12執(zhí)行處理的線程數(shù)目(步驟S205)。定義線程數(shù)目的操作將隨后描述。以上描述了初始化處理。隨后，流程進行到圖像處理。圖7是示意性地示出編輯裝置10的圖像處理功能的框圖。如圖7所示，首先，作為初始化之后的處理，圖像數(shù)據(jù)被從存儲設(shè)備13讀出到CPU存儲器112中(步驟S206)。 這里，讀出到CPU存儲器112中的圖像數(shù)據(jù)是CPU單元11在運動圖像數(shù)據(jù)中指定的幀號的圖像數(shù)據(jù)(幀圖像)。CPU單元11指定的幀號是用戶通過圖5的追蹤顯示窗口 42選擇的幀圖像的幀號。另外，在圖5的編輯環(huán)境屏幕40上的再現(xiàn)按鈕44或者記錄按鈕45被用戶操作并且包括參數(shù)的調(diào)整結(jié)果的效果被應(yīng)用于所有幀圖像的情況下，場景中的開始幀圖像到最后幀圖像的幀號被順序指定。接著，CPU存儲器112中加載的圖像數(shù)據(jù)被傳輸?shù)缴鲜龀跏蓟幚碇蓄A留的GPU存儲器122(步驟S207)。然后，當從GPU存儲器122讀出圖像數(shù)據(jù)時，GPU 121根據(jù)要啟動的效果程序?qū)D像數(shù)據(jù)執(zhí)行效果處理(步驟S208)，并將結(jié)果寫回在GPU存儲器122中。當效果處理完成時，GPU 121將圖像數(shù)據(jù)從GPU存儲器122返回到CPU存儲器112 (步驟S209)。這里，CPU 111檢測記錄按鈕45是否被用戶操作(步驟S210)。在記錄按鈕45 沒有被用戶操作的情況下(步驟S210，否)，CPU 111將其上應(yīng)用了效果的圖像數(shù)據(jù)從CPU 存儲器112提供到顯示接14。顯示接口 14對從CPU存儲器112提供的圖像數(shù)據(jù)執(zhí)行描畫處理，并將描畫數(shù)據(jù)提供給顯示設(shè)備19。結(jié)果，圖像被顯示在圖5的輸出圖像顯示窗41上 (步驟S211)。在再現(xiàn)按鈕44被用戶操作的情況下，類似于步驟S211的動作被執(zhí)行。然而，在再現(xiàn)按鈕44被用戶操作的情況下，為了重復對場景中包括的所有幀圖像順次應(yīng)用效果并重復顯示結(jié)果，流程從步驟S213返回到步驟S206，從而將下個效果目標圖像數(shù)據(jù)從存儲設(shè)備13讀出到CPU存儲器112中的處理被重復。另外，在CPU 111檢測到記錄按鈕45被用戶操作的情況下(步驟S210，是)，CPU 111將其上應(yīng)用了效果的圖像數(shù)據(jù)從CPU存儲器112寫回到存儲設(shè)備13中(步驟S212)。 另外，在記錄按鈕45被用戶操作的情況下，為了重復對場景中包括的所有幀圖像順次應(yīng)用效果并重復將結(jié)果記錄在存儲設(shè)備13中，流程從步驟S213返回到步驟S206，從而使得將下一效果目標圖像數(shù)據(jù)從存儲設(shè)備13讀出到CPU存儲器112中的處理被重復。在記錄按鈕45和再現(xiàn)按鈕44沒有被用戶操作的情況下，類似地，流程進行到步驟 S211，從而其上應(yīng)用了效果的圖像數(shù)據(jù)被顯示。在這種情況下，在將圖像數(shù)據(jù)提供給顯示接口 14之后，CPU 111處于等待下一指令的等待狀態(tài)。在等待狀態(tài)下，例如，在用戶輸入完成諸如用于關(guān)閉圖5的效果GUI窗口 46的操作之類的效果處理的指令的情況下(步驟S214， 是)，CPU 111釋放GPU存儲器122 (步驟S215)，并且完成效果處理。接下來，將描述定義用于GPU單元12的線程參數(shù)的過程。在GPGPU、CUDA(注冊商標)的開發(fā)過程中，NVIDA公司(美國)提供的開發(fā)環(huán)境已知。在CUDA(注冊商標)的編程過程中，“柵格”、“塊”、以及“線程”被用作將實際處理劃分為多個線程的參數(shù)。圖8和圖9是示出它們的概念性示圖。例如，以執(zhí)行將整個屏幕與濾波器系數(shù)相乘的卷積運算的圖像處理為例，“線程”是與利用濾波器系數(shù)執(zhí)行積和運算 (product-sum operation)的處理所被分配給的像素相對應(yīng)的參數(shù)，并且“塊”與通過組合 “線程”而獲取的圖像的矩形區(qū)域相對應(yīng)。這里，假設(shè)“柵格”與整個屏幕相對應(yīng)，“塊”和“線程”的布局由開發(fā)者自由設(shè)置。開發(fā)者可以設(shè)置如圖8中所示的一維布局，或者如圖9中所示的二維布局。例如，水平方向中的“塊”的數(shù)目(Blockx)和垂直方向中的“塊”的數(shù)目 (Blocky)分別由表達式1和表達式2定義，其中Threadx表示水平方向中的“線程”的數(shù)目， Thready表示垂直方向中的“線程”的數(shù)目，“寬度(Width)，，表示水平方向中的圖像的像素數(shù)目，并且“高度(Height)，，表示垂直方向中的圖像的像素數(shù)目。Blockx = ffidth/Threadx(1)Blcoky = Height/Thready(2)在本實施例中，例如，假設(shè)Threadx、Thready, Blockx,以及Blocky被作為線程參數(shù)提供給GPU單元12。根據(jù)GPU的種類，存在Threadx和Thready可以被作為線程參數(shù)提供的情況。對于任意線程參數(shù)的全部處理的調(diào)度算法取決于CUDA (注冊商標)。盡管沒有公開細節(jié)，但是已知圖像處理的速度隨著提供線程參數(shù)的方式而改變。另外，最佳線程參數(shù)根據(jù)諸如目標圖像的尺寸、用于“線程”的處理內(nèi)容(效果的種類、效果參數(shù))、執(zhí)行處理的GPU 121的種類之類的條件而不同。例如，通過調(diào)整諸如Threadx、Thready, Blockx,以及Blocky 之類的線程參數(shù)，通過將效果添加到運動圖像所獲取的結(jié)果可以被實時描畫出來，也可以不被實時描畫出來。根據(jù)本實施例，提供了一種可以有效定義與圖像處理條件相對應(yīng)的最佳線程參數(shù)的技術(shù)。即，每個編輯裝置10 (10-1至10- 搜索GPU 121在圖像處理條件下可以以最高速度處理的線程的數(shù)目，并且將其確定為最佳線程參數(shù)。這里，圖像處理條件至少包括(更具體地)例如，圖10中所示的GPU的種類、圖像的尺寸、以及效果的處理內(nèi)容(效果的種類、 效果參數(shù))。GPU的種類可以是有關(guān)GPU的規(guī)格信息。
每個編輯裝置10(10-1至10- 將圖像處理條件定義為ID，將該圖像處理條件下的最佳線程參數(shù)定義為數(shù)據(jù)，建立ID和數(shù)據(jù)之間的對應(yīng)關(guān)系，并將ID和數(shù)據(jù)傳輸?shù)綀D1的數(shù)據(jù)庫20以將ID和數(shù)據(jù)累積在數(shù)據(jù)庫20中。另外，每個編輯裝置10(10-1至10- 再次使用數(shù)據(jù)庫中累積的最佳線程參數(shù)。為了再次使用數(shù)據(jù)庫20中累積的最佳線程參數(shù)，每個編輯裝置10(10-1至10-5)向數(shù)據(jù)庫20發(fā)送包括作為圖像處理條件的ID的查詢。數(shù)據(jù)庫 20搜索與查詢中包括的ID相對應(yīng)的最佳線程參數(shù)的數(shù)據(jù)，并將其返回給作為查詢源的編輯裝置10。下面將描述細節(jié)。首先，將描述編輯裝置10搜索與圖像處理條件相對應(yīng)的最佳線程參數(shù)的過程。圖11是示出該過程的流程圖。首先，編輯裝置10的CPU 111定義作為ID的GPU 121的種類、圖像尺寸、效果的處理內(nèi)容(效果的種類、效果參數(shù))的組合(其是要執(zhí)行的圖像處理的條件)，并且經(jīng)由網(wǎng)絡(luò)30向數(shù)據(jù)庫20查詢是否存在用于該ID的最佳線程參數(shù)的數(shù)據(jù)(步驟S301)?；趤碜詳?shù)據(jù)庫20的答復，CPU 111確定數(shù)據(jù)庫20中是否存在用于作為圖像處理條件的ID的最佳線程參數(shù)的數(shù)據(jù)(步驟S302)。在用于ID的最佳線程參數(shù)的數(shù)據(jù)存在的情況下(步驟S302，是)，CPU 111(設(shè)置部)從數(shù)據(jù)庫20下載最佳線程參數(shù)的數(shù)據(jù)(步驟 S312)，將該數(shù)據(jù)設(shè)置到GPU單元12，并且促使GPU單元12對圖像數(shù)據(jù)執(zhí)行效果處理(步驟 S311)。在數(shù)據(jù)庫20中不存在用于作為要執(zhí)行的圖像處理的條件的ID的最佳線程參數(shù)的情況下(步驟S302，否)，CPU 111(確定部)通過如下搜索確定最佳線程參數(shù)。確定通過以下處理執(zhí)行1.設(shè)置或更新搜索目標線程參數(shù)(步驟S303)，2.開始測量處理時間(步驟S304)，3.通過GPU 121執(zhí)行處理(步驟S305)，4.停止測量處理時間(步驟S306)，5.確定處理時間是否最短(步驟S307)，6.保存使得處理時間最短的線程參數(shù)(步驟S308)，并且重復這些步驟直到針對所有搜索目標線程參數(shù)的測量都完成為止(步驟 S309)。所以，CPU 111(確定部)將所有搜索目標線程參數(shù)中的使得處理時間最短(即， 使處理以最快速度執(zhí)行)的線程參數(shù)作為最佳線程參數(shù)。這里，線程參數(shù)包括例如，ThreadsThready, Blockx,以及 Blocky。當 Threadx、 Thready、Width、以及Height給定時，可以通過上述表達式(1)和表達式( 來唯一地確定 Bl0Ckj^nBl0Clv所以，CPU 111針對第一時間循環(huán)(time around)將默認值“ 1”設(shè)置到 Threadx和Thready中的每一個，并且測量處理圖像所需要的時間。然后，當針對一個周期更新Threadx和Thready的值的組合時，每當CPU 111更新該組合時CPU 111都要測量處理圖像所需要的時間。注意，GPU 121的處理目的在于測量處理時間。所以，盡管GPU存儲器122被使用， 也不必將實際的圖像數(shù)據(jù)存儲在GPU存儲器122中。即，不必像在實際圖像處理的情況中那樣將圖像數(shù)據(jù)從CPU存儲器112傳輸?shù)紾PU存儲器122。然后，CPU 111(傳輸部)生成作為圖像處理條件的ID(其是GPU121的種類、圖像數(shù)據(jù)的尺寸、以及效果的處理內(nèi)容(效果的種類、效果參數(shù))的組合)，并且經(jīng)由網(wǎng)絡(luò)30 將ID和最佳線程參數(shù)的數(shù)據(jù)的組合傳輸?shù)綌?shù)據(jù)庫20以將該組合累積在數(shù)據(jù)庫20中(步驟S310)。然后，最佳線程參數(shù)可以被用作對于來自圖像編輯系統(tǒng)100中的每個編輯裝置 10(10-1至10-5)的查詢的答復的候選。然后，CPU 111(設(shè)置部)向GPU單元12輸出所確定的最佳線程參數(shù)，并使GPU 121 執(zhí)行實際的圖像數(shù)據(jù)處理(步驟S311)。上述搜索最佳線程參數(shù)在啟動圖7的效果之后的初始化階段執(zhí)行，并且不必對每幀執(zhí)行搜索。另外，由于用于一幀的效果處理時間大約為數(shù)毫秒到數(shù)十毫秒，所以即使搜索被執(zhí)行數(shù)百次，也只花費數(shù)秒。所以，由于搜索最佳線程參數(shù)導致的用戶等待時間不是問題。如上所述，根據(jù)本實施例的編輯裝置10，在給定的圖像處理條件下新近獲取最佳線程參數(shù)的情況下，CPU 111搜索允許編輯裝置10中的圖形處理單元在該圖像處理條件下以最高速度執(zhí)行處理的線程參數(shù)，并且將該參數(shù)確定為最佳線程參數(shù)。另外，根據(jù)本實施例的編輯裝置10，在數(shù)據(jù)庫20中存在圖像處理條件下的最佳線程參數(shù)的情況下，CPU 111可以經(jīng)由網(wǎng)絡(luò)30 (傳輸線)從數(shù)據(jù)庫20獲取最佳線程參數(shù)，并將該參數(shù)提供給GPU單元12。 所以，在GPU 121再次在以前使用的圖像處理條件下執(zhí)行效果處理的情況下，GPU 121可以再次使用數(shù)據(jù)庫20中累積的線程參數(shù)。所以，可以在各種圖像處理條件下有效地獲取最佳線程參數(shù)，并且圖像可以被有效編輯。另外，根據(jù)本實施例的編輯裝置10，一個數(shù)據(jù)庫20被多個編輯裝置10(10-1至 10-5)共享，從而使得最佳線程參數(shù)可以更有效地被獲取。另外，根據(jù)本實施例的編輯裝置10，GPU 121的種類、圖像數(shù)據(jù)的尺寸、以及效果的處理內(nèi)容(效果的種類、效果參數(shù))的組合被確定為ID，并且ID和最佳線程參數(shù)的數(shù)據(jù)的組合被累積在數(shù)據(jù)庫20中。所以，在由于更高性能的GPU的出現(xiàn)使得GPU的種類、效果的種類、以及效果參數(shù)的種類等在未來增多的情況下，本技術(shù)也適用(這是有利的)。(修改后的示例1)在一些種類的GPU 121中，存在高達例如，512或256的上限被設(shè)置于Hireadx和 Thready的乘積。在這種情況下，線程參數(shù)在不超過上限的范圍內(nèi)被更新。圖12是示出GPU 121具有上述限制的情況下的最佳線程參數(shù)搜索過程的流程圖。在該示例中，在步驟S302中確定用于ID的最佳線程參數(shù)的數(shù)據(jù)不存在之后，CPU 111生成在Threadj^n Thready的乘積不超過依賴于GPU 121的種類的上限值這樣的范圍內(nèi)的Threadx和Thready的所有組合(步驟S313)。然后，在步驟S303至步驟S309，Threadx 和Thready的所有組合中的采用使得GPU 121的處理時間最短的Threadx和Thready的組合的線程參數(shù)被確定作為最佳線程參數(shù)。然后，所確定的最佳線程參數(shù)和ID的組合被傳輸?shù)綌?shù)據(jù)庫20 (步驟S310)，最佳線程參數(shù)被輸出到GPU單元12，并且GPU 121執(zhí)行實際的圖像數(shù)據(jù)處理(步驟S311)。(修改后的示例2)在一些種類的GPU 121中，存在搜索目標線程參數(shù)的數(shù)目太大而要花費太多時間的情況。在這種情況下，不是針對一個周期利用預定值來更新Threadx和Thready的值，而可以通過將值限制為2的冪來更新Threadx和Thready的值。
(修改后的示例3)存在用戶通過圖5的編輯環(huán)境屏幕40頻繁地重復調(diào)整一些種類的效果的效果參數(shù)的情況。在這種情況下，CPU 111可以使GPU 121使用調(diào)整中的任意線程參數(shù)執(zhí)行處理， 并且可以在轉(zhuǎn)移到運動圖像處理(諸如實際被以高速處理的再現(xiàn)或記錄)之前定義最佳線程參數(shù)。注意，本公開不限于上述實施例，但是可以在本公開的技術(shù)思想的范圍內(nèi)做出各種修改。本公開包含有涉及于2010年6月18日在日本專利局遞交的日本優(yōu)先權(quán)專利申請 JP 2010-139718的主題，該申請的全部內(nèi)容通過引用結(jié)合于此。本領(lǐng)域技術(shù)人員應(yīng)該理解，在不脫離所附權(quán)利要求及其等同物的范圍的條件下， 可以根據(jù)設(shè)計要求和其他因素做出各種修改、組合、子組合和改變。
權(quán)利要求
1.一種信息處理系統(tǒng)，包括 多個信息處理裝置； 數(shù)據(jù)庫；以及連接所述信息處理裝置和所述數(shù)據(jù)庫的傳輸線，其中所述信息處理裝置中的每一個包括圖形處理單元，該圖形處理單元能夠?qū)D像的處理劃分為多個線程，并執(zhí)行對所述圖像的處理，確定部，該確定部被配置為搜索所述圖形處理單元能夠用來在給定的圖像處理條件下以最高速度執(zhí)行處理的線程參數(shù)，并將所述線程參數(shù)確定為最佳線程參數(shù)，傳輸部，該傳輸部被配置為建立所述圖像處理條件和由所述確定部確定的所述最佳線程參數(shù)之間的對應(yīng)關(guān)系，并經(jīng)由所述傳輸線將所述圖像處理條件和所述最佳線程參數(shù)累積在所述數(shù)據(jù)庫中，以及設(shè)置部，該設(shè)置部被配置為經(jīng)由所述傳輸線從所述數(shù)據(jù)庫獲取所述最佳線程參數(shù)，并將所述最佳線程參數(shù)設(shè)置到所述圖形處理單元。
2.根據(jù)權(quán)利要求1所述的信息處理系統(tǒng)，其中所述圖像處理條件至少包括所述圖形處理單元的種類，所述圖像的尺寸，以及所述圖像的處理內(nèi)容。
3.根據(jù)權(quán)利要求2所述的信息處理系統(tǒng)，其中所述設(shè)置部被配置為將由所述確定部確定的所述最佳線程參數(shù)設(shè)置到所述圖形處理單元。
4.根據(jù)權(quán)利要求3所述的信息處理系統(tǒng)，其中所述確定部被配置為在更新設(shè)置到所述圖形處理單元的線程參數(shù)的同時，測量在給定的圖像處理條件下針對每個線程參數(shù)的處理所需要的時間，并將使得處理所需要的時間最少的線程參數(shù)確定為最佳線程參數(shù)。
5.根據(jù)權(quán)利要求4所述的信息處理系統(tǒng)，其中所述線程參數(shù)至少包括圖像的二軸方向的各軸方向上的線程數(shù)目的組合。
6.根據(jù)權(quán)利要求5所述的信息處理系統(tǒng)，其中所述確定部能夠設(shè)置所述線程參數(shù)的上限，并被配置為在不超過所設(shè)置的上限的范圍內(nèi)確定所述最佳線程參數(shù)。
7.一種信息處理方法，包括通過信息處理裝置的確定部，將所述信息處理裝置的圖形處理單元能夠用來在給定的圖像處理條件下以最高速度執(zhí)行處理的線程參數(shù)確定為最佳線程參數(shù)；通過所述信息處理裝置的傳輸部，建立所述圖像處理條件和由所述確定部確定的所述最佳線程參數(shù)之間的對應(yīng)關(guān)系，并經(jīng)由網(wǎng)絡(luò)將所述圖像處理條件和所述最佳線程參數(shù)傳輸?shù)綌?shù)據(jù)庫，以將所述圖像處理條件和所述最佳線程參數(shù)累積在所述數(shù)據(jù)庫中；以及通過所述信息處理裝置的設(shè)置部，經(jīng)由所述網(wǎng)絡(luò)從所述數(shù)據(jù)庫獲取所述最佳線程參數(shù)，并將所述最佳線程參數(shù)設(shè)置到所述圖形處理單元。
8.一種信息處理裝置，包括圖形處理單元，該圖形處理單元能夠?qū)D像的處理劃分為多個線程，并對所述圖像執(zhí)行處理；確定部，該確定部被配置為將所述圖形處理單元能夠用來在給定的圖像處理條件下以最高速度執(zhí)行處理的線程參數(shù)確定為最佳線程參數(shù)；傳輸部，該傳輸部被配置為建立所述圖像處理條件和由所述確定部確定的所述最佳線程參數(shù)之間的對應(yīng)關(guān)系，并經(jīng)由傳輸線將所述圖像處理條件和所述最佳線程參數(shù)傳輸?shù)綌?shù)據(jù)庫，以將所述圖像處理條件和所述最佳線程參數(shù)累積在所述數(shù)據(jù)庫中；以及設(shè)置部，該設(shè)置部被配置為經(jīng)由所述傳輸線從所述數(shù)據(jù)庫獲取所述最佳線程參數(shù)，并將所述最佳線程參數(shù)設(shè)置到所述圖形處理單元。
全文摘要
公開了信息處理系統(tǒng)、信息處理方法、和信息處理裝置。該信息處理裝置包括圖形處理單元，其能夠?qū)D像的處理劃分為多個線程，并執(zhí)行對圖像的處理；確定部，被配置為搜索圖形處理單元能夠用來在給定的圖像處理條件下以最高速度執(zhí)行處理的線程參數(shù)，并將該線程參數(shù)確定為最佳線程參數(shù)；傳輸部，被配置為建立圖像處理條件和確定部所確定的最佳線程參數(shù)之間的對應(yīng)關(guān)系，并經(jīng)由傳輸線將圖像處理條件和最佳線程參數(shù)累積在數(shù)據(jù)庫中；以及設(shè)置部，被配置為經(jīng)由傳輸線從數(shù)據(jù)庫獲取最佳線程參數(shù)，并將最佳線程參數(shù)設(shè)置到圖形處理單元。
文檔編號G06T1/20GK102289783SQ20111016530
公開日2011年12月21日 申請日期2011年6月13日 優(yōu)先權(quán)日2010年6月18日
發(fā)明者白木壽一 申請人:索尼公司