專利名稱：用于設(shè)計(jì)開發(fā)的系統(tǒng)和方法
技術(shù)領(lǐng)域：
本發(fā)明涉及基于計(jì)^m的開發(fā)設(shè)計(jì)的方法和系統(tǒng)，更確切地說，涉及簡化
(facilitate)分布式開發(fā)設(shè)計(jì)的方法和系統(tǒng)。
背景技術(shù)：
在現(xiàn)有的一些方面，公司面臨選擇設(shè)計(jì)的艱難任務(wù)，例如公司徽標(biāo)。像很 多設(shè)計(jì)一樣，公司徽標(biāo)有審美性質(zhì)，所以不同的人對于不同的外觀和風(fēng)格會有 不同的吸引力。因此，設(shè)計(jì)一個(gè)傲艮多不同的人欣賞的徽標(biāo)是具有挑戰(zhàn)性的。 但，同時(shí)，徽標(biāo)也是公司公眾形象的一個(gè)重要部分。因此，對于一個(gè)公司，快 速且不花費(fèi)高價(jià)選擇一個(gè)被公司內(nèi)很多不同的人以及公司的顧客和商業(yè)伙伴們 欣賞的徽標(biāo)是非常重要的。

發(fā)明內(nèi)容
創(chuàng)造性的設(shè)計(jì)項(xiàng)目的其它，，包括但不限于例如web頁面設(shè)計(jì)，用戶界 面設(shè)計(jì)，橫幅以及其他廣告設(shè)計(jì)，文具設(shè)計(jì)，軟件應(yīng)用程序設(shè)計(jì)，音樂和歌曲 創(chuàng)作等都具有與徽標(biāo)相似的特性，它們既有審美方面又有商業(yè)方面的意義，并 且有助于形成客戶終端用戶觀眾或商業(yè)伙伴對組織和/或其產(chǎn)品的具體的印象。
組織需要一種方式快速且有效地開發(fā)被他們的目標(biāo)觀眾肯定地接受的設(shè) 計(jì)。有效地生成很多想法并辨別出將被目標(biāo)觀眾最好接受的是困難的。能夠有 助于定位這些關(guān)注的一個(gè)技術(shù)是采用設(shè)計(jì)競賽，其中很多設(shè)計(jì)開發(fā)者提交供選 擇的候選設(shè)計(jì)。在設(shè)計(jì)開發(fā)中雇傭不同的人工作有助于產(chǎn)生很多不同的途徑。
然而， 一旦形成不同的設(shè)計(jì)，為了設(shè)計(jì)，還需要選擇目標(biāo)觀眾更喜歡的設(shè)計(jì)。在一個(gè)實(shí)施例中， 一小組人從提交的候選設(shè)計(jì)中選擇最好的一個(gè)或多個(gè)設(shè) 計(jì)。在另一個(gè)實(shí)施例中， 一小組選擇多個(gè)提交的候選，然后將候選設(shè)計(jì)提供給 一較大組人審查。分別地審查候選，該較大組共同審查候選設(shè)計(jì)并選擇侯選中 最好的一個(gè)或多個(gè)設(shè)計(jì)供組織使用。
一旦選擇了，開發(fā)了所選的設(shè)計(jì)的設(shè)計(jì)開發(fā)者，或者另一個(gè)設(shè)計(jì)開發(fā)者， 可以被雇傭于未來的與該設(shè)計(jì)有關(guān)的工作。
總地來說，在一方面，用于開發(fā)設(shè)計(jì)的方法包括電子地分布設(shè)計(jì)的要求給 分布式的設(shè)計(jì)者團(tuán)體，響應(yīng)于所述設(shè)計(jì)要求接收來自設(shè)計(jì)者團(tuán)體的子集中的每
一個(gè)的設(shè)計(jì)，簡化多個(gè)審查者接收的設(shè)計(jì)的子集的審查；響應(yīng)于簡化了的設(shè)計(jì) 審查選擇 的設(shè)計(jì)。
總地來說，本發(fā)明的另一方面涉及用于執(zhí)行前述的方法的系統(tǒng)。該系統(tǒng)包 括通信?！姥?，用于電子地分布設(shè)計(jì)的要求給分布式的設(shè)計(jì)者團(tuán)體以及響應(yīng)于所 述設(shè)計(jì)要求接收來自設(shè)計(jì)者團(tuán)體的子集中的每一個(gè)的設(shè)計(jì)。該系統(tǒng)包括審查模 塊，用于簡化多個(gè)審查者接收的設(shè)計(jì)的子集的評估；以及選擇模塊，用于響應(yīng) 于簡化了的設(shè)計(jì)審查選擇{允選的設(shè)計(jì)。
在本發(fā)明這個(gè)方面的一個(gè)實(shí)施例中，該系統(tǒng)進(jìn)一步包括評分引擎，其用于 為分布式設(shè)計(jì)者團(tuán)體中的成員的技巧評分。在一些實(shí)施例中，該系統(tǒng)可以進(jìn)一 步包括審查模塊以允許分布式團(tuán)體中的成員審查設(shè)計(jì)。
本發(fā)明的其他方面和優(yōu)點(diǎn)將M下面的附圖，詳細(xì)描述以及權(quán)利要求變得 明顯，它們都僅借助實(shí)例說明了本發(fā)明的原理。


在附圖中，相似的附圖標(biāo)記在不同的圖中通常指相同的部分。此外，這些 圖沒有必要按照比例繪制，而其重點(diǎn)在于說明本發(fā)明的原理。
圖1是根據(jù)本發(fā)明的具有服務(wù)器的分布式設(shè)計(jì)開發(fā)系統(tǒng)的實(shí)施例的框圖。
圖2是根據(jù)本發(fā)明的實(shí)施例的設(shè)計(jì)開發(fā)域的一個(gè)實(shí)施例的框圖。
圖3是根據(jù)本發(fā)明的實(shí)施例的描述在開發(fā)設(shè)計(jì)中執(zhí)4亍的步驟的流程圖。
圖4是描述本發(fā)明的實(shí)施例的操作的相#見的 凝呈圖。
圖5是根據(jù)本發(fā)明的實(shí)施例的描述在開發(fā)設(shè)計(jì)中執(zhí)行的步驟的流程圖。
具體實(shí)施例方式
參見附圖1，在一個(gè)實(shí)施例中，分布式設(shè)計(jì)開發(fā)系統(tǒng)101包括至少一個(gè)服
務(wù)器104，以及至少一個(gè)客戶端108， 108'， 108"，統(tǒng)稱108。如圖所示，分布式 設(shè)計(jì)開發(fā)系統(tǒng)包括3個(gè)客戶端，108， 108'， 108"，但是這只是出于示范目的， 并且其旨在可以存在任何數(shù)量的客戶端108?？蛻舳?08 ，地被實(shí)施為運(yùn)行在 育,運(yùn)，彌如來自華盛頓Redmond的微軟公司的MICROSOFT WINDOWS系 列的操作系統(tǒng)，來自加利福尼亞Cupertino的蘋果計(jì)算機(jī)公司的MACINTOSH 操作系統(tǒng)，以及不同的多種多樣的Unix，例如來自SUN MICROSYSTEMS的 SUN SOLARIS,來自北卡羅萊納州的Durham的RED HAT有限公司的 GNU/Linux (以及其他的操作系統(tǒng))之類的操作系統(tǒng)的個(gè)人計(jì)算機(jī)(例如，帶 有INTEL處理器的個(gè)人計(jì)^n或者APPLE MACINTOSH)上的軟件。客戶端 108還可以被實(shí)施在諸如智能或啞終端，網(wǎng)絡(luò)計(jì)^m，無線設(shè)備，無線電話，信 息裝置，工作站，小型機(jī)，計(jì)算機(jī)主機(jī)或者其他計(jì)算設(shè)備之類的硬件上，所述 硬件用作通用計(jì)^m，或者用作僅用于作為分布式設(shè)計(jì)幵發(fā)系統(tǒng)中的客戶端108 服務(wù)的專用硬件設(shè)備。
通常，在一些實(shí)施例中，客戶端108可以由設(shè)計(jì)開發(fā)者操作和使用，以參 與多種設(shè)計(jì)開發(fā)活動。設(shè)計(jì)開發(fā)活動的例子包括，但是不局限于這里描述的參 與設(shè)計(jì)開發(fā)項(xiàng)目。客戶端108還可以由請求設(shè)計(jì)開發(fā)者開發(fā)設(shè)計(jì)的實(shí)體(例如， 顧客)操作。顧客可以使用客戶端108來審查由設(shè)計(jì)開發(fā)者開發(fā)的設(shè)計(jì)，發(fā)送 (post)用于設(shè)計(jì)開發(fā)的說明書，瀏覽關(guān)于設(shè)計(jì)開發(fā)者的信息，以及其他這里描 述的活動?？蛻舳?08還可以由協(xié)調(diào)者(facilitator)操作，其作為顧客和設(shè)計(jì)開 發(fā)者的中介進(jìn)行活動。
在不同的實(shí)施例中，客戶端計(jì)算機(jī)108包括web瀏覽器116，客戶端軟件 120或者這兩者。web瀏覽器116允許客戶端108請求web頁面或其他帶有web 頁面請求的可下載的程序，java禾Mi^或文檔(例如，來自服務(wù)器104)。 web頁 面的一個(gè)例子是包括計(jì)^t幾可執(zhí)行或可翻譯的信息，圖片，聲音，文本，禾口/或 視頻的 文件，其可以被顯示，執(zhí)行，播放，處理，串流，和/或存儲，其還 可以包括到其他web頁面的鏈接或指針。在一個(gè)實(shí)施例中，客戶端108的用戶 手動請求來自服務(wù)器104的web頁面?？商鎿Q地，在另一個(gè)實(shí)施例中，客戶端 108用web瀏覽器116自動做出請求。商業(yè)上可用的web瀏覽器軟件116的例
6子是微軟公司提供的INTERNET EXPLORER, A017Time Warner提供的 NETSCAPE NAVIGATOR,或者M(jìn)ozilla Foundation提供的FIREFOX。
在一些實(shí)施例中，客戶端108還可以包括客戶端軟件120?？蛻舳塑浖?20 提供功能給客戶端108使得設(shè)計(jì)開發(fā)者參與、監(jiān)督、簡化或者觀察，設(shè)計(jì)開 發(fā)活動?？蛻舳塑浖?20可以以多種形式執(zhí)行，例如，它可以用被下載到客戶 端108并與web瀏覽器116 M運(yùn)行的Java小程序的形式，或者客戶端軟件120 可以用獨(dú)立的用諸組Net或者Java那樣的多平臺語言或者本地處理器可執(zhí)行代 碼執(zhí)行的應(yīng)用程序的形式。在一個(gè)實(shí)施例中，如果在客戶端108上執(zhí)行，客戶 端軟件120打開經(jīng)由通信網(wǎng)絡(luò)112到服務(wù)器104的網(wǎng)絡(luò)連接，并且通過到服務(wù) 器104的該連接進(jìn)行通信?？蛻舳塑浖?20和web瀏覽器116可以是單個(gè)客戶 端~"服務(wù)器界面124的一部分；例如，客戶端軟件可以被實(shí)施為web瀏覽器116 的"插件"(plug-in)。
通信網(wǎng)絡(luò)112連接客戶端108和服務(wù)器104。該通信可以通過任何媒介進(jìn) 行，例如標(biāo)準(zhǔn)電話線，LAN或者WAN鏈接(例如Tl， T3， 56kb， X.25)，寬 帶連接(ISDN,幀中繼，ATM),無線鏈接(802.11，藍(lán)牙等)等等，以及任意 的組合。{腿的是，網(wǎng)絡(luò)112可以執(zhí)行TCP/IP協(xié)ijai信，以及由web瀏覽器 116做出的HTTP/HTTPS請求，并且客戶端軟件120與服務(wù)器104之間的連接 可以在這樣的TCP/IP網(wǎng)絡(luò)上通信。然而，這種網(wǎng)絡(luò)類型并不是一種限制，并且 任何適合的網(wǎng)絡(luò)可以被使用。可用作或者是通信網(wǎng)絡(luò)112的一部分的網(wǎng)絡(luò)的非 限制性的例子包括無線或有線的基于以太網(wǎng)的內(nèi)聯(lián)網(wǎng)，局域網(wǎng)或廣域網(wǎng)(LAN 或者WAN)，和/或被稱為因特網(wǎng)的全球通信網(wǎng)絡(luò)，其可以容納很多不同的通信 媒介和協(xié)議。
月艮務(wù)器104與客戶端108相互作用。月艮務(wù)器104 i^i也在一個(gè)或多個(gè)服務(wù) 器級計(jì)算機(jī)上實(shí)施，所述計(jì)算機(jī)具有充足的存儲器，數(shù)據(jù)存儲以及處理功率， 并且其運(yùn)行服務(wù)器級操作系統(tǒng)(例如，SUN Solans, GNU/Linux，以及 MICROSOFT WINDOWS系列操作系統(tǒng))。除了此處描述的以外的其他類型的 系統(tǒng)硬件和軟件也可以被使用，取決于設(shè)備的能力和用戶的數(shù)量以及用戶群規(guī) 模。例如，月艮務(wù)器104可以是一個(gè)或多個(gè)服務(wù)器的邏輯組或其一部分，例如服 務(wù)器農(nóng)場(serverfarm)或者服務(wù)器網(wǎng)絡(luò)。作為另一個(gè)例子，可以有多個(gè)服務(wù)器 104，其可以彼此相關(guān)聯(lián)或彼lth^接，或者多個(gè)服務(wù)器可以獨(dú)立操作，但是共享
7數(shù)據(jù)。在進(jìn)一步的實(shí)施例中并且這在大型系統(tǒng)中是典型的，應(yīng)用程序軟件可以 實(shí)施在部件中，并且不同的部件運(yùn)行在不同的服務(wù)器計(jì)算機(jī)上，相同的服務(wù)器 上，或者某種組合上。
在一些實(shí)施例中，月艮務(wù)器104還可以包括競爭服務(wù)器(contest server),例 如在同為Lydon等人的美國專利號No. 6569012和No. 6761631 ，標(biāo)題分別為"用 于編碼競爭的系統(tǒng)和方法(Systems and Methods for Coding Competitions)"和"用 于簡化在線編碼競爭的裝置和系統(tǒng)(Apparatus and System for Facilitating Online Coding Competitions)"中描述的，其全部內(nèi)W^此被并入作為參考。
在一個(gè)實(shí)施例中，月艮務(wù)器104和客戶端108育,實(shí)現(xiàn)由一個(gè)或多個(gè)開發(fā)者 作出的設(shè)計(jì)的分布式設(shè)計(jì)開發(fā)，所述開發(fā)者可以或可以不與請求設(shè)計(jì)開發(fā)的實(shí) 體相關(guān)聯(lián)。
在一個(gè)實(shí)施例中，該設(shè)計(jì)是美學(xué)上的設(shè)計(jì)。通常，美學(xué)設(shè)計(jì)是由設(shè)計(jì)者創(chuàng) 造的裝飾的、藝術(shù)的和/或技術(shù)的工作的表現(xiàn)。例如，該設(shè)計(jì)可以是圖形設(shè)計(jì)， 諸如徽標(biāo)、圖形或者圖解。該設(shè)計(jì)可以是部分或者詳細(xì)的有目的的或創(chuàng)造性的 排列。例如，該設(shè)計(jì)可以是用于web頁面、web站點(diǎn)、圖形用戶界面等的布局 和圖形。該設(shè)計(jì)可以是影響和控制功能或開發(fā)的基本的方案或模式。例如，該 設(shè)計(jì)可以是一個(gè)或多個(gè)web頁面，軟件程序或者應(yīng)用，聘的原型。作為另一個(gè) 例子，該設(shè)計(jì)可以是產(chǎn)品(包括但不限于任何鄉(xiāng)的產(chǎn)品，例如，消費(fèi)者產(chǎn)品， 工業(yè)產(chǎn)品，辦公產(chǎn)品，交通工具等)設(shè)計(jì)或原型。該設(shè)計(jì)還可以是用于對象的 構(gòu)造或制造的總體或詳細(xì)的計(jì)劃。例如，該設(shè)計(jì)可以是產(chǎn)品設(shè)計(jì)。該設(shè)計(jì)可以 是用于計(jì)^m程序的設(shè)計(jì)，如在2005年1月14日提交的共同未決的美國專利 申請序列號11/035,783中描述的。
在一個(gè)實(shí)施例中，該設(shè)計(jì)是公司打算用于其web站點(diǎn)、名片、簽名、固定 物和/或市場抵押物等上的徽標(biāo)。在另一個(gè)實(shí)施例中，該設(shè)計(jì)是web頁面模板， 包括將出現(xiàn)在特定的web站點(diǎn)中的不同頁面上的色彩、圖形和文本布局。
在一個(gè)實(shí)施例中，該設(shè)計(jì)是用于軟件程序的要求說明書，包括程序必須符 合的要求。
參見圖2，設(shè)計(jì)開發(fā)域204可以被用于將高質(zhì)量的設(shè)計(jì)提供給實(shí)體208。 一 個(gè)或多個(gè)設(shè)計(jì)開發(fā)者可以ail來自分布式設(shè)計(jì)者團(tuán)體212的多種方法被識別和/ 或選擇，并隨后用于開發(fā)設(shè)計(jì)。例如，設(shè)計(jì)者可以是組織、企業(yè)或培養(yǎng)合作的和分布式的設(shè)計(jì)開發(fā)的團(tuán)體的成員或顧問的雇員。在一些情況中，設(shè)計(jì)者可能 彼此沒有其他的正式或非正式關(guān)系。在一些實(shí)施例中， 一個(gè)或多個(gè)設(shè)計(jì)者可以 扮演負(fù)責(zé)組織和協(xié)調(diào)其他開發(fā)者的成果的設(shè)計(jì)項(xiàng)目經(jīng)理。設(shè)計(jì)項(xiàng)目經(jīng)理還可以 歹lj出條款，例如但不限于，項(xiàng)目的價(jià)格，項(xiàng)目進(jìn)度表，以及項(xiàng)目風(fēng)險(xiǎn)。在一個(gè) 實(shí)施例中，項(xiàng)目經(jīng)理創(chuàng)建用于項(xiàng)目的項(xiàng)目計(jì)劃，其可以包括但不限于，估計(jì)的 項(xiàng)目價(jià)格和進(jìn)度表，以及描述如設(shè)計(jì)參數(shù)的要求文檔，以及項(xiàng)目的范圍和風(fēng)險(xiǎn)。 在一些實(shí)施例中，開發(fā)者可以包括建筑師，設(shè)計(jì)師，程序員，質(zhì)量保證工
程師以及其他設(shè)計(jì)開發(fā)角色，如Hughes的共同未決的美國專利申請序列號No. 10/408,402中所描述的，該申請的題目為"用于軟件開發(fā)的方法和系統(tǒng)(Method and Systems for Software Development)"，其全部內(nèi)容在此被并入作為參考。
在一個(gè)實(shí)施例中，設(shè)計(jì)開發(fā)域204包括通信服務(wù)器216，設(shè)計(jì)約菊方法論 220，設(shè)計(jì)開發(fā)軟件224和審查理事會228。通信服務(wù),供渠道，外部實(shí)體208， 設(shè)計(jì)者團(tuán)體212以及審查理事會228可以通過該渠道相互作用，例如，提供文 檔，提交設(shè)計(jì)，弓l出并提供反饋，審查提交的設(shè)計(jì)，以及潛在地評估和/或選擇 提交的設(shè)計(jì)。在一些實(shí)施例中，通信服務(wù)器是前文所述的服務(wù)器104或是其一 部分，而在其他情況下，通信服務(wù)器可以是獨(dú)立的服務(wù)器，其可以通過應(yīng)用軟 件服務(wù)提供商(ASP)，因特網(wǎng)服務(wù)提供商(ISP)或其他第三方被操作和/或外 購。
結(jié)構(gòu)化設(shè)計(jì)開發(fā)方法論220提供用于設(shè)計(jì)的開發(fā)的框架。方法論220制定 了通用的詞匯表，固定的可交付的集合，以及設(shè)計(jì)開發(fā)過程的任何其他方面。 進(jìn)一步，M31使用結(jié)構(gòu)化方法論，參加者(例如，設(shè)計(jì)者212，實(shí)體208)可以 有效的交流，而且每個(gè)設(shè)計(jì)過程步驟的輸出是己知的且可以檢驗(yàn)，從而降低了 生產(chǎn)質(zhì)量設(shè)計(jì)所需的成本和時(shí)間。
設(shè)計(jì)開發(fā)軟件224提供了用于執(zhí)行方法論220的操作機(jī)制，以及設(shè)計(jì)開發(fā) 環(huán)境，其中設(shè)計(jì)者可以做開發(fā)、改變、組合、瀏覽、測試、提交和檢驗(yàn)設(shè)計(jì)中 的一項(xiàng)或多項(xiàng)。在一些實(shí)施例中，如所示的，設(shè)計(jì)開發(fā)軟件224的部件可以駐 留在服務(wù)器104上，而一些部件可以被包括在駐留在客戶端的客戶端軟件中， 例如，如上所述的。例如設(shè)計(jì)開發(fā)軟件224可以包括一個(gè)或多個(gè)在客戶端108 上執(zhí)行的獨(dú)立軟件應(yīng)用程序。設(shè)計(jì)開發(fā)軟件224可選地能夠包括一個(gè)或多個(gè)模 ±央，例如設(shè)計(jì)庫，由所述模塊設(shè)計(jì)者可以訪問以前開發(fā)的設(shè)計(jì)和文件模板；文
9件特征，其提供關(guān)于設(shè)計(jì)術(shù)語，語法和功能的信息；以及其他有用的功能。
圖3提供了用于開發(fā)設(shè)計(jì)的方法的實(shí)施例的概要說明，例如，使用前文所 述的設(shè)計(jì)開發(fā)域204。通信服務(wù)器216接收描述想要的設(shè)計(jì)的說明書(步驟304)。 說明書可以包括如設(shè)計(jì)類型，設(shè)計(jì)大小，大小和色彩要求，設(shè)計(jì)想要或不想要 的主題，用于創(chuàng)建設(shè)計(jì)的背景信息，提交時(shí)可以接受的文件的類型和格式，要 求的文檔等。說明書隨之傳達(dá)給分布式設(shè)計(jì)者團(tuán)體212 (步驟308)。說明書可 以Mil張貼到分布式設(shè)計(jì)者團(tuán)體中的成員可以訪問的web站點(diǎn)上進(jìn)行傳達(dá)。說 明書可以通過電子郵件，即時(shí)消息(IM) ^iKl任何其他適當(dāng)?shù)耐ㄐ偶夹g(shù)進(jìn)行 傳達(dá)。說明書還可以包括任何回復(fù)的最后期限，對于一個(gè)或多個(gè)被選擇的(例 如，獲勝的)設(shè)計(jì)支付的獎(jiǎng)賞。例如，獎(jiǎng)賞可以用于第一、二三名的 ， 該獎(jiǎng)賞在說明書中進(jìn)行描述。
團(tuán)體212中的一個(gè)或多個(gè)設(shè)計(jì)開發(fā)者響應(yīng)于說明書中描述的要求創(chuàng)建設(shè) 計(jì)。 一旦完成，設(shè)計(jì)被傳送，并在服務(wù)器104被接收(步驟312)。提交的設(shè)計(jì) 然后接受設(shè)計(jì)審查過程(步驟316)。在一個(gè)實(shí)施例中， 一個(gè)或多個(gè)審查者(例 如，有技術(shù)的，有經(jīng)驗(yàn)的和/或高級別的專家，中心小組(focus group)，客戶等) 比較所述設(shè)計(jì)和說明書，關(guān)于其對要求的實(shí)施和設(shè)計(jì)的全面的美學(xué)屬性評估提 交的作品(例如，符合方法論220)。
在一個(gè)實(shí)施例中，響應(yīng)于所述評估，提交作品中最好的一個(gè)或多個(gè)設(shè)計(jì)被 選擇(步驟320)。
圖4提供了，的一般方法的一個(gè)可能的實(shí)施方式。在一些這樣的實(shí)施例 中，設(shè)計(jì)開發(fā)過程ffi31協(xié)調(diào)者400 !鵬督并管理。協(xié)調(diào)者400可以是任何能夠 執(zhí)行此處描述的功能的個(gè)人，小組或?qū)嶓w。在一些瞎況中，協(xié)調(diào)者400可以從 分布式設(shè)計(jì)開發(fā)者團(tuán)體208中選擇，基于例如以 交設(shè)計(jì)的成功者和/或獲得 高等級的成功者。在其他情況下，協(xié)調(diào)者400可以由實(shí)體(例如，實(shí)體20S)請 求的設(shè)計(jì)的開發(fā)提供或指定，從而為了進(jìn)一步確保最終產(chǎn)品會符合說明書而視 察設(shè)計(jì)開發(fā)過程。
最初，協(xié)調(diào)者400接收來自希望具有為了他們的利益開發(fā)的設(shè)計(jì)的實(shí)體(未
示出)的輸入。實(shí)體可以是，例如，將要有一個(gè)或多個(gè)計(jì)^m程序被設(shè)計(jì)和/或
開發(fā)的公司，該計(jì)算機(jī)程序?yàn)榱藝鴥?nèi)使用或作為他們打算商業(yè)賣出的較大的應(yīng) 用程序的部分。實(shí)體可以是，例如，打算重新設(shè)計(jì)其web頁面的公司。實(shí)體可以是，例如，想要有被設(shè)計(jì)的社團(tuán)徽標(biāo)的公司。實(shí)體可以是，例如，想要用于
在因特網(wǎng)web站點(diǎn)展示的標(biāo)語廣告設(shè)計(jì)的公司。在一些情況下，實(shí)體用設(shè)計(jì)要 求提供詳細(xì)的說明書，在其他情況下，只有短的要求清單被提供。協(xié)調(diào)者從外 部實(shí)體接收短的要求清單(步驟406)、完整的說明書(步驟408)，或在一些情 況下接收兩者。然而，如果沒有說明書被提供，或者如果說明書需要修訂以符 合方法論，協(xié)調(diào)者可以根據(jù)所述要求開發(fā)說明書(步驟410)。例如，所述要求 可以只描述設(shè)計(jì)的外觀，而說明書將包括提交的技術(shù)要求(例如，文件格式， 圖形大小等)。在一些情況下，設(shè)計(jì)開發(fā)團(tuán)體212的一個(gè)或多個(gè)成員404可以被 要求開發(fā)說明書，以及在一些情況下多個(gè)說明書可以被提交，并且被提交的之 一被選擇作為最終的說明書用于指導(dǎo)設(shè)計(jì)開發(fā)成果。
在一些情況下，說明書被指定難度級別，或者一些類似的關(guān)于該說明書的 協(xié)調(diào)者，實(shí)體或其他評估者認(rèn)為的依據(jù)該說明書產(chǎn)生設(shè)計(jì)有多難的指示。在一 些情況下，難度級別還可以基于被認(rèn)為完成任務(wù)需要的努力以及完成任務(wù)分配 的時(shí)間。難度級別可以以任何適當(dāng)?shù)姆绞奖磉_(dá)，例如，用數(shù)字衡量(例如，范 圍從I到IO)，字母級別，或者諸如簡單，中等或難這樣的描述。例如，用于設(shè) 計(jì)帶有很多色彩和文本約束的web站點(diǎn)的說明書在從1到10的范圍中具有9的 難度級別，而簡單的用于web站點(diǎn)的徽標(biāo)設(shè)計(jì)可以指定難度級別為2。如果還 有其他的實(shí)際約束，例如，如果設(shè)計(jì)需要少量時(shí)間(例如，2天)，難度級別由 于緊張的時(shí)間限制可選擇地可以提升。在一些實(shí)施例中，給提交了被選擇的設(shè) 計(jì)的設(shè)計(jì)者的獎(jiǎng)賞(例如，錢，技能等級等)可以部分基于說明書的相應(yīng)的難 度等級制定或者調(diào)整。
一旦說明書被接收到(或被開發(fā))，協(xié)調(diào)者400 (或者在一些情況下的項(xiàng)目 經(jīng)理，審査理事會成員，或其某種組合)審查說明書以確定其根據(jù)設(shè)計(jì)開發(fā)方 法論220是否符合作為完成的說明書的要求。方法論可以包括最好的練習(xí)活動， 模板，方針，以及標(biāo)準(zhǔn)，其在生產(chǎn)質(zhì)量設(shè)計(jì)的過程中，用一致并且有效的方式 幫助設(shè)計(jì)開發(fā)者。這種方法論的使用減少了設(shè)計(jì)的表現(xiàn)形式的重復(fù)思考和重復(fù) 創(chuàng)建的要求，從而 >了項(xiàng)目搟賣時(shí)間和成本，提高了質(zhì)量。
一旦完成，說明書通^1信服務(wù)器212被分發(fā)給一個(gè)或多個(gè)設(shè)計(jì)開發(fā)者 404， 404'， 404"(統(tǒng)稱404)，其可以是成員，例如，如圖2所示的團(tuán)體212的 分布式設(shè)計(jì)者團(tuán)體的成員。在一個(gè)非限制性的例子中，設(shè)計(jì)者404彼此無關(guān)聯(lián)。
ii例如，設(shè)計(jì)開發(fā)者可以沒有共同的雇傭者，可以在地理上散布在世界各地，并
且在一些情況下彼此沒有在先的相互作用。然而，作為團(tuán)體212的成員，設(shè)計(jì)
幵發(fā)者404可以參加一個(gè)或多個(gè)之前的設(shè)計(jì)競賽，禾n/或具有之ttr^交的經(jīng)受審
査的設(shè)計(jì)題目。這種方法允許實(shí)體208有權(quán)使用大量有資格的設(shè)計(jì)開發(fā)者。
傳送可以在諸如網(wǎng)絡(luò)112 (圖l)的通信網(wǎng)絡(luò)上發(fā)生，如艦電子由P件，即 時(shí)消息，文本消息，可以被web瀏覽器116訪問的web頁面上的張貼，ffi31新 的組，傳真，或任何其他適當(dāng)?shù)耐ㄐ拧Ｔ谝恍?shí)施例中，說明書的傳送可以伴 有獎(jiǎng)賞，報(bào)酬，或其{艘獎(jiǎng)的表示，其對于提交f雌擇的軟件設(shè)計(jì)的設(shè)計(jì)者是 有用的。在一些瞎況下，報(bào)酬的數(shù)量和/或鄉(xiāng)可以隨時(shí)間改變，或者隨著參加 者的數(shù)目的增加或減少而改變，或者兩者兼之。在一些情況下，多個(gè)設(shè)計(jì)者可 以有不同數(shù)量的報(bào)酬，例如，較大的報(bào)酉雕合最好的設(shè)計(jì)，小一些的報(bào)酬給第二 名。收到獎(jiǎng)品的設(shè)計(jì)者的數(shù)量可以基于，例如，參加設(shè)計(jì)項(xiàng)目的設(shè)計(jì)者的數(shù)量， 或者其他^f以的屬性。
說明書的接受者可以通過多種方法選擇。在一些實(shí)施例中，團(tuán)體的成員可 以表達(dá)參加設(shè)計(jì)開發(fā)項(xiàng)目的興趣，而在一些情況下，個(gè)人基于先前在設(shè)計(jì)競賽 的表現(xiàn)，先前的開發(fā)項(xiàng)目，或者衡量設(shè)計(jì)幵發(fā)者技能的其他方法被選擇。例如， 分布式設(shè)計(jì)開發(fā)者團(tuán)體的成員可以是設(shè)計(jì)開發(fā)者，其以前參加了設(shè)計(jì)競賽，或 (例如，在軟件設(shè)計(jì)的情況下)參加了在線編程和/或?qū)懘a和/或部件設(shè)計(jì)競賽， 或(例如，在其他設(shè)計(jì)的情況下)已經(jīng)證明或聲明相應(yīng)的經(jīng)驗(yàn)。在這種情況下， 參加者的技能可以根據(jù)他們的表現(xiàn)評估等級，或者單獨(dú)地作為團(tuán)隊(duì)，或者與其 他人相關(guān)地，等級被用于確定哪個(gè)設(shè)計(jì)開發(fā)者有資格接收新的說明書的通知或 者響應(yīng)通知。
在一個(gè)實(shí)施例中，協(xié)調(diào)者400主持多個(gè)參加者(外部實(shí)體208，開發(fā)者404 等)的討論會以關(guān)于設(shè)計(jì)特征進(jìn)行決定，討論或者合作。討論會可以包括開發(fā) 者，客戶，預(yù)期的客戶，或者其他對特定設(shè)計(jì)的開發(fā)有興趣的人。在一個(gè)實(shí)施 例中，所述討論會是在線論壇，其中參加者可以發(fā)布想法，問題，建議或其他 信息。在一些實(shí)施例中，只有論±云成員的子集可以在論壇上發(fā)布建議。
一旦接收到說明書， 一個(gè)或多個(gè)開發(fā)者404均根據(jù)該說明書開發(fā)設(shè)計(jì)(步 驟412， 412'和412")。設(shè)計(jì)的開發(fā)可以使用任何適當(dāng)?shù)拈_發(fā)系統(tǒng)完成，例如， 由通信服務(wù)器216提供的設(shè)計(jì)開發(fā)軟件224，由開發(fā)者404 J^共的開發(fā)環(huán)境，或
12者其某種組合。 一旦開發(fā)者404感到她的設(shè)計(jì)滿足指定的要求并遵循開發(fā)方法 論220，則她提 的設(shè)計(jì)，例如，MOT信服務(wù)器216，傳真，電子郵件，郵 遞或其他方式。
為了決定選擇哪個(gè)設(shè)計(jì)，設(shè)計(jì)審查過程(步驟414)被使用。設(shè)計(jì)審查可 以以多種方式發(fā)生。在一些情況下，協(xié)調(diào)者400可以委派審查過程給分布式設(shè) 計(jì)者團(tuán)體的一個(gè)或多個(gè)成員，或者實(shí)體的被委派者。在一些實(shí)施例中，設(shè)計(jì)審 查過程包括一個(gè)或多個(gè)設(shè)計(jì)開發(fā)者作為設(shè)計(jì)審查理事會審查其他設(shè)計(jì)者提交的 設(shè)計(jì)。在一個(gè)實(shí)施例中，設(shè)計(jì)審查理事會有少量(如，少于10個(gè))的成員，例 如，3個(gè)成員，但是可以是任何數(shù)量。通常，審查理事會的形成是為了僅一個(gè)或 少量的相關(guān)項(xiàng)目，例如3個(gè)項(xiàng)目。在一些實(shí)施例中，審查理事會可以在延長的 時(shí)間內(nèi)形成，而人員改變也可以有助于保持質(zhì)量。
4，的是，設(shè)計(jì)審查理事會成員中的一個(gè)成員被協(xié)調(diào)者400和/或項(xiàng)目經(jīng)理， 審查理事會的成員，和/或請求設(shè)計(jì)的外部實(shí)體選擇作為首要的審查理事會成員。 在一些瞎況下，協(xié)調(diào)者400或協(xié)調(diào)者400的^(樣作為首要的審查理事會成員。 在這些情況下，首要的審查理事會成員負(fù)責(zé)理事會活動的協(xié)調(diào)和管理。
在一個(gè)實(shí)施例中，對于軟件設(shè)計(jì)的提交物由設(shè)計(jì)審查理事會鑒定。在一些 實(shí)施例中，首要的審查理事會成員在其他的設(shè)計(jì)審查理事會成員審查之前篩選 設(shè)計(jì)提交物，使得其他的審查理事會成員只鑒定提交物中最好的。在一些實(shí)施 例中，篩選過程包括基于提交物滿足說明書中概述的形式要求(例如，提交的 格式和元素)的程度為提交物打分。在一些實(shí)施例中，分?jǐn)?shù)使用記分卡記錄， 其可以是文檔，電子數(shù)據(jù)表，在線形式，數(shù)據(jù)庫，或其它電子文檔。在一些情 況下，設(shè)計(jì)審查理事會還可以檢驗(yàn)開發(fā)者404的匿名性，從而他們的身份不會 從他們的提交物辨別出來。
篩選審查可以確定是否滿足設(shè)計(jì)所需的元素(例如，色彩選擇，色彩范圍， 所需的文本，大小，禾口圖形圖像的分辨率等)。
在一個(gè)實(shí)施例中，首要的審查理事會成員通知設(shè)計(jì)審查理事會， 一個(gè)或多 個(gè)提交物己經(jīng)傳送到初步的篩選(步驟416)，然后設(shè)計(jì)審查理事會更詳細(xì)地評 估設(shè)計(jì)提交物，例如，通過基于說明書中記錄的要求審查提交物。在一些實(shí)施 例中，設(shè)計(jì)審查理事會為提交物打分(步驟418)。在一些實(shí)施例中，分?jǐn)?shù)使用 記分卡記錄，其可以是任何形式，包括文檔，電子數(shù)據(jù)表，在線形式， 庫，或其它電子文檔。
在一些實(shí)施例中，來自首要的審查理事會成員和其他設(shè)計(jì)審查理事會成員 的分?jǐn)?shù)和評論被合計(jì)為最終的評論和分?jǐn)?shù)。在一些實(shí)施例中，合計(jì)可以包括編 輯一個(gè)或多個(gè)文檔中的信息。這種合計(jì)可以由首要的審查理事會成員，設(shè)計(jì)審 查理事會的其他成員執(zhí)行，或者在一個(gè)示范性的實(shí)施例中，合計(jì)可以使用基于
計(jì)算機(jī)的駐留在服務(wù)器104 (圖1)上的系統(tǒng)執(zhí)行。在一些實(shí)施例中，協(xié)調(diào)者400 或者首要的審查理事會成員解決設(shè)計(jì)審查理事會成員中的分歧或不一致。
在一個(gè)實(shí)施例中，具有最高的聯(lián)合分?jǐn)?shù)的一個(gè)或多個(gè)設(shè)計(jì)被選擇為獲勝設(shè) 計(jì)(步驟420)。獎(jiǎng)賞，報(bào)酬和/或贊譽(yù)將被纟^設(shè)計(jì)者。還可以有給予其他提交 的設(shè)計(jì)者的獎(jiǎng)賞，報(bào)酬和/或贊譽(yù)。例如，提交了第二和第三最佳設(shè)計(jì)的設(shè)計(jì)者 也可以收到報(bào)酬，其在一些情況下可以比獲勝的設(shè)計(jì)者的少。報(bào)酬還可以給予 技術(shù)的創(chuàng)意j頓，提交獨(dú)特的設(shè)計(jì)，或其他這樣的提交物。在一些實(shí)施例中， 設(shè)計(jì)的開發(fā)者可以質(zhì)疑分配給他們的設(shè)計(jì)，程序，或其他提交物的分?jǐn)?shù)。
在一些實(shí)施例中，除了審查提交物之夕卜，設(shè)計(jì)審查理事會還可以確定應(yīng)該 包括在設(shè)計(jì)中的設(shè)計(jì)的有用修改。首要的審查理事會成員記錄額外的要求，并 且將該信息傳送給提交設(shè)計(jì)的設(shè)計(jì)者404。在一個(gè)實(shí)施例中，首要的審查理事會 成員集合來自審查理事會的意見。設(shè)計(jì)者404可以更新設(shè)計(jì)并重新提交它給設(shè) 計(jì)審查理事會審查。這一過程可以重復(fù)直到首要的審查理事會成員認(rèn)為設(shè)計(jì)符 合全部所需的要求為止。
一旦設(shè)計(jì)審查理事會確認(rèn)設(shè)計(jì)已經(jīng)充分地滿足說明書的要求，則首要的審 查理事會成員通知協(xié)調(diào)者400，項(xiàng)目經(jīng)理，或外部實(shí)體，這樣的設(shè)計(jì)已經(jīng)M31設(shè) 計(jì)審查過程。然后該設(shè)計(jì)可以提供給請求該設(shè)計(jì)的實(shí)體。
在一個(gè)實(shí)施例中，設(shè)計(jì)審查過程414由審查者團(tuán)體進(jìn)行。在一個(gè)這樣的實(shí) 施例中，開發(fā)的設(shè)計(jì)首先被篩選(步驟416)以確定是否符合設(shè)計(jì)所需的元素。 一個(gè)或多個(gè)篩選者(其可以是審查理事會成員，協(xié)調(diào)者400，或者任何其他指定 的人)檢驗(yàn)與說明書的符合度。篩選者可以與設(shè)計(jì)者一起工作以依據(jù)預(yù)定的規(guī) 則，提交的時(shí)間，禾響題的性質(zhì)來解刺壬何關(guān)于設(shè)計(jì)的問題。
在一個(gè)實(shí)施例中， 一旦篩選者確認(rèn)設(shè)計(jì)提交物符合說明書的一些要求或全 部要求，則設(shè)計(jì)可以由多個(gè)審查者審查?？梢杂腥我舛鄠€(gè)審查者。在一個(gè)實(shí)施 例中，有10-50個(gè)審查者。在一個(gè)實(shí)施例中，有10-100個(gè)審查者。在一個(gè)實(shí)施例中，有10-1000個(gè)審查者。在一個(gè)實(shí)施例中，有100-5000個(gè)審査者。在一個(gè) 實(shí)施例中，有5000個(gè)以上的審查者。審查者審査提交的設(shè)計(jì)并評估它們的等級， 例如以上文描述的方法，但是比起描述的設(shè)計(jì)審查理事會的審查來其可以是更 簡單的審査，例如，只是喜好的等級評估，不帶有其他標(biāo)準(zhǔn)的要求。
應(yīng)當(dāng)理解的是，設(shè)計(jì)的審查可以以任何適當(dāng)?shù)姆绞桨l(fā)生，依賴于審查者的 數(shù)量和設(shè)計(jì)的數(shù)量。
在一個(gè)實(shí)施例中， 一個(gè)或多個(gè)篩選者確定提交物是否符合說明書的形式要 求(步驟416)，例如，提交物是完整的并且設(shè)計(jì)符合所需的文件格式和文檔。 少量審查者(例如l， 3，或5個(gè))的審查理事會審查提交物(步驟418)并評 估設(shè)計(jì)是否客觀上符合說明書。例如，如果文本是所需的，審查者審查文本以 確定它是否出現(xiàn)并正確地符合說明書的要求。審查理事會還可以從美學(xué)或其它 更多的主觀標(biāo)準(zhǔn)審查設(shè)計(jì)。審查理事會的結(jié)果被評估，并且基于審查理事會評 估的結(jié)果，預(yù)定數(shù)量的"最好的"設(shè)計(jì)被選擇(步驟420)。獎(jiǎng)賞或獎(jiǎng)品可以給 予其設(shè)計(jì)符合該選擇的設(shè)計(jì)者。在一個(gè)實(shí)施例中，"最好的"設(shè)計(jì)隨后提供給審 查者的較大的組。審查者的較大的組可以使用與審查理事會相同的標(biāo)準(zhǔn)，或者 可以提供更簡單的類憤不對以的反饋，或優(yōu)先選擇的等級。呈現(xiàn)給所述較大的 組的每個(gè)設(shè)計(jì)是具有最符合說明書標(biāo)準(zhǔn)的那些，所以所述較大的組可以用于確 定具有更普遍的感染力的那些設(shè)計(jì)。同樣，審查理事會通常包括有經(jīng)驗(yàn)的設(shè)計(jì) 開發(fā)者，而所述較大的組可以包括更多的設(shè)計(jì)預(yù)期的觀眾成員。
還應(yīng)當(dāng)理解的是，在不同的實(shí)施方式中，由一個(gè)或多個(gè)篩選者， 一個(gè)或多 個(gè)設(shè)計(jì)審查理事會成員，以及一個(gè)或多個(gè)較大組的成員進(jìn)行的審查可以以任意 順序發(fā)生。還應(yīng)當(dāng)理解的是，在審查的不同級別中，可以有任何數(shù)量的參加者。 因此，在一個(gè)實(shí)施例中，較大的組用于審查的第一階段，以減少提交物的集合 到少量的候選，然后該少量的候選由較小的組審查。在另一個(gè)實(shí)施例中，較小 的組用于審查的第一階段，以減少提交物的集合到少量的候選，然后該少量的 候選由較大的組審查。同樣地，可以有多個(gè)審查的級別(未示出)，其中較大或 較小的組參加審查。在一個(gè)這樣的實(shí)施例中，逐漸池審查者的較大的組(如， 三，四或更多組審查者)隨著候選的數(shù)量的減少而被考慮。
在一個(gè)實(shí)施例中，被選擇的設(shè)計(jì)(步驟423)重復(fù)地用作另一開發(fā)循環(huán)的 輸入。所述設(shè)計(jì)被包括，作為用于下一開發(fā)循環(huán)的要求406和說明書410的一部分。請求設(shè)計(jì)的實(shí)體可以基于前一循環(huán)的結(jié)果進(jìn)一步精煉說明書。例如，如 果方法的最初重復(fù)導(dǎo)致了三個(gè)設(shè)計(jì)的選擇，那么&H個(gè)設(shè)計(jì)可以被包括在說明 書中，帶有那些想要的特征的各方面的指示。在修訂的說明書中，設(shè)計(jì)者可以 被要求在下一循環(huán)在他們的提交物中包括那些特征的各方面。
在另一個(gè)實(shí)施例中，來自開發(fā)周期的一部分的結(jié)果(例如，在審査者的較 大的組選擇之前)被包括在另一個(gè)說明書中。例如，在一個(gè)實(shí)施例中，設(shè)計(jì)審
查理事會的成員，包括請求設(shè)計(jì)的實(shí)體的成員，從最初的篩選416中確定一個(gè)
或多個(gè)具有想要的特征的設(shè)計(jì)，但是這些設(shè)計(jì)并不是它們本身作為整體設(shè)計(jì)是 可接受的。代替繼續(xù)上文描述的過程和為了由審查者的較大的組進(jìn)行的審查發(fā) 送設(shè)計(jì)，設(shè)計(jì)審查理事會選擇那些具有想要的特征的設(shè)計(jì)作為勝利者，因此，
所述設(shè)計(jì)的設(shè)計(jì)者可以適當(dāng)?shù)乇华?jiǎng)賞。然后被選擇的設(shè)計(jì)被合并(步驟424)到 修訂的說明書中，其然后被傳送給設(shè)計(jì)開發(fā)者。
在該過程中還可能停在其他可能的地方，并且用額外的信息(外部信息， 或者由該過程生成的信息)修訂說明書，只要設(shè)計(jì)開發(fā)者感覺他們被過程中的 改變正確地對待。
在重復(fù)實(shí)施例中，可以有任何數(shù)量的循環(huán)，其中一個(gè)循環(huán)的輸出作為下一 個(gè)循環(huán)的輸入的一部分。ffl51這樣的重復(fù)過程，例如，ffiil獲得輸出423， 424 并使用其作為另一循環(huán)的輸入，對于請求設(shè)計(jì)的實(shí)體，在允許設(shè)計(jì)開發(fā)者在說 明書的弓l導(dǎo)下自主和創(chuàng)造的過程的情況下，可能逐漸更接近想要的設(shè)計(jì)。
參見附圖5，在一個(gè)實(shí)施例中，篩選者，其可以或可以不是審查理事會的 成員，執(zhí)行如上所述的設(shè)計(jì)的篩選(步驟502)以排除候選設(shè)計(jì)是任何不符合要 求的設(shè)計(jì)。如果設(shè)計(jì)不符合要求，篩選者可以通知設(shè)計(jì)者并允許重新提交，依 賴于選擇規(guī)則。
設(shè)計(jì)審查理事會，其可以是一個(gè)(例如， 一個(gè)篩選者)或一組人，選擇多 個(gè)符合要求的提交的設(shè)計(jì)，由多個(gè)審查者進(jìn)行審查(步驟504)。如果有適當(dāng)數(shù) 量的提交物，可以不需要進(jìn)一步的審查。但是，如果有大量的提交物，那么提 交物的數(shù)量可以被減少到較小的數(shù)量。這樣減少的一個(gè)目的可以，過縮小候 選的范圍來簡化較大的組的選擇。所述減少的另一個(gè)目的可以是選擇那些外觀 最受設(shè)計(jì)審查理事會成員喜歡的候選。設(shè)計(jì)審查理事會可以包括，例如，篩選 者，協(xié)調(diào)者，請求設(shè)計(jì)的實(shí)體的代表，請求設(shè)計(jì)的實(shí)體的客戶，由公眾成員(或
16設(shè)計(jì)的潛^(見眾)組成的中心小組(focus group),等等。 一旦候選設(shè)計(jì)提交物 的選擇發(fā)生了，然后候選可以被展現(xiàn)給審查者以進(jìn)行評估。
例如，在一個(gè)示范性實(shí)施例中，篩fe后，有25個(gè)提交物符合要求的標(biāo)準(zhǔn)。 設(shè)計(jì)審查理事會決定，由于設(shè)計(jì)的屬性，最好提供來自待選擇的10個(gè)纟魏給審 查者。設(shè)計(jì)審査理事會選擇10個(gè)成員們認(rèn)為是最好的纟M的設(shè)計(jì)。在另二瞎況 下，審查者可以展示全部25個(gè)給較大的組的審查者。甚至可以是更多的候選被 呈現(xiàn)給*狄的組的情況。然而，通常，目的是提供給審查者小組l^、數(shù)量的選 擇，使得M^每個(gè)審查者的，狄的組的成員需要的時(shí)間和工作量。
被選擇的設(shè)計(jì)的數(shù)量可以是適合由較大的組選擇的任何數(shù)量。例如，在一 個(gè)實(shí)施例中，設(shè)計(jì)被排除直到還剩10個(gè)設(shè)計(jì)。在另一個(gè)實(shí)施例中，設(shè)計(jì)被排除 直到還剩20個(gè)設(shè)計(jì)。這種符合要求的設(shè)計(jì)的額夕卜選擇僅在大量設(shè)計(jì)被提交時(shí)才 是必需的。設(shè)計(jì)可以根據(jù)示范性因素被評估，例如，外觀，設(shè)計(jì)主題的表現(xiàn)， 色彩選擇等。設(shè)計(jì)審查理事會可以將設(shè)計(jì)審查理事會成員不會感覺喜歡的設(shè)計(jì) "精選"到他們發(fā)現(xiàn)是可接受的集合中。
根據(jù)設(shè)計(jì)審查理事會成員的數(shù)量，存在不同的技術(shù)可以被用于選擇候選。 在一個(gè)實(shí)施例中，利用提供反饋的機(jī)制，系統(tǒng)通過向成員們展示選擇簡化了設(shè) 計(jì)審查理事會成員的審查。反饋可以是簡單的指^個(gè)人的優(yōu)先選擇(例如， 慰否，或者數(shù)字評估)或者給每個(gè)分級。任何適當(dāng)?shù)募夹g(shù)可以被用于懇求并聚 集來自設(shè)計(jì)審查理事會成員的響應(yīng)標(biāo)記。在一個(gè)實(shí)施例中，每個(gè)設(shè)計(jì)審査理事 會成員獲得一個(gè)或多個(gè)"否決"投票以排除他不喜歡的候選。
設(shè)計(jì)審查理事會可以與通信服務(wù)器104交互，例如，使用客戶端軟件124， 來審查提交物并選擇應(yīng)該提供給審查團(tuán)體的提交物。
在一個(gè)實(shí)施例中，設(shè)計(jì)審查理事會還可以考慮來自對作者身份和知識產(chǎn)權(quán) 問題的觀察的設(shè)計(jì)審查。例如，設(shè)計(jì)審查理事會可以考慮設(shè)計(jì)提交物與由競賽 者或其他人提供的設(shè)計(jì)之間有多相似，為了進(jìn)一步的潛在目標(biāo)，如果被選擇了， 那么該設(shè)計(jì)不會弓l起來自第三方的關(guān)注。設(shè)計(jì)審查理事會還可以考慮設(shè)計(jì)的保 護(hù)，重視版權(quán)和商標(biāo)法。這可能導(dǎo)致法律審查，或者其他的技術(shù)來排除由候選 集合引起的可能的問題。雖然在這個(gè)階段，更多時(shí)間潛在地消耗在考慮大量的 f魏上，但不是只要單，擇被選中，而可能優(yōu)選的是在一些瞎況下這樣做。
一旦flM集合被確定，設(shè)計(jì)審查理事會可以接著考慮較大的組的意見來決定選擇一個(gè)或多個(gè)"最好的"設(shè)計(jì)。系統(tǒng)請求來自審查者的較大的組的被選擇
的提交物的審査(步驟506)。審查者的較大的組可以是設(shè)計(jì)計(jì)劃的觀眾，例如， 客戶和被設(shè)計(jì)徽標(biāo)的公司的潛在合作者。審查者的較大的組可以是，在web頁 面界面的情況下，例如web頁面的潛在用戶。審查者的較大的組可以包括其他 設(shè)計(jì)開發(fā)者，請求實(shí)體的成員(例如，公司雇員，如銷售和市場人員)，或者任 何其他的適合的組或者人員的組的組合。在一個(gè)實(shí)施例中，審查者包括與實(shí)體 無關(guān)，但是同意提供關(guān)于設(shè)計(jì)的意見的人員。審查者的較大的組的人口統(tǒng)計(jì)(例 如，他們居住地，他們用的語言，他們的年齡，iB(A等)在選擇較大的組時(shí)可 以是重要的考慮。
審查者的較大的組可以ffl31某種方式對他們的參與支^(射艮酬。例如，審查 者可以被提供金錢或者其他的獎(jiǎng)賞或獎(jiǎng)品，或者參加抽取這樣的獎(jiǎng)品的機(jī)會。 參加一個(gè)或多個(gè)審查者的參加的組可以是提交設(shè)計(jì)的要求。例如，在一個(gè)實(shí)施 例中，設(shè)計(jì)開發(fā)者需要在預(yù)定時(shí)間期間內(nèi)(例如，星期，月，季度)參加預(yù)定 數(shù)量的審查者的較大的組來具有提交設(shè)計(jì)的能力。
較大的組的審查者可以被歸類和/或分等級，例如，基于他們有多可靠，他 們響應(yīng)有多快，和/或他們的選擇與在他們參加的審查中較大的組的選擇有多相 稱。
在一個(gè)實(shí)施例中，審查者的較大的組通過電子郵件被邀請審查設(shè)計(jì)。每個(gè) 審查者的較大的組收到指引他們至抱括fi魏設(shè)計(jì)的清單的web頁面的電子郵件 信息。在徽標(biāo)的情況下，候選在頁面展示，連同任何審查需要的附加信息以及 用于指定響應(yīng)標(biāo)記的選擇工具。例如，如果有10個(gè)候選設(shè)計(jì)，每個(gè)設(shè)計(jì)可以被 分配從1到10的響應(yīng)標(biāo)記，并且審查者被要求按照審查者對設(shè)計(jì)喜歡的順序給 *設(shè)計(jì)指定數(shù)字。在另一個(gè)實(shí)施例中，審查者被要求評估設(shè)計(jì)的特殊屬性(例 如，色彩，文本布局，主題的表現(xiàn)，等)和/或給出全面的評估或者喜歡程度。 特殊的屬性可以單獨(dú)評估，或者通TO每個(gè)設(shè)計(jì)按照喜歡的順序指定數(shù)字。在 另一個(gè)實(shí)施例中，自由格式的文本輸入域被提供，其中審查者可以描述他們喜 歡或不喜歡的每個(gè)設(shè)計(jì)的特殊屬性(色彩，文本，圖形，布局，等)。
當(dāng)任何適當(dāng)?shù)慕缑婵梢员皇褂脮r(shí)，以允許每個(gè)候選設(shè)計(jì)彼此比較的方式展 示設(shè)計(jì)有效地簡化了每個(gè)審查者的審查。它還允許如下所述的有效的聚集。如 果設(shè)計(jì)不能簡單的在同一頁面比較，那么可以在審查頁面上存在關(guān)于設(shè)計(jì)的指示符，例如帶有設(shè)計(jì)的概要圖，以及到候選設(shè)計(jì)的完全展示的鏈接。任何用于 提供響應(yīng)標(biāo)記的適當(dāng)?shù)南到y(tǒng)可以被使用，取決于用于聚集結(jié)果的方法。通常，
web頁面用于收集審查者關(guān)于設(shè)計(jì)的反饋(步驟508)。任何適當(dāng)?shù)募夹g(shù)可以被 4頓，包括但不局限于艦電話，移動電話等的選擇。
在審查之后，來自審查者的結(jié)果被聚集，例如，ffi31任何適當(dāng)?shù)姆椒?，?確定最tti^的設(shè)計(jì)(步驟510)。例如，在一個(gè)實(shí)施例中，Schulze方法被用于比 較。Schulze方法具有下述優(yōu)點(diǎn)如果候選與其它候選兩兩比較是優(yōu)選的，那么 當(dāng)與其它的每一個(gè)依次比較時(shí)，Schuke方法保證該候選能夠獲勝。其他的方法 Condorcet方法(即選拔兩兩比較的獲勝者)也可以是合適的，其可以是任何其 他合適的投票系統(tǒng)，例如Borda和Instant-runoff投票。
通常，按照^^柳頃序選擇多個(gè)候選是有用的，并且交流來自審查者的較 大的組的響應(yīng)與最佳的選擇有多接近也是有用的。例如，請求的實(shí)體可以不優(yōu) 選由審查者選擇的最佳選擇，但是可以優(yōu)選由較大的組決定的最佳選擇。請求 實(shí)體可以引導(dǎo)評估最高的設(shè)計(jì)的其它審查(例如，市場調(diào)查，國際審查，法律 審查)，并且它可以產(chǎn)生將排除采用的法律關(guān)注。
當(dāng)設(shè)計(jì)被選擇時(shí)，原始的設(shè)計(jì)開發(fā)者可以被雇傭做設(shè)計(jì)的附加工作或者其 他設(shè)計(jì)開發(fā)者可以被雇傭。典型地，設(shè)計(jì)開發(fā)者的提交物將包括全部信息和文 檔(包括適當(dāng)格式的設(shè)計(jì)的電子復(fù)制件)，從而設(shè)計(jì)在其預(yù)期的情況下是有用的。
在一個(gè)實(shí)施例中，提交設(shè)計(jì)的設(shè)計(jì)開發(fā)者基于他們的提交物被評定等級。
該等級基于下述被計(jì)算每個(gè)設(shè)計(jì)者在提交前的等級，以及其它因素，如提交
的設(shè)計(jì)的指定的難度等級，其它制作提交物的設(shè)計(jì)開發(fā)者的數(shù)量以及設(shè)計(jì)收到 的反饋。如果在等級評定中使用了難度，那么當(dāng)項(xiàng)目被接受時(shí)，將做出項(xiàng)目的 難度的評估。通常，支付給項(xiàng)目的量與項(xiàng)目的難度有很大的關(guān)系，因此，可以 采用一個(gè)來決定另一個(gè)。基于每個(gè)開發(fā)者在提交前的等級以及不變的標(biāo)準(zhǔn)等級
(例如，1200)，每個(gè)設(shè)計(jì)開發(fā)者的技能等級被計(jì)算，以及基于不穩(wěn)定的和標(biāo)準(zhǔn) 的等級計(jì)算每個(gè)開發(fā)者的偏差。
提交設(shè)計(jì)的每個(gè)設(shè)計(jì)開發(fā)者的預(yù)期表現(xiàn)通過評估設(shè)計(jì)開發(fā)者的提交物相對 于其他設(shè)計(jì)開發(fā)者的提交物的預(yù)期分?jǐn)?shù)，以及分級每個(gè)設(shè)計(jì)開發(fā)者的預(yù)期表現(xiàn) 來計(jì)算。提交物可以由審查者使用任何數(shù)量的方法來評分，包括但不局限于如 上所述的那些。提交物可以基于一個(gè)或多個(gè)衡量標(biāo)準(zhǔn)或基于提交物候選是否被
19最終選擇來評分。因此，預(yù)期的分?jǐn)?shù)可以是分?jǐn)?shù)，或者提交物將成為最好的被 選擇的設(shè)計(jì)之一的預(yù)期的反映。
基于被提交的軟件的分?jǐn)?shù)，以及來自其它設(shè)計(jì)開發(fā)者的提交物的分?jǐn)?shù)(例 如，是否針對相同的設(shè)計(jì)或者針對一個(gè)或多個(gè)其它具有相似難度等級的程序)， 每個(gè)設(shè)計(jì)開發(fā)者被分級，并且實(shí)際表現(xiàn)的衡量標(biāo)準(zhǔn)基于他們的當(dāng) 交物的等 級以及其它設(shè)計(jì)開發(fā)者的等級來計(jì)算。在一些情況下，用于比較的來自其他設(shè) 計(jì)開發(fā)者的提交物針對相同的設(shè)計(jì)。在一些情況下，來自其他設(shè)計(jì)開發(fā)者的提 交物是對!^佳度或范圍的提交物。
競賽因素還可以根據(jù)設(shè)計(jì)開發(fā)者的數(shù)量，每個(gè)設(shè)計(jì)開發(fā)者在提交設(shè)計(jì)之前 的等級，設(shè)計(jì)幵發(fā)者在提交之前的平均等級以及旨設(shè)計(jì)開發(fā)者在提交之前的
等級的不穩(wěn)定性(volatility)來計(jì)算。
然后采用他們舊的等級，競賽因素，以及他們實(shí)際的分?jǐn)?shù)和預(yù)期的分?jǐn)?shù)之 間的差別，每個(gè)設(shè)計(jì)幵發(fā)者可以具有被評估等級的表現(xiàn)。該表現(xiàn)等級可以基于 接收自設(shè)計(jì)開發(fā)者的先前提交物的數(shù)量加以權(quán)重，并且可以用于計(jì)算設(shè)計(jì)開發(fā) 者新的等級和不穩(wěn)定性。在一些情況下，設(shè)計(jì)開發(fā)者的表5JM—個(gè)提交物的影 響可以有上限，因此，任何一個(gè)提交物不會過于重大的作用在設(shè)計(jì)開發(fā)者的等 級上。在一些情況下，設(shè)計(jì)開發(fā)者的分?jǐn)?shù)可以有上限最大值，因此，存在最大 可能的等級。每個(gè)設(shè)計(jì)開發(fā)者的預(yù)期項(xiàng)目表現(xiàn)通過評估設(shè)計(jì)開發(fā)者相對于其他 設(shè)計(jì)開發(fā)者的預(yù)期的項(xiàng)目表現(xiàn)以及對^參加者的預(yù)期表現(xiàn)進(jìn)行分類來計(jì)算。 提交物和參加者可以由幼、調(diào)人400，實(shí)體208，審查理事會成員，禾n/或使用駐留
在例如服務(wù)器104上的軟fH吏用很多方法自動地評分。
關(guān)于評分方法的一個(gè)這樣的例子在Lydon等人的題目為"用于編碼競賽的 方法和系統(tǒng)(Systems and Methods for Coding Competitions)"的美國專利號No. 6569012中有描述，例如，在第15欄第39行到第16欄第52行，以及第18欄 第65行到第21欄第51行，在此其全部被引入作為參考。其中描述的方法論關(guān) 于編程競賽，可適用于對設(shè)計(jì)的開發(fā)分等級，以及數(shù)據(jù)模型，應(yīng)用程序，部件 和其他由于使用，方法論而產(chǎn)生的工作產(chǎn)品。
在一個(gè)實(shí)施例中，在每個(gè)競賽之后，^提交解決方案給競賽的設(shè)計(jì)開發(fā) 者根據(jù)下列算法重新評級，基于最后50個(gè)評分的設(shè)計(jì)，排除了設(shè)計(jì)開發(fā)者擁有 的先前的提交物。(另一個(gè)數(shù)字可以用于取代50，例如，30， 80， 100或者其他數(shù)字。)然后^設(shè)計(jì)開發(fā)者的等級基于設(shè)計(jì)開發(fā)者收到的分?jǐn)?shù)和最后50 ^i平
分的成分的分?jǐn)?shù)的比較被確定。用于先前的分?jǐn)?shù)的等級是設(shè)計(jì)開發(fā)者在設(shè)計(jì)開
發(fā)者提交解決方案時(shí)的等級。然后計(jì)算每個(gè)人的平均等級
其中NumCoders是競賽中設(shè)計(jì)開發(fā)者的數(shù)量，Rating是在競賽之前在沒有 競賽中的設(shè)計(jì)開發(fā)者的不穩(wěn)定性的情況下的等級。
其中Volatility是在競賽之前競賽中的設(shè)計(jì)開發(fā)者的不穩(wěn)定性。 獲勝可能性評估算法
+ 1
^2(關(guān)2 +Fo/22)
其中Ratingl和Voll是被比較的設(shè)計(jì)開發(fā)者的等級和不穩(wěn)定性，Rating2和 Vo12是被計(jì)算獲勝可能性的設(shè)計(jì)開發(fā)者的等級和不穩(wěn)定性。Erf是"誤差函數(shù)"， 在該實(shí)施方式中其是積分正態(tài)分布(其是高斯函數(shù)的標(biāo)準(zhǔn)化形式)中遇到的誤
設(shè)計(jì)開發(fā)者比競賽中的另一設(shè)計(jì)開發(fā)者獲得更高分的可能性(WPi， i從l 到NumCoders)被評估。設(shè)計(jì)開發(fā)者的預(yù)期等級被計(jì)算
設(shè)計(jì)開發(fā)者的預(yù)期表現(xiàn)被計(jì)算:
肌r/ = -cD(-
其中o是標(biāo)準(zhǔn)正態(tài)函數(shù)的逆。
*設(shè)計(jì)開發(fā)者的實(shí)際表現(xiàn)被計(jì)算:
柴r/ = —
匿)
其中，ARank是競賽中的設(shè)計(jì)開發(fā)者基于分?jǐn)?shù)的實(shí)際等級(對于第一名是 1，對于最后一名是NumCoders)。如果設(shè)計(jì)開發(fā)者與另一個(gè)開發(fā)者不分勝負(fù)，
21那么該等級為不分勝負(fù)的設(shè)計(jì)開發(fā)者所涉及的位置的平均值。 作為設(shè)計(jì)開發(fā)者的等級評定的表現(xiàn)被計(jì)算
對于開發(fā)設(shè)計(jì)者的競賽的禾又重被計(jì)算
= ^——^-^ _ i
1--^-+ .18
、(riwes尸/qyed +1) J乂
其中TimesPlayed是設(shè)計(jì)開發(fā)者以前被評等級的次數(shù)。
為了使較高等級的成員穩(wěn)定，其等級評定在2000到2500之間的成員的權(quán)
重減少10%且其等級評定超過2500的成員的權(quán)重減少20%。
上限(cap)被計(jì)算
"，《n 1500
Ca/ = 150 +-
1 + r,'AW^尸—ed
設(shè)計(jì)開發(fā)者新的不穩(wěn)定性被計(jì)算
脂一 ,妙/ +1
設(shè)計(jì)開發(fā)者新的等級評定被計(jì)算
歸一 =腸"脂^ 1 + ,妙,
如果fNewRating-Ratingl〉Cap，那么NewRating被調(diào)整，因此，與Rating不
同，其至多為Cap。
盡管此處描述的是關(guān)于特定設(shè)計(jì)，但當(dāng)執(zhí)行關(guān)于審美的，藝術(shù)的，或圖片 設(shè)計(jì)時(shí)也是有用的，合作的開發(fā)工作產(chǎn)品可以是任何種類的有形的或無形的對 象，其具體化為智力成果或者知識產(chǎn)權(quán)。作為非限制性的例子，所述技術(shù)可以 用于計(jì)算機(jī)硬件和電子設(shè)計(jì)，或者其他設(shè)計(jì)，例如建筑學(xué)，結(jié)構(gòu)，音樂，或者 風(fēng)景設(shè)計(jì)。所述技術(shù)可以被使用的其他非限制性的例子包括所有種類的書寫的 文檔和內(nèi)容的開發(fā)，例如文檔和用于報(bào)紙和雜志(無論是在線的或是紙件的) 的文章，研究論文，劇本，多媒體內(nèi)容，法律文檔等。
權(quán)利要求
1、一種用于開發(fā)設(shè)計(jì)的方法，包括電子地分發(fā)用于設(shè)計(jì)的說明書給分布式設(shè)計(jì)者團(tuán)體；接收響應(yīng)分發(fā)的設(shè)計(jì)說明書的來自設(shè)計(jì)者團(tuán)體的子集中的每一個(gè)的設(shè)計(jì)；篩選接收的不滿足說明書的設(shè)計(jì)；簡化由多個(gè)評估者進(jìn)行的對接收的設(shè)計(jì)的子集的評估；以及響應(yīng)簡化的設(shè)計(jì)評估選擇優(yōu)選的設(shè)計(jì)。
2、 權(quán)利要求1的方法，進(jìn)一步包括評定接收的設(shè)計(jì)的等級。
3、 權(quán)禾腰求l的方法，其中依據(jù)預(yù)定的標(biāo)7頓所述設(shè)計(jì)評定等級。
4、 權(quán)利要求3的方法，其中{頓記分卡對所述設(shè)計(jì)評定等級。
5、 權(quán)利要求2的方法，進(jìn)一步包括響應(yīng)于接收的設(shè)計(jì)的等級評定對設(shè)計(jì)者 團(tuán)體的子集中的設(shè)計(jì)者進(jìn)行歸類。
6、 權(quán)利要求l的方法，其中所述設(shè)計(jì)包括web站點(diǎn)設(shè)計(jì)。
7、 權(quán)利要求1的方法，其中所述設(shè)計(jì)包括用于軟件應(yīng)用程序的設(shè)計(jì)。
8、 權(quán)利要求7的方法，其中所述軟件應(yīng)用程序可以經(jīng)由因特網(wǎng)被提供作為 基于web的應(yīng)用程序。
9、 權(quán)利要求8的方法，其中說明書包括一個(gè)或多個(gè)要求，其選自下述要求 集合設(shè)計(jì)類型，設(shè)計(jì)大小，大小和顏色要求，關(guān)于設(shè)計(jì)的想要或不想要的主 題，用于倉犍設(shè)計(jì)的背景信息，可接受的文ft^M和格式，以及所需的文檔。
10、 權(quán)利要求1的方法，其中篩選包括比較接收的設(shè)計(jì)和說明書要求。
11、 一種用于提供設(shè)計(jì)的系統(tǒng)，包括通信模塊，用于電子地分發(fā)設(shè)計(jì)要求給分布式設(shè)計(jì)者團(tuán)體以及接收響應(yīng)所 述設(shè)計(jì)要求的來自設(shè)計(jì)者團(tuán)體的子集中的每一個(gè)的設(shè)計(jì)； 篩選模塊，用于篩選接收的不滿足說明書的設(shè)計(jì)；評估模塊，用于簡化由多個(gè)評估者進(jìn)行的對接收的設(shè)計(jì)的子集的評估；以及選掛對央，用于響應(yīng)簡化的設(shè)計(jì)評估選擇{，的設(shè)計(jì)。
12、 權(quán)利要求ll的系統(tǒng)，進(jìn)一步包括等級評定模塊，用于評定接收的設(shè)計(jì)的等級。
13、 權(quán)利要求12的系統(tǒng)，其中依據(jù)預(yù)定的標(biāo)艦所述設(shè)計(jì)評定等級。
14、 權(quán)利要求13的系統(tǒng)，其中i柳記分卡對所述設(shè)計(jì)評定等級。
15、 權(quán)利要求12的系統(tǒng)，進(jìn)一步包括響應(yīng)于接收的設(shè)計(jì)的等級評定對設(shè)計(jì) 者團(tuán)體的子集中的設(shè)計(jì)者進(jìn)行歸類。
16、 權(quán)利要求ll的系統(tǒng)，其中所述設(shè)計(jì)包括web站點(diǎn)設(shè)計(jì)。
17、 權(quán)利要求ll的系統(tǒng)，其中所述設(shè)計(jì)包括用于軟件應(yīng)用，將的設(shè)計(jì)。
18、 權(quán)利要求17的系統(tǒng)，其中所述軟件應(yīng)用程序可以經(jīng)由因特網(wǎng)被提供作 為基于web的應(yīng)用，Mi^。
19、 權(quán)利要求18的系統(tǒng)，其中說明書包括一個(gè)或多個(gè)要求，其選自下述要 求集合設(shè)計(jì)類型，設(shè)計(jì)大小，大小和顏色要求，關(guān)于設(shè)計(jì)的想要或不想要的 主題，用于創(chuàng)建設(shè)計(jì)的背景信息，可接受的文f^M和格式，以及所需的文檔。
20、 權(quán)利要求ll的系統(tǒng)，其中篩選包括比較接收的設(shè)計(jì)和說明書要求。
全文摘要
本發(fā)明涉及一種用于開發(fā)設(shè)計(jì)的系統(tǒng)和方法。在一個(gè)實(shí)施例中，所述方法包括電子地分發(fā)用于設(shè)計(jì)的說明書給分布式設(shè)計(jì)者團(tuán)體，接收響應(yīng)分發(fā)的設(shè)計(jì)說明書的來自設(shè)計(jì)者團(tuán)體的子集中的每一個(gè)的設(shè)計(jì)，篩選接收到的不符合說明書的設(shè)計(jì)，簡化由多個(gè)評估者進(jìn)行的對接收的設(shè)計(jì)的子集的評估；以及響應(yīng)簡化的設(shè)計(jì)評估選擇優(yōu)選的設(shè)計(jì)。
文檔編號G06Q30/00GK101454796SQ200780002556
公開日2009年6月10日 申請日期2007年1月19日 優(yōu)先權(quán)日2006年1月20日
發(fā)明者J·M·休斯 申請人:托普科德公司