像標 簽"福特車"可以被用來使用單詞"福特"和"車"來自動地執(zhí)行谷歌搜索。
[0124] 在提供結(jié)果步驟455中，被指派給圖像的圖像標簽以及可選地在執(zhí)行搜索步驟 450中被執(zhí)行的搜索的結(jié)果被提供至圖像審核的請求者。例如，如果圖像從圖像源120A被 接收并且圖像源120A是智能電話，那么圖像標簽和搜索結(jié)果通常被提供至智能電話。如果 圖像從諸如網(wǎng)站之類的圖像源120中的成員被接收，圖像標簽和可選的搜索結(jié)果可以被提 供至網(wǎng)站的主機、至第三方、至廣告系統(tǒng)180、和/或類似物。在一些實施例中，圖像標簽被 自動地添加至網(wǎng)站，使得圖像標簽是可搜索的，例如，可以被搜索以找到所審核的圖像。
[0125] 在排隊圖像步驟460中，圖像被布置于圖像隊列145中。該布置可選地包括使用圖 像標記邏輯147標記圖像的子集。如本文的其它地方所描述的，標記通常被配置為識別圖 像中的特定興趣的對象。圖像隊列145中的圖像的提升可以取決于圖像的審核的優(yōu)先級、 圖像的源、可用的人類圖像審核者、計算機生成的圖像的審核的置信度的度量、和/或類似 物。
[0126] 在確定目的地步驟465中，目的地125中的一個或多個成員被確定以用于圖像的 手動審核。目的地的確定可選地基于在從自動識別系統(tǒng)152被接收的計算機生成的圖像審 核中被包括的圖像標簽；可選地基于在不同目的地120處的人類圖像審核者的專業(yè)；可選 地基于這些人類圖像審核者的審核分數(shù)，和/或基于本文討論的其它標準。在一些實施例 中，確定目的地步驟465基于特征化圖像的數(shù)據(jù)和人類審核者的專業(yè)。特征化圖像的數(shù)據(jù) 可以是圖像特征、圖像描述符、和/或從其導(dǎo)出的信息。如本文中其它地方所討論的，圖像 特征和/或圖像描述符可選地與圖像一起從圖像源120中的成員被接收。由其導(dǎo)出的信息 可以被生成在圖像源120的成員處、在圖像處理系統(tǒng)110處和/或在自動識別系統(tǒng)152處。
[0127] 在張貼圖像步驟470中，圖像被張貼至在確定目的地步驟465中被確定的目的地 125中的至少一個目的地。在一些實施例中，張貼圖像步驟470包括將圖像并行地張貼至多 于一個目的地125。該圖像可選地經(jīng)由網(wǎng)絡(luò)115被張貼并且可選地與以下所列的一起被張 貝占：突出圖像的子集的標記、用于圖像的源數(shù)據(jù)、在圖像的審核失效之前的時間、用于從自 動識別系統(tǒng)152接收的圖像的圖像標簽、和/或類似物。
[0128] 在接收審核步驟475中，圖像的手動審核從（多個）所確定的目的地125中的一 個或多個中被接收。該手動的圖像審核可以包括被人類圖像審核者指派至圖像的一個或多 個圖像標簽。該一個或多個圖像標簽表示圖像的內(nèi)容。該手動審核還可以包括升級請求、 不可審核的圖像的指示、圖像不恰當?shù)闹甘?、審核失效的指示、?或類似。
[0129] 在圖像被加標簽？的步驟480中，該方法的進展取決于圖像標簽是否在接收審核 步驟475中被接收。如果特征化圖像的內(nèi)容的圖像標簽被接收，那么該方法可選地繼續(xù)至 執(zhí)行搜索步驟450以及提供結(jié)果步驟455。在這些步驟中，在手動圖像審核以及可選地計算 機生成的圖像審核中包括的圖像標簽被使用。在計算機生成的圖像審核中的圖像標簽的使 用可以取決于該審核的置信度度量。
[0130] 如果在步驟445中置信度度量被發(fā)現(xiàn)為高于（多個）預(yù)定閾值，步驟460-475是 可選的。
[0131] 在可選的升級？步驟485中，該方法的進展取決于升級請求是否已經(jīng)被接收。如 果這樣的請求已經(jīng)被接收，那么方法繼續(xù)至確定目的地步驟465,其中目的地125的第二/ 不同的成員被確定。該確定可以取決于在手動圖像審核中被接收的圖像標簽，該手動圖像 審核在接收審核步驟475中被接收。升級請求可以從人類圖像審核者被接收或從圖像審核 的請求者（從圖像源120A或120B等）被接收。在請求者已經(jīng)有機會審核在提供結(jié)果步驟 455中被提供的圖像標簽之后，升級請求可以被接收。例如，請求者可以首先接收包括"白 車"的圖像標簽并隨后請求審核升級，因為他們期望有進一步的信息。審核升級可以導(dǎo)致圖 像被提供至具有在汽車領(lǐng)域?qū)I(yè)的人類圖像審核者。該人類圖像審核可以添加至存在的圖 像標簽以產(chǎn)生"白車、1976福特格拉納達"。在一些實施例中，當請求審核升級時，請求者可 以添加指示圖像的子集的源數(shù)據(jù)。例如，審核者可以希望指示在損壞的頭燈上的特定興趣。 這用于將人類圖像審核者注意力導(dǎo)向圖像的該特征，產(chǎn)生包括"損壞的頭燈"的標簽，并導(dǎo) 致導(dǎo)向用于1976福特格拉納達的損壞的頭燈的搜索（執(zhí)行搜索步驟450)。
[0132] 在一些實施例中，升級請求被審核邏輯170自動地生成。例如，如果圖像審核出現(xiàn) 得太簡要，例如僅僅為"車"，那么審核邏輯170可以自動地初始化審核升級。在一些實施例 中，升級請求的自動生成基于手動圖像審核內(nèi)的關(guān)鍵詞的存在。例如，某些審核專業(yè)與關(guān)鍵 詞的列表相關(guān)聯(lián)。在一些實施例中，當這些關(guān)鍵詞中的一個關(guān)鍵詞被接收在手動圖像審核 中并且自動審核升級被初始化。審核升級優(yōu)選地包括具有與接收到的關(guān)鍵詞相關(guān)聯(lián)的專業(yè) 的人類圖像審核者。在特定示例中，一個專業(yè)包括"汽車"并且與關(guān)鍵詞"車"、"卡車"、"貨 車"、"敞篷車"和"福特"相關(guān)聯(lián)。當這些關(guān)鍵詞中的一個關(guān)鍵詞被接受在手動圖像審核中 時，審核邏輯170與審核邏輯157協(xié)商以確定具有在"汽車"專業(yè)的人類圖像審核者是否目 前是活躍的。如果是活躍的，那么自動升級被初始化并且圖像被發(fā)送至具有"汽車"專業(yè)的 審核者的目的地125B。
[0133] 如果沒有升級請求做出，那么在終止步驟490，該過程完成。
[0134] 圖5圖示了根據(jù)本發(fā)明的各種實施例的處理圖像的可替代方法。在這些方法中， 步驟430-445中的至少一些與步驟460-475中的至少一些被并行地執(zhí)行。在步驟460-475 中的手動圖像審核可以在步驟430-445的計算機生成的審核完成之前開始因而手動圖像 審核在獲知計算機生成的審核的置信度度量之前開始。如果在確信？步驟445置信度度量 被發(fā)現(xiàn)為高于（多個）預(yù)定閾值，那么步驟460-475可選地被終止。
[0135]圖6圖示了根據(jù)本發(fā)明的各種實施例的管理審核者池的方法。在該方法中，審核 者的狀態(tài)可以基于他們審核圖像的水平被改變。所圖示的步驟可以是圖4和圖5圖示的方 法的部分或與圖4和圖5圖示的方法一致地被執(zhí)行。例如，它們可以在接收圖像步驟410 與接收審核步驟475之間被部分執(zhí)行。圖示的方法包括向目的地125中的多于一個目的地 發(fā)送圖像。
[0136] 在接收圖像步驟410中，圖像被接收。如在本文中其它地方討論的，圖像可以經(jīng)由 網(wǎng)絡(luò)115在圖像處理系統(tǒng)110處被接收。圖像可以由相機生成和/或從網(wǎng)頁獲得。在一些 實施例中，圖像與關(guān)于該網(wǎng)頁多經(jīng)常被觀看的信息一起被接收。
[0137] 在選擇第一目的地步驟610中，第一目的地被選擇以用于圖像的手動或自動分 析。選擇第一目的地步驟610使用目的地邏輯160被執(zhí)行并且是確定目的地步驟465的實 施例。如在本文中其它地方所描述的，針對圖像的目的地的確定基于各種因素，包括人類審 核者的狀態(tài)和與審核者相關(guān)聯(lián)的分數(shù)。例如，通常與活躍的審核者相關(guān)聯(lián)的目的地125的 成員將被選擇，而不是沒有活躍的審核者的目的地。所選擇的目的地可以是目的地125的 成員和/或自動識別系統(tǒng)152。
[0138] 在張貼圖像步驟470中，在接收圖像步驟410中接收的圖像被張貼至目的地125 的所選擇的成員。如在本文中其它地方討論的，圖像的張貼可以包括經(jīng)由網(wǎng)絡(luò)115使用諸 如TCP或UDP之類的標準網(wǎng)絡(luò)協(xié)議傳送圖像。
[0139] 在可選的監(jiān)視步驟620中，審核者邏輯170被用來監(jiān)視在選擇第一目的地步驟610 中選擇的目的地125的成員處的圖像的手動圖像審核的進度。監(jiān)視可以包括檢測人類審核 者的輸入、圖像審核所用的時間、特征化圖像的所提供的單詞的數(shù)量、和/或類似。監(jiān)視可 選地包括測量標簽圖像所用的時間。其中檢測包括人類審核者的輸入的檢測，監(jiān)視可以是 基于逐個擊鍵的、基于逐個單詞的和/或基于逐行的。由此，審核者邏輯170可以被配置為 一次接收特征化圖像字符、單詞或行的數(shù)據(jù)。
[0140] 在移除步驟620,圖像在選擇第一目的地步驟610中選擇的目的地125的成員處從 處理中被移除。"移除"可以包括在目的地125的所選擇的成員處通知人類審核者他或她不 再主要負責審核圖像，將主要責任的人類審核者解除（而不必通知人類審核者），將圖像從 人類審核者的顯示器移除，和/或類似。在一些實施例中，移除步驟630包括僅僅將人類審 核者置于分級中以具有針對審核圖像的次級的或共享的責任。例如，如果與在選擇第一目 的地步驟610中選擇的目的地125的成員相關(guān)聯(lián)的人類審核者具有針對審核圖像的主要責 任，該責任現(xiàn)在可以被共享或指派給與目的地125的其它成員相關(guān)聯(lián)的其它審核者。在該 情況下，"移除"的是主要責任。
[0141] 如果圖像的手動審核用了太久的話，移除步驟630可以發(fā)生。例如，如果在監(jiān)視步 驟620中發(fā)現(xiàn)了審核者在預(yù)定時間之后并未開始輸入，那么移除步驟630可以被執(zhí)行。針 對移除步驟630的觸發(fā)事件的其它示例包括與目的地125的所選擇的成員的通信丟失、針 對圖像的審核的分配超出預(yù)定時間、從人類審核者接收不恰當或不合適的圖像、從人類審 核者接收不準確（未特征化圖像）的圖像標簽、從第一人類審核者至第二人類審核者的推 薦、圖像審核的升級請求、和/或類似。
[0142] 在選擇第二目的地步驟640中，目的地125的第二成員（或自動識別系統(tǒng)152)使 用目的地邏輯160被選擇。第二成員可以基于以上關(guān)于選擇第一目的地步驟610和確定目 的地步驟465所討論的任何標準被選擇。此外，在一些實施例中，第二成員的選擇可以基于 由與目的地125的第一成員相關(guān)聯(lián)的人類審核者的特定推薦。例如，第一人類審核者可以 識別圖像的內(nèi)容為第二人類審核者的專業(yè)并且可以將該圖像推薦給與第二人類審核者相 關(guān)聯(lián)的目的地125的成員。在選擇第二目的地步驟640中的目的地125的第二成員的選擇 可選地取決于使用自動識別系統(tǒng)152的圖像的自動處理。
[0143] 在另一張貼圖像步驟470中，圖像被張貼至在選擇第二目的地步驟640中所選擇 的目的地125的成員。在一些實施例中，多于一個人類審核者可以并行地審核圖像。他們 可以獨立地或合作地執(zhí)行審核。一個審核者可以具有圖像的審核的主要責任或者每個審核 者可以具有同等的責任。一個審核者可以具有對一個或多個其它審核者的監(jiān)督責任。在一 些實施例中，在監(jiān)視步驟620和/或移除步驟630之前，選擇第二目的地步驟640被執(zhí)行并 且圖像被張貼至目的地125的兩個或更多成員。
[0144] 在接收審核步驟475中，圖像的審核（例如，圖像標簽）如在本文中其它地方所討 論的般被接收。審核通常包括特征化圖像的內(nèi)容的圖像標簽。審核可以從目的地125中的 多于一個目的地接收。例如，特征化圖像的標簽可以從在選擇第一目的地步驟610和選擇 第二目的地步驟640兩者中被選擇的目的地125的成員中被選擇。隨字符或單詞被（多 個）人類審核者提供，接收審核步驟475可選地實時地被執(zhí)行。
[0145] 在可選的關(guān)聯(lián)標簽步驟650中，特征化圖像的一個或多個圖像標簽與圖像相關(guān)聯(lián) 地被儲存。所儲存的標簽可選地包括被多于一個的人類審核員提供的標簽并且可以被儲存 在存儲器135中。如在本文中其它地方所述的，標簽可以進一步被提供至圖像源120的成 員（例如，在提供結(jié)果步驟455的實施例中）或用來使用廣告系統(tǒng)180選擇廣告。標簽還 可以被提供至自動識別系統(tǒng)152并提供自動圖像辨識過程的訓(xùn)練。
[0146]圖7圖示了根據(jù)本發(fā)明的各種實施例的實時地接收圖像標簽的方法。這些方法可 選地被圖像處理系統(tǒng)110執(zhí)行并且圖像標簽可以是手動圖像審核的結(jié)果。這些方法可以與 本文描述的其它方法相一致，例如作為圖4所示的方法的部分。該方法以張貼圖像步驟470 開始，在該步驟中，圖像被提供至目的地125的一個或多個成員，如本文中其它地方所討論 的。圖7中所示的方法可選地以接收圖像步驟410為先，在該步驟中圖像從遠程計算設(shè)備 中被接收。
[0147] 在接收輸入步驟710中，輸入從目的地125的一個或多個成員接收。該輸入通常 包括由人類審核者提供的字符。例如，輸入可以是由人類審核者在目的地125A處輸入的字 符。通常，隨圖7中所示的其它步驟被執(zhí)行，接收圖像步驟710被繼續(xù)。
[0148] 在檢測第一單詞步驟720中，單詞在接收輸入步驟710中被接收的輸入中被檢測。 該單詞可以被諸如ASCII空格之類的空格符或回車的存在所檢測。拼寫檢查可選地在檢測 的單詞上被執(zhí)行。如果單詞不被包括在拼寫檢查詞典中，那么校正的嘗試可以被做出或者 人類審核者可以被通知辨識單詞失敗。
[0149] 在檢測第一單詞步驟720中的單詞的檢測導(dǎo)致遞送第一單詞步驟730的執(zhí)行，在 該步驟730中單詞被傳送至圖像的源。例如，一旦單詞被檢測到，其可被實時地提供至圖像 源120A。在圖像源120A，該單詞可以向用戶顯示。比起在顯示圖像標簽的集合之前等待直 到圖像標簽的整個集合被接收到而言，一次顯示一個單詞可以提供圖像的分析發(fā)生在較短 的時間量的印象。
[0150] 在檢測第二單詞步驟740中，第二單詞在接收輸入步驟710中被接收的輸入中被 檢測。再次地，單詞可以被空白符的存在所檢測并且可以在將第一單詞提供至圖像源120A 處的用戶之后發(fā)生。第一和第二單詞兩者被期待為特征化圖像的標簽。在檢測第二單詞步 驟740的第二單詞的檢測觸發(fā)了遞送第二單詞步驟750,在步驟750中第二單詞被遞送至圖 像源，例如，圖像源120A。檢測第二單詞步驟740和遞送第二單詞750可以被重復(fù)用于第 三、第四和附加的單詞，每個單詞作為圖像標簽的部分。
[0151] 在檢測完成步驟760中，指示圖像的處理完成的數(shù)據(jù)被接收，該處理完成例如為 檢測到的單詞包括要被人類審核者提供的全部單詞（圖像標簽）。該數(shù)據(jù)可以包括諸如"/ endtags"、ASCII回車、和/或類似的元數(shù)據(jù)標簽。通常，檢測完成步驟760在一個、兩個或 更多圖像標簽已經(jīng)被接收之后發(fā)生。在可選的關(guān)聯(lián)標簽步驟650中，所接收的圖像標簽與 圖像相關(guān)聯(lián)和/或與圖像一起被存儲，如本文中其它地方所討論的。
[0152] 雖然圖7圖示了單詞在一次的檢測和遞送，在可替代的實施例中，單獨的擊鍵被 檢測和遞送。接收輸入步驟710可以與步驟720-740和/或750并行地繼續(xù)。步驟710-760 可以作為接收審核步驟475的部分被包括，在本文中的其它地方被討論。
[0153] 圖8圖示了根據(jù)本發(fā)明的各種實施例的升級圖像審核的方法。在這些方法中，圖 像接收圖像審核的多于一個階段。接著第一審核（階段1)，圖像審核被升級并被進一步審 核（階段2)。用于升級的請求可以被自動地生成，被第一人類審核者發(fā)起，和/或響應(yīng)于來 自圖像的源的請求。第一和第二審核兩者可以是手動的，即有人類審核者執(zhí)行的。可替代 地，第一審核可以是自動的并且一個或多個隨后的審核可以是手動的，或者第一審核可以 是手動的并且一個或多個隨后的審核是自動的。
[0154] 在接收圖像步驟410中，圖像被接收。目的地125的第一成員被選擇用于在選擇 第一目的地步驟610中的圖像。該圖像隨后在張貼圖像步驟470中被張貼。這些步驟在本 文中的其它地方被討論。
[0155] 在接收第一審核步驟810中，圖像的第一審核被接收。該第一審核可以包括特征 化圖像的內(nèi)容的一個或多個圖像標簽。例如，響應(yīng)于包括黑色蜘蛛的圖像的圖片，圖像審核 可以包括單詞"黑蜘蛛";或者響應(yīng)于包括紅色汽車的圖像，圖像可以包括單詞"紅車"。接收 第一審核步驟可選地是接收審核步驟475的實施例，并且可以包括圖像標簽的實時通信， 如關(guān)于圖7所討論的。
[0156] 在一些實施例中，第一審核可以包括由執(zhí)行第一圖像審核的人類審核者所提供 的、圖像的處理應(yīng)當被升級的指示。例如，第一人類審核者可以手動地指示針對第二（可 選地專門化的）人類審核者的專長領(lǐng)域。例如，第一人類審核者可以提供"紅車"圖像標簽 并建議由具有汽車專長的審核者執(zhí)行升級的審核?？商娲?，第一審核可以包括被認為特 別有價值的圖像標簽。例如，指示圖像包括婚禮服裝的可能性為72%的自動審核可以觸發(fā) 自動升級至手動審核，因為圖像標簽"婚禮服裝"潛在地比其它圖像標簽具有更大的商業(yè)價 值。在一些實施例中，該自動升級被審核邏輯170執(zhí)行并且基于是否相對重要或有價值的 關(guān)鍵詞被存儲在存儲器135中的列表。該列表可以包括關(guān)鍵詞和它們的價值的關(guān)聯(lián)的度 量。如本文中其它地方所討論的，由審核邏輯170執(zhí)行的自動升級可選地基于使用自動識 別系統(tǒng)152和/或預(yù)測圖像多經(jīng)常將被觀看的信息而自動生成的圖像標簽。這些因素可選 地使用最大化使用人類審核者標簽圖像的潛在價值的算法并且基于這些標簽提供廣告而 被應(yīng)用。更有價值的圖像標簽的示例可以與鞋、車、珠寶、旅行目的地、書、游戲、衣服、假期、 食物、飲料、不動產(chǎn)、銀行、事故等相關(guān)。
[0157] 在一些實施例中，圖像審核的升級是自動的。例如，"黑蜘蛛"的標簽可以自動地導(dǎo) 致包括向具有特定專長（例如，蜘蛛專家）的人類審核者發(fā)送圖像的圖像審核的升級。特 定的植物或動物生命的識別通常包括（取決于）位置信息，因為植物或動物的位置可以是 對于恰當?shù)淖R別而言重要的。
[0158] 在一些實施例中，如本文中其它地方所討論的，升級審核可以由原始請求圖片被 審核的人請求。例如，圖像源120A的用戶可以提供狗的圖像并且接收包括"黑狗"的圖像 標簽。用戶可以隨后通過提供單詞"培育？"來要求進一步的細節(jié)。在該情況下，圖像審核 可以被升級并被發(fā)送至具有狗的培育的特定指示的人類審核者。在一些實施例中，用戶用 于升級被收費或者被要求具有高級賬戶以便于請求升級。用戶在請求圖像審核升級時可以 指定圖像的特定部分。
[0159] 升級請求的存在（自動和/或手動地生成）在檢測升級請求步驟820中被檢測。 檢測可以基于從圖像源120的成員、從目的地125的成員、自動識別接口 150、和/或從諸如 審核邏輯170、內(nèi)容處理邏輯185或響應(yīng)邏輯175之類的圖像處理系統(tǒng)110的部件接收的數(shù) 據(jù)或命令。
[0160] 在選擇第二目的地步驟640中，目的地邏輯160被用來選擇目的地125的第二成 員和/或自動識別系統(tǒng)152以用于圖像的審核。該選擇可以基于第一目的地步驟610基于 的標準的任意一個，以及圖像標簽和/或從第一審核產(chǎn)生的其它信息。例如，目的地125的 第二成員的選擇可以基于，至少部分基于在第一圖像審核中手動或自動地生成的圖像。特 別地，"黑蜘蛛"的標簽可以被，目的地邏輯160使用以選擇與具有蜘蛛的識別的專長的人類 審核者相關(guān)聯(lián)的目的地125的成員。在另一示例中，目的地125的第二成員的選擇可以基 于由請求圖像審核的用戶提供的單詞。特別地，如果第一審核產(chǎn)生圖像標簽"白鞋"并且用 戶響應(yīng)以"品牌？"，那么目的地邏輯160可以使用該信息選擇與具有鞋品牌的專長的人類 審核者相關(guān)聯(lián)的目的地125的成員。
[0161] 在選擇第二目的地步驟640的一些實施例中，目的地邏輯160被配置為可能選擇 自動識別系統(tǒng)152以用于圖像的第二審核，而不是選擇目的地125的成員。例如，當圖像已 經(jīng)被標簽有演員的名字并且升級請求要求"電影名？ "時，這可能發(fā)生。在這樣的情況下，圖 像可以在電影圖像的庫中被搜索。相同的方法可以被采取以用于諸如貨幣、繪畫、車型、商 標、條形碼、QR碼、致命人士等的其它可重現(xiàn)的對象。
[0162] 在張貼圖像步驟470的另一實例中，圖像被張貼至目的地125的第二所選擇的成 員或者自動識別系統(tǒng)152以用于圖像的第二審核。在接收第二審核步驟830,特征化圖像 的內(nèi)容的圖像標簽通常被接收。接收第二審核步驟830可選地是接收審核步驟475的實施 例?？商娲?，指示圖像因為某些原因不能被標簽的附加參照或其它信息可以被接收。圖 像標簽從圖像被張貼到的目的地125的成員或自動識別系統(tǒng)152被接收。如果需要的話， 步驟820、640、470和830可以被重復(fù)。
[0163] 在關(guān)聯(lián)標簽步驟650中，所接收的圖像標簽與圖