本公開一般地涉及機器學習，更具體地說，涉及估計根據分類算法提供的預測的可靠性。

背景技術：
如本領域所公知的，機器學習技術可以用于針對給定數(shù)據進行預測。通常，分類算法是一種方法，其中訓練數(shù)據集被提供給此算法并用于學習。在訓練階段之后，所述分類算法可以適合于手邊的具體問題，并且能夠針對新的（可選地未見過的）實例預測信息。訓練數(shù)據可以包括數(shù)據點樣本，每個數(shù)據點假定使用一組由分類器使用的特性，以及要預測的標記。作為一個實例，如果預測某人的性別，則所述特性可以是身高、年齡、體重和名字。將指出的是，在某些情況下，某些特性對預測有用而其他特性可能沒用。在此實例中，除了所述特性之外，還為每個數(shù)據點給出性別標記，以便使得分類器能夠學習如何針對新數(shù)據點預測此類信息。在結束訓練階段之后，給出數(shù)據點的特性并且分類器可以確定預測的標記。在某些情況下，可以給出反饋以便向分類器指示預測是否正確。

技術實現(xiàn)要素：
所公開的主題的一個示例性實施例是一種由處理器執(zhí)行的計算機實現(xiàn)的方法，所述方法包括：獲得由分類器工具對數(shù)據集的標記進行的預測，其中所述分類器工具旨在根據分類模型并考慮定義所述數(shù)據集的一組特性來預測所述標記；根據可靠性分類器工具獲得與所述分類器工具的所述預測相關的可靠性標記的可靠性預測，其中所述可靠性分類器工具旨在根據分類模型并考慮第二組特性來預測所述可靠性標記；以及向用戶輸出所述標記預測和關聯(lián)的可靠性預測。所公開的主題的另一個示例性實施例是一種具有處理器的計算機化裝置，所述處理器適于執(zhí)行以下步驟：獲得由分類器工具對數(shù)據集的標記進行的預測，其中所述分類器工具旨在根據分類模型并考慮定義所述數(shù)據集的一組特性來預測所述標記；根據可靠性分類器工具獲得與所述分類器工具的所述預測相關的可靠性標記的可靠性預測，其中所述可靠性分類器工具旨在根據分類模型并考慮第二組特性來預測所述可靠性標記；以及向用戶輸出所述標記預測和關聯(lián)的可靠性預測。所公開的主題的另一個示例性實施例是一種計算機程序產品，包括：保存程序指令的非瞬時性計算機可讀介質，當由處理器讀取時，這些指令導致所述處理器執(zhí)行以下步驟：獲得由分類器工具對數(shù)據集的標記進行的預測，其中所述分類器工具旨在根據分類模型并考慮定義所述數(shù)據集的一組特性來預測所述標記；根據可靠性分類器工具獲得與所述分類器工具的所述預測相關的可靠性標記的可靠性預測，其中所述可靠性分類器工具旨在根據分類模型并考慮第二組特性來預測所述可靠性標記；以及向用戶輸出所述標記預測和關聯(lián)的可靠性預測。附圖說明從下面結合附圖的詳細說明，將更全面地理解和領會本公開的主題，其中對應或相同的數(shù)字或字符指示對應或相同的組件。除非另外指出，否則附圖提供本公開的示例性實施例或方面，并且并非限制本公開的范圍。這些附圖是：圖1示出了根據所公開的主題的某些示例性實施例的假定使用兩個特性的一組數(shù)據點的圖示；圖2A-2C示出了根據所公開的主題的某些示例性實施例的用于預測預測可靠性的方法中的步驟的流程圖；圖3A和3B示出了根據所公開的主題的某些示例性實施例的不同訓練方案的流程圖；以及圖4示出了根據所公開的主題的某些示例性實施例的計算機化裝置的組件的方塊圖。具體實施方式下面將參考根據本主題的實施例的方法、裝置（系統(tǒng)）和計算機程序產品的流程圖和/或方塊圖對所公開的主題進行描述。將理解，所述流程圖和/或方塊圖的方塊以及所述流程圖和/或方塊圖中的方塊的組合可以由計算機程序指令來實現(xiàn)。這些計算機程序指令可以被提供給通用計算機、專用計算機、被測試處理器或其他可編程數(shù)據處理裝置的一個或多個處理器以產生機器，以便通過所述計算機或其他可編程數(shù)據處理裝置的處理器執(zhí)行的所述指令產生用于實現(xiàn)在一個或多個流程圖和/或方塊圖方塊中指定的功能/操作的裝置。這些計算機程序指令也可以被存儲在能夠引導計算機或其他可編程數(shù)據處理裝置以特定方式執(zhí)行功能的非瞬時計算機可讀介質中，以便存儲在所述非瞬時計算機可讀介質中的所述指令產生一件包括實現(xiàn)在一個或多個流程圖和/或方塊圖方塊中指定的功能/操作的指令裝置的制品。所述計算機程序指令還可被加載到設備、計算機或其他可編程數(shù)據處理裝置，以導致在所述計算機或其他可編程裝置上執(zhí)行一系列操作步驟以產生計算機實現(xiàn)的過程，從而在所述計算機或其他可編程裝置上執(zhí)行的所述指令提供用于實現(xiàn)在一個或多個流程圖和/或方塊圖方塊中指定的功能/操作的過程。在本公開中，“分類器工具”是一種以軟件、固件、硬件、它們的組合等實現(xiàn)的裝置，它能夠使用分類算法以便提供預測。將理解，所述分類器工具可提供離散標記組分類（例如，使用分類器算法，例如樸素貝葉斯、k最近鄰、支持向量機、決策樹、線性分類等）。此外或備選地，所述分類器工具可以提供連續(xù)輸出（例如，連續(xù)分類算法，例如線性回歸、邏輯回歸、套索算法、LOESS等）。所公開的主題處理的一個技術問題是估計與由分類器工具進行的預測關聯(lián)的可靠性。在各種情況下，估計與每個預測關聯(lián)的可靠性并標識不可靠的預測可以非常重要。例如，在試圖預測最佳治療的臨床決策支持系統(tǒng)中，標識不可靠的預測可以幫助用戶避免錯誤決策。一種技術解決方案是使用單獨的分類器工具（稱為可靠性分類器工具或RCT）以便預測由分類器工具進行的預測的可靠性。所述RCT可以旨在區(qū)分所述分類器工具為其生成的預測可靠的實例與生成的預測不可靠的實例。另一種技術解決方案是引入附加特性，它們未由分類器工具本身使用，并且可以包含有關可靠性的信息。此外或備選地，所述附加特性可能對執(zhí)行預測本身沒有用，而對預測可靠性仍然有用。在某些示例性實施例中，所述附加特性可以是原始分類操作的副產品，因此可能不可用于分類器工具本身。在某些示例性實施例中，所述RCT和原始分類器工具（也稱為CT）可以使用不同的分類算法。另一種技術解決方案是提供訓練方案以便訓練RCT。在某些示例性實施例中，訓練RCT可以基于針對同一數(shù)據點的多個預測。穩(wěn)定性方案可以旨在根據考慮CT的不同訓練數(shù)據的預測的穩(wěn)定性來確定訓練數(shù)據集的可靠性。此外或備選地，正確分數(shù)（fraction）方案可以旨在根據考慮CT的不同訓練數(shù)據提供的預測的正確分數(shù)來確定訓練數(shù)據集的可靠性。在某些示例性實施例中，可以根據所述CT針對正確標記進行的預測的正確/錯誤確定來提供可靠性指示，其可以作為所述訓練集的一部分提供。一個技術效果是所公開的主題是域通用的并且可用于任何分類方法之上。此外，并不限制針對原始分類任務使用一種類型的分類器，以及并不限制采用不同的分類算法作為RCT。另一個技術效果是當使用不同的分類算法時，能夠捕獲與不同的不可靠性源關聯(lián)的不可靠性。不可靠性的一個源可能是訓練數(shù)據集不足，例如在訓練階段使用小樣本或非代表性樣本。不可靠性的另一個源可能是數(shù)據所固有的，例如以下情況：當至少針對CT使用的特性存在隨機行為時。不可靠性的另一個源可能是分類算法本身進行的抽象或建模。不可靠性的不同源可能在不同的樣本中具有不同的影響。作為一個實例，考慮涉及根據血液化驗結果將患者分類為病人和健康人的分類任務?，F(xiàn)在假設在兩個不同實驗室的一個中分析血液樣本，其中一個實驗室被污染，從而在血液化驗結果中介入了噪聲。盡管實驗室的標識與將患者分類為病人和健康人無關，但RCT可以使用它標識針對在被污染實驗室中化驗的患者進行的預測可靠性較低。在此實例中，不可靠性的源是某些數(shù)據所固有的，并且可能針對某些樣本產生隨機行為而不會針對其他樣本產生隨機行為。作為另一個實例，不可靠性的源可能由于分類算法的建模導致，如在下文使用圖1說明的那樣。如可以理解的，不可靠性的源僅適用于數(shù)據點組中的某一區(qū)域。作為另一個實例，不可靠性的源可能由于不足的訓練數(shù)據集導致，例如使用小樣本、使用非代表性樣本等訓練分類器?，F(xiàn)在參考圖1，示出了假定使用兩個特性的一組數(shù)據點的圖示。CT可以確定不同標記之間的線性分隔。然而，分類算法有關存在這種線性分隔的固有假設可能不真實，如組100的情況。如可以理解的，沒有線性線可以將標記X和標記Y實例分隔。然而，可以確定估計線110，估計線110針對區(qū)域120最有用，針對區(qū)域130（其中基于該區(qū)域的確定可能不可靠）不太有用。如果RCT例如通過采用不同的算法、使用其他特性對組100建模等而不限于CT的假設，則RCT能夠預測區(qū)域130中的數(shù)據點具有低的預測可靠性，區(qū)域120中的數(shù)據點具有高的預測可靠性。將指出的是，可靠性預測不同于分類器正確的概率。在某些示例性實施例中，“可靠性”可以是提供有關以下內容的信息的度量：與隨機分類器相比（例如，由通過隨機標記的訓練數(shù)據訓練的同一分類器進行的預測），所述分類器進行的預測的準確性。將理解，圖1例示了CT所做的假設可能導致可靠性問題。僅作為實例提供圖1，并且其他分類算法可通過其建模引入類似的可靠性問題。如可以理解的，所公開的主題的某些實施例的技術效果因此是可以以自動方式標識不同的不可靠性源。使用所公開的主題的另一個技術效果是能夠檢測由如下特性產生的不可靠性：在進行預測中沒有用，因此在執(zhí)行預測本身時可能不可用于CT。再次考慮在上文提供的實驗室實例。實驗室的標識在進行預測中沒有用，盡管它在確定預測的可靠性中有用。作為另一個實例，某一實例的缺失值的百分比可能被確定為對分類沒有用，然而當估計可靠性時它可能的確重要?，F(xiàn)在參考圖2A，示出了根據所公開的主題的某些示例性實施例的用于訓練RCT的方法中的步驟的流程圖。提供訓練數(shù)據集（200）。所述訓練數(shù)據集包括數(shù)據點（X）的特性和其關聯(lián)的標記（Y）。為CT210提供用于對其訓練的訓練數(shù)據集（200）。根據可靠性標記定義（220）（例如穩(wěn)定性方案、正確分數(shù)方案等），可以確定可靠性訓練數(shù)據集（230）。所述可靠性訓練數(shù)據集可以包括假定使用各組不同特性的數(shù)據點（X’）和針對預測可靠性的關聯(lián)標記（Y’），如在（220）中確定的?？梢詾镽CT240提供訓練的可靠性訓練數(shù)據集。在某些示例性實施例中，可靠性標記定義（220）可以包括CT210獲得針對數(shù)據集X的預測。根據所述預測，可以確定可靠性指示。在某些示例性實施例中，X和X’指使用同一組特性的相同實例。備選地，X和X’可以指使用不同特性組的相同實例，以便X’包括附加特性，例如CT210的副產品、在預測中沒有用但在可靠性預測中有用的特性等。此外或備選地，X可以包括未包括在X’中的特性。在某些示例性實施例中，可以針對訓練數(shù)據集（X）的第一部分訓練CT210。可以使用訓練數(shù)據集（X）的第二部分（例如不同于第一部分的部分）執(zhí)行可靠性標記定義（220）。因此，根據使用所述第一部分對CT210的訓練，可以進行對所述第二部分的預測并將這些預測用于定義在訓練RCT240中有用的可靠性標記（Y’）。現(xiàn)在參考圖2B，示出了根據所公開的主題的某些示例性實施例的用于執(zhí)行預測的方法中的步驟的流程圖。為CT210提供（250）數(shù)據點X，CT210提供對其適合的標記的預測。還為RCT（240）提供所述數(shù)據點以及所述預測，并且RCT（240）提供有關CT210的預測的可靠性預測。此外或備選地，可以為RCT240提供其他未被提供給CT210的特性，例如CT210的副產品、對于由CT210進行的預測而言不確定的特性等?，F(xiàn)在參考圖2C，示出了根據所公開的主題的某些示例性實施例的用于訓練分類器工具及其使用的方法中的步驟的流程圖。所述方法包括訓練階段（步驟252-272）和預測階段，所述預測階段也稱為測試階段（步驟276-298）?？梢葬槍Σ煌臄?shù)據點重復執(zhí)行預測階段。在步驟252，獲得訓練數(shù)據集(X,Y)。所述訓練數(shù)據集包括假定使用一組特性（以F表示）的數(shù)據點的樣本（即，x∈X），并且針對每個數(shù)據點給出關聯(lián)的標記（即，y∈Y:label(x)=y）。在步驟256，可以使用所述訓練數(shù)據集訓練CT，例如210。在某些示例性實施例中，僅使用所述數(shù)據集的一部分訓練CT，以便某些數(shù)據點不用于訓練CT。此外或備選地，CT可能需要一組特性的子集來定義數(shù)據點（即，），并相應地可以僅為CT提供針對所述數(shù)據點的特性子集。在步驟260，可以獲得訓練后的CT進行的預測。在某些示例性實施例中，所述預測可以針對所述訓練數(shù)據集包括的數(shù)據點。所述數(shù)據點可以用于也可以不用于在步驟256訓練CT。在步驟264，可以針對數(shù)據點的每個預測的標記確定可靠性標記（Y’）?？梢愿鶕A測是否正確（通過將預測的標記與實際標記y相比較）確定可靠性標記。此外或備選地，可以例如響應于不同的訓練會話，根據針對同一數(shù)據點進行的多個預測來確定可靠性標記?？梢酝ㄟ^確定所述預測的分散系數(shù)來測量預測的穩(wěn)定性。作為一個實例，可以確定最常預測的標記，并且可以計算預測了通常預測的標記的預測的一部分并將其用作分散系數(shù)。備選地，可以計算預測的統(tǒng)計方差并將其用作分散系數(shù)。在某些示例性實施例中，可以計算預測度量的穩(wěn)定性并將其規(guī)范化為預定范圍內的數(shù)值。例如，0（指示非穩(wěn)定的預測）和1（指示穩(wěn)定并且一致的預測）之間的數(shù)值，由此可以針對所述預測確定可靠性標記。在某些示例性實施例中，可以計算預測的正確系數(shù)。與穩(wěn)定性相反，正確系數(shù)考慮對于數(shù)據點存在已知的正確標記?？梢杂嬎泐A測總數(shù)中正確的預測部分，并將其用于確定可靠性標記。此外或備選地，可以計算平均、頻繁或中間預測與正確標記之間的正交距離或其他可計算的差異度量。所述距離可以用于確定可靠性標記（Y’）。在步驟268，可以確定用于RCT（例如RCT240）的訓練數(shù)據集（X’）。所述訓練數(shù)據集可以基于在步驟260進行預測并在步驟264定義可靠性標記的數(shù)據集。在某些示例性實施例中，所述訓練數(shù)據集還可以包括不屬于在步驟250獲得的原始訓練數(shù)據集的一部分的特性，例如在步驟250的預測期間生成的副產品。此外或備選地，訓練數(shù)據集X’可以包括未由CT使用的特性，即，所述一組特性可以是其中F是在所述訓練數(shù)據集中提供的一組特性，NewFeatures是未在最初提供和/或可用的特性，例如預測過程的副產品、預測的標記等。在某些示例性實施例中，特性f∈F可以用于訓練RCT而非CT（即，f∈F2，），反之亦然。在步驟272，可以使用訓練數(shù)據集（X’）和可靠性標記（Y’）訓練RCT。在預測階段，提供數(shù)據點，并提供標記預測以及可靠性預測?？蛇x地，還可以獲得并輸出預測正確的概率。在步驟276，獲得數(shù)據點以便標記預測?？梢允褂脤T和RCT有用的所有特性提供所述數(shù)據點。可選地，某些特性在所述過程中自動生成（例如CT預測操作的副產品）并且可能不會預先提供。在步驟280，CT可以針對所述數(shù)據點提供標記預測。在某些示例性實施例中，可以將所述數(shù)據點投射到使用F1定義的空間，并且可以為CT提供投射的數(shù)據點以便預測。在某些示例性實施例中，可選步驟282可以確定由CT進行的預測正確的概率。在某些示例性實施例中，CT本身可以提供此類信息。與可靠性預測相反，步驟282提供預測正確的概率。所述概率可以是由CT本身提供的副產品。在步驟284，RCT可以針對所述數(shù)據點和預測的標記提供可靠性預測。在某些示例性實施例中，可以將在步驟276提供的數(shù)據點投射到由F2義的空間，并且可以自動補充附加特性（例如NewFeatures）。在步驟292，可以向用戶提供輸出。因此，可以向用戶通知預測和此類預測的可靠性。此外或備選地，還可以向用戶通知預測正確的概率。根據提供給用戶的信息，用戶可以根據輸出的數(shù)據確定是否接受所述預測、使用不同的預測方法、請求要在所述預測中使用的其他數(shù)據，或者采取任何其他操作（步驟296）。在某些示例性實施例中，可以根據預定義規(guī)則自動采取部分或全部所述操作。在某些示例性實施例中，可以根據所述信息向用戶建議推薦的操作?？蛇x地，考慮預測的標記和/或可靠性，可以提供對CT和/或RCT的反饋。如本領域所公知的，對分類器的反饋可以用于改進未來預測?，F(xiàn)在參考圖3A，示出了根據所公開的主題的某些示例性實施例的可靠性預測訓練方案的流程圖?？梢葬槍D2C的訓練階段執(zhí)行圖3A的方法。在步驟300，獲得訓練數(shù)據集(X,Y)。在步驟310，可以使用所述訓練數(shù)據集包括的一部分數(shù)據點訓練CT。在步驟320，并且考慮CT的訓練，CT可以提供針對一部分數(shù)據點的預測。將指出的是，X1和X2可以相同、可以彼此包含、可以是分離集、可以具有某一交集，或者在其間具有任何其他形式的關系。在某些示例性實施例中，可以將整個數(shù)據集用于步驟310和320。在某些示例性實施例中，可以在步驟310使用第一部分，在步驟320使用互補部分。步驟310和320可以例如在每個訓練會話期間針對不同訓練數(shù)據集被執(zhí)行多次?？赡懿粫谟柧殨捴g保留學習的信息（例如，通過在迭代之間初始化CT）。此外或備選地，可以保存學習的信息，因此每次迭代之后，CT的訓練數(shù)據集將增大。在足夠迭代之后，可以執(zhí)行步驟330。可以例如在以下情況下確定迭代的足夠性：當針對同一數(shù)據點具有至少預定數(shù)量的預測時、在預定數(shù)量的迭代之后等。在步驟330，可以獲得有關同一數(shù)據點的不同預測。在步驟340，可以針對所述數(shù)據點計算穩(wěn)定性度量。作為一個實例，所述穩(wěn)定性度量可以是其中CP是通用預測，N是進行的預測數(shù)量。仍然參考此實例，如果十個預測中的七個是標記為1的預測，而其他三個預測具有一個或多個不同標記，則穩(wěn)定性度量可以是0.7。作為另一個實例，所述穩(wěn)定性度量可以基于根據不同標記計算的方差。在某些示例性實施例中，可以為每個標記分配一個數(shù)值以便能夠計算方差。所述穩(wěn)定性度量例如可以是方差的倒數(shù)，因此最低值指示最低預測穩(wěn)定性，最高可能預測穩(wěn)定性（例如，所有預測都相同并且方差是0）是最高數(shù)值?？梢允褂闷渌嬎惴€(wěn)定性度量方法代替上述實例。在步驟350，可以使用所計算的度量確定數(shù)據點的可靠性標記，并且可以使用所述可靠性標記訓練RCT（步驟360）。在某些示例性實施例中，可以在獲得不同預測之后隨時使用整個數(shù)據集訓練CT（在步驟320的不同迭代中）?，F(xiàn)在參考圖3B，示出了根據所公開的主題的某些示例性實施例的可靠性預測訓練方案的流程圖，其類似于圖3A中示出的流程圖。可以執(zhí)行步驟340’（而不是步驟340），其中計算正確分數(shù)（fraction）度量。作為一個實例，所述正確分數(shù)度量可以是其中L是在訓練數(shù)據集中提供的標記，N是進行的預測數(shù)量。仍然參考此實例，如果十個預測中的六個是其標記在訓練數(shù)據集中被提供為正確標記的預測，則正確分數(shù)度量可以是0.6。此外或備選地，可以使用訓練數(shù)據集中的平均預測的標記和關聯(lián)（正確）的標記之間的可計算距離來測量正確分數(shù)。將指出的是，如果針對數(shù)據點進行單個預測，則所述正確分數(shù)可以是指示預測是否正確的二進制數(shù)?，F(xiàn)在參考圖4，示出了根據所公開的主題的某些示例性實施例的計算機化裝置的組件的方塊圖。在某些示例性實施例中，裝置400可以包括處理器402。處理器402可以是中央處理單元（CPU）、微處理器、電子電路、集成電路（IC）等。處理器402可用于執(zhí)行裝置400或任何其子組件所需的計算。在某些示例性實施例中，裝置400可以包括輸入/輸出（I/O）模塊405，例如接收器、發(fā)送器、收發(fā)器、調制解調器、輸入設備、輸出設備等。在某些示例性實施例中，I/O模塊405用于連接到I/O設備以便提供人類用戶的輸入或輸出。I/O模塊405可以在操作上連接到顯示器、指點設備、鍵盤等。然而，將理解，所述系統(tǒng)可以在無需人類操作的情況下運行。在某些示例性實施例中，裝置400可以包括存儲器407。存儲器407可以是計算機化存儲器，例如永久性存儲器或易失性存儲器或其組合。例如，存儲器407可以是閃存盤、隨機存取存儲器（RAM）、存儲器芯片、光存儲設備，例如CD、DVD或激光盤；磁存儲設備，例如磁帶、硬盤、存儲區(qū)域網絡（SAN）、網絡連接存儲（NAS）等；半導體存儲設備，例如閃存設備、記憶棒等。在某些示例性實施例中，存儲器407包括多個存儲器設備，例如RAM和硬盤。在某些示例性實施例中，存儲器407可以保存程序代碼，所述程序代碼可運行以導致處理器402執(zhí)行與圖2A-2C、3A-3B中所示的任何步驟關聯(lián)的操作等。下面詳述的組件可以被實現(xiàn)為例如由處理器402或其他處理器執(zhí)行的一組或多組相關計算機指令。所述組件可以被布置為在任何計算環(huán)境下以任何編程語言編程的一個或多個可執(zhí)行文件、動態(tài)庫、靜態(tài)庫、方法、函數(shù)、服務等。在某些示例性實施例中，存儲器407可以包括軟件實現(xiàn)的分類器（410和420），以便用作根據所公開的主題的CT和RCT。在某些示例性實施例中，分類器410、420可以不使用軟件實現(xiàn)和/或可以在裝置400的外部?？煽啃詷擞浂x器430可以被配置為定義要在訓練階段用于訓練RCT的可靠性標記?？煽啃詷擞浂x器430可以被配置為執(zhí)行諸如264、330、340、340’、350之類的步驟。在某些示例性實施例中，可靠性標記定義器430可以在操作上耦合到要用于計算在定義可靠性標記中有用的度量的穩(wěn)定性計算器440、正確分數(shù)計算器450或類似的計算器。在某些示例性實施例中，分類器初始化器435可以被配置為初始化分類器（例如410），以便導致所述分類器丟棄先前學習的數(shù)據。分類器初始化器435可以用于導致CT的訓練會話不在例如重復步驟310和320之間保留學習的數(shù)據。在所公開的主題的某些示例性實施例中，可以訓練兩個不同的分類器。第一分類器（CT）旨在解決原始分類問題，即，預測與每個測試實例關聯(lián)的標記。第二分類器（RCT）可以旨在預測由CT進行的預測的可靠性。在某些示例性實施例中，RCT可以被視為從X到{0,1}的函數(shù)，其中RCT(x)=1暗示CT(x)應被視為“可靠”，RCT(x)=0暗示CT(x)應被視為“不可靠”。所公開的主題并不限于上述實施例。作為一個實例，可以使用不同的得分暗示可靠性和不可靠性。附圖中的流程圖和方塊圖示出了根據本公開的各種實施例的系統(tǒng)、方法和計算機程序產品的可能實施方式的架構、功能和操作。在此方面，所述流程圖中的每個方塊以及所述方塊圖中的某些方塊都可以表示程序代碼的模塊、段或部分，所述程序代碼包括用于實現(xiàn)指定的邏輯功能（多個）的一個或多個可執(zhí)行指令。還應指出，在某些備選實施方式中，在方塊中說明的功能可以不按圖中說明的順序發(fā)生。例如，示為連續(xù)的兩個方塊可以實際上被基本同時地執(zhí)行，或者某些時候，取決于所涉及的功能，可以以相反的順序執(zhí)行所述方塊。還將指出的是，所述方塊圖和/或流程圖的每個方塊以及所述方塊圖和/或流程圖中的方塊的組合可以由執(zhí)行指定功能或操作的基于專用硬件的系統(tǒng)或專用硬件和計算機指令的組合來實現(xiàn)。在此使用的術語只是為了描述特定的實施例并且并非旨在作為本公開的限制。如在此所使用的，單數(shù)形式“一”、“一個”和“該”旨在同樣包括復數(shù)形式，除非上下文明確地另有所指。還將理解，當在此說明書中使用時，術語“包括”和/或“包含”指定了聲明的特性、整數(shù)、步驟、操作、元素和/或組件的存在，但是并不排除一個或多個其他特性、整數(shù)、步驟、操作、元素、組件和/或其組的存在或增加。如本領域的技術人員應理解的，所公開的主題可以體現(xiàn)為系統(tǒng)、方法、計算機程序產品。因此，所公開的主題可以具體實現(xiàn)為以下形式，即，可以是完全的硬件、完全的軟件（包括固件、駐留軟件、微代碼等）、或者本文一般稱為“電路”、“模塊”或“系統(tǒng)”的軟件部分與硬件部分的組合。此外，本公開可以采取體現(xiàn)在任何有形表達介質（在介質中包含計算機可讀程序代碼）中的計算機程序產品的形式?？梢允褂靡粋€或多個計算機可用或計算機可讀介質的任意組合。所述計算機可用或計算機可讀介質例如可以是（但不限于）任何非瞬時性計算機可讀介質、電、磁、光、電磁、紅外線或半導體系統(tǒng)、裝置、設備或傳播介質。所述計算機可讀介質的更具體的實例（非窮舉列表）將包括以下項：具有一條或多條線的電連接、便攜式計算機軟盤、硬盤、隨機存取存儲器（RAM）、只讀存儲器（ROM）、可擦寫可編程只讀存儲器（EPROM或閃存）、光纖、便攜式光盤只讀存儲器（CDROM）、光存儲設備、諸如那些支持因特網或內聯(lián)網的傳輸介質或磁存儲設備。注意，所述計算機可用或計算機可讀介質甚至可以是程序被打印在其上的紙張或其他適合的介質，因為所述程序可以通過例如光掃描所述紙張或其他介質被電子地捕獲，然后被編譯、解釋或另外以適合的方式被處理（如果必要），然后被存儲在計算機存儲器中。在此文檔的上下文中，計算機可用或計算機可讀介質可以是任何能夠包含、存儲、傳送、傳播或傳輸由指令執(zhí)行系統(tǒng)、裝置或設備使用或與指令執(zhí)行系統(tǒng)、裝置或設備結合的程序的介質。所述計算機可用介質可以包括其中包含所述計算機可用程序代碼（例如，在基帶中或作為載波的一部分）的傳播數(shù)據信號?？梢允褂萌魏芜m當?shù)慕橘|（包括但不限于無線、線纜、光纜、RF等）來傳輸所述計算機可用程序代碼。用于執(zhí)行本公開的操作的計算機程序代碼可以使用包含一種或多種編程語言的任意組合來編寫，所述編程語言包括諸如Java、Smalltalk、C++之類的面向對象的編程語言以及諸如“C”編程語言或類似的編程語言之類的常規(guī)過程編程語言。所述程序代碼可以完全地在用戶計算機上執(zhí)行、部分地在用戶計算機上執(zhí)行、作為獨立的軟件包、部分地在用戶計算機上并部分地在遠程計算機上執(zhí)行，或者完全地在遠程計算機或服務器上執(zhí)行。在后者的情況中，所述遠程計算機可以通過包括局域網（LAN）或廣域網（WAN）的任何類型網絡與用戶的計算機相連，或者可以與外部計算機進行連接（例如，使用因特網服務提供商通過因特網連接）。下面權利要求中的對應結構、材料、操作以及所有功能性限定的裝置或步驟的等同替換，旨在包括任何用于與在權利要求中具體指出的其他元件相組合地執(zhí)行該功能的結構、材料或操作。出于示例和說明目的給出了對本公開的描述，但所述描述并非旨在是窮舉的或是將本公開限于所披露的形式。在不偏離本公開的范圍和精神的情況下，對于本領域的普通技術人員來說許多修改和變化都將是顯而易見的。實施例的選擇和描述是為了最佳地解釋本公開的原理、實際應用，并且當適于所構想的特定使用時，使得本領域的其他普通技術人員能夠理解本公開的具有各種修改的各種實施例。