由于機器學習系統容易受到歷史數據引入的偏見而導致歧視性行為，人們認為有必要在某些應用場景中用公平性準則約束系統的行為，并期待其能保護弱勢群體和帶來長期收益。近日，伯克利 AI 研究院發表博客，討論了靜態公平性準則的長期影響，發現結果和人們的期望相差甚遠。相關論文已被 ICML 2018 大會接收。

以「最小化預測誤差」為目的訓練的機器學習系統通常會基于種族、性別等敏感特性（sensitive characteristics），表現出歧視性行為（discriminatory behavior），數據中的歷史性偏差可能是其中的一個原因。長久以來，在諸多如貸款、雇用、刑事司法以及廣告等應用場景中，機器學習一直被詬病「由于歷史原因，潛在地傷害到曾被忽視的、弱勢群體」。

本文討論了研究者們在調整以長期社會福利（long term social welfare）為目標的機器學習所得決策方面的近期成果。通常，機器學習模型產生一個得分（score）來概述關于個體的信息，進而對其作出決策。例如，信用得分（credit score）總結了某人的信用歷史和財務行為，來幫助銀行評定其信用等級。我們以此貸款場景為例貫穿全文。任何用戶群體在信用得分上都有其特定分布，如下圖所示。

1. 信用得分和償還分布

通過定義一個閾值，可以將得分轉變為決策。例如，得分高于放貸閾值的人可以獲得貸款，而低于放貸閾值的則被拒絕。這種決策規則叫閾值策略（threshold policy）。可以將得分理解為貸款違約的估計概率編碼。例如，信用得分為 650 的人中，90% 的人會償還其貸款。因此，銀行可以預估其為信用得分為 650 的用戶提供等額貸款的期望收益，同樣，可以預測為信用得分高于 650（或任何給定閾值）的全體用戶提供貸款的期望收益。

2. 貸款閾值和結果

不考慮其他因素的情況下，銀行會試圖最大化其總收益。收益取決于收回的償還貸款額與在貸款違約的損失額之間的比。在上圖中，收益損失比為 1：-4，由于相較于收益，損失的成本更高，因此銀行會更保守的進行放貸，并提高放貸閾值。我們將高于此閾值以上的總體人數占比稱為選擇率（selection rate）。

結果曲線

貸款決策不僅影響銀行機構，也會影響個人。一次違約行為（貸款人無法償還貸款）中，不僅是銀行損失了收益，貸款人的信用得分也會降低。而成功的貸款履約行為中，銀行獲得收益，同時貸款人的信用得分提升。在本例中，某用戶信用得分變化比為 1（履約）：-2（違約）

在閾值策略中，結果（outcome）被定義為某群體得分的變化期望，可以參數化為選擇率的函數，稱此函數為結果曲線（outcome curve）。當某群體的選擇率發生變化時，其結果也會發生變化。這些總體人數級別上的結果會同時取決于償還概率（由得分編碼得到）、成本以及個體貸款決策的收益。

上圖展示了某典型群體的結果曲線。當群體內獲得貸款并成功償還的個體足夠多時，其平均信用得分就可能增加。這時，如果其平均得分變化（average score change）為正，則可得到無約束收益最大化結果。偏離收益最大化，以給更多人提供貸款時，平均得分變化會增大到最大值。稱其為利他最優（altruistic optimum）。也可以將選擇率提升到某個值，使平均得分變化低于無約束收益最大化時的平均得分變化、但依然為正，即圖中黃色點狀陰影所表示的區域。稱此區域中的選擇率導致了相對損害（relative harm）。但如果無法償還貸款的用戶過多，則平均得分就會降低（平均得分變化為負），從而進入紅色橫線陰影區域。

4. 貸款閾值和結果曲線

多群體情況

給定的閾值策略如何影響不同群體中的個體？兩個擁有不同信用得分分布（credit score distribution）的群體會擁有不同的結果。

假設第二個群體和第一個群體的信用得分分布不同，同時群體內人數也更少，將其理解為歷史弱勢群體。將其表示為藍群體，我們希望保證銀行的貸款政策不會不合理地傷害、欺騙到他們。

假設銀行可以對每個群體選擇不同的閾值，雖然這可能面臨法律挑戰，但為了預防由于固定閾值決策可能帶來的差別結果，基于群體的閾值是無法避免的。

5. 不同群體的貸款決策

很自然的會出現問題：怎樣的閾值選擇可以在藍群體的得分分布中得到期望改善。如上文所述，無約束的銀行策略會最大化收益，并選取收支平衡、貸款有利可圖的點。事實上，收益最大化閾值（信用得分為 580）在兩個群體中是相同的。

公平性準則

擁有不同得分分布的群體會有不同形狀的得分曲線（原文圖 6 上半部分展示了真實信用得分數據和一個簡單結果模型的結果曲線）。作為無約束收益最大化的另一個替代選擇是公平性約束（fairness constraints）：通過某些目標函數令不同群體的決策平等。目前已經提出了各種公平性準則，訴諸直覺來保護弱勢群體。通過結果模型，我們可以正式的回答：公平性約束是否真的鼓勵了更多的積極結果。

一個常見的公平性準則，人口統計平等（demographic parity），要求銀行在兩個群體中給出相同比例的貸款。在此要求下，銀行繼續盡可能最大化收益。另一個準則，機會平等（equality of opportunity）：兩個群體中的真陽性率（true positive rate）相等，要求銀行對兩個群體中會償還貸款的個體相同的貸款比例。

雖然從要求靜態決策公平的角度出發，這些準則都很合理，但它們大多忽略了這些對群體結果的未來效應。原文圖 6 通過對比最大化收益、人口統計平等和機會平等下的策略結果，展示了這一點。看看每個貸款策略下銀行收益和信用得分的變化。和最大化收益策略相比，人口統計平等和機會平等都降低了銀行收益，但是否獲得了相較于最大化收益得到提升的藍群體結果？雖然相較于利他最優，最大化收益策略對藍群體貸款過低，但機會平等策略則（相較于利他最優）貸款過多，人口統計平等則貸款過多，并達到了相對損害區域。

6. 有約束條件下的貸款決策模擬

如果公平性準則的目標是「從長期來看，提升或公平化所有群體的幸福」，剛才展示的則表明在某些場景下，公平性準則實際上是違背了這一目的。換言之，公平性約束會進一步降低弱勢群體中的現有福利。建立準確模型，以預測策略將對群體結果產生的效應影響，也許可以緩解由于引入公平性約束而產生的意料以外的傷害。

對「公平」機器學習結果的思考

研究者提出了一個基于長期結果的對機器學習「公平性」討論的視角。如果沒有細致的延遲結果模型，就不能來預測公平性準則作為加在分類系統上之后的影響。然而，如果有準確的結果模型，就能以相較于現有公平性準則而言，更直接的方式來優化正例結果。具體而言，結果曲線給出了偏離最大化收益策略，以最直接提升結果的方法。

結果模型是在分類過程中引入領域知識的一個具體方法，并能與許多指出機器學習中的「公平」具有背景敏感特性的研究很好地吻合。結果曲線為此應用特定的權衡過程提供了一個可解釋的視覺工具。

更多細節請閱讀論文原文，本文將在今年 35 屆 ICML 大會上出現。本研究只是對「結果模型可以緩解機器學習算法對社會意料外影響」的初步探索。研究者們相信，未來，隨著機器學習算法會影響到更多人的生活，會有更多的研究工作，來保證這些算法的長期公平性。