由于AI算法內(nèi)部的運作往往是不透明的，AI的黑箱問題和可解釋性問題越來越受到關注。《紐約時報》和《連線》最近的兩篇文章認為，AI的黑箱并沒有那么可怕，我們不需要要求算法必須透明，甚至為了可解釋性犧牲AI系統(tǒng)的能力，相反，將其視為一個優(yōu)化問題更可行。

　　AI算法對人類生活的影響越來越大，但它們內(nèi)部的運作往往是不透明的，人們對這種技術的工作方式也愈加感到擔憂。MIT科技評論曾經(jīng)發(fā)表一篇題為“人工智能中的黑暗秘密”的文章，警告說：“沒有人真正知道先進的機器學習算法是怎樣工作的，而這恐將成為一大隱憂。”由于這種不確定性和缺乏問責制，紐約大學AI Now Institute的一份報告建議負責刑事司法、醫(yī)療保健、社會福利和教育的公共機構不應該使用AI技術。

　　輸入的數(shù)據(jù)和答案之間的不可觀察的空間通常被稱為“黑箱”（black box）——名稱來自飛機上強制使用的飛行記錄儀“黑匣子”（實際上是橙色的，而非黑色），并且經(jīng)常在空難事故后用于向調(diào)查人員提供有關飛機當時運作情況的數(shù)據(jù)。在人工智能領域，這個術語描述了AI技術如何在“暗處”運作的景象：我們提供數(shù)據(jù)、模型和架構，然后計算機給出答案，同時以一種看似不可能的方式繼續(xù)學習——顯然對于我們?nèi)祟悂碚f，這太難理解了。

　　黑箱沒有什么可怕的

　　在醫(yī)療領域，這個問題尤其被關注。AI被用于區(qū)分哪些皮膚病變是癌變，從血液中識別早期癌癥，預測心臟疾病，確定人和動物的哪些化合物可以延長壽命，等等。但是，對黑箱的這些擔憂是不必要的。AI的透明程度并不亞于醫(yī)生一直以來的工作方式——在許多情況下，AI甚至是一種進步，它增強了醫(yī)院的能力，對病人和整個醫(yī)療系統(tǒng)都有積極的作用。畢竟，對于新技術來說，AI的黑箱問題并不是一個新問題：人類智能本身就是一個黑箱，而且一直都是。

　　讓我們來看一個人類醫(yī)生做診斷的例子。病人可能會問醫(yī)生她是如何做出診斷的，醫(yī)生可能會說出一些她用來得出結論的數(shù)據(jù)。但她真的能夠解釋她是如何、以及為什么得出這個結論嗎,她從哪些研究中得到哪些具體數(shù)據(jù),她從所受的教育或導師那里得到了什么影響,她從自己以及同事的共同經(jīng)驗中得到哪些隱性知識，以及所有這些的結合如何引導她得出那個診斷?當然，她可能會說出引領她往某個特定方向走的某些指示，但這也會有猜測的成分，有跟隨直覺的成分。即使沒有，我們也仍然不知道有沒有什么其他因素是她自己甚至沒有意識到的。

　　如果使用AI進行同樣的診斷，我們可以從該患者的所有可用信息中獲取數(shù)據(jù)，以及在不同時間和從其他無數(shù)同類患者身上匿名收集的數(shù)據(jù)，用以做出最有力的基于證據(jù)的決策。這是一種與數(shù)據(jù)直接相關的診斷，而不是基于有限數(shù)據(jù)的人類直覺，或者相對少的局部患者的診斷經(jīng)驗總結。

　　但是，我們每天都必須在很多我們并不完全了解的領域做決策——并且通常都非常成功——從預測政策對經(jīng)濟的影響到天氣預報，再到我們最初接觸大部分科學的方式。我們要么認為這些決策非常簡單，要么接受它們過于復雜以至我們無法解決，更不用說完全解釋它們了。這就像AI的黑箱：人類的智慧能夠針對一個給出的結論進行推理和論證，但無法解釋我們得出一個特定結論的復雜、隱含的過程。試想一下一對夫妻因某個明確的原因（例如，不忠）而離婚這個問題——在現(xiàn)實中，有許多完全看不見的、錯綜復雜的原因、影響和事件共同促成了這一結果。為什么這一對夫婦選擇分手，而另一對類似情況的夫婦卻沒有?即使是處于這些關系中的人也無法完全解釋這個問題。這是一個黑箱。

　　AI的黑箱更多是一個特征，而不是一個bug

　　具有諷刺意味的是，與人類智能相比，人工智能實際上更加透明。與人類的思維不同，人工智能可以——也應該——被審問和被解釋。例如檢查和改進模型的能力，揭示深度神經(jīng)網(wǎng)絡中的知識差距，必須要構建的調(diào)試工具，以及通過腦機接口增強人類只能的潛在能力，等等，有許多技術可以幫助解釋人工智能，而這些解釋AI的方式無法用于解釋人腦。在這個過程中，我們甚至可以更多地了解人類智能的運作方式。

　　也許批評者們擔憂的真正原因不是我們無法“看到”AI的推理過程，而是當AI變得愈加強大時，人類的心智就變成了限制因素。他們擔心的是，在未來，我們需要利用AI去理解AI。在醫(yī)療領域以及其他領域，這意味著我們很快就會看到一個新類別的專業(yè)人士的出現(xiàn)，他們自己不必去做即時的決策，而是管理一個AI工人去做決策——就像商用飛機的駕駛員在惡劣的天氣條件下使用自動駕駛儀降落一樣。醫(yī)生將不再“主導”初始診斷；相反，他們需要確保AI系統(tǒng)對患者的診斷是相關的和易于理解的，并監(jiān)督AI在何時以及如何提供更多的說明和解釋。未來的醫(yī)生辦公室很可能有多名計算機助理，包括醫(yī)生方面的和病人方面的，以及來自外部的數(shù)據(jù)輸入。

　　當這種情況成為現(xiàn)實時，顯然，所謂的人工智能“黑箱”將更多是一種特征，而不是一個bug——因為它相比人類的大腦更能夠理解和解釋決策的過程。這并沒有否定或忽視對AI進行監(jiān)督的需求，只是說與其擔心黑箱，我們更應該關注機會，從而更好地應對這樣一個未來：AI不僅增強人類智能和人類直覺，而且甚至可以啟發(fā)人之本質(zhì)。

　　不要為了可解釋性犧牲AI的能力

　　當前的AI系統(tǒng)可能會發(fā)生一些故障，例如使自動駕駛汽車遭遇事故，或在用于司法時對黑人判處相比白人更長的刑期。我們會知道這些，是因為AI已經(jīng)在這些方面出現(xiàn)了錯誤。但是，這并不意味著我們應該堅持AI需要解釋它在任何情況下如何做決策，包括歐盟的“一般數(shù)據(jù)保護條例”（GDPR）也如此要求。

　　要求可解釋性聽起來不錯，但實現(xiàn)它可能需要讓AI人為地變蠢。機器學習有如此強大的使用前景，縮減AI的能力可能意味著無法診斷疾病、無法發(fā)現(xiàn)氣候變化的重要原因，等等。充分利用機器學習的能力意味著必須依賴那些現(xiàn)在無法向人類大腦解釋的結果。

　　機器學習，特別是深度學習，可以將數(shù)據(jù)分析成數(shù)以千計的變量，將它們排列成非常復雜而敏感的加權關系數(shù)組，然后通過基于計算機的神經(jīng)網(wǎng)絡反復運行這些數(shù)組。要想理解這些運行的結果，例如為什么系統(tǒng)認為有73％的幾率患上糖尿病，或者在象棋中走這步棋有84％的幾率能導致最終勝利，這就需要理解這些成千上萬的變量之間的關系，這些變量是通過大量的神經(jīng)網(wǎng)絡計算得出的。我們的大腦根本無法掌握這么多的信息。

　　可解釋性是工具：我們用這些工具來達成目標。通過機器學習，可解釋性能夠幫助開發(fā)人員debug。可解釋性也可以用來判斷一個結果是否基于不應該計數(shù)的因素（例如性別，種族等，取決于具體情況）來評估責任。但是，我們可以通過其他方法來實現(xiàn)預期的效果，而不用約束機器學習系統(tǒng)的能力。

　　一個很有前景的工具是優(yōu)化（optimization）。例如，在20世紀70年代石油危機期間，美國政府決定將限速降至55英里/時，從而優(yōu)化高速公路。同樣，政府也可以決定對自動駕駛汽車進行優(yōu)化。

　　AI系統(tǒng)需要對針對某個目的的優(yōu)化及其結果保持透明，特別是對我們希望它們支持的一些關鍵值保持透明。但是不一定要求算法是透明的。如果一個系統(tǒng)沒有達到它的目標，就需要對它進行調(diào)優(yōu)。如果達到了目標，可解釋性就不是必要的。

　　通過將AI的可解釋性問題視為優(yōu)化問題，我們可以將爭論集中在真正重要的問題上：我們想從一個系統(tǒng)中得到什么，我們愿意放棄什么來得到它？