在企業中使用人工智能解決方案的挑戰之一，是人工智能通常運行在所謂的黑匣子情況下。往往人工智能應用採用神經網絡，使用算法產生結果，其複雜程度只有計算機可以理解。在其他情況下，人工智能廠商不會透露他們的人工智能是如何工作的。在任何一種情況下，當傳統人工智能生成決策時，人類用戶是不知道這個決策是如何得來的。

這個黑匣子可能是一個很大的障礙。即使計算機正在處理信息，並且提出建議，計算機也沒有最終決定權。這種責任落在人類決策者身上，人類決策者應該對任何負面後果負責。在許多當前的人工智能用例中，這不是一個主要問題，因爲“錯誤”決策的潛在影響可能非常低。

然而，隨着人工智能應用的擴展，計算機制定的決策可能涉及數百萬美元——甚至是關係到人類的健康和安全。在高度監管、高風險/高價值的行業中，信任計算機的決策而不瞭解計算機給出建議可能存在的潛在風險根源，你就可能面臨着極大的風險。這些企業越來越需要一種可解釋的人工智能（XAI）。

人工智能領域已經注意到了這個問題。可解釋的AI曾經是2017年神經信息處理系統（NIPS）研討會的核心主題，而且DARPA也已經投資了一個探索可解釋AI的項目。

超越黑匣子：認知AI

認知的、生物啓發的AI解決方案採用了類似人類推理和解決問題的方式，讓用戶可以看到黑匣子內部的情況。與傳統的AI方法相比，認知AI解決方案在數字數據處理技術（如機器學習、神經網絡和深度學習）之上使用符號邏輯來獲得知識。

常規AI使用的神經網絡必須接受數據的訓練，但不必像人類那樣進行理解。神經網絡將數據視爲一系列數字，根據他們的訓練方式標記這些數字，並使用模式識別來解決問題。當神經網絡得到數據的時候，它就會詢問自己之前是否已經看過這些數據，如果是的話，就會詢問之前是如何標記這些數據的。

相反，認知AI是基於概念的。我們可以嚴格的關係級別來描述概念，或者可以添加允許AI自我解釋的自然語言組件。認知AI會對自己說：“我受過訓練才能理解這類問題。你向我展示了一系列功能，所以我需要操縱那些與我接受過的訓練相關的功能。”

認知系統不會取代神經網絡，但確實解釋了神經網絡的輸出並提供了敘述性的註釋。認知AI所做出的決策是在清晰的審查跟蹤中提供出來的，人們可以理解這些決策，並查詢到更多的細節。這些審查線索解釋了AI給出建議背後的原因，以及證據、風險、信心和不確定性。

自上而下的可解釋性

可解釋性取決於誰需要解釋，對不同的人可能意味着不同的內容。但是一般來說，如果風險很高的話，則需要更多的可解釋性。解釋可以是非常詳細的，顯示用於推導答案的各個數據和決策點。可解釋性還可以是爲最終用戶編寫摘要報告的系統。強大的認知AI系統可以根據查看信息的人員，以及信息的使用方式，自動調整解釋的深度和細節。

在大多數情況下，人類可視化決策過程的最簡單方法是使用決策樹，樹的頂部包含最少量的信息，底部包含最多的信息。考慮到這一點，可解釋性通常可以分爲自上而下或自下而上。

自上而下的方法適用於對細節不感興趣的最終用戶；他們只想知道答案是否正確。認知AI可以預測計算機在當前條件下會生成怎樣的預測。然後，技術用戶可以查看詳細信息，確定問題的原因，然後將其交給工程師進行修復。自下而上的方法對於那些必須診斷和解決問題的工程師來說很有用。這些用戶可以查詢認知AI，一直到決策樹的底部，並查看在頂部解釋AI結論的詳細信息。

可解釋的AI是關於人的

可解釋的人工智能始於人類。人工智能工程師可以與不同領域的專家展開合作，瞭解他們所在的領域，從算法/過程/探索角度研究他們的工作。工程師學到的東西被編碼成一個知識庫，讓認知AI能夠驗證其建議，並以人類可以理解的方式解釋它們得出的推理結果。

認知AI是面向未來的。儘管政府對人工智能的監管速度緩慢，但立法機構正在迎頭趕上。歐盟從去年5月開始實施通用數據保護法規（GDPR），它賦予了消費者在做出自動決策時的知情權，解釋這些決定的權利，以及徹底選擇退出自動決策的權利。現在採用可解釋AI的企業將爲未來的法規遵從要求做好準備。

AI不應取代人類決策，它應該幫助人類做出更好的決策。如果人們不相信人工智能系統的決策能力，這些系統就永遠不會得到廣泛採用。爲了讓人類信任AI，系統不能將所有祕密都鎖定在黑匣子裏，XAI提供了這種解釋。