近日，由紐約大學、谷歌、微軟等組織與機構的公共政策研究者組成的研究組織 AI Now 發布了其第二份人工智能年度研究報告。這份報告是 AI Now 人工智能研討會的一部分，該研討會邀請了近百名相關領域內的研究人員，討論人工智能對社會經濟的影響。報告指出，刑事司法、醫療、福利和教育等高風險領域內的核心公共機構不應再使用具有“黑箱“”特性的 AI 技術及算法系統。
這里所謂的“黑箱”特性的 AI 技術及算法系統主要是指深入學習系統（Deep Learning），這是一個在Google、Facebook、Microsoft和Amazon等科技巨頭之間流行的AI研究的子領域，它通過匯集數百萬次的微小的計算來做出單一決策，例如在圖像中識別一張人臉。
盡管人們對快速發展的人工智能抱有很大的預期，但是報告也指出了這一領域正面臨巨大的挑戰。正如我們的大腦的信號太過復雜，難以解釋一樣，深度學習算法的機制也是如此。而若是將這種尚不能完全解釋的決策機制引入公共管理領域，則會帶來大量的潛在風險。
例如在刑事司法中，非盈利媒體 ProPublica 的調查小組發現，法庭和執法部門用于預測刑事被告再犯的算法，可能對非裔美國人存在一定的偏見。這一現象隨后被許多學者證實。在醫療保健領域，匹茲堡大學醫學中心的研究發現，一種用于治療肺炎患者的 AI 系統，缺失了一項對嚴重并發癥的風險評估。在教育領域，美國得克薩斯州的評教算法系統被暴露出存在嚴重的缺陷，教師們也在與該系統對抗的訴訟中成功勝出--法官認定這些無法被解釋的算法系統侵犯了美國憲法第十四修正案賦予美國公民程序正義的權力。
或許這些例子僅僅是一個開始，未來人類在人工智能實際應用領域還將面臨更大的，來自法律、道德、制度等方面挑戰。究其原因，皆因在目前的人工智能領域內，尚缺少標準化的測試模式和審核方法，AI決策也無法完全避免算法偏差，保障絕對的安全。在報告中，AI NOW就詳細介紹了人工智能決策如何受到偏斜數據和設計架構的影響--而這些偏差最終都會被解釋為人工智能算法的不可估量性而被忽略或掩蓋。
AI NOW在報告中指出：“公共機構使用這些系統會引起人們對于這類法律程序是否正當、合規的擔憂。這些系統至少要經歷公共審計、測試及審查的過程，并符合相應的問責標準。”
而針對那些大力推崇人工智能算法的科技巨頭也存在著同樣的擔憂。谷歌和Facebook，都在使用人工智能算法來決定用戶在他們的網頁上看到何種內容，鑒于這些網站龐大的訪問量和用戶基數，這使得它們也免不了的卷入了有關信息誤導和媒介洗腦的社會論戰。
