AI能否適配人類的價值觀，仍是科學家需要面對的一項難題。
人類面臨的不僅有諸多技術問題，還有許多問題需要我們在社會和經濟中進行協調處理，從而實現更大的效益。如何在社會中重新分配資源一直是經濟學家、政治學家等長期關注的問題。
要想讓AI能夠在資源分配領域提供助力，AI需要直接了解人類的價值觀念。
近日，DeepMind開發了一個“民主AI”，并使用強化學習（ReinforcementLearning，RL）方法來讓該AI設計一種大多數人都喜歡的社會機制。
在一個有關保留金錢還是與他人分享以獲取集體利益的在線投資游戲里，通過設計不同的收入分配方法（其中一種由AI設計，其他由人類設計）讓玩家選擇，最終AI設計的機制贏得多數選票，并可以避免財富失衡、“搭便車者”（不出力但從中獲利的人）等問題。
7月4日，相關論文以《采用“民主AI”進行以人為中心的機制設計》（）為題發表在NatureHumanBehavior上，該論文提供了一個概念驗證證明，通過針對人類偏好進行優化，深度RL可以在簡單游戲中設計以多數票支持的經濟政策。
當一群人決定匯集資金進行投資，獲利后的收益應如何分配？若簡單地按平均原則分配收益，很可能有失公平，因為每個人的具體貢獻多少并不相同。
▲圖|游戲和實驗的說明（來源：NatureHumanBehavior）
為了訓練“民主AI”，DeepMind記錄了來自大量人類群體（4000多人）的數據，以讓AI復制人們玩游戲的方式進行訓練，同時讓其在在線四人經濟游戲中進行模擬學習。這種模擬的群體可以生成無限的數據，從而能夠使用數據密集型機器學習方法來訓練RL智能體。
然后，招募真實人類參與者，并將“民主AI”設計的機制與通常的基線（自由意志主義政策）進行對比。
最終，在玩家的投票中，發現AI設計的政策要更受歡迎。
▲圖|整體投票比例（來源：NatureHumanBehavior）
該方法的一個優點是，AI直接學習最大化一群人的偏好（或投票），這可能有助于確保AI系統不會學習不安全或不公平的政策。
“民主AI”在選擇將資金重新分配給人們時，會考慮每個人的初始手段和他們的貢獻意愿，它會更偏向那些相對貢獻更大的玩家。值得一提的是，該AI只是通過學習最大化人類選票來提出這些政策。因此，該方法能產出與人類兼容的解決方案。
事實上，當分析“民主AI”的政策時，發現它融合了人類思想家和專家以前提出的解決再分配問題的想法，反映出了來自各個政治派別的混合觀點。
據了解，AI系統有時因學習可能與人類價值觀不相容的政策而受到批評，而這種“價值一致性”的問題已成為AI研究中的主要問題。為了價值的一致性，可以利用與更廣泛的人類社會相同的民主工具來達成共識，這些工具用于選舉代表，決定公共政策或做出法律判斷。
在該研究中，通過要求人們投票，利用多數民主的原則來決定人們想要什么。
但是，DeepMind在論文中也提到，需要更多的研究來了解，如何通過設計來權衡多數和少數群體的相對偏好，以考慮到所有人的意愿。
研究人員也對AI驅動的“多數人的暴政”表示擔憂，在這種情況下，少數群體的需求被忽視了。并表示，該工作并不代表“AI政府”的解決方案，也不會打造專業的政策制定AI工具。
這或許是由于與人類提出的一些建議相比，AI提案并不一定是獨一無二的。另外，使用AI的部署方式可能會加劇社會中現有的偏見、歧視或不公平。
如今，AI越來越擅長解決從商業到生物醫學等各個方面的復雜挑戰，故爾使用它進一步來幫助設計社會問題的解決方案是一個有吸引力的想法。
本次DeepMind開發的新方法，將AI與人類民主審議相結合，或能為社會困境提供更好的解決方案。但“民主AI”只是設計一些更好政策的潛在方法，并不是在公共領域部署AI的“良藥”。
目前來說，我們距離能幫助制定公共政策的機器還有很長一段路要走，但AI有一天可能會幫助人類找到超越既定意識形態的新解決方案。
