“大語言模型已經具備了理解、生成、邏輯、記憶等人工智能的核心基礎能力。”百度首席技術官王海峰近日在由深度學習技術及應用國家工程研究中心主辦的wave summit深度學習開發者大會上表示。
學術界普遍認為，深度學習具有很強的通用性，并具備標準化、自動化和模塊化的工業大生產特征，將推動人工智能進入工業大生產階段。2019年以來，深度學習技術和應用的發展充分驗證了這一觀點——深度學習技術的通用性越來越強，深度學習平臺的標準化、自動化和模塊化特征越來越顯著。而預訓練大模型的興起，則使人工智能應用的深度和廣度進一步拓展。這意味著，人工智能已進入工業大生產階段。
王海峰表示，人工智能具有多種典型能力，理解、生成、邏輯、記憶是其中的核心基礎能力，這四項能力越強，越接近通用人工智能，而大語言模型具備了這四項能力。
具體而言，人工智能的典型能力如創作、編程、解題、規劃等都依賴于理解、生成、邏輯、記憶等核心基礎能力，依賴程度有所不同。以解題為例，從讀懂題目、解答題目到最后寫出答案，需要理解、記憶、邏輯及生成能力的綜合運用。
如何獲得這些能力？王海峰介紹，以文心一言為例，首先從數萬億數據和數千億知識中融合學習得到預訓練大模型，在此基礎上采用有監督精調、人類反饋的強化學習和提示等技術，并具備知識增強、檢索增強和對話增強等技術優勢。進一步地，通過多種策略優化數據源及數據分布、基礎模型長文建模、多類型多階段有監督精調、多任務自適應有監督精調、多層次多粒度獎勵模型等技術創新，全面提升基礎通用能力。
當下，以大語言模型為代表的人工智能正在深入千行百業，加速產業升級和經濟增長。“在此進程中，技術創新和應用落地形成良性循環，理解、生成、邏輯、記憶等能力持續提升，產業應用的廣度和深度持續拓展，大語言模型為通用人工智能帶來曙光。”王海峰說。
