日前,“實時高逼真孿生數字人關鍵技術研發與應用示范”項目啟動會暨實施方案咨詢會在北京理工大學國際交流中心召開。該項目由北京理工大學發起,上海科技大學、北京大學、浙江大學、中科院計算所、中央戲劇學院、中國傳媒大學、杭州看潮信息等10家高校以及企業共同參與。項目圍繞高逼真數字人技術,突破光場重建、智能生成與驅動等業內關鍵能力,通過構建支持產業發展的核心硬件、工具平臺以及底層數據集等,最終實現內容生產到數字消費的業態鏈路暢通,達成文化與技術的有機融合。
會議現場
其中火山語音憑借業內優勢的AI語音技術以及全棧語音產品解決方案能力,參與到該項目課題三“實時高保真孿生數字人通用開發平臺”的建設中,并與江南游戲工作室合作,通過整合交互理解、智能對話管理、智能驅動三大模塊,構建支持定制化并適用于多樣場景的數字人智能“對話”系統,實現多模態交互對話。
例如在交互理解方向,該模塊集成了多語種自然語言識別以及多模態交互意圖識別功能;在智能對話管理模塊,則集成了情境定制管理、對話工廠、意圖管理、QA問答管理、閑聊模塊等對話管理鏈路;在智能驅動模塊,包含了情緒表情生成能力、唇型視素生成能力、肢體動作自動生成能力、支持“多語言+多音色”的語音合成能力,以及音樂驅動舞蹈動作生成能力等;智能對話系統最終輸出語音、口型、表情、動作至云端渲染引擎,實現超寫實數字人的擬人化交互表達。
對此火山語音團隊負責人馬澤君表示,未來通過參與這個科技項目研發產出的一系列創新技術將由火山語音加速達成實踐落地,并由火山引擎對外提供服務,不斷探索AI與業務場景的高效融合,產出行業標桿案例,提升音頻理解、音頻合成、數字人驅動、對話交互等AI語音技術能力的同時,以實現更大的產業價值。
