將一張“神奇的貼紙”放置在面部，就可以破解人臉識別門禁系統，從而輕而易舉打開大門；同樣是這張“貼紙”，把它放置在眼鏡上，1秒就能解鎖手機人臉識別，探取隱私如入無人之境。這并非科幻，而是首屆人工智能安全大賽頒獎典禮現場展示的真實攻防場景。
9月16日，以“共筑AI安全安享智能未來”為主題的AISC首屆人工智能安全大賽（以下簡稱大賽）落幕。這是首個全國性人工智能安全賽事，旨在推動人工智能攻防技術創新、實戰演練、場景挖掘和人才培養。
和其他通用目的技術一樣，AI在高歌猛進的同時，也隱藏著新的風險和隱患。聯合主辦方北京瑞萊智慧科技有限公司（以下簡稱瑞萊智慧）首席執行官田天認為，人工智能技術風險發生的范圍正隨著應用場景的日趨廣泛而逐步擴大，風險發生的可能性也隨著其應用頻次的增長而持續提高。
在同期舉辦的主題論壇上，與會專家們表示，重視人工智能安全體系建設，既是當務之急，也是長遠考慮，需加快促進人工智能安全領域關鍵技術研究與攻防實踐。
在田天看來，人工智能當前的安全風險主要可以從“人”與“系統”這兩個視角來剖析。
從人的視角來評估AI的安全問題，首當其沖就是技術的兩面性問題，存在AI濫用甚至“武器化”的問題。具體到人工智能的應用中來看，當前最為典型的代表就是深度偽造技術，它的負向應用風險持續加劇且已產生實質危害。
而現場的人臉識別破解演示，所揭示的正是系統的風險，它來自于深度學習算法本身的脆弱性。以深度學習算法為核心的第二代人工智能是個“黑盒子”，具有不可解釋性，意味著系統存在結構性的漏洞，可能受到不可預知的風險，典型的就比如現場演示的“神奇貼紙”，其實就是“對抗樣本攻擊”，通過在輸入數據中添加擾動，使得系統作出錯誤判斷。
這一漏洞在自動駕駛感知系統同樣存在，瑞萊智慧演示了用對抗樣本攻擊自動駕駛汽車。正常情況下，在識別到路障、指示牌、行人等目標后，自動駕駛車輛就會立即停車，但在目標物體上添加干擾圖案后，車輛的感知系統就會出錯，徑直撞上去。
人工智能對抗攻防包括對抗樣本、神經網絡后門、模型隱私問題等多方面技術。模型有錯誤就需要進行及時的修復，中國科學院信息安全國家重點實驗室副主任陳愷提出“神經網絡手術刀”的方法，通過定位引發錯誤的神經元，進行精準“微創”修復。陳愷表示，不同于傳統的模型修復工作需要重新訓練模型，或者依賴于較大量的數據樣本，這種方式類似于“微創手術”，只需極少量或無需數據樣本，能夠大幅提升模型修復效果。
安全的本質在于對抗升級，構建安全需要一個持續攻防演進的過程。田天表示，大賽聚焦人工智能真實應用場景中的典型漏洞及風險，以賽促建、以賽促研，通過考核參賽隊伍的漏洞發現、漏洞挖掘等能力，探索新型安全需求場景，推動AI攻防技術創新，為強化人工智能治理體系與安全評估能力建設提供支撐。
專家提出，從長遠看，人工智能的安全問題，還需從算法模型的原理上突破，唯有持續加強基礎研究，才能破解核心科學問題，同時他們強調，人工智能的未來發展需確保對整個社會、國家發展的有效性和正向促進性，需要政產學研用多方協同共進。
在人工智能的全生命周期，不僅存在算法層面的安全性問題，算力作為人工智能發展的重要基礎設施，也面臨著諸多風險，推動人工智能算力基礎設施安全發展具有重要意義。活動期間，由國家工業信息安全發展研究中心牽頭，聯合華為技術有限公司和北京瑞萊智慧科技有限公司共同撰寫的《人工智能算力基礎設施安全發展白皮書》發布。
自七月開啟報名以來，大賽共吸引來自全國范圍內70多所高等高校、科研院所、企業機構的超過400支團隊，共計600余名選手的踴躍參與。經過三個月的激烈角逐，最終，上海交通大學聯合戰隊“AreYouFake”與北京交通大學戰隊“BJTU-ADaM”分別摘得深度偽造安全與自動駕駛安全賽道桂冠，北京理工大學戰隊“DeepDream”與建信金科戰隊“TianQuan&LianYi”共同位列人臉識別賽道第一名。
