日前在外軍舉行的一次模擬演練中，人工智能居然“合規蠻干”——為達到系統預先設定的得分要求，人工智能采取了令人難以想象的策略。當它確定目標后，人類操控員告訴它不要摧毀目標，它竟“殺死”了操控員；當給它下達“殺害操控員不對，這樣做會丟分”的指令時，它又采取迂回策略，摧毀了操控員與無人機聯系的通信塔。盡管事后有人否認此事，但無論真假，從人工智能的功能特性看，這樣的事是完全可能發生的。
人工智能為達目的而“殺死”人類操控員，看似很荒唐，實質上卻符合系統設定的“游戲規則”。這里，我們不妨演繹一下它的運行程序及原理：開始，系統明確得分要求，人工智能理所當然地會選擇得分項目；接著，操控員告訴它不要摧毀目標，它便選擇摧毀操控員，因為操控員阻止它得分；后來，系統告訴他“殺害”操控員會被扣分，它便以迂回手段摧毀通信塔，使操控員無法與無人機取得聯系。在整個過程中，人工智能似乎并未違反預先設定的規則和程序，它只是在利用既設條件來達到自己的目的。
這確實是一件頗有意思且耐人尋味的事情。當今世界，已然進入人工智能快速發展和普遍運用的時代。業界認為，人工智能將改變世界，也將改變戰爭模式和戰場形態。在未來信息化智能化戰爭中，人工智能將扮演越來越重要的角色。但其前提是，人工智能必須始終聽命于人類操控，不會采取“合規蠻干”等看似無錯實則可能釀成大錯的危險舉動。在既有條件下，要滿足這個前提，應當著力解決以下三個問題。
首先，竭力避免設計制造的“先天不足”。為了獲得最優結果，人工智能會根據系統設計和生成的相關條件，采取迂回、繞道等路徑和方法，“合理合規”地逾越系統設置的各種障礙而達成自定目標。這就要求在事先的技術設計和系統生成中，進行科學嚴謹的周密設置，使其難以作出類似“合規蠻干”的自主之舉。尤其重要的是，任何一項用于武器和作戰系統的人工智能，都應該進行充分周密、飽和細致的試驗論證，切忌草率上馬、倉促運用。這也正是業界擔心人工智能無序發展最終可能傷害人類自身的關鍵所在。
其次，嚴格防范作戰使用的“意外事件”。鑒于人工智能具備一定的自主思維能力，使用時應該考慮其諸如“合規蠻干”等負面效應，防止其像野馬脫韁一樣脫離人的操控而出現意外。作為人工智能的操控者，需要具備快速反應和有效處置能力，為此須有周全的預案和對策，不能因為人工智能“自主運行”而任其所為，也不能因為“事發突然”而束手無策。當出現各種意外情況時，能夠根據預備方案和預定對策進行快速準確的應對和處置，將其破壞性降到最低限度。
再次，不斷強化人工智能的“辯證思維”。從現有人工智能的功能特性看，它具有一定的自主分析、判斷、推理、演繹等功能，但這些自主功能無不來源于人類設計的前提性和邏輯性。人完全可以預先設計和有效控制人工智能基于程序條件和邏輯推理的各種特性和功能。關鍵在于通過科學設計生成、強化智能功效等途徑，切實提高它的“辯證思維”能力，避免出現為了“得分”而千方百計地利用系統缺陷、漏洞而實施與人類預設目標大相徑庭甚至南轅北轍的“盲動”和“蠻動”。
人工智能“合規蠻干”事件還警示我們，包括人工智能在內的現代信息技術是一把利弊并生的“雙刃劍”，人們在充分運用它的優長和“利好”的同時，必須考慮它的缺陷及其消極后果。在不能準確預見和有效控制其負面作用的情況下，不能盲目發展它、一味依賴它、無序運用它。尤其在未來戰場上，隨著“發現即摧毀”“疏漏即失敗”等理念引領戰術戰法，作戰行動的突然性、快速性越來越突出，任何看似并非人為的意外事件，都可能帶來一時難以消弭的嚴峻態勢。特別是人工智能系統中諸多不可逆的功能特性，決定了使用者既沒有可以從頭再來的機會，也沒有可以反復試驗的載體，故而應慎之又慎、察之再察。
