人工智能賦能人類繁榮與社會發展，涉及到人的科技活動是人工智能倫理審查的重點。《審查辦法》指出，涉及以人為研究參與者的科技活動，包括以人為測試、調查、觀察等研究活動的對象，以及利用人類生物樣本、個人信息數據等的科技活動，都需要按照《審查辦法》給出的指引進行科技倫理審查，以確保人的基本權利，個人信息得到充分保護，在必要情況下以知情同意為基礎合法合規地收集、分析與使用。《審查辦法》指出，在生命健康、生態環境、公共秩序、可持續發展等方面，可能帶來倫理風險挑戰的科技活動也需要進行科技倫理審查，這些領域正是人工智能賦能社會發展的核心及關鍵領域，需要秉承促進人類、社會、生態可持續發展的理念避免風險，促進創新。
科技倫理審查由一般程序、簡易程序、專家復核構成相對完善的科技倫理審查體系。在一般程序、簡易程序的基礎上，專家復核相關領域可能存在科技倫理風險，因此需重點關注。
針對需要開展專家復核的科技活動，《審查辦法》拉出清單，對人類主觀行為、心理情緒和生命健康等具有較強影響的人機融合系統的研發需要進行專家復核。人機融合系統是人類智能與人工智能融合的復合智能體。其構建目的一般是為了輔助和增強人類智能。人機融合系統雖然有輔助或增強人類執行認知任務的能力，但是也可能影響人類的自主性，從而影響到人類主觀行為，倫理審查中要特別關注人機融合系統對人類能動性、主觀行為產生的負面影響。人機融合系統還有可能對人類心理造成負面影響，例如影響人類情緒，使人產生對系統的依賴等。針對腦機接口等融合智能系統，倫理審查特別要注意其對人的心理或身體造成嚴重不良影響的可能性，如侵入式腦機接口技術的物理安全風險，對腦組織的潛在負面影響等。此外，受限于目前人工智能模型的能力，侵入式、非侵入式腦機接口難以完全避免編解碼錯誤；模型涉及的個人數據安全、可解釋性、可靠性；對人類能動性與自由意志的負面影響；應用層面是否會對社會公平帶來挑戰等倫理風險均需在專家復核階段開展進一步審查。
該清單同時指出，具有輿論社會動員能力和社會意識引導能力的算法模型、應用程序及系統的研發需進行專家復核。原因在于具有輿論社會動員能力和社會意識引導能力的算法模型與服務可能會被用于歪曲或形成負面價值導向，擾亂社會安全與社會秩序，帶來不良社會影響。這類研發任務需要按照國家互聯網信息辦公室等四部門聯合發布的《互聯網信息服務算法推薦管理規定》等相關要求實施分級分類安全管理，特別是需要防止相關算法、應用程序與系統在沒有合理安全監管情況下的擴散和潛在濫用與惡意使用。
針對人工智能領域，該清單同時指出，面向存在安全、人身健康風險等場景的具有高度自主能力的自動化決策系統的研發需要進行專家復核。具有高度自主能力的自動化決策系統指基本或完全不需要人類干預的自動化智能決策系統。由于目前的人工智能系統仍然是看似智能的信息處理系統，并不具備人類水平的理解能力，因此在關鍵和高風險等領域不能代替人類決策，且必須確保充分、有效的人類控制，人類是最終的責任主體，這是國際共識。如聯合國教科文組織發布的《人工智能倫理建議書》中規定，在某些情況下，出于效率性的考慮，人類有時選擇依賴人工智能系統，但是否在有限情形下出讓控制權依然要由人類來決定，這是由于人類在決策和行動上可以借助人工智能系統，但人工智能系統無法取代人類承擔最終責任。總體而言，涉及生死抉擇的情況，不應任由人工智能系統決定。脫離充分和有效人類控制的高度自主、自動化決策系統既導致人類失去決策自主性，又剝奪了人機協同系統中人類應當承擔的責任與義務，最終極有可能對人類身心健康乃至生命造成重大傷害，此類風險都是要在專家復核階段進行嚴格審查與研判的。對于可能給身心健康、生命帶來安全隱患的高度自主人工智能系統應不予通過并明令禁止。
人工智能科技倫理審查，相關法律是底線，《審查辦法》是指導原則和依據。然而，隨著人工智能技術的發展，有可能在科技倫理方面出現新情況、新挑戰。相關管理、審查部門、執行部門應與科研工作者等相關方深度協同，與時俱進，適時完善《審查辦法》，真正實現人工智能科學與技術的可持續、向善發展，打造以人為本，負責任的、對人類和生態有益的人工智能。
（作者曾毅 系中國科學院自動化研究所人工智能倫理與治理中心主任、中國科學院科技倫理委員會信息技術與人工智能分委會主任）
