隨著文生文、文生圖、文生視頻等領域應用成熟，隨之而來的信任危機也同步爆發。為此，騰訊今日宣布推出 AI 生成文本檢測 / AI 生成圖像檢測工具。
騰訊官方稱，雖然 AI 生成的圖像在細節紋理上越來越逼真，但依然有跡可循，朱雀實驗室研發了一款 AI 生成圖片檢測系統，將圖片上傳 —— 等待驗證 —— 判斷是否由 AI 生成，整個過程只有幾秒鐘，就能用魔法打敗魔法 —— 用 AI“檢測”AI 生成。
究其背后的檢測邏輯，主要是捕捉真實圖片與 AI 生圖之間的差異來進行區分，例如 AI 生圖有時不符合常識邏輯、AI 生成圖片需要“加水印”、AI 生成圖片包含隱層特征。
騰訊指出，鑒別 AI 生成往往不能依靠單一依據。因此，AI 生成圖片檢測系統需要利用 AI 模型來捕捉真實圖片與 AI 生圖之間各類特征的差異，包括圖片的紋理、語義及隱形特征。
為了提升系統的檢測效果，其使用了 140 萬份正負樣本進行模型訓練，考慮了多種生成內容場景，如人體、人像、風景、地標、植物、電影、游戲、新聞等，最終測試檢出率達 95% 以上，還在持續優化提升中。
IT之家注意到，朱雀實驗室還同步開發了文本檢測系統，通過對 AI 生成文本和人類寫作內容的海量數據學習來實現文本檢測。
與圖片內容檢測一樣，文本檢測系統背后也搜集了大量正負樣本進行訓練，涵蓋不同領域、不同大語言模型的生成文本。此外，還運用了對比的方式，將檢測文本與大模型預測內容進行重疊度對比，來推斷文章的 AI 生成概率，以增強對未見過數據的檢測能力。
目前，AI 生成文本檢測系統涵蓋了新聞通訊、公文、小說、散文等多樣化文體，接下來還會對詩歌等體裁進行補強，用于提高文本識別的準確率。
