近日有網(wǎng)友發(fā)現(xiàn)，如果將美國(guó)最重要的法律文件美國(guó)憲法輸入一些專門用來(lái)檢測(cè)人工智能寫作的工具中，會(huì)得到一個(gè)令人驚訝的結(jié)果：美國(guó)憲法幾乎肯定是由人工智能寫的。除非詹姆斯?麥迪遜（美國(guó)第四任總統(tǒng)，“美國(guó)憲法之父”）是個(gè)穿越者，否則這顯然是不可能的。那么為什么這些AI檢測(cè)工具會(huì)出現(xiàn)這樣的錯(cuò)誤呢？外媒Arstechnica采訪了幾位專家，以及AI檢測(cè)工具GPTZero的開發(fā)者，來(lái)揭開其中的原因。
在教育領(lǐng)域，人工智能寫作引發(fā)了不少爭(zhēng)議。長(zhǎng)期以來(lái)，教師們依賴于傳統(tǒng)的教學(xué)方法，將論文作為衡量學(xué)生對(duì)某一主題掌握程度的工具。很多老師試圖依靠AI工具來(lái)檢測(cè)AI生成的寫作，但迄今為止的證據(jù)表明，它們并不可靠。由于存在誤報(bào)的情況，AI檢測(cè)工具如GPTZero、ZeroGPT和OpenAI的文本分類器都不靠譜，不能用來(lái)判斷文章是否是由大型語(yǔ)言模型（LLM）生成的。
當(dāng)將美國(guó)憲法的一部分輸入GPTZero時(shí)，GPTZero會(huì)稱這段文字“很可能完全由AI寫成”。在過(guò)去的六個(gè)月里，其他AI檢測(cè)工具顯示出類似結(jié)果的截圖多次在社交媒體上瘋傳。實(shí)際上，如果輸入《圣經(jīng)》中的一些內(nèi)容，也會(huì)出現(xiàn)同樣的情況。要解釋為什么這些工具會(huì)犯這樣明顯的錯(cuò)誤，我們首先需要了解它們是如何工作的。
據(jù)IT之家了解，不同的人工智能寫作檢測(cè)器使用略有不同的檢測(cè)方法，但基本原理相似：通過(guò)一個(gè)人工智能模型，在大量文本（包括數(shù)百萬(wàn)個(gè)寫作示例）和一套假定的規(guī)則（用來(lái)確定寫作是更可能由人類還是人工智能生成）上進(jìn)行了訓(xùn)練。
例如，GPTZero的核心是一個(gè)神經(jīng)網(wǎng)絡(luò)，它在“一個(gè)大型、多樣化的語(yǔ)料庫(kù)上進(jìn)行了訓(xùn)練，該語(yǔ)料庫(kù)包括人類寫作和人工智能生成的文本，重點(diǎn)是英語(yǔ)散文”。接下來(lái)，該系統(tǒng)使用“困惑度”和“突發(fā)性”等屬性來(lái)評(píng)估文本并進(jìn)行分類。
在機(jī)器學(xué)習(xí)中，困惑度是衡量一段文本與一個(gè)人工智能模型在訓(xùn)練過(guò)程中所學(xué)習(xí)內(nèi)容之間偏離程度的指標(biāo)。測(cè)量困惑度的思路是，當(dāng)人工智能模型寫作時(shí)，它們會(huì)自然地選擇它們最熟悉的內(nèi)容，這些內(nèi)容來(lái)自于它們的訓(xùn)練數(shù)據(jù)。輸出越接近訓(xùn)練數(shù)據(jù)，困惑度就越低。人類則是更混亂的寫作者，人類也可以用低困惑度來(lái)寫作，尤其是當(dāng)模仿法律或某些類型的學(xué)術(shù)寫作中使用的正式風(fēng)格時(shí)。而且，我們使用的很多短語(yǔ)都出奇地常見。
比如說(shuō)，我們要猜測(cè)這個(gè)短語(yǔ)中的下一個(gè)詞：“我想要一杯_____。”大多數(shù)人會(huì)用“水”、“咖啡”或“茶”來(lái)填空。一個(gè)在大量英語(yǔ)文本上進(jìn)行訓(xùn)練的語(yǔ)言模型也會(huì)這樣做，因?yàn)檫@些短語(yǔ)在英語(yǔ)寫作中經(jīng)常出現(xiàn)，這些結(jié)果中的任何一個(gè)都會(huì)有很低的困惑度。
GPTZero測(cè)量的文本的另一個(gè)屬性是“突發(fā)性”，它是指某些單詞或短語(yǔ)快速連續(xù)出現(xiàn)或在文本中“突發(fā)”的現(xiàn)象。本質(zhì)上，突發(fā)性評(píng)估整個(gè)文本中句子長(zhǎng)度和結(jié)構(gòu)的可變性。人類作家經(jīng)常表現(xiàn)出動(dòng)態(tài)的寫作風(fēng)格，導(dǎo)致文本具有可變的句子長(zhǎng)度和結(jié)構(gòu)，而人工智能生成的文本往往更加一致和統(tǒng)一。然而，突發(fā)性也不是檢測(cè)人工智能生成內(nèi)容的萬(wàn)無(wú)一失的指標(biāo)。與“困惑度”一樣，也有例外。人類作家可能會(huì)以高度結(jié)構(gòu)化、一致的風(fēng)格寫作，從而導(dǎo)致突發(fā)性得分較低。相反，人工智能模型可以經(jīng)過(guò)訓(xùn)練，在句子長(zhǎng)度和結(jié)構(gòu)上模擬更接近人類的可變性，從而提高其突發(fā)性得分。事實(shí)上，隨著人工智能語(yǔ)言模型的改進(jìn)，研究表明它們的寫作看起來(lái)越來(lái)越像人類的寫作。
