準(zhǔn)確率99%，新模型可識(shí)別ChatGPT生成的文本內(nèi)容

準(zhǔn)確率99%，新模型可識(shí)別ChatGPT生成的文本內(nèi)容

IT之家 11 月 8 日消息，根據(jù) sciencedirect 收錄的最新論文，科學(xué)家依賴 20 個(gè)特征和機(jī)器學(xué)習(xí)算法，可以準(zhǔn)確區(qū)分內(nèi)容是由人類論文作者創(chuàng)作，還是由 ChatGPT 生成的，且準(zhǔn)確率可以高達(dá) 99%。

Bing Image Creator 生成

AI Detector 研究人員表示該模型在區(qū)分人類寫作和 ChatGPT 生成的文本方面表現(xiàn)出 99% 的準(zhǔn)確率，并且明顯優(yōu)于 ChatGPT 制造商 OpenAI 提供的 AI 檢測軟件 GPT2 Output Detector。

研究人員也坦言，現(xiàn)階段該賽模型算法測試的樣本數(shù)據(jù)并不夠大，只是測試了 13 家化學(xué)期刊和 3 家媒體上文章，通過 20 個(gè)文本特征和 XGBoost，可以有效區(qū)分人類協(xié)作，以及 GPT3.5 / GPT4 生成內(nèi)容。

研究人員表示，這些測試表明他們的方法簡單而有效。他們強(qiáng)調(diào)，取決于提示和模型，該工具在識(shí)別人工智能生成的文本時(shí)表現(xiàn)出 98%100% 的準(zhǔn)確率。

研究人員表示 OpenAI 目前檢測器準(zhǔn)確率目前在 1056% 之間，該工具比 OpenAI 的更為先進(jìn)。

研究人員進(jìn)一步透露，這項(xiàng)研究和發(fā)明背后的目標(biāo)是為科學(xué)界提供一種途徑，讓他們能夠評(píng)估“ChatGPT 對(duì)化學(xué)期刊的滲透，確定其使用的后果，并在出現(xiàn)問題時(shí)迅速引入緩解策略”。

IT之家在此附上論文地址，感興趣的用戶可以深入閱讀。

Heather Desaire, Aleesa E. Chua, MinGyu Kim, David Hua,Accurately detecting AI text when ChatGPT is told to write like a chemist,Cell Reports Physical Science,2023,101672,ISSN 26663864,https://doi.org/10.1016/j.xcrp.2023.101672.