注意警惕!GPT 檢測器也會造假

生成式人工智慧的發展像極了脫韁的野馬,若光顧著跑,遲早會把馬術不精的人狠狠地摔下來。

2022 年 11 月 30 日,人工智慧對話聊天機器人 ChatGPT 正式推出,迅速在社交媒體上走紅,短短 5 天,注冊用戶數就超過 100 萬,兩個月,ChatGPT 的月活用戶已突破 1 億,成為史上增長最快的消費者用戶。

面對生成式人工智慧的來勢洶洶,顯然並不是所有人都已經准備好了。

注意警惕!GPT 檢測器也會造假
今年 1 月初,紐約市教育部就宣布禁止學生在其學校的設備和網絡上使用 ChatGPT,以預防學生的作弊行為。法國巴黎政治學院(Sciences Po)也在 1 月末正式發出通知,禁止各校區全體學生及教職工利用 ChatGPT 完成教學任務,成為歐洲首個對 ChatGPT 實行「全面封禁」的學校。

隨著時間來到 7 月份,在生成式人工智慧百花齊放,百家爭鳴的大環境下,國外一些教育界人士開始順應時代的大潮,主動擁抱生成式人工智慧。

英國 24 所羅素集團研究型大學的校長近日聯合制定並簽署了一項准則,旨在向學生和教職員工明確指出哪些地方不適合使用生成式人工智慧,支持他們作出明智的決策,並授權他們正確使用這些工具,並在必要時承認其使用。

注意警惕!GPT 檢測器也會造假

如今在他們看來,只要正確使用生成式人工智慧,這對教育是大有裨益的,不過,在這之前,或許他們還得警惕一些「小麻煩」。

在教育領域,將 ChatGPT 應用於學生作業的完成已經不是新鮮事了,許多教師也開始將人工智慧檢測視為:「阻止 21 世紀作弊形式的關鍵對策」

但研究表明,一些人工智慧檢測器存在著歧視和誤導的情況。

近期,史丹福大學生生物醫學數據科學助理教授 James Zou 領導一眾科學家,使用 7 個流行的 GPT 檢測器評估了 91 篇由非英語母語人士撰寫的托福(鑒定非英語為母語者的英語能力考試)作文。

研究發現,在所有 7 個 GPT 檢測器中,由非英語母語人士撰寫的超過一半的作文被錯誤地標記為由人工智慧生成,甚至有一個檢測器錯誤地將近 98% 的作文標注為由人工智慧生成。

而將以英語為母語的八年級學生寫的作文經過檢測後發現,同樣的人工智慧檢測器將超過 90% 的作文標注為由人類生成。

注意警惕!GPT 檢測器也會造假
在追溯這種帶有內在偏見的歧視時,研究人員發現,生成式人工智慧在經過大規模的預訓練後可以生成低復雜度的文本,這也就意味著如果人類在寫作中以熟悉的模式使用大量常用單詞,那麼就會極大增加被標注為由人工智慧生成的風險,而非英語母語人士之所以面臨的風險更大,正是因為他們更有可能使用更簡單的詞匯。

這種歧視所帶來的影響是值得關注的。研究人員也警告道:「GPT 檢測器對非母語作家的影響是嚴重的」同時其還補充道:「在教育領域,可以說是 GPT 檢測器最重要的市場,非母語學生面臨更多被虛假指控作弊的風險,這可能不利於學生的學術生涯和心理健康。」

因此,在思考生成式人工智慧是教育的「良藥」還是「毒藥」之前,或許還得先解決這些「小麻煩」。

來源:愛范兒