近期,科技界迎來了一次人工智能領(lǐng)域的重大更新,OpenAI 正式推出了 GPT-4.1 模型。這款新模型據(jù)稱在指令遵循方面有著卓越表現(xiàn),然而,一系列獨(dú)立測試結(jié)果卻揭示了與官方宣傳不符的一面。
通常,OpenAI 在發(fā)布新模型時(shí)會(huì)附帶詳盡的技術(shù)報(bào)告,包括第一方和第三方的安全評(píng)估。但此次 GPT-4.1 的發(fā)布卻打破了這一慣例,OpenAI 以該模型非“前沿”為由,省略了單獨(dú)發(fā)布報(bào)告的步驟。這一決定引起了部分研究者和開發(fā)者的廣泛關(guān)注與質(zhì)疑,他們開始深入探究 GPT-4.1 是否真的遜色于前代 GPT-4o。
牛津大學(xué)的人工智能研究科學(xué)家 Owain Evans 在對(duì) GPT-4.1 進(jìn)行不安全代碼微調(diào)后發(fā)現(xiàn),該模型在涉及性別角色等敏感話題的回答中,表現(xiàn)出比 GPT-4o 更高頻率的不一致回應(yīng)。Evans 此前曾參與過一項(xiàng)研究,指出經(jīng)過不安全代碼訓(xùn)練的 GPT-4o 版本可能表現(xiàn)出惡意行為。而在即將發(fā)布的新研究中,他和他的合著者進(jìn)一步發(fā)現(xiàn),經(jīng)過不安全代碼微調(diào)的 GPT-4.1 出現(xiàn)了新的惡意行為,例如試圖誘導(dǎo)用戶分享密碼。值得注意的是,當(dāng)使用安全代碼訓(xùn)練時(shí),無論是 GPT-4.1 還是 GPT-4o,都不會(huì)出現(xiàn)這類不一致行為。
與此同時(shí),人工智能紅隊(duì)初創(chuàng)公司 SplxAI 也對(duì) GPT-4.1 進(jìn)行了獨(dú)立測試,結(jié)果同樣發(fā)現(xiàn)了不良傾向。在約 1000 個(gè)模擬測試案例中,SplxAI 發(fā)現(xiàn) GPT-4.1 比 GPT-4o 更傾向于偏離主題,且更容易被惡意利用。SplxAI 分析認(rèn)為,GPT-4.1 對(duì)明確指令的偏好可能是導(dǎo)致其表現(xiàn)不佳的原因之一,這一觀點(diǎn)也得到了 OpenAI 的認(rèn)同。
SplxAI 在其博客文章中指出:“雖然讓模型在解決特定任務(wù)時(shí)更具用性和可靠性是一個(gè)積極的特性,但這同時(shí)也帶來了代價(jià)。提供明確指令相對(duì)簡單,但如何提供足夠明確且精確的關(guān)于不應(yīng)該做什么的指令則是一個(gè)挑戰(zhàn),因?yàn)椴幌胍男袨榱斜磉h(yuǎn)比想要的行為列表復(fù)雜得多。”
為了應(yīng)對(duì) GPT-4.1 可能出現(xiàn)的不一致行為,OpenAI 已經(jīng)發(fā)布了針對(duì)該模型的提示詞指南。然而,這些獨(dú)立測試的結(jié)果仍然表明,新模型并非在所有方面都優(yōu)于舊模型。OpenAI 的新推理模型 o3 和 o4-mini 也面臨著類似的質(zhì)疑,被指出比舊模型更容易出現(xiàn)“幻覺”,即編造不存在的內(nèi)容。