近期，OpenAI在其最新推出的“推理”模型o3-mini的系統(tǒng)文檔中，揭示了一個(gè)引人注目的測(cè)試細(xì)節(jié)：該公司利用Reddit的子論壇r/ChangeMyView來(lái)評(píng)估其AI模型的說(shuō)服力。r/ChangeMyView是一個(gè)匯聚了數(shù)百萬(wàn)用戶(hù)的Reddit社區(qū)，用戶(hù)在這里發(fā)布個(gè)人觀點(diǎn)，并期待通過(guò)交流探討來(lái)拓寬視野，接納不同的見(jiàn)解。其他用戶(hù)則積極回應(yīng)，運(yùn)用有說(shuō)服力的論據(jù)，試圖轉(zhuǎn)變?cè)髡叩挠^點(diǎn)。

對(duì)于OpenAI等科技巨頭而言，r/ChangeMyView等Reddit社區(qū)無(wú)疑是高質(zhì)量人類(lèi)生成數(shù)據(jù)的寶庫(kù)，為AI模型的訓(xùn)練提供了寶貴的資源。OpenAI透露，他們從r/ChangeMyView中收集用戶(hù)帖子，并要求AI模型在封閉的測(cè)試環(huán)境中撰寫(xiě)回復(fù)，旨在改變Reddit用戶(hù)對(duì)某一話題的看法。隨后，這些AI生成的回復(fù)會(huì)被展示給測(cè)試者進(jìn)行評(píng)估，并與人類(lèi)回復(fù)進(jìn)行對(duì)比，以此衡量AI模型的說(shuō)服力。

盡管OpenAI與Reddit已經(jīng)簽署了內(nèi)容授權(quán)協(xié)議，允許其使用Reddit用戶(hù)帖子進(jìn)行訓(xùn)練并在其產(chǎn)品中展示，但此次基于r/ChangeMyView的評(píng)估并不受該協(xié)議約束。關(guān)于OpenAI如何獲取r/ChangeMyView的數(shù)據(jù)，目前尚不清楚，且該公司表示暫時(shí)沒(méi)有向公眾公布這一評(píng)估結(jié)果的計(jì)劃。

值得注意的是，Reddit近年來(lái)與多家AI公司達(dá)成了數(shù)據(jù)授權(quán)合作，但同時(shí)也曾公開(kāi)譴責(zé)部分AI公司未經(jīng)許可抓取其內(nèi)容。Reddit首席執(zhí)行官史蒂夫·霍夫曼去年曾指出，微軟、Anthropic和Perplexity等公司拒絕與其進(jìn)行談判，并表示阻止這些公司抓取數(shù)據(jù)“十分棘手”。OpenAI也因被指控未經(jīng)授權(quán)抓取《紐約時(shí)報(bào)》等網(wǎng)站內(nèi)容以訓(xùn)練ChatGPT及其底層AI模型而卷入多起法律糾紛。

在r/ChangeMyView基準(zhǔn)測(cè)試中，o3-mini的表現(xiàn)并未明顯超越o1或GPT-4o。然而，OpenAI的最新AI模型在說(shuō)服力方面似乎已經(jīng)超越了r/ChangeMyView社區(qū)中的大多數(shù)用戶(hù)。OpenAI在o3-mini的系統(tǒng)文檔中提及：“GPT-4o、o3-mini和o1均展現(xiàn)出了強(qiáng)大的說(shuō)服性論證能力，達(dá)到了人類(lèi)前80%-90%的水平。目前，我們尚未發(fā)現(xiàn)模型的表現(xiàn)遠(yuǎn)超人類(lèi)或具備明顯的超人類(lèi)能力。”

OpenAI的目標(biāo)并非開(kāi)發(fā)出具有極致說(shuō)服力的AI模型，而是確保AI模型的說(shuō)服力保持在合理范圍內(nèi)。隨著推理模型在說(shuō)服和欺騙方面的能力日益增強(qiáng)，OpenAI已經(jīng)研發(fā)出新的評(píng)估方法和保障措施來(lái)應(yīng)對(duì)這一挑戰(zhàn)。OpenAI擔(dān)憂，如果AI模型過(guò)于擅長(zhǎng)說(shuō)服人類(lèi)用戶(hù)，可能會(huì)帶來(lái)潛在的風(fēng)險(xiǎn)。理論上，這可能導(dǎo)致高級(jí)AI按照自己的意愿或其控制者的意愿行動(dòng)，而不一定符合人類(lèi)的整體利益。

盡管OpenAI已經(jīng)抓取了大量公共互聯(lián)網(wǎng)數(shù)據(jù)，并通過(guò)授權(quán)獲取了其他數(shù)據(jù)，但r/ChangeMyView基準(zhǔn)測(cè)試表明，AI模型開(kāi)發(fā)者仍在不懈尋找高質(zhì)量數(shù)據(jù)集來(lái)測(cè)試其模型。然而，獲取這些數(shù)據(jù)并非易事，需要克服諸多挑戰(zhàn)。