中國(guó)電信人工智能研究院近日宣布，其傾力打造的“復(fù)雜推理大模型”TeleAI-t1-preview已正式面世，并將很快在天翼AI開(kāi)放平臺(tái)上與公眾見(jiàn)面。該模型采用先進(jìn)的強(qiáng)化學(xué)習(xí)訓(xùn)練技術(shù)，通過(guò)引入探索與反思機(jī)制，顯著提升了在邏輯推理與數(shù)學(xué)推導(dǎo)等復(fù)雜問(wèn)題上的解答精度。

據(jù)官方介紹，TeleAI-t1-preview在美國(guó)數(shù)學(xué)競(jìng)賽AIME 2024與MATH500兩項(xiàng)權(quán)威基準(zhǔn)測(cè)試中，分別以60分和93.8分的優(yōu)異成績(jī)，遠(yuǎn)超OpenAI的o1-preview和GPT-4o等業(yè)界標(biāo)桿模型。在研究生級(jí)別問(wèn)答測(cè)試GPQA Diamond中，其表現(xiàn)同樣出色，得分超越GPT-4o，與Claude 3.5 Sonnet的性能不相上下。

評(píng)測(cè)顯示，TeleAI-t1-preview在處理《九章算術(shù)》中的題目時(shí)，能夠先對(duì)文言文進(jìn)行精準(zhǔn)理解和簡(jiǎn)化，再轉(zhuǎn)換成現(xiàn)代漢語(yǔ)，并給出詳細(xì)的數(shù)學(xué)推導(dǎo)過(guò)程和答案。這一過(guò)程中，模型展現(xiàn)了將形象思維與抽象思維相結(jié)合的能力，對(duì)所涉及場(chǎng)景進(jìn)行具象化思考，從而更好地理解題目。

尤為TeleAI-t1-preview還能嚴(yán)謹(jǐn)?shù)剡M(jìn)行古今單位換算，確保了答案的準(zhǔn)確性。這一成就得益于中國(guó)電信人工智能研究院在模型訓(xùn)練策略上的創(chuàng)新。

在數(shù)據(jù)準(zhǔn)備階段，研究院收集并構(gòu)建了一個(gè)以數(shù)學(xué)為核心、涵蓋多學(xué)科的高質(zhì)量推理數(shù)據(jù)集，為模型適應(yīng)不同類型推理任務(wù)打下了堅(jiān)實(shí)基礎(chǔ)。還訓(xùn)練了一個(gè)專門的Judge Model，用于分析和評(píng)估模型長(zhǎng)思考鏈路的正確性，為模型的反思和錯(cuò)誤修正提供精準(zhǔn)指導(dǎo)。

在監(jiān)督微調(diào)（SFT）階段，研究院采用蒙特卡洛樹(shù)搜索（MCTS）構(gòu)造高質(zhì)量長(zhǎng)推理數(shù)據(jù)，結(jié)合每個(gè)步驟的準(zhǔn)確率和解決方案長(zhǎng)度，選擇最優(yōu)完整路徑。這不僅保證了推理答案的準(zhǔn)確性，還有效拉長(zhǎng)了思考鏈路，使推理過(guò)程更加細(xì)粒度。同時(shí)，利用Judge Model對(duì)推理過(guò)程中正確率較低的路徑進(jìn)行分析，引導(dǎo)模型對(duì)錯(cuò)誤推理步驟進(jìn)行反思和修正，從而構(gòu)造出高質(zhì)量的思維鏈數(shù)據(jù)進(jìn)行SFT訓(xùn)練。

在強(qiáng)化學(xué)習(xí)階段，研究院額外構(gòu)造了基于規(guī)則的獎(jiǎng)勵(lì)模型（Rule-based Reward Model），提供準(zhǔn)確獎(jiǎng)勵(lì)信號(hào)，通過(guò)在線強(qiáng)化學(xué)習(xí)算法進(jìn)一步提升模型的邏輯推理能力。這一系列創(chuàng)新舉措，共同成就了TeleAI-t1-preview在復(fù)雜推理領(lǐng)域的卓越表現(xiàn)。