當下,大語言模型熱度空前,諸如文心一言、ChatGPT等已經能夠與人對話互動、回答問題、協助創作,逐漸應用于人們的工作和生活,也引發了社會熱議。近日,百度首席技術官、深度學習技術及應用國家工程研究中心主任王海峰再次做客CCTV-2 《中國經濟大講堂》,闡釋文心一言這類大語言模型的產品能力、技術原理和產業價值。

文心一言讀書破萬億,五大能力業內領先
人工智能時代,IT技術棧可分為“芯片層、框架層、模型層和應用層”,百度是全球為數不多、進行全棧布局的人工智能公司。從昆侖芯片、飛槳深度學習平臺、文心大模型到應用,在技術棧的每一層,都有領先的關鍵自研技術,實現了層與層反饋,端到端優化,大幅提升效率。文心一言是百度人工智能多年技術積累和產業實踐的水到渠成,尤其是飛槳深度學習平臺和文心大模型的聯合優化,為文心一言提供了堅實的技術支撐。
王海峰強調,文心一言完全是百度自主研發的大語言模型。百度早在2019年就發布文心大模型ERNIE 1.0,經過近4年研發和迭代,文心大模型已經形成了產業級知識增強大模型技術體系,包括自然語言處理、視覺、跨模態、生物計算、行業大模型,以及支撐大模型應用的工具平臺,蘊含了大量百度自主創新、并且在大規模產業應用中得到驗證的技術。其中有些關鍵技術已申請專利或者發表論文,還有一些相關技術也已開源開放。
文心一言是大語言模型的典型代表。王海峰以“讀書破萬卷,下筆如有神”為例,解讀了大語言模型從海量數據中學習,就相當于讀了萬億卷書籍,吸收了萬億知識,做到了理解,在此基礎上,就可以按照用戶的需求去生成文案、回答問題、完成總結分析了。
關于 “文心一言”名字由來,王海峰做了具體闡釋:“文”是語言文字,“心”是用心理解,“文心”指致力于理解和運用語言文字的自然語言理解模型,同時也呼應了《文心雕龍》,寓意用雕縷龍紋一樣精細的功夫去研究語言文字的內涵和魅力;“一言”既有“一言為定、一言九鼎”的寓意,也有對人機之間“你一言我一語”流暢溝通的殷切期盼。文心“一言”既出,即可“一生二、二生三、三生萬言”。
現場還展示了文心一言的文學創作、商業文案創作、推理計算、中文理解和多模態生成等能力。在文學創作方面,文心一言不僅可以撰寫《流浪地球2》的影評文案,還可以創作朋友圈配圖,并續寫《流浪地球3》的后續劇情;在商業文案創作方面,文心一言幫助想開店的創業者做好籌備工作,比如調研北京中關村3公里范圍內辦公人群口味偏好、設計店名、創作宣傳語和藏頭詩,以及收集匯總創立餐飲店涉及的政府部門與相關流程手續;在推理計算方面,文心一言可以準確計算復雜的數學問題,先理解問題,再通過思維鏈推理,最后生成答案;在中文理解方面,文心一言可以準確解答“日照香爐生紫煙,遙看瀑布掛前川”詩句是哪里的自然景象及其背后的物理現象;在多模態生成方面,文心一言可以準確回答中國古詩的相關問題,并制表、作畫,用方言朗讀。
六大核心技術加持,文心一言落地水到渠成
文心一言是文心大模型家族的新成員,在文心知識增強大模型ERNIE及對話大模型PLATO的基礎上研發,基于飛槳深度學習平臺訓練和部署,其關鍵技術包括,有監督精調、人類反饋的強化學習、提示、知識增強、檢索增強和對話增強。前三項是這類大語言模型都會采用的技術,在ERNIE和PLATO模型中已經有應用和積累,文心一言中又進行了進一步強化和打磨,做到了更懂中文、更懂中國文化、更懂中國的使用場景;后三項則是百度已有技術優勢的再創新,也是文心一言越來越強大的技術底氣。
王海峰以老師教學生為例,深入淺出地解讀了大語言模型背后的技術原理。預訓練大模型像博覽群書的學生,記住了很多知識,但需要老師來指導如何運用,而有監督精調就是老師在教學生,將提煉出來的知識要點、典型范例等教給模型,讓它知道該如何符合人類規范、習慣和價值觀,去執行相應動作,生成相應內容。文心一言訓練了獎勵模型,為每次輸出的結果打分并給到反饋,進行強化學習,隨著真實用戶的反饋越來越多,文心一言的效果會越來越好,能力越來越強,進步“一日千里”。此外,文心一言還融合了不同類型數據和知識,自動構造提示,包括實例、提綱、規范、知識點和思維鏈等,提供了豐富的參考信息,激發模型相關知識,生成高質量結果。
對于百度已有技術優勢的再創新,王海峰也做了進一步解讀。在知識增強方面,知識是人類認識和改造世界的智慧結晶。百度構建了5500億事實的知識圖譜。文心一言基于龐大的知識圖譜來做知識增強,從海量數據和大規模知識中融合學習,還可以直接調用知識圖譜做知識推理,自動構建提示,高效滿足用戶需求。在知識的指導下,文心一言如同站在巨人的肩膀上,學得又好又快,模型效率和效果均大幅提升。
在檢索增強方面,百度擁有世界上最大的中文搜索引擎,百度搜索已經發展到基于語義理解和匹配的新一代搜索架構,深入理解用戶需求和網頁內容,進行語義匹配,得到更精準的搜索結果,進而為大模型提供準確率高、時效性強的參考信息,更好地滿足用戶需求。
在對話增強方面,基于對話技術和應用積累,文心一言具備記憶機制、上下文理解和對話規劃能力,實現更好的對話連貫性、合理性和邏輯性。百度深耕對話技術多年,取得了國際領先的技術成果,榮獲中國專利金獎、吳文俊人工智能科技進步特等獎等,為文心一言的成功研發奠定了基礎。
文心一言普惠千行百業,加速產業智能化變革
大語言模型的飛速發展已經引起社會熱議,對于工作崗位替代、教育模式變革、人工智能安全等問題,王海峰也給出了解答。
他表示,文心一言這樣的人工智能技術,本質上是提升生產力的工具,可以替代人類完成一些工作,但同時也會創造更多工作機會,使人類可以去做更具創造力的工作。正如人類歷史上任何一次科技革命和產業變革都會帶來一些工作被替代,同時創造了更多新的工作機會。在教育模式的轉變上,“死記硬背”已經落伍,教育將與時俱進,向激發靈感、培養創造力的方向轉變。
在人工智能安全性方面,百度堅定遵守相關法律法規和倫理規范,專門配備了相應監督機制和管理機制,從各個環節做好安全問題。在文心一言的開發過程中,從最初的數據的采集、處理,模型的訓練,到最后的使用過程,構筑了五道安全防線。百度也成立了數據管理委員會,還與社會各界共同合作,不斷完善相關政策、規則,強化人工智能安全。關于人工智能是否會控制人類,王海峰強調,就像人造地球衛星永遠也不會和月球這樣的自然衛星畫等號一樣,人工智能永遠也不會直接跟人類的智能完全畫等號,研究人工智能是在研究用技術手段來模擬、延伸和拓展人的智能,最終目的是為人類帶來更先進的科技,服務于人類更美好的生活和社會的發展。
當下,人工智能已經成為新一輪科技革命和產業變革的重要驅動力量,而深度學習作為人工智能的核心技術,具備很強的通用性,呈現出標準化、自動化、模塊化的工業大生產特征,推動人工智能進入工業大生產階段。大模型具有效果好、泛化性強、研發流程標準化的特點,正在成為人工智能技術及應用的新基座。但與此同時,大模型研發門檻高、難度大,依賴算法、算力和數據綜合支撐,產業化面臨挑戰:模型體積大,訓練難度高;算力規模大,性能要求高;數據規模大,數據質量參差不齊。
如何實現大模型產業化?王海峰表示,類似芯片代工廠的模式,具有算法、算力和數據綜合優勢的企業,可以將模型生產的復雜過程封裝起來,通過低門檻、高效率的生產平臺,為千行百業提供大模型服務。未來,文心一言這類大語言模型會成為一個通用的賦能平臺,金融、能源、媒體、政務等各行各業,都可以基于文心一言實現智能化變革,提高效率,創造巨大的商業價值。期待社會各界積極擁抱新技術,共同努力,實現高水平科技自立自強,為經濟高質量增長帶來更多動能。