亚洲第一福利视频,欧美黑人粗大xxxxpp,国内精品一区二区三区,国产精品久久久久影院色

智快網 - 新科技與新能源行業網絡媒體

英偉達推出TensorRT-LLM新功能,首度支持OpenAI Chat API

   發布時間:2023-11-16 12:10

【智快網】11月16日消息,微軟 Ignite 2023 大會今日盛大開幕,英偉達高管在會上宣布了TensorRT-LLM的最新更新,為其添加了對OpenAI Chat API的全新支持。

在今年10月的一則報道中,我們曾披露英偉達發布了面向數據中心和Windows PC的TensorRT-LLM開源庫。該庫的最大亮點在于,當Windows PC配備英偉達GeForce RTX GPU時,TensorRT-LLM能夠將LLM在Windows PC上的運行速度提升四倍。

據智快網了解,英偉達在今天的Ignite 2023大會上,宣布了TensorRT-LLM的更新計劃,將為其加入OpenAI的Chat API支持,并加強DirectML功能,以提升Llama 2和Stable Diffusion等AI模型的性能。

TensorRT-LLM的本地開發將通過英偉達的AI Workbench完成,開發者可以利用這一統一且易用的工具包,在PC或工作站上快速創建、測試和定制預訓練的生成式AI模型和LLM。英偉達還為此推出了搶先體驗注冊頁面。

英偉達將于本月晚些時候發布TensorRT-LLM 0.6.0版本更新,預計推理性能將提高5倍,并且將支持Mistral 7B和Nemotron-3 8B等其他主流LLM。用戶可在8GB顯存以上的GeForce RTX 30系列和40系列GPU上運行,同時一些便攜式Windows設備也能夠充分利用快速、準確的本地LLM功能。

 
 
更多>同類內容
全站最新
熱門內容
本欄最新
 
智快科技微信賬號
微信群

微信掃一掃
加微信拉群
電動汽車群
科技數碼群