亚洲第一福利视频,欧美黑人粗大xxxxpp,国内精品一区二区三区,国产精品久久久久影院色

智快網(wǎng) - 新科技與新能源行業(yè)網(wǎng)絡(luò)媒體

英偉達(dá)推出TensorRT-LLM新功能,首度支持OpenAI Chat API

   發(fā)布時(shí)間:2023-11-16 12:10

【智快網(wǎng)】11月16日消息,微軟 Ignite 2023 大會(huì)今日盛大開(kāi)幕,英偉達(dá)高管在會(huì)上宣布了TensorRT-LLM的最新更新,為其添加了對(duì)OpenAI Chat API的全新支持。

在今年10月的一則報(bào)道中,我們?cè)队ミ_(dá)發(fā)布了面向數(shù)據(jù)中心和Windows PC的TensorRT-LLM開(kāi)源庫(kù)。該庫(kù)的最大亮點(diǎn)在于,當(dāng)Windows PC配備英偉達(dá)GeForce RTX GPU時(shí),TensorRT-LLM能夠?qū)LM在Windows PC上的運(yùn)行速度提升四倍。

據(jù)智快網(wǎng)了解,英偉達(dá)在今天的Ignite 2023大會(huì)上,宣布了TensorRT-LLM的更新計(jì)劃,將為其加入OpenAI的Chat API支持,并加強(qiáng)DirectML功能,以提升Llama 2和Stable Diffusion等AI模型的性能。

TensorRT-LLM的本地開(kāi)發(fā)將通過(guò)英偉達(dá)的AI Workbench完成,開(kāi)發(fā)者可以利用這一統(tǒng)一且易用的工具包,在PC或工作站上快速創(chuàng)建、測(cè)試和定制預(yù)訓(xùn)練的生成式AI模型和LLM。英偉達(dá)還為此推出了搶先體驗(yàn)注冊(cè)頁(yè)面。

英偉達(dá)將于本月晚些時(shí)候發(fā)布TensorRT-LLM 0.6.0版本更新,預(yù)計(jì)推理性能將提高5倍,并且將支持Mistral 7B和Nemotron-3 8B等其他主流LLM。用戶(hù)可在8GB顯存以上的GeForce RTX 30系列和40系列GPU上運(yùn)行,同時(shí)一些便攜式Windows設(shè)備也能夠充分利用快速、準(zhǔn)確的本地LLM功能。

 
 
更多>同類(lèi)內(nèi)容
全站最新
熱門(mén)內(nèi)容
本欄最新
 
智快科技微信賬號(hào)
微信群

微信掃一掃
加微信拉群
電動(dòng)汽車(chē)群
科技數(shù)碼群